WO2020166469A1 - 情報提供方法、情報提供装置及びプログラム - Google Patents

情報提供方法、情報提供装置及びプログラム Download PDF

Info

Publication number
WO2020166469A1
WO2020166469A1 PCT/JP2020/004478 JP2020004478W WO2020166469A1 WO 2020166469 A1 WO2020166469 A1 WO 2020166469A1 JP 2020004478 W JP2020004478 W JP 2020004478W WO 2020166469 A1 WO2020166469 A1 WO 2020166469A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
score
image
tissue section
fluorescent
Prior art date
Application number
PCT/JP2020/004478
Other languages
English (en)
French (fr)
Inventor
悦子 二谷
秀樹 郷田
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2020572199A priority Critical patent/JPWO2020166469A1/ja
Priority to US17/429,246 priority patent/US20220138937A1/en
Publication of WO2020166469A1 publication Critical patent/WO2020166469A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/536—Immunoassay; Biospecific binding assay; Materials therefor with immune complex formed in liquid phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an information providing method, an information providing device, and a program.
  • tissue sections Conventionally, various judgments have been made based on the information obtained from tissue sections.
  • a pathologist obtains morphological information and staining information such as a change in size and shape of cell nuclei, a change in pattern as a tissue, and the like by performing microscopic observation by staining a tissue section in a pathological diagnosis, Based on this, the presence or absence of a lesion and the state of the lesion are observed. Further, such information is also used for predicting the prognosis of a patient based on the observation of tissue sections and predicting the drug efficacy in the clinical or pharmaceutical development process.
  • Patent Document 1 a tissue slice obtained from a tumor tissue is imaged to obtain a virtual slide image, and the density of cells and/or blood vessels located near the tumor boundary is measured. It has been shown that the prognosis of a patient can be predicted based on the measured density. Further, in Patent Document 2, the number of immune cells on a tissue section obtained from a tumor tissue is counted, and it is shown that there is a correlation between the density of immune cells present in the tumor tissue and the prognosis of the patient. ing.
  • Patent Document 1 uses a technique for digitally analyzing a microscope image, and it can be said that the objectivity is secured as compared with the diagnosis by a pathologist or the like.
  • the area, structure, and cell type present on the tissue section are comprehensively observed. That is, a pathologist, for example, first evaluates the area of the tumor area on the tissue section, then evaluates the presence or absence of specific structures such as blood vessels and lymph vessels present in the tissue section, and the number thereof, and further determines the number of tumor cells. Then, the observation is performed in the order of determining the distance between the stromal cells and the tumor cells, and the arrangement relationship between them is also used as the determination material.
  • the invention described in Patent Document 2 evaluates the density of immune cells, it does not determine the relationship between other cell types, structures, regions, etc., and thus there is room for improvement in evaluation accuracy. ..
  • the present invention has been made in view of the above problems, and is information capable of providing objective and highly accurate support information for various determinations performed based on information obtained from a tissue section.
  • An object is to provide a providing method, an information providing device, and a program.
  • the information providing method for providing support information for supporting a decision based on information obtained from a tissue section, An image acquisition step of acquiring a digitized bright field image of a tissue section stained for bright field observation, Acquiring a plurality of types of information from the bright field image, a score creating step of creating an analysis score by combining the plurality of types of information, An information presentation step of presenting the analysis score as the support information.
  • the invention according to claim 2 is the information providing method according to claim 1,
  • the image acquisition step a bright-field image of the entire tissue section obtained by capturing an image of the entire tissue section with a virtual microscope slide creating apparatus is acquired.
  • the invention according to claim 3 is the information providing method according to claim 1 or 2,
  • the score creating step a plurality of types of information relating to at least any two of the region, structure and cell type present in the tissue section are acquired, and an analysis score is created by combining the plurality of types of information and scoring. To do.
  • the invention according to claim 4 is the information providing method according to claim 3, In the score creating step, information on the localization relationship among the region, structure and cell type present in the tissue section is acquired.
  • the invention according to claim 5 is the information providing method according to claim 3 or 4,
  • the tissue section using a staining reagent in which a biological material recognition site is bound to fluorescent substance-assembled nanoparticles in which a plurality of fluorescent substances are accumulated, a specific biological substance present in the tissue section is stained so that fluorescence observation is possible,
  • the image acquisition step further, to obtain a digitized fluorescence image of the tissue section
  • the score creating step information regarding the presence of the specific biological substance is further acquired from the fluorescence image, and combined with the plurality of types of information to create a scored analysis score.
  • the invention according to claim 6 is the information providing method according to any one of claims 1 to 5, A region visualization step of staining a biological substance existing in a specific region on the tissue section with a fluorescent substance so as to be fluorescently observable is provided.
  • An information providing device for providing support information for supporting a decision based on information obtained from a tissue section,
  • An image acquisition unit for acquiring a digitized bright-field image of a tissue section stained so that bright-field observation is possible, Acquiring a plurality of types of information from the bright field image, a score creating unit that creates an analysis score by combining the plurality of types of information and scored,
  • An information presenting unit that presents the analysis score as the support information.
  • the program according to claim 8 is To support the judgment based on the information obtained from the tissue section, the computer of the information providing device that provides the support information, An image acquisition unit for acquiring a digitized bright-field image of a tissue section stained for bright-field observation, A score creating unit that acquires a plurality of types of information from the bright field image and creates an analysis score that is a score by combining the plurality of types of information, An information presenting unit that presents the analysis score as the support information, To function as.
  • an information providing method capable of providing objective and highly accurate support information for various judgments made based on information obtained from a tissue section. can do.
  • Area “Area” refers to an area in which the same structure or cells are present in a certain amount in a collection. Among the regions, the “tumor region” according to the present embodiment refers to a region formed by a certain amount of tumor cells described below, and the “stromal region” is a certain amount of the stromal cells described below. The formed area is shown. 2. Structure “Structure” refers to a structure in which cells are present in a certain amount and are performing some physiological activity. Examples of the structure include blood vessels, lymphatic vessels, secretory glands, and the like. 3. Cell type “Cell type” refers to the smallest unit cell type that has a function and functions by itself.
  • the “tumor cell” in the present embodiment refers to a cell that autonomously and excessively proliferates against control in the living body, and includes “cancer cell” that forms a malignant tumor.
  • “Stromal cells” broadly refer to cells that form the supporting structure of living tissues, and include immune cells, inflammatory cells, fibroblasts, endothelial cells and the like. It is known that cancer progresses when cancer cells and stromal cells interact closely with each other.
  • FIG. 1 shows an example of the overall configuration of a pathological diagnosis support system 100 that executes the information providing method according to this embodiment.
  • the pathological diagnosis support system 100 is a system that acquires and analyzes a microscope image of a tissue section stained with a predetermined staining reagent, and outputs support information. Conventionally, based on information related to specific regions, structures, cell types present in tissue slices, information such as expression levels of specific biological substances present in tissue slices, and localization of active ingredients of drugs administered to living organisms. Various judgments such as prediction of drug efficacy of a drug administered to a living body, prediction of prognosis of an observation target, or pathological diagnosis are performed.
  • the support information is provided to support the improvement of the accuracy of these judgments.
  • the support information can take the form of an analysis score calculated based on information such as a specific region on a tissue section, a structure, the number of existing cell types and arrangement, and the like. It functions as an objective and highly accurate index to support judgment.
  • the pathological diagnosis support system 100 is configured by connecting a microscope image acquisition apparatus 1A and an information providing apparatus 2A via a communication network N so that data can be transmitted and received.
  • the pathological diagnosis support system 100 is a system in which the microscope image acquisition device 1A and the information providing device 2A are arranged in the vicinity of each other such as in the same building, and the microscope image acquisition device 1A and the information providing device 2A are It may be either a case where the systems are located far away from each other or a case where the systems are located far away from each other.
  • the communication network N is not particularly limited, and the connection method may be wired or wireless, but when the microscope image acquisition apparatus 1A and the information providing apparatus 2A are arranged in the vicinity, for example, a LAN (Local Area Network) ), and when the microscope image acquisition apparatus 1A and the information providing apparatus 2A are arranged at remote locations, for example, a WAN (Wide Area Network) such as the Internet is used.
  • a LAN Local Area Network
  • WAN Wide Area Network
  • the microscope image acquisition apparatus 1A is a virtual microscope slide creation apparatus (for example, see Japanese Patent Publication No. 2002-514319) that scans a slide on a slide fixing stage of a microscope to acquire a digital image of the entire tissue section.
  • the entire image of the tissue section of (1) is acquired on the display unit at a time so that image data is acquired and transmitted to the information providing device 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an image forming unit, an image pickup unit, a communication I/F, and the like.
  • the irradiation unit includes a light source, a filter, and the like, and irradiates the tissue section on the slide mounted on the slide fixing stage with light.
  • the image forming means includes an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section on the slide by the irradiated light.
  • the imaging unit is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, and that captures an image formed on the imaging surface by the imaging unit to generate digital image data of a microscope image.
  • the communication I/F transmits the generated digital image data of the microscope image to the information providing device 2A via the communication network N.
  • the microscope image acquisition apparatus 1A includes a bright field unit in which an irradiation unit and an imaging unit suitable for bright field observation are combined, and a fluorescence unit in which an irradiation unit and an imaging unit suitable for fluorescence observation are combined.
  • the bright field image can be obtained using the former and the fluorescence image can be obtained using the latter.
  • the microscope image acquisition apparatus 1A When the microscope image acquisition apparatus 1A is connected to the Internet as the communication network N, the acquired microscope image is stored in a server apparatus on the Internet so that it can be browsed on the information providing apparatus 2A also connected to the Internet. It becomes possible to do. That is, even when the microscope image acquisition device 1A and the information providing device 2A are arranged at points far apart from each other, the user can use the information providing device 2A to display information acquired by the microscope image acquiring device from a remote location. It is possible to use.
  • the virtual microscope slide creation device is used as the microscope image acquisition device 1A, but the invention is not limited to this, and a known microscope with a camera may be used. With a camera-equipped microscope, it is possible to acquire a microscope image of a predetermined field of view for a tissue section on a slide placed on a slide fixing stage.
  • the information providing device 2A outputs the support information generated by analyzing the microscope image transmitted from the microscope image acquisition device 1A.
  • FIG. 2 shows a functional configuration example of the information providing device 2A.
  • the information providing device 2A includes a control unit 21, an operation unit 22, a display unit 23, a communication I/F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. There is.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, executes various processes in cooperation with various programs stored in the storage unit 25, and provides the information providing device 2A. Control the operation of.
  • the control unit 21 realizes the functions of an image acquisition unit, a score creation unit, and an information presentation unit in cooperation with a program stored in the storage unit 25.
  • the operation unit 22 includes a keyboard having a character input key, a numeric input key, various function keys, and the like, and a pointing device such as a mouse.
  • the operation signal of the key pressed by the keyboard and the operation signal by the mouse are provided. And are output to the control unit 21 as input signals.
  • the display unit 23 includes a monitor such as a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), and displays various screens according to the instruction of the display signal input from the control unit 21.
  • a monitor such as a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display)
  • LCD Liquid Crystal Display
  • the communication I/F 24 is an interface for transmitting/receiving data to/from an external device such as the microscope image acquisition apparatus 1A via the communication network N, and the fluorescence image captured by the microscope image acquisition apparatus 1A is used as information. It functions as a means for inputting to the providing device 2A.
  • the storage unit 25 is composed of, for example, an HDD (Hard Disk Drive), a semiconductor non-volatile memory, or the like.
  • the storage unit 25 stores various programs and various data as described above.
  • the information providing device 2A may include a LAN adapter, a router, and the like, and may be configured to be connected to an external device via the communication network N.
  • the information providing method according to the present invention is a method of providing support information for supporting various judgments based on information obtained from tissue sections, such as prediction of drug efficacy of an observation target, prediction of prognosis, or pathological diagnosis.
  • the information providing method includes at least 1. 1. a step (image acquisition step) of obtaining a digitized bright field image of a tissue section stained with a staining reagent capable of bright field observation; 2. A step of acquiring a plurality of types of information from the bright-field image and combining the plurality of types of information to create a scored analysis score (score creating step); A step of presenting the analysis score to the user as support information (information presenting step). In addition to the above steps, 4. A step (image acquisition step) of acquiring a digitized fluorescence image of a tissue section stained using the fluorescent substance-assembled nanoparticles, and the information acquired from the bright-field image in the score creation step.
  • the accuracy of the support information can be improved by combining the information acquired from the fluorescence image and creating an analysis score that is scored.
  • the information providing method according to this embodiment includes steps 1 to 4 described above, and creates an analysis score based on the information obtained from the bright field image and the fluorescence image.
  • tissue specimen is a specimen slide on which a tissue section or a cell is placed, which is commonly used when evaluating the expression level of a specific biological substance by immunohistochemical staining. Take the form of.
  • a tissue section collected from a tumor tissue is used.
  • the method for preparing a tissue specimen is not particularly limited. Generally, for example, a tissue section collected from a subject is fixed with formalin or the like, dehydrated with alcohol, and then treated with xylene to obtain a high-temperature paraffin.
  • a tissue sample prepared by immersing in paraffin and embedding in paraffin can be obtained by making a 3-4 ⁇ m section, and the tissue slide is placed on a slide glass and dried to prepare a specimen slide. It can be made.
  • sample Preparation Step (2.1.1) Deparaffinization Treatment The tissue section is immersed in a container containing xylene to remove paraffin.
  • the temperature is not particularly limited, but it can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, xylene may be replaced during the immersion.
  • the temperature is not particularly limited, but it can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, ethanol may be replaced during the immersion.
  • the temperature is not particularly limited, but it can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, water may be exchanged during the immersion.
  • the target substance is activated according to a known method.
  • the activation conditions are not particularly defined, but as the activation liquid, 0.01 M citrate buffer solution (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-hydrochloric acid buffer solution is used. A liquid or the like can be used.
  • the pH condition is such that a signal is generated from the range of pH 2.0 to 13.0 depending on the tissue section to be used and the roughness of the tissue is such that the signal can be evaluated. Usually, it is carried out at pH 6.0 to 8.0, but it is also carried out at pH 3.0 for special tissue sections.
  • an autoclave As a heating device, an autoclave, a microwave, a pressure cooker, a water bath, etc. can be used.
  • the temperature is not particularly limited, but it can be performed at room temperature.
  • the temperature can be 50 to 130° C., and the time can be 5 to 30 minutes.
  • the activated section is immersed in a container containing PBS for washing.
  • the temperature is not particularly limited, but it can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, PBS may be replaced during the immersion.
  • the morphological staining step is a step of performing staining for visualization so that the morphology of cells, tissues, organs and the like can be observed in a bright field.
  • staining with eosin which stains cytoplasm, stroma, various fibers, erythrocytes, and keratinocytes from red to deep red
  • Staining with hematoxylin which stains cell nuclei, lime, cartilage tissue, bacteria, and mucus in blue-blue to pale blue, is also standardly used (the method of performing these two stainings at the same time is hematoxylin-eosin staining).
  • the morphological dyeing step can be performed according to a conventional method. For example, in the case of HE staining, a tissue sample is immersed in a Mayer's hematoxylin solution for hematoxylin staining, and then the tissue sample is washed with running water and immersed in an eosin solution for eosin staining.
  • the conditions for performing the morphological staining step that is, the temperature and the immersion time for immersing the tissue sample in the staining solution can be appropriately adjusted according to a standard method.
  • the fluorescent staining step is a step of performing staining for fluorescent observation of the target substance with the fluorescent substance-assembled nanoparticles.
  • immunohistochemical staining is performed in which a solution of an immunostaining agent is placed on the section and reacted with the target substance.
  • the solution of the immunostaining agent used in the fluorescent staining step may be prepared in advance before this step.
  • the fluorescent dyeing step may be performed after the morphological dyeing step, or may be performed before the morphological dyeing step.
  • Target substance means a target substance for immunohistochemical staining using a fluorescent label, mainly for detection or quantification from the viewpoint of pathological diagnosis.
  • biological substances such as proteins (antigens) and nucleic acids existing in tissue sections are assumed.
  • examples of the target substance include an antibody and a nucleic acid contained in a drug (antibody drug, nucleic acid drug, etc.) administered to a living body.
  • the target substance one of the biological substances exemplified below is stained.
  • the protein include proteins that are expressed in immune cells and can be used as biomarkers.
  • OX40L CD252)
  • ICOS CD278
  • ICOSL CD275
  • 4-1BB CD137
  • 4-1BBL CD137L
  • 2B4 CD244
  • GITR CD357
  • B7-H3 CD276)
  • LAG-3 LAG-3.
  • nucleic acid examples include DNA and RNA-related substances (mRNA, tRNA, rRNA, miRNA, non-coding RNA, etc.) and the like.
  • a cancer cell-specific protein is used as a delivery means to cancer cells.
  • the drug include a drug that includes an antibody that recognizes, a drug that includes an antibody that targets a factor of a signal transduction pathway related to a factor (protein) targeted by an active ingredient, and the like.
  • the antibody contained in these pharmaceuticals is preferably an antibody that specifically recognizes a cancer growth regulator, a metastasis regulator, or a cancer cell-specific protein, and may be a monoclonal antibody or a polyclonal antibody.
  • the class or subclass of the antibody is not particularly limited, and examples thereof include IgA, IgG, IgE, IgD, IgM, etc., and examples of the subclass include IgG1, IgG2, IgG3, IgG4, IgA1 and IgA2.
  • the term "antibody” includes not only full-length antibodies, but also antibody fragments such as Fab, F(ab)'2, Fv, scFv and chimeric antibodies (humanized antibodies, etc.), multifunctional antibodies.
  • the drug containing a nucleic acid as a component is not particularly limited as long as it is a nucleic acid which is DNA or RNA or an artificial nucleic acid such as PNA, and preferred examples include decoy, antisense, siRNA, miRNA, ribozyme, aptamer and plasmid DNA. Can be mentioned.
  • Phosphor-integrated nanoparticles (Phosphor Integrated Dot: PID) is a nano-sized particle that emits fluorescence upon irradiation with excitation light and contains one molecule of the target substance.
  • the particles are capable of emitting fluorescence of sufficient intensity to represent each as a bright spot.
  • the fluorescent substance-assembled nanoparticles have particles made of an organic substance or an inorganic substance as a matrix, and a plurality of fluorescent substances (for example, fluorescent organic dyes and quantum dots described later) are included therein and/or adsorbed on the surface thereof. These are nano-sized particles having a structured structure, such as fluorescent dye integrated nanoparticles and quantum dot integrated nanoparticles.
  • the matrix and the fluorescent substance have substituents or moieties having mutually opposite charges, and electrostatic interaction is exerted.
  • fluorescent substance used in the staining reagent for obtaining a fluorescent image examples include fluorescent organic dyes and quantum dots (semiconductor particles). It preferably emits visible to near-infrared light having a wavelength in the range of 400 to 1000 nm when excited by ultraviolet to near-infrared light having a wavelength in the range of 200 to 700 nm.
  • fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes. Examples thereof include molecules, NBD-based dye molecules, pyrene-based dye molecules, Texas Red-based dye molecules and cyanine-based dye molecules.
  • Alexa Fluor 532 Alexa Fluor 546, Alexa Fluor 555, Alexa Fluor 568, Alexa Fluor 594, Alexa Fluor 610, Alexa Fluor 633, Alexa Fluor 635, Alexa Fluor 647, Alexa Fluor 660, Alexa Fluor 680, Alexa Fluor 700, Alexa Fluor 780.
  • BODIPYFL BODIPYTMR, BODIPY493/503, BODIPY530/550, BODIPY558/568, BODIPY564/570, BODIPY576/589, BODIPY581/591, BODIPY630/650, BODIPY650/665 (above Invitrogen) ), methoxycoumarin, eosin, NBD, pyrene, Cy5, Cy5.5, Cy7 and the like. You may use individually or in mixture of 2 or more types.
  • the quantum dots include II-VI group compounds, III-V group compounds, or quantum dots containing group IV elements as components (“II-VI group quantum dots”, “III-V group quantum dots”, “ Also referred to as "Group IV quantum dot”). You may use individually or in mixture of 2 or more types.
  • CdSe CdS, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, and Ge, but are not limited thereto.
  • a quantum dot having the above-mentioned quantum dot as a core and a shell provided thereon.
  • CdSe/ZnS when the core is CdSe and the shell is ZnS, it is expressed as CdSe/ZnS.
  • CdSe/ZnS, CdS/ZnS, InP/ZnS, InGaP/ZnS, Si/SiO2, Si/ZnS, Ge/GeO2, Ge/ZnS and the like can be used, but are not limited thereto.
  • the quantum dots may be surface-treated with an organic polymer or the like, if necessary.
  • CdSe/ZnS having a surface carboxy group manufactured by Invitrogen
  • CdSe/ZnS having a surface amino group manufactured by Invitrogen
  • the fluorescent substance to be accumulated in the fluorescent substance-assembled nanoparticles in addition to the fluorescent organic dye and the quantum dot as described above, for example, Y2O3, Zn2SiO4, etc. are used as a matrix, and Mn2+, Eu3+, etc. are used as activators.
  • a "photophosphor" can be mentioned.
  • thermosetting resins such as melamine resin, urea resin, aniline resin, guanamine resin, phenol resin, xylene resin, and furan resin.
  • Resins generally classified as thermoplastic resins such as styrene resin, acrylic resin, acrylonitrile resin, AS resin (acrylonitrile-styrene copolymer), ASA resin (acrylonitrile-styrene-methyl acrylate copolymer)
  • Other resins such as polylactic acid; polysaccharides can be exemplified.
  • examples of the inorganic material in the matrix include silica and glass.
  • Quantum dot integrated nanoparticles have a structure in which the quantum dots are encapsulated in the matrix and/or adsorbed on the surface thereof. .. When the quantum dots are encapsulated in the matrix, the quantum dots need only be dispersed inside the matrix, and may or may not be chemically bonded to the matrix itself.
  • the fluorescent dye-assembled nanoparticles have a structure in which the fluorescent organic dye is encapsulated in the matrix and/or adsorbed on the surface thereof. Have. When the fluorescent organic dye is included in the matrix, the fluorescent organic dye needs only to be dispersed inside the matrix, and may or may not be chemically bonded to the matrix itself.
  • the fluorescent substance-assembled nanoparticles can be produced according to a known method. Specifically, for example, silica-based mother particles, the fluorescent substance-containing silica particles in which the fluorescent substance is encapsulated, quantum dots, fluorescent substances such as fluorescent organic dyes, and silica precursors such as tetraethoxysilane. It can be prepared by dropping a solution in which and are dissolved in a solution in which ethanol and ammonia are dissolved and hydrolyzing the silica precursor.
  • the fluorescent substance-collected resin particles having a resin as a base material and a fluorescent substance adsorbed on the surface of the resin particles or encapsulated in the resin particles are prepared by first preparing a solution or a dispersion liquid of the resin particles. It can be prepared by adding a fluorescent substance such as a quantum dot or a fluorescent organic dye thereto and stirring the mixture. Alternatively, the fluorescent substance-collecting resin particles can be prepared by adding the fluorescent substance to the solution of the resin raw material and then proceeding with the polymerization reaction.
  • thermosetting resin such as a melamine resin
  • a raw material of the resin for example, methylol melamine which is a condensate of melamine and formaldehyde
  • a fluorescent organic dye for example, methylol melamine which is a condensate of melamine and formaldehyde
  • the fluorescent dye-integrated resin particles can be prepared by heating the reaction mixture, which preferably further contains a surfactant and a polymerization reaction accelerator (such as an acid), and proceeding the polymerization reaction by an emulsion polymerization method.
  • the resin raw material and the fluorescent organic dye are combined with the organic fluorescent dye by a covalent bond or the like in advance as the resin raw material monomer.
  • the reaction mixture containing a polymerization initiator (benzoyl peroxide, azobisisobutyronitrile, etc.) is heated to allow the polymerization reaction to proceed by a radical polymerization method or an ionic polymerization method.
  • a polymerization initiator benzoyl peroxide, azobisisobutyronitrile, etc.
  • the average particle size of the fluorescent substance-assembled nanoparticles used in the present embodiment is not particularly limited, but those having a large particle size are difficult to access the antigen and have a small particle size. Since the signal of the fluorescent substance-integrated nanoparticles is buried in the background noise (camera noise or cell autofluorescence), the one having a low brightness value is preferably about 20 to 500 nm.
  • the average particle size is obtained by taking an electron micrograph using a scanning electron microscope (SEM), measuring the cross-sectional area of a sufficient number of particles, and defining each measured value as the area of the circle. Sought as.
  • the average particle diameter is the arithmetic average of the particle diameters of 1000 particles.
  • the coefficient of variation was also a value calculated from the particle size distribution of 1000 particles.
  • an antibody that specifically recognizes and binds a protein as a target substance as an antigen can be used.
  • the primary antibody may be an antibody fragment or derivative rather than a natural full-length antibody as long as it has an ability to specifically recognize and bind to a specific biological substance (antigen).
  • An antibody (IgG) that specifically recognizes and binds to the primary antibody as an antigen can be used as the secondary antibody.
  • Both the primary antibody and the secondary antibody may be polyclonal antibodies, but monoclonal antibodies are preferred from the viewpoint of quantitative stability.
  • the type of animal (immunized animal) that produces the antibody is not particularly limited, and may be selected from mice, rats, guinea pigs, rabbits, goats, sheep and the like as in the past.
  • Immunostaining agent As an immunostaining agent, a labeled antibody obtained by directly or indirectly binding an antibody capable of directly or indirectly binding to a target substance and a labeling substance is suitable. It is generated by being dispersed in a medium.
  • the primary antibody and the fluorescent substance-incorporated nanoparticles used indirectly that is, the antigen-antibody reaction and the avidin-biotin reaction. It is preferable to use a complex that is linked by a bond other than a covalent bond, but is not limited thereto.
  • an immunostaining agent in which an antibody and fluorescent nanoparticles are indirectly linked, [primary antibody against target substance]...[antibody against primary antibody (secondary antibody)] to [fluorescent nanoparticle (nanoparticles containing fluorescent substance)] ]
  • “...” represents that the compound is bound by an antigen-antibody reaction, and the form of the bond represented by “to” is not particularly limited, and examples thereof include covalent bond, ionic bond, hydrogen bond, coordinate bond, and physical bond. Adsorption or chemisorption may be mentioned, and a linker molecule may be used if necessary.
  • the secondary antibody-fluorescent substance-assembled nanoparticle conjugate can be prepared, for example, by using a silane coupling agent which is a compound widely used for binding an inorganic substance and an organic substance.
  • This silane coupling agent is a compound having an alkoxysilyl group that gives a silanol group by hydrolysis at one end of the molecule, and a carboxyl group, an amino group, an epoxy group, a functional group such as an aldehyde group at the other end, It binds to an inorganic substance through the oxygen atom of the silanol group.
  • silane coupling agent having a polyethylene glycol chain for example, PEG-silaneno.SIM6492.7 manufactured by Gelest Co.
  • silane coupling agent you may use 2 or more types together.
  • a known method can be used for the reaction procedure between the fluorescent substance-assembled nanoparticles and the silane coupling agent.
  • silica nanoparticles encapsulating the obtained fluorescent substance are dispersed in pure water, aminolopyrtriethoxysilane is added, and the mixture is reacted at room temperature for 12 hours.
  • silica nanoparticles containing a fluorescent substance whose surface is modified with an aminopropyl group can be obtained by centrifugation or filtration.
  • the antibody can be bonded to the silica nanoparticles encapsulating the fluorescent substance through an amide bond.
  • a condensing agent such as EDC (1-Ethyl-3-[3-Dimethylaminopropyl]carbodiimide Hydrochloride: manufactured by Pierce) can be used.
  • a linker compound having a site capable of directly binding to silica nanoparticles encapsulating a fluorescent substance modified with an organic molecule and a site capable of binding to a molecular target substance can be used.
  • sulfo-SMCC Sulfosuccinimidyl-4-[N-maleimidomethyl] cyclohexane-1-carboxylate: having a site selectively reacting with an amino group and a site selectively reacting with a mercapto group: manufactured by Pierce ) Is used, an amino group of silica nanoparticles encapsulating a fluorescent substance modified with aminopropyltriethoxysilane and the mercapto group in the antibody are combined to obtain a silica nanoparticle encapsulating the fluorescent substance to which the antibody is bound.
  • sulfo-SMCC Sulfosuccinimidyl-4-[N-maleimidomethyl] cyclohexane-1-carboxylate: having
  • the fluorescent material is either a fluorescent organic dye or a quantum dot. Similar procedures can be applied even in cases. That is, by impregnating a polystyrene nanoparticle having a functional group such as an amino group with a quantum dot or a fluorescent organic dye, a fluorescent substance-encapsulated polystyrene particle having a functional group can be obtained, and thereafter by using EDC or sulfo-SMCC. Thus, fluorescent substance-collected polystyrene particles to which the antibody is bound are formed.
  • an immunostaining agent in which an antibody and fluorescent nanoparticles are indirectly linked, [primary antibody against target substance]... [antibody against primary antibody (secondary antibody)]-[biotin]/[avidin]-[ Fluorophore (nanoparticles with fluorescent substance)] (here, "! indicates that they are bound by an antigen-antibody reaction, and "-" is bound by a covalent bond, which may optionally be via a linker molecule. , And "/" means that they are bound by the avidin/biotin reaction.), which is a complex composed of three molecules.
  • the secondary antibody-biotin conjugate uses, for example, a commercially available biotin-labeling reagent (kit) based on a known method capable of binding biotin to a desired antibody (protein). Then, it can be manufactured. If a biotin-modified secondary antibody having biotin bound to a desired antibody in advance is commercially available, it may be used.
  • a fluorescent substance-assembled nanoparticle-avidin conjugate (avidin-modified fluorophore) is also produced based on a known method capable of binding avidin to a fluorophore, for example, using a commercially available avidin labeling reagent (kit). can do.
  • avidin may be an improved type such as streptavidin or neutravidin, which has a higher binding force with biotin than avidin.
  • a specific example of the method for producing the fluorescent substance-assembled nanoparticle-avidin conjugate is as follows.
  • a linker molecule such as PEG having a functional group of the resin and a functional group of avidin (protein) at both ends of the molecule, if necessary.
  • a linker molecule such as PEG having a functional group of the resin and a functional group of avidin (protein) at both ends of the molecule, if necessary.
  • a linker molecule such as PEG having a functional group of the resin and a functional group of avidin (protein) at both ends of the molecule, if necessary.
  • a linker molecule such as PEG having a functional group of the resin and a functional group of avidin (protein) at both ends of the molecule, if necessary.
  • a linker molecule such as PEG having a functional group of the resin and a functional group of avidin (protein) at both ends of the molecule, if necessary.
  • a linker molecule such as PEG having
  • a desired functional group can be introduced by surface modification with a silane coupling agent.
  • a silane coupling agent For example, if aminopropyltrimethoxysilane is used, an amino group is introduced. be able to.
  • a thiol group can be introduced by reacting N-succinimidyl S-acetylthioacetate (SATA) with the amino group of avidin.
  • the conditions for performing the fluorescent staining step are appropriately adjusted according to the conventional immunohistochemical staining method so that an appropriate signal can be obtained. can do.
  • the temperature is not particularly limited, but it can be performed at room temperature.
  • the reaction time is preferably 30 minutes or more and 24 hours or less.
  • a known blocking agent such as BSA-containing PBS or a surfactant such as Tween 20 dropwise.
  • the immunostaining agent is a complex of [primary antibody (probe)]...[secondary antibody]-[biotin]/[avidin]-[fluorescent nanoparticles (fluorescent substance-accumulated nanoparticles, etc.)]
  • Primary antibody primary antibody
  • secondary antibody secondary antibody-biotin conjugate
  • present invention A treatment (fluorescence labeling treatment) of immersing a tissue section, which is a tissue specimen, in a solution of avidin-fluorescent nanoparticles dispersed in a diluent for fluorescent nanoparticles may be performed.
  • tissue specimen that has undergone the morphological staining step and the fluorescent staining step is preferably subjected to treatments such as immobilization/dehydration, clearing, and encapsulation so as to be suitable for observation.
  • the immobilization/dehydration treatment may be performed by immersing the tissue sample in a fixation treatment liquid (a cross-linking agent such as formalin, paraformaldehyde, glutaraldehyde, acetone, ethanol and methanol).
  • the clearing treatment may be carried out by immersing the tissue sample, which has been fixed and dehydrated, in a clearing solution (xylene, etc.).
  • the encapsulation treatment may be performed by immersing the tissue sample after the clearing treatment in the encapsulation liquid.
  • the conditions for performing these treatments, such as the temperature and the immersion time for immersing the tissue specimen in a predetermined treatment solution may be appropriately adjusted according to the conventional immunostaining method so that an appropriate signal is obtained. it can.
  • the microscope image acquisition apparatus 1A is set to a bright field unit and then set to a desired magnification, and the bright field image of the entire tissue specimen stained in the morphological staining step is observed. ⁇ Take a picture.
  • the microscope image acquisition apparatus 1A is set to a fluorescent unit, and the tissue specimen is irradiated with excitation light corresponding to each fluorescent substance that fluorescently labels the target substance used in the fluorescent staining step, and the fluorescent substance is emitted from these fluorescent substances. Observe and take a fluorescence image of the entire tissue sample by fluorescence.
  • Score Creation Step First, a plurality of types of information such as a region, structure, and cell type in the bright field image are acquired, and each piece of information is combined to calculate a scored morphological score.
  • Examples of software that can be used for image processing and scoring include “ImageJ” (open source).
  • the information regarding the presence of the target substance in the fluorescence image is acquired and scored to obtain the biological substance score.
  • the information on the presence of the target substance includes information on the amount of the target substance (protein, nucleic acid, antibody contained in a drug, etc.) present in a cell, and the intracellular localization of the target substance. That is, image processing is executed in the information providing device 2A for a fluorescent image captured with respect to the target substance, a fluorescent label signal such as a fluorescent bright spot corresponding to the target substance is extracted, and the coordinates of each bright spot are specified, or By measuring these numbers, the abundance and subcellular localization of the target substance are quantified and scored.
  • the biological substance score can be calculated for each of a plurality of types of target substances stained.
  • Software such as the above-mentioned "ImageJ” (open source) can also be used for image processing and expression analysis. That is, it is possible to quickly and semi-automatically perform a process of extracting bright points having a predetermined wavelength (color) from the fluorescence image and measuring the number of bright points having a predetermined brightness or higher.
  • the final analysis score is created by summing the morphological score calculated in the bright field image and the biological substance score calculated in the fluorescent image.
  • the pathological diagnosis support system 100 may include a step of performing fluorescent staining for distinguishing between the tumor region and the stromal region, if necessary. That is, for example, by fluorescently labeling a substance that is often present in the stromal region and performing fluorescence observation, the stromal region where fluorescence is observed and the tumor region where fluorescence is not observed or a weak tendency is observed It becomes possible for the user to confirm the boundary of the above by fluorescence observation. This can support the discrimination between the tumor region and the stromal region based on the bright field image. Specifically, the following dyeing is effective.
  • the fluorescent substance used for the fluorescent label is not limited to the fluorescent substance-assembled nanoparticles, and even if a single fluorescent dye is used, the tumor region and the stromal region can be sufficiently distinguished. Specifically, it can be dyed by the same procedure as the above-mentioned "(2.3) Fluorescent dyeing step”. Further, the fluorescent staining of the cytokine can be performed at the same time as the fluorescent staining of the target substance in the above “(2.3) Fluorescent staining step”. However, it is desirable to use fluorescent substances having different fluorescence wavelengths from the fluorescent substance-assembled nanoparticles labeled with the target substance. Examples of cytokines include IL-1, IL-2, IL-4, IL-6, IL-10, IL-12, IL-18, IFN- ⁇ , IFN- ⁇ , IFN- ⁇ , TNF, TGF-. ⁇ is mentioned.
  • protein in immune cells refers to a protein that is specifically expressed in immune cells, and fluorescent labeling of the tumor region and stromal region can also be performed by fluorescently labeling the protein. Can be clearly identified by. That is, since the fluorescent brightness based on the immune cells in the stromal region is significantly larger than the fluorescent brightness based on the immune cells in the tumor region, the boundary between the regions can be visually recognized from the difference in brightness.
  • an antibody that specifically recognizes and binds to a protein in an immune cell as an antigen is used, and a tissue specimen is stained with an immunostaining agent labeled with the antibody.
  • the fluorescent substance for fluorescent labeling is not limited to the fluorescent substance-assembled nanoparticles, and a single fluorescent dye can sufficiently distinguish the tumor region and the stromal region.
  • the staining can be performed by the same procedure as the above-mentioned “(2.3) Fluorescent staining step”.
  • proteins in immune cells include PD-1, CTLA-4, TIM3, Foxp3, CD3, CD4, CD8, CD25, CD27, CD28, CD70, CD40, CD40L, CD80, CD86, CD160, CD57, CD226, CD112. , CD155, OX40 (CD134), OX40L (CD252), ICOS (CD278), ICOSL (CD275), 4-1BB (CD137), 4-1BBL (CD137L), 2B4 (CD244), GITR (CD357), B7-H3.
  • CD276 CD276
  • LAG-3 CD223)
  • BTLA CD272
  • HVEM CD270
  • GITRL Galectin-9
  • B7-H4 B7-H5
  • PD-L2 KLRG-1
  • E- E-.
  • Cadherin N-Cadherin, R-Cadherin and IDO
  • TDO TDO
  • CSF-1R HDAC
  • CXCR4 FLT-3
  • TIGIT TIGIT
  • ⁇ Operation of pathological diagnosis support system 100 an operation of acquiring and analyzing the fluorescence image and the bright field image described above will be described.
  • a tissue sample stained by using a staining reagent containing a fluorescent substance-accumulated nanoparticle in which any substance selected from proteins expressed in immune cells is selected as a target substance and a biological substance recognition site that recognizes the target substance is bound An example will be described in which the target is an observation target.
  • the operator uses two types of staining reagents, an HE staining reagent and a staining reagent that uses fluorescent substance-accumulated nanoparticles that bind to a biological substance recognition site that recognizes a target substance as a fluorescent labeling material, to make a tissue sample. Stain. Then, in the microscope image acquisition device 1A, the bright field image and the fluorescence image are acquired by the procedure of (a1) to (a5). (A1) The operator mounts the tissue sample stained with the HE staining reagent and the staining reagent containing the fluorescent substance-assembled nanoparticles on the slide, and installs the slide on the slide fixing stage of the microscope image acquisition apparatus 1A. ..
  • the bright field unit is set, and the photographing magnification and focus are adjusted.
  • the imaging unit captures an image of the entire tissue sample to generate image data of a bright-field image, and the image data is transmitted to the information providing device 2A.
  • A4) Change the unit to a fluorescent unit.
  • A5) The entire tissue sample is imaged by the imaging means without changing the field of view and the imaging magnification to generate image data of the fluorescence image, and the image data is transmitted to the information providing device 2A.
  • FIG. 3 shows a flowchart of processing in the information providing device 2A. The processing shown in FIG. 3 is executed by the cooperation of the control unit 21 and the program stored in the storage unit 25.
  • step S2 shows a detailed flow of the processing in step S2.
  • the process of step S2 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • step S2 the cell type is first identified (step S21).
  • FIG. 5 shows a detailed flow of the process in step S21.
  • the process of step S21 is executed by the cooperation of the control unit 21 and the program stored in the storage unit 25.
  • step S21 the cell nucleus is first extracted (step S211). Specifically, first, the bright-field image is converted into a monochrome image, threshold processing is performed on the monochrome image using a predetermined threshold, and the value of each pixel is binarized. Further, noise processing is performed by performing closing processing and opening processing. After the noise processing, an image (cell nucleus image) in which cell nuclei are extracted is obtained. Next, the image after noise processing is subjected to labeling processing, and a label is given to each of the extracted cell nuclei.
  • the labeling process is a process of identifying an object in an image by giving the same label (number) to connected pixels. By labeling processing, each cell nucleus can be identified and labeled from the image after noise processing.
  • the cell itself may be extracted in addition to the method of extracting the cell nucleus. In this case, an image in which cells are extracted is acquired after the noise processing, and each cell is labeled by the labeling processing.
  • the cell feature amount is calculated (step S212). Specifically, for all the cell nuclei in the cell nucleus image extracted in step S211, from the cell nucleus image, the area A of the cell nucleus, the average concentration B of the cell nucleus, the pixel brightness variation ( ⁇ value) C in the cell nucleus, and the circularity of the cell nucleus. Cell characteristic quantities such as D and flattening ratio E of the cell nucleus are calculated. For the area A of the cell nucleus, the size of the pixel is calculated by measuring the reference length corresponding to the cell nucleus image in advance, and the number of pixels in each cell nucleus extracted in step 211 is integrated. Thus, the area A of the cell nucleus is determined.
  • the average concentration B of cells is determined by obtaining the luminance signal value converted into the gray scale of each pixel in the cell nucleus and calculating the average value.
  • the pixel brightness variation C is determined by calculating the standard deviation of the brightness signal value of each pixel in the cell nucleus.
  • the circularity D and flattening ratio E of the cell nucleus are determined by applying the constant values obtained from the cell nucleus image to the following equations (d) and (e) for each cell nucleus extracted in step 211.
  • threshold processing of the cell feature amount is executed based on the calculated cell feature amount (step S213).
  • thresholds for distinguishing between tumor cells and normal cells are set, and all the cell nuclei on the cell nucleus image are subjected to these threshold processings to obtain tumor cells or normal cells. Specify as.
  • threshold processing for identifying cell types such as immune cells, inflammatory cells, fibroblasts, and endothelial cells in the stromal region may be performed.
  • various cell types can be specified by setting an arbitrary threshold value according to the cell type to be identified.
  • the above-mentioned factors A to E of the cell feature amount are examples, and another factor different from the above may be used as the factor of the cell feature amount.
  • the size and shape of cells, the position and size of cell nuclei, changes in size and shape and mitotic figures, the presence or absence of cytoplasm color and mucus production, and cell nucleus/cytoplasm Area ratio etc. are observed.
  • Such an item to be noticed at the time of actual pathological diagnosis may be extracted as a cell feature amount and used for specifying the cell type.
  • step S22 the structures of blood vessels, lymph vessels, secretory glands, etc. are identified (step S22).
  • step S22 for example, a structure formed by a fixed amount of cells is extracted from the cell nucleus image. Then, from each of the extracted structures, the feature amount such as the area of the structure, the average luminance, the luminance variation, the flatness, and the circularity is calculated, and the blood vessels, lymphatic vessels, secretory glands, etc. are calculated based on the feature amount. Identify.
  • step S23 a tumor region in which a certain amount of tumor cells are present and a stromal region in which a certain amount of stromal cells are present is identified.
  • step S23 for example, when a set of cells (cell nuclei) identified as tumor cells on the cell nucleus image in step S21 occupies a predetermined area or more, the set of tumor cells is identified as a tumor region. be able to.
  • the set of cells (cell nuclei) identified as stromal cells in step S21 occupies a predetermined area or more, the set of stromal cells can be identified as a stromal region.
  • the process of step S23 completes the specification of the score calculation target.
  • the process of specifying the score calculation target in steps S21 to S23 described above is basically automatically performed in cooperation with the programs stored in the control unit 21 and the storage unit 25. May be accompanied by auxiliary work by a user such as a pathologist.
  • the auxiliary work by the user is, for example, in the area specifying process of step S21, the user specifies a specific bright field image on the bright field image displayed on the display unit 23 of the information providing apparatus 2A.
  • the operation includes selecting an area by enclosing it with a closed figure such as a polygon or a free curve using the operation unit 22, and defining each selection location such as "tumor area” or "stromal area".
  • step S22 and the cell type specifying process of step S23 also include operations of selecting and defining on the bright field image by the user. Further, in the threshold processing of the cell feature amount in step S233, for example, the threshold values of the cell feature amount are adjusted stepwise with respect to the program stored in the storage unit 25 to visually confirm the specified cell type, etc. including.
  • the process of specifying the score calculation target in steps S21 to S23 may be automatically performed using the image recognition technique trained by machine learning in addition to the above method. That is, these items in the input brightfield image are learned by learning the region, structure, and cell type that appear in the brightfield image using a method such as neural network, random forest, or SVM (Support Vector Machine). Can be specified automatically.
  • a method such as neural network, random forest, or SVM (Support Vector Machine).
  • step S3 score creating step.
  • FIG. 6 shows a detailed flow of the process in step S3.
  • the process of step S24 is executed by the cooperation of the control unit 21 and the program stored in the storage unit 25.
  • a score based on the area is calculated (step S31).
  • the region-based score is a score of information obtained from various regions such as a tumor region and an interstitial region existing on a tissue section. Since the size of the tumor area is associated with the malignancy of cancer, for example, the proportion of the tumor area in the entire area of the imaged tissue section, or the tumor area and the stromal area in the entire area It is effective to score the ratio of the area, the ratio of the area of the stromal region to the area of the tumor region, and the like.
  • the structure-based score is a score of information obtained from various structures such as blood vessels, lymphatic vessels, and secretory vessels existing on a tissue section. Since it is known that the density of blood vessels serves as an index for evaluating the malignancy of cancer, for example, the presence or absence of the structure related to the malignancy of cancer on the tissue section, the density or the number of appearances is scored. Is effective.
  • a score based on the cell type is calculated (step S33).
  • the score based on the cell type is a score obtained from information obtained from cell types such as tumor cells and stromal cells present on the tissue section. For example, the number of cancer cells and normal cells present on the tissue section may be scored. Moreover, the distance between different cell types such as the density of these cancer cells on the tissue section, the distance between the cancer cells in the tumor area and the immune cells in the stromal area, and the distance between the cancer cells in the tumor area.
  • Various information that is noted in pathological diagnosis may be scored, such as the distance between a specific cell output and a specific structure, such as the distance to a blood vessel in the quality region.
  • the calculation of the morphological score is completed by the process of step S33, and the process returns to FIG.
  • each score may be weighted according to the purpose, or the score subtotal may be calculated at any stage and the subtotal may be weighted.
  • the calculation method of the region score, the structure score, and the cell type score described above is an example, and the present invention is not limited to this.
  • step S5 when the fluorescence image from the microscope image acquisition apparatus 1A is input by the communication I/F 24 (step S4: image acquisition step), fluorescence bright spots are extracted from the fluorescence image (step S5).
  • step S5 first, the R component is extracted from the fluorescence image, and the image from which the R component is extracted is subjected to Tophat conversion.
  • the Tophat transform is a process of subtracting the value of the corresponding pixel of the image obtained by applying the minimum value filter and the maximum value filter to the input image in this order from the value of each pixel of the input image.
  • the minimum value filter replaces the value of the target pixel with the minimum value of pixels (for example, 3 ⁇ 3 pixels) in the vicinity of the target pixel.
  • the maximum value filter replaces the value of the target pixel with the maximum value of the pixels (for example, 3 ⁇ 3 pixels) in the vicinity of the target pixel.
  • the Tophat transform By the Tophat transform, small protrusions (areas having higher brightness than neighboring pixels) on the grayscale profile can be extracted. As a result, a fluorescent bright spot candidate image can be obtained.
  • noise removal is performed from the fluorescent bright spot candidate image to obtain an image (fluorescent bright spot image) in which the fluorescent bright spots are extracted, and the noise-removed image is subjected to labeling processing to extract the extracted fluorescent fluorescence. A label is assigned to each bright spot.
  • step S6 score creating step.
  • FIG. 7 shows a detailed flow of the processing in step S6.
  • the process of step S6 is executed by the cooperation of the control unit 21 and the program stored in the storage unit 25.
  • step S6 first, the images of the bright field image and the fluorescent image are aligned based on the information source commonly detected in the bright field image and the fluorescent image (step S61).
  • the bright field image used for the alignment is the cell nucleus image obtained in step S2
  • the fluorescence image used for the alignment is the fluorescent bright spot image obtained in step S5.
  • the information source commonly detected in the bright field image and the fluorescent image information recognizable in both the bright field image and the fluorescent image is used, and in this embodiment, staining information of eosin, which is a staining material for the tissue section, is used. Is used.
  • image feature amounts such as contrast information, edge information, and contour information that characterize the images in the bright field image and the fluorescence image are calculated.
  • the contrast information, the edge information, and the contour information in each image are calculated from the eosin staining information of each of the bright field image and the fluorescence image. Then, the information between these images is compared with each other, and the common points thereof are matched with each other, whereby the bright field image and the fluorescence image are aligned.
  • step S62 the presence of the target substance in each cell is determined.
  • a determination is made (step S62). Specifically, for example, in a state in which the bright field image and the fluorescent image are superimposed, the number of fluorescent bright spots in the portion corresponding to the cell specified in step S23 is calculated. Further, in addition to the number of fluorescent bright spots, a luminance value may be calculated for each bright spot region, and a luminance integrated value obtained by summing the luminance values of all the bright spot regions in the fluorescent image may be calculated.
  • a score according to the existence status is calculated (step S63).
  • the score according to the state of presence is a score calculated according to the amount of the target substance present per cell, the intracellular localization, and the like.
  • the processes of step S5 and step S6 are performed for each target substance, and a biological substance score for each target substance can be obtained.
  • the calculation of the biological material score is completed by step S63.
  • step S7 score creation step.
  • the calculation of the analysis score is performed by adding the morphological score calculated in step S3 and the biological substance score calculated in step S6.
  • arbitrary weighting may be performed so that the support information desired by the user can be obtained.
  • step S8 information presenting step
  • the user can confirm the analysis score presented as the support information by the information providing device 2A.
  • the mode of presenting the analysis score is not particularly limited, and the analysis score may be presented in the state of only numerical values, or the analysis score (morphology score and biometric image may be displayed on the bright field image and the fluorescence image. The substance score may be displayed).
  • the analysis score and the image are displayed in association with each other, it is easy to visually recognize the relationship between the analysis score and the state of the tissue section, which is highly convenient for the user. With the above, the processing in the information providing device 2A is completed.
  • a plurality of types of information are acquired from the digitized bright-field image of the tissue section, and the analysis score is created by combining these pieces of information. , It is presented to the user as support information.
  • the analysis score is created by combining these pieces of information.
  • not only single information for example, the number of tumor cells
  • multiple types of information for example, the number of tumor cells and the number of immune cells
  • an analysis score that comprehensively evaluates the tissue section is provided by adding a plurality of types of information.
  • the analysis score functions as a highly accurate index in various judgments
  • the user can perform pathological diagnosis and the like based on the value of the analysis score, and the user can analyze the analysis score displayed on the information providing device 2A and the organization itself.
  • the results By comparing the results with the results of pathological diagnosis and the like made by observing the slices, it is possible to confirm the accuracy of the own judgment.
  • objective information can be provided as compared with the subjective judgment by a pathologist or the like, and a pathological diagnosis or the like can be performed by the information providing method according to the present embodiment.
  • Various judgments are supported, and accuracy can be improved.
  • the analysis score can be created by combining information obtained from regions, structures, and cell types. Similar to a pathological diagnosis by an actual pathologist, since comprehensive evaluation is performed based on these relationships, highly accurate support information can be provided. Furthermore, the localization relationship between regions, structures, and cell types, such as the distance between cancer cells in the tumor region and immune cells in the stromal region, the distance between cancer cells and specific structures such as blood vessels, etc. By creating an analysis score using such information, more reliable support information can be provided. In addition, it is possible to present the information desired by the user as a score by setting a score and an item to be scored according to the purpose, based on scoring each of the region, structure, and cell type.
  • the analysis score associated with the amount of the biological substance can be used as a new index in pathological diagnosis and the like.
  • the fluorescent dye of the target substance is used, but the fluorescent dyeing step can be omitted.
  • the present invention aims to support various judgments by a pathologist or the like by automatically scoring and presenting information obtained from a pathological section, which is based on a bright field image. By using a score that combines multiple types of information (information related to regions, structures, and cell types) that is obtained, it is possible to obtain the result of evaluating a pathological section by a method close to the criteria used by a pathologist or the like to actually make a determination. Therefore, the purpose can be sufficiently achieved.
  • Patent Document 1 and Patent Document 2 it is not always necessary to fluorescently stain a biological substance, and an analysis score can be created only by the morphological staining process, and therefore, it is possible to perform an analysis score between slides for each staining. Variation and trouble can be omitted.
  • FIG. 8A is a bright-field image 200 obtained by photographing a tissue sample obtained by subjecting a tissue section collected from a subject to HE staining with a bright-field unit of the microscope image acquisition apparatus 1A.
  • a tumor region 210 and a stromal region 220 are present on the bright field image 200, and a blood vessel 230 is present in the stromal region 220.
  • the target substance HER2
  • the fluorescent unit of the microscope image acquisition apparatus 1A is used to identify the same as the bright field image 200. A fluorescence image of the field of view was acquired.
  • FIG. 8B is a flowchart showing an analysis score calculation procedure in which information used for scoring is set and score weighting is defined so that the support information desired by the user is output.
  • the method of calculating the analysis score according to the flow shown in FIG. 8B will be described by taking the tissue sample shown in FIG. 8A as an example.
  • the area area is scored (step S101).
  • a value N1 is calculated by scoring the ratio of the area of the tumor region 210 and the stromal region 220 to the area of the entire tissue sample, and N1 is calculated as (area of the tumor region 210 and stromal region 220/
  • the value obtained by the formula of the area of the bright field image 200) is a standardized value.
  • the presence or absence of the structure is scored (step S102).
  • N2 20 when blood vessels are present
  • N2 0 when no blood vessels are present.
  • N2 20 was obtained because the blood vessel 230 was observed in the interstitial region 220.
  • N1 and N2 are weighted based on the number of appearances of the structure (step S103).
  • the number of cell types is scored (step S104).
  • the cell type density is scored (step S105).
  • N4 and N5 are weighted based on the intercellular distance (step S106).
  • N6 (N4+N5) ⁇ 2.
  • N6 (N4+N5) ⁇ 1.
  • the biological substance score N7 is calculated (step S108).
  • the analysis scores N are acquired by summing up the scores calculated as described above (step S108).
  • N N3+N6+N7.
  • the user can judge the malignancy of the cancer of the subject by referring to the analysis score. In this way, the analysis score can be used as various indicators in pathological diagnosis and the like.
  • an HDD, a semiconductor nonvolatile memory, or the like is used as a computer-readable medium of the program according to the present invention, but the invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave is also applied as a medium for providing the data of the program according to the present invention via a communication line.
  • the present invention is used for an information providing method, an information providing apparatus, and a program capable of providing objective and highly accurate support information for various judgments made based on information obtained from a tissue section. You can
  • Microscope image acquisition device 1A
  • Information provision device 21 Control unit (image acquisition unit, score calculation unit, information presentation unit) 22 Operation unit 23
  • Display unit 24 Communication I/F 25 Storage N Communication network

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供方法であって、明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得工程と、前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成工程と、前記解析スコアを、前記支援情報として提示する情報提示工程と、を備える。

Description

情報提供方法、情報提供装置及びプログラム
　本発明は、情報提供方法、情報提供装置及びプログラムに関する。
　従来、組織切片から得られる情報に基づいて、種々の判断が行われている。例えば、病理医は、病理診断において組織切片を染色して顕微鏡観察を行い、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報や染色情報を取得し、これをもとに病変の有無や病変の状態を観察する。また、組織切片の観察に基づく患者の予後予測や、臨床あるいは医薬品の開発過程における薬効の予測などにおいても、これらの情報が用いられている。
　近年では、組織切片上の特定の細胞や構造の密度が、病理診断等において患者の予後の予測やその後の治療計画を決める上で有用な情報となり得ることが知られている。例えば、特許文献１は、腫瘍組織から得られた組織切片を撮像してバーチャルスライド画像を取得し、腫瘍境界の近傍に位置する細胞及び／又は血管の密度を測定している。そして、測定された密度に基づいて、患者の予後を予測可能であることが明らかにしている。また、特許文献２には、腫瘍組織から得られた組織切片上の免疫細胞の数をカウントし、腫瘍組織中に存在する免疫細胞の密度と患者の予後との間に相関があることを示している。
特表２０１３－５３７９６９号公報 特表２０１６－５３０５０５号公報
　従来の病理診断等においては、病理医等の主観によって判断されるため、診断結果のばらつきを排除することが難しかった。この点、特許文献１に記載の発明は、顕微鏡画像をデジタル解析する技術を用いており、病理医等による診断に比べ客観性が担保されているといえる。
　一方で、病理診断等においては、組織切片上に存在する領域、構造及び細胞種が総合的に観察される。即ち病理医等は、例えば、まず組織切片上の腫瘍領域の面積を評価し、次いで組織切片に存在する血管、リンパ管などの特定の構造の有無やその数を評価し、さらに腫瘍細胞の数、間質細胞と腫瘍細胞との距離を判断する、といった順序で観察を行い、これらの間の配置関係も判断材料として用いている。特許文献１に記載の発明においては、細胞及び／又は血管密度に基づく予後予測を行うことが可能であるが、領域、構造及び細胞種の間の関係性に基づく総合的な判断を行うことはできない。また、特許文献２に記載の発明は、免疫細胞の密度については評価しているが、その他の細胞種や構造、領域等の関係性を判断していないため、評価精度の改善の余地がある。
　本発明は、上記問題を鑑みてなされたものであって、組織切片から得られる情報に基づいて行われる種々の判断のための、客観的かつ高精度な支援情報を提供することが可能な情報提供方法、情報提供装置及びプログラムを提供することを目的とする。
　上記課題を解決するため、請求項１に記載の情報提供方法は、
 
　組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供方法であって、
　明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得工程と、
　前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成工程と、
　前記解析スコアを、前記支援情報として提示する情報提示工程と、を備える。
　請求項２に記載の発明は、請求項１に記載の情報提供方法において、
　前記画像取得工程において、前記組織切片の全体を撮像可能なバーチャル顕微鏡スライド作成装置で撮像することによって得られた、前記組織切片の全体の明視野画像を取得する。
　請求項３に記載の発明は、請求項１又は２に記載の情報提供方法において、
　前記スコア作成工程において、前記組織切片に存在する領域、構造及び細胞種のうち少なくともいずれか二つに係る複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成する。
　請求項４に記載の発明は、請求項３に記載の情報提供方法において、
　前記スコア作成工程において、前記組織切片に存在する領域、構造及び細胞種の間の局在の関係性に係る情報を取得する。
　請求項５に記載の発明は、請求項３又は４に記載の情報提供方法において、
　前記組織切片は、蛍光物質を複数集積した蛍光物質集積ナノ粒子に生体物質認識部位を結合した染色試薬を用いて、当該組織切片に存在する特定の生体物質が蛍光観察可能に染色され、
　前記画像取得工程において、さらに、前記組織切片のデジタル化された蛍光画像を取得し、
　前記スコア作成工程において、さらに、前記蛍光画像から前記特定の生体物質の存在に係る情報を取得し、前記複数種の情報と組み合わせてスコア化した解析スコアを作成する。
　請求項６に記載の発明は、請求項１から５のいずれか一項に記載の情報提供方法において、
　前記組織切片上の特定の領域に存在する生体物質を、蛍光物質により蛍光観察可能に染色する領域可視化工程を備える。
　請求項７に記載の情報提供装置は、
　組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置であって、
　明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部と、
　前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部と、
　前記解析スコアを、前記支援情報として提示する情報提示部と、を備える。
　請求項８に記載のプログラムは、
　組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置のコンピューターを、
　明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部、
　前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部、
　前記解析スコアを、前記支援情報として提示する情報提示部、
　として機能させる。
　本発明によれば、組織切片から得られる情報に基づいて行われる種々の判断のための、客観的かつ高精度な支援情報を提供することが可能な情報提供方法、情報提供装置及びプログラムを提供することができる。
本発明に係る病理診断支援システムの概略構成を示す図である。 図１の情報提供装置の機能的構成を示すブロック図である。 情報提供装置の動作を示すフローチャートである。 スコア算出対象の特定処理を示すフローチャートである。 細胞種の特定処理を示すフローチャートである。 形態スコアの算出処理を示すフローチャートである。 生体物質スコアの算出処理を示すフローチャートである。 明視野画像の一例を示す図である。 解析スコアの算出方法の一例を示す図である。
　まず、本発明で用いる下記の用語について説明する。
１．領域
　「領域」とは、同じ構造または細胞が一定量集合して存在する範囲のことを示す。
　領域のうち、本実施形態に係る「腫瘍領域」は、後述する腫瘍細胞が一定量集合して形成された領域を示し、「間質領域」は、後述する間質細胞が一定量集合して形成された領域を示す。
２．構造
　「構造」とは、細胞が一定量集合して存在し、何らかの生理的活動を行っているものを示す。構造として、例えば、血管、リンパ管、分泌腺等が挙げられる。
３．細胞種
　「細胞種」とは、それ一つで機能を持ち、働く最小の単位の細胞の種類を示す。
　細胞種のうち、本実施形態における「腫瘍細胞」は、生体内の制御に反して自律的に過剰に増殖する細胞を示し、悪性腫瘍を形成する「がん細胞」を含む。「間質細胞」は、生体組織の支持構造を形成する細胞を広く示し、免疫細胞、炎症細胞、線維芽細胞、内皮細胞等を含む。なお、がん細胞と間質細胞とが密接に相互作用を行うことにより、がんが進行していくことが知られている。
　以下、本発明の実施の形態について図面を参照して説明する。ただし、本発明はこれらに限定されない。
＜病理診断支援システム１００の構成＞
　図１に、本実施形態に係る情報提供方法を実行する病理診断支援システム１００の全体構成例を示す。病理診断支援システム１００は、所定の染色試薬で染色された組織切片の顕微鏡画像を取得及び解析し、支援情報を出力するシステムである。
　従来、組織切片に存在する特定の領域、構造、細胞種に係る情報や、組織切片に存在する特定の生体物質の発現量や生体に投与された医薬品の有効成分の局在などの情報に基づき、生体に投与された医薬品の薬効予測、観察対象の予後予測又は病理診断などの種々の判断が行われる。このような判断は、病理医や医薬品開発の従事者等のユーザーのみならず、近年では人工知能を用いて自動的にこれらの情報を認識し、判断することも行われている。本実施形態に係る支援情報は、これらの判断の精度向上を支援するために提供される。具体的には、支援情報は、組織切片上の特定の領域、構造、細胞種の存在数や配置などの情報に基づいて算出される解析スコアの形態をとることができるが、上述した種々の判断をサポートするための、客観的かつ高精度な指標として機能する。
　図１に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと情報提供装置２Ａとが、通信ネットワークＮを介してデータ送受信可能に接続されて構成されている。
　病理診断支援システム１００は、顕微鏡画像取得装置１Ａと情報提供装置２Ａとが、同一の建物内など互いに近傍に配置されるシステムである場合と、顕微鏡画像取得装置１Ａと情報提供装置２Ａとが、互いに遠く離れた地点に配置されるシステムである場合と、のどちらであってもよい。通信ネットワークＮは特に限定されず、接続方式は有線であっても無線であってもよいが、顕微鏡画像取得装置１Ａと情報提供装置２Ａとが近傍に配置される場合、例えばＬＡＮ（Local Area Network）が挙げられ、顕微鏡画像取得装置１Ａと情報提供装置２Ａとが遠隔地に配置される場合、例えばインターネットなどのＷＡＮ（Wide Area Network）が挙げられる。
　顕微鏡画像取得装置１Ａは、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体のデジタル画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２－５１４３１９号公報参照）であり、スライド上の組織切片の全体像を表示部で一度に閲覧可能な画像データを取得し、情報提供装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像のデジタル画像データを、通信ネットワークＮを介して情報提供装置２Ａに送信する。本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、前者を用いて明視野画像、後者を用いて蛍光画像をそれぞれ取得することができる。
　顕微鏡画像取得装置１Ａが通信ネットワークＮとしてのインターネットに接続されている場合、取得された顕微鏡画像は、インターネット上のサーバー装置に保存することで、同じくインターネットに接続された情報提供装置２Ａ上で閲覧することが可能となる。
　即ち、顕微鏡画像取得装置１Ａと情報提供装置２Ａとが互いに遠く離れた地点に配置された場合であっても、ユーザーが情報提供装置２Ａによって、遠隔地から顕微鏡画像取得装置によって取得された情報を利用することが可能である。
　なお、本実施形態においては、顕微鏡画像取得装置１Ａとしてバーチャル顕微鏡スライド作成装置を用いるものとするが、これに限定されず、公知のカメラ付き顕微鏡を用いてもよい。カメラ付き顕微鏡においては、スライド固定ステージ上に載置されたスライド上の組織切片について、所定の視野の顕微鏡画像を取得することができる。
　情報提供装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することによって生成された、支援情報を出力する。
　図２に、情報提供装置２Ａの機能構成例を示す。図２に示すように、情報提供装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、情報提供装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により、画像取得部、スコア作成部、情報提示部としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
　通信Ｉ／Ｆ２４は、通信ネットワークＮを介して顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行うためのインターフェースであり、顕微鏡画像取得装置１Ａによって撮像された蛍光画像を情報提供装置２Ａに入力するための手段として機能する。
　記憶部２５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
　その他、情報提供装置２Ａは、ＬＡＮアダプターやルーター等を備え、通信ネットワークＮを介して外部機器と接続される構成としてもよい。
＜情報提供方法＞
　以下、本実施形態に係る情報提供方法について説明する。
　本発明に係る情報提供方法は、観察対象の薬効予測、予後予測、又は病理診断などの、組織切片から得られる情報に基づく種々の判断を支援するための支援情報の提供方法である。
　本発明に係る情報提供方法は、少なくとも、１．明視野観察可能な染色試薬を用いて染色された組織切片の、デジタル化された明視野画像を取得する工程（画像取得工程）と、２．明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成する工程（スコア作成工程）と、３．解析スコアを支援情報としてユーザーに提示する工程（情報提示工程）と、を有する。
　また、上記工程に加えて、４．蛍光物質集積ナノ粒子を用いて染色された組織切片の、デジタル化された蛍光画像を取得する工程（画像取得工程）と、を有し、スコア作成工程において、明視野画像から取得された情報に加え、蛍光画像から取得された情報を組み合わせてスコア化した解析スコアを作成するものとすることで、支援情報の精度を向上させることができる。
　本実施形態に係る情報提供方法においては、上記１～４の工程を有し、明視野画像及び蛍光画像から得られる情報に基づいて解析スコアを作成する。
（１）組織標本
　組織標本とは、一般的には、免疫組織化学染色により特定の生体物質の発現量を評価する場合などで慣用されているような、組織切片や細胞を載置した標本スライドの形態をとる。本実施形態においては、腫瘍組織から採取した組織切片を用いるものとする。
　組織標本の作製法は特に限定されず、一般的には、例えば、被験体から採取した組織切片を、ホルマリン等を用いて固定し、アルコールで脱水処理した後、キシレン処理を行い、高温のパラフィン中に浸すことでパラフィン包埋を行うことで作製した組織試料を３～４μｍの切片にすることで得ることができ、当該組織切片をスライドガラス上に載置して乾燥することで標本スライドを作製することができる。
（２）染色工程
　以下、組織標本を、染色試薬を用いて染色する染色工程について述べる。
（２．１）標本作製工程
（２．１．１）脱パラフィン処理
　キシレンを入れた容器に、組織切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
　次いでエタノールを入れた容器に組織切片を浸漬させ、キシレン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でエタノールを交換してもよい。
　水を入れた容器に、組織切片を浸漬させ、エタノール除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中で水を交換してもよい。
（２．１．２）賦活化処理
　後述する蛍光染色工程において目的物質の染色を行うため、公知の方法に倣い、当該目的物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍのクエン酸緩衝液（ｐＨ６．０）、１ｍＭのＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍのトリス塩酸緩衝液などを用いることができる。
　ｐＨ条件は用いる組織切片に応じてｐＨ２．０～１３．０の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はｐＨ６．０～８．０で行うが、特殊な組織切片ではたとえばｐＨ３．０でも行う。
　加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０～１３０℃、時間は５～３０分で行うことができる。
　次いでＰＢＳを入れた容器に、賦活処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また必要により浸漬途中でＰＢＳを交換してもよい。
（２．２）形態染色工程
　形態染色工程は、明視野において細胞、組織、臓器などの形態を観察することができるように可視化させるための染色を行う工程である。
　組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤～濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色～淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている（これら２つの染色を同時に行う方法はヘマトキシリン・エオジン染色（ＨＥ染色）として知られている）。
　形態染色工程は、常法に従って行うことができる。例えば、ＨＥ染色の場合、組織標本をマイヤーヘマトキシリン液に浸漬させて、ヘマトキシリン染色を行った後、流水で組織標本を洗浄し、エオジン液に浸漬させて、エオジン染色を行う。形態染色工程を行う上での条件、すなわち染色液に組織標本を浸漬する際の温度および浸漬時間等は、定法に準じて適宜調整することができる。
（２．３）蛍光染色工程
　蛍光染色工程は、目的物質を蛍光物質集積ナノ粒子によって蛍光観察を行うための染色を行う工程である。蛍光染色工程では、目的物質を染色するために、免疫染色剤の溶液を切片に乗せ、目的物質と反応させる、免疫組織化学染色を行う。蛍光染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
　なお、蛍光染色工程は、形態染色工程の後に行うようにしてもよいし、形態染色工程の前に行うようにしてもよい。
（２．３．１）目的物質
　目的物質とは、主に病理診断の観点からの検出または定量のために、蛍光標識体を用いた免疫組織化学染色の対象とするものをいう。具体的には、組織切片に存在するタンパク質（抗原）、核酸などの生体物質が想定される。さらに、生体に投与される医薬品（抗体医薬や核酸医薬など）に含まれる抗体や核酸なども目的物質の例として挙げられる。本実施形態においては、目的物質として、以下に例示する生体物質のうちいずれかを染色するものとする。
　タンパク質としては、免疫細胞に発現しており、バイオマーカーとして利用することができるタンパク質を挙げることができる。例えば、ＰＤ－１、ＣＴＬＡ－４、ＴＩＭ３、Ｆｏｘｐ３、ＣＤ３、ＣＤ４、ＣＤ８、ＣＤ２５、ＣＤ２７、ＣＤ２８、ＣＤ７０、ＣＤ４０、ＣＤ４０Ｌ、ＣＤ８０、ＣＤ８６、ＣＤ１６０、ＣＤ５７、ＣＤ２２６、ＣＤ１１２、ＣＤ１５５、ＯＸ４０（ＣＤ１３４）、ＯＸ４０Ｌ（ＣＤ２５２）、ＩＣＯＳ（ＣＤ２７８）、ＩＣＯＳＬ（ＣＤ２７５）、４－１ＢＢ（ＣＤ１３７）、４－１ＢＢＬ（ＣＤ１３７Ｌ）、２Ｂ４（ＣＤ２４４）、ＧＩＴＲ（ＣＤ３５７）、Ｂ７－Ｈ３（ＣＤ２７６）、ＬＡＧ-３（ＣＤ２２３）、ＢＴＬＡ（ＣＤ２７２）、ＨＶＥＭ（ＣＤ２７０）、ＧＩＴＲＬ、ガレクチン－９（Ｇａｌｅｃｔｉｎ－９）、Ｂ７－Ｈ４、Ｂ７－Ｈ５、ＰＤ－Ｌ２、ＫＬＲＧ－１、Ｅ－Ｃａｄｈｅｒｉｎ、Ｎ－Ｃａｄｈｅｒｉｎ、Ｒ－ＣａｄｈｅｒｉｎおよびＩＤＯ、ＴＤＯ、ＣＳＦ－１Ｒ、ＨＤＡＣ、ＣＸＣＲ４、ＦＬＴ－３、ＴＩＧＩＴなどが挙げられるが、これらに限定されない。
　核酸としては、ＤＮＡやＲＮＡ関連物質（ｍＲＮＡ、ｔＲＮＡ、ｒＲＮＡ、ｍｉＲＮＡ、ｎｏｎ－ｃｏｄｉｎｇＲＮＡなど）などが挙げられる。
　抗体を成分に含む医薬品としては、抗体を有効成分として含む医薬品のほか、抗がん剤、抗ウイルス剤、抗生物質等を有効成分とし、がん細胞へのデリバリー手段としてがん細胞特異的タンパク質を認識する抗体が含まれる医薬品や、有効成分が標的とする因子（タンパク質）の関連するシグナル伝達経路の因子を標的とする抗体を含む医薬品等が挙げられる。これらの医薬品に含まれる抗体としては、がんの増殖制御因子、転移制御因子又はがん細胞特異的タンパク質などを特異的に認識する抗体が好ましく、モノクローナル抗体でもポリクローナル抗体でも良い。抗体のクラスやサブクラスは特に限定されず、クラスとしては、ＩｇＡ、ＩｇＧ、ＩｇＥ、ＩｇＤ、ＩｇＭなどを挙げることができ、サブクラスとしては、ＩｇＧ１、ＩｇＧ２、ＩｇＧ３、ＩｇＧ４、ＩｇＡ１、ＩｇＡ２などを挙げることができる。なお、本明細書における「抗体」という用語には、全長の抗体だけでなく、Ｆａｂ、Ｆ（ａｂ）’２、Ｆｖ、ｓｃＦｖなどの抗体断片およびキメラ抗体（ヒト化抗体等）、多機能抗体などの誘導体が包含される。
　核酸を成分に含む医薬品としては、ＤＮＡ若しくはＲＮＡである核酸、又はＰＮＡ等の人工核酸であれば特に限定されず、好ましい例としてデコイ、アンチセンス、ｓｉＲＮＡ、ｍｉＲＮＡ、リボザイム、アプタマー及びプラスミドＤＮＡ等を挙げることができる。
（２．３．２）蛍光物質集積ナノ粒子
　蛍光物質集積ナノ粒子（Phosphor Integrated Dot：ＰＩＤ）とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的物質を１分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
　蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質（例えば、後述する蛍光有機色素や量子ドットなど）がその中に内包されている及び／又はその表面に吸着している構造を有する、ナノサイズの粒子であり、蛍光色素集積ナノ粒子、量子ドット集積ナノ粒子などが使用される。
　蛍光物質集積ナノ粒子としては、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
（２．３．２．１）蛍光物質
　蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００～７００ｎｍの範囲内の波長の紫外～近赤外光により励起されたときに、４００～１０００ｎｍの範囲内の波長の可視～近赤外光の発光を示すことが好ましい。
　蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor（インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子等を挙げることができる。
　具体的には、５－カルボキシ－フルオレセイン、６－カルボキシ－フルオレセイン、５，６－ジカルボキシ－フルオレセイン、６－カルボキシ－２’，４，４’，５’，７，７’－ヘキサクロロフルオレセイン、６－カルボキシ－２’，４，７，７’－テトラクロロフルオレセイン、６－カルボキシ－４’，５’－ジクロロ－２’，７’－ジメトキシフルオレセイン、ナフトフルオレセイン、５－カルボキシ－ローダミン、６－カルボキシ－ローダミン、５，６－ジカルボキシ－ローダミン、ローダミン６Ｇ、テトラメチルローダミン、Ｘ－ローダミン、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493／503、BODIPY 530／550、BODIPY 558／568、BODIPY 564／570、BODIPY 576／589、BODIPY 581／591、BODIPY 630／650、BODIPY 650／665（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Cy5、Cy5.5、Cy7等を挙げることができる。単独でも複数種を混合したものを用いてもよい。
　量子ドットとしては、II－VI族化合物、III－V族化合物、又はIV族元素を成分として含有する量子ドット（それぞれ、「II－VI族量子ドット」、「III－V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。
　具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
　上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。例えば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳ等を用いることができるが、これらに限定されない。
　量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）等が挙げられる。
　なお、蛍光物質集積ナノ粒子に集積させる蛍光物質としては、上述したような蛍光有機色素及び量子ドットの他、例えば、Ｙ2Ｏ3、Ｚｎ2ＳｉＯ4 等を母体とし、Ｍｎ2+，Ｅｕ3+等を賦活剤とする「長残光蛍光体」を挙げることができる。
（２．３．２．２）母体
　母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂；スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、ＡＳ樹脂（アクリロニトリル－スチレン共重合体）、ＡＳＡ樹脂（アクリロニトリル－スチレン－アクリル酸メチル共重合体）など、一般的に熱可塑性樹脂に分類される樹脂；ポリ乳酸等のその他の樹脂；多糖を例示することができる。
　母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
（２．３．２．３）量子ドット集積ナノ粒子
　量子ドット集積ナノ粒子とは、上記量子ドットが、上記母体の中に内包されている、及び／又はその表面に吸着している構造を有する。
　量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
（２．３．２．４）蛍光色素集積ナノ粒子
　蛍光色素集積ナノ粒子とは、上記蛍光有機色素が、上記母体の中に内包されている、及び／又はその表面に吸着している構造を有する。
　なお、蛍光有機色素が母体に内包されている場合、蛍光有機色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
（２．３．２．５）蛍光物質集積ナノ粒子の作製
　蛍光物質集積ナノ粒子は、公知の方法に従って作製することができる。
　具体的には、例えば、シリカを母体とし、その中に蛍光物質が内包されている蛍光物質内包シリカ粒子は、量子ドット、蛍光有機色素などの蛍光物質と、テトラエトキシシランのようなシリカ前駆体とが溶解している溶液を、エタノールおよびアンモニアが溶解している溶液に滴下し、シリカ前駆体を加水分解することにより作製することができる。
　一方、樹脂を母体とし、蛍光物質を樹脂粒子の表面に吸着させるか、樹脂粒子中に内包させるかした蛍光物質集積樹脂粒子は、それらの樹脂の溶液ないし微粒子の分散液を先に用意しておき、そこに量子ドット、蛍光有機色素などの蛍光物質を添加して撹拌することにより作製することができる。あるいは、樹脂原料の溶液に蛍光物質を添加した後、重合反応を進行させることにより、蛍光物質集積樹脂粒子を作製することもできる。
　例えば、母体となる樹脂としてメラミン樹脂のような熱硬化性樹脂を用いる場合、その樹脂の原料（モノマーまたはオリゴマーないしプレポリマー、たとえばメラミンとホルムアルデヒドの縮合物であるメチロールメラミン）と、蛍光有機色素と、好ましくはさらに界面活性剤および重合反応促進剤（酸など）とを含有する反応混合物を加熱し、乳化重合法によって重合反応を進行させることにより、蛍光色素集積樹脂粒子を作製することができる。また、母体となる樹脂としてスチレン系共重合体のような熱可塑性樹脂を用いる場合、その樹脂の原料と、蛍光有機色素と（樹脂の原料モノマーとして、あらかじめ有機蛍光色素を共有結合などで結合させたモノマーを用いるようにしてもよい）、重合開始剤（過酸化ベンゾイル、アゾビスイソブチロニトリルなど）を含有する反応混合物を加熱し、ラジカル重合法またはイオン重合法によって重合反応を進行させることにより、蛍光色素集積樹脂粒子を作製することができる。
（２．３．２．６）平均粒径
　本実施の形態で用いられる蛍光物質集積ナノ粒子の平均粒径は特に限定されないが、粒子径が大きいものは抗原にアクセスしにくく、粒子径が小さく輝度値が低いものは蛍光物質集積ナノ粒子の信号がバックグラウンドノイズ（カメラのノイズや細胞の自家蛍光）に埋もれてしまうことから、２０～５００ｎｍ程度のものが好適である。
　また、粒径のばらつきを示す変動係数（＝（標準偏差／平均値）×１００％）は特に限定されないが、２０％以下のものを用いることができ、好ましくは５～１５％である。
　平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、１０００個の粒子の粒径の算術平均を平均粒径とした。変動係数も、１０００個の粒子の粒径分布から算出した値とした。
（２．３．３）抗体
　一次抗体には、目的物質としてのタンパク質を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
　なお、一次抗体は、特定の生体物質（抗原）を特異的に認識して結合する能力を有するものであれば、天然の全長の抗体でなく、抗体断片または誘導体であってもよい。
　二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
　一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物（免疫動物）の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。
（２．３．４）免疫染色剤
　免疫染色剤は、目的物質に直接的又は間接的に結合しうる抗体と標識物質とを、直接的又は間接的に結合させた標識化抗体を、適当な媒体に分散させて生成される。
　なお、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるためには、一次抗体および蛍光物質集積ナノ粒子が間接的に、つまり抗原抗体反応やアビジン・ビオチン反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましいが、これに限定されない。
　抗体及び蛍光ナノ粒子が間接的に連結される免疫染色剤の一例として、［目的物質に対する一次抗体］…［一次抗体に対する抗体（二次抗体）］～［蛍光ナノ粒子（蛍光体集積ナノ粒子）］が挙げられる。ここで、“…”は抗原抗体反応により結合していることを表し、“～”が示す結合の態様としては特に限定されず、例えば、共有結合、イオン結合、水素結合、配位結合、物理吸着または化学吸着等が挙げられ、必要に応じてリンカー分子を介していてもよい。
　二次抗体～蛍光物質集積ナノ粒子結合体は、例えば、無機物と有機物とを結合させるために広く用いられている化合物であるシランカップリング剤を用いて作製することができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖を有するシランカップリング剤（例えば、Ｇｅｌｅｓｔ社製ＰＥＧ－ｓｉｌａｎｅｎｏ．ＳＩＭ６４９２．７）等が挙げられる。シランカップリング剤を用いる場合、２種以上を併用してもよい。
　蛍光物質集積ナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。例えば、得られた蛍光物質を内包したシリカナノ粒子を純水中に分散させ、アミノロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離またはろ過により表面がアミノプロピル基で修飾された蛍光物質を内包したシリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を、蛍光物質を内包したシリカナノ粒子と結合させることができる。なお、必要に応じて、ＥＤＣ（1-Ethyl-3-[3-Dimethylaminopropyl] carbodiimide Hydrochloride：Pierce社製）のような縮合剤を用いることもできる。
　また、必要により、有機分子修飾された蛍光物質を内包したシリカナノ粒子と直接結合しうる部位と、分子標的物質と結合し得る部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基に選択的に反応する部位とメルカプト基に選択的に反応する部位との両方を有するｓｕｌｆｏ－ＳＭＣＣ（Sulfosuccinimidyl-4-[N-maleimidomethyl] cyclohexane-1-carboxylate：Pierce社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光物質を内包したシリカナノ粒子のアミノ基と、抗体中のメルカプト基とを結合させることで、抗体が結合した蛍光物質を内包したシリカナノ粒子が得られる。
　蛍光物質を内包したポリスチレン粒子に生体物質認識部位（生体物質を特異的に認識可能な部位、例えば、ビオチン、アビジン、抗体等）を結合させる場合、蛍光物質が蛍光有機色素あるいは量子ドットの何れの場合であっても、同様の手順を適用することができる。すなわち、アミノ基など官能基を有するポリスチレンナノ粒子に量子ドットまたは蛍光有機色素を含浸することにより、官能基を有する蛍光物質集積ポリスチレン粒子を得ることができ、以降ＥＤＣまたはｓｕｌｆｏ－ＳＭＣＣを用いることで、抗体が結合した蛍光物質集積ポリスチレン粒子ができる。
　抗体及び蛍光ナノ粒子が間接的に連結される免疫染色剤の他の一例として、［目的物質に対する一次抗体］…［一次抗体に対する抗体（二次抗体）］－［ビオチン］／［アビジン］－［蛍光体（蛍光物質集積ナノ粒子）］（ここで、“…”は抗原抗体反応により結合していることを表し、“－”は必要に応じてリンカー分子を介していてもよい共有結合により結合していることを表し、“／”はアビジン・ビオチン反応により結合していることを表す。）という様式によって連結される、３つの分子からなる複合体が挙げられる。
　二次抗体－ビオチン結合体（ビオチン修飾二次抗体）は、所望の抗体（タンパク質）にビオチンを結合させることのできる公知の手法に基づいて、たとえば市販されているビオチン標識試薬（キット）を利用して作製することができる。また、あらかじめ所望の抗体にビオチンが結合されているビオチン修飾二次抗体自体が市販されていれば、それを利用してもよい。
　蛍光物質集積ナノ粒子－アビジン結合体（アビジン修飾蛍光体）も、蛍光体にアビジンを結合させることのできる公知の手法に基づいて、たとえば市販されているアビジン標識試薬（キット）を利用して作製することができる。この場合のアビジンは、ビオチンとの間でアビジンよりも高い結合力が働く、ストレプトアビジンやニュートラアビジンなどの改良型であってもよい。
　蛍光物質集積ナノ粒子－アビジン結合体の作製方法の具体例を挙げれば次の通りである。
　蛍光物質集積ナノ粒子が樹脂を母体とする場合、その樹脂が有する官能基と、アビジン（タンパク質）が有する官能基とを、必要に応じて分子の両末端に官能基を有するＰＥＧ等のリンカー分子を介することにより、結合させることができる。例えば、メラミン樹脂であればアミノ基等の官能基を利用することができるし、アクリル樹脂、スチレン樹脂等であれば、側鎖に官能基（たとえばエポキシ基）を有するモノマーを共重合させることにより、その官能基自体またはその官能基から変換された官能基（例えばアンモニア水を反応させることにより生成するアミノ基）を利用することができるし、さらにはそれらの官能基を利用して別の官能基を導入することもできる。
　また、蛍光物質集積ナノ粒子がシリカを母体とする場合、シランカップリング剤で表面修飾することにより所望の官能基を導入することができ、例えばアミノプロピルトリメトキシシランを用いればアミノ基を導入することができる。
　一方、アビジンに対しては、たとえばＮ－スクシンイミジルＳ－アセチルチオアセテート（ＳＡＴＡ）をアビジンのアミノ基と反応させることにより、チオール基を導入することができる。そして、アミノ基との反応性を有するＮ－ヒドロキシスクシンイミド（ＮＨＳ）エステルおよびチオール基との反応性を有するマレイミド基をポリエチレングリコール（ＰＥＧ）鎖の両端に有するクロスリンカー試薬を利用することにより、アミノ基を有する蛍光物質集積ナノ粒子と、チオール基が導入されたアビジンとを連結することができる。
　蛍光染色工程を行う上での条件、すなわち免疫染色剤の溶液に組織標本を浸漬する際の温度および浸漬時間は、従来の免疫組織化学染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
　温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
　上述したような処理を行う前に、ＢＳＡ含有ＰＢＳなど公知のブロッキング剤やＴｗｅｅｎ２０などの界面活性剤を滴下することが好ましい。
　例えば、免疫染色剤が、［一次抗体（プローブ）］…［二次抗体］－［ビオチン］／［アビジン］－［蛍光ナノ粒子（蛍光物質集積ナノ粒子等）］という複合体である場合、最初に一次抗体の溶液に組織標本を浸漬する処理（１次反応処理）、次に二次抗体－ビオチン結合体の溶液に組織標本を浸漬する処理（２次反応処理）、最後に本発明に係る蛍光ナノ粒子用希釈液に分散させたアビジン－蛍光ナノ粒子の溶液に組織標本である組織切片を浸漬する処理（蛍光標識処理）を行えばよい。
（２．４）標本後処理工程
　形態染色工程及び蛍光染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
　固定化・脱水処理は、組織標本を固定処理液（ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノールなどの架橋剤）に浸漬すればよい。透徹処理は、固定化・脱水処理を終えた組織標本を透徹液（キシレンなど）に浸漬すればよい。封入処理は、透徹処理を終えた組織標本を封入液に浸漬すればよい。
　これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
（３）画像取得工程
　画像取得工程では、まず、顕微鏡画像取得装置１Ａを明視野ユニットに設定したうえで所望の倍率に設定し、形態染色工程によって染色された組織標本全体の明視野画像を観察・撮影する。
　次いで、顕微鏡画像取得装置１Ａを蛍光ユニットに設定し、蛍光染色工程に用いられた目的物質を蛍光標識するそれぞれの蛍光物質に対応した励起光を組織標本に照射し、それらの蛍光物質から発せられた蛍光による組織標本全体の蛍光画像を観察・撮影する。
（４）スコア作成工程
　スコア作成工程では、まず明視野画像における領域、構造及び細胞種などの複数種の情報を取得し、各々の情報を組み合わせてスコア化した形態スコアを算出する。
　画像処理及びスコア化に用いることができるソフトウェアとしては、例えば「ＩｍａｇｅＪ」（オープンソース）が挙げられる。このような画像処理ソフトウェアを利用することにより、一細胞ごとに識別可能に染色された明視野画像から、細胞ごとの形状や、細胞が集まって形成された領域、構造の形状に基づいて、領域、構造及び細胞種の判別を行う処理や、領域、構造及び細胞種の数、面積などの情報に基づいてスコアを算出する処理などを半自動的に、迅速に行うことができる。
　続いて、蛍光画像における目的物質の存在に関する情報を取得し、スコア化して生体物質スコアを得る。なお、目的物質の存在に係る情報とは、目的物質（タンパク質、核酸、医薬品に含まれる抗体など）の一細胞内の存在量や、目的物質の細胞内局在などの情報が挙げられる。即ち、目的物質に関して撮影された蛍光画像について、情報提供装置２Ａにおいて画像処理を実行し、目的物質に対応する蛍光の輝点などの蛍光標識シグナルを抽出し、各輝点の座標を特定、あるいはこれらの数を計測して目的物質の存在量や細胞内局在を定量化してスコア化する。なお、生体物質スコアは、複数種類の目的物質を染色した場合には、各々について算出することができる。
　画像処理及び発現解析にも、上記した「ＩｍａｇｅＪ」（オープンソース）などのソフトウェアを利用することができる。即ち、蛍光画像から、所定の波長（色）の輝点を抽出し、そのうち所定の輝度以上の輝点の数を計測する処理などを半自動的に、迅速に行うことができる。
　最後に、明視野画像において算出した形態スコアと、蛍光画像において算出した生体物質スコアとを合算して、最終的な解析スコアを作成する。
（５）領域可視化工程
　本実施形態に係る病理診断支援システム１００においては、必要に応じて、腫瘍領域と間質領域とを識別するための蛍光染色を行う工程を含むことができる。即ち、例えば間質領域に多く存在する物質を蛍光標識し、蛍光観察を行うことで、蛍光が観測される間質領域と、蛍光が観察されないか、あるいは微弱な傾向が観察される腫瘍領域との境界を、ユーザーが蛍光観察によって確認することが可能となる。これにより、明視野画像に基づく腫瘍領域と間質領域との識別をサポートすることができる。
　具体的には、以下の染色が有効である。
（５．１）サイトカインの蛍光染色
　間質領域中に存在するサイトカインを蛍光標識することで、腫瘍領域と間質領域を蛍光観察によって明確に識別することができる。即ち、腫瘍領域に比べ、間質領域においてはサイトカインが多量に存在するため、蛍光輝度の違いにより腫瘍領域と間質領域との境界を視認することができる。
　本工程においては、サイトカインを抗原として特異的に認識して結合する抗体（ＩｇＧ）を用い、当該抗体を蛍光物質で標識した免疫染色剤を用いて組織標本を染色する。なお、蛍光標識に用いる蛍光物質は、蛍光物質集積ナノ粒子に限定されず、単体の蛍光色素を用いても腫瘍領域と間質領域とを十分に識別することができる。
　具体的には、上記「（２．３）蛍光染色工程」と同様の手順によって染色することができる。また、サイトカインの蛍光染色は、上記「（２．３）蛍光染色工程」における目的物質の蛍光染色と同時に行うことが可能である。ただし、目的物質を標識した蛍光物質集積ナノ粒子とは、蛍光波長の異なる蛍光物質を用いることが望ましい。
　サイトカインの例としては、ＩＬ－１、ＩＬ－２、ＩＬ－４、ＩＬ－６、ＩＬ－１０、ＩＬ－１２、ＩＬ－１８、ＩＦＮ－α、ＩＦＮ－β、ＩＦＮ－γ、ＴＮＦ、ＴＧＦ－βが挙げられる。
（５．２）免疫細胞におけるタンパク質の蛍光染色
　免疫細胞におけるタンパク質とは、ここでは免疫細胞に特異的に発現するタンパク質を指し、これを蛍光標識することでも、腫瘍領域と間質領域を蛍光観察によって明確に識別することができる。即ち、間質領域における免疫細胞に基づく蛍光輝度が、腫瘍領域における免疫細胞に基づく蛍光輝度に比べて大幅に大きいため、輝度の違いから領域の境界を視認することができる。なお、上記「（２．３）蛍光染色工程」において間質領域に高発現するタンパク質の蛍光染色を行う場合には、目的物質の蛍光観察によって本工程を代替することができるが、これを行わない場合には、本工程で以下に例示するタンパク質を蛍光染色することが有効である。
　本工程においては、免疫細胞におけるタンパク質を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用い、当該抗体を蛍光物質で標識した免疫染色剤を用いて組織標本を染色する。蛍光標識をするための蛍光物質は、蛍光物質集積ナノ粒子に限定されず、単体の蛍光色素でも腫瘍領域と間質領域とを十分に識別することができる。なお、染色は、上記「（２．３）蛍光染色工程」同様の手順によって行うことができる。
　免疫細胞におけるタンパク質の例としては、ＰＤ－１、ＣＴＬＡ－４、ＴＩＭ３、Ｆｏｘｐ３、ＣＤ３、ＣＤ４、ＣＤ８、ＣＤ２５、ＣＤ２７、ＣＤ２８、ＣＤ７０、ＣＤ４０、ＣＤ４０Ｌ、ＣＤ８０、ＣＤ８６、ＣＤ１６０、ＣＤ５７、ＣＤ２２６、ＣＤ１１２、ＣＤ１５５、ＯＸ４０（ＣＤ１３４）、ＯＸ４０Ｌ（ＣＤ２５２）、ＩＣＯＳ（ＣＤ２７８）、ＩＣＯＳＬ（ＣＤ２７５）、４－１ＢＢ（ＣＤ１３７）、４－１ＢＢＬ（ＣＤ１３７Ｌ）、２Ｂ４（ＣＤ２４４）、ＧＩＴＲ（ＣＤ３５７）、Ｂ７－Ｈ３（ＣＤ２７６）、ＬＡＧ-３（ＣＤ２２３）、ＢＴＬＡ（ＣＤ２７２）、ＨＶＥＭ（ＣＤ２７０）、ＧＩＴＲＬ、ガレクチン－９（Ｇａｌｅｃｔｉｎ－９）、Ｂ７－Ｈ４、Ｂ７－Ｈ５、ＰＤ－Ｌ２、ＫＬＲＧ－１、Ｅ－Ｃａｄｈｅｒｉｎ、Ｎ－Ｃａｄｈｅｒｉｎ、Ｒ－ＣａｄｈｅｒｉｎおよびＩＤＯ、ＴＤＯ、ＣＳＦ－１Ｒ、ＨＤＡＣ、ＣＸＣＲ４、ＦＬＴ－３、ＴＩＧＩＴが挙げられる。
＜病理診断支援システム１００の動作＞
　以下、病理診断支援システム１００において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、免疫細胞において発現するタンパク質から任意のものを目的物質として選択し、当該目的物質を認識する生体物質認識部位が結合した蛍光物質集積ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明する。
　まず、操作者は、ＨＥ染色試薬と、目的物質を認識する生体物質認識部位が結合した蛍光物質集積ナノ粒子を蛍光標識材料とした染色試薬との、２種の染色試薬を用いて組織標本を染色する。
　その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）～（ａ５）の手順により明視野画像及び蛍光画像が取得される。
（ａ１）操作者は、ＨＥ染色試薬と蛍光物質集積ナノ粒子を含む染色試薬とによりそれぞれ染色された組織標本をスライドに載置し、当該スライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行う。
（ａ３）撮像手段で組織標本全体の撮影を行って明視野画像の画像データを生成し、情報提供装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で組織標本全体の撮影を行って蛍光画像の画像データを生成し、情報提供装置２Ａに画像データを送信する。
　続いて、情報提供装置２Ａにおいて、画像取得工程、スコア作成工程、情報提示工程を実行する。
　図３に、情報提供装置２Ａにおける処理のフローチャートを示す。図３に示す処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　まず、制御部２１の制御下で、通信Ｉ／Ｆ２４を介して顕微鏡画像取得装置１Ａからの明視野画像が入力されると（ステップＳ１：画像取得工程）、スコア算出対象の特定が行われる（ステップＳ２）。
　図４に、ステップＳ２における処理の詳細フローを示す。ステップＳ２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　ステップＳ２においては、まず、細胞種の特定が行われる（ステップＳ２１）。
　図５に、ステップＳ２１における処理の詳細フローを示す。ステップＳ２１の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　ステップＳ２１においては、まず、細胞核の抽出が行われる（ステップＳ２１１）。
　具体的には、まず、明視野画像がモノクロ画像に変換され、モノクロ画像に対してあらかじめ定められた閾値を用いた閾値処理が施され、各画素の値が２値化される。
　さらに、クロージング処理やオープニング処理が施されることによりノイズ処理が実施される。ノイズ処理後には、細胞核が抽出された画像（細胞核画像）が得られる。
　次いで、ノイズ処理後の画像にラベリング処理が施され、抽出された細胞核のそれぞれにラベルが付与される。ラベリング処理とは、連結している画素に同じラベル（番号）を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ処理後の画像から各細胞核を識別してラベルを付与することができる。
　なお、ステップＳ２１１においては、細胞核を抽出する方法の他、細胞自体を抽出するものとしてもよい。この場合、ノイズ処理後には細胞が抽出された画像が取得され、ラベリング処理により各細胞にラベルが付与される。
　続いて、細胞特徴量が算出される（ステップＳ２１２）。
　具体的には、ステップＳ２１１で抽出された細胞核画像内の全細胞核について、細胞核画像から、細胞核の面積Ａ、細胞核の平均濃度Ｂ、細胞核内のピクセル輝度バラつき（σ値）Ｃ、細胞核の円形度Ｄ、細胞核の扁平率Ｅなどの細胞特徴量が算出される。
　細胞核の面積Ａについては、予め細胞核画像に対応した基準となる長さを測定することで画素（ピクセル）の大きさを算出し、ステップ２１１で抽出された各細胞核内の画素数を積算することにより、細胞核の面積Ａが決定される。
　細胞の平均濃度Ｂは、細胞核内の各画素（ピクセル）のグレイスケールに変換した輝度信号値を求め、その平均値を算出することにより決定される。
　ピクセル輝度バラツキＣは、細胞核内の各画素（ピクセル）の輝度信号値の標準偏差を算出することにより決定される。
　細胞核の円形度Ｄ及び扁平率Ｅは、ステップ２１１で抽出された各細胞核について、細胞核画像から得られる一定の値を、下記式（ｄ）、（ｅ）に当てはめることで決定される。
　　　（円形度Ｄ)＝４πＳ／Ｌ２　…　（ｄ）
　　　（扁平率Ｅ)＝（ａ－ｂ）／ａ　…　（ｅ）
　ただし、式（ｄ）中、「Ｓ」は細胞の面積（細胞核の面積Ａ）を、「Ｌ」は細胞核の外周長をそれぞれ表す。式（ｅ）中、「ａ」は長半径を、「ｂ」は短半径をそれぞれ表す。
　次いで、算出された細胞特徴量に基づいて、細胞特徴量の閾値処理が実行される（ステップＳ２１３）。例えば、上記した細胞特徴量Ａ～Ｅについて、腫瘍細胞と正常細胞とを識別するための閾値が設定され、細胞核画像上の全ての細胞核に対してこれらの閾値処理を施し、腫瘍細胞又は正常細胞として特定する。また、間質領域における免疫細胞、炎症細胞、線維芽細胞、内皮細胞等の細胞種を識別するための閾値処理を行ってもよい。その他、識別したい細胞種に応じて、任意の閾値を設定することで、種々の細胞種を特定することができる。
　なお、上記した細胞特徴量の因子Ａ～Ｅは一例であって、細胞特徴量の因子として上記とは異なる別の因子が使用されてよい。例えば、病理診断において腫瘍細胞と正常細胞を比較する際には、細胞の大きさ及び形状、細胞核の位置、大きさ、形状の変化及び核***像、細胞質の色や粘液産生の有無及び細胞核／細胞質面積比などが観察される。このような、実際の病理診断時に注目される項目を細胞特徴量として抽出して、細胞種の特定に用いてもよい。
　続いて、血管、リンパ管、分泌腺などの構造の特定が行われる（ステップＳ２２）。
　ステップＳ２２においては、例えば、細胞核画像から細胞が一定量集合して形成された構造を抽出する。続いて、抽出された各構造から、構造の面積、平均輝度、輝度のばらつき、扁平率、円形度などの特徴量を算出し、当該特徴量に基づいて、血管、リンパ管、分泌腺などを識別する。
　続いて、領域の特定が行われる（ステップＳ２３）。
　領域の特定においては、腫瘍細胞が一定量集合して存在する腫瘍領域と、間質細胞が一定量集合して存在する間質領域と、が特定される。
　ステップＳ２３においては、例えば、ステップＳ２１において細胞核画像上で腫瘍細胞と特定された細胞（細胞核）の集合が、所定の面積以上を占めている場合に、当該腫瘍細胞の集合を腫瘍領域として特定することができる。同様に、ステップＳ２１において間質細胞と特定された細胞（細胞核）の集合が、所定の面積以上を占めている場合に、当該間質細胞の集合を間質領域として特定することができる。
　ステップＳ２３の処理により、スコア算出対象の特定が完了する。
　なお、上記ステップＳ２１～ステップＳ２３におけるスコア算出対象の特定処理は、基本的には、制御部２１と記憶部２５に記憶されているプログラムとの協働にて自動で行われるが、かかる処理には病理医などのユーザーによる補助作業を伴ってもよい。
　ユーザーによる補助作業とは、例えば、ステップＳ２１の領域の特定処理においては、入力された情報提供装置２Ａの表示部２３に表示された明視野画像に対して、ユーザーによって明視野画像上の特定の領域を、操作部２２を用いて多角形や自由曲線等の閉じた図形で囲むことにより選択し、各選択箇所を「腫瘍領域」、「間質領域」など定義づける動作を含む。また、蛍光画像における蛍光を観察することにより、明視野画像における領域の特定処理の結果を確認する動作を含む。
　ステップＳ２２の構造の特定処理及びステップＳ２３の細胞種の特定処理においても、同様にユーザーによって明視野画像上で選択及び定義づけする動作を含む。
　また、ステップＳ２３３の細胞特徴量の閾値処理においては、例えば、記憶部２５に記憶されているプログラムに対し細胞特徴量の各閾値を段階的に調整し、特定された細胞種の目視による確認等を含む。
　また、上記ステップＳ２１～ステップＳ２３におけるスコア算出対象の特定処理は、上記の手法のほか、機械学習によってトレーニングされた画像認識技術を用いて、自動的に行うものとしてもよい。即ち、例えばニューラルネットワーク、ランダムフォレスト、ＳＶＭ（Support Vector Machine）などの手法を用いて、明視野画像に出現する領域、構造、細胞種を学習させることで、入力された明視野画像におけるこれらの項目の特定を自動的に行うことができる。
　続いて、形態スコアの算出が行われる（ステップＳ３：スコア作成工程）。
　図６に、ステップＳ３における処理の詳細フローを示す。ステップＳ２４の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　ステップＳ３においては、まず、領域に基づくスコアが算出される（ステップＳ３１）。
　領域に基づくスコアとは、組織切片上に存在する腫瘍領域及び間質領域などの種々の領域から得られる情報をスコア化したものである。腫瘍領域の大きさはがんの悪性度と関連付けられるため、例えば、撮像した組織切片の全体の面積のうちの腫瘍領域が占める割合や、全体の面積のうちの腫瘍領域及び間質領域が占める面積の割合、間質領域の面積と腫瘍領域の面積の比などをスコア化することが有効である。
　続いて、構造に基づくスコアが算出される（ステップＳ３２）。
　構造に基づくスコアとは、組織切片上に存在する血管、リンパ管及び分泌管など種々の構造から得られる情報をスコア化したものである。血管の密度ががんの悪性度の評価指標となることが知られているため、例えば、がんの悪性度に関連する構造の、組織切片上の存在の有無、密度又は出現数などをスコア化することが有効である。
　続いて、細胞種に基づくスコアが算出される（ステップＳ３３）。
　細胞種に基づくスコアとは、組織切片上に存在する腫瘍細胞、間質細胞などの細胞種から得られる情報をスコア化したものである。例えば、がん細胞及び正常細胞のそれぞれの、組織切片上に存在する数をスコア化してもよい。また、これらのがん細胞の組織切片上の密度や、腫瘍領域におけるがん細胞と、間質領域における免疫細胞との距離など、異なる細胞種間の距離や、腫瘍領域におけるがん細胞と間質領域における血管との距離などの、特定の細胞出と特定の構造との距離といった、病理診断において注目される種々の情報をスコア化してもよい。
　ステップＳ３３の処理により、形態スコアの算出が完了し、図３に戻る。
　なお、ステップＳ３１～ステップＳ３３においては、目的に応じて各スコアに重みづけを行っても良いし、任意の段階でスコアの小計を算出し、小計に対して重みづけを行っても良い。ただし、領域、構造、及び細胞種に基づくそれぞれのスコアの算出は、ステップＳ３１～ステップＳ３３の順序で行うことが望ましい。即ち、例えば、まず組織切片上に存在する腫瘍領域の面積等を評価し、次いで組織切片上に存在する血管などの構造を評価し、次いで腫瘍細胞の数や配置等を評価する順序とすることで、病理医が実際に組織標本を観察して診断を行う場合の順序と同一となり、臨床における診断手法に近づけることができるため、支援情報の精度の向上が期待できる。
　また、上記した領域スコア、構造スコア及び細胞種スコアの算出方法は一例であって、これに限定されない。その他、病理診断において注目される項目をスコア化するのが望ましい。
　一方で、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの蛍光画像が入力されると（ステップＳ４：画像取得工程）、蛍光画像から蛍光輝点が抽出される（ステップＳ５）。
　ステップＳ５においては、まず、蛍光画像からＲ成分の抽出が行われ、Ｒ成分が抽出された画像にＴｏｐｈａｔ変換が施される。Ｔｏｐｈａｔ変換は、入力画像の各画素の値から、入力画像に最小値フィルター及び最大値フィルターをこの順でかけた画像の、対応する画素の値を減算する処理である。最小値フィルターは、注目画素の近傍の画素（例えば、３×３画素）のうちの最小値で注目画素の値を置き換えるものである。最大値フィルターは、注目画素の近傍の画素（例えば、３×３画素）のうちの最大値で注目画素の値を置き換えるものである。Ｔｏｐｈａｔ変換により、濃淡プロファイル上の小突起（近傍の画素に比べて輝度の高い領域）を抽出することができる。これにより、蛍光輝点候補画像を得ることができる。次いで、蛍光輝点候補画像からノイズ除去が行われることにより、蛍光輝点が抽出された画像（蛍光輝点画像）が得られ、ノイズ除去後の画像にラベリング処理が施され、抽出された蛍光輝点のそれぞれにラベルが付与される。
　続いて、生体物質スコアの算出が行われる（ステップＳ６：スコア作成工程）。
　図７に、ステップＳ６における処理の詳細フローを示す。ステップＳ６の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　ステップＳ６においては、まず、明視野画像と蛍光画像とで共通に検出される情報源に基づき、明視野画像と蛍光画像との各画像の位置合わせが行われる（ステップＳ６１）。当該位置合わせに用いられる明視野画像はステップＳ２で得られた細胞核画像であり、当該位置合わせに用いられる蛍光画像はステップＳ５で得られた蛍光輝点画像である。
　明視野画像と蛍光画像とで共通に検出される情報源としては、明視野画像及び蛍光画像の両方で認識可能な情報が用いられ、本実施形態では組織切片の染色材料であるエオジンの染色情報が用いられる。エオジンの染色情報からは、明視野画像及び蛍光画像の各画像においてその画像を特徴付けるコントラスト情報やエッジ情報、輪郭情報等の画像特徴量が算出される。
　明視野画像及び蛍光画像のそれぞれのエオジンの染色情報から、各画像におけるコントラスト情報、エッジ情報及び輪郭情報が算出される。そしてこれら画像間の情報同士が比較され、その共通点を合致させることにより、明視野画像と蛍光画像との位置合わせが行われる。
　次いで、位置合わせ後の明視野画像（ステップＳ２で得られた細胞核画像）と蛍光画像（ステップＳ５で得られた蛍光輝点画像）との両画像から、各細胞内の目的物質の存在状況の判定が行われる（ステップＳ６２）。
　具体的には、例えば、明視野画像と蛍光画像とを重ね合わせた状態において、ステップＳ２３で特定した細胞に対応する部分の蛍光輝点数が算出される。また、蛍光輝点数のほか、輝点領域ごとに輝度値を算出し、その蛍光画像中のすべての輝点領域の輝度値を総計した輝度積分値を算出するものとしてもよい。
　続いて、存在状況に応じたスコアが算出される（ステップＳ６３）。
　存在状況に応じたスコアは、一細胞当たりの目的物質の存在量や細胞内局在等に応じて算出されるスコアである。なお、複数の目的物質を蛍光染色した場合には、ステップＳ５及びステップＳ６の処理は各目的物質について行い、各目的物質についての生体物質スコアを得ることができる。
　ステップＳ６３により、生体物質スコアの算出を完了する。
　続いて、解析スコアの算出が行われる（ステップＳ７：スコア作成工程）。
　解析スコアの算出は、ステップＳ３で算出した形態スコアと、ステップＳ６で算出した生体物質スコアを合算することで行われる。
　なお、形態スコア及び生体物質スコアの合算に際して、ユーザーが欲する支援情報を得られるように、任意の重みづけを行ってもよい。
　次いで、算出された解析スコアを表示部２３に表示させる（ステップＳ８：情報提示工程）。これにより、ユーザーが、情報提供装置２Ａによって支援情報として提示された解析スコアを確認することができる。なお、ステップＳ８においては、解析スコアの提示の態様は特に限定されず、解析スコアを数値のみの状態で提示するものとしても良いし、明視野画像及び蛍光画像上に解析スコア（形態スコア及び生体物質スコアの状態でも良い）を表示した状態で提示するものとしても良い。解析スコアと画像が関連付けられて表示されると、解析スコアと組織切片の状態との関係性を視認しやすく、ユーザーにとって利便性が高い。
　以上により、情報提供装置２Ａにおける処理を終了する。
　以上説明したように、本実施形態に係る情報提供方法においては、組織切片のデジタル化された明視野画像から複数種の情報を取得し、これらの情報を組み合わせてスコア化した解析スコアを作成し、支援情報としてユーザーに提示する。実際の病理診断等においては、単一の情報（例えば、腫瘍細胞の数）のみではなく、組織切片から得られる複数種の情報（例えば、腫瘍細胞の数と免疫細胞の数）に基づいて行われる。本実施形態に係る情報提供方法においては、実際の判断時と同様に、複数種の情報を加味して組織切片を総合的に評価した解析スコアを提供する。これにより、解析スコアが種々の判断における高精度な指標として機能し、ユーザーが解析スコアの値に基づき病理診断等を行えるほか、ユーザーが情報提供装置２Ａに表示された解析スコアと、自身が組織切片を観察して行った病理診断等の結果と照らし合わせることで、自身の判断の精度を確認することが可能となる。
　また、組織切片の画像をデジタル解析して評価を行うため、病理医等による主観的な判断に比べ、客観的な情報を提供することができ、本実施形態に係る情報提供方法によって病理診断等の種々の判断がサポートされ、精度の向上を図ることができる。
　また、バーチャル顕微鏡スライド作成装置を用いて顕微鏡画像を取得することで、代表的視野から判断を行う必要がなく、組織切片全体を観察して判断することができる。
　また、解析スコアは、領域、構造、細胞種から得られる情報を組み合わせて作成することができる。実際の病理医による病理診断等と同様に、これらの関係性に基づいて総合的に評価するため、精度の高い支援情報を提供することができる。
　さらに、腫瘍領域におけるがん細胞と間質領域における免疫細胞との距離や、がん細胞と血管などの特定の構造との距離など、領域、構造及び細胞種の間の局在の関係性に係る情報を用いて解析スコアを作成することで、より信頼性の高い支援情報を提供することができる。
　また、領域、構造及び細胞種のそれぞれについてスコア化することを基本とし、目的に応じてスコア化する項目及び重みづけを設定することで、ユーザーが欲する情報をスコアとして提示することができる。
　また、蛍光物質集積ナノ粒子により特定の生体物質を蛍光観察可能に染色することにより、生体物質の存在量と関連付けて解析スコアを、病理診断等における新たな指標とすることができる。
　また、領域染色工程によって領域の染め分けを行うことで、領域境界を明確に視認することができるようになり、支援情報の信憑性が増す。
　なお、上記実施形態においては、目的物質の蛍光染色を行うものとしたが、蛍光染色工程は省略することも可能である。
　本発明は、上記したように、病理切片から得られる情報を自動的にスコア化して提示することで病理医等による種々の判断をサポートすることを目的とするが、これは、明視野画像から得られる複数種の情報（領域、構造及び細胞種に係る情報）を組み合わせたスコアによって、実際に病理医等が判断を行う際の判断基準に近い方法で病理切片を評価した結果を得ることができるため、十分にその目的を達成することができる。
　即ち、特許文献１及び特許文献２のように、生体物質を蛍光染色することが必ずしも必要ではなく、形態染色工程のみによっても解析スコアを作成することが可能であるため、染色ごとのスライド間のばらつきや手間を省略することができる。
　以下、図８を用いて解析スコアの算出の具体的な例を説明する。
　図８Ａは、被検体から採取された組織切片にＨＥ染色を施した組織標本を、顕微鏡画像取得装置１Ａの明視野ユニットを用いて撮影して得られた明視野画像２００である。図８Ａに示すように、明視野画像２００上に、腫瘍領域２１０及び間質領域２２０が存在し、間質領域２２０には血管２３０が存在する。
　なお、組織切片は、蛍光物質集積ナノ粒子を用いて目的物質（ＨＥＲ２）を染色しており、図示を省略するが、顕微鏡画像取得装置１Ａの蛍光ユニットを用いて、明視野画像２００と同一の視野の蛍光画像を取得した。
　図８Ｂは、ユーザーが欲する支援情報が出力されるように、スコア化に用いる情報が設定され、またスコアの重みづけが定義された、解析スコアの算出手順を示すフローチャートである。以下、図８Ａに示す組織標本を例に、図８Ｂに示すフローに従った解析スコアの算出方法について説明する。
　まず、領域面積をスコア化する（ステップＳ１０１）。ここでは、腫瘍領域２１０及び間質領域２２０の面積が、組織標本全体の面積に占める割合をスコア化した値Ｎ１を算出するものとし、Ｎ１を、（腫瘍領域２１０及び間質領域２２０の面積／明視野画像２００の面積）の式で得られる値を規格化した値とする。
　図８Ａの組織標本からは、Ｎ１＝４０が得られた。
　続いて、構造の有無をスコア化する（ステップＳ１０２）。ここでは、組織標本上の血管の有無をスコア化した値Ｎ２を得るものとし、血管ありの場合はＮ２＝２０とし、血管無し場合はＮ２＝０とする。
　図８Ａの組織標本においては、間質領域２２０に血管２３０が観察されるため、Ｎ２＝２０が得られた。
　続いて、構造出現数に基づいて、Ｎ１及びＮ２に重みづけを行う（ステップＳ１０３）。ここでは、組織標本上の血管の出現数が所定の数よりも多い場合には、Ｎ３＝（Ｎ１＋Ｎ２）×２とし、所定の数よりも少ない場合には、Ｎ３＝（Ｎ１＋Ｎ２）×１とする。
　図８Ａの組織標本においては、血管２３０が所定の数よりも多いため、Ｎ３＝（Ｎ１＋Ｎ２）×２＝（４０＋２０）×２＝１２０が得られた。
　続いて、細胞種数をスコア化する（ステップＳ１０４）。ここでは、組織標本上の腫瘍細胞の数をスコア化した値Ｎ４を得るものとし、Ｎ４を、腫瘍細胞の数を規格化した値とする。
　図８Ａの組織標本からは、Ｎ４＝３０が得られた。
　続いて、細胞種密度をスコア化する（ステップＳ１０５）。ここでは、組織標本上の腫瘍細胞の密度をスコア化した値Ｎ５を得るものとし、組織標本上の腫瘍細胞の密度が所定の密度よりも高い場合には、Ｎ５＝１０とし、所定の密度よりも低い場合には、Ｎ５＝０とする。
　図８Ａの組織標本においては、腫瘍細胞の密度が所定の密度よりも高いため、Ｎ５＝１０が得られた。
　続いて、細胞間距離に基づいてＮ４及びＮ５に重みづけを行う（ステップＳ１０６）。
ここでは、組織標本上の腫瘍領域２１０における腫瘍細胞と、間質領域２２０における免疫細胞との距離が、所定の距離よりも短い（細胞同士が近い）場合には、Ｎ６＝（Ｎ４＋Ｎ５）×２とし、所定の距離よりも大きい（細胞同士が遠い）場合には、Ｎ６＝（Ｎ４＋Ｎ５）×１とする。
　図８Ａの組織標本においては、細胞間距離が所定の距離よりも小さいためＮ６＝（Ｎ４＋Ｎ５）×２＝（３０＋１０）×２＝８０が得られた。
　続いて、生体物質スコアＮ７を算出する（ステップＳ１０８）。ここでは、生体物質スコアは、目的物質の存在量に基づき、蛍光物質集積ナノ粒子の輝点の数をスコア化した値Ｎ７を得るものとし、Ｎ７を、蛍光輝点数を規格化した値とする。
　図８Ａの組織標本からは、Ｎ７＝５０が得られた。
　以上のように算出された各スコアを合算して、解析スコアＮを取得する（ステップＳ１０８）。ここでは、Ｎ＝Ｎ３＋Ｎ６＋Ｎ７とする。
　図８Ａの組織標本からは、Ｎ＝Ｎ３＋Ｎ６＋Ｎ７＝１２０＋８０＋５０＝２５０が得られた。
　この解析スコアＮ＝２５０をユーザーに提示する。例えば、予め解析スコアの数値が、がん悪性度に紐づけられている場合には、ユーザーは解析スコアを参照して被検者のがんの悪性度を判断することができる。このように、解析スコアを病理診断等における種々の指標とすることができる。
[他の実施形態]
　以上、本発明を適用した好ましい実施形態について説明したが、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
　上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
　その他、病理診断支援システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　本発明は、組織切片から得られる情報に基づいて行われる種々の判断のための、客観的かつ高精度な支援情報を提供することが可能な情報提供方法、情報提供装置及びプログラムに利用することができる。
１００　病理診断支援システム
１Ａ　顕微鏡画像取得装置
２Ａ　情報提供装置
２１　制御部（画像取得部、スコア算出部、情報提示部）
２２　操作部
２３　表示部
２４　通信Ｉ／Ｆ
２５　記憶部
Ｎ　通信ネットワーク

Claims (8)

  1. 　組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供方法であって、
    　明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得工程と、
    　前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成工程と、
    　前記解析スコアを、前記支援情報として提示する情報提示工程と、を備える
    　情報提供方法。
  2. 　前記画像取得工程において、前記組織切片の全体を撮像可能なバーチャル顕微鏡スライド作成装置で撮像することによって得られた、前記組織切片の全体の明視野画像を取得する
    　請求項１に記載の情報提供方法。
  3. 　前記スコア作成工程において、前記組織切片に存在する領域、構造及び細胞種のうち少なくともいずれか二つに係る複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成する
    　請求項１又は２に記載の情報提供方法。
  4. 　前記スコア作成工程において、前記組織切片に存在する領域、構造及び細胞種の間の局在の関係性に係る情報を取得する
    　請求項３に記載の情報提供方法。
  5. 　前記組織切片は、蛍光物質を複数集積した蛍光物質集積ナノ粒子に生体物質認識部位を結合した染色試薬を用いて、当該組織切片に存在する特定の生体物質が蛍光観察可能に染色され、
    　前記画像取得工程において、さらに、前記組織切片のデジタル化された蛍光画像を取得し、
    　前記スコア作成工程において、さらに、前記蛍光画像から前記特定の生体物質の存在に係る情報を取得し、前記複数種の情報と組み合わせてスコア化した解析スコアを作成する
    　請求項３又は４に記載の情報提供方法。
  6. 　前記組織切片上の特定の領域に存在する生体物質を、蛍光物質により蛍光観察可能に染色する領域可視化工程を備える
    　請求項１から５のいずれか一項に記載の情報提供方法。
  7. 　組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置であって、
    　明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部と、
    　前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部と、
    　前記解析スコアを、前記支援情報として提示する情報提示部と、を備える
    　情報提供装置。
  8. 　組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置のコンピューターを、
    　明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部、
    　前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部、
    　前記解析スコアを、前記支援情報として提示する情報提示部、
    　として機能させるためのプログラム。
PCT/JP2020/004478 2019-02-15 2020-02-06 情報提供方法、情報提供装置及びプログラム WO2020166469A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020572199A JPWO2020166469A1 (ja) 2019-02-15 2020-02-06 情報提供方法、情報提供装置及びプログラム
US17/429,246 US20220138937A1 (en) 2019-02-15 2020-02-06 Information provision method, information provision device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-025027 2019-02-15
JP2019025027 2019-02-15

Publications (1)

Publication Number Publication Date
WO2020166469A1 true WO2020166469A1 (ja) 2020-08-20

Family

ID=72045593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004478 WO2020166469A1 (ja) 2019-02-15 2020-02-06 情報提供方法、情報提供装置及びプログラム

Country Status (3)

Country Link
US (1) US20220138937A1 (ja)
JP (1) JPWO2020166469A1 (ja)
WO (1) WO2020166469A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014489A1 (ja) * 2022-07-12 2024-01-18 国立大学法人東京工業大学 解析システム、解析装置、解析プログラム、及び解析方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS594745B2 (ja) * 1976-10-09 1984-01-31 株式会社東芝 細胞診装置
JPH10197522A (ja) * 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2006517663A (ja) * 2003-02-11 2006-07-27 キネティック リミテッド 画像解析
JP2013537969A (ja) 2010-09-10 2013-10-07 ユニベルシテ、ド、ベルサイユ‐エステ、カンタン、アン、イブリーヌ 画像解析による固形腫瘍進行の予後検査
WO2015190225A1 (ja) * 2014-06-12 2015-12-17 コニカミノルタ株式会社 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP2016503167A (ja) * 2012-12-28 2016-02-01 ザ ユニバーシティー オブ メルボルン 乳癌予知のための画像分析
WO2016093090A1 (ja) * 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
JP2016518813A (ja) * 2013-03-15 2016-06-30 ベンタナ メディカル システムズ， インコーポレイテッド デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム
US9412006B1 (en) * 2013-02-25 2016-08-09 Flagship Biosciences, Inc. Continuous tissue analysis scoring scheme based on cell classifications
JP2016530505A (ja) 2013-07-15 2016-09-29 アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル 固形癌を患う患者の生存期間の予後判定のための方法
JP2017511488A (ja) * 2014-02-24 2017-04-20 ヴェンタナ メディカル システムズ， インク． ＣＤ３、ＣＤ８、ＣＤ２０及びＦｏｘＰ３の同時検出によりがんに対する免疫応答をスコア化するための方法、キット、及びシステム
WO2017126420A1 (ja) * 2016-01-19 2017-07-27 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2018067234A1 (en) * 2016-10-07 2018-04-12 Sony Corporation Automated nuclei area/number estimation for ihc image analysis
JP2018525707A (ja) * 2015-06-11 2018-09-06 ユニバーシティ オブ ピッツバーグ−オブ ザ コモンウェルス システム オブ ハイヤー エデュケーションＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｐｉｔｔｓｂｕｒｇｈ Ｏｆ Ｔｈｅ Ｃｏｍｍｏｎｗｅａｌｔｈ Ｓｙｓｔｅｍ Ｏｆ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ ヘマトキシリン・エオシン（ｈ＆ｅ）染色組織画像における関心領域を調べて、多重化／高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3779433A3 (en) * 2010-08-30 2021-05-19 Konica Minolta, Inc. Tissue staining method, tissue evaluation method and biosubstance detection method
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
JP5768945B1 (ja) * 2014-07-11 2015-08-26 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
US11508168B2 (en) * 2018-10-15 2022-11-22 Upmc Systems and methods for specimen interpretation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS594745B2 (ja) * 1976-10-09 1984-01-31 株式会社東芝 細胞診装置
JPH10197522A (ja) * 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2006517663A (ja) * 2003-02-11 2006-07-27 キネティック リミテッド 画像解析
JP2013537969A (ja) 2010-09-10 2013-10-07 ユニベルシテ、ド、ベルサイユ‐エステ、カンタン、アン、イブリーヌ 画像解析による固形腫瘍進行の予後検査
JP2016503167A (ja) * 2012-12-28 2016-02-01 ザ ユニバーシティー オブ メルボルン 乳癌予知のための画像分析
US9412006B1 (en) * 2013-02-25 2016-08-09 Flagship Biosciences, Inc. Continuous tissue analysis scoring scheme based on cell classifications
JP2016518813A (ja) * 2013-03-15 2016-06-30 ベンタナ メディカル システムズ， インコーポレイテッド デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム
JP2016530505A (ja) 2013-07-15 2016-09-29 アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル 固形癌を患う患者の生存期間の予後判定のための方法
JP2017511488A (ja) * 2014-02-24 2017-04-20 ヴェンタナ メディカル システムズ， インク． ＣＤ３、ＣＤ８、ＣＤ２０及びＦｏｘＰ３の同時検出によりがんに対する免疫応答をスコア化するための方法、キット、及びシステム
WO2015190225A1 (ja) * 2014-06-12 2015-12-17 コニカミノルタ株式会社 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
WO2016093090A1 (ja) * 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
JP2018525707A (ja) * 2015-06-11 2018-09-06 ユニバーシティ オブ ピッツバーグ−オブ ザ コモンウェルス システム オブ ハイヤー エデュケーションＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｐｉｔｔｓｂｕｒｇｈ Ｏｆ Ｔｈｅ Ｃｏｍｍｏｎｗｅａｌｔｈ Ｓｙｓｔｅｍ Ｏｆ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ ヘマトキシリン・エオシン（ｈ＆ｅ）染色組織画像における関心領域を調べて、多重化／高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法
WO2017126420A1 (ja) * 2016-01-19 2017-07-27 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2018067234A1 (en) * 2016-10-07 2018-04-12 Sony Corporation Automated nuclei area/number estimation for ihc image analysis

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014489A1 (ja) * 2022-07-12 2024-01-18 国立大学法人東京工業大学 解析システム、解析装置、解析プログラム、及び解析方法

Also Published As

Publication number Publication date
JPWO2020166469A1 (ja) 2021-12-16
US20220138937A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
JP6112173B2 (ja) 組織染色用蛍光標識体および生体物質検出方法
JP6074427B2 (ja) 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JP5906623B2 (ja) 生体物質発現レベル評価システム
WO2013146843A1 (ja) 医用画像処理装置及びプログラム
EP3124969B1 (en) Biological-material quantitation method based on multiple-antigen immunostaining
CN104094116A (zh) 在哺乳动物个体中检测5t4阳性循环肿瘤细胞的方法和诊断5t4阳性癌症的方法
JP6960224B2 (ja) 生体物質定量方法、病理診断支援システム及びプログラム
JP6911855B2 (ja) 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
EP3407063A1 (en) Image processing device and program
KR20220100854A (ko) 인공 지능 기반 세포 분석을 위한 시스템 및 방법
JP2022513316A (ja) Ｐｄ－１軸指向型治療薬に対する応答を予測するための方法およびシステム
EP3327427A1 (en) Target biological substance analysis method and analysis system
EP3312606B1 (en) Pathological specimen, method for producing pathological specimen, and method for acquiring fluorescence image
WO2020166469A1 (ja) 情報提供方法、情報提供装置及びプログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP5863057B2 (ja) 組織評価方法
JP7160047B2 (ja) 生体物質定量方法、画像処理装置及びプログラム
WO2021039592A1 (ja) 創薬支援方法、創薬支援装置及びプログラム
JPWO2019078230A1 (ja) 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
JP6801653B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
US20210318323A1 (en) Information Acquiring Method, Information Acquiring Device, and Program
WO2022059508A1 (ja) 生体関連情報取得方法及び生体関連情報取得システム
US20230074121A1 (en) Antibody panel
WO2021192910A1 (ja) 画像生成方法、画像生成装置及びプログラム
CN114217073A (zh) 一种基于数字等离子免疫吸附测定法的蛋白质结合动力学超灵敏动态成像分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20754977

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572199

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20754977

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20754977

Country of ref document: EP

Kind code of ref document: A1