WO2016203907A1 - 画像処理装置、画像処理方法、および画像処理用のプログラム - Google Patents
画像処理装置、画像処理方法、および画像処理用のプログラム Download PDFInfo
- Publication number
- WO2016203907A1 WO2016203907A1 PCT/JP2016/065232 JP2016065232W WO2016203907A1 WO 2016203907 A1 WO2016203907 A1 WO 2016203907A1 JP 2016065232 W JP2016065232 W JP 2016065232W WO 2016203907 A1 WO2016203907 A1 WO 2016203907A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cell
- image
- image processing
- estimated
- processing apparatus
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Definitions
- the present invention relates to an image processing device, an image processing method, and an image processing program, and in particular, an image showing a distribution of a region in which a specific portion of a cell is estimated to be captured in an image capturing a cell morphology.
- the present invention relates to an image processing technique targeted for the above.
- pathological diagnosis in which a tissue section collected from a living body such as a human being or an animal is observed with a microscope to diagnose the presence or absence of a lesion or the type of lesion, has been actively performed.
- a tissue section to be diagnosed is generally subjected to processing such as fixation, embedding, slicing and staining in this order and then subjected to observation with a microscope.
- the observation by this microscope includes, for example, bright field observation and fluorescence observation, and a bright field image can be acquired by imaging in bright field observation, and a fluorescence image can be acquired by imaging in fluorescence observation.
- the bright field image includes, for example, an image (also referred to as a cell morphology image) in which the morphology of a plurality of cells in a tissue section stained with a predetermined staining reagent is captured.
- the fluorescent image may include, for example, an image (also referred to as a light emission state image) in which light emission of a fluorescent substance contained in particles bonded to a specific substance is captured.
- an image (also referred to as a cell distribution image) in which the distribution of a region (also referred to as a cell region) in which a specific part of a cell is captured in a cell morphology image is acquired by a display element is obtained
- An image whose distribution is indicated by display elements (also referred to as a substance distribution image) can be acquired.
- the specific substance is, for example, a specific protein in cancer tissue and the specific site is a cell nucleus.
- a feature amount that quantitatively represents the expression state of the specific substance in the tissue section can be calculated. For example, from the relationship between the distribution of fluorescent bright spots in the substance distribution image and the distribution of cell regions in the cell distribution image, the number of specific substances per cell nucleus and the existence of specific substances per unit area of the cell nucleus Features such as numbers can be calculated. By using such feature amounts, pathological diagnosis of various cancers and the like can be performed. At this time, for example, the feature amount can be used in the form of a histogram or the like in which a plurality of values are distributed to blocks as classes, and the frequency for each block is represented by a bar graph. Thereby, the clue at the time of judging the malignancy etc. of a patient's cancer in detail is obtained.
- the light emission state image is an image having a relatively high contrast in which a fluorescent material emits light of a specific wavelength on a dark background.
- the color component extraction and the binarization process corresponding to the specific wavelength for the light emission state image are sequentially performed, so that the distribution of the specific substance can be detected with high accuracy. That is, a substance distribution image in which the actual state of the tissue section is accurately reflected can be acquired relatively easily.
- the cell morphology image tends to have a clearly lower contrast than the light emission state image. For this reason, various image processing for obtaining a cell distribution image from a cell morphology image has been proposed (for example, Patent Documents 1 and 2).
- Patent Document 1 a pixel group that is a candidate for a cell center is extracted from a cell morphology image, and only a pixel that is suitable as a cell center in the pixel group is selected according to a predetermined criterion. From the pixel position information and the direction of the density gradient of the surrounding pixels, the pixel forming the outline of the cell is selected. Further, in Patent Document 2, a cell group having features similar to a specific cell of interest designated by a user is automatically extracted from a plurality of cells in a cell morphology image that has been subjected to predetermined processing.
- Patent Document 1 As described above, in the technique disclosed in Patent Document 1, there are cases in which the cell region is not accurately extracted from the cell morphology image without omission depending on the situation of the cell morphology image.
- the technique of Patent Document 2 is a technique for narrowing down the cells extracted from the cell morphology image in the first place, and a case where the cell region is not accurately extracted without omission from the cell morphology image is likely to occur.
- a method is conceivable in which an operator generates a cell distribution image by surrounding a portion estimated to be a cell region on a cell morphology image with a line or the like.
- a method in which an operator modifies an image in which the distribution of cell regions obtained by image processing on the cell morphology image is indicated by a display element while referring to the cell morphology image.
- the level of skill among the workers and the difference in the sense of judgment criteria, as well as the organization to which the worker belongs The estimation can vary depending on various factors such as differences.
- the obtained cell distribution image may vary.
- a system in which a cell distribution image obtained by correction by one worker is corrected by another worker as needed (also referred to as a double check system) can be considered.
- the work efficiency can be reduced.
- the present invention has been made in view of the above problems, and a technique capable of stably acquiring an image in which the distribution of a region where a specific portion of a cell is captured in an image capturing a cell morphology is accurately shown.
- the purpose is to provide.
- an image processing apparatus includes a display control unit, an input unit, an acquisition unit, a calculation unit, and a correction unit.
- the display control unit causes the display unit to display a cell morphology image that captures the morphology of the cells in the tissue section of the living body stained with the staining reagent.
- the input unit inputs a signal corresponding to a user's operation.
- the acquisition unit the distribution of the estimated cell region in which the specific part of the cell is estimated to be captured in the cell morphology image is indicated by a plurality of cell display elements, and the cell morphology image is displayed on the display unit.
- a temporary cell distribution image in which one or more cell display elements of the plurality of cell display elements are drawn is acquired according to a signal input from the input unit in a displayed state.
- the calculation unit includes one or more types of features on appearance for each of the one or more cell display elements, and one or more types of features on appearance in an estimated cell region corresponding to the cell display elements of the cell morphology image.
- a feature value related to at least one of the features is obtained.
- the correction unit deletes, from the temporary cell distribution image, a cell display element whose characteristic value is at least outside the allowable value range or the prohibited value range from among the one or more cell display elements, or sets the cell display element to a non-adopted state. As a result, the temporary cell distribution image is corrected to generate a cell distribution image.
- the image processing method includes steps (a) to (c).
- step (a) it is presumed that the specific part of the cell is captured in the cell morphology image in which the morphology of the cell in the tissue section of the living body stained with the staining reagent is captured by the acquisition unit.
- the estimated cell region distribution is indicated by a plurality of cell display elements, and the plurality of cells are in response to a signal input in response to a user operation in a state where the cell morphology image is displayed on the display unit.
- a temporary cell distribution image in which one or more cell display elements among the display elements are drawn is acquired.
- the correction unit deletes, from the temporary cell distribution image, a cell display element whose feature value is at least outside the allowable value range or the prohibited value range among the one or more cell display elements.
- the temporary cell distribution image is corrected by setting to a non-adopted state to generate a cell distribution image.
- the image processing program according to another aspect is executed by a control unit included in the information processing apparatus, thereby causing the information processing apparatus to function as the image processing apparatus according to the aspect.
- the present invention whether the cell display element drawn by the user is deleted according to the appearance feature in at least one of the cell display element and the estimated cell region of the cell morphology image corresponding to the cell display element. Or a cell distribution image is produced
- FIG. 1 is a diagram illustrating a schematic configuration of a pathological diagnosis support system according to an embodiment.
- FIG. 2 is a diagram illustrating an example of a cell morphology image.
- FIG. 3 is a diagram illustrating an example of a fluorescence image.
- FIG. 4 is a block diagram schematically showing a functional configuration of the information processing apparatus.
- FIG. 5 is a block diagram illustrating a functional configuration realized by the control unit.
- FIG. 6 is a diagram schematically illustrating an example of a cell morphology image.
- FIG. 7 is a diagram schematically illustrating an example of a temporary cell distribution image.
- FIG. 8 is a diagram schematically illustrating an example of a bright spot distribution image.
- FIG. 9 is a diagram illustrating an example of a basic cell distribution image.
- FIG. 1 is a diagram illustrating a schematic configuration of a pathological diagnosis support system according to an embodiment.
- FIG. 2 is a diagram illustrating an example of a cell morphology image
- FIG. 10 is a diagram illustrating an example in which a basic cell distribution image is superimposed on a cell morphology image.
- FIG. 11 is a diagram schematically illustrating a state in which a display element along the outline of the estimated cell region is drawn by the user on the cell morphology image.
- FIG. 12 is a diagram schematically illustrating a state in which a display element along the outline of the estimated cell region is drawn by the user on the cell morphology image.
- FIG. 13 is a diagram schematically illustrating an example in which display elements along the outline of the estimated cell region are drawn by the user on the cell morphology image.
- FIG. 14 is a diagram illustrating a setting example of a value range related to the area of the estimated cell region.
- FIG. 11 is a diagram schematically illustrating a state in which a display element along the outline of the estimated cell region is drawn by the user on the cell morphology image.
- FIG. 12 is a diagram schematically illustrating a state in which a display element along the
- FIG. 15 is a diagram illustrating a setting example of a value range related to the saturation of the estimated cell region.
- FIG. 16 is a diagram illustrating a setting example of a value range related to the circularity of the estimated cell region.
- FIG. 17 is a diagram illustrating an example in which the range of cut processing is set for two features.
- FIG. 18 is a diagram schematically illustrating an example of a cell distribution image generated by the cut processing.
- FIG. 19 is a diagram illustrating the variation among the operators in the number of cell display elements when the cutting process is not performed.
- FIG. 20 is a diagram illustrating the variation among the operators of the number of cell display elements when the cut process is performed.
- FIG. 21 is a diagram schematically illustrating an example of a cell distribution image.
- FIG. 22 is a diagram schematically illustrating an example of a bright spot distribution image.
- FIG. 23 is a diagram illustrating the relationship between the cell distribution image and the bright spot distribution image.
- FIG. 24 is a graph illustrating the relationship between the number of bright spots per unit area and the frequency thereof.
- FIG. 25 is a diagram illustrating an operation flow of the image processing apparatus.
- FIG. 26 is a diagram illustrating an example of an operation flow relating to generation of a cell distribution image.
- FIG. 27 is a diagram illustrating another example of an operation flow relating to generation of a cell distribution image.
- FIG. 28 is a diagram illustrating an example in which the range of values is changed according to the type of cell morphology image.
- FIG. 1 is a diagram illustrating a schematic configuration example of a pathological diagnosis support system 100 according to an embodiment.
- the pathological diagnosis support system 100 acquires, for example, a microscope image in which a tissue section of a living body stained with a predetermined staining reagent is captured, performs various image processing on the microscope image, and then performs specific image processing on the tissue section. An analysis process for calculating an analysis value related to the presence state of the biological substance is performed.
- the microscopic image includes, for example, an image (also referred to as a cell morphology image) in which a cell form in a tissue section of a living body is captured and an image corresponding to the presence state of a specific biological substance existing in the tissue section of the living body.
- the living body includes, for example, animals other than human bodies or humans, and may include animals in a broad sense including both human bodies and animals other than humans.
- the various image processing includes, for example, processing performed on the microscope image so that an analysis value related to the presence state of a specific biological substance can be obtained with high accuracy from the microscope image in the analysis processing.
- a pathological diagnosis support system 100 includes a microscope image acquisition device 1, an image processing device 2, and a communication in which the microscope image acquisition device 1 and the image processing device 2 are connected so as to be able to transmit and receive data.
- Line 3 is provided.
- the communication line 3 may be, for example, a wired line such as a cable or a wireless line.
- a LAN Local Area Network
- data exchange between the microscope image acquisition apparatus 1 and the image processing apparatus 2 may be performed by delivery using various media such as a storage medium.
- the microscope image acquisition apparatus 1 is, for example, a known optical microscope with a camera.
- the microscope image acquisition apparatus 1 captures a light image of a tissue section on a slide glass placed on a stage, thereby acquiring data (also referred to as a microscope image) related to an enlarged image of the tissue section (also referred to as microscope image data).
- the microscope image data is transmitted to the image processing apparatus 2.
- the microscope image data and the microscope image are collectively referred to as “microscope image”.
- the microscope image acquisition apparatus 1 includes, for example, an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
- the irradiation unit includes, for example, a light source, a filter, and the like, and irradiates light to a tissue section on a slide glass arranged on a stage.
- the imaging unit includes, for example, an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section in response to light irradiation on the tissue section on the slide.
- the imaging unit is, for example, a camera including a CCD (Charge-Coupled Device) sensor or the like, and acquires a microscopic image by capturing an optical image of a tissue section formed on the imaging surface by the imaging unit.
- the communication I / F transmits the microscope image to the image processing apparatus 2.
- the microscope image acquisition apparatus 1 includes a bright field unit in which an irradiation unit and an imaging unit suitable for bright field observation are combined, and a fluorescence unit in which an irradiation unit and an imaging unit suitable for fluorescence observation are combined. It has been. By switching the unit used between the bright field unit and the fluorescence unit, the observation mode is switched between the mode for performing the bright field observation and the mode for performing the fluorescence observation. Thereby, the microscope image acquired by the microscope image acquisition apparatus 1 includes, for example, a bright field image obtained by imaging in bright field observation and a fluorescence image obtained by imaging in fluorescence observation.
- the “bright field image” is a microscope image obtained by enlarging and imaging a tissue section stained with a predetermined staining reagent in the bright field in the microscope image acquisition apparatus 1.
- a predetermined staining reagent for example, a hematoxylin staining reagent (H staining reagent) and a hematoxylin-eosin staining reagent (HE staining reagent) can be employed.
- Hematoxylin (H) is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, and the like (basophilic tissue and the like).
- Eodine (E) is a red to pink pigment that stains cytoplasm, connective tissue of soft tissues, erythrocytes, fibrin and endocrine granules (eg, acidophilic tissues). That is, in this embodiment, the bright field image is a cell morphology image that captures the morphology of cells in a tissue section of a living body stained with a predetermined staining reagent.
- FIG. 2 is a diagram illustrating an example of a cell morphology image. In the example of FIG. 2, in order to express the drawing in black and white, the shades of colors captured in the cell form image are shown in gray shades for convenience.
- the “fluorescence image” is a fluorescence emission by irradiating a tissue section stained with a predetermined fluorescent staining reagent with excitation light of a predetermined wavelength in the microscope image acquisition device 1, and expanding this fluorescence. It is a microscope image obtained by imaging and imaging.
- the fluorescent staining reagent is, for example, a staining reagent including fluorescent substance-containing nanoparticles bound with a biological substance recognition site that specifically binds and / or reacts with a specific biological substance.
- the fluorescent substance-encapsulating nanoparticles are nanoparticles encapsulating a fluorescent substance.
- Fluorescence that appears in fluorescence observation is emitted by excitation of fluorescent substance-containing nanoparticles (specifically, fluorescent substance) of a fluorescent staining reagent, and a specific living body corresponding to a biological substance recognition site in a tissue section. It shows the expression of the substance.
- fluorescent substance-encapsulated nanoparticles also referred to as fluorescent particles
- the expression level of a specific biological substance can be calculated not only as the brightness of fluorescent particles but also as the number of particles, with high accuracy. Can be quantified.
- the fluorescence image is an image in which a tissue section of a living body in which a specific biological material is stained with a fluorescent staining reagent is captured, and the presence state of the specific biological material existing in the tissue section of the living body is detected. It is the image shown.
- FIG. 3 is a diagram illustrating an example of a fluorescence image. In the example of FIG. 3, in order to express the drawing in black and white, for the sake of convenience, the portion emitting fluorescence on a black background is shown to be whitish.
- Fluorescent staining reagent ⁇ (1-3-1) Fluorescent substance>
- fluorescent organic dyes and quantum dots semiconductor particles
- the fluorescent material emits near infrared light from visible light having a wavelength in the range of 400 to 1100 nm when excited by ultraviolet light having a wavelength in the range of 200 to 700 nm. What is shown can be employed.
- fluorescent organic dyes examples include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
- Dye molecules, NBD dye molecules, pyrene dye molecules, Texas Red dye molecules, and / or cyanine dye molecules may be employed.
- quantum dots for example, quantum dots containing II-VI group compounds as components (also referred to as II-VI group quantum dots), quantum dots containing III-V group compounds as components (III-V group quantum dots)
- quantum dots also referred to as quantum dots
- group IV elements containing group IV elements also referred to as group IV quantum dots
- a single quantum dot or a mixture of two or more quantum dots may be employed.
- the quantum dot by which the said quantum dot is made into a core and the shell was provided on it may be employ
- fluorescent substance content nanoparticles In the fluorescent substance-containing nanoparticle (fluorescent particle), the fluorescent substance is dispersed inside the nanoparticle, and the fluorescent substance and the nanoparticle itself may or may not be chemically bonded.
- a material constituting the nanoparticles for example, polystyrene, polylactic acid, silica, melamine, and the like can be employed.
- Such fluorescent substance-containing nanoparticles can be produced, for example, according to a known method.
- silica nanoparticles encapsulating a fluorescent organic dye can be synthesized with reference to the method for synthesizing FITC-encapsulated silica particles described in Langmuir 8, Vol. 2921 (1992).
- dyes can be synthesize
- Polystyrene nanoparticles encapsulating a fluorescent organic dye are described in a copolymerization method using an organic dye having a polymerizable functional group described in US Pat. No. 4,326,008 (1982), or in US Pat. No. 5,326,692 (1992). It can be produced by using a method of impregnating a polystyrene nanoparticle with a fluorescent organic dye.
- the silica nanoparticles encapsulating the quantum dots can be synthesized with reference to the method for synthesizing CdTe-encapsulating silica nanoparticles described in New Journal of Chemistry, Vol. 33, p. 561 (2009), for example.
- the polymer nanoparticle which included the quantum dot can be produced using the impregnation method of the quantum dot to the polystyrene nanoparticle described in the nature biotechnology 19th volume 631 page (2001), for example.
- the average particle size of the fluorescent substance-encapsulated nanoparticles is usually such that the antigen is easily accessible and the fluorescent particle signal is not buried in background noise (camera noise, cell autofluorescence, etc.) May be about 30 to 800 nm.
- inner_cover nanoparticle it should just be 20% or less normally, for example.
- the average particle diameter for example, the cross-sectional area of 1000 particles is measured from an image obtained by capturing the cross-sections of a large number of particles obtained by photographing using a scanning electron microscope (SEM). The diameter of the circle when the area of the circle is taken as the particle diameter, and the arithmetic average thereof can be calculated as the average particle diameter.
- the biological material recognition site is a site that specifically binds and / or reacts with the target biological material.
- the target biological material typically, proteins (peptides), nucleic acids (oligonucleotides, polynucleotides), antibodies, and the like can be employed.
- the substance that binds to the target biological substance has an antibody that recognizes the protein as an antigen, another protein that specifically binds to the protein, and the like, and a base sequence that hybridizes to the nucleic acid. Nucleic acids and the like can be employed.
- an anti-HER2 antibody that specifically binds to HER2, which is a protein present on the cell surface, and specifically to an estrogen receptor (ER) that exists in the cell nucleus.
- Anti-ER antibodies that specifically bind to actin that forms the cytoskeleton, and the like can be employed.
- those in which an anti-HER2 antibody and an anti-ER antibody are bound to a fluorescent substance-encapsulating nanoparticle can be used for selecting a dosage for breast cancer.
- covalent bonding for example, covalent bonding, ionic bonding, hydrogen bonding, coordination bonding, physical adsorption, and / or chemical adsorption can be adopted as a mode of bonding between the biological substance recognition site and the fluorescent substance-encapsulating nanoparticles. If the bond has a strong binding force such as a covalent bond, the bond can be stabilized.
- the biological substance recognition site and the fluorescent substance-encapsulating nanoparticles may be linked by an organic molecule.
- a polyethylene glycol chain or SM (PEG) 12 manufactured by Thermo Scientific may be employed in order to suppress nonspecific adsorption with a biological substance.
- a silane coupling agent which is a compound widely used for bonding an inorganic substance and an organic substance, can be employed for the bonding.
- This silane coupling agent has an alkoxysilyl group that gives a silanol group by hydrolysis at one end of the molecule, and a functional group (for example, carboxyl group, amino group, epoxy group, aldehyde group, etc.) at the other end. And is bonded to an inorganic substance through an oxygen atom of the silanol group.
- silane coupling agent mercaptopropyltriethoxysilane, glycidoxypropyltriethoxysilane, aminopropyltriethoxysilane, a silane coupling agent having a polyethylene glycol chain (for example, PEG manufactured by Gelest Co., Ltd.) -Silane no. SIM6492.7) is adopted.
- a silane coupling agent for example, two or more silane coupling agents may be used in combination.
- a reaction procedure between the fluorescent organic dye-encapsulated silica nanoparticles and the silane coupling agent a known procedure can be adopted.
- the obtained fluorescent organic dye-encapsulated silica nanoparticles are dispersed in pure water, aminopropyltriethoxysilane is added, and the mixture is reacted at room temperature for 12 hours.
- fluorescent organic dye-encapsulated silica nanoparticles whose surface is modified with an aminopropyl group can be obtained by centrifugation or filtration.
- the antibody by reacting an amino group with a carboxyl group in the antibody, the antibody can be bound to the fluorescent organic dye-containing silica nanoparticles via an amide bond.
- a condensing agent such as EDC (1-Ethyl-3- [3-Dimethylaminopropyl] carbodiimide Hydrochloride: manufactured by Pierce (registered trademark) may be used.
- a linker compound having a site capable of directly binding to the fluorescent organic dye-encapsulated silica nanoparticles modified with organic molecules and a site capable of binding to the molecular target substance may be employed.
- sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidomethyl] -cyclohexane-1-carboxylate: Pierce (registered trademark)
- Pierce registered trademark
- the amino group of the fluorescent organic dye-encapsulated silica nanoparticles modified with aminopropyltriethoxysilane and the mercapto group in the antibody are combined to form an antibody-bound fluorescent organic dye-encapsulated silica nanoparticle.
- the same procedure can be applied regardless of whether the fluorescent substance is a fluorescent organic dye or a quantum dot.
- a fluorescent substance-containing polystyrene nanoparticle having a functional group can be obtained.
- EDC or sulfo-SMCC antibody-bound fluorescent substance-encapsulated polystyrene nanoparticles can be obtained.
- the same procedure as that for binding the biological substance recognition site to the fluorescent substance-encapsulated silica nanoparticles can be applied.
- the number of surface amino groups may be increased by reacting melamine nanoparticles with a polyfunctional amine compound in advance.
- antibodies that recognize specific antigens include M. actin, MS actin, SM actin, ACTH, Alk-1, ⁇ 1-antichymotrypsin, ⁇ 1-antitrypsin, AFP, bcl-2, bcl-6, ⁇ -catenin.
- BCA 225 CA19-9, CA125, calcitonin, calretinin, CD1a, CD3, CD4, CD5, CD8, CD10, CD15, CD20, CD21, CD23, CD30, CD31, CD34, CD43, CD45, CD45R, CD56, CD57, CD61, CD68, CD79a, CD99, MIC2, CD138, chromogranin, c-KIT, c-MET, collagen type IV, Cox-2, cyclin D1, keratin, cytokeratin (high molecular weight), pankeratin, pankeratin, cytokeratin 5/6, cytokeratin 7, cytokeratin 8, cytokeratin 8/18, cytokeratin 14, cytokeratin 19, cytokeratin 20, CMV, E-cadherin, EGFR, ER, EMA, EBV, factor VIII-related antigen, Fassin, FSH, Galectin-3, Gust Phosphorus, GFAP,
- a method for staining a tissue specimen will be described, but the present invention is not limited to a tissue specimen, and can also be applied to a specimen such as a cell fixed on a substrate.
- a tissue specimen to which a staining method described below can be applied can be produced by, for example, a known method.
- ⁇ (1-4-1) Deparaffinization process The tissue specimen is immersed in a container containing xylene to remove paraffin.
- the treatment temperature may be an appropriate temperature such as room temperature, and the immersion time may be 3 minutes or more and 30 minutes or less, for example.
- xylene may be replaced
- the tissue specimen is immersed in a container containing ethanol to remove xylene.
- the treatment temperature may be an appropriate temperature such as room temperature, and the immersion time may be 3 minutes or more and 30 minutes or less, for example.
- ethanol may be replaced
- the tissue specimen is immersed in a container containing water, and ethanol is removed.
- the treatment temperature may be an appropriate temperature such as room temperature, and the immersion time may be 3 minutes or more and 30 minutes or less, for example.
- water may be exchanged in the middle of immersion as needed.
- Activation treatment The activation process of the target biological material is performed following a known method.
- 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer, or the like can be used as the activation liquid.
- an autoclave, a microwave, a pressure cooker, a water bath, or the like may be employed as the heating device.
- the processing temperature may be an appropriate temperature such as room temperature. Specifically, a condition where the processing temperature is 50 to 130 ° C. and the processing time is 5 to 30 minutes may be employed.
- the tissue specimen after the activation treatment is immersed in a container containing PBS (Phosphate Buffered Saline: phosphate buffered saline) and washed.
- the treatment temperature may be an appropriate temperature such as room temperature, and the immersion time may be 3 minutes or more and 30 minutes or less, for example.
- PBS may be replaced
- a PBS dispersion of fluorescent substance-encapsulating nanoparticles to which a biological substance recognition site is bound is placed on a tissue specimen and reacted with a target biological substance.
- staining corresponding to various biological materials becomes possible.
- each phosphor-encapsulated nanoparticle PBS dispersion liquid may be mixed in advance, or the tissues may be sequentially and separately. It may be placed on a specimen.
- the treatment temperature may be an appropriate temperature such as room temperature, and the immersion time may be 30 minutes or more and 24 hours or less, for example.
- a known blocking agent such as BSA-containing PBS may be dropped on the tissue specimen.
- the stained tissue specimen is immersed in a container containing PBS, and unreacted fluorescent substance-containing nanoparticles are removed.
- the treatment temperature may be an appropriate temperature such as room temperature, and the immersion time may be 3 minutes or more and 30 minutes or less, for example.
- PBS may be replaced
- the tissue sample is sealed by placing a cover glass on the stained tissue sample.
- a commercially available encapsulant may be used as necessary.
- HE staining may be performed before sealing with a cover glass.
- a microscope image acquisition apparatus 1 is used for a tissue specimen as a stained tissue section, and a microscope image (fluorescence image) with a wide field of view is acquired. At this time, in the microscope image acquisition apparatus 1, the excitation light source and the fluorescence detection optical filter corresponding to the absorption maximum wavelength and the fluorescence wavelength of the fluorescent material used for the staining reagent are selected.
- the image processing apparatus 2 receives a microscope image such as a cell morphology image and a fluorescence image transmitted from the microscope image acquisition apparatus 1 and performs image processing on the microscope image.
- the image processing apparatus 2 is realized by executing a predetermined program in the information processing apparatus.
- FIG. 4 is a block diagram schematically illustrating a functional configuration of the information processing apparatus that implements the functions of the image processing apparatus 2.
- the information processing apparatus includes, for example, a control unit 21, an input unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like.
- the units 21 to 25 are connected to each other via a bus 26 so as to be able to transmit and receive data.
- the control unit 21 is an electric circuit including a processor and a memory.
- a central processing unit CPU: Central Processing Unit
- a RAM Random Access Memory
- the control unit 21 causes the information processing apparatus to function as the image processing apparatus 2 by executing the image processing program P1 (FIG. 5) stored in the storage unit 25.
- the input unit 22 inputs a signal corresponding to the operation of the worker who uses the image processing apparatus 2 as a user.
- the input unit 22 may be, for example, an operation unit to which a signal (also referred to as an operation signal) according to an operation by the user is input, or a signal (also referred to as an audio signal) according to the utterance by the user.
- An input voice input unit may be used.
- the operation unit may include a keyboard including character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse and a touch pen. According to the operation unit, for example, an operation signal corresponding to a key depression on a keyboard and an operation signal corresponding to an operation of a pointing device can be input to the control unit 21.
- the display unit 23 displays various images according to a signal input from the control unit 21.
- the display unit 23 includes a display device such as a CRT (Cathode (Ray Tube) or an LCD (Liquid Crystal Display).
- the communication I / F 24 is an interface for transmitting / receiving data to / from an external device located outside the image processing apparatus 2.
- the external device includes, for example, the microscope image acquisition device 1. Therefore, the communication I / F 24 functions as a receiving unit that receives a microscope image such as a cell morphology image and a fluorescence image from the microscope image acquisition device 1, for example.
- a configuration in which the image processing apparatus 2 includes a LAN adapter, a router, and the like and is connected to an external device via a communication network such as a LAN may be employed.
- the storage unit 25 stores various programs and various data.
- the storage unit 25 can be configured by, for example, an HDD (Hard Disk Disk Drive) or a nonvolatile semiconductor memory.
- FIG. 5 is a block diagram illustrating a functional configuration realized by the control unit 21 of the image processing apparatus 2.
- the image processing apparatus 2 includes an acquisition unit 211, a display control unit 212, a calculation unit 213, a setting unit 214, a correction unit 215, and a calculation unit as functional configurations realized by the control unit 21. 216.
- the acquisition unit 211 acquires a temporary cell distribution image and a bright spot distribution image.
- the provisional cell distribution image is an area in which a specific part of a cell is estimated to be captured in a cell morphology image in which the morphology of a plurality of cells in a tissue section of a living body stained with a predetermined staining reagent is captured (estimated cells).
- a cell morphology image in which the morphology of a plurality of cells in a tissue section of a living body stained with a predetermined staining reagent is captured (estimated cells
- This is an image in which the distribution of the region (also referred to as a region) is indicated by a plurality of elements (also referred to as cell display elements). That is, the temporary cell distribution image can be acquired from the cell morphology image.
- the cell morphology image is, for example, a bright-field image capturing the morphology of cells in a tissue section of a living body stained with a predetermined staining reagent.
- FIG. 6 is a diagram schematically illustrating an example of a cell morphology image.
- the cell morphology image is an image in which the shade of the color corresponding to the staining related to the cell morphology is captured, for example. For example, if a specific portion of a cell is stained blue with an H staining reagent, the cell morphology image exhibits a blue shade. In the example of FIG.
- the shade of color in the estimated cell region AR0 estimated to be captured in the cell morphology image is the type and density of black and white hatching. Is schematically shown. That is, in the example of FIG. 6, all the estimated cell areas AR0 are hatched. Further, in the example of FIG. 6, an unclear outline in the estimated cell region is indicated by a broken line.
- FIG. 7 is a diagram schematically showing an example of a temporary cell morphology image acquired from the cell morphology image schematically shown in FIG.
- the temporary cell distribution image for example, regarding the cell morphology image, the distribution of the estimated cell region in which the specific part is estimated to be captured and the distribution of the remaining region in which the specific part is not captured are estimated.
- An image shown in a distinguishable manner may be adopted.
- the portion AE0 corresponding to the estimated cell region is indicated by the cell display element with the first color or the first hatching
- the remaining portion BG0 is the cell display element as the background.
- blue or gray may be employed as the first color
- white or black may be employed as the second color.
- black is adopted as the first color and white is adopted as the second color. That is, in the example of FIG. 7, the part AE0 corresponding to all the estimated cell regions in which the specific part is estimated to be captured is blackened, and the remaining part BG1 is whited.
- a provisional cell distribution image can be acquired by a combination of predetermined image processing and drawing (that is, correction) by a user or drawing by a user for a cell morphology image.
- predetermined image processing and drawing that is, correction
- FIG. 7 there are a portion corresponding to the estimated cell region detected by the predetermined image processing for the cell morphology image, and a portion corresponding to the estimated cell region drawn by the user in addition to the estimated cell region. Shown with black cell display elements.
- a cell display element what can distinguish the part AE0 corresponding to an estimated cell area
- a curved line drawn by the user along the contour of the portion corresponding to the estimated cell region may be adopted as the cell display element, or the cell display element is detected by predetermined image processing for the cell morphology image.
- a curve or the like automatically drawn along the contour portion of the portion corresponding to the estimated cell region may be employed.
- the bright spot distribution image is an image showing a distribution of fluorescent bright spots related to a specific wavelength in a fluorescent image in which a tissue section of a living body in which a specific biological substance is stained with a fluorescent staining reagent is captured.
- FIG. 8 is a diagram illustrating an example of a bright spot distribution image.
- the bright spot distribution image for example, in the fluorescent image, the distribution of the region where the fluorescent bright spot related to the specific wavelength is captured is distinguished from the distribution of the remaining region where the fluorescent bright spot related to the specific wavelength is not captured. Images shown in a possible manner may be employed.
- a portion SB1 corresponding to a region (also referred to as a fluorescent luminescent spot region) where a fluorescent luminescent spot is captured and a specific substance is estimated to be present is a third color or a third color.
- the hatched display element also referred to as a bright spot display element
- the remaining part BG1 is provided with a fourth color or fourth hatching different from the bright spot display element as a background.
- red or the like may be employed as the third color
- white or black may be employed as the fourth color, for example.
- black is adopted as the third color
- white is adopted as the fourth color. That is, in the example of FIG. 8, the part SB1 corresponding to the area where the fluorescent luminescent spot is captured is painted black, and the remaining part BG1 is painted white.
- the plurality of cell display elements in the provisional cell distribution image may include, for example, cell display elements that are automatically obtained by predetermined image processing for the cell morphology image input from the communication I / F 24.
- the plurality of bright spot display elements in the bright spot distribution image can be automatically acquired by, for example, other predetermined image processing for the fluorescent image input from the communication I / F 24.
- a specific site in a cell morphology image is obtained by at least one of binarization such as discriminant analysis method and P-tile method and clustering such as k-average method and EM algorithm.
- a process for detecting a region estimated to be captured can be employed.
- the acquisition unit 211 uses other criteria such as circularity, size, and color in the cell morphology image among the regions once detected from the cell morphology image due to binarization, clustering, machine learning, and the like.
- a region that fills may be detected as an estimated cell region.
- a color component corresponding to a specific wavelength of a fluorescent luminescent spot is extracted from a fluorescent image, and a portion of the fluorescent image after the color component is extracted is less than a threshold related to the darkness.
- a process of generating a binary image by performing a threshold process may be employed.
- the wavelength of the light emitted from the fluorescent particles is 550 nm, only the fluorescent bright spot having the wavelength component can be extracted as an image.
- the binary image generated here corresponds to a bright spot distribution image.
- processing for removing noise components such as cell autofluorescence and other unnecessary signal components may be performed.
- the plurality of cell display elements in the provisional cell distribution image include one or more cell display elements drawn in accordance with a signal input from the input unit 22 by the user.
- one or more cell display elements are drawn in accordance with a signal input from the input unit 22 by the user, whereby the temporary cell distribution image is displayed. To be acquired.
- the basic cell distribution image is an image serving as a basis for the temporary cell distribution image in which the distribution of at least one estimated cell region is indicated by at least one cell display element.
- another estimated cell different from an estimated cell region (also referred to as a detected cell region) detected by predetermined image processing on the cell morphology image in accordance with a predetermined signal input from the input unit 22
- a region also referred to as a non-detected cell region
- the predetermined signal may be set in advance.
- FIGS. 9 to 13 are diagrams schematically illustrating a state in which a temporary cell distribution image is acquired from the cell morphology image schematically illustrated in FIG.
- an estimated cell region (detected cell region) is detected by predetermined image processing on the cell morphology image shown in FIG. 6, and corresponds to the detected cell region as shown in FIG.
- a basic cell distribution image in which the portion AE2 is indicated by the cell display element is acquired.
- the black-colored portion indicates the cell display element.
- FIG. 10 shows a mode in which the basic cell distribution image obtained by the predetermined image processing is superimposed on the cell morphology image.
- FIG. 10 in the state where the cell morphology image is displayed on the display unit 23, the user operates the input unit 22 to correspond to the non-detected cell region on the cell morphology image.
- a curve is drawn along the contour of the part AD2.
- FIG. 11 shows a state in which a thick curve TL1 is drawn along the contour line of the part AD2 corresponding to the non-detection cell region on the cell morphology image.
- a state in which the cell display elements are displayed in a superimposed manner on the cell morphology image for example, FIG. 11
- only the cell morphology image are displayed on the display unit 23 by the operation of the input unit 22 by the user.
- the curve TL1 can be drawn along the outline of the portion AD2 corresponding to the non-detected cell region while switching the displayed state (for example, FIG. 12).
- a curve can be drawn on the locus of movement of the mouse pointer by moving the mouse pointer along the outline of the non-detection cell region while pressing the left button of the mouse.
- the portions AE2 and AD2 corresponding to the estimated cell region are distinguished from the remaining portion BG2.
- the portion AE2 corresponding to the estimated cell region (detected cell region) detected by the predetermined image processing for the cell morphology image is painted black, and the remaining estimated cell region
- the outer edge of the portion AD2 corresponding to (non-detected cell region) can be drawn by the user with a black thick line TL1.
- the display control unit 212 displays various images on the display unit 23.
- Various images include, for example, a cell morphology image, a basic cell distribution image, a temporary cell distribution image, a cell distribution image, and the like.
- various data can be displayed on the display unit 23 by outputting data related to the various images from the display control unit 212 to the display unit 23.
- the computing unit 213 has an appearance in an estimated cell region (non-detected cell region) corresponding to the cell display element in the cell morphology image for each of one or more cell display elements drawn by the user in the temporary cell distribution image.
- a value related to one or more types of features (also referred to as a feature value) is obtained.
- the one or more types of features on the appearance can include, for example, at least one feature of size, darkness, and shape for the non-detected cell region.
- the size-related feature includes, for example, one type of a plurality of features such as area, perimeter length, major axis length, and minor axis length for the non-detection cell region.
- the above features can be included.
- the characteristics relating to the density include, for example, hue (H: Hue), lightness (V: Value or B: Brightness), saturation (S: Saturation), and color difference (Cr, Cb) for the non-detected cell region. ) May include one or more features.
- the feature relating to the shape can include, for example, one or more features of circularity, flatness, and aspect ratio for the non-detection cell region.
- the non-detection cell region can be recognized based on, for example, a display element that designates a contour portion added by the user in the temporary cell distribution image.
- the area of the non-detection cell region can be recognized by, for example, the number of pixels constituting the non-detection cell region.
- the peripheral length of the non-detection cell region can be recognized by, for example, the length of a display element that designates the contour portion of the non-detection cell region.
- the lengths of the major axis and minor axis of the non-detection cell region can be determined by, for example, intersecting the non-detection cell region with straight lines of various angles being slightly shifted. It can be recognized as the length at which the distance is maximum and minimum, respectively.
- the hue (H), lightness (V or B), saturation (S), and color difference (Cr, Cb) of the non-detection cell region are determined by, for example, a pixel of the pixel constituting the non-detection cell region by a known conversion formula or the like It can be calculated from a value (for example, a pixel value related to three colors of RGB).
- a value for example, a pixel value related to three colors of RGB.
- pixel values in three colors of red (R), green (G), and blue (B) are Vr, Vg, and Vb, and among these pixel values Vr, Vg, and Vb, the maximum value is Vmax and the minimum Let the value be Vmin.
- the hue (H) may be calculated according to the following calculation rules [i] to [iii].
- Dc Degree of Circularity
- the major axis is the length of the major axis of the non-detection cell region described above, and the minor axis may be the length of the minor axis of the non-detection cell region described above.
- region corresponding to the cell display element of a cell form image about each of several cell display elements as all the cell display elements in a temporary cell distribution image as needed.
- Feature values relating to one or more types of features above may be obtained.
- a statistical value of the feature value relating to the appearance feature in the plurality of estimated cell regions in the temporary cell distribution image can be calculated.
- the setting unit 214 sets a value range used for correction of the temporary cell distribution image in the correction unit 215 described later.
- a value range used for correction of the temporary cell distribution image in the correction unit 215 described later at least one value range of an allowable value range (also referred to as an allowable value range) and an unacceptable value range (also referred to as a prohibited value range) for the feature value relating to one or more types of external features obtained by the calculation unit 213. Is set.
- the permissible value range for each of the one or more types of features may be a predetermined value range set in advance, or a value range (also referred to as a variable value range) set according to the characteristics of the temporary cell distribution image.
- the prohibited value range for each of the one or more types of features may be a predetermined value range set in advance, or may be a variable value range set according to the features of the temporary cell distribution image. That is, at least one of the allowable value range and the prohibited value range for each of one or more types of features may be a predetermined value range set in advance, or a variable value range set according to the characteristics of the temporary cell distribution image. Also good.
- variable value range can be set, for example, according to a rule (also referred to as a setting rule) set in advance from a statistical value of a feature value related to each of one or more types of features for a plurality of cell display elements in the temporary cell distribution image. Accordingly, it is possible to set a variable value range according to the state of the estimated cell region in the cell morphology image, and to correct the temporary cell distribution image by the correction unit 215 described later according to the state of the estimated cell region in the cell morphology image. Become.
- Statistic values can be calculated as, for example, statistical values of feature values for a plurality of cell display elements obtained by the calculation unit 213 for each feature. If, for example, at least one of an average value, a mode value, and a median value is adopted as the statistical value, the statistical value can be easily calculated and an appropriate variable value range can be set.
- the average value for example, an arithmetic average obtained by dividing the sum of feature values by the total number of feature values may be employed.
- the setting rule may be, for example, a rule that sets a variable value range based on a statistical value.
- the statistical value is a statistical value related to the size of the estimated cell region
- a setting rule for example, a rule that sets a value range less than a predetermined ratio of the average value of the size as a prohibited value range as a variable value range, and A rule or the like that sets a value range that is equal to or greater than a predetermined ratio of the average value of the magnitudes as an allowable value range as a variable value range may be employed.
- the predetermined ratio can be appropriately set, for example, an arbitrary ratio of 20 to 70%.
- FIG. 14 to FIG. 16 are diagrams showing examples of range setting.
- FIG. 14 shows an example in which an area that is a feature value related to a size is adopted as a feature value related to an appearance feature of an estimated cell region.
- the horizontal axis of FIG. 14 is normalized by dividing the area of the estimated cell region surrounded by the broken line in each cell morphology image by the arithmetic average of the areas of the plurality of estimated cell regions in the cell morphology image.
- a value after normalization also referred to as an area after normalization
- FIG. 14 shows a state in which the area after normalization increases as it goes to the right.
- FIG. 14 shows a state in which the area after normalization increases as it goes to the right.
- 30% of the arithmetic average (average value) of the areas of the plurality of estimated cell regions is set as a threshold value, and a value range in which the area after normalization is less than 0.3 is set as a prohibited value range. It is shown that the range where the subsequent area is 0.3 or more is set as the allowable range.
- FIG. 15 shows an example in which the saturation that is the feature value related to the density is adopted as the feature value related to the appearance feature of the estimated cell region.
- the horizontal axis of FIG. 15 indicates the saturation of the estimated cell region surrounded by a broken line in each cell morphology image. For this reason, FIG. 15 shows a state in which the saturation increases as it goes to the right.
- 10 that is a predetermined value set in advance for saturation is set as a threshold
- a predetermined value range that is less than the predetermined value is set as a prohibited value range
- a predetermined value range that is greater than or equal to the predetermined value is set as an allowable value range. The state of being done is shown.
- FIG. 16 shows an example in which the circularity that is the feature value related to the shape is adopted as the feature value related to the appearance feature of the estimated cell region. Specifically, the horizontal axis in FIG. 16 indicates the circularity of each estimated cell region. For this reason, FIG. 16 shows a state in which the circularity increases as it goes to the right.
- a predetermined value 0.3 that is preset for the circularity is set as a threshold
- a predetermined value range that is less than the predetermined value is set as a prohibited value range
- a predetermined value range that is equal to or greater than the predetermined value is an allowable value range. The state set as is shown.
- FIG. 17 shows an example in which an area that is a feature value related to the size and a saturation that is a feature value related to the density are adopted as the feature values related to the appearance features of the estimated cell region.
- a two-dimensional value range is set by combining the value range setting shown in FIG. 14 and the value range setting shown in FIG. 15.
- the horizontal axis in FIG. 17 represents the value after normalization by dividing the area of the estimated cell region by the arithmetic average (average value) of the areas of the plurality of estimated cell regions in the cell morphology image. (Also referred to as an area after normalization), and the vertical axis of FIG. 17 indicates the saturation of the estimated cell region.
- a two-dimensional value range surrounded by a thick broken line is set as an allowable value range.
- the remaining value range excluding the two-dimensional value range surrounded by the thick broken line is set as the prohibited value range.
- the correction unit 215 temporarily selects a cell display element whose feature value obtained by the calculation unit 213 is at least outside the allowable value range or within the prohibited value range.
- a process of deleting from the cell distribution image (also referred to as a cut process) is performed. Thereby, a temporary cell distribution image is corrected and a cell distribution image is generated.
- the provisional cell distribution image is corrected in accordance with the range of values that can be set objectively, so that, for example, variations in the cell distribution image obtained between users are less likely to occur.
- a cell distribution image in which the distribution of the cell region in which the specific site of the cell is captured in the cell shape image capturing the cell shape is accurately shown can be stably acquired.
- a variable range corresponding to the state of the estimated cell region in the cell morphology image is set, a more accurate cell distribution image corresponding to the cell morphology image can be acquired.
- FIG. 18 is a diagram schematically showing an example of the cell distribution image generated by the correction by the cut processing.
- FIG. 18 shows a cell distribution image generated by correction by the cut process for the temporary cell distribution image shown in FIG.
- a cell distribution image generated by deleting an estimated cell region having at least one characteristic of a density less than a certain level, a size less than a certain level, and a flatness exceeding a certain level is illustrated.
- FIG. 19 and FIG. 20 are diagrams showing specific examples in which the variation that occurs in the cell distribution images obtained by different users is reduced by the cut processing.
- cell distribution images for six tissue sections are obtained by worker A, worker B, and worker C as three users.
- the number of cell display elements respectively present in the cell distribution images relating to the six samples 1 to 6 generated by the workers A to C is indicated by broken lines.
- the number of cell display elements in the cell distribution image generated by the worker A for each sample is indicated by a solid line.
- the number of cell display elements in the cell distribution image generated by the operator B for each sample is indicated by a broken line.
- the number of cell display elements in the cell distribution image generated by the operator C for each sample is indicated by a dashed line.
- FIG. 19 illustrates the degree of variation among workers regarding the number of cell display elements present in the cell distribution image generated without being subjected to the cut processing.
- FIG. 20 illustrates the degree of variation among operators regarding the number of cell display elements present in the cell distribution image generated by performing the cut processing.
- CV coefficients of variation coefficient
- the calculation unit 216 includes the presence of a specific biological material in a specific region captured by the cell morphology image.
- An analysis value related to the state is calculated.
- a statistical value such as the number of fluorescent bright spots per unit region (also referred to as the number of bright spots) may be employed.
- the unit region for example, a unit area of a cell region and one cell region can be adopted. In this case, for example, the number of bright spots per unit area, the number of bright spots per cell area, and the like can be calculated as analysis values.
- the cell distribution image as illustrated in FIG. 21 and the bright spot distribution image as illustrated in FIG. 22 are superimposed as illustrated in FIG.
- the relationship with the fluorescent bright spot can be recognized.
- FIG. 24 is a diagram illustrating an example of an analysis value relating to the presence state of a specific biological substance with respect to a cell region. Specifically, the horizontal axis indicates the number of bright spots per unit area, and the vertical axis indicates the number of appearances (frequency) of the number of bright spots per unit area. With such statistical analysis data, pathological diagnosis for diagnosing the presence or absence, type, etc. of a lesion can be accurately performed.
- 25 to 27 are flowcharts illustrating the operation flow of the image processing apparatus 2.
- a cell morphology image and a fluorescence image as a microscope image are input to the image processing apparatus 2.
- the image processing apparatus 2 includes a series of processes in which the processes in steps ST1 and ST2 are performed in time sequence and another series of processes in which the processes in steps ST3 and ST4 are performed in time sequence.
- the processes are executed in parallel, and thereafter, the process of step ST5 is performed.
- the series of processes consisting of steps ST1 and ST2 and the series of processes consisting of steps ST3 and ST4 are not necessarily executed in parallel.
- any of the processes in step ST1 and step ST3 may be executed first.
- the process of step ST2 is executed after the process of step ST1
- it may be executed at the same time as the processes of steps ST3 and ST4 and at any timing before and after.
- the process of step ST4 is executed after the process of step ST3
- step ST1 a cell morphology image is input to the control unit 21.
- the cell morphology image acquired by the microscope image acquisition device 1 is input to the control unit 21 via the communication I / F 24.
- step ST2 the acquisition unit 211 generates a cell distribution image from the cell morphology image input in step ST1.
- step ST2 for example, the operation flow shown in FIG. 26 is executed.
- a series of processes is performed in which the processes of steps ST21 to ST24 shown in FIG. 26 are performed in time sequence.
- the provisional cell distribution image is acquired by the acquisition unit 211.
- the provisional cell distribution image is presumed that a specific part of the cell is captured in the cell morphology image in which the morphology of a plurality of cells in a tissue section of a living body stained with a predetermined staining reagent is captured.
- This is an image in which the distribution of estimated cell regions is shown by a plurality of cell display elements.
- the temporary cell distribution image is displayed in accordance with a signal input in response to a user operation in a state where the cell morphology image is displayed on the display unit 23. The element is drawn.
- a basic cell distribution image is once obtained by a predetermined image processing on the cell morphology image input in step ST1, and one or more cell displays are displayed by the user for the basic cell distribution image.
- a provisional cell distribution image is acquired by adding an element.
- the calculation unit 213 uses the estimated cell region (non-detection) corresponding to the cell display element in the cell morphology image for each of the one or more cell display elements drawn by the user in the temporary cell distribution image.
- Feature values relating to one or more types of features on the appearance in the cell region are acquired.
- a feature value relating to at least one type of feature of the size, density and shape of the estimated cell region is calculated.
- step ST23 the setting unit 214 sets at least one of the allowable value range and the prohibited value range used in step ST24.
- at least one of the allowable value range and the prohibited value range is set to a predetermined value range set in advance.
- step ST24 among the one or more cell display elements drawn by the correcting unit 215 according to the user's action, cell display elements whose feature values acquired in step ST22 are at least outside the allowable value range or within the prohibited value range are included. By deleting from the temporary cell distribution image, the temporary cell distribution image is corrected. Thereby, a cell distribution image is generated.
- step ST2A a series of processes in which the processes of steps ST21A to ST25A shown in FIG. 27 are performed in time sequence may be executed.
- step ST21A in FIG. 27 processing similar to that in step ST21 in FIG. 26 is performed.
- step ST22A the calculation unit 213 converts each of the plurality of cell display elements including one or more cell display elements drawn by the user in the temporary cell distribution image into the cell display elements in the cell morphology image. Feature values related to one or more types of features on the appearance in the corresponding estimated cell region are acquired.
- step ST23A the calculation unit 213 calculates, for each feature, a statistical value of feature values for the plurality of cell display elements obtained in step ST22A.
- step ST24A the setting unit 214 changes at least one of the allowable value range and the prohibited value range used in step ST25A in accordance with a setting rule set in advance from the statistical value related to the characteristic value calculated in step ST23A.
- the range is set.
- step ST25A among the one or more cell display elements drawn by the correcting unit 215 according to the user's action, the feature value acquired in step ST22A is outside the allowable value range or the prohibited value range set in step ST24A.
- the temporary cell distribution image is corrected. Thereby, a cell distribution image is generated.
- steps ST2 and ST2A the cell display element is deleted according to the predetermined value range or the variable value range.
- the present invention is not limited to this.
- the processes included in steps ST2 and ST2A may be combined as long as they do not contradict each other.
- step ST3 a fluorescent image is input to the control unit 21.
- the fluorescence image acquired by the microscope image acquisition device 1 is input to the control unit 21 via the communication I / F 24.
- step ST4 the acquisition unit 211 generates a bright spot distribution image from the fluorescence image input in step ST3.
- a bright spot distribution image is generated by performing image processing on the fluorescence image.
- step ST5 an analysis value related to the presence state of a specific biological material in the cell region is calculated by the calculation unit 216 based on the cell distribution image generated in step ST2 and the bright spot distribution image generated in step ST4. Calculated.
- the cell display element drawn by the user is deleted according to the appearance characteristics of the estimated cell region related to the cell display element,
- the temporary cell distribution image is corrected to generate a cell distribution image. For this reason, it becomes difficult to produce dispersion
- a variable range corresponding to the state of the estimated cell region in the cell morphology image is set, a more accurate cell distribution image corresponding to the cell morphology image can be acquired.
- the analysis values obtained from the cell distribution image and the bright spot distribution image relating to the existence state of a specific biological substance with respect to a specific site also vary. It becomes difficult to occur. As a result, it is possible to improve the accuracy of pathological diagnosis through analysis of microscopic images.
- an aspect in which only one or more cell display elements among a plurality of cell display elements in the temporary cell distribution image can be corrected is not limited thereto.
- a mode in which some cell display elements other than one or more cell display elements among the plurality of cell display elements in the provisional cell distribution image may be a target of correction, or all cell display elements may be used.
- An aspect that can be a target of correction may be employed. That is, for example, a mode in which at least one or more cell display elements in the temporary cell distribution region can be corrected may be employed.
- the estimated cell corresponding to the cell display element in the cell morphology image is calculated by the calculation unit 213.
- the operation unit 213 may obtain feature values relating to one or more types of features on the appearance for each of one or more cell display elements drawn by the user in the temporary cell distribution image.
- a feature value related to one or more types of features on the appearance may be obtained. That is, a feature value relating to an appearance feature of the cell display element itself may be obtained.
- a feature value related to at least one type of one or more types of features on the appearance in the corresponding estimated cell region may be obtained. Further, for example, for each of the plurality of cell display elements in the temporary cell distribution image, one or more features on the appearance, and one type on the appearance in the estimated cell region corresponding to the cell display element in the cell morphology image A feature value related to at least one of the above features may be obtained.
- the cell display element drawn by the user is appropriately deleted according to the appearance characteristics of at least one of the cell display element and the estimated cell region of the cell morphology image corresponding to the cell display element.
- the temporary cell distribution image can be corrected to generate a cell distribution image.
- variations in cell distribution images obtained between users are less likely to occur.
- a cell distribution image in which the distribution of the cell region in which the specific site of the cell is captured in the cell shape image capturing the cell shape is accurately shown can be stably acquired.
- the one or more types of features on the appearance include, for example, at least one feature of size, darkness, and shape of the cell display element.
- the size-related features include, for example, one type of a plurality of types of features such as the area of the cell display element, the perimeter, the length of the major axis, the length of the minor axis The above features can be included.
- the feature relating to the density includes, for example, the hue of the cell display element
- One or more types of features such as brightness, saturation, color difference, etc. may be included.
- the feature relating to the shape may include, for example, one or more types of features among a plurality of types of features such as the circularity, flatness, and aspect ratio of the cell display element.
- the one or more types of features on the appearance can include, for example, at least one feature of size, density, and shape for at least one of the estimated cell region and the cell display element.
- the size-related features include, for example, an area, a perimeter, a major axis length, a minor axis length, and the like for at least one of the estimated cell region and the cell display element.
- One or more types of the plurality of types of features may be included.
- the feature relating to the density includes, for example, at least one of a plurality of types of features such as hue, brightness, saturation, and color difference for at least one of the estimated cell region and the cell display element.
- the shape-related features include, for example, at least one of a plurality of types of features such as circularity, flatness ratio, aspect ratio, etc. for at least one of the estimated cell region and the cell display element. Can be included.
- the calculation unit 213 calculates feature values for at least one of the appearance features of the cell display element and the estimated cell region of the cell morphology image corresponding to the cell display element. Statistics can be calculated. Then, the setting unit 214 can change at least one of the allowable value range and the prohibited value range used by the correction unit 215 in accordance with a setting rule set in advance from the statistical value related to the feature value calculated by the calculation unit 213 for each feature. A range can be set.
- the setting unit 214 sets the predetermined value range or the fluctuation value range corresponding to the statistical value related to the feature value as the allowable value range and the prohibited value range.
- the setting unit 214 may set at least one of an allowable value range or a prohibited value range and at least one type of feature from which a characteristic value is obtained according to the type of cell morphology image.
- the cell region to be analyzed can be accurately extracted according to the characteristics of the cell morphology image.
- a cell distribution image can be accurately acquired by appropriately setting a value range, a feature, a combination of features, and the like according to the state of the estimated cell region in the cell morphology image.
- the analysis value related to the presence state of the specific biological material for the cell region can be calculated more stably and accurately.
- the types of cell morphology images include, for example, a cell morphology image (also referred to as a surgical specimen image) imaged on a tissue section (also referred to as a surgical specimen) extracted by surgery, and a tissue obtained by needle biopsy.
- a cell morphology image (also referred to as a needle biopsy image) captured with a section as a target may be included.
- the identification information indicating the type of the cell morphology image is described in the tag information of the cell morphology image
- the type of the cell morphology image is easily identified by referring to the tag information in the setting unit 214. obtain.
- a needle biopsy when a tissue section is collected, a compressive force is applied to the cell and the cell shape may be distorted.
- the allowable value range related to the size and shape is set relatively wide and the prohibited value range is set relatively narrow
- an allowable value range or a prohibited value range may be set for other features such as darkness, excluding features such as size and shape.
- FIG. 28 is a diagram showing an example in which the range is changed according to the type of cell morphology image.
- FIG. 28 shows an example in which an area that is a feature value related to a size and a circularity that is a feature value related to a shape are adopted as the feature values related to the appearance features of the estimated cell region.
- the horizontal axis of FIG. 28 represents the value after normalization by dividing the area of the estimated cell region by the arithmetic average (average value) of the areas of the plurality of estimated cell regions in the cell morphology image.
- the vertical axis of FIG. 28 indicates the circularity of the estimated cell region.
- the cell morphology image is a surgical specimen image
- a relatively narrow two-dimensional value range surrounded by a thick broken line is set as an allowable value range
- the cell morphology image is a needle biopsy image.
- a relatively wide two-dimensional value range surrounded by a thick one-dot chain line is set as an allowable value range.
- the remaining value range excluding the two-dimensional value range surrounded by the thick broken line is set as the prohibited value range for the surgical specimen image
- the needle biopsy image is surrounded by the thick alternate long and short dash line
- the remaining value range excluding the two-dimensional value range is set as the prohibited value range.
- the feature value obtained by the calculation unit 213 is outside the allowable value range or within the prohibited value range.
- the present invention is not limited to this.
- cell display elements whose feature values obtained by the calculation unit 213 are outside the allowable value range or the prohibited value range are:
- the temporary cell distribution image may be corrected by setting it to a non-adopted state.
- the non-adopted state for example, a state that is not employed in the analysis processing may be employed.
- the information indicating that it is set to the non-adopted state may be included in the tag information of the cell distribution image as well as the positional information for specifying the cell display element not adopted. It is done.
- the acquisition unit 211 once obtains a basic cell distribution image by predetermined image processing on the cell morphology image, and the user displays one or more cells on the basic cell distribution image.
- the provisional cell distribution image is acquired by adding the element, but the present invention is not limited to this.
- a temporary cell distribution image is acquired by drawing all cell display elements according to the user's operation without performing predetermined image processing on the cell morphology image. Also good.
- the cell shape image and the fluorescence image are obtained from the microscope image acquisition device 1 in the image processing device 2, but the present invention is not limited to this.
- the image processing device 2 at least one of the basic cell distribution image and the bright spot distribution image may be obtained from an external device or a storage medium.
- one information processing apparatus functions as the image processing apparatus 2 that executes various processes.
- the various types of processing may be executed in an information processing system including a group of a plurality of information processing apparatuses, or in various types of information processing systems such as an application service provider (ASP) and cloud computing. May be executed.
- the image processing apparatus 2 is not limited to one configured by a single information processing apparatus, and has a form of a system (also referred to as an image processing system) that performs image processing realized by cooperation of a plurality of information processing apparatuses. You may have.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biotechnology (AREA)
- Microbiology (AREA)
- Cell Biology (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Tropical Medicine & Parasitology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
Abstract
細胞の形態を捉えた画像において細胞の特定部位が捉えられている領域の分布が的確に示された画像が安定して取得され得る技術を提供することを目的とする。この目的を達成するために、取得部が、細胞の形態を捉えた細胞形態画像において細胞の特定部位が捉えられているものと推定される推定細胞領域の分布が複数の細胞表示要素で示され、該複数の細胞表示要素のうちの1以上の細胞表示要素が、ユーザーの動作に応じて描かれた仮細胞分布画像を取得する。演算部が、上記1以上の細胞表示要素それぞれについて、外観上の特徴、および細胞形態画像において対応する1以上の推定細胞領域における外観上の特徴に係る特徴値を得る。修正部が、1以上の細胞表示要素のうち、特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素を、仮細胞分布画像から削除するかまたは不採用の状態に設定することで、仮細胞分布画像を修正して細胞分布画像を生成する。
Description
本発明は、画像処理装置、画像処理方法、および画像処理用のプログラムに関し、特に、細胞の形態を捉えた画像において細胞の特定部位が捉えられているものと推定される領域の分布を示す画像が対象とされた画像処理技術に関する。
人や動物等の生体から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類等について診断する、いわゆる病理診断が盛んに行われている。この病理診断では、診断の対象となる組織切片は、固定、包理、薄切および染色と言った処理がこの順で施された後に顕微鏡による観察に供されるのが一般的である。
この顕微鏡による観察には、例えば、明視野観察および蛍光観察等があり、明視野観察における撮像によって明視野画像が取得され、蛍光観察における撮像によって蛍光画像が取得され得る。明視野画像には、例えば、所定の染色試薬で染色された組織切片における複数の細胞の形態が捉えられた画像(細胞形態画像とも言う)が含まれる。また、蛍光画像には、例えば、特定の物質に結合した粒子に内包される蛍光物質の発光が捉えられた画像(発光状態画像とも言う)が含まれ得る。
さらに、細胞形態画像において細胞の特定部位が捉えられている領域(細胞領域とも言う)の分布が表示要素で示される画像(細胞分布画像とも言う)が取得され、発光状態画像から特定の物質の分布が表示要素で示される画像(物質分布画像とも言う)が取得され得る。ここで、例えば、特定の物質が、例えば、癌組織における特定のタンパク質であり、特定の部位が、細胞核である場合が考えられる。
この場合、細胞分布画像と物質分布画像とから、組織切片における特定の物質の発現状態を定量的に表す特徴量が算出され得る。例えば、物質分布画像における蛍光輝点の分布と、細胞分布画像における細胞領域の分布との関係から、1つの細胞核あたりの特定の物質の存在数、および細胞核の単位面積あたりの特定の物質の存在数等と言った特徴量が算出され得る。このような特徴量が用いられることで、各種の癌等についての病理診断が行われ得る。このとき、例えば、特徴量は、複数の値が階級としてのブロックに振り分けられ、ブロック毎の頻度が棒グラフで表されたヒストグラム等の形態で利用され得る。これにより、詳細に患者の癌の悪性度等を判断する際の手掛かりが得られる。
但し、このような病理診断が正確に行われるためには、組織切片の実際の状態が的確に反映された細胞分布画像が取得される必要がある。
ここで、発光状態画像は、暗い背景に蛍光物質が特定波長の光を発している状態が捉えられたコントラストが比較的高い画像である。このため、例えば、発光状態画像を対象とした特定波長に応じた色成分の抽出および二値化処理が順に行われることで、特定の物質の分布が精度良く検出され得る。すなわち、組織切片の実際の状態が的確に反映された物質分布画像が比較的容易に取得され得る。一方、細胞形態画像は、発光状態画像と比較して、コントラストが明らかに低い傾向を呈する。このため、細胞形態画像から細胞分布画像を得るための様々な画像処理が提案されている(例えば、特許文献1,2)。
例えば、特許文献1では、細胞形態画像から細胞中心の候補となる画素群が抽出され、該画素群のうちの細胞中心として適している画素のみが所定の基準に従って選択され、選択された細胞中心画素の位置情報とその周辺の画素の濃度勾配の方向から、細胞の輪郭を形成している画素が選択される。また、特許文献2では、所定の処理が施された細胞形態画像中の複数の細胞から、ユーザーによって指定された興味ある特定の細胞と似た特徴を持つ細胞群が自動的に抽出される。
ところで、組織切片の状態および染色の状態によって、細胞形態画像における特定部位の形状、色、大きさ等にばらつきが生じ得る。このため、上記特許文献1の技術では、例えば、病理診断に供される組織切片については、濃く染色されるケースがあり、このようなケースでは、濃度勾配を利用して細胞の輪郭を形成する画素を選択することが難しい。また、上記特許文献2の技術では、細胞形態画像における複数の細胞が、一部の細胞群に絞り込まれるため、細胞形態画像から抽出される細胞の数が減少してしまう。
このように、上記特許文献1の技術では、細胞形態画像の状況に応じて、細胞形態画像から細胞領域が漏れなく正確に抽出されないケースがある。また、上記特許文献2の技術は、そもそも細胞形態画像から抽出される細胞を絞り込む技術であり、細胞形態画像から細胞領域が漏れなく正確に抽出されないケースが生じ易い。
このような問題に対し、例えば、作業者が、細胞形態画像上において細胞領域であるものと推定される部分を線等で囲むことで細胞分布画像を生成する手法が考えられる。また、例えば、細胞形態画像に対する画像処理で得られた細胞領域の分布が表示要素で示される画像に対して作業者が細胞形態画像を参照しつつ修正を加える手法等も考えられる。
しかしながら、細胞形態画像上において細胞の特定部位が捉えられている細胞領域か否かを推定する際には、作業者間における熟練の度合いおよび判断基準の感覚の違い、ならびに作業者が属する団体の違い等と言った様々な要因に応じて、推定にばらつきが生じ得る。その結果、得られる細胞分布画像にばらつきが生じ得る。
ここで、このようなばらつきを低減するために、ある作業者の修正によって得られた細胞分布画像を、他の作業者が必要に応じて修正する体制(ダブルチェック体制とも言う)が考えられるものの、作業効率の低下を招き得る。しかも、ダブルチェック体制によって、個人間におけるばらつきは低減され得るとしても、作業者が属する団体の違いに応じたばらつきは低減され難い。
本発明は、上記課題に鑑みてなされたものであり、細胞の形態を捉えた画像において細胞の特定部位が捉えられている領域の分布が的確に示された画像が安定して取得され得る技術を提供することを目的とする。
上記課題を解決するために、一態様に係る画像処理装置は、表示制御部と、入力部と、取得部と、演算部と、修正部と、を備えている。ここで、前記表示制御部は、染色試薬によって染色された生体の組織切片における細胞の形態を捉えた細胞形態画像を表示部に表示させる。前記入力部は、ユーザーの動作に応じた信号を入力する。前記取得部は、前記細胞形態画像において細胞の特定部位が捉えられているものと推定される推定細胞領域の分布が複数の細胞表示要素で示されており、前記細胞形態画像が前記表示部に表示されている状態における前記入力部から入力される信号に応じて、前記複数の細胞表示要素のうちの1以上の細胞表示要素が描かれた仮細胞分布画像を取得する。前記演算部は、前記1以上の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴、および前記細胞形態画像の該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴のうちの少なくとも1種類の特徴に係る特徴値を得る。前記修正部は、前記1以上の細胞表示要素のうち、前記特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素を、前記仮細胞分布画像から削除するかまたは不採用の状態に設定することで、前記仮細胞分布画像を修正して細胞分布画像を生成する。
他の一態様に係る画像処理方法は、ステップ(a)からステップ(c)を有する。ここで、前記ステップ(a)においては、取得部によって、染色試薬によって染色された生体の組織切片における細胞の形態が捉えられた細胞形態画像において細胞の特定部位が捉えられているものと推定される推定細胞領域の分布が複数の細胞表示要素で示されており、前記細胞形態画像が表示部に表示されている状態におけるユーザーの動作に応じて入力された信号に応じて、前記複数の細胞表示要素のうちの1以上の細胞表示要素が描かれた仮細胞分布画像を取得する。前記ステップ(b)においては、演算部によって、前記1以上の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴、および前記細胞形態画像の該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴のうちの少なくとも1種類の特徴に係る特徴値を得る。前記ステップ(c)においては、修正部によって、前記1以上の細胞表示要素のうち、前記特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素を、前記仮細胞分布画像から削除するかまたは不採用の状態に設定することで、前記仮細胞分布画像を修正して細胞分布画像を生成する。
その他の一態様に係る画像処理用のプログラムは、情報処理装置に含まれる制御部において実行されることで、該情報処理装置を一態様に係る画像処理装置として機能させることを特徴とする。
本発明によれば、ユーザーによって描かれた細胞表示要素が、該細胞表示要素および該細胞表示要素に対応する細胞形態画像の推定細胞領域の少なくとも一方における外観上の特徴に応じて削除されるかまたは不採用の状態に設定されることで、細胞分布画像が生成される。このため、例えば、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなる。その結果、細胞の形態を捉えた画像において細胞の特定部位が捉えられている領域の分布が的確に示された画像が安定して取得され得る。
以下、本発明の一実施形態および各種変形例を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構成のサイズおよび位置関係等は適宜変更され得る。
<(1)一実施形態>
<(1-1)病理診断支援システムの概要>
図1は、一実施形態に係る病理診断支援システム100の概略的な一構成例を示す図である。病理診断支援システム100は、例えば、所定の染色試薬で染色された生体の組織切片が捉えられた顕微鏡画像を取得し、該顕微鏡画像に対して各種画像処理を施した後に、組織切片における特定の生体物質の存在状態に係る解析値を算出する解析処理を行う。
<(1-1)病理診断支援システムの概要>
図1は、一実施形態に係る病理診断支援システム100の概略的な一構成例を示す図である。病理診断支援システム100は、例えば、所定の染色試薬で染色された生体の組織切片が捉えられた顕微鏡画像を取得し、該顕微鏡画像に対して各種画像処理を施した後に、組織切片における特定の生体物質の存在状態に係る解析値を算出する解析処理を行う。
ここで、顕微鏡画像には、例えば、生体の組織切片における細胞の形態が捉えられた画像(細胞形態画像とも言う)および生体の組織切片に存在する特定の生体物質の存在状態に対応する画像が含まれる。生体には、例えば、人体またはヒトを除く動物等が含まれ、また、人体およびヒトを除く動物の双方を含む広義の意味での動物が含まれても良い。各種画像処理には、例えば、解析処理において特定の生体物質の存在状態に係る解析値が顕微鏡画像から高精度で求められるように該顕微鏡画像に施される処理が含まれる。
図1で示されるように、病理診断支援システム100は、顕微鏡画像取得装置1、画像処理装置2、および顕微鏡画像取得装置1と画像処理装置2とをデータの送受信が可能に接続している通信回線3を備えている。通信回線3は、例えば、ケーブル等の有線方式の回線であっても良いし、無線方式の回線であっても良い。具体的には、通信回線3として、例えば、有線方式または無線方式の少なくとも一方の方式が採用されたLAN(Local Area Network)が採用され得る。また、顕微鏡画像取得装置1と画像処理装置2との間におけるデータの授受は、記憶媒体等の各種メディアを用いた受け渡しによって実施されても良い。
<(1-2)顕微鏡画像取得装置>
顕微鏡画像取得装置1は、例えば、公知のカメラ付きの光学顕微鏡である。顕微鏡画像取得装置1では、ステージ上に配置されたスライドガラス上の組織切片の光像が撮像されることで、組織切片の拡大像に係る画像(顕微鏡画像とも言う)のデータ(顕微鏡画像データとも言う)が取得され、該顕微鏡画像データが、画像処理装置2に送信される。なお、以下では、顕微鏡画像データおよび顕微鏡画像を、「顕微鏡画像」と総称する。
顕微鏡画像取得装置1は、例えば、公知のカメラ付きの光学顕微鏡である。顕微鏡画像取得装置1では、ステージ上に配置されたスライドガラス上の組織切片の光像が撮像されることで、組織切片の拡大像に係る画像(顕微鏡画像とも言う)のデータ(顕微鏡画像データとも言う)が取得され、該顕微鏡画像データが、画像処理装置2に送信される。なお、以下では、顕微鏡画像データおよび顕微鏡画像を、「顕微鏡画像」と総称する。
具体的には、顕微鏡画像取得装置1は、例えば、照射部、結像部、撮像部、通信I/F等を備えている。照射部は、例えば、光源、フィルター等を有しており、ステージ上に配置されたスライドガラス上の組織切片に光を照射する。結像部は、例えば、接眼レンズおよび対物レンズ等を有しており、スライド上の組織切片に対する光の照射に応じて、該組織切片から発せられる透過光、反射光または蛍光を結像する。撮像部は、例えば、CCD(Charge Coupled Device)センサー等を備えているカメラであり、結像部によって結像面に結像される組織切片の光像を撮像して顕微鏡画像を取得する。通信I/Fは、該顕微鏡画像を画像処理装置2に送信する。
また、顕微鏡画像取得装置1は、明視野観察に適した照射部および結像部が組み合わされた明視野ユニットと、蛍光観察に適した照射部および結像部が組み合わされた蛍光ユニットとが備えられている。そして、明視野ユニットおよび蛍光ユニットの間で使用されるユニットが切り替えられることで、観察のモードが明視野観察を行うモードと蛍光観察を行うモードとの間で切り替えられる。これにより、顕微鏡画像取得装置1で取得される顕微鏡画像には、例えば、明視野観察における撮像で得られる明視野画像と、蛍光観察における撮像で得られる蛍光画像とが含まれる。
「明視野画像」は、所定の染色試薬で染色された組織切片を、顕微鏡画像取得装置1において明視野で拡大結像および撮像することで得られる顕微鏡画像である。ここで、所定の染色試薬としては、例えば、ヘマトキシリン染色試薬(H染色試薬)およびヘマトキシリン-エオジン染色試薬(HE染色試薬)が採用され得る。ヘマトキシリン(H)は、青紫色の色素であり、細胞核、骨組織、軟骨組織の一部および漿液成分等(好塩基性の組織等)を染色する。エオジン(E)は、赤~ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素および内分泌顆粒等(好酸性の組織等)を染色する。つまり、本実施形態では、明視野画像は、所定の染色試薬によって染色された生体の組織切片における細胞の形態を捉えた細胞形態画像である。図2は、細胞形態画像の一例を示す図である。図2の例では、図面を白黒で表現するために、便宜的に細胞形態画像で捉えられている色の濃淡が灰色の濃淡で示されている。
また、「蛍光画像」は、所定の蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置1において所定波長の励起光を照射して蛍光発光を生じさせ、この蛍光を拡大結像および撮像することにより得られる顕微鏡画像である。ここで、蛍光染色試薬としては、例えば、特定の生体物質と特異的に結合および/または反応する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬である。蛍光物質内包ナノ粒子は、蛍光物質を内包したナノ粒子である。蛍光観察で現れる蛍光は、蛍光染色試薬の蛍光物質内包ナノ粒子(具体的には、蛍光物質)が励起されて発せられたものであり、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。特に、蛍光物質を内包した蛍光物質内包ナノ粒子(蛍光粒子ともいう)が採用されると、特定の生体物質の発現量が、蛍光粒子の輝度だけでなく粒子数としても算出可能となり、精度良く定量され得る。つまり、本実施形態では、蛍光画像は、特定の生体物質が蛍光染色試薬で染色された生体の組織切片が捉えられた画像であり、生体の組織切片に存在する特定の生体物質の存在状態を示す画像である。図3は、蛍光画像の一例を示す図である。図3の例では、図面を白黒で表現するために、便宜的に黒色の背景に蛍光発光している部分が白っぽくなるように示されている。
<(1-3)蛍光染色試薬>
<(1-3-1)蛍光物質>
蛍光染色試薬に用いられる蛍光物質として、例えば、蛍光有機色素および量子ドット(半導体粒子)等が採用され得る。この蛍光物質としては、例えば、200~700nmの範囲内の波長の紫外光から近赤外光によって励起されたときに、400~1100nmの範囲内の波長の可視光から近赤外光の発光を示すものが採用され得る。
<(1-3-1)蛍光物質>
蛍光染色試薬に用いられる蛍光物質として、例えば、蛍光有機色素および量子ドット(半導体粒子)等が採用され得る。この蛍光物質としては、例えば、200~700nmの範囲内の波長の紫外光から近赤外光によって励起されたときに、400~1100nmの範囲内の波長の可視光から近赤外光の発光を示すものが採用され得る。
蛍光有機色素として、例えば、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor(インビトロジェン社製)系色素分子、BODIPY(インビトロジェン社製)系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、Texas Red系色素分子、および/またはシアニン系色素分子等が採用され得る。
具体的には、例えば、5-カルボキシ-フルオレセイン、6-カルボキシ-フルオレセイン、5,6-ジカルボキシ-フルオレセイン、6-カルボキシ-2’,4,4’,5’,7,7’-ヘキサクロロフルオレセイン、6-カルボキシ-2’,4,7,7’-テトラクロロフルオレセイン、6-カルボキシ-4’,5’-ジクロロ-2’,7’-ジメトキシフルオレセイン、ナフトフルオレセイン、5-カルボキシ-ローダミン、6-カルボキシ-ローダミン、5,6-ジカルボキシ-ローダミン、ローダミン 6G、テトラメチルローダミン、X-ローダミン、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5およびCy7のうちの1種の蛍光有機色素、または2種以上の蛍光有機色素が混合されたものが採用され得る。
また、量子ドットとして、例えば、II-VI族化合物を成分として含有する量子ドット(II-VI族量子ドットとも言う)、III-V族化合物を成分として含有する量子ドット(III-V族量子ドット量子ドットとも言う)およびIV族元素を成分として含有する量子ドット(IV族量子ドットとも言う)のうち、1つの量子ドットまたは2以上の量子ドットが混合されたものが採用され得る。
具体的には、例えば、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、SiおよびGeのうちの1種の量子ドット、または2種以上の量子ドットが混合されたものが採用され得る。なお、上記量子ドットがコアとされ、その上にシェルが設けられた量子ドットが採用されても良い。
<(1-3-2)蛍光物質内容ナノ粒子>
蛍光物質内包ナノ粒子(蛍光粒子)では、蛍光物質がナノ粒子の内部に分散されており、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくても良い。ナノ粒子を構成する素材としては、例えば、ポリスチレン、ポリ乳酸、シリカおよびメラミン等が採用され得る。このような蛍光物質内包ナノ粒子は、例えば、公知の方法に従って作製され得る。
蛍光物質内包ナノ粒子(蛍光粒子)では、蛍光物質がナノ粒子の内部に分散されており、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくても良い。ナノ粒子を構成する素材としては、例えば、ポリスチレン、ポリ乳酸、シリカおよびメラミン等が採用され得る。このような蛍光物質内包ナノ粒子は、例えば、公知の方法に従って作製され得る。
具体的には、蛍光有機色素を内包したシリカナノ粒子は、例えば、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成方法を参考にして合成され得る。なお、FITCの代わりに所望の蛍光有機色素が用いられることで種々の蛍光有機色素を内包したシリカナノ粒子が合成され得る。また、蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法、または米国特許5326692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法等を用いて作製され得る。
また、量子ドットを内包したシリカナノ粒子は、例えば、ニュー・ジャーナル・オブ・ケミストリー33巻561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成方法を参考にして合成され得る。また、量子ドットを内包したポリマーナノ粒子は、例えば、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製され得る。
蛍光物質内包ナノ粒子の平均粒径としては、例えば、抗原へのアクセスのし易さ、および蛍光粒子の信号がバックグラウンドノイズ(カメラのノイズおよび細胞の自家蛍光等)に埋もれないように、通常は30~800nm程度であれば良い。また、蛍光物質内包ナノ粒子の粒径のばらつきを示す変動係数としては、例えば、通常は20%以下であれば良い。なお、平均粒径については、例えば、走査型電子顕微鏡(SEM)を用いた撮影で得られる多数の粒子の断面を捉えた画像から、1000個の粒子の断面積が計測され、各計測値を円の面積としたときの円の直径が粒径とされ、その算術平均が平均粒径として算出され得る。
<(1-3-3)生体物質認識部位>
生体物質認識部位は、目的とする生体物質と特異的に結合および/または反応する部位である。目的とする生体物質としては、例えば、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)および抗体等が採用され得る。つまり、このような目的とする生体物質に結合する物質としては、上記タンパク質を抗原として認識する抗体、上記タンパク質に特異的に結合する他のタンパク質等、および上記核酸にハイブリタイズする塩基配列を有する核酸等が採用され得る。
生体物質認識部位は、目的とする生体物質と特異的に結合および/または反応する部位である。目的とする生体物質としては、例えば、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)および抗体等が採用され得る。つまり、このような目的とする生体物質に結合する物質としては、上記タンパク質を抗原として認識する抗体、上記タンパク質に特異的に結合する他のタンパク質等、および上記核酸にハイブリタイズする塩基配列を有する核酸等が採用され得る。
具体的には、目的とする生体物質に結合する物質として、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体および細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等が採用され得る。それらの中でも抗HER2抗体および抗ER抗体が蛍光物質内包ナノ粒子に結合されたものは、乳癌の投薬選定に用いられ得る。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては、例えば、共有結合、イオン結合、水素結合、配位結合、物理吸着および/または化学吸着等が採用され得る。共有結合等の結合力の強い結合であれば、結合が安定し得る。また、生体物質認識部位と蛍光物質内包ナノ粒子とが有機分子によって連結されても良い。この有機分子としては、例えば、生体物質との非特異的吸着を抑制するために、ポリエチレングリコール鎖、またはThermo Scientific社製SM(PEG)12が採用されても良い。
蛍光物質内包シリカナノ粒子に生体物質認識部位が結合される場合、蛍光物質が蛍光有機色素および量子ドットの何れであっても、同様の手順が適用され得る。例えば、当該結合には、無機物と有機物とを結合させるために広く用いられている化合物であるシランカップリング剤が採用され得る。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、官能基(例えば、カルボキシル基、アミノ基、エポキシ基およびアルデヒド基等)を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、このようなシランカップリング剤として、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖を有するシランカップリング剤(例えば、Gelest社製PEG-silane no.SIM6492.7)等が採用される。シランカップリング剤が用いられる場合には、例えば、2種以上のシランカップリング剤が併用されても良い。
ここで、蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順としては、公知の手順が採用され得る。例えば、まず、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離またはろ過によって表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子が取得され得る。続いて、アミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介して抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1-Ethyl-3-[3-Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤が用いられても良い。
また、必要に応じて、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合し得る部位と、分子標的物質と結合し得る部位とを有するリンカー化合物が採用されても良い。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方を有するsulfo-SMCC(Sulfosuccinimidyl 4[N-maleimidomethyl]-cyclohexane-1-carboxylate:Pierce(登録商標)社製)が用いられると、アミノプロピルトリエトキシシランで修飾された蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基とが結合されることで、抗体結合した蛍光有機色素内包シリカナノ粒子が取得され得る。
蛍光物質内包ポリスチレンナノ粒子に生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素および量子ドットの何れであっても、同様の手順が適用され得る。すなわち、アミノ基等の官能基を有するポリスチレンナノ粒子に蛍光有機色素や量子ドットを含浸させることで、官能基を有する蛍光物質内包ポリスチレンナノ粒子が取得され得る。以降、EDCまたはsulfo-SMCCが用いられることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子が取得され得る。
蛍光物質内包メラミンナノ粒子に生体物質認識部位を結合させる場合、蛍光物質内包シリカナノ粒子に生体物質認識部位を結合させる場合と同様の手順が適用され得る。また、より反応性を向上させるため、メラミンナノ粒子と多官能性アミン化合物とを予め反応させて表面アミノ基数が増やされても良い。
特定抗原を認識する抗体としては、例えば、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、CD99、MIC2、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン(高分子量)、パンケラチン、パンケラチン、サイトケラチン5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc 抗原、HBs 抗原、ヘパトサイト特異抗原、HER2、HSV -I、HSV -II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパ L鎖、Ki67、ラムダ L鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27 (Kip1)、p53、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン(D2-40)、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70等が挙げられる。
<(1-4)蛍光染色試薬を用いた染色方法および蛍光画像の取得方法>
以下、組織標本の染色方法について述べるが、本願発明は、組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。また、以下に説明する染色方法が適用可能な組織標本は、例えば、公知の方法によって作製され得る。
以下、組織標本の染色方法について述べるが、本願発明は、組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。また、以下に説明する染色方法が適用可能な組織標本は、例えば、公知の方法によって作製され得る。
<(1-4-1)脱パラフィン工程>
キシレンを入れた容器に組織標本が浸漬され、パラフィンが除去される。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、3分以上で且つ30分以下であれば良い。また、必要に応じて浸漬の途中でキシレンが交換されても良い。
キシレンを入れた容器に組織標本が浸漬され、パラフィンが除去される。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、3分以上で且つ30分以下であれば良い。また、必要に応じて浸漬の途中でキシレンが交換されても良い。
次に、エタノールを入れた容器に組織標本が浸漬され、キシレンが除去される。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、3分以上で且つ30分以下であれば良い。また、必要に応じて浸漬の途中でエタノールが交換されても良い。
その次に、水を入れた容器に組織標本が浸漬され、エタノールが除去される。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、3分以上で且つ30分以下であれば良い。また、必要に応じて浸漬の途中で水が交換されても良い。
<(1-4-2)賦活化処理>
公知の方法に倣って、目的とする生体物質の賦活化処理が行われる。賦活化処理では、賦活液として、0.01Mクエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液等が用いられ得る。このとき、加熱機器として、オートクレーブ、マイクロウェーブ、圧力鍋またはウォーターバス等が採用され得る。処理温度は、例えば、室温等の適温であれば良い。具体的には、処理温度が50~130℃であり、処理時間が、5~30分である条件が採用され得る。
公知の方法に倣って、目的とする生体物質の賦活化処理が行われる。賦活化処理では、賦活液として、0.01Mクエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液等が用いられ得る。このとき、加熱機器として、オートクレーブ、マイクロウェーブ、圧力鍋またはウォーターバス等が採用され得る。処理温度は、例えば、室温等の適温であれば良い。具体的には、処理温度が50~130℃であり、処理時間が、5~30分である条件が採用され得る。
次に、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織標本が浸漬され、洗浄が行われる。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、3分以上で且つ30分以下であれば良い。また、必要に応じて浸漬の途中でPBSが交換されても良い。
<(1-4-3)生体物質認識部位が結合された蛍光物質内包ナノ粒子による染色>
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合されている生体物質認識部位が変えられることで、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子が採用される場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液が、予め混合されておいても良いし、別々に順次に組織標本に載せられても良い。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、30分以上で且つ24時間以下であれば良い。ここで、蛍光物質内包ナノ粒子による染色が行われる前に、例えば、BSA含有PBS等、公知のブロッキング剤が組織標本に対して滴下されても良い。
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合されている生体物質認識部位が変えられることで、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子が採用される場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液が、予め混合されておいても良いし、別々に順次に組織標本に載せられても良い。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、30分以上で且つ24時間以下であれば良い。ここで、蛍光物質内包ナノ粒子による染色が行われる前に、例えば、BSA含有PBS等、公知のブロッキング剤が組織標本に対して滴下されても良い。
次に、PBSを入れた容器に、染色後の組織標本が浸漬され、未反応の蛍光物質内包ナノ粒子が除去される。このとき、処理温度は、例えば、室温等の適温であれば良く、浸漬時間は、例えば、3分以上で且つ30分以下であれば良い。また、必要に応じて浸漬の途中でPBSが交換されても良い。
そして、染色後の組織標本にカバーガラスが載せられることで、組織標本が封入される。このとき、必要に応じて市販の封入剤が使用されても良い。
なお、明視野画像を得るために、HE染色試薬によって染色が行われる場合には、カバーガラスによる封入が行われる前に、HE染色が行われれば良い。
<(1-4-4)蛍光画像の取得>
染色された組織切片としての組織標本に対して、顕微鏡画像取得装置1が用いられて、広視野の顕微鏡画像(蛍光画像)が取得される。このとき、顕微鏡画像取得装置1では、染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した、励起光源および蛍光検出用光学フィルターが選択される。
染色された組織切片としての組織標本に対して、顕微鏡画像取得装置1が用いられて、広視野の顕微鏡画像(蛍光画像)が取得される。このとき、顕微鏡画像取得装置1では、染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した、励起光源および蛍光検出用光学フィルターが選択される。
<(1-5)画像処理装置>
画像処理装置2は、顕微鏡画像取得装置1から送信された細胞形態画像および蛍光画像等の顕微鏡画像を受信して、該顕微鏡画像に画像処理を施す。該画像処理装置2は、情報処理装置において所定のプログラムが実行されることで実現される。
画像処理装置2は、顕微鏡画像取得装置1から送信された細胞形態画像および蛍光画像等の顕微鏡画像を受信して、該顕微鏡画像に画像処理を施す。該画像処理装置2は、情報処理装置において所定のプログラムが実行されることで実現される。
<(1-5-1)情報処理装置の機能的な構成>
図4は、画像処理装置2の機能を実現する情報処理装置の機能的な構成を概略的に示すブロック図である。図4で示されるように、情報処理装置は、例えば、制御部21、入力部22、表示部23、通信I/F24、記憶部25等を備えている。そして、各部21~25は、バス26を介して相互にデータの送受信が可能に接続されている。
図4は、画像処理装置2の機能を実現する情報処理装置の機能的な構成を概略的に示すブロック図である。図4で示されるように、情報処理装置は、例えば、制御部21、入力部22、表示部23、通信I/F24、記憶部25等を備えている。そして、各部21~25は、バス26を介して相互にデータの送受信が可能に接続されている。
制御部21は、プロセッサーおよびメモリー等を備えた電気回路である。ここで、プロセッサーとしては、例えば、中央処理装置(CPU:Central Processing Unit)等が採用され、メモリーとしては、揮発性のメモリーであるRAM(Random Access Memory)等が採用され得る。制御部21は、記憶部25に記憶されている画像処理用のプログラムP1(図5)を実行することで、情報処理装置を画像処理装置2として機能させる。
入力部22は、ユーザーである画像処理装置2を用いる作業者の動作に応じた信号を入力する。ここで、入力部22は、例えば、ユーザーによる操作に応じた信号(操作信号とも言う)が入力される操作部であっても良いし、ユーザーによる発声に応じた信号(音声信号とも言う)が入力される音声入力部であっても良い。操作部には、文字入力キー、数字入力キーおよび各種機能キー等を含むキーボードと、マウスやタッチペン等のポインティングデバイスとが含まれ得る。操作部によれば、例えば、キーボードにおけるキーの押し下げに応じた操作信号と、ポインティングデバイスの操作に応じた操作信号とが、制御部21に入力され得る。
表示部23は、制御部21から入力される信号に従って、各種画像を表示させる。表示部23には、例えば、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等の表示デバイスが含まれる。
通信I/F24は、画像処理装置2の外部に位置する外部機器との間でデータの送受信を行なうためのインターフェースである。外部機器には、例えば、顕微鏡画像取得装置1が含まれる。このため、通信I/F24は、例えば、顕微鏡画像取得装置1から細胞形態画像および蛍光画像等の顕微鏡画像を受信する受信部として機能する。なお、例えば、画像処理装置2が、LANアダプターおよびルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成が採用されても良い。
記憶部25は、各種プログラムおよび各種データ等を記憶する。該記憶部25は、例えば、HDD(Hard Disk Drive)または不揮発性の半導体メモリー等で構成され得る。
<(1-5-2)画像処理装置の機能的な構成>
図5は、画像処理装置2の制御部21で実現される機能的な構成を例示するブロック図である。図5で示されるように、画像処理装置2は、制御部21において実現される機能的な構成として、取得部211、表示制御部212、演算部213、設定部214、修正部215および算出部216を備える。
図5は、画像処理装置2の制御部21で実現される機能的な構成を例示するブロック図である。図5で示されるように、画像処理装置2は、制御部21において実現される機能的な構成として、取得部211、表示制御部212、演算部213、設定部214、修正部215および算出部216を備える。
取得部211は、仮細胞分布画像と輝点分布画像を取得する。
仮細胞分布画像は、所定の染色試薬で染色された生体の組織切片における複数の細胞の形態が捉えられた細胞形態画像において細胞の特定部位が捉えられているものと推定される領域(推定細胞領域とも言う)の分布が複数の要素(細胞表示要素とも言う)で示されている画像である。つまり、仮細胞分布画像は、細胞形態画像から取得され得る。
ここで、細胞形態画像は、上述したように、例えば、所定の染色試薬によって染色された生体の組織切片における細胞の形態を捉えた明視野画像である。図6は、細胞形態画像の一例を模式的に示す図である。細胞形態画像は、例えば、細胞の形態に係る染色に応じた色の濃淡が捉えられた画像である。例えば、H染色試薬によって細胞の特定部位が青色に染色されれば、細胞形態画像は、青色の濃淡を呈する。図6の例では、図面を白黒で表現するために、便宜的に、細胞形態画像で捉えられているものと推定される推定細胞領域AR0における色の濃淡が、白黒のハッチングの種類および濃さで模式的に示されている。つまり、図6の例では、全ての推定細胞領域AR0にハッチングが付されている。また、図6の例では、推定細胞領域のうちの不明瞭な輪郭が破線で示されている。
図7は、図6で模式的に示された細胞形態画像から取得された仮細胞形態画像の一例を模式的に示す図である。仮細胞分布画像としては、例えば、細胞形態画像について、特定部位が捉えられているものと推定される推定細胞領域の分布と、特定部位が捉えられていないものと推定される残余の領域の分布とが区別可能な態様で示される画像が採用され得る。具体的には、例えば、推定細胞領域に対応する部分AE0が第1の色または第1のハッチングが付された細胞表示要素で示され、それ以外の残余の部分BG0が背景として細胞表示要素とは異なる第2の色または第2のハッチングが付されて描かれる。ここで、第1の色としては、例えば、青色または灰色等が採用され、第2の色としては、例えば、白色または黒色等が採用され得る。図7の例では、図面を白黒で表現するために、便宜的に、第1の色として黒色が採用され、第2の色として白色が採用されている。つまり、図7の例では、特定部位が捉えられているものと推定される全ての推定細胞領域に対応する部分AE0が黒塗りされ、残余の部分BG1が白塗りされている。
ここでは、例えば、細胞形態画像を対象とした、所定の画像処理とユーザーによる描画(すなわち、修正)との組合せ、あるいはユーザーによる描画によって、仮細胞分布画像が取得され得る。図7の例では、細胞形態画像を対象とした所定の画像処理によって検出された推定細胞領域に対応する部分、および該推定細胞領域に加えてユーザーによって描画された推定細胞領域に対応する部分が、黒塗りの細胞表示要素で示されている。なお、細胞表示要素としては、例えば、推定細胞領域に対応する部分AE0とそれ以外の残余の部分BG1とを区別可能とするものであれば良い。このため、例えば、細胞表示要素として、推定細胞領域に対応する部分の輪郭部に沿ってユーザーによって描かれた曲線が採用されても良いし、細胞形態画像を対象とした所定の画像処理によって検出された推定細胞領域に対応する部分の輪郭部に沿って自動的に描かれた曲線等が採用されても良い。
輝点分布画像は、特定の生体物質が蛍光染色試薬で染色された生体の組織切片が捉えられた蛍光画像における特定波長に係る蛍光輝点の分布を示す画像である。図8は、輝点分布画像の一例を示す図である。輝点分布画像としては、例えば、蛍光画像について、特定波長に係る蛍光輝点が捉えられている領域の分布と、特定波長に係る蛍光輝点が捉えられていない残余の領域の分布とが区別可能な態様で示される画像が採用され得る。
具体的には、例えば、蛍光輝点が捉えられていて、特定物質が存在しているものと推定される領域(蛍光輝点領域とも言う)に対応する部分SB1が第3の色または第3のハッチングが付された表示要素(輝点表示要素とも言う)で示され、それ以外の残余の部分BG1が背景として輝点表示要素とは異なる第4の色または第4のハッチングが付されて描かれる。ここで、第3の色としては、例えば、赤色等が採用され、第4の色としては、例えば、白色または黒色等が採用され得る。図8の例では、図面を白黒で表現するために、便宜的に、第3の色として黒色が採用され、第4の色として白色が採用されている。つまり、図8の例では、蛍光輝点が捉えられている領域に対応する部分SB1が黒塗りされ、残余の部分BG1が白塗りされている。
仮細胞分布画像における複数の細胞表示要素には、例えば、通信I/F24から入力される細胞形態画像を対象とした所定の画像処理によって自動で得られた細胞表示要素が含まれ得る。また、輝点分布画像における複数の輝点表示要素は、例えば、通信I/F24から入力される蛍光画像を対象とした他の所定の画像処理によって自動で取得され得る。
所定の画像処理としては、例えば、判別分析法およびPタイル法等と言った二値化、ならびにk平均法およびEMアルゴリズム等と言ったクラスタリングのうちの少なくとも一方によって、細胞形態画像において特定部位が捉えられているものと推定される領域が検出される処理が採用され得る。また、例えば、多数種の画像の特徴量を用いた機械学習で得た学習内容によって、細胞形態画像において特定部位が捉えられているものと推定される領域が検出される処理が採用されても良い。さらに、取得部211では、二値化、クラスタリングおよび機械学習の結果等によって細胞形態画像から一旦検出される領域のうち、円形度、大きさおよび細胞形態画像における色等と言った他の基準を満たす領域が、推定細胞領域として検出されても良い。
他の画像処理としては、例えば、蛍光画像から蛍光輝点の特定波長に応じた色成分が抽出されて、色成分が抽出された後の蛍光画像に濃さに係る閾値未満の部分が削除される閾値処理が施されて二値画像が生成される処理が採用され得る。ここで、例えば、蛍光粒子から発せられる光の波長が550nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出され得る。ここで生成される二値画像が、輝点分布画像に相当する。なお、他の画像処理においては、閾値処理が行われる前に、細胞の自家蛍光および他の不要な信号成分等のノイズ成分が除去される処理が行われても良い。
また、仮細胞分布画像における複数の細胞表示要素には、ユーザーによって入力部22から入力される信号に応じて描かれた1以上の細胞表示要素が含まれる。ここでは、例えば、細胞形態画像が表示部23に表示されている状態において、ユーザーによって入力部22から入力される信号に応じて1以上の細胞表示要素が描かれることで、仮細胞分布画像が取得される。
例えば、細胞形態画像から所定の画像処理によって得られた画像(基本細胞分布画像とも言う)に対して、ユーザーによって1以上の細胞表示要素が追加される態様が考えられる。ここで、基本細胞分布画像は、少なくとも1つの推定細胞領域の分布が少なくとも1つの細胞表示要素で示されている仮細胞分布画像の基礎となる画像である。この場合、例えば、入力部22で入力される所定の信号に応じて、細胞形態画像についての所定の画像処理によって検出される推定細胞領域(被検出細胞領域とも言う)とは異なる別の推定細胞領域(非検出細胞領域とも言う)の分布を示すために、該非検出細胞領域の少なくとも輪郭部に対応する表示要素が基本細胞分布画像に追加される。所定の信号は、予め設定されていれば良い。
図9から図13は、図6で模式的に示された細胞形態画像から仮細胞分布画像が取得される様子を模式的に例示する図である。
ここで、まず、例えば、図6で示された細胞形態画像に対する所定の画像処理によって推定細胞領域(被検出細胞領域)が検出され、図9で示されるように、被検出細胞領域に対応する部分AE2が細胞表示要素によって示される基本細胞分布画像が取得される。図9では、黒塗りされた部分が細胞表示要素を示している。また、図10では、所定の画像処理によって得られた基本細胞分布画像が細胞形態画像上に重畳された態様が示されている。
次に、例えば、図10で示されるように、細胞形態画像が表示部23に表示された状態で、ユーザーによる入力部22の操作等によって、細胞形態画像上において、非検出細胞領域に対応する部分AD2の輪郭部に沿って曲線が描かれる。図11には、細胞形態画像上において、非検出細胞領域に対応する部分AD2の輪郭線に沿って太い曲線TL1が描かれた様子が示されている。このとき、例えば、ユーザーによる入力部22の操作等によって、表示部23において、細胞形態画像上に細胞表示要素が重畳的に表示されている状態(例えば、図11)と、細胞形態画像のみが表示されている状態(例えば、図12)とが切り替えられながら、図11および図12で示されるように、非検出細胞領域に対応する部分AD2の輪郭部に沿って曲線TL1が描かれ得る。具体的には、例えば、マウスの左ボタンを押下しつつ、マウスポインターを非検出細胞領域の輪郭部に沿って移動させることで、マウスポインターが移動した軌跡上に曲線が描かれ得る。
これにより、例えば、図13で示されるように、推定細胞領域に対応する部分AE2,AD2とそれ以外の残余の部分BG2とが区別可能とされる。具体的には、図13の例では、細胞形態画像を対象とした所定の画像処理によって検出された推定細胞領域(被検出細胞領域)に対応する部分AE2が黒塗りされ、残余の推定細胞領域(非検出細胞領域)に対応する部分AD2の外縁がユーザーによって黒い太線TL1の曲線で描かれ得る。
表示制御部212は、各種画像を表示部23に表示させる。各種画像には、例えば、細胞形態画像、基本細胞分布画像、仮細胞分布画像および細胞分布画像等が含まれる。ここでは、例えば、表示制御部212から各種画像に係るデータが表示部23に出力されることで、各種画像が表示部23に表示され得る。
演算部213は、仮細胞分布画像のうちのユーザーによって描かれた1以上の細胞表示要素のそれぞれについて、細胞形態画像のうちの細胞表示要素に対応する推定細胞領域(非検出細胞領域)における外観上の1種類以上の特徴に係る値(特徴値とも言う)を得る。ここで、外観上の1種類以上の特徴には、例えば、非検出細胞領域についての、大きさ、濃さおよび形状のうちの少なくとも1つの特徴が含まれ得る。これにより、後述する修正部215において、例えば、面積が小さい、色が薄いおよび丸くない等と言った3条件のうちの1以上の条件を満たす推定細胞領域が細胞領域として正式には採用されない処理が実現され得る。その結果、細胞の形態を捉えた細胞形態画像において細胞の特定部位が捉えられている細胞領域の分布が的確に示された細胞分布画像が安定して取得され得る。
具体的には、大きさに係る特徴には、例えば、非検出細胞領域についての、面積、周囲の長さ、長軸の長さおよび短軸の長さ等の複数の特徴のうちの1種類以上の特徴が含まれ得る。また、濃さに係る特徴には、例えば、非検出細胞領域についての、色相(H:Hue)、明度(V:ValueまたはB:Brightness)、彩度(S:Saturation)および色差(Cr,Cb)のうちの1種類以上の特徴が含まれ得る。また、形状に係る特徴には、例えば、非検出細胞領域についての、円形度、扁平率およびアスペクト比のうちの1種類以上の特徴が含まれ得る。
ここで、非検出細胞領域は、例えば、仮細胞分布画像のうちのユーザーによって追加された輪郭部を指定する表示要素等に基づいて認識され得る。
非検出細胞領域の面積は、例えば、非検出細胞領域を構成する画素数等によって認識され得る。非検出細胞領域の周囲の長さは、例えば、非検出細胞領域の輪郭部を指定する表示要素の長さ等によって認識され得る。非検出細胞領域の長軸および短軸の長さは、例えば、種々の角度の直線が、少しずつずらされながら非検出細胞領域に交差させることで、該直線が非検出細胞領域と交差している距離が最大および最小となる長さとしてそれぞれ認識され得る。
非検出細胞領域の色相(H)、明度(VまたはB)、彩度(S)および色差(Cr,Cb)は、例えば、公知の変換式等によって、該非検出細胞領域を構成する画素の画素値(例えば、RGBの3色に係る画素値)から算出され得る。ここで、例えば、赤(R)、緑(G)および青(B)の3色における画素値をVr,Vg,Vbとし、該画素値Vr,Vg,Vbのうち、最大値をVmax、最小値をVminとする。
このとき、色相(H)は、tanH=√3×(Vg-Vb)/(2Vr-Vg-Vb)の式によって算出され得る。また、例えば、次の〔i〕~〔iii〕の計算ルールに従って、色相(H)が算出されても良い。
〔i〕Vrが最大値Vmaxである場合、色相(H)は、H=60×{(Vg-Vb)/(Vmax-Vmin)}の式によって算出され得る。
〔ii〕Vgが最大値Vmaxである場合、色相(H)は、H=60×{(Vb-Vr)/(Vmax-Vmin)}+120の式によって算出され得る。
〔iii〕Vbが最大値Vmaxである場合、色相(H)は、H=60×{(Vr-Vg)/(Vmax-Vmin)}+240の式によって算出され得る。
なお、Vr=Vg=Vbの関係式が成立する場合、色相(H)は、ゼロ(0)となる。
また、彩度(S)は、例えば、S=(Vmax-Vmin)/Vmaxの式によって算出され得る。明度(VまたはB)は、例えば、V=VmaxまたはB=Vmaxの式によって算出され得る。色差(Cr,Cb)は、例えば、Cr=0.500Vr-0.419Vg-0.081VbおよびCb=-0.169Vr-0.332Vg+0.500Vbの2式によって算出され得る。
非検出細胞領域の円形度(Dc:Degree of Circularity)については、例えば、該非検出細胞領域の面積がSとされ、該非検出細胞領域の周囲の長さがLにされた場合、Dc=4π×S/L2の式によって算出され得る。非検出細胞領域の扁平率(F:flattening)については、例えば、長径がa、短径がbとされた場合、F=(a-b)/aの式によって算出され得る。アスペクト比(AR:aspect ratio)については、例えば、長径がa、短径がbとされた場合、Ar=a/bの式によって算出され得る。なお、長径は、上述した非検出細胞領域の長軸の長さであり、短径は、上述した非検出細胞領域の短軸の長さであれば良い。
また、演算部213では、必要に応じて、仮細胞分布画像における全ての細胞表示要素としての複数の細胞表示要素のそれぞれについて、細胞形態画像のうちの細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴に係る特徴値が得られても良い。これにより、後述する設定部214において、仮細胞分布画像における複数の推定細胞領域における外観上の特徴に係る特徴値の統計値が算出され得る。
設定部214は、後述する修正部215における仮細胞分布画像の修正に用いられる値域を設定する。設定部214では、演算部213で得られる外観上の1種類以上の特徴に係る特徴値について、許容される値域(許容値域とも言う)および許容されない値域(禁止値域とも言う)の少なくとも一方の値域が設定される。
ここで、1種類以上の特徴それぞれについての許容値域は、予め設定された所定値域であっても良いし、仮細胞分布画像の特徴に応じて設定される値域(可変値域とも言う)であっても良い。また、1種類以上の特徴それぞれについての禁止値域も、予め設定された所定値域であっても良いし、仮細胞分布画像の特徴に応じて設定される可変値域であっても良い。つまり、1種類以上の特徴それぞれについての許容値域および禁止値域の少なくとも一方が、予め設定された所定値域であっても良いし、仮細胞分布画像の特徴に応じて設定される可変値域であっても良い。可変値域は、例えば、仮細胞分布画像における複数の細胞表示要素についての1種類以上の特徴それぞれに係る特徴値の統計値から予め設定されたルール(設定用ルールとも言う)に従って設定され得る。これにより、細胞形態画像における推定細胞領域の状態に応じた可変値域の設定が可能となり、細胞形態画像における推定細胞領域の状態に応じた後述する修正部215による仮細胞分布画像の修正が可能となる。
統計値は、例えば、各特徴について演算部213で得られる複数の細胞表示要素についての特徴値の統計値として算出され得る。統計値として、例えば、平均値、最頻値および中央値のうちの少なくとも1つの値が採用されれば、容易に統計値が算出され得るとともに、適切な可変値域が設定され得る。なお、平均値としては、例えば、特徴値の総和を特徴値の総数で除した算術平均等が採用され得る。設定用ルールは、例えば、統計値を基準として可変値域を設定するルールであれば良い。統計値が、推定細胞領域の大きさに係る統計値である場合、設定用ルールとして、例えば、大きさの平均値の所定の割合未満の値域を可変値域としての禁止値域として設定するルール、および/または大きさの平均値の所定の割合以上の値域を可変値域としての許容値域として設定するルール等が採用され得る。所定の割合は、例えば、2~7割の任意の割合等、適宜設定され得る。
図14から図16は、値域の設定例を示す図である。
図14では、推定細胞領域の外観上の特徴に係る特徴値として、大きさに係る特徴値である面積が採用されている例が示されている。具体的には、図14の横軸は、各細胞形態画像において破線で囲まれた推定細胞領域の面積が、細胞形態画像における複数の推定細胞領域の面積の算術平均で除されることで正規化された後の値(正規化後の面積とも言う)を示している。このため、図14では、右方に行けば行く程、正規化後の面積が大きくなっている様子が示されている。そして、図14では、複数の推定細胞領域の面積の算術平均(平均値)の3割が閾値とされて、正規化後の面積が0.3未満の値域が禁止値域として設定され、正規化後の面積が0.3以上の値域が許容値域として設定されている様子が示されている。
図15では、推定細胞領域の外観上の特徴に係る特徴値として、濃度に係る特徴値である彩度が採用されている例が示されている。具体的には、図15の横軸は、各細胞形態画像において破線で囲まれた推定細胞領域の彩度を示している。このため、図15では、右方に行けば行く程、彩度が大きくなっている様子が示されている。そして、図15では、彩度について予め設定された所定値である10が閾値とされて、該所定値未満の所定値域が禁止値域として設定され、該所定値以上の所定値域が許容値域として設定されている様子が示されている。
図16では、推定細胞領域の外観上の特徴に係る特徴値として、形状に係る特徴値である円形度が採用されている例が示されている。具体的には、図16の横軸は、各推定細胞領域の円形度を示している。このため、図16では、右方に行けば行く程、円形度が大きくなっている様子が示されている。そして、図16では、円形度について予め設定された所定値である0.3が閾値とされて、該所定値未満の所定値域が禁止値域として設定され、該所定値以上の所定値域が許容値域として設定されている様子が示されている。
図17では、推定細胞領域の外観上の特徴に係る特徴値として、大きさに係る特徴値である面積と、濃度に係る特徴値である彩度とが採用されている例が示されている。ここでは、図14で示された値域の設定と、図15で示された値域の設定とが組み合わされた、2次元的な値域が設定されている例が示されている。具体的には、図17の横軸は、推定細胞領域の面積が、細胞形態画像における複数の推定細胞領域の面積の算術平均(平均値)で除されることで正規化された後の値(正規化後の面積とも言う)を示しており、図17の縦軸は、推定細胞領域の彩度を示している。そして、太い破線で囲まれた2次元的な値域が、許容値域として設定されている様子が示されている。このとき、太い破線で囲まれた2次元的な値域を除く残余の値域が、禁止値域として設定されていることになる。
修正部215は、仮細胞分布画像におけるユーザーによって描かれた1以上の細胞表示要素のうち、演算部213で得られた特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素を、仮細胞分布画像から削除する処理(カット処理とも言う)を行う。これにより、仮細胞分布画像が修正されて、細胞分布画像が生成される。このように客観的に設定され得る値域に従って仮細胞分布画像が修正されることで、例えば、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなる。その結果、細胞の形態を捉えた細胞形態画像において細胞の特定部位が捉えられている細胞領域の分布が的確に示された細胞分布画像が安定して取得され得る。特に、細胞形態画像における推定細胞領域の状態に応じた可変値域が設定されれば、細胞形態画像に応じたさらに的確な細胞分布画像が取得され得る。
図18は、カット処理による修正によって生成された細胞分布画像の一例を模式的に示す図である。図18には、図13で示された仮細胞分布画像が対象とされたカット処理による修正によって生成された細胞分布画像が示されている。ここでは、ある程度未満の濃度、ある程度未満の大きさおよびある程度を超える扁平度の少なくとも1つの特徴を有している推定細胞領域が削除されることで生成された細胞分布画像が例示されている。
図19および図20は、異なるユーザーによって得られる細胞分布画像において生じるばらつきが、カット処理によって低減された具体例を示す図である。ここでは、3名のユーザーとしての作業者A、作業者Bおよび作業者Cによって、6つの組織切片(試料1~6)についての細胞分布画像が得られた例について示されている。図19および図20のそれぞれにおいて、各作業者A~Cによって生成された6つの試料1~6に係る細胞分布画像においてそれぞれ存在していた細胞表示要素の数が折れ線で示されている。具体的には、各試料について作業者Aによって生成された細胞分布画像における細胞表示要素の数が、実線の折れ線で示されている。各試料について作業者Bによって生成された細胞分布画像における細胞表示要素の数が、破線の折れ線で示されている。各試料について作業者Cによって生成された細胞分布画像における細胞表示要素の数が、一点鎖線の折れ線で示されている。
図19には、カット処理が行われることなく生成された細胞分布画像に存在していた細胞表示要素の数についての作業者間におけるばらつき具合が例示されている。図20には、カット処理が行われることで生成された細胞分布画像に存在していた細胞表示要素の数についての作業者間におけるばらつき具合が例示されている。図19および図20で示されるように、カット処理の実施によって、試料毎に生成される細胞分布画像についての作業者間におけるばらつき具合が低減される傾向が見られた。具体的には、カット処理の実施によって、作業者の違いによって同一試料について生じる細胞表示要素の数の変動に係る変動係数(CV)の6つの試料についての算術平均が11.6%から9.4%に低下した。すなわち、カット処理の実施によって、細胞分布画像の作業者間におけるばらつきが低減され得ることが分かった。
算出部216は、修正部215で生成された細胞分布画像と、取得部211で得られた輝点分布画像とに基づいて、細胞形態画像で捉えられている特定部位における特定の生体物質の存在状態に係る解析値を算出する。ここで算出される解析値としては、例えば、単位領域当たりの蛍光輝点の数(輝点数とも言う)等と言った統計的な値(すなわち統計値)が採用され得る。単位領域としては、例えば、細胞領域の単位面積、および1つの細胞領域が採用され得る。この場合、例えば、単位面積当たりの輝点数、および1つの細胞領域当たりの輝点数等が解析値として算出され得る。
ここでは、例えば、図21で例示されるような細胞分布画像と、図22で例示されるような輝点分布画像とが、図23で例示されるように重畳されることで、細胞領域と蛍光輝点との関係が認識可能となり得る。
図24は、細胞領域に対する特定の生体物質の存在状態に係る解析値の一例を示す図である。具体的には、横軸が、単位領域当たりの輝点数を示しており、縦軸が、単位領域当たりの輝点数の出現回数(頻度)を示している。このような統計的な解析データによって、病変の有無や種類等について診断する病理診断が的確に行われ得る。
<(1-6)画像処理装置の動作フロー>
図25から図27は、画像処理装置2の動作フローを例示するフローチャートである。ここでは、顕微鏡画像としての細胞形態画像および蛍光画像が、画像処理装置2に入力される例が示されている。
図25から図27は、画像処理装置2の動作フローを例示するフローチャートである。ここでは、顕微鏡画像としての細胞形態画像および蛍光画像が、画像処理装置2に入力される例が示されている。
図25で示されるように、画像処理装置2では、ステップST1,ST2の処理が時間順次に行われる一連の処理と、ステップST3,ST4の処理が時間順次に行われる他の一連の処理とが並行して実行され、その後に、ステップST5の処理が行われる。なお、ステップST1,ST2からなる一連の処理と、ステップST3,ST4からなる一連の処理とは、必ずしも並行して実行される必要はない。例えば、ステップST1の処理とステップST3の処理については、何れの処理が先に実行されても良い。また、例えば、ステップST2の処理は、ステップST1の処理の後に実行されるのであれば、ステップST3,ST4の処理と同時期およびその前後の何れのタイミングに実行されても良い。また、例えば、ステップST4の処理は、ステップST3の処理の後に実行されるのであれば、ステップST1,ST2の処理と同時期およびその前後の何れのタイミングに実行されても良い。
ステップST1では、制御部21に細胞形態画像が入力される。ここでは、例えば、顕微鏡画像取得装置1によって取得された細胞形態画像が、通信I/F24を介して、制御部21に入力される。
ステップST2では、取得部211によって、ステップST1で入力された細胞形態画像から細胞分布画像が生成される。このステップST2では、例えば、図26で示される動作フローが実行される。ここでは、図26で示されるステップST21~ST24の処理が時間順次に行われる一連の処理が実行される。
図26のステップST21では、取得部211によって、仮細胞分布画像が取得される。上述したように、仮細胞分布画像は、所定の染色試薬で染色された生体の組織切片における複数の細胞の形態が捉えられた細胞形態画像において細胞の特定部位が捉えられているものと推定される推定細胞領域の分布が複数の細胞表示要素で示されている画像である。そして、該仮細胞分布画像は、細胞形態画像が表示部23に表示されている状態におけるユーザーの動作に応じて入力された信号に応じて、複数の細胞表示要素のうちの1以上の細胞表示要素が描かれたものである。なお、ここでは、例えば、ステップST1で入力された細胞形態画像が対象とされた所定の画像処理によって基本細胞分布画像が一旦得られ、該基本細胞分布画像に対してユーザーによって1以上の細胞表示要素が追加されることで、仮細胞分布画像が取得される。
ステップST22では、演算部213によって、仮細胞分布画像のうちのユーザーによって描かれた1以上の細胞表示要素のそれぞれについて、細胞形態画像のうちの該細胞表示要素に対応する推定細胞領域(非検出細胞領域)における外観上の1種類以上の特徴に係る特徴値が取得される。ここでは、例えば、推定細胞領域の大きさ、濃さおよび形状の少なくとも1種類の特徴に係る特徴値が算出される。
ステップST23では、設定部214によって、ステップST24で用いられる許容値域および禁止値域の少なくとも一方の値域が設定される。ここでは、例えば、許容値域および禁止値域の少なくとも一方が、予め設定された所定値域に設定される。
ステップST24では、修正部215によって、ユーザーの動作に応じて描かれた1以上の細胞表示要素のうち、ステップST22で取得された特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素が、仮細胞分布画像から削除されることで、仮細胞分布画像が修正される。これにより、細胞分布画像が生成される。
なお、ステップST2が実行される代わりに、図27で示されるステップST21A~ST25Aの処理が時間順次に行われる一連の処理(ステップST2A)が実行されても良い。
図27のステップST21Aでは、図26のステップST21と同様な処理が行われる。
ステップST22Aでは、演算部213によって、仮細胞分布画像のうちのユーザーによって描かれた1以上の細胞表示要素を含む全ての複数の細胞表示要素のそれぞれについて、細胞形態画像のうちの細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴に係る特徴値が取得される。
ステップST23Aでは、演算部213によって、各特徴について、ステップST22Aで得られた複数の細胞表示要素についての特徴値の統計値が算出される。
ステップST24Aでは、設定部214によって、各特徴について、ステップST23Aで算出された特徴値に係る統計値から予め設定された設定用ルールに従って、ステップST25Aで用いられる許容値域および禁止値域の少なくとも一方の可変値域が設定される。
ステップST25Aでは、修正部215によって、ユーザーの動作に応じて描かれた1以上の細胞表示要素のうち、ステップST22Aで取得された特徴値がステップST24Aで設定された許容値域外または禁止値域内にある細胞表示要素が、仮細胞分布画像から削除されることで、仮細胞分布画像が修正される。これにより、細胞分布画像が生成される。
このように、ステップST2,ST2Aでは、所定値域または変動値域に従って細胞表示要素が削除されたが、これに限られない。例えば、2種類以上の特徴についての許容値域および禁止値域の少なくとも一方の値域に従って細胞表示要素が削除される場合には、ステップST2,ST2Aに含まれる処理が適宜矛盾しない範囲で組み合わされれば良い。
図25に戻って、ステップST3では、制御部21に蛍光画像が入力される。ここでは、顕微鏡画像取得装置1によって取得された蛍光画像が、通信I/F24を介して、制御部21に入力される。
ステップST4では、取得部211によって、ステップST3で入力された蛍光画像から輝点分布画像が生成される。ここでは、上述したように、例えば、蛍光画像に対して画像処理が施されることで、輝点分布画像が生成される。
ステップST5では、算出部216によって、ステップST2で生成された細胞分布画像と、ステップST4で生成された輝点分布画像とに基づいて、細胞領域に対する特定の生体物質の存在状態に係る解析値が算出される。
<(1-7)まとめ>
以上のように、本実施形態に係る画像処理装置によれば、ユーザーによって描かれた細胞表示要素が、該細胞表示要素に係る推定細胞領域の外観上の特徴に応じて削除されることで、仮細胞分布画像が修正されて細胞分布画像が生成される。このため、例えば、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなる。その結果、細胞の形態を捉えた画像において細胞の特定部位が捉えられている領域の分布が的確に示された細胞分布画像が安定して取得され得る。特に、細胞形態画像における推定細胞領域の状態に応じた可変値域が設定されれば、細胞形態画像に応じたさらに的確な細胞分布画像が取得され得る。そして、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなることで、細胞分布画像と輝点分布画像とから得られる、特定部位に対する特定の生体物質の存在状態に係る解析値にもばらつきが生じ難くなる。その結果、顕微鏡画像の解析を通じた病理診断の精度の向上が図られ得る。
以上のように、本実施形態に係る画像処理装置によれば、ユーザーによって描かれた細胞表示要素が、該細胞表示要素に係る推定細胞領域の外観上の特徴に応じて削除されることで、仮細胞分布画像が修正されて細胞分布画像が生成される。このため、例えば、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなる。その結果、細胞の形態を捉えた画像において細胞の特定部位が捉えられている領域の分布が的確に示された細胞分布画像が安定して取得され得る。特に、細胞形態画像における推定細胞領域の状態に応じた可変値域が設定されれば、細胞形態画像に応じたさらに的確な細胞分布画像が取得され得る。そして、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなることで、細胞分布画像と輝点分布画像とから得られる、特定部位に対する特定の生体物質の存在状態に係る解析値にもばらつきが生じ難くなる。その結果、顕微鏡画像の解析を通じた病理診断の精度の向上が図られ得る。
<(2)変形例>
なお、本発明は上述の一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
なお、本発明は上述の一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
例えば、上記一実施形態では、仮細胞分布画像における複数の細胞表示要素のうちの1以上の細胞表示要素のみが修正の対象となり得る態様が採用されていたが、これに限られない。例えば、仮細胞分布画像における複数の細胞表示要素のうち、1以上の細胞表示要素以外の一部の細胞表示要素も修正の対象となり得る態様が採用されても良いし、全ての細胞表示要素が修正の対象となり得る態様が採用されても良い。すなわち、例えば、仮細胞分布領域における少なくとも1以上の細胞表示要素が修正の対象となり得る態様が採用されても良い。
また、上記一実施形態では、演算部213によって、仮細胞分布画像のうちのユーザーによって描かれた1以上の細胞表示要素のそれぞれについて、細胞形態画像のうちの該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴に係る特徴値が得られたが、これに限られない。例えば、演算部213によって、仮細胞分布画像のうちのユーザーによって描かれた1以上の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴に係る特徴値が得られても良い。また、例えば、仮細胞分布画像における複数の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴に係る特徴値が得られても良い。つまり、細胞表示要素そのものの外観上の特徴に係る特徴値が得られても良い。
すなわち、演算部213によって、仮細胞分布画像のうちのユーザーによって描かれた1以上の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴、および細胞形態画像のうちの該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴のうちの少なくとも1種類の特徴に係る特徴値が得られても良い。また、例えば、仮細胞分布画像における複数の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴、および細胞形態画像のうちの該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴のうちの少なくとも1種類の特徴に係る特徴値が得られても良い。
このような構成では、ユーザーによって描かれた細胞表示要素が、該細胞表示要素および該細胞表示要素に対応する細胞形態画像の推定細胞領域の少なくとも一方の外観上の特徴に応じて適宜削除されることで、仮細胞分布画像が修正されて細胞分布画像が生成され得る。これにより、例えば、ユーザー間で得られる細胞分布画像にばらつきが生じ難くなる。その結果、細胞の形態を捉えた細胞形態画像において細胞の特定部位が捉えられている細胞領域の分布が的確に示された細胞分布画像が安定して取得され得る。
また、このような構成が採用される場合には、外観上の1種類以上の特徴には、例えば、細胞表示要素についての、大きさ、濃さおよび形状のうちの少なくとも1つの特徴が含まれ得る。具体的には、大きさに係る特徴には、例えば、細胞表示要素の面積、周囲の長さ、長軸の長さおよび短軸の長さ等と言った複数種類の特徴のうちの1種類以上の特徴が含まれ得る。また、細胞表示要素の濃さが、対応する推定細胞領域の濃さ(例えば、濃さの算術平均)に応じたものであれば、濃さに係る特徴には、例えば、細胞表示要素の色相、明度、彩度および色差等と言った複数種類の特徴のうちの1種類以上の特徴が含まれ得る。また、形状に係る特徴には、例えば、細胞表示要素の円形度、扁平率およびアスペクト比等と言った複数種類の特徴のうちの1種類以上の特徴が含まれ得る。
すなわち、外観上の1種類以上の特徴には、例えば、推定細胞領域および細胞表示要素のうちの少なくとも一方についての、大きさ、濃さおよび形状のうちの少なくとも1つの特徴が含まれ得る。具体的には、大きさに係る特徴には、例えば、推定細胞領域および細胞表示要素のうちの少なくとも一方についての、面積、周囲の長さ、長軸の長さおよび短軸の長さ等と言った複数種類の特徴のうちの1種類以上の特徴が含まれ得る。また、濃さに係る特徴には、例えば、推定細胞領域および細胞表示要素のうちの少なくとも一方についての、色相、明度、彩度および色差等と言った複数種類の特徴のうちの1種類以上の特徴が含まれ得る。また、形状に係る特徴には、例えば、推定細胞領域および細胞表示要素のうちの少なくとも一方についての、円形度、扁平率およびアスペクト比等と言った複数種類の特徴のうちの1種類以上の特徴が含まれ得る。
さらに、このような構成が採用される場合には、演算部213によって、細胞表示要素および該細胞表示要素に対応する細胞形態画像の推定細胞領域の少なくとも一方の外観上の特徴についての特徴値の統計値が算出され得る。そして、設定部214によって、各特徴について、演算部213で算出された特徴値に係る統計値から予め設定された設定用ルールに従って、修正部215で用いられる許容値域および禁止値域の少なくとも一方の可変値域が設定され得る。
また、上記一実施形態では、設定部214によって、許容値域および禁止値域として、所定値域、あるいは特徴値に係る統計値に応じた変動値域が設定されたが、これに限られない。例えば、設定部214によって、細胞形態画像の種類に応じて、許容値域または禁止値域、ならびに特徴値が得られる少なくとも1種類の特徴、のうちの少なくとも一方が設定されても良い。これにより、細胞形態画像の特徴に合わせて解析の対象となる細胞領域が的確に抽出され得る。換言すれば、細胞形態画像における推定細胞領域の状態に合わせた値域、特徴および特徴の組合せ等が適宜設定されることで、細胞分布画像が的確に取得され得る。その結果、細胞領域に対する特定の生体物質の存在状態に係る解析値が、より安定して精度良く算出され得る。
ここで、細胞形態画像の種類には、例えば、手術で摘出された組織切片(手術標本とも言う)を対象として撮像された細胞形態画像(手術標本画像とも言う)、および針生検で得られる組織切片を対象として撮像された細胞形態画像(針生検画像とも言う)等が含まれ得る。ここで、細胞形態画像の種類を示す識別情報が、細胞形態画像のタグ情報に記述されれば、設定部214において、タグ情報が参照されることで、細胞形態画像の種類が容易に識別され得る。そして、針生検では、組織切片が採取される際に、細胞に圧縮力が加わって細胞の形状が歪む場合がある。このため、細胞形態画像が、手術標本画像である場合よりも針生検画像である場合の方が、大きさおよび形状に係る許容値域が相対的に広く設定され、禁止値域が相対的に狭く設定される態様が考えられる。また、例えば、大きさや形状等と言った特徴を除く、濃さ等と言ったその他の特徴について許容値域または禁止値域が設定されても良い。
図28は、細胞形態画像の種類に応じて値域が変更される一例を示す図である。図28では、推定細胞領域の外観上の特徴に係る特徴値として、大きさに係る特徴値である面積と、形状に係る特徴値である円形度とが採用されている例が示されている。ここで、図28の横軸は、推定細胞領域の面積が、細胞形態画像における複数の推定細胞領域の面積の算術平均(平均値)で除されることで正規化された後の値(正規化後の面積とも言う)を示しており、図28の縦軸は、推定細胞領域の円形度を示している。そして、例えば、細胞形態画像が手術標本画像である場合には、太い破線で囲まれた比較的狭い2次元的な値域が、許容値域として設定され、細胞形態画像が針生検画像である場合には、太い一点鎖線で囲まれた比較的広い2次元的な値域が、許容値域として設定される。なお、このとき、手術標本画像に対しては、太い破線で囲まれた2次元的な値域を除く残余の値域が、禁止値域として設定され、針生検画像に対しては、太い一点鎖線で囲まれた2次元的な値域を除く残余の値域が、禁止値域として設定される。
また、上記一実施形態では、修正部215において、仮細胞分布画像のユーザーによって描かれた1以上の細胞表示要素のうち、演算部213で得られた特徴値が許容値域外または禁止値域内にある細胞表示要素が、仮細胞分布画像から削除されたが、これに限られない。例えば、修正部215において、仮細胞分布画像のユーザーによって描かれた1以上の細胞表示要素のうち、演算部213で得られた特徴値が許容値域外または禁止値域内にある細胞表示要素が、不採用の状態に設定されることで、仮細胞分布画像が修正されても良い。ここで言う不採用の状態としては、例えば、解析処理には採用されない状態等が採用され得る。なお、不採用の状態に設定されていることを示す情報については、不採用とされている細胞表示要素を特定する位置情報等とともに、細胞分布画像のタグ情報等に適宜含められる態様等が考えられる。
また、上記一実施形態では、取得部211において、細胞形態画像が対象とされた所定の画像処理によって基本細胞分布画像が一旦得られ、該基本細胞分布画像に対してユーザーによって1以上の細胞表示要素が追加されることで、仮細胞分布画像が取得されたが、これに限られない。例えば、取得部211において、細胞形態画像が対象とされた所定の画像処理が行われることなく、全ての細胞表示要素がユーザーの動作に応じて描かれることで、仮細胞分布画像が取得されても良い。
また、上記一実施形態では、画像処理装置2において、顕微鏡画像取得装置1から細胞形態画像および蛍光画像が得られたが、これに限られない。例えば、画像処理装置2において、外部の装置または記憶媒体から基本細胞分布画像および輝点分布画像の少なくとも一方の画像が得られても良い。
また、上記一実施形態では、1台の情報処理装置が各種処理を実行する画像処理装置2として機能したが、これに限られない。例えば、該各種処理が、複数台の情報処理装置のグループからなる情報処理システムにおいて実行されても良いし、アプリケーションサービスプロバイダ(ASP)およびクラウドコンピューティング等と言った種々の形態の情報処理システムにおいて実行されも良い。すなわち、画像処理装置2は、単体の情報処理装置によって構成されるものに限定されず、複数の情報処理装置の協働によって実現される画像処理を行うシステム(画像処理システムとも言う)の形態を有していても良い。
なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
1 顕微鏡画像取得装置
2 画像処理装置
21 制御部
22 入力部
23 表示部
25 記憶部
100 病理診断支援システム
211 取得部
212 表示制御部
213 演算部
214 設定部
215 修正部
216 算出部
P1 プログラム
2 画像処理装置
21 制御部
22 入力部
23 表示部
25 記憶部
100 病理診断支援システム
211 取得部
212 表示制御部
213 演算部
214 設定部
215 修正部
216 算出部
P1 プログラム
Claims (9)
- 染色試薬によって染色された生体の組織切片における細胞の形態を捉えた細胞形態画像を表示部に表示させる表示制御部と、
ユーザーの動作に応じた信号を入力する入力部と、
前記細胞形態画像において細胞の特定部位が捉えられているものと推定される推定細胞領域の分布が複数の細胞表示要素で示されており、前記細胞形態画像が前記表示部に表示されている状態における前記入力部から入力される信号に応じて、前記複数の細胞表示要素のうちの1以上の細胞表示要素が描かれた仮細胞分布画像を取得する取得部と、
前記1以上の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴、および前記細胞形態画像の該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴のうちの少なくとも1種類の特徴に係る特徴値を得る演算部と、
前記1以上の細胞表示要素のうち、前記特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素を、前記仮細胞分布画像から削除するかまたは不採用の状態に設定することで、前記仮細胞分布画像を修正して細胞分布画像を生成する修正部と、
を備える、画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記少なくとも1種類の特徴それぞれに係る特徴値についての前記許容値域および前記禁止値域の少なくとも一方の値域が、
予め設定された所定値域、または前記複数の細胞表示要素についての前記少なくとも1種類の特徴それぞれに係る特徴値の統計値から予め設定されたルールに従って設定される可変値域を含む、画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記統計値が、
平均値、最頻値および中央値のうちの少なくとも1つの値を含む、画像処理装置。 - 請求項1から請求項3の何れか1つの請求項に記載の画像処理装置であって、
前記外観上の1種類以上の特徴が、
大きさ、濃さおよび形状のうちの少なくとも1つの特徴を含む、画像処理装置。 - 請求項4に記載の画像処理装置であって、
前記大きさに係る特徴が、
前記細胞表示要素および前記推定細胞領域のうちの少なくとも一方についての、面積、周囲の長さ、長軸の長さおよび短軸の長さのうちの1種類以上の特徴を含み、
前記濃さに係る特徴が、
前記細胞表示要素および前記推定細胞領域のうちの少なくとも一方についての、色相、明度、彩度、輝度および色差のうちの1種類以上の特徴を含み、
前記形状に係る特徴が、
前記細胞表示要素および前記推定細胞領域のうちの少なくとも一方についての、円形度、扁平率およびアスペクト比のうちの1種類以上の特徴を含む、画像処理装置。 - 請求項1から請求項5の何れか1つの請求項に記載の画像処理装置であって、
前記許容値域または前記禁止値域、ならびに前記少なくとも1種類の特徴、の少なくとも一方を、前記細胞形態画像の種類に応じて設定する設定部、
を更に備える、画像処理装置。 - 請求項1から請求項6の何れか1つの請求項に記載の画像処理装置であって、
前記取得部が、
特定の生体物質が蛍光染色試薬で染色された前記組織切片が捉えられた蛍光画像における特定波長に係る蛍光輝点の分布を示す輝点分布画像を取得し、
前記画像処理装置が、
前記細胞分布画像および前記輝点分布画像に基づいて、前記細胞形態画像で捉えられている前記特定部位における前記特定の生体物質の存在状態に係る解析値を算出する算出部、
を更に備える、画像処理装置。 - (a)取得部によって、染色試薬によって染色された生体の組織切片における細胞の形態が捉えられた細胞形態画像において細胞の特定部位が捉えられているものと推定される推定細胞領域の分布が複数の細胞表示要素で示されており、前記細胞形態画像が表示部に表示されている状態におけるユーザーの動作に応じて入力された信号に応じて、前記複数の細胞表示要素のうちの1以上の細胞表示要素が描かれた仮細胞分布画像を取得するステップと、
(b)演算部によって、前記1以上の細胞表示要素のそれぞれについて、外観上の1種類以上の特徴、および前記細胞形態画像の該細胞表示要素に対応する推定細胞領域における外観上の1種類以上の特徴のうちの少なくとも1種類の特徴に係る特徴値を得るステップと、
(c)修正部によって、前記1以上の細胞表示要素のうち、前記特徴値が少なくとも許容値域外または禁止値域内にある細胞表示要素を、前記仮細胞分布画像から削除するかまたは不採用の状態に設定することで、前記仮細胞分布画像を修正して細胞分布画像を生成するステップと、
を有する、画像処理方法。 - 情報処理装置に含まれる制御部において実行されることで、該情報処理装置を請求項1から請求項7の何れか1つの請求項に記載の画像処理装置として機能させる、画像処理用のプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16811382.7A EP3312605A4 (en) | 2015-06-16 | 2016-05-24 | Image processing device, image processing method and image processing program |
JP2017524753A JP6801653B2 (ja) | 2015-06-16 | 2016-05-24 | 画像処理装置、画像処理方法、および画像処理用のプログラム |
US15/736,382 US10641706B2 (en) | 2015-06-16 | 2016-05-24 | Cell morphology image processing and corrections |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015120726 | 2015-06-16 | ||
JP2015-120726 | 2015-06-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016203907A1 true WO2016203907A1 (ja) | 2016-12-22 |
Family
ID=57545234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/065232 WO2016203907A1 (ja) | 2015-06-16 | 2016-05-24 | 画像処理装置、画像処理方法、および画像処理用のプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10641706B2 (ja) |
EP (1) | EP3312605A4 (ja) |
JP (1) | JP6801653B2 (ja) |
WO (1) | WO2016203907A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3575848A1 (de) * | 2018-05-30 | 2019-12-04 | Siemens Healthcare Diagnostics Inc. | Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62267875A (ja) * | 1986-05-16 | 1987-11-20 | Hitachi Ltd | 描画像の部分消去方式 |
JP2008188012A (ja) * | 2007-02-02 | 2008-08-21 | F Hoffmann La Roche Ag | 分子組織学 |
JP2011210156A (ja) * | 2010-03-30 | 2011-10-20 | Nec Corp | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP2011243188A (ja) * | 2010-04-23 | 2011-12-01 | Nagoya Univ | 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム |
JP2012037432A (ja) * | 2010-08-09 | 2012-02-23 | Olympus Corp | 顕微鏡システム、標本観察方法およびプログラム |
WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
WO2014140085A1 (en) * | 2013-03-15 | 2014-09-18 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
WO2015002082A1 (ja) * | 2013-07-03 | 2015-01-08 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4326008A (en) | 1976-08-27 | 1982-04-20 | California Institute Of Technology | Protein specific fluorescent microspheres for labelling a protein |
US5326692B1 (en) | 1992-05-13 | 1996-04-30 | Molecular Probes Inc | Fluorescent microparticles with controllable enhanced stokes shift |
JP3314759B2 (ja) | 1999-05-11 | 2002-08-12 | 日本電気株式会社 | 細胞形状抽出装置及び細胞形状抽出方法 |
US8712118B2 (en) * | 2003-04-10 | 2014-04-29 | Carl Zeiss Microimaging Gmbh | Automated measurement of concentration and/or amount in a biological sample |
JP4801025B2 (ja) | 2007-09-07 | 2011-10-26 | オリンパス株式会社 | 細胞画像解析装置及び細胞画像解析ソフトウェア |
JP5040597B2 (ja) * | 2007-11-06 | 2012-10-03 | 日本電気株式会社 | 評価システム、評価方法および評価プログラム |
US9017610B2 (en) * | 2008-04-25 | 2015-04-28 | Roche Diagnostics Hematology, Inc. | Method of determining a complete blood count and a white blood cell differential count |
JP5447546B2 (ja) * | 2012-01-31 | 2014-03-19 | 東洋製罐グループホールディングス株式会社 | 細胞計数方法、細胞計数装置、及び細胞計数プログラム |
US9483684B2 (en) * | 2012-03-30 | 2016-11-01 | Konica Minolta, Inc. | Medical image processor and storage medium |
WO2014117108A1 (en) * | 2013-01-25 | 2014-07-31 | Duke University | Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform |
JP6463005B2 (ja) * | 2013-05-30 | 2019-01-30 | キヤノン株式会社 | マクロファージ識別剤、該マクロファージ識別剤を用いた識別方法、分取方法、評価方法、スクリーニング方法、およびキット |
US9619881B2 (en) * | 2013-09-26 | 2017-04-11 | Cellogy, Inc. | Method and system for characterizing cell populations |
-
2016
- 2016-05-24 US US15/736,382 patent/US10641706B2/en active Active
- 2016-05-24 EP EP16811382.7A patent/EP3312605A4/en not_active Withdrawn
- 2016-05-24 WO PCT/JP2016/065232 patent/WO2016203907A1/ja active Application Filing
- 2016-05-24 JP JP2017524753A patent/JP6801653B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62267875A (ja) * | 1986-05-16 | 1987-11-20 | Hitachi Ltd | 描画像の部分消去方式 |
JP2008188012A (ja) * | 2007-02-02 | 2008-08-21 | F Hoffmann La Roche Ag | 分子組織学 |
JP2011210156A (ja) * | 2010-03-30 | 2011-10-20 | Nec Corp | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP2011243188A (ja) * | 2010-04-23 | 2011-12-01 | Nagoya Univ | 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム |
JP2012037432A (ja) * | 2010-08-09 | 2012-02-23 | Olympus Corp | 顕微鏡システム、標本観察方法およびプログラム |
WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
WO2014140085A1 (en) * | 2013-03-15 | 2014-09-18 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
WO2015002082A1 (ja) * | 2013-07-03 | 2015-01-08 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3312605A4 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2016203907A1 (ja) | 2018-04-05 |
JP6801653B2 (ja) | 2020-12-16 |
US20180188177A1 (en) | 2018-07-05 |
US10641706B2 (en) | 2020-05-05 |
EP3312605A1 (en) | 2018-04-25 |
EP3312605A4 (en) | 2018-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9779500B2 (en) | Image processing device, pathological diagnosis support system, image processing program, and pathological diagnosis support method | |
JP6443450B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6635108B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2016093090A1 (ja) | 画像処理装置及び画像処理プログラム | |
JP6763407B2 (ja) | 画像処理装置及びプログラム | |
JP6597316B2 (ja) | 画像処理装置及びプログラム | |
JP5768948B1 (ja) | 画像処理装置および画像処理プログラム | |
JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
JPWO2018143406A1 (ja) | 画像処理装置及びプログラム | |
JP7235036B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
US10748283B2 (en) | Image processing device and program | |
WO2016203907A1 (ja) | 画像処理装置、画像処理方法、および画像処理用のプログラム | |
JP2016114447A (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16811382 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017524753 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2016811382 Country of ref document: EP |