WO2020039520A1 - 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム - Google Patents
画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム Download PDFInfo
- Publication number
- WO2020039520A1 WO2020039520A1 PCT/JP2018/030987 JP2018030987W WO2020039520A1 WO 2020039520 A1 WO2020039520 A1 WO 2020039520A1 JP 2018030987 W JP2018030987 W JP 2018030987W WO 2020039520 A1 WO2020039520 A1 WO 2020039520A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- amount
- dye
- tissue
- image
- fluorescence
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims description 30
- 239000000975 dye Substances 0.000 claims abstract description 123
- 238000003384 imaging method Methods 0.000 claims abstract description 57
- 239000007850 fluorescent dye Substances 0.000 claims abstract description 55
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 13
- 238000005286 illumination Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 17
- 230000005284 excitation Effects 0.000 claims description 5
- 239000000049 pigment Substances 0.000 claims description 5
- 238000002834 transmittance Methods 0.000 claims description 5
- 238000000862 absorption spectrum Methods 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 82
- 238000010586 diagram Methods 0.000 description 20
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Natural products C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 19
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 15
- 210000003855 cell nucleus Anatomy 0.000 description 11
- 230000001575 pathological effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 210000000805 cytoplasm Anatomy 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000002189 fluorescence spectrum Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001086 cytosolic effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- PAYRUJLWNCNPSJ-UHFFFAOYSA-N Aniline Chemical compound NC1=CC=CC=C1 PAYRUJLWNCNPSJ-UHFFFAOYSA-N 0.000 description 2
- SXEHKFHPFVVDIR-UHFFFAOYSA-N [4-(4-hydrazinylphenyl)phenyl]hydrazine Chemical compound C1=CC(NN)=CC=C1C1=CC=C(NN)C=C1 SXEHKFHPFVVDIR-UHFFFAOYSA-N 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000003743 erythrocyte Anatomy 0.000 description 2
- 238000012744 immunostaining Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 108090001008 Avidin Proteins 0.000 description 1
- 238000002738 Giemsa staining Methods 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- DPKHZNPWBDQZCN-UHFFFAOYSA-N acridine orange free base Chemical compound C1=CC(N(C)C)=CC2=NC3=CC(N(C)C)=CC=C3C=C21 DPKHZNPWBDQZCN-UHFFFAOYSA-N 0.000 description 1
- BGLGAKMTYHWWKW-UHFFFAOYSA-N acridine yellow Chemical compound [H+].[Cl-].CC1=C(N)C=C2N=C(C=C(C(C)=C3)N)C3=CC2=C1 BGLGAKMTYHWWKW-UHFFFAOYSA-N 0.000 description 1
- DZBUGLKDJFMEHC-UHFFFAOYSA-N benzoquinolinylidene Natural products C1=CC=CC2=CC3=CC=CC=C3N=C21 DZBUGLKDJFMEHC-UHFFFAOYSA-N 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- RIZMRRKBZQXFOY-UHFFFAOYSA-N ethion Chemical compound CCOP(=S)(OCC)SCSP(=S)(OCC)OCC RIZMRRKBZQXFOY-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- -1 mucus Substances 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- DHRLEVQXOMLTIM-UHFFFAOYSA-N phosphoric acid;trioxomolybdenum Chemical compound O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.OP(O)(O)=O DHRLEVQXOMLTIM-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Definitions
- the present invention relates to an image processing device, an imaging system, an operation method of the image processing device, and an operation program of the image processing device.
- a specimen extracted from a patient is subjected to processing such as cutting, fixing, embedding, slicing, staining, and enclosing to prepare a pathological specimen. Then, the pathological specimen is observed with a microscope, and the presence or absence and degree of the disease are diagnosed based on the tissue shape and the stained state.
- transmitted light observation is used in which a pathological specimen is irradiated with light and light transmitted through the pathological specimen is enlarged and observed.
- an initial diagnosis is performed by observing a pathological specimen stained with HE (Hematoxylin @ Eosin) with transmitted light.
- HE staining tissues such as cell nuclei and bone tissues are stained blue-violet, and tissues such as cytoplasm, connective tissues, and red blood cells are stained red.
- transmitted light observation is not suitable for observation of a thick sample because it observes light attenuation.
- ⁇ ⁇ Furthermore, as a microscope observation, a fluorescence observation in which a specimen stained with a fluorescent dye is irradiated with excitation light, and the fluorescence emitted from the specimen is magnified and observed with a fluorescence microscope is used. In the fluorescence observation, since the light emission is observed, a thicker specimen can be observed than the transmitted light observation.
- Pathological specimens can be imaged by connecting a camera to a microscope and capturing images.
- a virtual microscope system virtual slide system
- an entire pathological specimen can be imaged.
- the image can be used for education, telepathology, and the like.
- the diagnosis support includes a method of imitating a pathologist's diagnosis by image processing and a method of performing machine learning using a large amount of teacher data. Linear discrimination, deep learning, and the like are used for machine learning. Pathological diagnosis places a heavy burden on pathologists due to a shortage of pathologists and the like. Therefore, it is expected that the burden on the pathologist will be reduced by the diagnosis support.
- Patent Literature 1 proposes a method of virtually generating a different stained image such as a special stain by performing image processing on an HE stained image.
- Non-Patent Document 1 proposes a method of generating a virtual transmitted light image by performing image processing on a fluorescent image obtained by imaging a thick sample.
- the present invention has been made in view of the above, and provides an image processing apparatus, an imaging system, and an image processing apparatus capable of generating a highly accurate transmitted light image by performing image processing on a fluorescent image. It is an object to provide an operation method and an operation program of an image processing apparatus.
- an image processing apparatus includes a tissue group including one or more tissues stained using a fluorescent dye group including one or more fluorescent dyes.
- the fluorescence amount estimating unit for estimating the amount of fluorescence emitted by each of the fluorescent dyes of the fluorescent dye group and the fluorescent amount estimating unit estimated Based on the amount of light, a tissue amount estimating unit that estimates the tissue amount of each tissue of the tissue group, based on the tissue amount estimated by the tissue amount estimating unit, using a bright-field dye group containing one or more dyes.
- a dye amount estimating unit for estimating a virtual dye amount of each dye of the bright field dye group when the stained tissue group is imaged by a transmission microscope, and a virtual dye amount estimated from the dye amount estimated by the dye amount estimating unit. Transmission that produces a clear transmitted light image Comprising an image generating unit.
- the image processing apparatus may be configured such that the fluorescence image, the fluorescence amount image generated based on the amount of light estimated by the fluorescence amount estimation unit, and the fluorescence amount generated based on the tissue amount estimated by the tissue amount estimation unit An image correction unit that corrects any of the tissue amount image, the dye amount image generated based on the dye amount estimated by the dye amount estimation unit, and the transmitted light image.
- the tissue amount estimating unit estimates the tissue amount of a plurality of tissues from each pixel, and the dye amount estimating unit determines a dye amount of a plurality of dyes from each tissue.
- the transmitted light image generation unit generates the transmitted light image by combining the dye amounts of the plurality of dyes estimated by the dye amount estimation unit.
- the fluorescence amount estimating unit may be configured by a matrix Bf calculated based on a reference spectrum of each fluorescent dye of the fluorescent dye group according to the following equation (1). Using the calculated pseudo-inverse matrix P f , the light quantity A f of the fluorescence emitted by the fluorescent dye group is estimated by the following equation (2).
- the tissue amount estimating unit may calculate the amount of each of the tissue groups of the tissue group and the fluorescent light emitted by each of the fluorescent dyes of the fluorescent dye group estimated by the fluorescent amount estimating unit. Is calculated by multiplying the amount of light by a coefficient determined according to the fluorescent dye, and taking the sum.
- the dye amount estimating unit may calculate the amount of each dye of the bright field dye group to the amount of each tissue of the tissue group estimated by the tissue amount estimating unit. Is calculated by multiplying by a coefficient determined according to.
- the dye amount estimating unit uses the absorbance spectra s a which is calculated on the basis of the reference spectrum of each dye of the bright field dye groups, the following formula ( by 3) estimates the virtual transmission s t of the bright field dye group, to produce the transmitted light image on the basis of the transmittance s t.
- the imaging system is an image processing apparatus, an illumination unit that generates excitation light to irradiate the sample, and an illumination optical system that irradiates the sample with the excitation light generated by the illumination unit.
- An imaging optical system that forms the fluorescence from the specimen, and an imaging unit that captures the fluorescence formed by the imaging optical system.
- the fluorescence amount estimating unit may use a fluorescence microscope to perform a tissue group including one or more tissues stained using a fluorescent dye group including one or more fluorescent dyes. At each pixel included in the fluorescent image obtained by imaging, the amount of fluorescence emitted by each fluorescent dye of the fluorescent dye group is estimated, and the tissue amount estimating unit estimates the amount of fluorescent light by the fluorescent amount estimating unit. Based on the tissue amount estimated by the tissue amount estimating unit, the dye amount estimating unit stains using a bright-field dye group containing one or more dyes based on the tissue amount estimated by the tissue amount estimating unit.
- a transmitted light image generation unit estimates a virtual dye amount from the dye amount estimated by the dye amount estimation unit. To generate a transmitted light image.
- the operation program of the image processing apparatus is configured such that the fluorescence amount estimating unit uses a fluorescence microscope to analyze a tissue group including one or more tissues stained using a fluorescent dye group including one or more fluorescent dyes. At each pixel included in the fluorescent image obtained by imaging, the amount of fluorescence emitted by each fluorescent dye of the fluorescent dye group is estimated, and the tissue amount estimating unit estimates the amount of fluorescent light by the fluorescent amount estimating unit. Based on the tissue amount estimated by the tissue amount estimating unit, the dye amount estimating unit stains using a bright-field dye group containing one or more dyes based on the tissue amount estimated by the tissue amount estimating unit.
- a transmitted light image generation unit estimates a virtual dye amount from the dye amount estimated by the dye amount estimation unit.
- Generating a transmitted light image To be executed by the image processing device.
- an image processing apparatus an imaging system, an operation method of an image processing apparatus, and an operation of an image processing apparatus capable of generating a highly accurate transmitted light image by performing image processing on a fluorescence image A program can be realized.
- FIG. 1 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 1 of the present invention.
- FIG. 2 is a flowchart illustrating the operation of the imaging system.
- FIG. 3 is a diagram showing a reference spectrum of a fluorescent dye.
- FIG. 4 is a diagram illustrating a conversion table used when converting the amount of fluorescence into a tissue amount.
- FIG. 5 is a diagram showing a conversion table used when converting a tissue amount into a dye amount.
- FIG. 6 is a diagram illustrating a manner in which the amount of tissue in a cell nucleus is converted into the amount of dye.
- FIG. 7 is a diagram showing how the amount of cytoplasmic tissue is converted into the amount of dye.
- FIG. 1 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 1 of the present invention.
- FIG. 2 is a flowchart illustrating the operation of the imaging system.
- FIG. 3 is a diagram showing
- FIG. 8 is a diagram illustrating a reference spectrum of a dye.
- FIG. 9 is a diagram illustrating a virtual spectral transmittance.
- FIG. 10 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 2 of the present invention.
- FIG. 11 is a diagram illustrating a configuration example of an imaging system according to Embodiment 3 of the present invention.
- the present invention can be applied to an image processing apparatus that generates a transmitted light image from a fluorescent image, an imaging system, an operation method of the image processing apparatus, and an operation program of the image processing apparatus in general.
- FIG. 1 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 1 of the present invention.
- an imaging system 1 according to the first embodiment includes an imaging device 170 such as a fluorescence microscope and an image processing device 100 including a computer such as a personal computer connectable to the imaging device 170. Is done.
- the image processing device 100 obtains image data from the image capturing device 170, the control unit 120 that controls the operation of the entire system including the image processing device 100 and the image capturing device 170, and the image capturing device 110 that obtains the image data.
- a storage unit 130 that stores image data and the like, a calculation unit 140 that executes predetermined image processing based on the image data stored in the storage unit 130, an input unit 150, and a display unit 160 are provided.
- the image acquisition unit 110 is appropriately configured according to the mode of the system including the image processing device 100.
- the image acquisition unit 110 is configured by an interface that captures image data output from the imaging device 170.
- the image acquisition unit 110 is configured by a communication device or the like connected to the server, and acquires image data by performing data communication with the server. I do.
- the image acquisition unit 110 may be configured by a reader device that detachably mounts a portable recording medium and reads image data recorded on the recording medium.
- the control unit 120 is configured using a general-purpose processor such as a CPU (Central Processing Unit) or a special-purpose processor such as an arithmetic circuit that executes a specific function such as an ASIC (Application Specific Integrated Circuit).
- a general-purpose processor such as a CPU (Central Processing Unit) or a special-purpose processor such as an arithmetic circuit that executes a specific function such as an ASIC (Application Specific Integrated Circuit).
- the control unit 120 is a general-purpose processor
- the control unit 120 reads various programs stored in the storage unit 130 to perform instructions, transfer data, and the like to each unit included in the image processing apparatus 100, and control the overall operation of the image processing apparatus 100. And control.
- the control unit 120 is a dedicated processor, the processor may execute various processes independently, or the processor and the storage unit 130 may cooperate or use various data stored in the storage unit 130. Various processes may be executed in combination.
- the control unit 120 has an image acquisition control unit 121 that controls operations of the image acquisition unit 110 and the imaging device 170 to acquire an image.
- An input signal input from the input unit 150 and an input signal input from the image acquisition unit 110 The operation of the image acquisition unit 110 and the imaging device 170 is controlled based on the image, programs and data stored in the storage unit 130, and the like.
- the storage unit 130 includes various IC memories such as a ROM (Read Only Memory) such as a flash memory that can be updated and recorded and a RAM (Random Access Memory), and an information storage device such as a hard disk or a DVD-ROM built in or connected with a data communication terminal. And a device for writing and reading information to and from the information storage device.
- the storage unit 130 includes a program storage unit 131 that stores an image processing program, and an image data storage unit 132 that stores image data and various parameters used during execution of the image processing program.
- the arithmetic unit 140 is configured using a general-purpose processor such as a CPU or a GPU (Graphics Processing Unit) or a dedicated processor such as an arithmetic circuit that executes a specific function such as an ASIC.
- a general-purpose processor such as a CPU or a GPU (Graphics Processing Unit) or a dedicated processor such as an arithmetic circuit that executes a specific function such as an ASIC.
- the calculation unit 140 is a general-purpose processor
- the image processing program that stores the specific tissue based on the multi-band image is executed by reading the image processing program stored in the program storage unit 131.
- the processor may execute various processes independently, or the processor and the storage unit 130 may operate in cooperation or by using various data stored in the storage unit 130.
- the image processing may be executed in combination.
- the calculation unit 140 includes a fluorescence amount estimation unit 141, a tissue amount estimation unit 142, a dye amount estimation unit 143, and a transmitted light image generation unit 144.
- the fluorescence amount estimating unit 141 includes, for each pixel included in a fluorescent image obtained by imaging a tissue group including one or more tissues stained using a fluorescent dye group including one or more fluorescent dyes with a fluorescent microscope, The amount of fluorescence emitted by each fluorescent dye in the fluorescent dye group is estimated.
- the fluorescent dye group is, for example, Hoechst and Ession, and stains a cell nucleus and a cytoplasm, which are tissue groups, respectively.
- the fluorescent dye group may be acridine orange, acridine yellow, or the like, and the tissue may stain cell membranes, red blood cells, fibers, mucus, fat, and the like.
- the fluorescent dye group may be avidin or the like, or a tumor cell or the like may be stained as a tissue.
- the tissue amount estimating unit 142 estimates the tissue amount of each tissue in the tissue group based on the light amount estimated by the fluorescence amount estimating unit 141. Specifically, the tissue amount estimating unit 142 estimates the cell nucleus and cytoplasm tissue amounts from each pixel.
- the dye amount estimating unit 143 is a bright-field dye obtained by imaging a tissue group stained with a bright-field dye group containing one or more dyes with a transmission microscope based on the tissue amount estimated by the tissue amount estimating unit 142. Estimate the hypothetical amount of dye for each dye in the group.
- the bright field dye group is, for example, hematoxylin and eosin, and estimates the amount of hematoxylin and eosin dyes from the cell nucleus and cytoplasm, respectively.
- the amount of dye in the case of performing Masson trichrome staining may be estimated from the bright-field dye group containing aniline or the like.
- the amount of dye in the case of performing Giemsa staining which is a special staining, or the DAB (Diamino Benzidine) method, which is an immunostaining, may be estimated using the bright-field dye group.
- the transmitted light image generation unit 144 generates a virtual transmitted light image from the dye amount estimated by the dye amount estimation unit 143. Specifically, the transmitted light image generation unit 144 generates a transmitted light image by combining the dye amounts of hematoxylin and eosin estimated by the dye amount estimation unit 143.
- the input unit 150 includes various input devices such as a keyboard, a mouse, a touch panel, and various switches, and outputs an input signal corresponding to an operation input to the control unit 120.
- the display unit 160 is realized by a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, and a CRT (Cathode Ray Tube) display, and based on a display signal input from the control unit 120. Display various screens.
- a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, and a CRT (Cathode Ray Tube) display, and based on a display signal input from the control unit 120. Display various screens.
- the imaging device 170 includes an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
- the imaging device 170 is incident on the light receiving surface of the imaging device under the control of the image acquisition unit 110 of the image processing device 100.
- the light is converted into an electric signal corresponding to the intensity of the light and output as image data.
- the imaging device 170 includes an RGB camera, and may capture an RGB image or a multiband image.
- Multi-band imaging includes a method of changing the wavelength of illumination light, a method of providing a filter on the optical path of light from a light source that is white light, changing the wavelength of light to be transmitted, and a method of using a multicolor sensor.
- the light path may be branched and a plurality of cameras having different spectral characteristics may receive light simultaneously.
- FIG. 2 is a flowchart illustrating the operation of the imaging system.
- the image processing apparatus 100 captures a fluorescent image of a subject by operating the imaging apparatus 170 under the control of the image acquisition control unit 121 (step S1).
- the image processing apparatus 100 captures a fluorescent image of a subject by operating the imaging apparatus 170 under the control of the image acquisition control unit 121 (step S1).
- Hoechst and Ethion are used as the fluorescent dye group, and a fluorescent image is captured in a state where the cell nucleus and the cytoplasm, which are the tissue groups, are stained.
- the fluorescent light amount estimating unit 141 estimates the amount of fluorescent light emitted by Hoechst and eosin in each pixel included in the captured fluorescent light image (step S2).
- the pixel value c f of each pixel in the fluorescence image in the camera's sensitivity characteristic c, fluorescence spectra s f, using the noise n can be expressed as the following equation (4).
- the Wiener estimation matrix W is represented by the following equation (6) using the autocorrelation matrix R SS of the sample fluorescence spectrum and the autocorrelation matrix R NN of the noise.
- the fluorescence spectrum S f using the Wiener estimation matrix W, may be obtained by the following expression (7).
- the fluorescence spectrum s f, the reference spectrum b f of the fluorescent dye, with a light amount a f fluorescence can be expressed as the following equation (8).
- FIG. 3 is a diagram showing a reference spectrum of a fluorescent dye.
- the pseudo inverse matrix P f of the reference spectrum b f of the fluorescent dye is represented by the following equation (10).
- the light amount A f of fluorescence using a pseudo-inverse matrix P f can be calculated by the following equation (11). Specifically, the amounts of the Hoechst and eosin fluorescences can be determined by equation (11).
- the tissue amount estimating unit 142 estimates the tissue amount of each tissue in the tissue group based on the light amount estimated by the fluorescence amount estimating unit 141 (step S3).
- the tissue volume T c of tissue volume T n and cytoplasm of the cell nucleus using the light quantity F h of the fluorescent Hoechst, quantity F e of the fluorescence of eosin, coefficient k hn, coefficient k en, coefficient k hc, the coefficient k ec, It can be obtained by the following equations (12) and (13).
- FIG. 4 is a diagram illustrating a conversion table used when converting the amount of fluorescence into a tissue amount.
- the pigment amount estimating unit 143 estimates the virtual pigment amounts of hematoxylin and eosin, respectively, when the cell nucleus and the cytoplasm stained with hematoxylin and eosin as the bright-field pigment group are imaged by a transmission microscope, respectively (step). S4).
- FIG. 5 is a diagram showing a conversion table used when converting a tissue amount into a dye amount.
- FIG. 6 is a diagram illustrating a manner in which the amount of tissue in a cell nucleus is converted into the amount of dye.
- FIG. 7 is a diagram showing how the amount of cytoplasmic tissue is converted into the amount of dye. As shown in FIGS. 6 and 7, by appropriately setting the coefficient k hn , the coefficient k en , the coefficient k hc , and the coefficient k ec , the tissue amount can be appropriately converted to the dye amount.
- the transmitted light image generation unit 144 generates a virtual transmitted light image from the dye amount estimated by the dye amount estimation unit 143 (Step S5). Specifically, the transmitted light image generation unit 144 generates a virtual transmitted light image by combining the dye amounts estimated by the dye amount estimation unit 143, respectively.
- virtual absorbance spectra s a according to each dye, the reference spectrum b a dye in absorbance space, using the dye amount d a of each dye can be expressed as the following equation (16).
- absorbance spectra s a according to any of the dye is the following formula (17).
- FIG. 8 is a diagram illustrating a reference spectrum of a dye.
- the virtual transmission s t can be expressed as the following equation (18).
- FIG. 9 is a diagram showing a virtual spectral transmittance. As shown in FIG. 9, the virtual spectral transmittance of the cell nucleus and cytoplasm can be obtained by using equation (18).
- a RAW image which is a virtual transmitted light image
- equation (19) using the sensitivity characteristic c of the camera and the spectrum 1 of the illumination.
- an sRGB image may be generated as a virtual transmitted light image.
- XYZ can be expressed as in the following equations (20) to (22), where f is an XYZ color matching function.
- the generated transmitted light image is displayed on the display unit 160 under the control of the control unit 120, and a series of processing ends.
- the tissue is interposed, and the transmitted light image with high fidelity representing the staining characteristics of the pathological specimen is highly accurate. Can be generated.
- a pathologist is used to observing a transmitted light image, and therefore, it is easy to observe the image by converting a fluorescent image into a transmitted light image.
- the fluorescent image and the transmitted light image may be switched or displayed side by side on the display unit 160 under the control of the control unit 120.
- the fluorescence image and the transmitted light image can be easily compared, and it can be easily confirmed whether the transmitted light image is appropriate.
- the calculation method is not limited to the method described above. The calculation can be performed by appropriately combining the calculation methods described above and the calculation methods described below.
- the amount of fluorescence of each fluorescent dye may be directly estimated from the fluorescence image based on the fluorescence amount estimation matrix.
- the fluorescence amount estimation matrix may be calculated theoretically, or may be obtained from the product of the spectrum estimation matrix and the fluorescence amount estimation matrix.
- the fluorescence amount estimation matrix may be calculated statistically. Specifically, each pixel value and the amount of fluorescent light are calculated as a pair from a plurality of fluorescent spectra. Then, an estimation matrix (regression matrix) for regressing from the pixel value to the amount of fluorescent light is calculated from a plurality of data of pairs of the pixel value and the amount of fluorescent light.
- the regression matrix may be obtained by a pseudo inverse matrix.
- the amount of fluorescence of each fluorescent dye may be calculated directly from the fluorescence image based on the look-up table. Specifically, each pixel value and the amount of fluorescent light are calculated as a pair from a plurality of fluorescent spectra. Then, a look-up table for referencing the amount of fluorescent light from the pixel value can be created from a plurality of pairs of data of the pixel value and the amount of fluorescent light.
- the amount of fluorescence of each fluorescent dye may be directly estimated from the fluorescence image using machine learning.
- the amount of fluorescent light of each pixel is calculated from a plurality of fluorescent images using any of the above-described methods.
- a model for estimating the amount of fluorescent light from the pixel value is learned from a plurality of pairs of the fluorescent image and the fluorescent amount image.
- the model may be learned using deep learning.
- a virtual transmitted light image may be calculated directly from the virtual dye amount based on the pixel value calculation matrix.
- the pixel value of each pixel in the virtual transmitted light image is calculated from a plurality of virtual dye amounts based on the above-described method.
- an estimation matrix (regression matrix) for reverting from the virtual dye amount to the virtual pixel value is calculated from a plurality of data of the pair of the virtual dye amount and the virtual pixel value.
- the regression matrix may be a polynomial approximation.
- a virtual transmitted light image may be calculated directly from a virtual dye amount based on a look-up table. Specifically, the pixel value of each pixel in the virtual transmitted light image is calculated from a plurality of virtual dye amounts based on the above-described method. Then, from a plurality of data of pairs of the virtual dye amount and the virtual pixel value, a look-up table for referencing the virtual pixel value from the virtual dye amount can be created.
- a virtual transmitted light image may be calculated directly from the virtual pigment amount using machine learning. Specifically, the pixel value of each pixel in the virtual transmitted light image is calculated from a plurality of virtual dye amounts based on the above-described method. Then, a model for estimating a virtual pixel value from the virtual dye amount is learned from a plurality of data of a pair of the virtual dye amount and the virtual pixel value. Further, the model may be learned by deep learning.
- FIG. 10 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 2 of the present invention.
- the calculation unit 140A of the image processing apparatus 100A includes a fluorescence image, a fluorescence amount image generated based on the light amount estimated by the fluorescence amount estimation unit 141, and a tissue amount estimation unit 142 Texture correcting unit as an image correcting unit for correcting any one of the tissue amount image generated based on the obtained tissue amount, the dye amount image generated based on the dye amount estimated by the dye amount estimating unit 143, and the transmitted light image 145A.
- the second embodiment in the virtual transmitted light image generated from the fluorescent light image, it is possible to reproduce the texture having the same depth of focus as in the transmitted light observation. Therefore, according to the second embodiment, a more accurate transmitted light image can be generated.
- FIG. 11 is a diagram illustrating a configuration example of an imaging system according to Embodiment 3 of the present invention.
- an imaging system 1B according to the third embodiment includes a microscope device 200 provided with an imaging device 170, and an image processing device 100. Note that, instead of the image processing device 100, an image processing device 100A shown in FIG. 10 may be provided.
- the microscope apparatus 200 includes a substantially C-shaped arm 200a provided with an epi-illumination unit 201 and a transmission illumination unit 202, a sample stage 203 mounted on the arm 200a, on which a subject SP to be observed is placed, and a mirror.
- An objective lens 204 provided at one end of the tube 205 so as to face the sample stage 203 via the trinocular tube unit 207, and a stage position changing unit 206 for moving the sample stage 203 are provided.
- the trinocular tube unit 207 splits the observation light of the subject SP incident from the objective lens 204 into an imaging device 170 provided on the other end side of the lens barrel 205 and an eyepiece unit 208 described later.
- the eyepiece unit 208 is for the user to directly observe the subject SP.
- the epi-illumination unit 201 includes an epi-illumination light source 201a and an epi-illumination optical system 201b, and irradiates the subject SP with epi-illumination light.
- the epi-illumination optical system 201b includes various optical members (such as a filter unit, a shutter, a field stop, and an aperture stop) that converge illumination light emitted from the epi-illumination light source 201a and guide the illumination light toward the observation optical path L.
- the transmission illumination unit 202 includes a transmission illumination light source 202a and a transmission illumination optical system 202b, and irradiates the subject SP with transmission illumination light.
- the transmitted illumination optical system 202b includes various optical members (a filter unit, a shutter, a field stop, an aperture stop, and the like) that collect the illumination light emitted from the transmitted illumination light source 202a and guide the illumination light toward the observation optical path L.
- the objective lens 204 is attached to a revolver 209 capable of holding a plurality of objective lenses (for example, objective lenses 204 and 204 ') having different magnifications.
- a revolver 209 capable of holding a plurality of objective lenses (for example, objective lenses 204 and 204 ') having different magnifications.
- a zoom unit including a plurality of zoom lenses and a drive unit for changing the positions of these zoom lenses is provided.
- the zoom unit enlarges or reduces the subject image in the field of view by adjusting the position of each zoom lens.
- the stage position changing unit 206 includes a driving unit 206a such as a stepping motor, and changes the imaging field of view by moving the position of the sample stage 203 within the XY plane. Further, the stage position changing unit 206 moves the sample stage 203 along the Z axis so that the objective lens 204 is focused on the subject SP.
- a driving unit 206a such as a stepping motor
- the enlarged image of the subject SP generated by the microscope device 200 is captured by the imaging device 170 in a multi-band manner, so that a color image of the subject SP is displayed on the display unit 160. Then, the image processing device 100 or the image processing device 100A generates a transmitted light image, and displays the transmitted light image on the display unit 160.
- Imaging system 100, 100A image processing device 110 image acquisition unit 120 control unit 121 image acquisition control unit 130 storage unit 131 program storage unit 132 image data storage unit 140, 140A calculation unit 141 fluorescence amount estimation unit 142 tissue amount Estimation unit 143 Dye amount estimation unit 144 Transmitted light image generation unit 145A Texture correction unit 150 Input unit 160 Display unit 170 Imaging device 200 Microscope device 200a Arm 201 Epi-illumination unit 201a Epi-illumination light source 201b Epi-illumination optical system 202 Transmission illumination unit 202a Transmission illumination light source 202b Transmission illumination optical system 203 Sample stage 204, 204 'Objective lens 205 Lens barrel 206 Stage position changing unit 206a Driving unit 207 Trinocular tube unit 208 Eyepiece lens unit 209 Borba
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Wood Science & Technology (AREA)
- Molecular Biology (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- Hematology (AREA)
- Organic Chemistry (AREA)
- Biotechnology (AREA)
- Zoology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Sustainable Development (AREA)
- Microbiology (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
Abstract
画像処理装置は、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、を備える。これにより、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置を提供する。
Description
本発明は、画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。
病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。
顕微鏡による観察として、病理標本に光を照射し、病理標本を透過した光を拡大観察する透過光観察が用いられている。また、HE(Hematoxylin Eosin)染色した病理標本を透過光観察することによる初期診断が行われている。HE染色では、細胞核や骨組織等の組織が青紫色に染色され、細胞質や結合組織、赤血球等の組織が赤色に染色される。そして、染色された組織の形状を観察することにより、形態学的に病気の有無を診断することができる。なお、透過光観察は、光の減衰を観察するため、厚い標本の観察には適さない。
また、顕微鏡による観察として、蛍光色素で染色した標本に励起光を照射し、標本が発する蛍光を蛍光顕微鏡で拡大観察する蛍光観察が用いられている。蛍光観察は、光の発光を観察するため、透過光観察より厚い標本を観察することができる。
病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム(バーチャルスライドシステム)では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。
さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師データを用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。
病理標本画像に対する画像処理として、例えば、特許文献1では、HE染色画像に対して画像処理を施すことにより、仮想的に特殊染色等の異なる染色画像を生成する方法が提案されている。
上述したように、厚い標本は、透過光観察には適さないが、蛍光観察により観察することができる。そのため、蛍光画像に対して画像処理を施すことにより、仮想的な透過光画像を生成することができれば、厚い標本を仮想的に透過光観察することができる。例えば、非特許文献1では、厚い標本を撮像することにより得られた蛍光画像に対して画像処理を施すことにより、仮想的な透過光画像を生成する方法が提案されている。
"Microscopy with UV Surface Excitation (MUSE) for slide-free histology and pathology imaging",Farzad Fereidouni, Ananya Datta-Mitra, Stavros Demos and Richard Levenson, SPIE Vol.9318
しかしながら、実際には、蛍光画像に対して色空間において画像処理を施し、仮想的な透過光画像を生成しても、精度が高い透過光画像を生成することができなかった。
本発明は、上記に鑑みてなされたものであって、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、を備える。
また、本発明の一態様に係る画像処理装置は、前記蛍光画像、前記蛍光量推定部が推定した光量に基づいて生成した蛍光量画像、前記組織量推定部が推定した組織量に基づいて生成した組織量画像、前記色素量推定部が推定した色素量に基づいて生成した色素量画像、前記透過光画像のいずれかの画像を補正する画像補正部を更に備える。
また、本発明の一態様に係る画像処理装置は、前記組織量推定部は、各画素から複数の組織の組織量を推定し、前記色素量推定部は、各組織から複数の色素の色素量を推定し、前記透過光画像生成部は、前記色素量推定部が推定した複数の色素の色素量を合成して前記透過光画像を生成する。
また、本発明の一態様に係る画像処理装置は、前記蛍光量推定部は、前記蛍光色素群の各蛍光色素の基準スペクトルに基づいて算出される行列Bfにより、以下の式(1)によって算出される疑似逆行列Pfを用いて、以下の式(2)により、前記蛍光色素群が発光する蛍光の光量Afを推定する。
また、本発明の一態様に係る画像処理装置は、前記組織量推定部は、前記組織群の各組織量を、前記蛍光量推定部が推定した前記蛍光色素群の各蛍光色素が発光する蛍光の光量に、蛍光色素に応じて定まる係数を乗じて総和をとることにより算出する。
また、本発明の一態様に係る画像処理装置は、前記色素量推定部は、前記明視野色素群の各色素量を、前記組織量推定部が推定した前記組織群の各組織量に、組織に応じて定まる係数を乗じて総和を取ることにより算出する。
また、本発明の一態様に係る画像処理装置は、前記色素量推定部は、前記明視野色素群の各色素の基準スペクトルに基づいて算出される吸光度スペクトルsaを用いて、以下の式(3)により、前記明視野色素群の仮想的な透過率stを推定し、前記透過率stに基づいて前記透過光画像を生成する。
また、本発明の一態様に係る撮像システムは、画像処理装置と、標本に照射する励起光を発生する照明部と、前記照明部が発生した前記励起光を前記標本に照射する照明光学系と、前記標本からの前記蛍光を結像する結像光学系と、前記結像光学系が結像した前記蛍光を撮像する撮像部と、を備える。
また、本発明の一態様に係る画像処理装置の作動方法は、蛍光量推定部が、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、色素量推定部が、前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する。
また、本発明の一態様に係る画像処理装置の作動プログラムは、蛍光量推定部が、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、色素量推定部が、前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成すること、を画像処理装置に実行させる。
本発明によれば、蛍光画像に対して画像処理を施すことにより、精度が高い透過光画像を生成することができる画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。
以下に、図面を参照して本発明に係る画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、蛍光画像から透過光画像を生成する画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
(実施の形態1)
図1は、本発明の実施の形態1に係る撮像システムの構成例を示すブロック図である。図1に示すように、本実施の形態1に係る撮像システム1は、蛍光顕微鏡等の撮像装置170と、該撮像装置170と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置100とによって構成される。
図1は、本発明の実施の形態1に係る撮像システムの構成例を示すブロック図である。図1に示すように、本実施の形態1に係る撮像システム1は、蛍光顕微鏡等の撮像装置170と、該撮像装置170と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置100とによって構成される。
画像処理装置100は、撮像装置170から画像データを取得する画像取得部110と、画像処理装置100及び撮像装置170を含むシステム全体の動作を制御する制御部120と、画像取得部110が取得した画像データ等を記憶する記憶部130と、記憶部130に記憶された画像データに基づき、所定の画像処理を実行する演算部140と、入力部150と、表示部160と、を備える。
画像取得部110は、当該画像処理装置100を含むシステムの態様に応じて適宜構成される。例えば、撮像装置170を画像処理装置100に接続する場合、画像取得部110は、撮像装置170から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置170によって生成された画像データを保存しておくサーバを設置する場合、画像取得部110はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部110を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
制御部120は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部120が汎用プロセッサである場合、記憶部130が記憶する各種プログラムを読み込むことによって画像処理装置100を構成する各部への指示やデータの転送等を行い、画像処理装置100全体の動作を統括して制御する。また、制御部120が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部130が記憶する各種データ等を用いることで、プロセッサと記憶部130が協働又は結合して種々の処理を実行しても良い。
制御部120は、画像取得部110や撮像装置170の動作を制御して画像を取得する画像取得制御部121を有し、入力部150から入力される入力信号、画像取得部110から入力される画像、及び記憶部130に格納されているプログラムやデータ等に基づいて画像取得部110及び撮像装置170の動作を制御する。
記憶部130は、更新記録可能なフラッシュメモリ等のROM(Read Only Memory)やRAM(Random Access Memory)といった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはDVD-ROM等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部130は、画像処理プログラムを記憶するプログラム記憶部131と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記憶部132と、を備える。
演算部140は、CPUやGPU(Graphics Processing Unit)等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部140が汎用プロセッサである場合、プログラム記憶部131が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部140が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部130が記憶する各種データ等を用いることで、プロセッサと記憶部130が協働又は結合して画像処理を実行しても良い。
詳細には、演算部140は、蛍光量推定部141と、組織量推定部142と、色素量推定部143と、透過光画像生成部144と、を備える。
蛍光量推定部141は、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する。蛍光色素群は、例えば、ヘキスト及びエシオンであり、組織群である細胞核及び細胞質をそれぞれ染色する。ただし、蛍光色素群は、アクリジンオレンジ、アクリジンイエロー等であってもよく、組織として細胞膜、赤血球、線維、粘液、脂肪等を染色してもよい。また、免疫染色を行う場合には、蛍光色素群は、アビジン等であってもよく、組織として腫瘍細胞等を染色してもよい。
組織量推定部142は、蛍光量推定部141が推定した光量に基づいて、組織群の各組織の組織量を推定する。具体的には、組織量推定部142は、各画素から細胞核及び細胞質の組織量を推定する。
色素量推定部143は、組織量推定部142が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した組織群を透過型顕微鏡により撮像した場合の明視野色素群の各色素の仮想的な色素量を推定する。明視野色素群は、例えば、ヘマトキシリン及びエオシンであり、細胞核及び細胞質からヘマトキシリン及びエオシンの色素量をそれぞれ推定する。ただし、アニリン等を含む明視野色素群により、マッソン・トリクローム染色を行う場合の色素量を推定してもよい。また、明視野色素群により特殊染色であるギムザ染色や、免疫染色であるDAB(Diamino Benzidine)法を行った場合の色素量を推定してもよい。
透過光画像生成部144は、色素量推定部143が推定した色素量から仮想的な透過光画像を生成する。具体的には、透過光画像生成部144は、色素量推定部143が推定したヘマトキシリン及びエオシンの色素量を合成して透過光画像を生成する。
入力部150は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部120に出力する。
表示部160は、LCD(Liquid Crystal Display)やEL(Electro Luminescence)ディスプレイ、CRT(CathodeRay Tube)ディスプレイ等の表示装置によって実現されるものであり、制御部120から入力される表示信号をもとに各種画面を表示する。
撮像装置170は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を含み、画像処理装置100の画像取得部110による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置170は、RGBカメラを備え、RGB画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
次に、本実施の形態1に係る撮像システムを用いて仮想的な透過光画像を生成する処理を説明する。図2は、撮像システムの動作を示すフローチャートである。図2に示すように、まず、画像処理装置100は、画像取得制御部121の制御により撮像装置170を動作させることにより、被写体の蛍光画像を撮像する(ステップS1)。本実施の形態1においては、蛍光色素群としてヘキスト及びエシオンを用いて、組織群である細胞核及び細胞質をそれぞれ染色した状態で蛍光画像を撮像する例を説明する。
続いて、蛍光量推定部141は、撮像した蛍光画像に含まれる各画素において、ヘキスト及びエオシンがそれぞれ発光する蛍光の光量を推定する(ステップS2)。まず、蛍光画像における各画素の画素値cfは、カメラの感度特性c、蛍光スペクトルsf、ノイズnを用いて、以下の式(4)のように表すことができる。
図3は、蛍光色素の基準スペクトルを表す図である。図3に示すように、ヘキスト及びエオシンの基準スペクトルbfは既知である。従って、i=1をヘキスト、i=2をエオシンとして、式(8)に適用すると、ヘキスト及びエオシンによる蛍光の光量をそれぞれ求めることができる。
そして、組織量推定部142は、蛍光量推定部141が推定した光量に基づいて、組織群の各組織の組織量を推定する(ステップS3)。細胞核の組織量Tn及び細胞質の組織量Tcは、ヘキストの蛍光の光量Fh、エオシンの蛍光の光量Fe、係数khn、係数ken、係数khc、係数kecを用いて、以下の式(12)及び(13)により求めることができる。
図4は、蛍光の光量を組織量に変換する際に用いる変換表を表す図である。図4に示すように、係数khn=1.00、ken=0.00、係数khc=0.00、係数kec=1.00である。このように、1つの蛍光色素の光量を複数の組織量に紐づけることにより、蛍光画像から、より実際に撮像したものに近い透過光画像を生成することができる。
さらに、色素量推定部143は、明視野色素群としてヘマトキシリン及びエオシンを用いて染色した細胞核及び細胞質を透過型顕微鏡によりそれぞれ撮像した場合のヘマトキシリン及びエオシンの仮想的な色素量をそれぞれ推定する(ステップS4)。ヘマトキシリンの色素量Dh及びエオシンの色素量Deは、細胞核の組織量Tn、細胞質の組織量Tc、係数khn、係数ken、係数khc、係数kecを用いて、以下の式(14)及び(15)により求めることができる。
図5は、組織量を色素量に変換する際に用いる変換表を表す図である。図5に示すように、係数khn=1.50、ken=2.00、係数khc=0.15、係数kec=2.00である。このように、1つの組織量を複数の色素の色素量に紐づけることにより、蛍光画像から、より実際に撮像したものに近い透過光画像を生成することができる。
図6は、細胞核の組織量を色素量に変換する様子を表す図である。図7は、細胞質の組織量を色素量に変換する様子を表す図である。図6及び図7に示すように、係数khn、係数ken、係数khc、係数kecを適切に設定することにより、組織量を色素量に適切に変換することができる。
続いて、透過光画像生成部144は、色素量推定部143が推定した色素量から仮想的な透過光画像を生成する(ステップS5)。具体的には、透過光画像生成部144は、色素量推定部143がそれぞれ推定した色素量を合成して仮想的な透過光画像を生成する。まず、各色素による仮想的な吸光度スペクトルsaは、吸光度空間での色素の基準スペクトルba、各色素の色素量daを用いて、以下の式(16)のように表すことができる。
図8は、色素の基準スペクトルを表す図である。図8に示すように、ヘマトキシリン及びエオシンの基準スペクトルbaは既知である。従って、i=1をヘマトキシリン、i=2をエオシンとして、式(17)に適用すると、ヘマトキシリン及びエオシンによる吸光度スペクトルをそれぞれ求めることができる。
図9は、仮想的な分光透過率を表す図である。図9に示すように、式(18)を用いることにより、細胞核及び細胞質の仮想的な分光透過率を求めることができる。
そして、sRGBlinearは、以下の式(23)により算出することができる。
さらに、Clinear(x,y,b)≦0.0031308(x,y,b)の場合、Csrgb(x,y,b)=12.96・Clinear(x,y,b)、Clinear(x,y,b)>0.0031308の場合、Csrgb(x,y,b)=1.055・Clinear(x,y,b)1/24-0.055を計算することにより、非線形なsRCG画像を生成することができる。
そして、生成された透過光画像は、制御部120による制御のもと、表示部160に表示され、一連の処理が終了する。
以上説明したように、実施の形態1によれば、蛍光画像から透過光画像を生成する際に、組織を介在させることにより、病理標本の染色特性が忠実に表現された精度が高い透過光画像を生成することができる。一般に病理医は、透過光画像の観察になれているため、蛍光画像を透過光画像に変換することにより観察が容易となる。
なお、制御部120による制御のもと、表示部160に蛍光画像と透過光画像とを切り換えて、又は並べて表示してもよい。蛍光画像と透過光画像とを比較しやすくし、透過光画像が適切か否かを確認しやすくすることができる。
なお、計算方法は上述したものに限られない。上述した計算方法や以下に説明する計算方法を適宜組み合わせて計算を行うことができる。蛍光量推定行列に基づいて、蛍光画像から、直接、各蛍光色素の蛍光の光量を推定してもよい。蛍光量推定行列は、理論的に算出してもよいし、スペクトル推定行列と蛍光量推定行列との積から求めてもよい。
また、蛍光量推定行列は、統計的に算出してもよい。具体的には、複数の蛍光スペクトルからそれぞれの画素値と蛍光の光量とを対で算出する。そして、画素値と蛍光の光量との対の複数のデータから、画素値から蛍光の光量に回帰する推定行列(回帰行列)を算出する。回帰行列は、疑似逆行列により求めればよい。
また、ルックアップテーブルに基づいて、蛍光画像から、直接、各蛍光色素の蛍光の光量を算出してもよい。具体的には、複数の蛍光スペクトルからそれぞれの画素値と蛍光の光量とを対で算出する。そして、画素値と蛍光の光量との対の複数のデータから、画素値から蛍光の光量を参照するためのルックアップテーブルを作成することができる。
また、機械学習を用いて、蛍光画像から、直接、各蛍光色素の蛍光の光量を推定してもよい。具体的には、複数の蛍光画像から上述したいずれかの方法を用いて各画素の蛍光の光量を算出する。そして、蛍光画像と蛍光量画像との対の複数のデータから、画素値から蛍光の光量を推定するモデルを学習する。また、深層学習を用いてモデルを学習してもよい。
また、画素値算出行列に基づいて、仮想色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値に回帰する推定行列(回帰行列)を算出する。回帰行列は、多項式近似でもよい。
また、ルックアップテーブルに基づいて、仮想的な色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値を参照するためのルックアップテーブルを作成することができる。
また、機械学習を用いて、仮想的な色素量から、直接、仮想的な透過光画像を算出してもよい。具体的には、複数の仮想的な色素量から上述した方法に基づいて、仮想的な透過光画像における各画素の画素値を算出する。そして、仮想的な色素量と仮想的な画素値との対の複数のデータから、仮想的な色素量から仮想的な画素値を推定するモデルを学習する。また、深層学習によりモデルを学習してもよい。
(実施の形態2)
次に、本発明の実施の形態2について説明する。図10は、本発明の実施の形態2に係る撮像システムの構成例を示すブロック図である。図10に示すように、撮像システム1Aにおいて、画像処理装置100Aの演算部140Aは、蛍光画像、蛍光量推定部141が推定した光量に基づいて生成した蛍光量画像、組織量推定部142が推定した組織量に基づいて生成した組織量画像、色素量推定部143が推定した色素量に基づいて生成した色素量画像、透過光画像のいずれかの画像を補正する画像補正部としてのテクスチャ補正部145Aを備える。その結果、実施の形態2によれば、蛍光画像から生成した仮想的な透過光画像において、透過光観察時と同程度の焦点深度のテクスチャを再現することができる。従って、実施の形態2によれば、より高精度な透過光画像を生成することができる。
次に、本発明の実施の形態2について説明する。図10は、本発明の実施の形態2に係る撮像システムの構成例を示すブロック図である。図10に示すように、撮像システム1Aにおいて、画像処理装置100Aの演算部140Aは、蛍光画像、蛍光量推定部141が推定した光量に基づいて生成した蛍光量画像、組織量推定部142が推定した組織量に基づいて生成した組織量画像、色素量推定部143が推定した色素量に基づいて生成した色素量画像、透過光画像のいずれかの画像を補正する画像補正部としてのテクスチャ補正部145Aを備える。その結果、実施の形態2によれば、蛍光画像から生成した仮想的な透過光画像において、透過光観察時と同程度の焦点深度のテクスチャを再現することができる。従って、実施の形態2によれば、より高精度な透過光画像を生成することができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。図11は、本発明の実施の形態3に係る撮像システムの構成例を示す図である。図11に示すように、本実施の形態3に係る撮像システム1Bは、撮像装置170が設けられた顕微鏡装置200と、画像処理装置100と、を備える。なお、画像処理装置100の代わりに、図10に示す画像処理装置100Aを設けても良い。
次に、本発明の実施の形態3について説明する。図11は、本発明の実施の形態3に係る撮像システムの構成例を示す図である。図11に示すように、本実施の形態3に係る撮像システム1Bは、撮像装置170が設けられた顕微鏡装置200と、画像処理装置100と、を備える。なお、画像処理装置100の代わりに、図10に示す画像処理装置100Aを設けても良い。
顕微鏡装置200は、落射照明ユニット201及び透過照明ユニット202が設けられた略C字形のアーム200aと、該アーム200aに取り付けられ、観察対象である被写体SPが載置される標本ステージ203と、鏡筒205の一端側に三眼鏡筒ユニット207を介して標本ステージ203と対向するように設けられた対物レンズ204と、標本ステージ203を移動させるステージ位置変更部206と、を有する。三眼鏡筒ユニット207は、対物レンズ204から入射した被写体SPの観察光を、鏡筒205の他端側に設けられた撮像装置170と後述する接眼レンズユニット208とに分岐する。接眼レンズユニット208は、ユーザが被写体SPを直接観察するためのものである。
落射照明ユニット201は、落射照明用光源201a及び落射照明光学系201bを備え、被写体SPに対して落射照明光を照射する。落射照明光学系201bは、落射照明用光源201aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
透過照明ユニット202は、透過照明用光源202a及び透過照明光学系202bを備え、被写体SPに対して透過照明光を照射する。透過照明光学系202bは、透過照明用光源202aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
対物レンズ204は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ204、204’)を保持可能なレボルバ209に取り付けられている。このレボルバ209を回転させて、標本ステージ203と対向する対物レンズ204、204’を変更することにより、撮像倍率を変化させることができる。
鏡筒205の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
ステージ位置変更部206は、例えばステッピングモータ等の駆動部206aを含み、標本ステージ203の位置をXY平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部206には、標本ステージ203をZ軸に沿って移動させることにより、対物レンズ204の焦点を被写体SPに合わせる。
このような顕微鏡装置200において生成された被写体SPの拡大像を撮像装置170においてマルチバンド撮像することより、被写体SPのカラー画像が表示部160に表示される。そして、画像処理装置100又は画像処理装置100Aが透過光画像を生成し、表示部160に透過光画像を表示する。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
1、1A、1B 撮像システム
100、100A 画像処理装置
110 画像取得部
120 制御部
121 画像取得制御部
130 記憶部
131 プログラム記憶部
132 画像データ記憶部
140、140A 演算部
141 蛍光量推定部
142 組織量推定部
143 色素量推定部
144 透過光画像生成部
145A テクスチャ補正部
150 入力部
160 表示部
170 撮像装置
200 顕微鏡装置
200a アーム
201 落射照明ユニット
201a 落射照明用光源
201b 落射照明光学系
202 透過照明ユニット
202a 透過照明用光源
202b 透過照明光学系
203 標本ステージ
204、204’ 対物レンズ
205 鏡筒
206 ステージ位置変更部
206a 駆動部
207 三眼鏡筒ユニット
208 接眼レンズユニット
209 レボルバ
100、100A 画像処理装置
110 画像取得部
120 制御部
121 画像取得制御部
130 記憶部
131 プログラム記憶部
132 画像データ記憶部
140、140A 演算部
141 蛍光量推定部
142 組織量推定部
143 色素量推定部
144 透過光画像生成部
145A テクスチャ補正部
150 入力部
160 表示部
170 撮像装置
200 顕微鏡装置
200a アーム
201 落射照明ユニット
201a 落射照明用光源
201b 落射照明光学系
202 透過照明ユニット
202a 透過照明用光源
202b 透過照明光学系
203 標本ステージ
204、204’ 対物レンズ
205 鏡筒
206 ステージ位置変更部
206a 駆動部
207 三眼鏡筒ユニット
208 接眼レンズユニット
209 レボルバ
Claims (10)
- 1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定する蛍光量推定部と、
前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定する組織量推定部と、
前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定する色素量推定部と、
前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する透過光画像生成部と、
を備える画像処理装置。 - 前記蛍光画像、前記蛍光量推定部が推定した光量に基づいて生成した蛍光量画像、前記組織量推定部が推定した組織量に基づいて生成した組織量画像、前記色素量推定部が推定した色素量に基づいて生成した色素量画像、前記透過光画像のいずれかの画像を補正する画像補正部を更に備える請求項1に記載の画像処理装置。
- 前記組織量推定部は、各画素から複数の組織の組織量を推定し、
前記色素量推定部は、各組織から複数の色素の色素量を推定し、
前記透過光画像生成部は、前記色素量推定部が推定した複数の色素の色素量を合成して前記透過光画像を生成する請求項1又は2に記載の画像処理装置。 - 前記組織量推定部は、前記組織群の各組織量を、前記蛍光量推定部が推定した前記蛍光色素群の各蛍光色素が発光する蛍光の光量に、蛍光色素に応じて定まる係数を乗じて総和をとることにより算出する請求項1~4のいずれか1つに記載の画像処理装置。
- 前記色素量推定部は、前記明視野色素群の各色素量を、前記組織量推定部が推定した前記組織群の各組織量に、組織に応じて定まる係数を乗じて総和を取ることにより算出する請求項1~5のいずれか1つに記載の画像処理装置。
- 請求項1~7のいずれか1つに記載の画像処理装置と、
標本に照射する励起光を発生する照明部と、
前記照明部が発生した前記励起光を前記標本に照射する照明光学系と、
前記標本からの前記蛍光を結像する結像光学系と、
前記結像光学系が結像した前記蛍光を撮像する撮像部と、
を備える撮像システム。 - 蛍光量推定部が、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、
組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、
色素量推定部が、前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、
透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成する画像処理装置の作動方法。 - 蛍光量推定部が、1以上の蛍光色素を含む蛍光色素群を用いて染色した1以上の組織を含む組織群を蛍光顕微鏡により撮像することにより得られた蛍光画像に含まれる各画素において、前記蛍光色素群の各蛍光色素が発光する蛍光の光量を推定し、
組織量推定部が、前記蛍光量推定部が推定した光量に基づいて、前記組織群の各組織の組織量を推定し、
色素量推定部が、前記組織量推定部が推定した組織量に基づいて、1以上の色素を含む明視野色素群を用いて染色した前記組織群を透過型顕微鏡により撮像した場合の前記明視野色素群の各色素の仮想的な色素量を推定し、
透過光画像生成部が、前記色素量推定部が推定した色素量から仮想的な透過光画像を生成すること、
を画像処理装置に実行させる画像処理装置の作動プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020537938A JP7116175B2 (ja) | 2018-08-22 | 2018-08-22 | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
PCT/JP2018/030987 WO2020039520A1 (ja) | 2018-08-22 | 2018-08-22 | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
CN201880096662.XA CN112601950B (zh) | 2018-08-22 | 2018-08-22 | 图像处理装置、摄像***、图像处理装置的工作方法以及图像处理装置的工作程序 |
US17/152,382 US11378515B2 (en) | 2018-08-22 | 2021-01-19 | Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/030987 WO2020039520A1 (ja) | 2018-08-22 | 2018-08-22 | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/152,382 Continuation US11378515B2 (en) | 2018-08-22 | 2021-01-19 | Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020039520A1 true WO2020039520A1 (ja) | 2020-02-27 |
Family
ID=69592760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/030987 WO2020039520A1 (ja) | 2018-08-22 | 2018-08-22 | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11378515B2 (ja) |
JP (1) | JP7116175B2 (ja) |
CN (1) | CN112601950B (ja) |
WO (1) | WO2020039520A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113702140B (zh) * | 2021-08-16 | 2024-02-23 | 江苏博赛孚医疗科技有限公司 | 一种组织切片染色时间自动计算及流程优化的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010512508A (ja) * | 2006-12-20 | 2010-04-22 | ベンタナ・メデイカル・システムズ・インコーポレーテツド | 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析 |
JP2014521979A (ja) * | 2011-08-17 | 2014-08-28 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2015514212A (ja) * | 2012-03-30 | 2015-05-18 | クラリエント ダイアグノスティック サービシーズ, インコーポレイテッド | 単一試料での免疫蛍光及び蛍光系核酸分析 |
WO2017212055A1 (en) * | 2016-06-10 | 2017-12-14 | F. Hoffmann-La Roche Ag | System for bright field image simulation |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6169816B1 (en) * | 1997-05-14 | 2001-01-02 | Applied Imaging, Inc. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
US8131053B2 (en) * | 1999-01-25 | 2012-03-06 | Amnis Corporation | Detection of circulating tumor cells using imaging flow cytometry |
JP2003065948A (ja) * | 2001-08-27 | 2003-03-05 | Telecommunication Advancement Organization Of Japan | 顕微鏡画像処理装置、顕微鏡画像処理方法並びに顕微鏡画像処理プログラム |
US9697582B2 (en) * | 2006-11-16 | 2017-07-04 | Visiopharm A/S | Methods for obtaining and analyzing images |
JP5208430B2 (ja) * | 2007-01-31 | 2013-06-12 | オリンパス株式会社 | 生体組織用蛍光観察装置 |
IN2012DN02337A (ja) * | 2009-10-12 | 2015-08-21 | Ventana Med Syst Inc | |
PL2524221T3 (pl) * | 2010-01-12 | 2022-06-20 | Nexcelom Bioscience Llc | System do zliczania komórek i biocząsteczek |
EP2601513B1 (en) * | 2010-08-05 | 2014-05-14 | Cambridge Research & Instrumentation, Inc. | Enhancing visual assessment of samples |
US8787651B2 (en) * | 2010-09-28 | 2014-07-22 | Flagship Biosciences, LLC | Methods for feature analysis on consecutive tissue sections |
JP2012122852A (ja) * | 2010-12-08 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
EP2679137B1 (en) * | 2011-06-07 | 2016-03-23 | Olympus Corporation | Endoscope apparatus for controlling light quantity of fluorescence imaging |
US8977017B2 (en) | 2011-09-15 | 2015-03-10 | The General Hospital Corporation | System and method for support of medical diagnosis |
WO2013181418A2 (en) * | 2012-05-30 | 2013-12-05 | Clarient Diagnostic Services, Inc. | Multiplexed diagnosis method for classical hodgkin lymphoma |
WO2014126000A1 (ja) * | 2013-02-13 | 2014-08-21 | オリンパス株式会社 | 蛍光観察装置 |
CA2951075A1 (en) * | 2014-06-05 | 2015-12-10 | Universitat Heidelberg | Methods and means for multispectral imaging |
JP6688190B2 (ja) * | 2016-08-09 | 2020-04-28 | オリンパス株式会社 | 顕微鏡 |
US11213482B1 (en) * | 2020-03-05 | 2022-01-04 | University of Pittsburgh—Of the Commonwealth System of Higher Educat | SARS-CoV-2 subunit vaccine and microneedle array delivery system |
-
2018
- 2018-08-22 JP JP2020537938A patent/JP7116175B2/ja active Active
- 2018-08-22 CN CN201880096662.XA patent/CN112601950B/zh active Active
- 2018-08-22 WO PCT/JP2018/030987 patent/WO2020039520A1/ja active Application Filing
-
2021
- 2021-01-19 US US17/152,382 patent/US11378515B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010512508A (ja) * | 2006-12-20 | 2010-04-22 | ベンタナ・メデイカル・システムズ・インコーポレーテツド | 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析 |
JP2014521979A (ja) * | 2011-08-17 | 2014-08-28 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2015514212A (ja) * | 2012-03-30 | 2015-05-18 | クラリエント ダイアグノスティック サービシーズ, インコーポレイテッド | 単一試料での免疫蛍光及び蛍光系核酸分析 |
WO2017212055A1 (en) * | 2016-06-10 | 2017-12-14 | F. Hoffmann-La Roche Ag | System for bright field image simulation |
Also Published As
Publication number | Publication date |
---|---|
CN112601950A (zh) | 2021-04-02 |
US20210164904A1 (en) | 2021-06-03 |
US11378515B2 (en) | 2022-07-05 |
JP7116175B2 (ja) | 2022-08-09 |
JPWO2020039520A1 (ja) | 2021-09-24 |
CN112601950B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10768402B2 (en) | Microscopy of a tissue sample using structured illumination | |
KR20220119669A (ko) | 심층 학습을 이용한 현미경 검사 이미지들의 디지털 염색을 위한 방법 및 시스템 | |
US8957958B2 (en) | Microscope system, microscopy method and storage medium | |
US8780191B2 (en) | Virtual microscope system | |
JP2024019639A (ja) | 顕微鏡システム、プログラム、及び、投影画像生成方法 | |
JP2012237693A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2021510850A (ja) | 高空間分解能の時間分解イメージング法 | |
WO2017009989A1 (ja) | 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム | |
US9406118B2 (en) | Stain image color correcting apparatus, method, and system | |
JP2010156612A (ja) | 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム | |
JP2022519038A (ja) | スペクトル分離 | |
CN103168265A (zh) | 成像***和其关联的方法 | |
WO2020039520A1 (ja) | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
JP2012022206A (ja) | 顕微鏡観察システム | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
JP7090171B2 (ja) | 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム | |
JP5752985B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム | |
WO2023189393A1 (ja) | 生体試料観察システム、情報処理装置及び画像生成方法 | |
JP2019045540A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5687541B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム | |
WO2018193635A1 (ja) | 画像処理システム、画像処理方法、及び画像処理プログラム | |
EP4341740A1 (en) | Method for examining a fluorescent sample, microscope system and computer program | |
WO2019008935A1 (ja) | 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18930620 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020537938 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18930620 Country of ref document: EP Kind code of ref document: A1 |