JP6725646B2 - 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析 - Google Patents
解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析 Download PDFInfo
- Publication number
- JP6725646B2 JP6725646B2 JP2018511375A JP2018511375A JP6725646B2 JP 6725646 B2 JP6725646 B2 JP 6725646B2 JP 2018511375 A JP2018511375 A JP 2018511375A JP 2018511375 A JP2018511375 A JP 2018511375A JP 6725646 B2 JP6725646 B2 JP 6725646B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- staining
- function
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010186 staining Methods 0.000 title claims description 227
- 239000012491 analyte Substances 0.000 title claims description 138
- 238000004458 analytical method Methods 0.000 title description 21
- 239000000203 mixture Substances 0.000 title description 2
- 230000006870 function Effects 0.000 claims description 196
- 239000012528 membrane Substances 0.000 claims description 147
- 206010028980 Neoplasm Diseases 0.000 claims description 118
- 239000003446 ligand Substances 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 80
- 239000000523 sample Substances 0.000 claims description 70
- 210000001519 tissue Anatomy 0.000 claims description 70
- 230000011218 segmentation Effects 0.000 claims description 61
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 54
- 210000004027 cell Anatomy 0.000 claims description 47
- 239000002131 composite material Substances 0.000 claims description 38
- 238000009792 diffusion process Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 210000000805 cytoplasm Anatomy 0.000 claims description 26
- 230000001086 cytosolic effect Effects 0.000 claims description 23
- 238000009499 grossing Methods 0.000 claims description 19
- 238000003064 k means clustering Methods 0.000 claims description 19
- 238000012303 cytoplasmic staining Methods 0.000 claims description 18
- 102100025498 Proepiregulin Human genes 0.000 claims description 12
- 102000052116 epidermal growth factor receptor activity proteins Human genes 0.000 claims description 12
- 108700015053 epidermal growth factor receptor activity proteins Proteins 0.000 claims description 12
- YOHYSYJDKVYCJI-UHFFFAOYSA-N n-[3-[[6-[3-(trifluoromethyl)anilino]pyrimidin-4-yl]amino]phenyl]cyclopropanecarboxamide Chemical compound FC(F)(F)C1=CC=CC(NC=2N=CN=C(NC=3C=C(NC(=O)C4CC4)C=CC=3)C=2)=C1 YOHYSYJDKVYCJI-UHFFFAOYSA-N 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 239000012472 biological sample Substances 0.000 claims description 9
- 208000012106 cystic neoplasm Diseases 0.000 claims description 9
- 102000007299 Amphiregulin Human genes 0.000 claims description 6
- 108010033760 Amphiregulin Proteins 0.000 claims description 6
- 101710181699 Proepiregulin Proteins 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims 2
- 210000004940 nucleus Anatomy 0.000 description 29
- 238000013507 mapping Methods 0.000 description 21
- 238000011002 quantification Methods 0.000 description 20
- 230000002380 cytological effect Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 101001056707 Homo sapiens Proepiregulin Proteins 0.000 description 8
- 239000000306 component Substances 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 101000809450 Homo sapiens Amphiregulin Proteins 0.000 description 7
- 241000124008 Mammalia Species 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 210000000170 cell membrane Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 150000001413 amino acids Chemical class 0.000 description 5
- 230000027455 binding Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003706 image smoothing Methods 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 102000043494 human AREG Human genes 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- 102100038778 Amphiregulin Human genes 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 3
- 101800000155 Epiregulin Proteins 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 3
- 241000288906 Primates Species 0.000 description 3
- 241000700159 Rattus Species 0.000 description 3
- 241000283984 Rodentia Species 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 3
- 230000001744 histochemical effect Effects 0.000 description 3
- 230000002055 immunohistochemical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 102000005962 receptors Human genes 0.000 description 3
- 108020003175 receptors Proteins 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 102000000844 Cell Surface Receptors Human genes 0.000 description 2
- 108010001857 Cell Surface Receptors Proteins 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 2
- 102000018697 Membrane Proteins Human genes 0.000 description 2
- 108010052285 Membrane Proteins Proteins 0.000 description 2
- 108091028043 Nucleic acid sequence Proteins 0.000 description 2
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 2
- 102100024554 Tetranectin Human genes 0.000 description 2
- 108091023040 Transcription factor Proteins 0.000 description 2
- 102000040945 Transcription factor Human genes 0.000 description 2
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011496 digital image analysis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 208000032839 leukemia Diseases 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009870 specific binding Effects 0.000 description 2
- 210000004895 subcellular structure Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 108010013645 tetranectin Proteins 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- 208000010507 Adenocarcinoma of Lung Diseases 0.000 description 1
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 108090000342 C-Type Lectins Proteins 0.000 description 1
- 102000003930 C-Type Lectins Human genes 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 1
- 108700022150 Designed Ankyrin Repeat Proteins Proteins 0.000 description 1
- 206010014733 Endometrial cancer Diseases 0.000 description 1
- 206010014759 Endometrial neoplasm Diseases 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 102000016359 Fibronectins Human genes 0.000 description 1
- 108010067306 Fibronectins Proteins 0.000 description 1
- 206010017993 Gastrointestinal neoplasms Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000017604 Hodgkin disease Diseases 0.000 description 1
- 208000021519 Hodgkin lymphoma Diseases 0.000 description 1
- 208000010747 Hodgkins lymphoma Diseases 0.000 description 1
- 101100163161 Homo sapiens AREG gene Proteins 0.000 description 1
- 108060003951 Immunoglobulin Proteins 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 108010001831 LDL receptors Proteins 0.000 description 1
- 102000019298 Lipocalin Human genes 0.000 description 1
- 108050006654 Lipocalin Proteins 0.000 description 1
- 102100024640 Low-density lipoprotein receptor Human genes 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 208000030289 Lymphoproliferative disease Diseases 0.000 description 1
- KDXKERNSBIXSRK-UHFFFAOYSA-N Lysine Natural products NCCCCC(N)C(O)=O KDXKERNSBIXSRK-UHFFFAOYSA-N 0.000 description 1
- 239000004472 Lysine Substances 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 208000015914 Non-Hodgkin lymphomas Diseases 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 235000009413 Ratibida columnifera Nutrition 0.000 description 1
- 241000510442 Ratibida peduncularis Species 0.000 description 1
- 206010038389 Renal cancer Diseases 0.000 description 1
- 208000004337 Salivary Gland Neoplasms Diseases 0.000 description 1
- 206010061934 Salivary gland cancer Diseases 0.000 description 1
- 206010039491 Sarcoma Diseases 0.000 description 1
- 206010041067 Small cell lung cancer Diseases 0.000 description 1
- 101000677856 Stenotrophomonas maltophilia (strain K279a) Actin-binding protein Smlt3054 Proteins 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 102000004338 Transferrin Human genes 0.000 description 1
- 108090000901 Transferrin Proteins 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 208000002495 Uterine Neoplasms Diseases 0.000 description 1
- 206010047741 Vulval cancer Diseases 0.000 description 1
- 208000004354 Vulvar Neoplasms Diseases 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 239000003146 anticoagulant agent Substances 0.000 description 1
- 229940127219 anticoagulant drug Drugs 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003567 ascitic fluid Anatomy 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 201000000053 blastoma Diseases 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000012830 cancer therapeutic Substances 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000004663 cell proliferation Effects 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 201000008184 embryoma Diseases 0.000 description 1
- 230000002357 endometrial effect Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 239000000834 fixative Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 102000018358 immunoglobulin Human genes 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 210000002570 interstitial cell Anatomy 0.000 description 1
- 201000010982 kidney cancer Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 201000005249 lung adenocarcinoma Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 201000005243 lung squamous cell carcinoma Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 201000002628 peritoneum cancer Diseases 0.000 description 1
- 230000026731 phosphorylation Effects 0.000 description 1
- 238000006366 phosphorylation reaction Methods 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 239000003755 preservative agent Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 102000027426 receptor tyrosine kinases Human genes 0.000 description 1
- 108091008598 receptor tyrosine kinases Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 208000000587 small cell lung carcinoma Diseases 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- SBUXRMKDJWEXRL-ZWKOTPCHSA-N trans-body Chemical compound O=C([C@@H]1N(C2=O)[C@H](C3=C(C4=CC=CC=C4N3)C1)CC)N2C1=CC=C(F)C=C1 SBUXRMKDJWEXRL-ZWKOTPCHSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012581 transferrin Substances 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
- 206010046766 uterine cancer Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 201000005102 vulva cancer Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Description
一実施形態では、生体画像解析システムが提供され、前記システムは、プロセッサとメモリとを備え、メモリが解釈可能な命令を含み、命令がプロセッサによって実行されたときプロセッサに、生体コンパートメントの検体染色を、前記染色が解析的に別個の生体コンパートメントの検体染色と混合された領域において定量化するステップを含む方法を実施させ、該方法は、
(A)検体染色パターンに基づいて組織又は細胞学的サンプルのデジタル画像を複数の別個の領域へとセグメント化するステップであって、複数の領域が、少なくとも1つの複合染色領域を、即ち第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された画像の領域を含み、前記第1の生体コンパートメント及び前記少なくとも第2の生体コンパートメントが解析的に別個である、ステップと、
(B)(A)とは別に、生体コンパートメント候補を、即ち、少なくとも第1の生体コンパートメントに対応するデジタル画像におけるピクセルクラスタを識別するステップと、
(C)(A)及び(B)とは別に、検体染色に対応するピクセルのクラスタを、高強度ビン、低強度ビン、及び背景強度ビンへとセグメント化することによって、検体強度マップを生成するステップと、
(D)複合染色領域内の生体コンパートメント候補を検体強度マップからの適切なビンと合致させることによって、各複合染色領域の解析的に関連する部分を識別するステップと、
(E)複合染色領域の解析的に関連する部分における検体染色を定量化するステップとによって実施される。
(A)検体染色パターンに基づいて組織サンプルのデジタル画像を複数の別個の領域へとセグメント化することによって、検体染色パターンマップを生成するステップであって、該複数の領域が、
(A1)1つ以上の複合染色領域、即ち、第1の生体コンパートメントにおける検体陽性染色が少なくとも第2の生体コンパートメントにおける検体陽性染色と混合されていることを示すピクセルパターンを有し、前記第1の生体コンパートメント及び前記少なくとも第2の生体コンパートメントが解析的に別個である、画像の領域と、
(A2)存在する場合は1つ以上の単一のコンパートメント領域、即ち、単一の生体コンパートメントのみにおける検体陽性染色を示すピクセルパターンを有する画像の領域とを含む、ステップと、
(B)(A)とは別に、生体コンパートメント候補を、即ち、解析的に関連する生体コンパートメントに対応するデジタル画像におけるピクセルクラスタを識別するステップと、
(C)(A)及び(B)とは別に、検体染色に対応するピクセルのクラスタを、高強度ビン、低強度ビン、及び背景強度ビンへとセグメント化することによって、検体強度マップを生成するステップと、
(D)複合染色領域内の生体コンパートメント候補を検体強度マップからの適切なビンと合致させて、予想される強度プロファイルを有する生体コンパートメント候補のセグメントを識別することによって、各複合染色領域の生体コンパートメントを識別するステップと、
(E)検体染色の強度及び/又は面積を組み合わせることによって、解析的に関連する染色全体を定量化するステップであって、該組み合わせが、
(E1)(D)で識別された各複合染色領域の解析的に関連する部分、
(E2)(A)で識別された全ての関連する領域からのものである、ステップとを含む。
(A)検体染色に基づいて、組織又は細胞学的サンプルのデジタル画像を複数の領域へとセグメント化するステップであって、前記複数の領域が、
(A1)膜/細胞質領域(即ち、拡散膜染色が細胞質染色と混合された領域)、及び/又は、
(A2)膜/点状領域(即ち、拡散膜染色が点状染色と混合された領域)である、ステップと、
(B)(A)とは別に、デジタル画像から検体染色に対応するピクセルを抽出し、ラプラス関数を含む関数を適用して、膜染色に特有のピクセルクラスタを識別することによって、組織又は細胞学的サンプルのデジタル画像における膜候補を識別するステップと、
(C)(A)及び(B)とは別に、対象の検体に対応するデジタル画像からピクセルを抽出し、k平均クラスタリングアルゴリズムを適用して、ピクセルクラスタを、高強度検体染色ビン、低強度検体染色ビン、又は背景検体染色ビンへとセグメント化することによって、検体強度マップを生成するステップと、
(D)(A1)及び/又は(A2)における膜検体染色を識別するステップであって、
(D1)(A1)内の膜候補を高強度染色ビンのピクセルクラスタと合致させること、及び/又は、
(D2)(A1)内の膜候補を高強度染色ビンのピクセルクラスタと合致させることによる、ステップとを含む。
(A)検体染色に基づいて、組織又は細胞学的サンプルのデジタル画像を複数の領域へとセグメント化するステップであって、前記複数の領域が、
(A1)膜領域(即ち、唯一の染色パターンが拡散膜染色である領域)、並びに、
(A2)(A2a)膜/細胞質領域(即ち、拡散膜染色が細胞質染色と混合された領域)、及び/又は、
(A2b)膜/点状領域(即ち、拡散膜染色が点状染色と混合された領域)のうち1つ以上である、ステップと、
(B)(A)とは別に、デジタル画像から検体染色に対応するピクセルを抽出し、ラプラス関数を含む関数を適用して、膜染色に特有のピクセルクラスタを識別することによって、組織又は細胞学的サンプルのデジタル画像における膜候補を識別するステップと、
(C)(A)及び(B)とは別に、対象の検体に対応するデジタル画像からピクセルを抽出し、k平均クラスタリングアルゴリズムを適用して、ピクセルクラスタを、高強度検体染色ビン、低強度検体染色ビン、又は背景検体染色ビンへとセグメント化することによって、検体強度マップを生成するステップと、
(D)(A1)及び(A2)における膜検体染色を識別するステップであって、
(D1)(A1)内の膜候補を高強度染色ビン及び低強度染色ビンのピクセルクラスタと合致させること、並びに、
(D2)(D2a)(A2a)内の膜候補を高強度染色ビンのピクセルクラスタと合致させること、及び/又は、
(D2b)(A2b)内の膜候補を低強度染色ビンのピクセルクラスタと合致させることによる、ステップと、
(E)(D1)及び(D2)で識別された膜検体染色の強度及び/又は面積を組み合わせることによって、拡散膜染色全体を定量化するステップとを含む。
「解析的に別個の染色パターン」は、異なる生物学的意味を伝える同じ検体又は検体群の2つ以上の異なる空間的関係を指す。例えば、転写因子は、細胞質(不活性である可能性が高い場合)又は核(活性化されている可能性が高い場合)のどちらかに局在化させることができる。したがって、「細胞質」染色パターン及び「核」染色パターンは解析的に別個である。同様に、特定の細胞表面受容体は、膜に局在化されるか又は細胞質に局在化されて示される染色パターンを有することができる。受容体の関連する活性は、受容体がどこに局在化されるかに応じて異なることがある。したがって、この例では、「膜」染色パターンは「細胞質」染色パターンとは解析的に別個である。しかしながら、他の事例では、特定の検体の局在化は重要ではないことがある。例えば、受容体型チロシンキナーゼのリン酸化における特定の局在化に関する免疫組織学的アッセイは、解析的に関連しないものと思われる。
「細胞質染色」という用語は、細胞の細胞質領域の形態学的特性をもつパターンで配置されたピクセル群を指すものとする。
「がん」及び「がん性」という用語は、一般的には未制御の細胞成長/増殖によって特徴付けられる、哺乳類における生理学的状態を指すか、又はそれを説明する。がんの例としては、がん腫、リンパ腫(例えば、ホジキン及び非ホジキンリンパ腫)、芽腫、肉腫、並びに白血病が挙げられるがそれらに限定されない。かかるがんの更に特定的な例としては、扁平上皮がん、小細胞肺がん、非小細胞肺がん、肺腺がん、肺扁平上皮がん、腹膜がん、肝細胞がん、胃腸がん、膵臓がん、グリオーマ、子宮頸がん、卵巣がん、肝臓がん、膀胱がん、肝腫、乳がん、大腸がん、結腸直腸がん、子宮内膜又は子宮がん、唾液腺がん、腎臓がん、肝臓がん、前立腺がん、外陰部がん、甲状腺がん、肝細胞がん、白血病及び他のリンパ増殖性疾患、並びに様々なタイプの頭部及び頚部がんが挙げられる。1つの特定の実施形態では、生体サンプルは結腸直腸腫瘍のサンプルである。別の特定の実施形態では、生体サンプルは***腫瘍のサンプルである。別の特定の実施形態では、生体サンプルは、非小細胞肺がんなどの肺腫瘍のサンプルである。
II.一般的枠組み
本発明は、互いに混ざり合った染色の解析的に別個のパターンを有する細胞サンプル(組織サンプル又は細胞学的サンプルなど)の領域内における対象の検体を検出し定量化するシステム及び方法に関する。例えば、転写因子タンパク質は、細胞質(活性化されていない場合)又は核(活性化されている場合)のどちらかに存在する。別の例として、特定の細胞表面受容体は、膜染色(リガンド受容体として機能する場合)及び細胞質染色(いくつかのエフェクタ関数を働かせることができる場合)の両方を実証してもよい。これらの事例のそれぞれにおいて、検体染色の解析上の有意性は、どの染色パターンが存在するかに応じて決まることがある。
(2)デジタル画像を、「生体コンパートメント候補領域」(即ち、解析的に関連する生体コンパートメントの特性を有する対象の検体に対応するピクセルクラスタの組)と、「非コンパートメント領域候補」とにセグメント化する、「コンパートメント候補セグメント化」、並びに、
(3)デジタル画像を、検体染色強度に基づいて別々の強度ビンへとセグメント化する(一般的に、「高」、「低」、及び「背景」強度ビンへであるが、適切な場合は他のものも使用されてもよい)、「検体強度セグメント化」。
III.細胞サンプル
本発明の方法、システム、及び装置は細胞サンプルのデジタル画像に対して実現される。特定の実施形態では、細胞サンプルは組織又は細胞学的サンプルであって、次のものによって染色されている。(1)細胞サンプル内の巨大分子構造を可視化する造影剤(ヘマトキシリン及びエオシン染料など)、並びに(2)検体結合実体。検体結合実体は、例えば、色素産生又は蛍光染料を使用して可視化される。
染色された細胞サンプルは、顕微鏡下で可視化されるか、又はホールスライドスキャナによってスキャンされ、そのデジタル画像が捕捉される。
IV.生体画像解析デバイス及び関連システム
本発明の方法、システム、及び装置は全て、ここに開示する方法にしたがって細胞サンプルの画像を解析するように機能する、生体画像解析デバイスを含んでもよい。生体画像解析デバイスは、少なくともプロセッサとプロセッサに連結されたメモリとを含み、メモリはコンピュータ可読命令を格納し、命令がプロセッサによって実行されたときプロセッサに動作を行わせる。
V.画像獲得
次に図1を参照すると、生体サンプルのデジタル画像101が獲得される。本質的に、逆重畳積分可能なカラーデジタル画像を生成することができる、任意の撮像方法を使用することができる。例えば、染色組織サンプルのR、G、Bカラー画像を生成し、ローカルコンピュータ、ディスクドライブ、固体ドライブ、サーバ機械などの記憶デバイスに格納することができる。
VI.パターンセグメント化
デジタル画像101が獲得された後、画像を別個の染色パターンを有する領域へと分割する、パターンセグメント化関数102が実施される。
VII.コンパートメント候補セグメント化
パターンセグメント化関数102とは別に、コンパートメント候補セグメント化関数103も、少なくとも1つの生体コンパートメントに対して実施される。場合によっては、単一のコンパートメントに対してのみ、コンパートメント候補セグメント化を実施するので十分なことがある(単一のコンパートメントのみが最終解析に関連する場合、又は2つのコンパートメントにおいてのみ染色が識別される場合など)。他の例では、コンパートメント候補関数を、複数のコンパートメント候補に対して実施することが必要になる(複数のコンパートメントが最終解析に関連し、各候補コンパートメントを含む複合染色領域が見出される場合など)。コンパートメント候補関数を実施することができる例示的な生体コンパートメントは、膜及び核を含む。
VII(A).膜候補セグメント化
膜候補セグメント化は、一般に、画像中のリッジ領域を識別することに基づく。
ラプラス関数はノイズに対する感度をもつので、画像は一般的に、ラプラス演算子が適用される前に平滑化される。
ラプラス関数を使用して膜候補セグメント化を実施する、例示的なワークフローが図3及び4に示される。
他の平滑化及び/又はリッジ検出も選ぶことができる。例えば、画像平滑化の場合、中央フィルタ処理又は平均フィルタ処理が使用されてもよい。エッジ検出の場合、構造テンソル方法が使用されてもよい。
VIII(B).核候補セグメント化
コンパートメント候補が核の場合、同様の方法を適用して核候補をセグメント化することができる。核候補の識別は、円形ブロブの識別に基づく。核候補を識別する1つの方法はガウス差分(DoG)である。m個のチャネルを所与として、n次元画像は次式の通りである。
VIII.検体強度セグメント化
パターンセグメント化関数102及びコンパートメント候補セグメント化関数103とは別に、検体強度セグメント化関数104は、検体染色の強度に基づいてセグメント化するために、プロセッサによって元のデジタル画像に適用される。k平均クラスタリング関数がこのセグメント化に使用されてもよい。
2.更新:クラスタに対して新しく割り当てられたピクセルを使用して、各クラス他の新しい平均値を計算する。次式は更新機能に使用されてもよい。
一般に、異なるコンパートメント染色パターンは、互いに対して異なるピクセル強度を示すことが予想される。したがって、異なるコンパートメントがその範囲内に入ることが予想される強度ビンを識別することは、複合染色領域における異なるコンパートメントの境界を定義する助けとなる。各コンパートメントに関する相対強度の一般的パターンを、経験的に決定することが必要となる。EGFRリガンド染色の例では、複合染色パターンが、(1)膜/点状パターン、(2)膜/細胞質染色パターン、及び(3)点状/細胞質染色パターンの3つのグループのうち1つに該当することが観察された。各染色パターンの例を図5で見ることができる。同じ複合領域内で見られる場合、点状パターンは一般に膜パターンよりも高いピクセル強度を有することが、経験的に決定された。したがって、ピクセルクラスタのビン化は、「高強度」、「低強度」、及び「背景強度」ビンにしたがって実施することができる。このように、EGFR染色サンプルの膜領域は、膜/細胞質複合領域ではピクセルが「高強度ビン」又は「低強度ビン」内にあり、膜/点状領域ではピクセルが「低強度ビン」内にのみあることによって定義された。細胞質領域は、膜/細胞質複合領域ではピクセルが「高強度ビン」又は「低強度ビン」内にあり、膜/点状領域ではピクセルが「低強度ビン」内にのみあることによって定義された。点状領域は、膜/点状及び細胞質/点状の両方の領域で、ピクセルが「高強度ビン」にあることによって定義された。
IX.「真のコンパートメント」の識別
図1を再び参照すると、パターンマップ112、コンパートメント候補マップ113、及び検体強度マップ114が生成されると、真のコンパートメント識別関数が実施されて、複合染色領域における真のコンパートメントが識別される。このプロセスには、パターンマップ112、コンパートメント候補マップ113、及び検体強度マップ114の重ね合わせが関与する。少なくとも複合染色面積内で、コンパートメント候補は、複合染色領域におけるそのコンパートメントに対する適切な強度ビンと合致される。コンパートメント候補及び適切な強度ビンの両方に該当するピクセルは、「真のコンパートメント」ピクセルとして分類される。次に、真のコンパートメントマップ115が、(1)複合染色領域からの真のコンパートメントピクセルとして分類される全てのピクセル、及び(2)対象のコンパートメントに対する単一染色領域からの対象の検体に対応する全てのピクセルで構成される、対象の各コンパートメントに対して生成される。
X.領域セグメント化
任意に、領域セグメント化関数106を入力画像に対して実施して、特定の領域に見られる優勢な組織タイプ(即ち、腫瘍、間質、免疫など)にしたがって組織サンプルを分割するか、異なるタイプの小器官に対応する領域を識別する(核もしくは膜に対応するピクセルを識別するなど)など、画像を異なる領域にセグメント化するのが望ましいことがある。この関数の出力は、ピクセルが関連付けられる領域タイプにしたがって、ピクセルをカテゴリ化する領域マップ116である。領域マップは、陽性の選択又は陰性の選択のために使用することができる。つまり、領域マップを使用して、解析及び/又は定量化に焦点が当てられるべき細胞サンプルの特定の領域を識別することができ(陽性の選択)、あるいは、解析及び/又は定量化において無視することができる、細胞サンプルの領域を識別するために使用することができる(陰性の選択)。
パターンマップ112、コンパートメント候補マップ113、及び検体強度マップ114と組み合わせて、ピクセルを真のコンパートメントマップ115から除外することができ(全体的に点線108で表される)、
真のコンパートメントマップ115と組み合わせて、非腫瘍領域に対応するピクセルを定量化から除外することができる(全体的に点線109で表される)。
XI.ピクセル定量化
真のコンパートメントマップが生成されると、染色を定量化することができる。コンパートメントに属するピクセルが分かると、コンパートメントの面積、並びにこれらのピクセルの強度の平均、最小値、最大値、標準偏差を計算することができる(染色強度定量化)。それを行う方法は当該分野において良く知られている。
XII.細胞定量化
特定の解析では、画像全体にわたって比較できるように、ピクセル定量化を正規化するのが有用なことがある。これを行う1つの手法は、細胞核を定量化するものである。細胞核を定量化する方法は、Nguyen et al., Using contextual information to classify nuclei in histology images(文脈情報を使用した組織学画像中の核の分類), 2015 IEEE 12th International Symposium on Biomedical Imaging (ISBI), p.995-998(Apr. 16-19, 2015)に開示されており、その内容の全体を参照により組み込む。核を定量化する他の方法が同様に使用されてもよい。核はそれぞれ、単一の細胞と相関するものと見なされてもよい。
XIII.実施例
以下は、本発明と共に使用することができる、システム及び方法の実施例である。上述した一般的説明を所与として、他の様々な実施形態が実践されてもよいことが理解される。
XIII(1).評価用画像の生成
組織のR、G、Bデジタル画像を、入力画像701として図7のワークフローで使用する。
XIII(2).パターンセグメント化
入力画像701を視覚的に解析し、(1)リガンド陰性非腫瘍腫瘍、(2)リガンド陰性腫瘍腫瘍、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍という、9つの別個の染色パターンを識別した。
XIII(3).膜候補セグメント化
膜候補を識別するため、ラプラシアン・オブ・ガウシアン(LoG)方法703を実施した。LoG方法703を実施するワークフローが図11に示される。
XIII(4).DAB染色領域のセグメント化
強度にしたがってピクセルをビン化するため、k平均クラスタリング関数704を実施して、強度レベルに対応する3つの異なるビンを得た。k平均クラスタリング関数704を実施するワークフローが図13に示される。
XIII(5).染色分類
染色領域分類関数705を、XII(2)からの各セグメント化領域に適用して、以下のガイドラインにしたがって真の膜候補を識別した。
膜のみのパターンの場合、DABHighビン又はDABLowビン内にあり、並びにMembraneCandidateとして分類された各ピクセルは、真の膜染色としてカテゴリ化される。
膜−細胞質複合領域の場合、
DABHigh又はDABLowビン内にあり、並びにMembraneCandidateとして分類されたピクセルは、膜染色としてカテゴリ化される。
膜−点状複合領域の場合、
DABHigh内の全てのピクセルは点状染色としてカテゴリ化される。
点状−細胞質複合領域の場合、
DABHigh内の全てのピクセルは点状染色としてカテゴリ化される。
染色分類(上述したような真のコンパートメントマップ)は、上記基準にしたがって論理演算子「and」を使用して、3つの異なるセグメント化ステップからの結果を組み合わせることによって得られる。
XIII(6).腫瘍核マスク及びピクセル定量化
後続の解析を染色された腫瘍組織に限定するために、ヘマトキシリン閾値化関数706を入力画像701に実施して、ヘマトキシリン(HTX)マップ714を生成した。次に、HTXマップ714をパターンマップ710と組み合わせて、(1)HTX閾値を超える領域、(2)陰性非腫瘍領域内にはない領域、及び/又は(3)非腫瘍染色領域内にはない領域に対応する腫瘍核マスク715を生成した。本質的に、腫瘍核マスク715は、画像中における腫瘍細胞の総数の近似である、腫瘍核に対応する入力画像701の範囲を強調する。次に、腫瘍核マスク715を染色分類マップ713に適用して、腫瘍細胞の合計面積にしたがって定量化関数708を正規化することができる。HTXマップ714及び腫瘍核マスク715を生成するワークフローが図16に示される。定量化関数を実施するワークフローが図17に示される。
上述の発明は、理解を明確にする目的で、例証及び実施例を用いてある程度詳細に記載してきたが、記載及び実施例は本発明の範囲を限定するものと解釈されるべきではない。本明細書に列挙する全ての特許及び科学文献の開示は、参照によりそれらの全体を明示的に組み込む。
Claims (45)
- 生体コンパートメントの検体染色を、前記染色が解析的に別個の生体コンパートメントの検体染色と混合される領域において定量化する生体画像解析システムであって、
生体コンパートメントが、前記領域における拡散膜、細胞質、及び、点状領域を備え、
前記検体染色が、前記生体コンパートメント内の、拡散膜染色、拡散膜染色、細胞質染色、及び、点状染色を含み、前記解析的に別個の生体コンパートメントが、細胞質及び/又は点状領域とは別個の拡散膜、拡散膜及び/又は点状領域とは別個の細胞質、並びに、拡散膜及び/又は細胞質とは別個の点状領域、を備え、前記生体画像解析システムが、プロセッサとメモリとを備え、前記メモリが解釈可能な命令を含み、前記命令が前記プロセッサによって実行されたとき前記プロセッサに方法を実施させ、前記方法が、
(A)検体染色パターンに基づいて、パターン分類関数を、複合染色領域のデジタル画像に対して実行して前記デジタル画像を複数の別個の領域へとセグメント化するステップであって、前記検体染色パターンが、(1)リガンド陰性非腫瘍、(2)リガンド陰性腫瘍、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍を含み、前記複数の別個の領域の少なくとも1つが、第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された領域を含み、第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された前記領域が、複合染色領域を表し、前記第1の生体コンパートメント及び前記少なくとも第2の生体コンパートメントが解析的に別個であり、
前記第1の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つを備え、
前記第2の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つであって、前記第1の生体コンパートメントとは異なるものを備え、
前記検体陽性染色が、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍、のうちのいずれか1つを含み、
前記パターン分類関数が、教師あり学習分類子を含み、
前記パターン分類関数が、更に、
組織サンプルの少なくとも二次元画像を表す画像データを受信し、前記画像データの複数のサブセットを識別する画像領域データを出力し、各画像データサブセットが前記画像の固有の空間的に連続した領域を表す、グリッド点モジュールと、
複数の前記画像領域に関して、パターン特性のデータベースに問い合わせるのにそれぞれの画像データサブセットを使用して、前記教師あり学習分類子を適用してそれぞれの画像領域を複数の染色パターンタイプの1つとして分類し、それぞれの画像領域の前記分類の信頼度を示す信頼度スコアを決定する分類子モジュールと、
を含み、
(B)(A)とは別に、しかし、ステップ(A)における前記第1の生体コンパートメントと同一の前記第1の生体コンパートメントを用いて、コンパートメント候補関数を前記デジタル画像に対して実行して、少なくとも前記第1の生体コンパートメントに対応する、前記デジタル画像の1つ以上のピクセルクラスタを自動的に識別するステップであって、前記第1の生体コンパートメントが、コンパートメント候補を表し、
前記ピクセルクラスタが、他のピクセルの群と差別化される、複数のピクセルの1つの群であり、前記複数のピクセルの1つの群が、それらの強度値に基づいて、k平均クラスタリングアルゴリズムを用いて異なったクラスタにグループ化されることにより生成され、それによって、類似する強度値を持つ複数のピクセルが、単一のクラスタにグループ化され、
前記コンパートメント候補関数が、
(B1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(B2)平滑化関数を前記検体に対応する画像チャネルに対して実行して、平滑化画像を生成し、ラプラス関数を平滑化画像に対して実行して、ラプラス画像を得ること、又は組み合わされたラプラシアン・オブ・ガウシアン(LoG)関数を前記検体に対応する画像チャネルに対して実行して、LoG画像を生成することと、
(B3)閾値化関数を前記ラプラス画像又は前記LoG画像に対して実行し、前記閾値を超える各ピクセルが膜候補ピクセルとして分類されることとを含む、ステップと、
(C)(A)及び(B)とは別にビン化関数を前記デジタル画像に対して実行して、ピクセルの強度に基づいて、前記検体に対応する前記デジタル画像上の各ピクセルを複数のビンのうち1つへとビン化するステップであって、
検体染色に対応するピクセルを、高強度ビン、低強度ビン、及び背景強度ビン、にセグメント化することによって検体強度マップが生成され、
前記ビン化関数が、
(C1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(C2)k平均クラスタリング関数を前記検体に対応する画像チャネルに対して実行して、前記検体に対応する前記画像チャネルの各ピクセルを、高強度ビン、低強度ビン、及び背景強度ビンの1つに割り当てることと、
を含み、
前記複数のビンが、高強度ビン、低強度ビン、及び背景強度ビン、を含む、
ステップと、
(D)ステップ(B)で特定された、各複合領域内の前記コンパートメント候補と対応する前記ピクセルを、ステップ(C)で特定された、前記検体強度マップからの適切なビンに対応するピクセルと対応付けて、真のコンパートメントを特定するステップであって、前記コンパートメント候補内及び前記検体強度マップからの前記適切なビン内の各ピクセルが、関連するピクセルとして分類され、
前記適切なビンが、以下のステップ(i)〜(ii)を実行することによって得られ、
(i)以下の(i-1)及び(i-2)を交互に実行し、
(i-1) 各ピクセルを、その平均値が他のクラスタと比較してピクセル強度に最も近いクラスタに割り当て、
(i-2) クラスタに対して新しく割り当てられたピクセルを使用して、各クラス他の新しい平均値を計算し、
(ii)割当てが変更を停止することによってアルゴリズムが収束したら、各ピクセルに、適切なビンを割り当てる、
ステップと、
(E)関連するピクセルの平均強度及び/又は平均面積を計算することによって、前記複合染色領域の検体染色を自動的に定量化するステップであって、
前記関連するピクセルの平均強度及び/又は平均面積が、前記複合染色領域内の検体染色の総量に対応する、
ステップと、
を含む、システム。 - 第1の生体コンパートメントの染色が解析的に別個の生体コンパートメントの検体染色と混合される少なくとも1つの領域を備える細胞サンプルの検体染色を定量化する生体画像解析システムであって、
前記生体コンパートメントが、前記領域における拡散膜、細胞質、及び、点状領域を備え、
前記検体染色が、前記生体コンパートメント内の、拡散膜染色、拡散膜染色、細胞質染色、及び、点状染色を含み、
前記解析的に別個の生体コンパートメントが、細胞質及び/又は点状領域とは別個の拡散膜、拡散膜及び/又は点状領域とは別個の細胞質、並びに、拡散膜及び/又は細胞質とは別個の点状領域、を備え、
前記生体画像解析システムが、プロセッサとメモリとを備え、前記メモリが解釈可能な命令を含み、前記命令が前記プロセッサによって実行されたとき前記プロセッサに方法を実施させ、前記方法が、
(A)検体染色パターンに基づいて、パターン分類を前記複合染色領域のデジタル画像に対して実行して前記デジタル画像を複数の別個の領域へとセグメント化するステップであって、
前記検体染色パターンが、(1)リガンド陰性非腫瘍、(2)リガンド陰性腫瘍、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍を含み、
前記複数の別個の領域の少なくとも1つが、
(A1)第1の生体コンパートメントにおける検体陽性染色が少なくとも第2の生体コンパートメントにおける検体陽性染色と混合されていることを示すピクセルパターンを有し、第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された前記領域が、複合染色領域を表し、前記第1の生体コンパートメント及び前記少なくとも第2の生体コンパートメントが解析的に別個である、前記デジタル画像の1つ以上の領域と、
(A2)単一の生体コンパートメントのみにおける検体陽性染色を示すピクセルパターンを有する前記画像の1つ以上の領域、即ち単一コンパートメント領域、とを含み、
前記第1の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つを備え、
前記第2の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つであって、前記第1の生体コンパートメントとは異なるものを備え、
前記検体陽性染色が、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍、のうちのいずれか1つを含み、
前記パターン分類関数が、教師あり学習分類子を含み、
前記パターン分類関数が、更に、
組織サンプルの少なくとも二次元画像を表す画像データを受信し、前記画像データの複数のサブセットを識別する画像領域データを出力し、各画像データサブセットが前記画像の固有の空間的に連続した領域を表す、グリッド点モジュールと、
複数の前記画像領域に関して、パターン特性のデータベースに問い合わせるのにそれぞれの画像データサブセットを使用して、前記教師あり学習分類子を適用してそれぞれの画像領域を複数の染色パターンタイプの1つとして分類し、それぞれの画像領域の前記分類の信頼度を示す信頼度スコアを決定する分類子モジュールと、
を含む、
ステップと、
(B)(A)とは別に、しかし、ステップ(A)における前記第1の生体コンパートメントと同一の前記第1の生体コンパートメントを用いて、コンパートメント候補関数を前記デジタル画像に対して実行して、少なくとも前記第1の生体コンパートメント(コンパートメント候補)に対応する、前記デジタル画像の1つ以上のピクセルクラスタを自動的に識別するステップであって、前記第1の生体コンパートメントが、コンパートメント候補を表し、
前記ピクセルクラスタが、他のピクセルの群と差別化される、複数のピクセルの1つの群であり、前記複数のピクセルの1つの群が、それらの強度値に基づいて、k平均クラスタリングアルゴリズムを用いて異なったクラスタにグループ化されることにより生成され、それによって、類似する強度値を持つ複数のピクセルが、単一のクラスタにグループ化され、
前記コンパートメント候補関数が、
(B1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(B2)平滑化関数を前記検体に対応する画像チャネルに対して実行して、平滑化画像を生成し、ラプラス関数を平滑化画像に対して実行して、ラプラス画像を得ること、又は組み合わされたラプラシアン・オブ・ガウシアン(LoG)関数を前記検体に対応する画像チャネルに対して実行して、LoG画像を生成することと、
(B3)閾値化関数を前記ラプラス画像又は前記LoG画像に対して実行し、前記閾値を超える各ピクセルが膜候補ピクセルとして分類されることとを含む、ステップと、
(C)(A)及び(B)とは別に、ビン化関数を前記デジタル画像に対して実行して、ピクセルの強度に基づいて、前記検体に対応する前記デジタル画像上の各ピクセルを複数のビンのうち1つへとビン化するステップであって、
検体染色に対応するピクセルを、高強度ビン、低強度ビン、及び背景強度ビン、にセグメント化することによって検体強度マップが生成され、
前記ビン化関数が、
(C1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(C2)k平均クラスタリング関数を前記検体に対応する画像チャネルに対して実行して、前記検体に対応する前記画像チャネルの各ピクセルを、高強度ビン、低強度ビン、及び背景強度ビンの1つに割り当てることと、
を含み、
前記複数のビンが、高強度ビン、低強度ビン、及び背景強度ビン、を含む、
ステップと、
(D)ステップ(B)で特定された、各複合領域内の前記生体コンパートメント候補と対応する前記ピクセルを、ステップ(C)で特定された、前記検体強度マップからの適切なビンに対応するピクセルと対応付けて、真のコンパートメントを特定するステップであって、前記生体コンパートメント候補内及び前記検体強度マップからの前記適切なビン内の各ピクセルが、解析的に関連するピクセルとして分類され、
前記適切なビンが、以下のステップ(i)〜(ii)を実行することによって得られ、
(i)以下の(i-1)及び(i-2)を交互に実行し、
(i-1) 各ピクセルを、その平均値が他のクラスタと比較してピクセル強度に最も近いクラスタに割り当て、
(i-2) クラスタに対して新しく割り当てられたピクセルを使用して、各クラス他の新しい平均値を計算し、
(ii)割当てが変更を停止することによってアルゴリズムが収束したら、各ピクセルに、適切なビンを割り当てる、
ステップと、
(E)前記第1の生体コンパートメントの染色全体を定量化するステップであって、
(E1)(D)で識別された各複合染色領域の関連する部分、
(E2)(A)で識別された前記第1の生体コンパートメントに対応する単一コンパートメント領域内の全ての関連する染色からの、染色全体を組み合わせることによる、ステップと、
を含む、システム。 - 前記データベースを格納するデータ記憶システムを更に含み、前記データベースが、複数の画像領域それぞれに関して、細胞サンプルの少なくとも二次元画像を表すデータ、少なくとも1つの染色パターンの特徴を表すデータ、染色パターンのタイプを表すデータ、及び信頼度スコアを表すデータを含み、前記データベースが、前記分類子モジュールによる前記画像分類及び信頼度スコア決定に使用される組込み済みのトレーニングデータベースである、請求項1に記載のシステム。
- 前記画像領域分類子モジュールがサポートベクターマシンを含み、前記信頼度スコアを決定するのに前記サポートベクターマシンの出力を使用する、請求項3に記載のシステム。
- それぞれの画像領域を分類する前記ステップが、それぞれの画像データサブセット及び前記データベースから得られた前記データを使用して、それぞれの画像領域から少なくとも1つの特徴を抽出するステップを含み、前記特徴が、テクスチャ特徴、生体特徴、強度特徴、勾配特徴、ガボール特徴、及び核特徴からなる群に属する、請求項4に記載のシステム。
- 前記少なくとも1つの特徴が共起特徴である、請求項5に記載のシステム。
- 前記パターン分類関数が画像チャネル抽出子(ICE)モジュールを更に含み、それぞれの画像領域を分類する前記ステップが、前記ICEモジュールを実行して前記画像の少なくともそれぞれの領域を1つ以上のコンポーネントチャネルへと分離するステップと、それぞれの画像領域の前記コンポーネントチャネル及び前記データベースから得られた前記データのいずれかを使用して、少なくとも1つの特徴をそれぞれの画像領域から抽出するステップとを含み、前記コンポーネントチャネルが、ヘマトキシリンチャネルと、前記
対象の検体と関連付けられた検出可能なラベルに対応するチャネルとから成る群に属する、請求項1から6のいずれか一項に記載のシステム。 - 前記画像領域分類子モジュールが、前記データベースのデータを使用して分類子論理を構築し、前記画像領域それぞれに関して、前記分類子論理をそれぞれの画像領域の前記画像データサブセットに適用して、それぞれの染色パターンタイプ及びそれぞれの信頼度スコアを決定する、請求項1から7のいずれか一項に記載のシステム。
- 画像チャネル抽出(ICE)関数が前記デジタル画像に適用されて、前記デジタル画像を異なる画像チャネルへと分離し、前記コンパートメント候補関数が、前記対象の検体と関連付けられる検出可能なラベルに対応する画像チャネルに適用される、請求項1から8のいずれかに記載のシステム。
- コンパートメント候補閾値化関数が適用されて、膜候補として分類されたピクセルに対するピクセル強度カットオフを選択する、請求項1から9のいずれかに記載のシステム。
- 前記第1の生体コンパートメントが膜である、請求項1から10のいずれかに記載のシステム。
- 前記コンパートメント候補関数がラプラス関数を含む、請求項11に記載のシステム。
- 前記ラプラス関数が適用される前に前記デジタル画像が平滑化される、請求項12に記載のシステム。
- 前記デジタル画像がガウス平滑化演算子によって平滑化される、請求項13に記載のシステム。
- 前記生体コンパートメント候補関数が組み合わされたラプラシアン・オブ・ガウシアン(LoG)関数である、請求項12に記載のシステム。
- 前記ビン化関数がk平均クラスタリング関数を含む、請求項1から15のいずれかに記載のシステム。
- 画像チャネル抽出関数が前記デジタル画像に適用されて、前記デジタル画像を異なる画像チャネルへと分割し、k平均クラスタリング関数が、前記検体に対応する画像チャネルに適用される、請求項16に記載のシステム。
- (A)から(C)の結果にしたがって、「and」論理演算子を各ピクセルに適用することによって、真のコンパートメントがカテゴリ化される、請求項1から17のいずれかに記載のシステム。
- 前記第1の生体コンパートメントが膜であり、検体陽性膜染色が検体陽性点状染色及び検体陽性細胞質染色と混合され、
(A)前記パターンセグメント化関数が、
(A1)組織サンプルの少なくとも二次元画像を表す画像データを受信し、前記画像データの複数のサブセットを識別する画像領域データを出力し、各画像データサブセットが前記画像の固有の空間的に連続した領域を表す、グリッド点モジュールと、
(A2)複数の前記画像領域に関して、パターン特性のデータベースに問い合わせるのにそれぞれの画像データサブセットを使用して、それぞれの画像領域を複数の染色パターンタイプの1つとして分類し、それぞれの画像領域の前記分類の信頼度を示す信頼度スコアを決定する、分類子モジュールとを含み、
(D)前記真のコンパートメント識別関数が、前記膜候補ピクセルを前記高強度及び/又は低強度ビンのピクセルと合致させることを含み、
(D1)点状染色と混合された膜染色を含む各複合染色領域内で、膜候補ピクセル及び低強度ピクセルの両方として分類された各ピクセルが関連するピクセルとして分類され、
(D2)細胞質染色と混合された膜染色を含む各複合染色領域内で、膜候補ピクセルと高強度ピクセル又は低強度ピクセルとの両方として分類された各ピクセルが関連するピクセルとして分類される、請求項1から18のいずれかに記載のシステム。 - 前記検体がEGFRリガンドである、請求項19に記載のシステム。
- 前記EGFRリガンドがプロエピレギュリン又はアンフィレギュリンである、請求項20に記載のシステム。
- 前記システムが、前記生体画像解析デバイスに、又は前記生体サンプルの前記画像をデジタル的に格納することができる非一時的コンピュータ可読記憶媒体に、動作可能にリンクされた撮像装置を更に備える、請求項1から21のいずれかに記載のシステム。
- 前記生体サンプルの前記画像をデジタル的に格納する非一時的コンピュータ可読記憶媒体を更に備える、請求項1から22のいずれかに記載のシステム。
- 生体コンパートメントの細胞サンプルの検体染色を、前記染色が解析的に別個の生体コンパートメントの検体染色と混合されるデジタル画像の領域において定量化する方法であって、
前記生体コンパートメントが、前記領域における拡散膜、細胞質、及び、点状領域を備え、
前記検体染色が、前記生体コンパートメント内の、拡散膜染色、拡散膜染色、細胞質染色、及び、点状染色を含み、
前記解析的に別個の生体コンパートメントが、細胞質及び/又は点状領域とは別個の拡散膜、拡散膜及び/又は点状領域とは別個の細胞質、並びに、拡散膜及び/又は細胞質とは別個の点状領域、を備え、
コンピュータプロセッサに、
(A)検体染色パターンに基づいて、パターン分類関数を前記デジタル画像に対して実行して前記デジタル画像を複数の別個の領域へとセグメント化する機能であって、
前記検体染色パターンが、(1)リガンド陰性非腫瘍、(2)リガンド陰性腫瘍、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍を含み、前記複数の別個の領域の少なくとも1つが、第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された少なくとも1つの領域を含み、第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された前記領域が、複合染色領域を表し、前記第1の生体コンパートメント及び前記少なくとも第2の生体コンパートメントが解析的に別個であり、
前記第1の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つを備え、
前記第2の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つであって、前記第1の生体コンパートメントとは異なるものを備え、
前記検体陽性染色が、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍、のうちのいずれか1つを含み、
前記パターン分類関数が、教師あり学習分類子を含み、
前記パターン分類関数が、更に、
組織サンプルの少なくとも二次元画像を表す画像データを受信し、前記画像データの複数のサブセットを識別する画像領域データを出力し、各画像データサブセットが前記画像の固有の空間的に連続した領域を表す、グリッド点モジュールと、
複数の前記画像領域に関して、パターン特性のデータベースに問い合わせるのにそれぞれの画像データサブセットを使用して、前記教師あり学習分類子を適用してそれぞれの画像領域を複数の染色パターンタイプの1つとして分類し、それぞれの画像領域の前記分類の信頼度を示す信頼度スコアを決定する分類子モジュールと、
を含む、
機能と、
(B)(A)とは別に、しかし、ステップ(A)における前記第1の生体コンパートメントと同一の前記第1の生体コンパートメントを用いて、コンパートメント候補セグメント化関数を前記デジタル画像に対して実行して、少なくとも前記第1の生体コンパートメントに対応する、前記デジタル画像の1つ以上のピクセルクラスタを自動的に識別する機能であって、
前記第1の生体コンパートメントが、コンパートメント候補を表し、
前記ピクセルクラスタが、他のピクセルの群と差別化される、複数のピクセルの1つの群であり、前記複数のピクセルの1つの群が、それらの強度値に基づいて、k平均クラスタリングアルゴリズムを用いて異なったクラスタにグループ化されることにより生成され、それによって、類似する強度値を持つ複数のピクセルが、単一のクラスタにグループ化され、
前記コンパートメント候補関数が、
(B1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(B2)平滑化関数を前記検体に対応する画像チャネルに対して実行して、平滑化画像を生成し、ラプラス関数を平滑化画像に対して実行して、ラプラス画像を得ること、又は組み合わされたラプラシアン・オブ・ガウシアン(LoG)関数を前記検体に対応する画像チャネルに対して実行して、LoG画像を生成することと、
(B3)閾値化関数を前記ラプラス画像又は前記LoG画像に対して実行し、前記閾値を超える各ピクセルが膜候補ピクセルとして分類されることとを含む、
機能と、
(C)(A)及び(B)とは別に、ビン化関数を前記デジタル画像に対して実行して、ピクセル強度に基づいて、前記検体に対応する前記デジタル画像上の各ピクセルを複数のビンのうち1つへとビン化する機能であって、
検体染色に対応するピクセルを、高強度ビン、低強度ビン、及び背景強度ビン、にセグメント化することによって検体強度マップが生成され、
前記ビン化関数が、
(C1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(C2)k平均クラスタリング関数を前記検体に対応する画像チャネルに対して実行して、前記検体に対応する前記画像チャネルの各ピクセルを、高強度ビン、低強度ビン、及び背景強度ビンの1つに割り当てることと、
を含み、
前記複数のビンが、高強度ビン、低強度ビン、及び背景強度ビン、を含む、
機能と、
(D)機能(D)で特定された、各複合領域内の前記生体コンパートメント候補と対応する前記ピクセルを、機能(C)で特定された、前記検体強度マップからの適切なビンに対応するピクセルと対応付けて、真のコンパートメントを特定する機能であって、前記生体コンパートメント候補内及び前記検体強度マップからの前記適切なビン内の各ピクセルが、解析的に関連するピクセルとして分類され、
前記適切なビンが、以下のステップ(i)〜(ii)を実行することによって得られ、
(i)以下の(i-1)及び(i-2)を交互に実行し、
(i-1) 各ピクセルを、その平均値が他のクラスタと比較してピクセル強度に最も近いクラスタに割り当て、
(i-2) クラスタに対して新しく割り当てられたピクセルを使用して、各クラス他の新しい平均値を計算し、
(ii)割当てが変更を停止することによってアルゴリズムが収束したら、各ピクセルに、適切なビンを割り当てる、
機能と、
(E)解析的に関連するピクセルの平均強度及び/又は平均面積を計算することによって、前記複合染色領域の検体染色を自動的に定量化する機能であって、
前記関連するピクセルの平均強度及び/又は平均面積が、前記複合染色領域内の検体染色の総量に対応する、
機能と、
を実行させるステップを含む、方法。 - 第1の生体コンパートメントの検体染色が解析的に別個の生体コンパートメントの検体染色と混合される、少なくとも1つの領域を含む、細胞サンプルの検体染色を定量化する方法であって、
前記生体コンパートメントが、前記領域における拡散膜、細胞質、及び、点状領域を備え、
前記検体染色が、前記生体コンパートメント内の、拡散膜染色、拡散膜染色、細胞質染色、及び、点状染色を含み、
前記解析的に別個の生体コンパートメントが、細胞質及び/又は点状領域とは別個の拡散膜、拡散膜及び/又は点状領域とは別個の細胞質、並びに、拡散膜及び/又は細胞質とは別個の点状領域、を備え、
コンピュータプロセッサに、
(A)検体染色パターンに基づいて、パターン分類を前記デジタル画像に対して実行して前記デジタル画像を複数の別個の領域へとセグメント化する機能であって、
前記検体染色パターンが、(1)リガンド陰性非腫瘍、(2)リガンド陰性腫瘍、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍を含み、
前記複数の別個の領域が、
(A1)第1の生体コンパートメントにおける検体陽性染色が少なくとも第2の生体コンパートメントにおける検体陽性染色と混合されていることを示すピクセルパターンを有し、第1の生体コンパートメントの検体陽性染色が少なくとも第2の生体コンパートメントの検体陽性染色と混合された前記領域が、複合染色領域を表し、前記第1の生体コンパートメント及び前記少なくとも第2の生体コンパートメントが解析的に別個である、前記デジタル画像の1つ以上の領域と、
(A2)単一の生体コンパートメントのみにおける検体陽性染色を示すピクセルパターンを有する前記画像の1つ以上の領域、即ち、単一コンパートメント領域、とを含む、機能であって、
前記第1の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つを備え、
前記第2の生体コンパートメントが、前記領域内の、拡散膜、細胞質、及び、点状領域、のうちのいずれか1つであって、前記第1の生体コンパートメントとは異なるものを備え、
前記検体陽性染色が、(3)リガンド陽性胞質腫瘍、(4)リガンド陽性点状腫瘍、(5)リガンド陽性膜腫瘍、(6)リガンド陽性膜−細胞質腫瘍、(7)リガンド陽性膜−点状腫瘍、(8)リガンド陽性細胞質−点状腫瘍、及び(9)リガンド陽性非腫瘍、のうちのいずれか1つを含み、
前記パターン分類関数が、教師あり学習分類子を含み、
前記パターン分類関数が、更に、
組織サンプルの少なくとも二次元画像を表す画像データを受信し、前記画像データの複数のサブセットを識別する画像領域データを出力し、各画像データサブセットが前記画像の固有の空間的に連続した領域を表す、グリッド点モジュールと、
複数の前記画像領域に関して、パターン特性のデータベースに問い合わせるのにそれぞれの画像データサブセットを使用して、前記教師あり学習分類子を適用してそれぞれの画像領域を複数の染色パターンタイプの1つとして分類し、それぞれの画像領域の前記分類の信頼度を示す信頼度スコアを決定する分類子モジュールと、
を含む、
機能と、
(B)(A)とは別に、しかし、機能(A)における前記第1の生体コンパートメントと同一の前記第1の生体コンパートメントを用いて、コンパートメント候補関数を前記デジタル画像に対して実行して、少なくとも前記第1の生体コンパートメント、即ち、コンパートメント候補、に対応する、前記デジタル画像の1つ以上のピクセルクラスタを自動的に識別する機能であって、
前記第1の生体コンパートメントが、コンパートメント候補を表し、
前記ピクセルクラスタが、他のピクセルの群と差別化される、複数のピクセルの1つの群であり、前記複数のピクセルの1つの群が、それらの強度値に基づいて、k平均クラスタリングアルゴリズムを用いて異なったクラスタにグループ化されることにより生成され、それによって、類似する強度値を持つ複数のピクセルが、単一のクラスタにグループ化され、
前記コンパートメント候補関数が、
(B1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(B2)平滑化関数を前記検体に対応する画像チャネルに対して実行して、平滑化画像を生成し、ラプラス関数を平滑化画像に対して実行して、ラプラス画像を得ること、又は組み合わされたラプラシアン・オブ・ガウシアン(LoG)関数を前記検体に対応する画像チャネルに対して実行して、LoG画像を生成することと、
(B3)閾値化関数を前記ラプラス画像又は前記LoG画像に対して実行し、前記閾値を超える各ピクセルが膜候補ピクセルとして分類されることとを含む、
機能と、
(C)(A)及び(B)とは別に、ビン化関数を前記デジタル画像に対して実行して、ピクセル強度に基づいて、前記検体に対応する前記デジタル画像上の各ピクセルを複数のビンのうち1つへとビン化する機能であって、検体染色に対応するピクセルを、高強度ビン、低強度ビン、及び背景強度ビン、にセグメント化することによって検体強度マップが生成され、
前記ビン化関数が、
(C1)画像チャネル抽出関数を前記デジタル画像に対して実行して、前記デジタル画像を異なる画像チャネルへと分離することと、
(C2)k平均クラスタリング関数を前記検体に対応する画像チャネルに対して実行して、前記検体に対応する前記画像チャネルの各ピクセルを、高強度ビン、低強度ビン、及び背景強度ビンの1つに割り当てることと、
を含み、
前記複数のビンが、高強度ビン、低強度ビン、及び背景強度ビン、を含む、
機能と、
(D)機能(B)で特定された、各複合領域内の前記生体コンパートメント候補と対応する前記ピクセルを、機能(C)で特定された、前記検体強度マップからの適切なビンに対応するピクセルと対応付けて、真のコンパートメントを特定する機能であって、前記生体コンパートメント候補内及び前記検体強度マップからの前記適切なビン内の各ピクセルが、解析的に関連するピクセルとして分類され、
前記適切なビンが、以下のステップ(i)〜(ii)を実行することによって得られ、
(i)以下の(i-1)及び(i-2)を交互に実行し、
(i-1) 各ピクセルを、その平均値が他のクラスタと比較してピクセル強度に最も近いクラスタに割り当て、
(i-2) クラスタに対して新しく割り当てられたピクセルを使用して、各クラス他の新しい平均値を計算し、
(ii)割当てが変更を停止することによってアルゴリズムが収束したら、各ピクセルに、適切なビンを割り当てる、
機能と、
(E)前記第1の生体コンパートメントの染色全体を定量化する機能であって、
(E1)(D)で識別された各複合染色領域の関連する部分、
(E2)(A)で識別された前記第1の生体コンパートメントに対応する単一コンパートメント領域内の全ての関連する染色からの、染色全体を組み合わせることによる、機能とを実行させるステップを含む、方法。 - 前記データベースがデータ記憶システムに格納され、前記データベースが、複数の画像領域それぞれに関して、細胞サンプルの少なくとも二次元画像を表すデータ、少なくとも1つの染色パターンの特徴を表すデータ、染色パターンのタイプを表すデータ、及び信頼度スコアを表すデータを含み、前記データベースが、前記分類子モジュールによる前記画像分類及び信頼度スコア決定に使用される組込み済みのトレーニングデータベースである、請求項24又は25に記載の方法。
- 前記分類子モジュールがサポートベクターマシンを含み、前記信頼度スコアを決定するのに前記サポートベクターマシンの出力を使用する、請求項24から26のいずれか一項に記載の方法。
- それぞれの画像領域の前記分類が、それぞれの画像データサブセット及び前記データベースから得られた前記データを使用して、それぞれの画像領域から少なくとも1つの特徴を抽出するステップを含み、前記特徴が、テクスチャ特徴、生体特徴、強度特徴、勾配特徴、ガボール特徴、及び核特徴からなる群に属する、請求項24から27のいずれか一項に記載の方法。
- 前記少なくとも1つの特徴が共起特徴である、請求項28に記載の方法。
- 前記パターン分類関数が画像チャネル抽出子(ICE)モジュールを更に含み、それぞれの画像領域の前記分類が、前記ICEモジュールを実行して前記画像の少なくともそれぞれの領域を1つ以上のコンポーネントチャネルへと分離するステップと、それぞれの画像領域の前記コンポーネントチャネル及び前記データベースから得られた前記データのいずれかを使用して、少なくとも1つの特徴をそれぞれの画像領域から抽出するステップとを含み、前記コンポーネントチャネルが、ヘマトキシリンチャネルと、前記対象の検体と関連付けられた検出可能なラベルに対応するチャネルとから成る群に属する、請求項24から29のいずれか一項に記載の方法。
- 前記画像領域分類子モジュールが、前記データベースのデータを使用して分類子論理を構築し、前記画像領域それぞれに関して、前記分類子論理をそれぞれの画像領域の前記画像データサブセットに適用して、それぞれの染色パターンタイプ及びそれぞれの信頼度スコアを決定する、請求項24から30のいずれか一項に記載の方法。
- 画像チャネル抽出(ICE)関数が前記デジタル画像に適用されて、前記デジタル画像を異なる画像チャネルへと分離し、前記生体コンパートメント候補関数が、前記対象の検体と関連付けられる検出可能なラベルに対応する画像チャネルに適用される、請求項25から31のいずれかに記載の方法。
- コンパートメント候補閾値化関数が適用されて、膜候補として分類されたピクセルに対するピクセル強度カットオフを選択する、請求項25から32のいずれかに記載の方法。
- 前記第1の生体コンパートメントが膜である、請求項25から33のいずれかに記載の方法。
- 前記コンパートメント候補関数がラプラス関数を含む、請求項34に記載の方法。
- 前記ラプラス関数が適用される前に前記デジタル画像が平滑化される、請求項35に記載の方法。
- 前記デジタル画像がガウス平滑化演算子によって平滑化される、請求項36に記載の方法。
- 前記コンパートメント候補関数が組み合わされたラプラシアン・オブ・ガウシアン(LoG)関数である、請求項35に記載の方法。
- 前記ビン化関数がk平均クラスタリング関数を含む、請求項25から38のいずれかに記載の方法。
- 画像チャネル抽出関数が前記デジタル画像に適用されて、前記デジタル画像を異なる画像チャネルへと分割し、前記k平均クラスタリング関数が、前記検体に対応する画像チャネルに適用される、請求項39に記載の方法。
- (A)から(C)の結果にしたがって、「and」論理演算子を各ピクセルに適用することによって、真のコンパートメントがカテゴリ化される、請求項25から40のいずれかに記載の方法。
- 前記第1の生体コンパートメントが膜であり、検体陽性膜染色が検体陽性点状染色及び検体陽性細胞質染色と混合され、
(A)前記パターンセグメント化関数が、
(A1)組織サンプルの少なくとも二次元画像を表す画像データを受信し、前記画像データの複数のサブセットを識別する画像領域データを出力し、各画像データサブセットが前記画像の固有の空間的に連続した領域を表す、グリッド点モジュールと、
(A2)複数の前記画像領域に関して、パターン特性のデータベースに問い合わせるのにそれぞれの画像データサブセットを使用して、それぞれの画像領域を複数の染色パターンタイプの1つとして分類し、それぞれの画像領域の前記分類の信頼度を示す信頼度スコアを決定する、分類子モジュールとを含み、
(D)前記真のコンパートメント識別関数が、前記膜候補ピクセルを前記高強度及び/又は低強度ビンのピクセルと合致させることを含み、
(D1)点状染色と混合された膜染色を含む各複合染色領域内で、膜候補ピクセル及び低強度ピクセルの両方として分類された各ピクセルが関連するピクセルとして
分類され、
(D2)細胞質染色と混合された膜染色を含む各複合染色領域内で、膜候補ピクセルと高強度ピクセル又は低強度ピクセルとの両方として分類された各ピクセルが関連するピクセルとして分類される、請求項25から41のいずれかに記載の方法。 - 前記検体がEGFRリガンドである、請求項42に記載の方法。
- 前記EGFRリガンドがプロエピレギュリン又はアンフィレギュリンである、請求項43に記載の方法。
- 請求項25から44のいずれかに記載の方法を含む動作を実施するのにプロセッサによって実施される、コンピュータ実行可能命令を格納する、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562213284P | 2015-09-02 | 2015-09-02 | |
US62/213,284 | 2015-09-02 | ||
PCT/EP2016/070621 WO2017037180A1 (en) | 2015-09-02 | 2016-09-01 | Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018529950A JP2018529950A (ja) | 2018-10-11 |
JP6725646B2 true JP6725646B2 (ja) | 2020-07-22 |
Family
ID=56958877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018511375A Active JP6725646B2 (ja) | 2015-09-02 | 2016-09-01 | 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10747986B2 (ja) |
EP (1) | EP3345122B1 (ja) |
JP (1) | JP6725646B2 (ja) |
AU (1) | AU2016313775A1 (ja) |
CA (1) | CA2994911C (ja) |
WO (1) | WO2017037180A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10533953B2 (en) * | 2016-04-04 | 2020-01-14 | Kla-Tencor Corporation | System and method for wafer inspection with a noise boundary threshold |
US10789451B2 (en) * | 2017-11-16 | 2020-09-29 | Global Life Sciences Solutions Usa Llc | System and method for single channel whole cell segmentation |
CN117038018A (zh) | 2017-12-06 | 2023-11-10 | 文塔纳医疗***公司 | 存储和检索数字病理学分析结果的方法 |
WO2019122047A1 (en) * | 2017-12-22 | 2019-06-27 | Ventana Medical Systems, Inc. | System and method for generating selective stain segmentation images for cell types of interest |
CN111492368B (zh) * | 2017-12-22 | 2024-03-05 | 文塔纳医疗***公司 | 用于基于膜特征对组织图像中的细胞进行分类的***和方法 |
CN111727371B (zh) | 2018-02-15 | 2022-11-04 | 国立大学法人新潟大学 | 超突变型癌的判别***、程序及方法 |
WO2020037255A1 (en) * | 2018-08-17 | 2020-02-20 | The Jackson Laboratory | Automatic identification and analysis of a tissue sample |
KR102636879B1 (ko) * | 2018-09-07 | 2024-02-15 | 삼성전자주식회사 | 플라즈마 센싱 장치, 이를 포함하는 플라즈마 모니토링 시스템 및 플라즈마 공정 제어 방법 |
US11508168B2 (en) | 2018-10-15 | 2022-11-22 | Upmc | Systems and methods for specimen interpretation |
CA3116543A1 (en) * | 2018-10-15 | 2020-04-23 | Upmc | Systems and methods for specimen interpretation |
EP3867868A1 (en) | 2018-10-15 | 2021-08-25 | Ventana Medical Systems, Inc. | Image enhancement to enable improved nuclei detection and segmentation |
US10839512B2 (en) * | 2018-10-26 | 2020-11-17 | Flagship Biosciences, Inc. | Method of dot detection within images of tissue samples |
US11062459B2 (en) | 2019-02-07 | 2021-07-13 | Vysioneer INC. | Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models |
US11210554B2 (en) * | 2019-03-21 | 2021-12-28 | Illumina, Inc. | Artificial intelligence-based generation of sequencing metadata |
CA3138679A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
CN110335256A (zh) * | 2019-06-18 | 2019-10-15 | 广州智睿医疗科技有限公司 | 一种病理辅助诊断方法 |
CN110967188B (zh) * | 2019-11-08 | 2020-11-24 | 珠海格力电器股份有限公司 | 基于迭代相关向量机的滚动轴承剩余寿命预测方法、*** |
US11429812B2 (en) * | 2020-01-03 | 2022-08-30 | Mayachitra, Inc. | Detecting digital image manipulations |
CN113256717B (zh) * | 2021-05-08 | 2022-01-21 | 华南师范大学 | 一种细胞涂片辅助分析方法和*** |
WO2024049192A1 (ko) * | 2022-08-30 | 2024-03-07 | 한국과학기술원 | 인공 신경망 모델을 이용하여 이미지를 처리하는 장치 및 방법 |
WO2024136593A1 (ko) * | 2022-12-23 | 2024-06-27 | 한국과학기술원 | 신호 분리 알고리즘을 이용하여 자발형광 및 항체의 교차 반응성을 제거하기 위한 이미지 처리 방법 및 시스템 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030165263A1 (en) * | 2002-02-19 | 2003-09-04 | Hamer Michael J. | Histological assessment |
US20050136509A1 (en) * | 2003-09-10 | 2005-06-23 | Bioimagene, Inc. | Method and system for quantitatively analyzing biological samples |
JP4527388B2 (ja) * | 2003-12-11 | 2010-08-18 | 東洋鋼鈑株式会社 | ポリペプチドとレセプターとの相互作用を検出する方法、該検出する方法を用いてリガンドまたはリガンド変異体をスクリーニングする方法および該検出する方法を用いる診断方法 |
US20060154236A1 (en) * | 2004-11-11 | 2006-07-13 | Altschuler Steven J | Computer-assisted analysis |
US8189884B2 (en) * | 2008-03-26 | 2012-05-29 | General Electric Company | Methods for assessing molecular expression of subcellular molecules |
EP2327040B1 (en) * | 2008-08-15 | 2013-12-18 | Visiopharm A/s | A method and a system for determining a target in a biological sample by image analysis |
ES2573945T3 (es) * | 2008-09-16 | 2016-06-13 | Novartis Ag | Cuantificación reproducible de expresión de biomarcadores |
US8213700B2 (en) * | 2009-03-31 | 2012-07-03 | Icad, Inc. | Systems and methods for identifying suspicious anomalies using information from a plurality of images of an anatomical colon under study |
ES2711196T3 (es) * | 2010-07-30 | 2019-04-30 | Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud | Sistemas y procedimientos para la segmentación y el procesamiento de imágenes de tejidos y extracción de características de estos para tratar, diagnosticar o predecir afecciones médicas |
CA2835686C (en) * | 2011-05-12 | 2019-10-01 | Florin V. Chirila | Peripheral diagnostic methods for screening alzheimer's disease using beta amyloid and intercellular communication |
US20130331293A1 (en) * | 2011-12-16 | 2013-12-12 | Rutgers, The State University Of New Jersey | Automated high-content image analysis system and methods and uses thereof |
EP2864794A4 (en) * | 2012-06-20 | 2016-03-02 | Merrimack Pharmaceuticals Inc | QUANTIFICATION OF MARKER IN CELLS ISOLATED IN TISSUE SECTIONS |
US9858469B2 (en) * | 2013-12-30 | 2018-01-02 | Ge Healthcare Bio-Sciences Corp. | Modular image analysis system and method |
WO2015113895A1 (en) | 2014-01-28 | 2015-08-06 | Ventana Medical Systems, Inc. | Adaptive classification for whole slide tissue segmentation |
CA2935473C (en) * | 2014-02-21 | 2022-10-11 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
-
2016
- 2016-09-01 CA CA2994911A patent/CA2994911C/en active Active
- 2016-09-01 AU AU2016313775A patent/AU2016313775A1/en not_active Abandoned
- 2016-09-01 JP JP2018511375A patent/JP6725646B2/ja active Active
- 2016-09-01 WO PCT/EP2016/070621 patent/WO2017037180A1/en unknown
- 2016-09-01 EP EP16767160.1A patent/EP3345122B1/en active Active
-
2018
- 2018-03-02 US US15/911,035 patent/US10747986B2/en active Active
-
2020
- 2020-07-08 US US16/924,084 patent/US11361561B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10747986B2 (en) | 2020-08-18 |
CA2994911C (en) | 2022-07-05 |
WO2017037180A1 (en) | 2017-03-09 |
US20200349340A1 (en) | 2020-11-05 |
US20180204048A1 (en) | 2018-07-19 |
EP3345122B1 (en) | 2021-06-30 |
JP2018529950A (ja) | 2018-10-11 |
US11361561B2 (en) | 2022-06-14 |
CA2994911A1 (en) | 2017-03-09 |
EP3345122A1 (en) | 2018-07-11 |
AU2016313775A1 (en) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6725646B2 (ja) | 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析 | |
JP7197584B2 (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
JP2021506022A (ja) | 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法 | |
US11210782B2 (en) | System and method for generating selective stain segmentation images for cell types of interest | |
CN111095352B (zh) | 用于检测被染色样本图像中的细胞的自动化方法和*** | |
US11959848B2 (en) | Method of storing and retrieving digital pathology analysis results | |
JP2023512560A (ja) | 機械学習アルゴリズムを訓練し、患者のプライバシーを維持するための連合学習システム | |
US11302107B2 (en) | System and method for classifying cells in tissue images based on membrane features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6725646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |