KR20220152557A - 포유류 트랜스퍼 러닝을 위한 시스템 및 방법 - Google Patents
포유류 트랜스퍼 러닝을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220152557A KR20220152557A KR1020227034759A KR20227034759A KR20220152557A KR 20220152557 A KR20220152557 A KR 20220152557A KR 1020227034759 A KR1020227034759 A KR 1020227034759A KR 20227034759 A KR20227034759 A KR 20227034759A KR 20220152557 A KR20220152557 A KR 20220152557A
- Authority
- KR
- South Korea
- Prior art keywords
- medical
- data
- species
- processor
- image
- Prior art date
Links
- 238000013526 transfer learning Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 117
- 238000012549 training Methods 0.000 claims abstract description 84
- 241000894007 species Species 0.000 claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims description 56
- 238000010200 validation analysis Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 11
- 241000282412 Homo Species 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims 6
- 238000003703 image analysis method Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 210000005228 liver tissue Anatomy 0.000 abstract 1
- 241001465754 Metazoa Species 0.000 description 76
- 230000011218 segmentation Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 238000005070 sampling Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 201000011510 cancer Diseases 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000033558 biomineral tissue development Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 208000014018 liver neoplasm Diseases 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 201000007270 liver cancer Diseases 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 206010000060 Abdominal distension Diseases 0.000 description 4
- 206010009944 Colon cancer Diseases 0.000 description 4
- 206010058314 Dysplasia Diseases 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 4
- 208000008839 Kidney Neoplasms Diseases 0.000 description 4
- 206010027727 Mitral valve incompetence Diseases 0.000 description 4
- 208000028389 Nerve injury Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003412 degenerative effect Effects 0.000 description 4
- 210000000416 exudates and transudate Anatomy 0.000 description 4
- 230000002496 gastric effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000968 intestinal effect Effects 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 4
- 230000001404 mediated effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008764 nerve damage Effects 0.000 description 4
- 206010038389 Renal cancer Diseases 0.000 description 3
- 241000282887 Suidae Species 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 201000010982 kidney cancer Diseases 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 206010000077 Abdominal mass Diseases 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 208000025494 Aortic disease Diseases 0.000 description 2
- 206010058178 Aortic occlusion Diseases 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 2
- 208000023665 Barrett oesophagus Diseases 0.000 description 2
- 206010004146 Basal cell carcinoma Diseases 0.000 description 2
- 206010005003 Bladder cancer Diseases 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 2
- 206010061728 Bone lesion Diseases 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 2
- 208000006029 Cardiomegaly Diseases 0.000 description 2
- 208000031229 Cardiomyopathies Diseases 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 206010010254 Concussion Diseases 0.000 description 2
- 208000002330 Congenital Heart Defects Diseases 0.000 description 2
- 206010056370 Congestive cardiomyopathy Diseases 0.000 description 2
- 206010010719 Conjunctival haemorrhage Diseases 0.000 description 2
- 206010010741 Conjunctivitis Diseases 0.000 description 2
- 206010051055 Deep vein thrombosis Diseases 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 201000010046 Dilated cardiomyopathy Diseases 0.000 description 2
- 208000003917 Dirofilariasis Diseases 0.000 description 2
- 208000023281 Fallot tetralogy Diseases 0.000 description 2
- 206010053717 Fibrous histiocytoma Diseases 0.000 description 2
- 206010017076 Fracture Diseases 0.000 description 2
- 208000001762 Gastric Dilatation Diseases 0.000 description 2
- 206010052541 Gastric volvulus Diseases 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 2
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 206010019842 Hepatomegaly Diseases 0.000 description 2
- 206010020649 Hyperkeratosis Diseases 0.000 description 2
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 description 2
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 2
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 2
- 201000002287 Keratoconus Diseases 0.000 description 2
- 208000001126 Keratosis Diseases 0.000 description 2
- 206010023435 Kidney small Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 206010025323 Lymphomas Diseases 0.000 description 2
- 208000001826 Marfan syndrome Diseases 0.000 description 2
- 206010027145 Melanocytic naevus Diseases 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 206010028570 Myelopathy Diseases 0.000 description 2
- 206010029260 Neuroblastoma Diseases 0.000 description 2
- 208000022873 Ocular disease Diseases 0.000 description 2
- 206010030137 Oesophageal adenocarcinoma Diseases 0.000 description 2
- 206010033128 Ovarian cancer Diseases 0.000 description 2
- 206010061535 Ovarian neoplasm Diseases 0.000 description 2
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 2
- 208000009077 Pigmented Nevus Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 2
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 2
- 206010051482 Prostatomegaly Diseases 0.000 description 2
- 208000010378 Pulmonary Embolism Diseases 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 208000027790 Rib fracture Diseases 0.000 description 2
- 206010041591 Spinal osteoarthritis Diseases 0.000 description 2
- 206010041660 Splenomegaly Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 208000008886 Stomach Volvulus Diseases 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 2
- 201000003005 Tetralogy of Fallot Diseases 0.000 description 2
- 208000024770 Thyroid neoplasm Diseases 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 208000006568 Urinary Bladder Calculi Diseases 0.000 description 2
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 2
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 2
- 206010047249 Venous thrombosis Diseases 0.000 description 2
- 208000001910 Ventricular Heart Septal Defects Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 208000009621 actinic keratosis Diseases 0.000 description 2
- 208000009956 adenocarcinoma Diseases 0.000 description 2
- 201000005188 adrenal gland cancer Diseases 0.000 description 2
- 208000024447 adrenal gland neoplasm Diseases 0.000 description 2
- 208000007502 anemia Diseases 0.000 description 2
- 206010002906 aortic stenosis Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006793 arrhythmia Effects 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000002763 arrhythmic effect Effects 0.000 description 2
- 210000003567 ascitic fluid Anatomy 0.000 description 2
- 208000013914 atrial heart septal defect Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 208000001119 benign fibrous histiocytoma Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000005889 cellular cytotoxicity Effects 0.000 description 2
- 201000010881 cervical cancer Diseases 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 230000000112 colonic effect Effects 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000009514 concussion Effects 0.000 description 2
- 208000028831 congenital heart disease Diseases 0.000 description 2
- 208000029078 coronary artery disease Diseases 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 201000010305 cutaneous fibrous histiocytoma Diseases 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000001727 diffuse idiopathic skeletal hyperostosis Diseases 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 208000028653 esophageal adenocarcinoma Diseases 0.000 description 2
- 201000007550 esophagus adenocarcinoma Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000000762 glandular Effects 0.000 description 2
- 208000025339 heart septal defect Diseases 0.000 description 2
- 208000007475 hemolytic anemia Diseases 0.000 description 2
- 230000002440 hepatic effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000265 leukocyte Anatomy 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 210000002751 lymph Anatomy 0.000 description 2
- 210000004698 lymphocyte Anatomy 0.000 description 2
- 210000002540 macrophage Anatomy 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 208000027061 mild cognitive impairment Diseases 0.000 description 2
- 230000002438 mitochondrial effect Effects 0.000 description 2
- 210000004115 mitral valve Anatomy 0.000 description 2
- 208000006887 mitral valve stenosis Diseases 0.000 description 2
- 201000006417 multiple sclerosis Diseases 0.000 description 2
- 210000000440 neutrophil Anatomy 0.000 description 2
- 201000008482 osteoarthritis Diseases 0.000 description 2
- 201000002528 pancreatic cancer Diseases 0.000 description 2
- 208000008443 pancreatic carcinoma Diseases 0.000 description 2
- 208000003278 patent ductus arteriosus Diseases 0.000 description 2
- 210000004910 pleural fluid Anatomy 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 208000009138 pulmonary valve stenosis Diseases 0.000 description 2
- 208000030390 pulmonic stenosis Diseases 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 206010039722 scoliosis Diseases 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 206010041569 spinal fracture Diseases 0.000 description 2
- 208000005801 spondylosis Diseases 0.000 description 2
- 206010041823 squamous cell carcinoma Diseases 0.000 description 2
- 230000036262 stenosis Effects 0.000 description 2
- 208000037804 stenosis Diseases 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 206010043554 thrombocytopenia Diseases 0.000 description 2
- 201000002510 thyroid cancer Diseases 0.000 description 2
- 230000009529 traumatic brain injury Effects 0.000 description 2
- 210000000591 tricuspid valve Anatomy 0.000 description 2
- 201000005112 urinary bladder cancer Diseases 0.000 description 2
- 231100000216 vascular lesion Toxicity 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 201000003130 ventricular septal defect Diseases 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000001557 animal structure Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000021550 spleen neoplasm Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06N3/0445—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Pathology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Compounds Of Unknown Constitution (AREA)
- Polysaccharides And Polysaccharide Derivatives (AREA)
- Medicines Containing Material From Animals Or Micro-Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
뉴럴 네트워크는, 2D, 3D 및 4D 이미지와 모델을 포함하는 의학적 이미지 데이터를 분석하기 위해 트랜스퍼 러닝을 사용하여 트레이닝된다. 타겟 의학적 이미지 데이터가 트레이닝을 위해 가용한 레이블링된 데이터가 충분하지 않은 종 또는 문제 클래스와 연관된 경우, 시스템은 다른 종으로부터의 레이블링된 데이터 및/또는 상이한 문제 클래스로부터 레이블링된 데이터를 선택함으로써 보강된 트레이닝 데이터 세트를 생성할 수 있다. 트레이닝 및 분석 중, 이미지 데이터는 이상 상태 및 다른 특징 클래스를 분류하기에는 충분히 크지만 데이터 예시의 종을 난독화하기에 충분히 작은 부분으로 청크될 수 있다(예를 들어, 이미지 부분은 인간 또는 개인지 결정할 수 없을 정도로 충분히 작지만 비정상적인 간 조직은 아직 식별 가능함). 이후 클라우드 플랫폼 또는 다른 어플리케이션을 통해 자동화된 분석 및 히트맵핑을 제공하도록 트레이닝된 체크포인트가 사용될 수 있다.
Description
본 발명은 2020년 3월 10일에 출원된 미국 비정규출원 제62/987,411호, "포유류 트랜스퍼 러닝의 시스템 및 방법"에 대한 정규출원이며, 이는 본원에 참조로서 포함된다.
3D 이미지 분류 또는 세그멘테이션(segmentation)과 연관된 머신 러닝 문제는, 문제 공간의 적절한 통계적 샘플을 가지고 주어진 작업을 정확하게 수행할 수 있는 뉴럴 네트워크(neural network)를 생성하기 위해, 많은 양의 고품질의 다양한 레이블링된 데이터를 자주 활용한다. 이 문제는, 복잡한 문제를 위해 전문가-레이블링된 데이터를 제공하기 위한 고유한 어려움에 따라, 인간 및 수의학 어플리케이션 양쪽 모두의 의학적 이미징 공간의 부분에서 악화된다. 일부 데이터는 기초적인 인간 어플리케이션을 위해 적절하게 레이블링된 형태(예를들어, 방사선 과학에 대함)로 사용될 수 있지만, 다른 문제(예를 들어, 조직병리학)에서는 동물(예를 들어, 조직병리학의 예시에서는 돼지임)을 위한 더 포괄적인 데이터 세트가 존재한다. 충분한 레이블링된 데이터가 부족한 인간 의학 또는 수의학 어플리케이션에 대해 머신 러닝 기술의 적용성을 넓히기 위해서는, 트랜스퍼 러닝을 위한 개선된 시스템 및 방법이 필요하다.
본 발명의 목적은, 충분한 레이블링된 데이터가 부족한 인간 의학 또는 수의학 어플리케이션에 대해 머신 러닝 기술의 적용성을 넓히기 위해서, 트랜스퍼 러닝을 위한 개선된 시스템 및 방법을 제공하는 것이다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 포유류 트랜스퍼 러닝(transfer learning)을 사용한 의학적 이미지 분석을 위한 뉴럴 네트워크를 트레이닝하기 위한 방법에 있어서, (a) 프로세서가, 하나 이상의 비교 데이터 세트(dataset)(상기 하나 이상의 비교 데이터 세트 각각은 종에 관련되는 레이블링된 이미지 데이터를 포함함)을 수신하는 단계; (b) 상기 프로세서가, 상기 하나 이상의 비교 데이터 세트를 기반으로 하여 혼합된 도메인 데이터 세트를 생성하는 단계; (c) 상기 혼합된 도메인 데이터 세트의 다수의 이미지 각각에 대해: (i) 상기 프로세서가, 상기 이미지 내의 다수의 청크(chunk)(상기 다수의 청크 각각의 크기는 상기 이미지의 소스(source)의 종을 난독화(obfuscate)하기 위해 선택됨)를 정의하는 단계; (ii) 상기 프로세서가, 상기 이미지의 상기 다수의 청크 및 관련된 임의의 레이블을 혼합된 도메인 트레이닝 데이터 세트에 더하는 단계; (d) 상기 프로세서가, 상기 뉴럴 네트워크(neural network)와 함께, (i) 상기 혼합된 도메인 트레이닝 세트 및 상기 관련된 레이블을 기반으로 하여 타겟 종으로부터 케이스 스터디(case study)의 의학적 특징을 식별(상기 하나 이상의 비교 데이터 세트의 상기 하나 이상의 종은 상기 타겟 종과 다른 적어도 하나의 종을 포함함)하도록 상기 뉴럴 네트워크를 트레이닝시키는 단계; (ii) 상기 혼합된 도메인 데이터 세트로부터 선택된 검증 데이터 세트를 기반으로 하여 상기 트레이닝된 뉴럴 네트워크를 검증하는 단계; (e) 상기 프로세서가, 상기 트레이닝되고 검증된 뉴럴 네트워크를 기반으로 체크포인트(checkpoint)를 생성하는 단계;를 포함하는 방법이 개시된다.
본 발명은, 충분한 레이블링된 데이터가 부족한 인간 의학 또는 수의학 어플리케이션에 대해 머신 러닝 기술의 적용성을 넓히기 위해서, 트랜스퍼 러닝을 위한 개선된 시스템 및 방법을 제공하는 효과가 있다.
본 발명은 하기 도면과 함께 설명된 일부 실시예의 상세한 설명으로부터 보다 용이하게 이해될 것이다.
도 1은 포유류 트랜스퍼 러닝(transfer learning)을 위해 구성된 예시적인 시스템의 개략도를 도시한다.
도 2는 포유류 트랜스퍼 러닝 프로세스의 제1 세션 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 3은 포유류 트랜스퍼 러닝 프로세스의 선택적인 제2 세션 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 4는 트레이닝 데이터의 가능한 조합을 나타내는 개략도를 도시한다.
도 5는 트레이닝 및 검증 프로세스 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 6은 테스팅 및 어플리케이션 프로세스 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 7은 의학적 이미지 데이터를 표시하기 위한 예시적인 인터페이스의 스크린샷을 타겟 이상 상태의 히트맵 식별과 함께 도시한다.
도 8은 의학적 이미지 데이터를 표시하기 위한 다른 예시적인 인터페이스의 스크린샷을 타겟 이상 상태의 히트맵 식별과 함께 도시한다.
도 1은 포유류 트랜스퍼 러닝(transfer learning)을 위해 구성된 예시적인 시스템의 개략도를 도시한다.
도 2는 포유류 트랜스퍼 러닝 프로세스의 제1 세션 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 3은 포유류 트랜스퍼 러닝 프로세스의 선택적인 제2 세션 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 4는 트레이닝 데이터의 가능한 조합을 나타내는 개략도를 도시한다.
도 5는 트레이닝 및 검증 프로세스 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 6은 테스팅 및 어플리케이션 프로세스 동안 수행될 수 있는 단계의 예시적인 세트의 흐름도를 도시한다.
도 7은 의학적 이미지 데이터를 표시하기 위한 예시적인 인터페이스의 스크린샷을 타겟 이상 상태의 히트맵 식별과 함께 도시한다.
도 8은 의학적 이미지 데이터를 표시하기 위한 다른 예시적인 인터페이스의 스크린샷을 타겟 이상 상태의 히트맵 식별과 함께 도시한다.
본 발명의 다양한 비제한적인 실시예들은 본 명세서에 개시된 바와 같은 시스템 및 방법의 구조, 기능 및 사용의 원리에 대한 전체적인 이해를 제공하기 위해 설명될 것이다. 이러한 비제한적인 실시예들의 하나 이상의 예시는 첨부된 도면에 나타나 있다. 당업자는 본 명세서에 기재되고 첨부된 도면에 나타난 시스템 및 방법이 비제한적인 실시예임을 이해할 것이다. 하나의 비제한적인 실시예와 연관되어 도시되거나 설명되는 특징은 다른 비제한적인 실시예의 특징과 조합될 수 있다. 이러한 수정 및 변형은 본 발명의 범위에 포함되도록 의도된다.
본 명세서 전체에서 "다양한 실시예", "일부 실시예," "하나의 실시예," "일부 예시적인 실시예," "하나의 예시적인 실시예," 또는 "실시예"에 대한 지칭은, 임의의 실시예와 연관되어 설명된 특정한 특징, 구조, 또는 특성이 적어도 하나의 실시예에 포함됨을 뜻한다. 따라서, 본 명세서 전체에 걸친 "다양한 실시예에서," "일부 실시예에서," "하나의 실시예에서," "일부 예시적인 실시예에서," "하나의 예시적인 실시예에서," 또는 "하나의 실시예에서"와 같은 문구의 등장은, 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정한 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 조합될 수 있다.
본 발명의 전체에 걸쳐, 구성요소 또는 모듈에 대한 지칭은 일반적으로 관련된 기능의 그룹 또는 기능을 수행하기 위해 논리적으로 그룹화될 수 있는 항목들을 의미한다. 유사한 참조 부호는 일반적으로 동일하거나 유사한 구성요소를 지칭하기 위한 것이다. 구성요소 및 모듈은 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 소프트웨어라는 용어는, 실행 가능한 코드 뿐만 아니라 데이터 구조, 데이터 저장소 및 임의의 전자적 포맷, 펌웨어 및 임베디드 소프트웨어의 컴퓨팅 인스트럭션을 포함하도록 광범위하게 사용된다. 정보 및 데이터라는 용어는, 머신-익시큐터블(machine-executable) 또는 머신-인터프리터블(interpretable) 인스트럭션; 특히 텍스트, 비디오 데이터 및 오디오 데이터와 같은 콘텐츠; 및 다양한 코드 또는 플래그를 포함하나 이에 제한되지 않는 넓은 범위의 전자적 정보를 포함하도록 광범위하게 사용된다. 정보, 데이터 및 콘텐츠라는 용어는 문맥에 의해 허용될 때 상호 교환적으로 사용되기도 한다.
본 명세서에서 논의된 예시는, 본 명세서에서 설명된 시스템 및 방법의 설명을 돕기 위해 제공된 예시일 뿐이다. 특별히 의무 사항으로 지정되지 않는 한, 도면에 도시되거나 아래에서 논의된 어떠한 특징 또는 구성요소도 이러한 시스템 및 방법의 임의의 실시예에 대한 의무 사항으로 간주되어서는 안된다. 판독의 용이성과 명확성을 위해, 특정 구성요소, 모듈 또는 방법은 특정 도면에 연관되어 단독으로 설명될 수 있다. 구성요소의 조합 또는 하위 조합을 구체적으로 설명하지 못한 어떠한 경우에도 임의의 조합 또는 하위 조합이 불가능하다는 표시로 이해되어서는 안 된다. 또한, 기술된 어느 방법에 대해서도, 방법이 흐름도와 함께 기술되었는지 여부와 무관하게, 문맥에 의해 명시되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 명시적 또는 암묵적 순서는 이러한 단계들이 제시된 순서대로 수행되어야 한다는 것을 의미하지 않으며 대신 다른 순서 또는 병렬로 수행될 수 있는 것으로 이해되어야 한다.
기술된 것과 같이, 높은 정확도를 가지고 작업을 수행할 수 있는 뉴럴 네트워크를 트레이닝 시킬 수 있도록, 데이터의 일부량이 상이한 동물 또는 문제로부터 오는 상이한 데이터 세트를 조합하는 포유류 트랜스퍼 러닝을 위한 시스템 및 방법이 필요하다. 포괄적으로 레이블링된, 작업-특정 데이터 세트의 가용성은, 전통적으로 인공 지능(예를 들어, 인공 뉴럴 네트워크)이 이러한 데이터 세트 또는 동일한 유형의 데이터의 새로운 인스턴스(예를 들어, 생물학적 신체에 대한 MRI 스캔 내에서 건강한 조직과 암 또는 비정상적인 성장 사이의 차이 표시) 내의 특정된 특징을 인식하고 감지하도록 트레이닝 시키는 능력을 위해 필요하다. '고품질' 트레이닝 입력을 제공하는 데에는 다수의 요인이 평가되고, 이러한 입력을 사용하여 트레이닝된 인공 지능(AI)이 의학적 스캔 내의 위치 레이블에 의해 특정된 원하는 이상 상태에 대한 AI의 평가의 특정성 및 정확성과 함께 하이라이트 이상 상태를 위한 솔루션을 출력하도록 한다. AI의 이점은, 인간 예측자의 인식 범위 미만의 이상 상태를 동적으로 감지하는 동시에, 피로, 과포화 망막 또는 인간이 접하지 못한 케이스에 대한 불충분한 지식 등 인간에게 공통되는 제한 요소 없이, 동시에 인간보다 빠른 속도로 작동하는 능력에 있다. 그러나, 기존의 접근 방식에서, AI를 사용할 때에 이러한 개선된 성능을 위해서는, AI 시스템을 효율적으로 트레이닝시키기 위해 대량의 데이터가 요구되었다. 필요한 데이터 세트의 크기는, 일반적으로 수백만 개까지 확장되지 않는 경우, 수만 또는 수십만 개의 데이터 포인트 정도이다.
레이블링된 데이터는, 최초 이미지 또는 정보(예를 들어, CT 스캔, MRI, X선, 초음파, fMRI, 다중-형태 2D, 다중-형태 3D, 다중-형태 4D)에 추가되고 최초 정보로부터 분리되어 저장된 데이터를 지칭할 수 있다. 레이블링된 데이터는, .dicom, .dcm, .nii, .nifti, .mhd, .h, .jpg, .mpeg와 같은 디지털 파일 포맷 또는 3D 또는 2D 데이터를 포함하지만 이에 제한되지 않는 다중-차원 데이터의 모든 조합으로 저장될 수 있다. 레이블은, 레이블의 픽셀/복셀(voxel) 내에 포함된 값과 함께 초기 데이터의 형식 및 공간 방향에 대응될 수 있다. 레이블 포맷은, 데이터가 원래 값-유형으로부터 다른 값-유형 또는 복셀 정의된 클래스(예를 들어, 클래스 0 = 배경, 클래스 1 = 장기, 클래스 2 = 암)로 재정의되는 파일 유형의 변경을 겪을 수 있다. 복셀 정의된 클래스 값은, 레이블 파일에서 설정된 단위 또는 분류 유형의 수에 제한되지 않으며 사용자가 지정한 다수의 데이터 분류에 동적으로 할당, 정렬 및 배포될 수 있다. 일 예시로, 레이블은 이미지 데이터의 세트에 대응되는 메타 데이터의 세트일 수 있으며, 이러한 대응은 이미지 데이터 내에는 명확히 존재하지 않는 일부 특징의 픽셀 당 또는 복셀 당 연관성으로 표현된다.
레이블링된 데이터는 다수의 머신, 방법 및 대상으로부터 소싱(sourced)될 수 있다. 레이블 특질은 종, 레이블의 유형, 레이블 클래스 옵션 또는 값을 포함할 수 있으나 이에 제한되는 것은 아니다. 데이터의 조각 각각은 단일 대상 종으로부터 소싱된다. 레이블 유형은 분류, 바운딩 박스 리그레션(bounding box regression) 및 세그멘테이션(segmentation)이 포함될 수 있으나 이에 제한되는 것은 아니다. 분류 레이블 값은 범주형 값(categorical value)이고, 바운딩 박스 리그레션 레이블 값은 입력 데이터 내에서 객체의 위치를 나타내는 좌표 중앙 및 박스 치수이며, 세그멘테이션은 예를 들어 각각의 복셀에 대한 범주형 값이 있는 바이너리 히트맵(binary heatmap) 또는 히트맵이다. 본 기술의 범위 내에서 레이블링된 입력은 '인간', '동물' 및 '대체 동물'로 지칭될 데이터의 대상에 초점을 맞출 것이며, 대체 동물은 트레이닝 데이터에 입력하기 위해 이전과 상이한 다른 동물 종(예를 들어, 개, 돼지, 말, 고양이 및 설치류)을 가리키고, '종'은 포유류 세트 내의 임의의 단일 동물을 지칭할 수 있다. 레이블 클래스 옵션 및 값은 특정 조직, 장기, 기관 및 이상 상태를 포함할 수 있으나 이에 제한되는 것은 아니다.
포괄적으로 레이블링된 인간 의학적 데이터 세트(CT, MRI, X-선, 초음파 및 조직병리학 같은 형태를 포함하나 이에 제한되지는 않음)는, 레이블링된 동물 데이터가 상대적으로 부족하기 때문에, 유사한 형태의 레이블링된 동물-기반 수의학 데이터보다 더 많은 양을 사용할 수 있다. 충분히 레이블링된 데이터의 상대적인 희소성은, 고려된 문제 또는 형태에 따라 풍부한 동물 소싱된 데이터로부터 인간 소싱된 데이터로 변환할 때에도 존재한다. 예를 들어, 인간보다 동물 대상(주로 돼지)에 대한 레이블링된 조직병리학 데이터가 정량적으로 더 많이 존재한다. 의학적 및 수의학적 이미지 분석 문제 공간 내에서 고품질 레이블링된 데이터의 양 불일치를 해결하기 위해, 본 발명에 따르면, 특정 종의 레이블링된 데이터를 사용하여 AI가 대체 종에서 완전히 또는 부분적으로 보완된 이상 상태를 감지하도록 트레이닝시킬 수 있다(예를 들어, 개의 이상 상태를 감지하는 데 도움이 되는 레이블링된 인간 데이터를 추가함). 이러한 보완을 용이하게 하기 위해, 형태와 범주형 레이블은 트레이닝, 검증 및 테스팅의 모든 세션에서 선택된 모든 세트에 걸쳐 보존될 수 있다.
개시된 기술의 일부 실시예는, 예를 들어, 의료 전문가, 환자, 보험 회사 또는 방사선 스캔의 분석을 원하는 다른 당사자에 의해 액세스될 수 있는 클라우드 기반 플랫폼을 포함할 수 있다. 도 1은 사용자 단말(12)이 네트워크(14)(예를 들어, LAN, WAN 또는 기타 통신 네트워크)를 통해 액세스할 수 있는 인공지능 기반 케이스 스터디 분석 컴퓨팅 시스템(10)이 개략적으로 도시되어 있으나, 개시된 기술은 독립적으로 로컬로 실행되는 소프트웨어 어플리케이션으로도 구현될 수 있음이 이해되어야 한다. 컴퓨팅 시스템(10)은 하나 이상의 서버(예를 들어, 물리적 서버, 가상 서버, 클라우드 서버 또는 다른 컴퓨팅 환경)를 포함할 수 있으며, 각각의 서버는 프로세서, 메모리, 저장 장치, 통신 장치, 그래픽 프로세서 및 데이터의 전송, 조작 및 분석에 일반적으로 사용되는 기타 구성요소를 포함할 수 있다. 사용자 단말(12)은 예를 들어 컴퓨터, 노트북, 스마트폰, 태블릿, 병원 정보 시스템, 의학적 영상 장치(예를 들어, MRI 머신 또는 다른 디지털 이미저) 또는 컴퓨팅 시스템(10)과 통신할 수 있는 다른 장치일 수 있다.
인공지능 기반 케이스 스터디 분석 컴퓨팅 시스템은, 인간 전용 데이터 또는 인간과 동물 데이터의 조합과 같은 레이블링된 포유류 데이터에 대해 트레이닝될 수 있다. 이러한 예에서, 원격 사용자(12)는, 예를 들어, 진단에 도움이 되는 동물 장기의 스캔의 분석을 원하는 수의사의 정보 시스템일 수 있다.
도시된 바와 같이, 원격 사용자(12)는 환자 검사 및 하나 이상의 장기 스캔과 같은 디지털 진단의 수집으로 프로세스를 시작할 수 있다. 사용자는 검사 대상 동물의 케이스 스터디를 구성하고, 케이스 스터디를 인공지능 기반 케이스 스터디 분석 컴퓨팅 시스템에 업로드할 수 있다. 업로드된 케이스 스터디의 내용은 다양할 수 있지만, 케이스 스터디는 수의사의 영상 장비에 의해 수집된 동물의 특정 장기에 대한 하나 이상의 스캔을 포함할 수 있다. 이러한 업로드는 예를 들어, 온라인 웹 기반 포털, 소프트웨어 애플리케이션 인터페이스 또는 다른 통신 채널과 같은 임의의 적절한 데이터 전송 기술을 통해 발생될 수 있다.
원격 사용자로부터 케이스 스터디를 받은 후, 인공지능 기반 케이스 스터디 분석 컴퓨팅 시스템은 이의 이미징 모델을 기반으로 케이스 스터디 분석을 수행하고 이 분석을 케이스 스터디에 추가할 수 있다. 프로세싱의 분석은 임의의 적절한 수의 접근 방식을 사용하여 케이스 스터디에 추가될 수 있다. 일 실시예에서, 예를 들어, 인공지능 기반 케이스 스터디 분석 컴퓨팅 시스템은 잠재적으로 문제가 있는 영역을 시각적으로 나타내기 위해 색상-코드화된 히트 맵(heat map)으로 케이스 스터디를 증강한다. 이후 분석을 포함한 케이스 스터디는 다운로드되거나, 원격 사용자에게 전송 또는 제공될 수 있다. 원격 사용자는 인공지능 기반 사례 연구 분석 컴퓨팅 시스템에 의해 제공된 케이스 스터디 분석을 기반으로 적절한 다음 단계를 수행할 수 있다.
다양한 실시예에서, 시스템 및 방법은 과거의 케이스 스터디를 분석하여 이상 상태의 발견에 대한 기준점을 형성하고, 그러한 발견들에 대해 보고할 수 있는 소프트웨어 플랫폼 또는 애플리케이션으로 제공될 수 있다. 따라서, 최종 발견을 기설정된 특정 파라미터 내에 시각적으로 존재하는 특정 질병에 대해 제한하지 않고 케이스의 더 진단적으로 완벽한 시각적 분석을 제공할 수 있다.
레이블링된 데이터는, 도 2에 도시된 프로세스를 통해 시스템에 진입하며, 도 2는 본 발명에 따른 트랜스퍼 러닝을 위한 트레이닝, 검증 및 테스트 세션 모두에 대한 예시적인 프로세스 흐름을 개략적으로 나타낸다. 도시된 바와 같이, 본 발명에 따른 프로세스 흐름은, 원하는 수준의 정확도, 자원의 가용성 및/또는 다른 작동 파라미터에 따라 변할 수 있는 다양한 수준의 조정 및 테스팅을 가질 수 있다. 다양한 실시예에 따르면, 비제한적 사용 케이스의 예시인 도 2 및 도 3에 도시된 프로세스 흐름 중 하나 이상을 사용하여 기술하여 본 명세서에 설명된 시스템 및 방법은, 일부 실시예에서 적어도 70%의 신뢰 수준을 달성할 수 있고, 다른 실시예에서는 95%를 초과하는 피크 신뢰 수준을 달성할 수 있다. 추가적인 비제한적 사용 케이스의 예시에서, 20 내지 80 파운드의 고양이 및 개의 간, 폐, 신장 및 비장 종양의 경우 정확도 수준은 80%를 초과할 수 있지만, 다른 실시예에서는 정확도 수준이 85% 또는 87%를 초과할 수 있다.
도 2를 참조하면, 단일 세션 방법(100)은 단일 세션 방법이 제1 트레이닝 세션에 적용되는지 여부를 제어한다. 단일 세션 방법은, 동일한 클래스 레이블이 동일한 인스턴스 내에서 사용되는 한, 종 어플리케이션 리스트(종 어플리케이션 리스트는 필드 내에서 모델의 의도된 사용 케이스를 지칭함) 외부의 데이터를 사용하여 사용자가 트레이닝시킬 수 있도록 한다. 단일 세션 방법은 리저널 프로포잘(regional proposal)을 위해 샘플링하는 동안 구성 가능한 창의 유형 또는 값의 리오리엔테이션(reorientation)을 경험하는 객체 감지 및 인스턴스 세그멘테이션 모델을 참조한다. 이 모델은 타겟 데이터를 적용하기 전에 레이블링된 입력 데이터(입력 데이터는, 모델이 내부 장기, 이상 상태 및 다른 특징 클래스를 분류하기에는 충분히 크지만 데이터 예시의 종을 난독화하기에 충분히 작음)를 원본 스캔/정보의 하위-섹션으로 정의된 '청크(chunk)'로 분할함으로써 여러 소스로부터의 레이블링된 입력 데이터를 계층화할 수 있는 능력을 달성한다. 이러한 하위 세트는 본 명세서의 나머지 부분 전체에서 '청크'로 지칭될 것이다.
도 2에서, 시스템은 세션(102a)에 대해 혼합된 소스 데이터를 선택할 수 있고, 여기서 방법은 단일 세션(100)에 대해 구성된다. 혼합된 소스 데이터 세트는, 하나 이상의 종 및 하나 이상의 클래스로부터의 데이터가 이후 트레이닝, 검증 및 테스팅 세트로 분할될 수 있는 데이터 세트를 형성하는 데 사용됨을 의미한다. 또한 사용자는 진전된 샘플링 방법에 의해 이후 사용될 종 어플리케이션 리스트를 특정해야 한다. 혼합된 소스 데이터는, '대체 동물' 데이터가 제1 동물과 동일한 종이 아닌 하나 이상의 동물 종을 지칭(예를 들어, 동물 = 개, 대체 동물 = 고양이 및 돼지임)하는 다음의 시나리오: 동물 테스팅 데이터에 적용된 레이블링된 인간 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 대체 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 인간 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 인간 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 대체 동물 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 동물 테스팅 데이터에 적용된 레이블링된 인간, 동물 및 대체 동물 트레이닝 데이터의 조합, 인간 테스팅 데이터에 적용된 레이블링된 인간, 동물 및 대체 동물 트레이닝 데이터의 조합 또는 상기의 모든 조합으로부터 소싱될 수 있으나 이에 제한되는 것은 아니다.
소스 데이터 및 대응되는 어플리케이션의 분포는 도 4에 나타나 있으며, 도 4는 트랜스퍼 러닝 프로세스에서 상이한 데이터 소스가 어떻게 함께 수집되고 사용되는지를 나타낸다. 상기 도면은 상이한 어플리케이션을 함께 결합하여 통합된 솔루션을 구성할 수 있음을 도시한다. 어플리케이션은, 상이한 데이터 형태(MRI 분야의 T1 또는 T2 스캔을 포함하나 이에 제한되지는 않음), 스캔 유형(초음파, MRI 또는 CT 스캔을 포함하나 이에 제한되지는 않음), 레이블 또는 객체 유형, 또는 인간 또는 수의학적 솔루션으로부터 발생하는 문제(암 또는 다른 의학적 이상 상태와 같은 상이한 의학적 이슈를 포함하나 이에 제한되지는 않음)를 포함할 수 있으나 이에 제한되지는 않는, 시스템에 공급될 수 있는 다양한 포맷의 데이터로 정의될 수 있으며, 동물 어플리케이션은 상이한 종의 동물로부터 오는 형태 또는 스캔을 포함할 수 있다.
도 2에서, 시스템이 단일 세션(100) 보다 많은 세션에 대해 구성되는 경우, 세션에 대한 소스 특정 데이터를 선택(102b)하는 것은 사용자가 단일 종 및 하나 이상의 클래스를 선택하여 이후 트레이닝, 검증 및 테스팅 세트로 분할될 수 있는 데이터 세트를 형성하는 것이다. 종 어플리케이션은 사용자에 의해 선택된 종과 매칭된다. 소스 데이터에 대한 일부 예시는 다음과 같은 시나리오: 인간 테스팅 데이터에 적용된 레이블링된 인간 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 대체 동물 테스팅에 적용된 레이블링된 대체 동물 트레이닝 데이터로부터 소싱될 수 있지만 이에 제한되지는 않는다.
혼합된 도메인 데이터를 선택(102a)한 경우, 시스템은 상이한 데이터 세트에 대해 샘플링되는 종을 제어할 수 있는 계층화된 샘플링 방법을 사용할 수 있는 진전된 샘플링 방법을 선택(104a)할 수 있다. 사용자는 샘플링 방법을 제어하기 위한 파라미터를 제공해야 한다. 테스팅 및 검증 세트에 대해 사용된 타겟 어플리케이션 리스트에 매칭되는 타겟 데이터만을 허용하면서, 트레이닝을 위해 사용되는 모든 소스 데이터가 허용되도록 구성이 선택되어야 한다.
도메인 특정 데이터를 선택(102b)한 경우, 시스템은 간단한 무작위 샘플링 및 시스템적인 샘플링 방법을 포함하지만 이에 제한되지는 않는 전통적 샘플링 방법을 선택(104b)할 수 있다. 시스템적인 샘플링이 선택된 이 경우에, 사용자는 샘플링 방법을 제어하기 위한 파라미터 또한 제공해야 한다.
본 발명의 도 2 및 도 3에 도시된 프리프로세싱(preprocessing) 방법의 목적은, 입력 특징 용량을 최대화하면서 입력 이미지 볼륨 및/또는 채널을 최소화하는 것이다. 프리프로세싱은, 트레이닝된 러닝 모델과 함께 프로세싱되었을 때, 예시들을 클래스 레이블 그룹으로 구별하는 데 도움이 된다. 이 방식에서, 시스템은 프리프로세싱 방법(106)을 선택할 수 있고, 이는 특징 정규화(normalization), 이미지 스케일링, 특징 엔지니어링 및 슬라이딩 윈도 방법이라고 지칭될 슬라이딩 윈도우 방법의 2D 내지 4D 커스텀 버전을 포함하나 이에 제한되지는 않는다. 슬라이딩 윈도우 방법은, 리전 프로포잘(region proposal) 방법 또는 유사한 대안의 영향을 시뮬레이션하기 위해 여기에 설명된 트랜스퍼 러닝 방법을 시연하는 데 사용되는 u-net과 같으나 이에 한정되지는 않는, 분류 및 시맨틱 세그멘테이션(semantic segmentation) 모델에 사용된다. 이러한 부분으로의 제한 대 전체 윈도우 방법은, 상이한 종 사이의 데이터가 점점 더 유사해지도록 야기한다. 데이터 서브세트, 윈도우 또는 '청크'가 작을수록, 레이블링된 입력 데이터와 타겟 데이터 사이의 유사도가 커진다. 그러나, 윈도우는 모델이 윈도우 입력 이미지를 이용한 클래스 레이블을 올바르게 구별할 수 있을 정도로 충분히 큰 경우에만 유용하다. 다른 프리프로세싱 방법은, 윈도우가 적용되기 전에 이미지의 스케일을 변경하고, 결과적으로 최적 윈도우 크기가 변한다. 상이한 방법론은 상이한 입력의 유형을 생성하므로, AI에 의해 가능한 모든 정보의 처리에 영향을 미친다. 최종 출력을 재구성하기 위해 슬라이딩 윈도우 방법이 모델 상에 사용되는 경우, 포스트 프로세스가 필수적이다. 분류 네트워크의 경우, 이는 출력이 단일 출력 클래스 벡터로 응집되는 결과를 초래한다.
모델 선택은, 트랜스퍼 러닝의 모든 버전을 수행할 러닝 모델을 선택하는 것을 포함한다. 트랜스퍼 러닝은, 이미지 프로세싱을 위한 모든 수퍼바이즈드(supervised) 러닝 모델 및 모델 유형에 적용될 수 있다. 모델 선택(108)은, 이러한 모델 유형 중 하나를 선택하는 프로세스이다. 예를 들어, 분류, 시맨틱 세그멘테이션, 객체 검출, 인스턴스 세그멘테이션을 포함할 수 있으나 이에 제한되는 것은 아니다. 상이한 모델 유형은, 레이블 유형의 상이한 그룹에 대한 값이 있는 데이터를 필요로 할 수 있다. 분류 모델 데이터의 예시는 분류 레이블 유형을 필요로 한다. 시맨틱 세그멘테이션 모델을 위한 데이터 예시는 세그멘테이션 레이블 유형을 필요로 한다. 객체 검출을 위한 데이터 예시는 분류 및 바운딩 박스 리그레션 레이블 유형을 필요로 한다. 인스턴스 세그멘테이션 모델을 위한 데이터 예시는 분류, 바운딩 박스 리그레션 및 세그멘테이션 레이블 유형을 필요로 한다. 분류 모델의 예시로는 VGG, ResNet, SE-ResNet, SE-ResNet, SENet, DenseNet, InceptionNet, mobile net, EfficientNet 및 AlexNet이 있지만 이에 제한되는 것은 아니다. 데이터를 시간적 차원과 함께 분류하도록 서브 네트워크가 더해질 수 있다. 예시는 RNN, LSTM 또는 GRU를 포함하나 이에 제한되는 것은 아니다. 시맨틱 세그멘테이션 모델의 예시는 u-net, Linknet, PSPNet 및 FPN을 포함하나 이에 제한되는 것은 아니다. 객체 검출 모델의 예시는 r-cnn, fast r-cnn, faster r-cnn, RetinaNet 및 YOLO를 포함하나 이에 제한되는 것은 아니다. 인스턴스 세그멘테이션 모델의 예시는 YOLACAT, mask r-cnn, DETR을 포함할 수 있으나 이에 제한되는 것은 아니다. 객체 검출 및 인스턴스 세그멘테이션 모델 유형은, 클래스 계산, 바운딩 박스 업데이트 및/또는 세그멘테이션 마스크 이전에 이미지를 더 작은 리전으로 분할한다. 인간 및 다른 포유류 종의 진단 이미지가 더 작은 이미지로 분할되었을 때, 어떤 청크가 어떤 종으로부터 왔는지 구별하는 것은 어렵다. 슬라이딩 윈도우 알고리즘이 프리프로세싱 선택에 구현된 경우, 분류 또는 시맨틱 세그멘테이션 모델로부터 같은 현상이 초래될 수 있다. 본 명세서의 맥락에서 다루어질 개시된 모델의 실시예는, 프리프로세서 내에서 슬라이딩 윈도우의 커스텀 구현을 사용하여 시맨틱 세그멘테이션을 수행하는 u-net이다.
도 2에 도시된 바와 같이, 설정의 사용자 선택(110)은 데이터 분할 비율(선택된 도메인 및 클래스에서 샘플링된 트레이닝 세트, 검증 세트 및 테스팅 세트에 대한 데이터 분할 비율), 손실 함수, 옵티마이저(optimizer), 러닝 방법, 적용 가능한 경우 배치 크기 및 이포크(epoch)의 수를 포함할 수 있으나 이에 제한되지 않는다. 설정은 선택적으로는 데이터 증강 방법, 메트릭(metric) 및 하이퍼 파라미터(hyper parameter)를 포함할 수 있다. 이러한 설정은 본 명세서에서 기술된 트랜스퍼 러닝의 고유한 어플리케이션 및 방법과 직접적으로 관련되지는 않지만, 이러한 설정의 선택은 데이터에 맞는 모든 모델의 효과와 관련이 있으며, 이러한 선택은 본 발명에 비추어 당업계에서 통상의 기술을 가진 사람들에게 명백할 것이다.
설정의 데이터 분할 비율과 관련하여, 또 다른 구별점은 트레이닝 데이터 세트 크기에 비해 데이터의 더 큰 부분이 이 어플리케이션에 대한 테스팅/검증 어플리케이션으로 활용된다는 사실이다. 이는 해결 중인 타켓 케이스에 연관되어 선택된 보완적인 데이터 케이스의 수를 포함한다. 예를 들어 타겟 케이스가 고양이의 간암인 경우, 트레이닝을 위해 선택된 보완적인 데이터 케이스는 인간의 간암, 개의 간암, 인간의 신장 암 덩어리를 포함하나 이에 제한되는 것은 아니다. 타켓 케이스와 보완 케이스의 비율의 비제한적인 예시로는, 기타 케이스 2건 대 타겟 케이스 1건, 기타 케이스 3건 대 타겟 케이스 1건, 기타 케이스 4건 대 타겟 케이스 1건, 기타 케이스 5건 대 타겟 케이스 1건, 기타 케이스 6건 대 타겟 케이스 1건, 기타 케이스 7건 대 타겟 케이스 1건, 기타 케이스 8건 대 타겟 케이스 1건, 기타 케이스 9건 대 타겟 케이스 1건, 기타 케이스10건 대 타겟 케이스 1건, 기타 케이스 11건 대 타겟 케이스 1건, 기타 케이스 12건 대 타겟 케이스 1건, 기타 케이스 13건 대 타겟 케이스 1건, 기타 케이스 14건 대 타겟 케이스 1건, 기타 케이스 15건 대 타겟 케이스 1건, 기타 케이스 16건 대 타겟 케이스 1건, 기타 케이스 17건 대 타겟 케이스 1건, 기타 케이스 18건 대 타겟 케이스 1건, 기타 케이스 19건 대 타겟 케이스 1건, 기타 케이스 20건 대 타겟 케이스 1건이 포함된다.
데이터 증강 방법의 예시로는, x, y 또는 z축 중 하나에 대한 슬라이스의 무작위 리오리엔테이션; 슬라이스에 적용되는 일부 강도의 블러(blur); x, y 또는 z축 중 하나의 스케일 조작 등이 포함될 수 있으나 이에 제한되는 것은 아니다. 기술의 일반적인 사용에서 적용되는 데이터 증강 방법은, 세션의 트레이닝 데이터 세트에만 적용된다.
메트릭 설정 예시는 fl 점수, 정밀도, 리콜, 특정성, 정확도, DICE 계수 및 기타 혼란 매트릭스 메트릭과 다중 클래스 혼란 매트릭스 등가물(Multi-Class Confusion Matrix equivalent)을 포함하나 이에 제한되지는 않는다.
손실 함수 설정 예시는 평균 제곱 오차(Mean Square Error), 평균 절대 오차(Mean Absolute Error), 힌지 손실(Hinge Loss) 및 교차 엔트로피 손실(Cross Entropy Loss)을 포함하지만 이에 제한되지는 않는다.
옵티마이저는, 손실 함수에 의해 생성된 오류 점수를 감소시키는 목적을 달성하기 위해 트레이닝 데이터를 사용하여 모델에 대한 반복적인 업데이트를 생성할 수 있다. 옵티마이저의 예시는 모멘텀(Momentum), 네스테로프 가속 그레이디언트(Nesterov accelerated gradient), 아다그라드(Adagrad), 아다델타(Adadelta), RMSprop, 아담(Adam), 아다맥스(AdaMax), 나담(Nadam) 및 AMSGrad를 포함하지만 이에 제한되지는 않는다.
러닝 방법은 모델 업데이트를 계산하기 위해 고려되는 데이터 세트의 양을 제어한다. 러닝 방법의 예시는 확률적 그레이디언트 강하(Stochastic Gradient Descent), 배치 그레이디언트 강하(Batch Gradient Descent) 및 미니-배치 그레이디언트 강하(Mini-batch Gradient Descent)를 포함하지만 이에 제한되지는 않는다.
사용자가 설정 내에서 러닝 방법에 대해 배치 그레이디언트 강하 또는 미니-배치 그레이디언트 강하를 선택한 경우, 이후 사용자는 배치 크기를 제공해야 한다. 배치 크기의 예시는 1, 2, 5, 10, 12, 15, 20, 24, 30, 32, 36, 40, 42, 45, 50, 52, 60, 64, 70, 72, 80, 82, 84, 90, 96 및 100을 포함하나 이에 제한되지는 않는다.
이포크는 트레이닝 및 검증 데이터 세트를 통해 세션이 반복되는 횟수를 지칭한다. 개시된 시스템의 실시예는 다양한 수의 이포크를 사용하여 뉴럴 네트워크를 트레이닝시킴으로써 의미 있는 해결책에 도달할 수 있다. 다양한 실시예는 약 3이포크, 약 5 이포크, 약 7 이포크, 약 10 이포크, 약 15 이포크, 약 20 이포크, 약 25 이포크, 약 30 이포크, 약 35 이포크, 약 40 이포크, 약 45 이포크, 약 50 이포크, 약 60 이포크, 약 70 이포크, 약 80 이포크, 약 90 이포크, 약 100 이포크, 약 150 이포크, 약 200 이포크, 약 250 이포크, 약 300 이포크, 약 350 이포크, 약 400 이포크, 약 450 이포크, 약 500 이포크, 약 550 이포크, 약 600 이포크, 약 650 이포크, 약 700 이포크, 약 750 이포크, 약 800 이포크, 약 850 이포크, 약 900 이포크, 약 950 이포크, 약 1,000 이포크를 포함하나 이에 제한되지는 않는다. 다른 방법은 트레이닝과 검증의 메트릭 히스토그램 점수(metric histogram score)를 비교하기 위한 방식에 대한 조건을 설정함으로써 세션 중에 이포크의 수가 결정될 수 있도록 한다.
하이퍼 파라미터는, 모델 또는 모델의 설정이 반복적으로 수정되어 유효성 검증 중에 문제에 대한 더 나은 모델을 검색하기 위한 방식을 제어한다. 예시는 다음의 예시: 대안 설정, 사용된 활성화 함수와 같은 모델 속성, 깊이 방향과 폭 방향의 레이어 수, 레이어 커널 및 커널 크기, 러닝 레이트(learning rate), 드롭아웃(dropout), 정규화(regularization) 및 보조 출력 레이어(auxiliary output layer) 중 임의의 예시를 포함할 수 있지만 이에 제한되지는 않는다.
도 2에서, 실행 세션(112)은 선택된 데이터, 모델, 및 설정을 사용하여 트레이닝, 검증 및 테스팅 세션을 실행한다. 이는 손실 함수에 대한 히스토그램 값과 트레이닝 및 검증 단계 모두에 대한 메트릭, 그리고 테스팅 단계에 대한 오류 및 메트릭 점수를 생성해야 한다. 트레이닝 및 검증 사이클은, 손실에 대한 사용자가 특정한 목표와 트레이닝 및 검증 히스토그램에 대한 메트릭에 대한 사용자가 특정한 목표가 충족될 때까지, 일부 실시예 또는 다른 실시예에서 특정된 이포크의 수에 대한 모델을 업데이트할 것이다.
이중 세션 결정 블록은, 사용자가 사용자의 재량으로 제1 세션 이후에 프로세스 흐름을 종료하거나, 제2 세션(114)으로 계속하도록 선택할 수 있는 블록이다. 세션이 단일 세션 방법(114)인 경우, 프로세스는 종료되고, 어플리케이션이 실제 환자로부터의 케이스 스터디를 분석하기 위해 트레이닝되고 사용될 준비가 된다. 세션이 이중 세션 방법(114)인 경우, 시스템은 도 3의 단계로 진행할 수 있다. 도 3의 단일 세션 결정 블록(200)은, 이전에 제1 세션에서 단일 세션 방법이 사용되었는지 여부와 관계 없이, 사용자가 스스로 이중 세션 방법을 사용하도록 선택하거나 제2 세션을 위한 도 2의 단일 세션 방법과 함께 사용하도록 선택하는 블록이다.
도 3에 도시된 이중 세션 방법에서, 시스템은 제1 세션 방법이 제2 세션을 위해 사용되고 있음을 나타내는 세션에 대한 혼합된 타겟 데이터를 선택(202a)할 수 있다. 혼합된 타겟 데이터 세트는, 하나 이상의 종 및 하나 이상의 클래스로부터의 데이터가 이후 트레이닝, 검증 및 테스팅 세트로 분할될 수 있는 데이터 세트를 형성하는 데 사용됨을 의미한다. 또한 이후 트레이닝, 검증 및 테스팅 세트로 분할될 수 있는 데이터 세트를 형성하도록, 이후 하나 이상의 클래스에 의해 사용될 종 어플리케이션 리스트를 특정해야 한다. 혼합된 타겟 데이터는, 다음의 시나리오: 동물 테스팅 데이터에 적용된 레이블링된 인간 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 대체 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 인간 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 인간 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 대체 동물 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 동물 테스팅 데이터에 적용된 레이블링된 인간, 동물 및 대체 동물 트레이닝 데이터의 조합, 인간 테스팅 데이터에 적용된 레이블링된 인간, 동물 및 대체 동물 트레이닝 데이터의 조합 또는 제1 세션에 대한 상기의 모든 조합으로부터 소싱될 수 있으나 이에 제한되는 것은 아니다.
도 3에 도시된 이중 세션 방법에서, 시스템은, 세션에 대한 타겟 특정 데이터를 선택(202b)할 수 있고, 이는 이후 트레이닝, 검증 및 테스팅 세트로 분할될 수 있는 데이터 세트를 형성하도록 단일 종 및 하나 이상의 클래스를 선택하는 것을 포함할 수 있다. 타겟 데이터의 일부 예시는, 다음의 시나리오: 동물 테스팅 데이터에 적용된 레이블링된 인간 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 대체 동물 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 인간 테스팅 데이터에 적용된 레이블링된 동물 트레이닝 데이터, 동물 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 인간 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 대체 동물 테스팅 데이터에 적용된 레이블링된 인간 및 동물 트레이닝 데이터의 조합, 동물 테스팅 데이터에 적용된 레이블링된 인간, 동물 및 대체 동물 트레이닝 데이터의 조합, 인간 테스팅 데이터에 적용된 레이블링된 인간, 동물 및 대체 동물 트레이닝 데이터의 조합 또는 여기의 모든 조합으로부터 소싱될 수 있으나 이에 제한되는 것은 아니다.
혼합된 도메인 타겟 데이터가 선택(202a)된 경우, 사용자는 진전된 샘플링 방법을 선택(204a)할 수 있으며, 이는 사용자가 계층화된 샘플링 방법의 두 가지 구성을 선택하여 상이한 데이터 세트에 대해 샘플링되는 종을 제어하는 것을 포함할 수 있다. 구성은, 타겟 어플리케이션 리스트에 매칭되는 데이터만을 허용하면서, 트레이닝을 위해 사용되는 모든 타겟 데이터를 허용해야 한다.
도메인 특정 타겟 데이터를 선택(202b)한 경우, 시스템은 간단한 무작위 샘플링 및 시스템적인 샘플링 방법을 포함하지만 이에 제한되지는 않는 전통적 샘플링 방법을 선택(204b)할 수 있다.
두 경우 모두에서, 시스템은 두 가지 선택적 단계(다음 러닝 세션을 위해 동결시킬 조기 모델 레이어를 선택하는 단계 및 무작위로 초기화된 레이어를 사용하여 대체될 후기 모델 레이어를 선택하는 단계)를 포함하는 이중 세션 포유류 트랜스퍼 러닝 방법을 위한 사전-트레이닝된 모델을 준비(206)할 수 있다. 이러한 선택은 수동적으로 수행될 수 있으나, 본 발명은 수동적인 선택에만 제한된 것이 아니다. 일반적으로, 전통적인 트랜스퍼 러닝을 위해서는 모델의 최종 레이어를 대체해야 하지만, 공개된 애플리케이션의 출력 클래스는 세션 사이에서 보존되기 때문에, 이 단계 없이도 일반화 가능한 결과를 달성할 수 있다. 일반적으로, 모델 내에서 더 많은 레이어가 동결될수록, 여기서 설명된 이중 세션 방법을 사용한 결과로 모델을 문제 공간에 맞추기 위해 필요한 타겟 종 데이터가 적어진다. 단일 세션 방법과 마찬가지로, 이중 세션 방법은 종이 다양할 수 있는 동안 클래스 카테고리를 일정하게 유지해야 할 수 있다.
도 3의 설정 수정 프로세스(208)는, 사용자가 제1 러닝 세션에서 이전에 사용된 설정을 변경하여 이전 세션으로부터의 일반화 가능한 점수 또는 출력을 최적화할 수 있는 시점이다. 이 시점에서의 하이퍼 파라미터 선택은, 사전-트레이닝된 모델 아키텍처 또는 프리프로세싱 방법을 변경하지 않는 변경으로 제한되는데, 이러한 변경은 결과로 초래된 시스템을 실행할 수 없거나 무의미한 출력을 가지는 시스템으로 만들 수 있기 때문이다.
도 3에서, 실행 세션(210)은 선택된 데이터, 모델, 및 설정을 사용하여 트레이닝, 검증 및 테스팅 세션을 실행한다. 이는 손실 함수에 대한 히스토그램과 트레이닝 및 검증 사이클 모두에 대한 메트릭, 그리고 테스팅 단계에 대한 오류 및 메트릭 점수를 생성해야 한다. 트레이닝 및 검증 사이클은, 손실 함수, 옵티마이저 및 다른 필수적인 설정을 사용하여, 특정된 이포크의 수(또는 손실에 대한 사용자가 특정한 목표와 트레이닝 및 검증 히스토그램에 대한 메트릭에 대한 사용자가 특정한 목표가 충족될 때까지)에 대한 모델을 업데이트할 것이다.
도 5는 도 2 및 도 3의 관계에서 발생할 수 있는 바와 같이, 트레이닝 및 검증 중에 수행될 수 있는 단계들의 세트(예를 들어, 시행 또는 실행되는 세션(112, 210)의 일부)를 도시한다. 도 5 및 도 6은 "CPU" 및 "GPU"에 의해 수행되는 특정한 단계를 도시하지만, 이는 예시일 뿐이며, 다양한 단계는 프로세싱 유닛 또는 CPU, GPU, TPU 및 다른 프로세싱 유닛의 조합에 의해 수행될 수 있음이 이해되어야 한다.
도 5의 단계는, 하나 이상의 레이블링된 포유류 데이터 세트(300)를 제공 및/또는 수신하는 단계와 함께 시작된다. 시스템은 하나 이상의 레이블링된 포유류 데이터 세트를 선택(302) 및 혼성화(hybridize)하고, 선택된 데이터(304)를 저장한다. 저장된 데이터는 이를 표준화된 포맷으로 변환하도록 프리-프로세싱(306)되고, 준비된 데이터는 저장(308)된다. 파라미터 선택은 네트워크 및 데이터에 의해 구성되고(310), 파라미터는 사용을 위해 로딩(312)된다. 이후 시스템은, 저장된 데이터의 세그먼트, 부분 또는 청크를 정의하기 위해 저장된 데이터의 데이터 세그멘테이션, 분할 및 혼합(314)을 수행한고, 이러한 청크는 이후 저장된다(316). 이러한 청크를 정의하는 것은 각각의 청크에 대한 새로운 파일 및 데이터 세트의 생성을 포함할 수 있고, 또는 각각의 청크를 식별하기 위해 준비된 데이터에 적용될 수 있는 메타데이터의 생성을 포함할 수 있다. 이후 시스템은 데이터 청크에 대한 뉴럴 네트워크를 트레이닝(318) 시키기 위해 사용하고 모델 파라미터, 결과 메트릭 및 손실 특징(320)을 저장한다. 시스템은 옵티마이저를 활용하여 저장된(320) 특징을 기반으로 뉴럴 네트워크의 성능을 미세 조정할 수 있고, 하나 이상의 개선된 파라미터(324)를 결정 및 저장할 수 있다. 시스템은 독립적인 결과(328)의 세트를 결정하기 위해 뉴럴 네트워크와 함께 트레이닝의 검증(326)을 수행할 수 있다.
시스템은 충분한 수의 이포크가 수행되었는지를 결정할 수 있고, 유사한 독립적인 결과(328)를 입력 데이터 세트와 함께 뉴럴 네트워크의 표준 결과와 비교함으로써 뉴럴 네트워크의 트레이닝이 충분한 수준의 정확도에 도달했는지(330)를 결정할 수 있다. 정확도가 부족한 경우, 시스템은 개선된 파라미터(324)로 청크에 대한 뉴럴 네트워크를 트레이닝(318)시킴으로써 후속 이포크로 진행할 수 있다. 정확도가 충분한 경우(330), 시스템은 테스팅 및 입력 데이터 세트의 독립 분석을 위해 사용될 수 있는 뉴럴 네트워크의 체크포인트(332)를 제공할 수 있다.
도 6은, 실제 케이스 스터디를 분석하기 위해 체크포인트 버전의 테스팅 중 및 뉴럴 네트워크의 사용 중에 수행될 수 있는 단계의 세트를 도시한다. 시스템은 하나 이상의 포유류 데이터 세트에 액세스 또는 수신(400)할 수 있다. 이는 체크포인트 버전의 효과를 인증하는 데에 사용될 수 있는 테스팅 데이터 세트이거나, 시스템의 사용자로부터 수신된 실제 세상의 케이스 스터디일 수 있다. 시스템은 데이터를 프로세싱하기 위한 체크포인트를 선택(402)할 수 있고, 데이터가 저장된 체크포인트에 접근(404)할 수 있다. 시스템은 타겟 데이터와 함께 일부 공통점을 공유하는 케이스를 선택하도록 데이터 선택(406)을 수행하고 테스팅 데이터를 로딩(408)할 수 있다. 네트워크 및 데이터 파라미터는 구성 및/또는 선택(410)될 수 있고, 이러한 구성은 뉴럴 네트워크에 로딩(412)될 수 있다. 이후 시스템은 데이터 세그멘테이션(414)을 수행하여 타켓 케이스 및 연관된 케이스를 서브세트로 청크(416)화 할 수 있다. 이전 실시예와 같이, 이는 청크에 대한 새로운 데이터 세트를 생성하거나, 그들의 원래 데이터 세트 내에 청크를 정의하는 메타데이터의 세트를 생성하는 것을 포함할 수 있다. 이후 시스템은 입력 케이스에 체크포인트 뉴럴 네트워크를 적용(418)하고 히트맵 출력(420)을 생성할 수 있다.
히트맵 출력은 프리-렌더링된 그래픽 또는 모델을 포함하거나, 렌더링된 이미지 상에 시각적인 표식자를 오버레이 또는 삽입하는 데에 사용될 수 있는 메타데이터를 포함할 수 있다. 도 7 및 8은 각각 식별된 타겟 조직이 마킹된 3D 모델의 예시를 제공한다. 또한, 도 7은 이미지가 분할된 청크를 시각적으로 도시하는 반면, 도 8과 같은 다른 렌더링된 히트맵은 개별 청크를 도시할 수 있다. 이후 시스템은 히트맵 출력을 분석(422)하여 정확도 메트릭의 세트(424)를 제공할 수 있고, 사용자에게 완료된 결과(426)를 제공할 수 있다.
본 발명에 따르면, 하나 이상의 종의 레이블링된 포유류 데이터는, AI 네트워크 모델 트레이닝 중에 활용되어 포유류 종의 이상 상태를 감지한다. 일부 실시예에서, 머신 러닝 네트워크 트레이닝은 독점적으로 레이블링된 인간 데이터를 사용하여 수행된다. 다른 실시예에서, 머신 러닝 네트워크 트레이닝은 레이블링된 인간 데이터 및 레이블링된 동물 데이터(즉, 비인간)를 사용하여 수행된다. 다양한 실시예에 따르면, 네트워크가 테스팅될 때, 레이블링된 동물 데이터는, 네트워크의 보고된 정확도가 동물의 타게팅된 문제 공간으로 얼마나 잘 일반화되는지에 초점을 맞추도록 사용된다. 임의의 이벤트에서, 본 발명의 시스템 및 방법은 레이블링된 포유류 데이터의 유사성을 레버리징하여, 추상적 특징의 선택 및 구별을 적절하게 러닝하는 데 필요한 데이터의 부족을 보완하는 데 도움을 줄 수 있으며, 이는 일반화된 네트워크 모델 솔루션을 가능하게 한다.
본 발명 따른 방법론은, 다른 이미징 형태 중에서도, 동물-기반 데이터 세트 또는 다른 고품질 데이터 세트 소스로부터 발전된 러닝을 사용하여, 인간 방사선을 포함하지만 이에 제한되지 않는 머신 러닝 솔루션의 신속한 개발을 가능하게 한다. 이와 같이, 본 명세서에 기술된 시스템 및 방법은, 본 명세서에서 일반적으로 "의학적 전문가"로 지칭되는, 일반 의원, 방사선 전문의, 내과 전문의, 진단 전문의 및 영상 전문가를 포함하되 이에 한정되지 않는 다양한 분야에 걸쳐 활용될 수 있다.
네트워크가 이전 섹션에서 설명된 프로세스를 사용하여 트레이닝된 후, 트랜스퍼 러닝을 사용하여 트레이닝된 네트워크는 현장의 실시간 데이터에 적용될 수 있다. 일 실시예에서, 데이터는 2D 또는 3D 스캔의 형태로 수신될 것이다. 이 실시예에 대한 데이터는 스캔의 부분을 포함하는 청크로 분리된 후 네트워크를 통해 공급될 것이다. 네트워크는 각각의 복셀에 대한 신뢰 값을 출력할 것이고, 이 신뢰 값은 원래 스캔의 패턴과 매칭되는 히트맵으로 재구성된다. 이 히트맵은 식별된 이상 상태로 지정될 전체 또는 부분을 선택하기 위해 간격을 사용하여 개선될 것이다.
다양한 실시예에 따르면, 시스템 및 방법은 적절한 프리프로세싱, 샘플링 방법, 설정 및 데이터 세트와 함께 제공될 때 모델을 최적화하는 것을 돕도록 사용될 수 있다. 일 실시예에서, 이는 과거 케이스 스터디를 분석하여 이상 상태의 발견을 위한 참조 지점을 생성하고, 얼마나 작은지와 상관없이 이러한 발견을 보고하는 클라우드 플랫폼 또는 로컬 소프트웨어 어플리케이션을 포함할 수 있다. 따라서, 최종 발견을 기설정된 특정 파라미터 내에 시각적으로 존재하는 특정 질병에 대해 제한하지 않고 케이스의 더 진단적으로 완벽한 시각적 분석을 제공할 수 있다.
일반적으로, 당업계에서 통상의 기술을 가진 사람들에게는 본 명세서에 기술된 실시예의 적어도 일부가 소프트웨어, 펌웨어 및/또는 하드웨어의 다양한 실시예에 구현될 수 있음이 명백할 것이다. 소프트웨어 및 펌웨어 코드는 프로세서 또는 다른 유사한 컴퓨팅 장치에 의해 실행될 수 있다. 실시예를 구현하기 위해 사용될 수 있는 소프트웨어 코드 또는 전문화된 제어 하드웨어는 제한되지 않는다. 예를 들어, 본 명세서에 기술된 실시예는, 예를 들어 전통적 또는 객체-지향형 기술을 사용하는 임의의 적절한 컴퓨터 소프트웨어 언어 유형을 사용하는 컴퓨터 소프트웨어로 구현될 수 있다. 이러한 소프트웨어는 예를 들어 자기 또는 광학 저장 매체와 같은 적절한 컴퓨터 판독 가능한 매체 또는 미디어의 임의의 유형 상에 저장될 수 있다. 실시예의 작동 및 거동은 특정 소프트웨어 코드 또는 전문화된 하드웨어 구성요소에 대한 참조 없이 기술될 수 있다. 이러한 특정 참조의 부재는, 일반적인 기술을 가진 기술자가 소프트웨어를 설계하고 하드웨어를 제어하여 본 발명에 기초한 실시예를 무리한 실험 없이 합리적인 노력만으로 구현할 수 있다는 것이 명백하게 이해되기 때문에, 타당하다.
또한, 본 명세서에 기술된 프로세스는, 컴퓨터 또는 컴퓨터 시스템 및/또는 프로세서와 같은 프로그램 가능한 장비에 의해 실행될 수 있다. 프로그램 가능한 장비가 프로세스를 실행하도록 하는 소프트웨어는, 임의의 저장 장치, 예를 들어, 컴퓨터 시스템 (비휘발성) 메모리, 광학 디스크, 자기 테이프 또는 자기 디스크와 같은 장비에 저장될 수 있다. 또한, 프로세스 중 적어도 일부는, 컴퓨터 시스템이 다양한 유형의 컴퓨터 판독 가능한 미디어 상에 제조 또는 저장될 때 프로그램될 수 있다.
또한, 본 명세서에 설명된 프로세스의 특정 부분은, 컴퓨터 판독 가능한 매체에 저장된 인스트럭션 또는 컴퓨터 시스템이 프로세스 단계를 수행하도록 지시하는 매체 또는 미디어를 사용하여 수행될 수 있다는 것이 이해될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어 디스켓, 컴팩트 디스크(CD), 디지털 다용도 디스크(DVD), 광학 디스크 드라이브 또는 하드 디스크 드라이브와 같은 메모리 장치를 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 물리적, 가상, 영구적, 일시적, 반영구적 및/또는 반일시적인 메모리 저장소 또한 포함할 수 있다.
"컴퓨터," "컴퓨터 시스템," "호스트," "서버," 또는 "프로세서"는, 예를 들어 프로세서, 마이크로컴퓨터, 미니컴퓨터, 서버, 메인프레임, 노트북, 휴대 정보 단말기(PDA, personal data assistant), 무선 이메일 장치, 휴대폰, 페이저(pager), 프로세서, 팩스 머신, 스캐너 또는 네트워크를 통해 데이터를 전송 및/또는 수신하도록 구성된 모든 다른 프로그램 가능한 장치일 수 있으나 이에 제한되지는 않는다. 본 명세서에 개시된 컴퓨터 시스템 및 컴퓨터-기반 장치는 정보 수신, 프로세싱 및 통신에 사용되는 특정 소프트웨어 모듈을 저장하기 위한 메모리를 포함할 수 있다. 이러한 메모리는 개시된 실시예의 동작과 관련하여 내부 또는 외부일 수 있다는 것이 이해될 수 있다.
머신 러닝 코드는 CPU 또는 GPU에 의해 설정된 메모리 위치에 액세스하여 네트워크 아키텍쳐를 통해 반복하여 메모리 내에 저장된 인스트럭션을 해독 및 실행할 수 있다. 이러한 세션은 계산 비용이 비싸며 GPU 및 CPU를 사용하여 실행될 수 있다. CPU 또는 GPU는 이터레이터(iterator)에 의해 지시되어 데이터의 전체 또는 부분적으로는 데이터의 변형 또는 위치/방향 연결 데이터를 저장할 위치를 생성할 수 있다. 데이터는 RAM 또는 외부 저장 장치를 포함하나 이에 제한되지는 않는 메모리 내에 저장될 수 있다. 인스트럭션은 네트워크가 어떻게 작동하고 기능할지를 지시한다. GPU가 메모리 내의 인스트럭션에 액세스한 후에, GPU는 인스트럭션을 사용하여, GPU의 분배된 코어 상에 컴퓨팅된 뉴럴 네트워크를 통해 데이터를 모으고 실행시킨다.
뉴럴 네트워크는 가중치(weights), 바이어스(bias) 및 이러한 가중치가 중간 메모리 상태의 세트를 거쳐 공급되면서 입력 데이터에 미치는 영향을 기술하는 규칙의 세트로 구성된다. 이러한 부분은 무작위화되거나, 미리 정해지거나, 존재하는 체크포인트로부터 로딩된다. RAM 또는 2차적으로 할당된 메모리 위치 내에 저장되고 다양한 실시예에서 CPU 및 GPU 중 하나 또는 양쪽을 사용하여 실행되는 트레이닝 알고리즘은, 뉴럴 네트워크의 GPU의 계산으로부터의 결과를 가중치 및 바이어스를 조정하는 데 사용하여, 조정된 가중치 및 바이어스로부터 구성된 네트워크가 네트워크의 이전 반복이 달성할 수 있었던 것보다 데이터 상에 더 정확하게 수행하도록 수학적으로 최적화한다. 이 프로세스는 필요한 작업(즉, 재구성된 의학적 스캔에서 이상 상태를 식별함)을 정확하게 수행할 수 있는 네트워크를 생성할 수 있는 방식으로, 상이한 청크, 배치, 및 다양한 실시예의 방법에서 반복된다.
네트워크는 메모리 내에 로딩된 데이터가 뉴럴 네트워크의 계산을 완료하도록 GPU에 의해 사용된다는 점에서 트레이닝과 유사한 프로세스를 사용하여 GPU 상에서 평가된다. 이러한 평가의 결과는 네트워크의 정확성 또는 거동을 결정하기 위해 저장되고 사용되며, 이는 알고리즘의 맥락에서 더 구체화되고 정교해질 수 있다. 네트워크가 트레이닝, 평가 및 테스팅되는 프로세스를 제어하는 이러한 설정에 대한 기술은 하이퍼 파라미터로 지칭되며, 일반적으로 일부 실시예에서는 사용자에 의해, 다른 실시예에서는 자동화된 알고리즘에 의해 지정된다. 네트워크를 구성하는 가중치 및 바이어스는 이후의 재구성을 위해 데이터 파일에 저장(.hdf5 포맷 또는 더 넓게는 정렬된 방식의 숫자 행렬을 포함하는 임의의 다른 파일 형식을 포함하지만 이에 제한되지 않음)될 수 있다. 결과 데이터 파일 또는 유사한 목적을 가진 임의의 다른 데이터 파일 또한 다시 판독되고 사용되어 파일을 생성하는 데 사용된 네트워크와 동일한 방식으로 거동하는 뉴럴 네트워크를 구성할 수 있다.
본 명세서에 개시된 다양한 실시예에서, 단일 구성요소는 복수 구성요소에 의해 대체될 수 있고, 복수 구성요소는 단일 구성요소에 의해 대체되어 주어진 함수를 수행할 수 있다. 이러한 치환이 작동되지 않는 경우를 제외하고, 이러한 치환은 실시예의 의도된 범위 내에 있다. 컴퓨터 시스템은 하나 이상의 데이터 버스를 통해 메모리와 통신하는 하나 이상의 프로세서(예를 들어, RAM 또는 ROM)를 포함한다. 데이터 버스는 프로세서와 메모리 사이에 전기적 신호를 전달할 수 있다. 프로세서 및 메모리는 전류를 전도하는 전기 회로를 포함할 수 있다. 프로세서 및/또는 메모리 회로의 솔리드 스테이트 트랜지스터(solid state transistor)와 같은 회로의 다양한 구성요소의 충전 상태는, 회로의 작동 중에 변경될 수 있다.
일부 도면은 흐름도를 포함할 수 있다. 이러한 도면은 특정한 논리 흐름을 포함 하지만, 이 논리 흐름은 일반적인 기능의 예시적인 실시예를 제공할 뿐임이 이해될 수 있다. 또한, 달리 명시된 경우가 아니라면, 논리 흐름은 반드시 제시된 순서대로 실행될 필요는 없다. 이에 더해, 논리 흐름은 하드웨어 요소, 컴퓨터에 의해 실행되는 소프트웨어 요소, 하드웨어 내에 내장된 펌웨어 요소 또는 이러한 요소들의 임의의 조합에 의해 구현될 수 있다.
상기 실시예 및 예시의 기술은, 설명 및 기술의 의도를 위해 제시되었다. 철저하거나, 기술된 형태에 제한하려는 의도는 아니다. 위의 설명에 비추어 수많은 수정이 가능하다. 이러한 수정 중 일부는 논의되었으며, 다른 일부는 당업자에 의해 이해될 것이다. 실시예는 고려되는 특정 용도에 적합한 다양한 실시예의 원리를 가장 잘 나타내도록 선택되고 기술되었다. 물론, 범위는 본 명세서에 기재된 예시에 한정되는 것은 아니며, 당업계에서 통상의 기술을 가진 사람들에 의해 임의의 수의 어플리케이션 및 동등한 장치에 사용될 수 있다. 오히려 여기서 발명의 범위는 첨부된 청구항들에 의해 발명의 범위가 정의되도록 의도한다.
심장학 분야 내의 기술을 위한 어플리케이션은: VHS(Vertebral Heart Score), 심근경색(Cardiomegaly), 부정맥(Arrhythmia), 관상동맥 폐색(Coronary Artery Blockage), 대동맥 폐색(Aortic Occlusion), 심장 폐색(Cardiac Blockage), 대동맥 질환 및 마판 증후군(Aorta disease and Marfan syndrome), 선천성 심장 질환(Congenital heart disease), 관상동맥 질환(Coronary artery disease), 심정맥 혈전증(Deep Vein Thrombosis), 폐색전증(Pulmonary Embolism), 승모판막 폐쇄 부전증(Mitral Regurgitation), 이첨판 이형성(Mitral Valve Dysplasia), 삼첨판 이형성(Tricuspid Valve Dysplasia), 이첨판 협착증(Mitral Valve Stenosis), 대동맥 협착증(Aortic Stenosis), 동맥관 개존증(Patent Ductus Arteriosus), 심실사이막결손증(Ventricular Septal Defects), 심방중격결손증(Atrial Septal Defects), 확장형심근병증(Dilated Cardiomyopathy), 부정맥성심근병증(Arrhythmic Cardiomyopathy), 심장사상충병(Heartworm Disease), 폐동맥판협착증(Pulmonic Stenosis) 및 팔로네징후(Tetralogy of Fallot)를 포함하나 이에 제한되지는 않는다.
위장의 분야 내의 기술을 위한 어플리케이션은: 식도 팽창(Esophageal Distention), 바렛식도(Barrett's Esophagus), 식도 외부 이물질(Esophageal Foreign Body), 흉부 기체(Pleural Gas), 흉부 액체(Pleural Fluid), 전복방 실질 패턴(Cranioventral Parenchymal Pattern), 미배방 실질 패턴(Caudodorsal Parenchymal Pattern), 결절성 또는 속립성 패턴(Nodular or Miliary Pattern), 폐결절(Pulmonary Nodule), 위팽창(Gastric Distention), 위 외부 이물질(Gastric Foreign Material), 위확장 및 소장염정 이물질 소장 주름형성(Gastric Dilatation and Volvulus Small Intestinal Foreign Material Small Intestinal Plication), 두 개의 소장 외부 이물질 집단(Two Populations of Small Intestine Colonic Foreign Material)을 포함하나 이에 제한되지는 않는다.
복부 또는 신장의 분야 내의 기술을 위한 어플리케이션은: 간비대(Hepatomegaly), 중복부 종괴(Mid Abdominal Mass), 비종(Splenomegaly), 복막액(Peritoneal Fluid), 후복막액(Retroperitoneal Fluid), 후복막임파선염(Retroperitoneal Lymphadenopath), 신장 무기화(Renal Mineralization), 신장 확대(Renomegaly), 신장 축소(Small Kidney), 방광 결석(Urinary Bladder Calculi), 요도 결석(Urethral Calculi), 전립선비대증(Prostatomegaly), 전립선 무기화(Prostatic Mineralization)를 포함하나 이에 제한되지는 않는다.
골격 및 흉부의 분야 내의 기술을 위한 어플리케이션은: 경추 디스크 공간 협착 척추증(Cervical Disc Space Narrowing Spondylosis), 흉요 디스크 공간 협착증(Thoracolumbar Disk Space Narrowing), 간질 패턴(Interstitial Pattern), 기관지 간질 패턴(Bronchointerstitial Pattern), 기관지 패턴(Bronchial Pattern), 폐종괴(Pulmonary Mass), 사지 골절(Appendicular Fracture), 어그레시브 뼈 병변(Aggressive Bone Lesion)을 포함하나 이에 제한되지는 않는다.
방사선학의 분야 내의 기술을 위한 어플리케이션은: 폐암(Lung Cancer), 결장암(Colon Cancer), 직장암(Colorectal Cancer), 자궁경부암(Cervical Cancer), 위암(Gastric Cancer), 방광암(Bladder Cancer), 간암(Liver Cancer), 간장 맥관암(Hepatic Vessel Cancer), 부신암(Adrenal Gland Cancer), 신장암(Renal Cancer), 췌장암(Pancreatic Cancer), 갑상선암(Thyroid Cancer), 유선암(Mammary Cancer), 난소상피암(Ovarian Cancer), 전립선암(Prostate Cancer), 편평세포암종(Squamous Cell Carcinoma), 기저세포암(Basal Cell Carcinoma), 흑색종(Melanoma), 멜라닌 세포성 모반(Melanocytic Nevus), 광선각화증(Actinic Keratosis), 양성 각화증(Benign Keratosis), 섬유종(Dermatofibroma), 혈관 병변(Vascular Lesions), 식도선암종(Oesophageal Adenocarcinoma), 신경모세포종(Neuro-Blastoma), 골관절염(Osteo Arthritis), 갈비뼈 골절(Rib Fractures), 구조신경손상(Structural Nerve Damage), 척추측만증(Scoliosis), 척추 골절(Vertebral Fracture), 탈출추간판(Herniated Disc), 폐렴(Pneumonia), 기흉(Pneumothorax), 폐 환기(Lung Ventilation), 코비드-19(Covid-19)을 포함하나 이에 제한되지는 않는다.
신경학의 분야 내의 기술을 위한 어플리케이션은: 경도인지 장애(Mild Cognitive Impairment), 외상성 뇌손상(Traumatic Brain Injury), 뇌진탕(Concussions), 알츠하이머 병(Alzheimer's Disease), 치매(Dementia), 파킨슨병(Parkinson's Disease), 발작 장애(Stroke Lesions), 다발성 경화증(Multiple Sclerosis), 뇌종양(Brain Tumors), 두개내출혈(Intracranial Hemorrhage), 퇴행성요청추부협착증(Degenerative Lumbosacral Stenosis), 퇴행성척수증(Degenerative Myelopathy), 미만성특발성골격뼈과다증(Diffuse Idiopathic Skeletal Hyperostosis), 추간판질환(Intervetrebal Disk Disease)을 포함하나 이에 제한되지는 않는다.
조직병리학의 분야 내의 기술을 위한 어플리케이션은: 종양 확산(Tumor Proliferation), 핵 아티피아 스코어(Nuclear Atypia Score), 인환세포탐지(Signet Ring Cell Detection), 다발성 골수악성종양(Multiple Myloma), 기형(Abnormality), 세그멘테이션(Segmentation), 림프구(Lymphocytes), 대식세포(Macrophages), 호중구(Neutrophils), 상피(Epithelials), 미토콘드리아 세그멘테이션(Mitochondrial Segmentation), 정상 vs 베닝 vs 악성 백혈구 암 분석(Normal vs Bening vs Malignant White Cell Cancer Analysis), 전이 조직(Metastasis Tissue), 면역 개재(Immune Mediated), 용혈성 빈혈(Hemolytic Anemia), 면역 개재된 혈소판감소증(immune mediated thrombocytopenia), 악성 빈혈(Anaplastic Anemia), 항체의존(Antibody-Dependent), 세포 독성(Cellular Cytotoxicity), 선암종(Adenocarcinoma), 비정형 샘세포(Atypical Glandular Cells) 및 림프종(Lymphoma)을 포함하나 이에 제한되지는 않는다.
안과의 분야 내의 기술을 위한 어플리케이션은: 안질환(Ocular Disease), 안구 출혈(Optical Hemorrhage), 안구 팽창 및 미세동맥류(Optical Anuerisms & Microanuerisms), 경성삼출물(Hard Exudates), 연성삼출물(Soft Exudates), 망막 기저 질환(Retinal Fundus Disease), 당뇨망막병증(Diabetic Retinopathy), 실명(Blindness), 황반변성(Macular Degeneration), 녹내장(Glaucoma), 시신경변위(Optic Disc Displacement), 캐터랙트(Cataracts), 결막하 출혈(Subconjunctival hemorrhage), 약시(Ambylopia), 사시증(Strabismus), 결막염(Conjunctivitis) 및 원추각막(Keratoconus)을 포함하나 이에 제한되지는 않는다.
심장학 분야 내의 기술을 위한 어플리케이션은: VHS(Vertebral Heart Score), 심근경색(Cardiomegaly), 부정맥(Arrhythmia), 관상동맥 폐색(Coronary Artery Blockage), 대동맥 폐색(Aortic Occlusion), 심장 폐색(Cardiac Blockage), 대동맥 질환 및 마판 증후군(Aorta disease and Marfan syndrome), 선천성 심장 질환(Congenital heart disease), 관상동맥 질환(Coronary artery disease), 심정맥 혈전증(Deep Vein Thrombosis), 폐색전증(Pulmonary Embolism), 승모판막 폐쇄 부전증(Mitral Regurgitation), 이첨판 이형성(Mitral Valve Dysplasia), 삼첨판 이형성(Tricuspid Valve Dysplasia), 이첨판 협착증(Mitral Valve Stenosis), 대동맥 협착증(Aortic Stenosis), 동맥관 개존증(Patent Ductus Arteriosus), 심실사이막결손증(Ventricular Septal Defects), 심방중격결손증(Atrial Septal Defects), 확장형심근병증(Dilated Cardiomyopathy), 부정맥성심근병증(Arrhythmic Cardiomyopathy), 심장사상충병(Heartworm Disease), 폐동맥판협착증(Pulmonic Stenosis) 및 팔로네징후(Tetralogy of Fallot)를 포함하나 이에 제한되지는 않는다.
위장의 분야 내의 기술을 위한 어플리케이션은: 식도 팽창(Esophageal Distention), 바렛식도(Barrett's Esophagus), 식도 외부 이물질(Esophageal Foreign Body), 흉부 기체(Pleural Gas), 흉부 액체(Pleural Fluid), 전복방 실질 패턴(Cranioventral Parenchymal Pattern), 미배방 실질 패턴(Caudodorsal Parenchymal Pattern), 결절성 또는 속립성 패턴(Nodular or Miliary Pattern), 폐결절(Pulmonary Nodule), 위팽창(Gastric Distention), 위 외부 이물질(Gastric Foreign Material), 위확장 및 소장염정 이물질 소장 주름형성(Gastric Dilatation and Volvulus Small Intestinal Foreign Material Small Intestinal Plication), 두 개의 소장 외부 이물질 집단(Two Populations of Small Intestine Colonic Foreign Material)을 포함하나 이에 제한되지는 않는다.
복부 또는 신장의 분야 내의 기술을 위한 어플리케이션은: 간비대(Hepatomegaly), 중복부 종괴(Mid Abdominal Mass), 비종(Splenomegaly), 복막액(Peritoneal Fluid), 후복막액(Retroperitoneal Fluid), 후복막임파선염(Retroperitoneal Lymphadenopath), 신장 무기화(Renal Mineralization), 신장 확대(Renomegaly), 신장 축소(Small Kidney), 방광 결석(Urinary Bladder Calculi), 요도 결석(Urethral Calculi), 전립선비대증(Prostatomegaly), 전립선 무기화(Prostatic Mineralization)를 포함하나 이에 제한되지는 않는다.
골격 및 흉부의 분야 내의 기술을 위한 어플리케이션은: 경추 디스크 공간 협착 척추증(Cervical Disc Space Narrowing Spondylosis), 흉요 디스크 공간 협착증(Thoracolumbar Disk Space Narrowing), 간질 패턴(Interstitial Pattern), 기관지 간질 패턴(Bronchointerstitial Pattern), 기관지 패턴(Bronchial Pattern), 폐종괴(Pulmonary Mass), 사지 골절(Appendicular Fracture), 어그레시브 뼈 병변(Aggressive Bone Lesion)을 포함하나 이에 제한되지는 않는다.
방사선학의 분야 내의 기술을 위한 어플리케이션은: 폐암(Lung Cancer), 결장암(Colon Cancer), 직장암(Colorectal Cancer), 자궁경부암(Cervical Cancer), 위암(Gastric Cancer), 방광암(Bladder Cancer), 간암(Liver Cancer), 간장 맥관암(Hepatic Vessel Cancer), 부신암(Adrenal Gland Cancer), 신장암(Renal Cancer), 췌장암(Pancreatic Cancer), 갑상선암(Thyroid Cancer), 유선암(Mammary Cancer), 난소상피암(Ovarian Cancer), 전립선암(Prostate Cancer), 편평세포암종(Squamous Cell Carcinoma), 기저세포암(Basal Cell Carcinoma), 흑색종(Melanoma), 멜라닌 세포성 모반(Melanocytic Nevus), 광선각화증(Actinic Keratosis), 양성 각화증(Benign Keratosis), 섬유종(Dermatofibroma), 혈관 병변(Vascular Lesions), 식도선암종(Oesophageal Adenocarcinoma), 신경모세포종(Neuro-Blastoma), 골관절염(Osteo Arthritis), 갈비뼈 골절(Rib Fractures), 구조신경손상(Structural Nerve Damage), 척추측만증(Scoliosis), 척추 골절(Vertebral Fracture), 탈출추간판(Herniated Disc), 폐렴(Pneumonia), 기흉(Pneumothorax), 폐 환기(Lung Ventilation), 코비드-19(Covid-19)을 포함하나 이에 제한되지는 않는다.
신경학의 분야 내의 기술을 위한 어플리케이션은: 경도인지 장애(Mild Cognitive Impairment), 외상성 뇌손상(Traumatic Brain Injury), 뇌진탕(Concussions), 알츠하이머 병(Alzheimer's Disease), 치매(Dementia), 파킨슨병(Parkinson's Disease), 발작 장애(Stroke Lesions), 다발성 경화증(Multiple Sclerosis), 뇌종양(Brain Tumors), 두개내출혈(Intracranial Hemorrhage), 퇴행성요청추부협착증(Degenerative Lumbosacral Stenosis), 퇴행성척수증(Degenerative Myelopathy), 미만성특발성골격뼈과다증(Diffuse Idiopathic Skeletal Hyperostosis), 추간판질환(Intervetrebal Disk Disease)을 포함하나 이에 제한되지는 않는다.
조직병리학의 분야 내의 기술을 위한 어플리케이션은: 종양 확산(Tumor Proliferation), 핵 아티피아 스코어(Nuclear Atypia Score), 인환세포탐지(Signet Ring Cell Detection), 다발성 골수악성종양(Multiple Myloma), 기형(Abnormality), 세그멘테이션(Segmentation), 림프구(Lymphocytes), 대식세포(Macrophages), 호중구(Neutrophils), 상피(Epithelials), 미토콘드리아 세그멘테이션(Mitochondrial Segmentation), 정상 vs 베닝 vs 악성 백혈구 암 분석(Normal vs Bening vs Malignant White Cell Cancer Analysis), 전이 조직(Metastasis Tissue), 면역 개재(Immune Mediated), 용혈성 빈혈(Hemolytic Anemia), 면역 개재된 혈소판감소증(immune mediated thrombocytopenia), 악성 빈혈(Anaplastic Anemia), 항체의존(Antibody-Dependent), 세포 독성(Cellular Cytotoxicity), 선암종(Adenocarcinoma), 비정형 샘세포(Atypical Glandular Cells) 및 림프종(Lymphoma)을 포함하나 이에 제한되지는 않는다.
안과의 분야 내의 기술을 위한 어플리케이션은: 안질환(Ocular Disease), 안구 출혈(Optical Hemorrhage), 안구 팽창 및 미세동맥류(Optical Anuerisms & Microanuerisms), 경성삼출물(Hard Exudates), 연성삼출물(Soft Exudates), 망막 기저 질환(Retinal Fundus Disease), 당뇨망막병증(Diabetic Retinopathy), 실명(Blindness), 황반변성(Macular Degeneration), 녹내장(Glaucoma), 시신경변위(Optic Disc Displacement), 캐터랙트(Cataracts), 결막하 출혈(Subconjunctival hemorrhage), 약시(Ambylopia), 사시증(Strabismus), 결막염(Conjunctivitis) 및 원추각막(Keratoconus)을 포함하나 이에 제한되지는 않는다.
Claims (20)
- 포유류 트랜스퍼 러닝(transfer learning)을 사용한 의학적 이미지 분석을 위한 뉴럴 네트워크를 트레이닝하기 위한 방법에 있어서,
(a) 프로세서가, 하나 이상의 비교 데이터 세트(dataset) - 상기 하나 이상의 비교 데이터 세트 각각은 종에 관련되는 레이블링된 이미지 데이터를 포함함 - 을 수신하는 단계;
(b) 상기 프로세서가, 상기 하나 이상의 비교 데이터 세트를 기반으로 하여 혼합된 도메인 데이터 세트를 생성하는 단계;
(c) 상기 혼합된 도메인 데이터 세트의 다수의 이미지 각각에 대해:
(i) 상기 프로세서가, 상기 이미지 내의 다수의 청크(chunk) - 상기 다수의 청크 각각의 크기는 상기 이미지의 소스(source)의 종을 난독화(obfuscate)하기 위해 선택됨 - 를 정의하는 단계;
(ii) 상기 프로세서가, 상기 이미지의 상기 다수의 청크 및 관련된 임의의 레이블을 혼합된 도메인 트레이닝 데이터 세트에 더하는 단계;
(d) 상기 프로세서가, 상기 뉴럴 네트워크(neural network)와 함께,
(i) 상기 혼합된 도메인 트레이닝 세트 및 상기 관련된 레이블을 기반으로 하여 타겟 종으로부터 케이스 스터디(case study)의 의학적 특징을 식별 - 상기 하나 이상의 비교 데이터 세트의 상기 하나 이상의 종은 상기 타겟 종과 다른 적어도 하나의 종을 포함함 - 하도록 상기 뉴럴 네트워크를 트레이닝시키는 단계;
(ii) 상기 혼합된 도메인 데이터 세트로부터 선택된 검증 데이터 세트를 기반으로 하여 상기 트레이닝된 뉴럴 네트워크를 검증하는 단계;
(e) 상기 프로세서가, 상기 트레이닝되고 검증된 뉴럴 네트워크를 기반으로 체크포인트(checkpoint)를 생성하는 단계;
를 포함하는 방법. - 제1항에 있어서,
상기 관련된 레이블은:
(a) 상기 청크의 픽셀을 기술하는 픽셀 당 특징의 세트; 또는
(b) 상기 청크의 복셀(voxel)을 기술하는 복셀 당 특징의 세트 중 하나를 포함하는 방법. - 제1항에 있어서,
상기 하나 이상의 비교 데이터 세트는 상기 타겟 종과 관련된 제1 비교 데이터 세트 및 상기 타겟 종과 다른 종에 관련된 제2 비교 데이터 세트를 포함하는 방법. - 제1항에 있어서,
상기 다수의 이미지는, 2차원 이미지, 3차원 이미지 및 4차원 이미지 중 하나 이상을 포함하는 방법. - 제1항에 있어서,
상기 프로세서는,
(a) 직접적으로 또는 네트워크를 통해 서로 통신하는 하나 이상의 중앙 프로세싱 유닛; 및
(b) 직접적으로 또는 네트워크를 통해 서로 통신하는 하나 이상의 그래픽 프로세싱 유닛;
중 하나 이상을 포함하는 방법. - 제1항에 있어서,
(a) 상기 프로세서가, 사용자 단말로부터의 상기 케이스 스터디 - 상기 케이스 스터디는 환자와 관련된 의학적 이미지의 세트를 포함함 - 를 수신하는 단계;
(b) 상기 프로세서가, 상기 의학적 이미지의 세트 내에 제2 다수의 청크 - 상기 제2 다수의 청크 각각의 크기는 상기 환자의 종을 난독화하기 위해 선택됨 - 를 정의하는 단계;
(c) 상기 프로세서가, 상기 의학적 이미지의 세트 내의 상기 의학적 특징을 식별하도록, 상기 체크포인트를 사용하여 상기 제2 다수의 부분을 분석하는 단계;
(d) 상기 프로세서가, 상기 의학적 이미지의 세트 내에서 상기 의학적 특징의 증상을 제공하는 단계;
를 더 포함하는 방법. - 제6항에 있어서,
상기 의학적 이미지의 세트 내에서 상기 의학적 특징의 증상을 제공하는 단계는,
(a) 상기 프로세서가, 상기 의학적 이미지의 세트 중 적어도 하나의 의학적 이미지를 상기 사용자 단말 상에 표시하도록 야기하는 단계; 및
(b) 상기 프로세서가, 상기 의학적 특징의 상기 증상을 포함하는 히트맵(heatmap)을 적어도 하나의 의학적 이미지와 함께 표시하도록 야기하는 단계;
를 포함하는 방법. - 제1항에 있어서,
(a) 상기 하나 이상의 비교 데이터 세트 각각은, 종과 관련된 레이블링된 이미지 데이터 및 하나 이상의 문제 클래스 - 상기 하나 이상의 문제 클래스는 하나 이상의 의학적 이상 상태를 기술함 - 를 포함하고;
(b) 상기 하나 이상의 데이터 세트의 상기 하나 이상의 문제 클래스는 상기 의학적 특징을 기술하지 않는 적어도 하나의 문제 클래스를 포함하는 방법. - 제1항에 있어서,
상기 혼합된 도메인 데이터 세트로부터 선택된 테스팅 데이터 세트를 기반으로 상기 체크포인트를 테스팅하는 단계를 더 포함하되, 상기 테스팅 데이터 세트 및 상기 검증 데이터 세트는 상기 타겟 종과 관련된 방법. - 제1항에 있어서,
약 100 이포크(epoch) 내에서 상기 의학적 특징을 식별하도록 상기 뉴럴 네트워크를 트레이닝시키는 단계를 더 포함하는 방법. - 제1항에 있어서,
상기 하나 이상의 비교 데이터 세트는 인간과 관련된 제1 비교 데이터 세트를 포함하고, 상기 타겟 종은 인간 이외의 포유류의 클래스 내의 임의의 종인 방법. - 제1항에 있어서,
상기 하나 이상의 비교 데이터 세트는 약 10 에서 약 20 사이의 비교 데이터 세트를 포함하는 방법. - 포유류 트랜스퍼 러닝(transfer learning)을 사용하여 트레이닝되고 의학적 이미지 분석을 위해 구성된 뉴럴 네트워크를 포함하는 시스템에 있어서,
상기 시스템은,
(a) 하나 이상의 비교 데이터 세트(dataset) - 상기 하나 이상의 비교 데이터 세트 각각은 종에 관련되는 레이블링된 이미지 데이터를 포함함 - 을 수신하고;
(b) 상기 하나 이상의 비교 데이터 세트를 기반으로 하여 혼합된 도메인 데이터 세트를 생성하며;
(c) 상기 혼합된 도메인 데이터 세트의 다수의 이미지 각각에 대해:
(i) 상기 이미지 내의 다수의 청크(chunk) - 상기 다수의 청크 각각의 크기는 상기 이미지의 소스(source)의 종을 난독화(obfuscate)하기 위해 선택됨 - 를 정의하고;
(ii) 상기 이미지의 상기 다수의 청크 및 관련된 임의의 레이블을 혼합된 도메인 트레이닝 데이터 세트에 더하며;
(d) 상기 뉴럴 네트워크와 함께,
(i) 상기 혼합된 도메인 트레이닝 세트 및 상기 관련된 레이블을 기반으로 하여 타겟 종으로부터 케이스 스터디(case study)의 의학적 특징을 식별 - 상기 하나 이상의 비교 데이터 세트의 상기 하나 이상의 종은 상기 타겟 종과 다른 적어도 하나의 종을 포함함 - 하도록 상기 뉴럴 네트워크를 트레이닝시키고;
(ii) 상기 혼합된 도메인 데이터 세트로부터 선택된 검증 데이터 세트를 기반으로 하여 상기 트레이닝된 뉴럴 네트워크를 검증하며;
(e) 상기 트레이닝되고 검증된 뉴럴 네트워크를 기반으로 체크포인트(checkpoint)를 생성하도록 구성된 프로세서를 포함하는 시스템. - 제13항에 있어서,
상기 프로세서는,
(a) 직접적으로 또는 네트워크를 통해 서로 통신하는 하나 이상의 중앙 프로세싱 유닛; 및
(b) 직접적으로 또는 네트워크를 통해 서로 통신하는 하나 이상의 그래픽 프로세싱 유닛;
을 더 포함하는 시스템. - 제13항에 있어서,
상기 프로세서는,
(a) 사용자 단말로부터의 상기 케이스 스터디 - 상기 케이스 스터디는 환자와 관련된 의학적 이미지의 세트를 포함함 - 를 수신하고;
(b) 상기 의학적 이미지의 세트 내에 제2 다수의 청크 - 상기 제2 다수의 청크 각각의 크기는 상기 환자의 종을 난독화하기 위해 선택됨 - 를 정의하며;
(c) 상기 의학적 이미지의 세트 내의 상기 의학적 특징을 식별하도록, 상기 체크포인트를 사용하여 상기 제2 다수의 부분을 분석하고;
(d) 상기 의학적 이미지의 세트 내에서 상기 의학적 특징의 증상을 제공하도록 더 구성된 시스템. - 제15항에 있어서,
상기 의학적 이미지의 세트 내에서 상기 의학적 특징의 상기 증상을 제공할 때, 상기 프로세서는,
(a) 상기 의학적 이미지의 세트 중 적어도 하나의 의학적 이미지를 상기 사용자 단말 상에 표시하도록 야기하고;
(b) 상기 의학적 특징의 상기 증상을 포함하는 히트맵(heatmap)을 적어도 하나의 의학적 이미지와 함께 표시하도록 야기하도록 더 구성된 시스템. - 제13항에 있어서,
(a) 상기 하나 이상의 비교 데이터 세트 각각은, 종과 관련된 레이블링된 이미지 데이터 및 하나 이상의 문제 클래스 - 상기 하나 이상의 문제 클래스는 하나 이상의 의학적 이상 상태를 기술함 - 를 포함하고;
(b) 상기 하나 이상의 데이터 세트의 상기 하나 이상의 문제 클래스는 상기 의학적 특징을 기술하지 않는 적어도 하나의 문제 클래스를 포함하는 시스템. - 제13항에 있어서,
상기 프로세서는, 상기 혼합된 도메인 데이터 세트로부터 선택된 테스팅 데이터 세트를 기반으로 상기 체크포인트를 테스팅하도록 더 구성되되, 상기 테스팅 데이터 세트 및 상기 검증 데이터 세트는 상기 타겟 종과 관련된 시스템. - 제13항에 있어서,
(a) 상기 하나 이상의 비교 데이터 세트는 인간과 관련된 제1 비교 데이터 세트를 포함하고, 상기 타겟 종은 인간 이외의 포유류의 클래스 내의 임의의 종이고;
(b) 상기 하나 이상의 비교 데이터 세트는 약 10 에서 약 20 사이의 비교 데이터 세트를 포함하는 시스템. - 의학적 이미지 분석 방법에 있어서,
(a) 프로세서가, 원격 서버에 케이스 스터디(case study)를 제공하되:
(i) 상기 케이스 스터디는, 타겟 종의 환자와 관련되고 상기 환자와 관련된 의학적 이미지의 세트를 포함하고;
(ii) 상기 원격 서버는, 레이블링된 이미지 데이터를 포함하는 혼합된 도메인 트레이닝 세트를 기반으로 포유류 트랜스퍼 러닝(transfer learning)에 의해 트레이닝된 뉴럴 네트워크를 사용하여 상기 케이스 스터디의 의학적 특징을 식별하도록 구성되되, 상기 레이블링된 이미지 데이터는:
(A) 상기 타겟 종 이외의 적어도 하나의 종과 관련되고;
(B) 다수의 청크(chunk) 내에서 정의되되, 상기 다수의 청크 각각의 크기는 상기 이미지의 소스(source)의 종을 난독화(obfuscate)하기 위해 선택되며;
(b) 상기 프로세서가, 상기 원격 서버로부터 케이스 스터디 분석을 수신하는 단계를 포함하되, 상기 케이스 스터디 분석은:
(i) 상기 환자와 관련된 상기 의학적 이미지의 세트; 및
(ii) 상기 의학적 이미지의 세트에 의해 보여진 상기 의학적 특징을 기술하는 분석 데이터 세트를 포함하고;
(c) 상기 프로세서가 디스플레이를 통해, 상기 의학적 이미지의 세트의 적어도 부분 및 상기 부분 상의 시각적 오버레이 - 상기 시각적 오버레이는 상기 분석 데이터 세트를 기반으로 함 - 를 표시하는 단계;
를 포함하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062987441P | 2020-03-10 | 2020-03-10 | |
| US62/987,441 | 2020-03-10 | ||
| PCT/US2021/021770 WO2021183684A1 (en) | 2020-03-10 | 2021-03-10 | System and methods for mammalian transfer learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220152557A true KR20220152557A (ko) | 2022-11-16 |
Family
ID=77663732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227034759A KR20220152557A (ko) | 2020-03-10 | 2021-03-10 | 포유류 트랜스퍼 러닝을 위한 시스템 및 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11705245B2 (ko) |
| EP (1) | EP4100876A4 (ko) |
| JP (1) | JP2023517076A (ko) |
| KR (1) | KR20220152557A (ko) |
| CN (1) | CN115298702A (ko) |
| AU (1) | AU2021236148A1 (ko) |
| CA (1) | CA3170780A1 (ko) |
| WO (1) | WO2021183684A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102166835B1 (ko) * | 2019-10-28 | 2020-10-16 | 주식회사 루닛 | 신경망 학습 방법 및 그 장치 |
| US11551432B1 (en) | 2021-07-16 | 2023-01-10 | The Government of the United States of America, as represented by the Secretary of Homeland Security | System and method for training an artificial intelligence (AI) classifier of scanned items |
| US11379693B1 (en) * | 2021-07-16 | 2022-07-05 | The Government of the United States of America, as represented by the Secretary of Homeland Security | System and method of new understandable training for AI as applied to electromagnetic sensor detection |
| CN114512239B (zh) * | 2022-02-25 | 2022-11-11 | 国家康复辅具研究中心 | 基于迁移学习的脑卒中风险预测方法及*** |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503825B2 (en) | 2004-05-06 | 2013-08-06 | Christopher L. Kavanau | Method and system for aligning and classifying images |
| CA2652232A1 (en) * | 2005-07-11 | 2007-01-18 | Suomen Punainen Risti, Veripalvelu | Novel carbohydrate profile compositions from human cells and methods for analysis and modification thereof |
| CA2667137A1 (en) * | 2005-11-08 | 2007-05-18 | Suomen Punainen Risti, Veripalvelu | Novel carbohydrate profile compositions from human cells and methods for analysis and modification thereof |
| US8340437B2 (en) | 2007-05-29 | 2012-12-25 | University Of Iowa Research Foundation | Methods and systems for determining optimal features for classifying patterns or objects in images |
| WO2010124257A2 (en) * | 2009-04-24 | 2010-10-28 | Colby Pharmaceutical Company | Methods and kits for determining oxygen free radical (ofr) levels in animal and human tissues as a prognostic marker for cancer and other pathophysiologies |
| WO2012021969A1 (en) * | 2010-08-16 | 2012-02-23 | Mount Sinai Hospital | Markers of the male urogenital tract |
| CA2812194C (en) * | 2010-09-17 | 2022-12-13 | President And Fellows Of Harvard College | Functional genomics assay for characterizing pluripotent stem cell utility and safety |
| SG10201608234UA (en) * | 2012-04-02 | 2016-11-29 | Berg Llc | Interrogatory cell-based assays and uses thereof |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| EP3935581A4 (en) * | 2019-03-04 | 2022-11-30 | Iocurrents, Inc. | DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING |
| WO2020180887A1 (en) * | 2019-03-04 | 2020-09-10 | Iocurrents, Inc. | Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence |
-
2021
- 2021-03-10 US US17/197,379 patent/US11705245B2/en active Active
- 2021-03-10 CN CN202180020781.9A patent/CN115298702A/zh active Pending
- 2021-03-10 WO PCT/US2021/021770 patent/WO2021183684A1/en unknown
- 2021-03-10 KR KR1020227034759A patent/KR20220152557A/ko unknown
- 2021-03-10 EP EP21766821.9A patent/EP4100876A4/en active Pending
- 2021-03-10 AU AU2021236148A patent/AU2021236148A1/en active Pending
- 2021-03-10 JP JP2022554281A patent/JP2023517076A/ja active Pending
- 2021-03-10 CA CA3170780A patent/CA3170780A1/en active Pending
-
2023
- 2023-06-13 US US18/209,126 patent/US20230326592A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021183684A1 (en) | 2021-09-16 |
| CN115298702A (zh) | 2022-11-04 |
| JP2023517076A (ja) | 2023-04-21 |
| EP4100876A1 (en) | 2022-12-14 |
| CA3170780A1 (en) | 2021-09-16 |
| EP4100876A4 (en) | 2024-02-28 |
| AU2021236148A1 (en) | 2022-10-13 |
| US20210287045A1 (en) | 2021-09-16 |
| US20230326592A1 (en) | 2023-10-12 |
| US11705245B2 (en) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mazurowski et al. | Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI | |
| Altaf et al. | Going deep in medical image analysis: concepts, methods, challenges, and future directions | |
| Sahiner et al. | Deep learning in medical imaging and radiation therapy | |
| US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
| AU2019449137B2 (en) | sCT image generation using cyclegan with deformable layers | |
| US11705245B2 (en) | System and methods for mammalian transfer learning | |
| JP2021521993A (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| Benjelloun et al. | Automated breast tumor segmentation in DCE-MRI using deep learning | |
| Shahajad et al. | Features extraction for classification of brain tumor MRI images using support vector machine | |
| Mo et al. | Iterative 3D feature enhancement network for pancreas segmentation from CT images | |
| Yang et al. | Automatic brain tumor segmentation with contour aware residual network and adversarial training | |
| Li et al. | S 3 egANet: 3D spinal structures segmentation via adversarial nets | |
| La Rosa | A deep learning approach to bone segmentation in CT scans | |
| Tempelaere et al. | Synthetic data for X-ray CT of healthy and disordered pear fruit using deep learning | |
| Manzanera et al. | Patient-specific 3d cellular automata nodule growth synthesis in lung cancer without the need of external data | |
| Thaler et al. | Efficient multi-organ segmentation using spatialconfiguration-net with low GPU memory requirements | |
| Bragman et al. | Quality control in radiotherapy-treatment planning using multi-task learning and uncertainty estimation | |
| Zavalsız et al. | Pancreatic tumor detection by convolutional neural networks | |
| Waseem Sabir et al. | FibroVit—Vision transformer-based framework for detection and classification of pulmonary fibrosis from chest CT images | |
| Alves et al. | Uncertainty-Guided Self-learning Framework for Semi-supervised Multi-organ Segmentation | |
| Iriawan et al. | YOLO‐UNet Architecture for Detecting and Segmenting the Localized MRI Brain Tumor Image | |
| Johansen et al. | Medical image segmentation: A general u-net architecture and novel capsule network approaches | |
| Hesamian | Lung Nodule Detection, Classification and Segmentation via Deep Learning | |
| Xia et al. | MFA‐ICPS: Semi‐supervised medical image segmentation with improved cross pseudo supervision and multi‐dimensional feature attention | |
| Wang | AI Adoption in Real-World Clinical Neuroimaging Applications: Practical Challenges and Solutions |