KR102429534B1 - 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 - Google Patents
대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR102429534B1 KR102429534B1 KR1020200144411A KR20200144411A KR102429534B1 KR 102429534 B1 KR102429534 B1 KR 102429534B1 KR 1020200144411 A KR1020200144411 A KR 1020200144411A KR 20200144411 A KR20200144411 A KR 20200144411A KR 102429534 B1 KR102429534 B1 KR 102429534B1
- Authority
- KR
- South Korea
- Prior art keywords
- sub
- image
- images
- inference result
- inference
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000015654 memory Effects 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 24
- 230000010365 information processing Effects 0.000 claims description 23
- 230000001575 pathological effect Effects 0.000 description 53
- 238000013528 artificial neural network Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 11
- 201000011510 cancer Diseases 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 9
- 230000007170 pathology Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000004698 lymphocyte Anatomy 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- COHYTHOBJLSHDF-UHFFFAOYSA-N Indigo Chemical compound N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 210000005260 human cell Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000000225 synapse Anatomy 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000003719 b-lymphocyte Anatomy 0.000 description 1
- 210000003651 basophil Anatomy 0.000 description 1
- 210000001772 blood platelet Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000001151 cytotoxic T lymphocyte Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000003979 eosinophil Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000002443 helper t lymphocyte Anatomy 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003071 memory t lymphocyte Anatomy 0.000 description 1
- 210000001616 monocyte Anatomy 0.000 description 1
- 210000000581 natural killer T-cell Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000440 neutrophil Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000003289 regulatory T cell Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
본 개시는 대상 이미지에 대한 추론 작업을 수행하는 방법에 관한 것이다. 이 방법은, 대상 이미지를 복수의 서브 이미지로 분할하는 단계, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성하는 단계, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계 및 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계를 포함할 수 있다.
Description
본 개시는 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템에 관한 것으로, 보다 구체적으로, 대상 이미지 내의 복수의 서브 이미지에 대한 추론 결과를 이용하여 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템을 제공하는 것이다.
최근 프로세서, 메모리 및 카메라 등의 하드웨어가 급속히 발전됨에 따라, 인공지능(AI) 기술이 발전되고 각광받고 있다. 예를 들어, 이러한 AI 기술을 이미지 처리 분야에 적용하는 연구가 활발히 이루어지고 있다. 특히, 조직 샘플에 대한 병리 슬라이드 이미지를 분석하는 분야에 AI 기술이 활용되고 있다. 예를 들어, 병리 슬라이드 이미지를 객체 탐지 모델에 입력하여, 병리 슬라이드 이미지 내에 포함된 세포, 조직 및/또는 스트럭처 영역을 분류할 수 있다.
한편, 병리 슬라이드 이미지는 고해상도 및 고용량의 이미지로, 병리 슬라이드 이미지를 바로 사용하여 추론 작업을 수행하기 위해서는 고용량 및 고비용의 계산 리소스와 메모리를 필요로 한다는 문제가 있다. 이를 보완하기 위해, 병리 슬라이드 이미지를 복수의 이미지로 분할하여 복수의 분할 이미지에 대한 추론 작업이 수행될 수 있다. 그리고 나서, 병리 슬라이드 이미지에 대한 추론 작업을 완료하기 위하여, 복수의 분할 이미지에 대한 추론 작업을 병합하는 것이 필요할 수 있다. 병리 슬라이드 이미지를 분할하여 각각 추론 작업을 수행했기 때문에, 복수의 분할 이미지 사이의 분할선 부근에서의 추론 작업의 결과값이 정확하지 않을 수 있다. 예를 들어, 복수의 분할 이미지 사이의 분할선 부근에서 추론 결과물이 끊어지는 듯한 현상이 발생할 수 있다. 이러한 분할선 부근의 추론 결과의 부정확성은 병리 슬라이드 전체에 대한 추론 성능을 저하시킬 수 있다.
본 개시는 상기와 같은 문제점을 해결하기 위한 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템을 제공한다.
본 개시는 방법, 장치, 시스템(예: 서버 시스템, 클라우드 시스템 등) 또는 명령어들을 저장하는 컴퓨터 판독가능 저장 매체, 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법은 대상 이미지를 복수의 서브 이미지로 분할하는 단계, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성하는 단계, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계 및 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계를 포함한다.
일 실시예에 따르면, 대상 이미지를 복수의 서브 이미지로 분할하는 단계는, 복수의 서브 이미지에 포함된 제1 이미지의 일부가 제1 이미지와 인접한 제2 이미지의 일부와 오버랩(overlap)되도록 분할하는 단계를 포함한다.
일 실시예에 따르면, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계는, 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용하는 단계를 포함한다.
일 실시예에 따르면, 이중 선형 가중치는 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법(bilinear interpolation)을 위해 사용되는 가중치로서, 복수의 픽셀의 각각에 대응하는 값으로 산출된다.
일 실시예에 따르면, 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 단계는, 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합하는 단계를 포함한다.
일 실시예에 따르면, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하는 단계는, 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계 및 결정된 클래스를 포함하는 추론 결과를 생성하는 단계를 포함하고, 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스이다.
일 실시예에 따르면, 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계는, 분할된 복수의 서브 이미지의 각각을 세그멘테이션(segmentation) 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력하는 단계를 포함한다.
일 실시예에 따르면, 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는, 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정하는 단계를 포함한다.
일 실시예에 따르면, 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는, 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성하는 단계를 더 포함한다.
일 실시예에 따르면, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 단계는, 복수의 채널 각각에 가중치를 적용하는 단계를 포함한다.
다른 실시예에 따르면, 하나 이상의 인스트럭션(instructions)을 저장하는 메모리, 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 대상 이미지를 복수의 서브 이미지로 분할하고, 상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하고, 상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하고, 상기 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하도록 구성된 프로세서를 포함한다.
본 개시의 일부 실시예에서, 프로세서가 대상 이미지로부터 분할된 복수의 서브 이미지 각각에 대한 추론 결과를 생성하고, 생성된 각 추론 결과에 가중치를 동일 또는 상이하게 적용할 수 있다. 그리고 나서, 가중치가 적용된 추론 결과를 병합함으로써 대상 이미지에 대한 추론 작업을 수행할 수 있다. 이러한 가중치는, 이러한 병합에 따른 복수의 서브 이미지 사이의 분할선 사이에 생겨날 수 있는 추론 결과의 성능 저하를 방지하도록 결정될 수 있고, 이 결과, 대상 이미지의 추론 결과에 대한 성능이 유지되거나 향상될 수 있다.
본 개시의 일부 실시예에서, 대상 이미지에 포함된 복수의 서브 이미지 각각에 대한 추론 결과에 이중 선형 가중치를 적용하여 병합함으로써, 복수의 서브 이미지에 대한 추론 결과 사이의 경계선에서 최종 추론 결과물이 끊어지는 듯한 오류를 방지할 수 있으며, 최종 추론 결과물이 흐려지는 등의 결과물 손실을 방지할 수 있다. 즉, 대상 이미지에 대한 추론 작업에 대한 성능을 더욱 향상시킬 수 있다.
본 개시의 일부 실시예에서, 추론 작업 속도, 계산 리소스, 메모리, 추론 성능 등을 고려하여, 대상 이미지에 포함된 복수의 서브 이미지가 서로 인접한 서브 이미지와 오버랩되는 영역의 크기를 결정할 수 있다. 즉, 하드웨어 또는 리소스 환경에 따라 오버랩되는 영역의 크기를 결정함으로써, 최적의 추론 작업에 대한 성능이 달성될 수 있다.
본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시에 속하는 기술 분야에서 통상의 지식을 가진 자(이하, '통상의 기술자'라 함)에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 정보 처리 시스템이 대상 이미지에 대한 추론 작업을 수행하는 예시도이다.
도 2는 본 개시의 일 실시예에 따른 프로세서의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법을 나타내는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시도이다.
도 5는 본 개시의 일 실시예에 따른 대상 이미지를 복수의 서브 이미지로 분할하는 예시도이다.
도 6은 본 개시의 일 실시예에 따른 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성하는 예시도이다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 모델을 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따른 대상 이미지 및 서브 이미지로서, 병리 슬라이드 이미지 및 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 예시도이다.
도 9는 본 개시의 실시예들에 따른 두 개의 서브 이미지에 대한 추론 결과의 병합으로 생성되는 대상 이미지에 대한 추론 결과의 예시도이다.
도 10은 본 개시의 실시예들에 따른 복수의 패치에 대한 추론 결과의 병합으로 생성되는 병리 슬라이드 이미지에 대한 추론 결과의 예시도이다.
도 11은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시적인 시스템 구성도이다.
도 1은 본 개시의 일 실시예에 따른 정보 처리 시스템이 대상 이미지에 대한 추론 작업을 수행하는 예시도이다.
도 2는 본 개시의 일 실시예에 따른 프로세서의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법을 나타내는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시도이다.
도 5는 본 개시의 일 실시예에 따른 대상 이미지를 복수의 서브 이미지로 분할하는 예시도이다.
도 6은 본 개시의 일 실시예에 따른 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성하는 예시도이다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 모델을 나타내는 예시도이다.
도 8은 본 개시의 일 실시예에 따른 대상 이미지 및 서브 이미지로서, 병리 슬라이드 이미지 및 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 예시도이다.
도 9는 본 개시의 실시예들에 따른 두 개의 서브 이미지에 대한 추론 결과의 병합으로 생성되는 대상 이미지에 대한 추론 결과의 예시도이다.
도 10은 본 개시의 실시예들에 따른 복수의 패치에 대한 추론 결과의 병합으로 생성되는 병리 슬라이드 이미지에 대한 추론 결과의 예시도이다.
도 11은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시적인 시스템 구성도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만 '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.
본 개시에서, '대상 이미지' 및 '서브 이미지'는 기계학습 모델의 학습 및/또는 추론에 사용될 수 있는 임의의 이미지 데이터 또는 이미지 데이터 아이템을 지칭할 수 있다. 여기서, '대상 이미지' 및 '서브 이미지'로서 병리 슬라이드 이미지의 전체 및/또는 병리 슬라이드 이미지에 포함된 복수의 패치를 이용하여 설명하고 있으나, 이는 한정되지 않으며, 기계 학습 모델의 학습에 사용될 수 있는 임의의 데이터가 '대상 이미지' 및 '서브 이미지'에 해당될 수 있다. 또한, '서브 이미지'는 '대상 이미지'로부터 추출한 일부 이미지를 지칭할 수 있다. 예를 들어, '대상 이미지'가 병리 슬라이드 이미지인 경우, '서브 이미지'는 병리 슬라이드 이미지에 포함된 복수의 패치일 수 있다. 대안적으로, '대상 이미지'가 병리 슬라이드 이미지에 포함된 패치인 경우, '서브 이미지'는 대상 이미지에 해당하는 패치의 일부를 지칭할 수 있으며, 즉, 대상 이미지에 해당하는 패치보다 작은 크기의 패치일 수 있다.
본 개시에서, '픽셀'은 대상 이미지 및/또는 서브 이미지 내에 포함된 픽셀을 지칭할 수 있다. 예를 들어, 픽셀은 하나의 픽셀을 지칭할 수 있다. 다른 예로서, 픽셀은 복수의 픽셀, 즉, 하나의 픽셀 그룹을 지칭할 수 있다.
본 개시에서, '병리 슬라이드 이미지'란, 인체에서 떼어낸 조직 등을 현미경으로 관찰하기 위해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 가리킨다. 여기서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고 해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 예를 들어, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 스트럭처(structure)에 대한 정보를 포함할 수 있다. 또한, 병리 슬라이드 이미지는 하나 이상의 패치를 포함할 수 있다. 본 개시에서, '패치'는 병리 슬라이드 이미지 내의 작은 영역을 지칭할 수 있다. 예를 들어, 패치는 병리 슬라이드 이미지에 대해 세그멘테이션을 수행하기 위해, 병리 슬라이드 이미지를 분할하여 생성한 서브 이미지를 지칭할 수 있다. 대안적으로, 패치는 병리 슬라이드 이미지에 대해 세그멘테이션을 수행함으로써 추출된 의미론적 객체에 대응하는 영역을 포함할 수 있다.
본 개시에서, '인공신경망 모델'은 기계학습 모델의 일 예로서, 주어진 입력에 대한 답을 추론하는 데 사용하는 임의의 모델을 포함할 수 있다. 일 실시예에 따르면, 인공신경망 모델은 입력 레이어(층), 복수 개의 은닉 레이어 및 출력 레이어를 포함한 인공신경망 모델을 포함할 수 있다. 여기서, 각 레이어는 하나 이상의 노드를 포함할 수 있다. 예를 들어, 인공신경망 모델은 대상 이미지 및/또는 서브 이미지에 포함된 복수의 픽셀에 대해 클래스 정보를 추론하도록 학습될 수 있다. 또한, 인공신경망 모델은 인공신경망 모델에 포함된 복수의 노드와 연관된 가중치를 포함할 수 있다. 여기서, 가중치는 인공신경망 모델과 연관된 임의의 파라미터를 포함할 수 있다.
본 개시에서, '클래스(class)' 및 '클래스 정보'는 패치 내의 세포(cell), 조직(tissue) 및/또는 스트럭처(structure)에 대한 분류화된 정보를 지칭할 수 있다. 예를 들어, 클래스 및 클래스 정보는 보조 T 세포(helper T cell), 세포독성 T 세포(killer T cell), 자연 살해 T 세포(natural killer T cell), 기억 T 세포(memory T cell), 조절 T 세포(suppressor T cell) 및 B 세포(B cell) 등의 림프구, 호중구, 호산구, 호염기구, 단핵구, 적혈구, 혈소판 등의 객체를 나타낼 수 있다. 예를 들어, 프로세서는 대상 이미지 및/또는 서브 이미지에서 림프구에 해당하는 영역의 픽셀을 림프구 클래스로 결정할 수 있다.
본 개시에서, '복수의 A의 각각' 또는 '복수의 A 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다. 예를 들어, 복수의 서브 이미지의 각각은, 복수의 서브 이미지에 포함된 모든 서브 이미지의 각각을 지칭하거나 복수의 서브 이미지에 포함된 일부 서브 이미지의 각각을 지칭할 수 있다. 본 개시에서, '복수의 서브 이미지의 각각에 포함된 복수의 픽셀'은 각각의 서브 이미지들이 복수의 픽셀을 포함함을 의미할 수 있다.
본 개시에서, '추론 결과'는 프로세서에서 출력되는 데이터 자체 및/또는 출력된 데이터를 기초로 이미지 상에 표시되는 정보를 지칭할 수 있다. 추론 결과는 출력(output)이라고 칭할 수도 있다. 일 실시예에서, 추론 결과는, 프로세서로부터 출력되는 데이터를 기초로 대상 이미지 및/또는 서브 이미지에 각 클래스를 나타내는 영역 표지, 도형 표지, 색체 표지, 텍스트 등과 같은 다양한 시각적 표지가 표시된 것을 지칭할 수 있다. 다른 실시예에서, 추론 결과는, 복수의 픽셀 각각에 대한 클래스를 나타내는 값을 포함하는 행렬, 벡터 또는 어레이(array)를 지칭할 수 있다. 예를 들어, 정상 세포 클래스를 나타내는 값이 0이고, 암 기질(cancer stroma) 클래스를 나타내는 값이 1이고, 암 상피(cancer epithelium) 클래스를 나타내는 값이 2인 경우, 2X2의 픽셀에 대한 추론 결과는 
로 나타낼 수 있다. 또 다른 실시예에서, 추론 결과는 복수의 클래스 각각과 대응되는 복수의 채널을 포함하고, 복수의 픽셀 각각에 대한 클래스에 따라 결정되는 복수의 채널에 대한 값을 포함할 수 있다. 예를 들어, 추론 결과는, 정상 세포 클래스와 대응되는 채널의 값인 
, 암 기질 클래스와 대응되는 채널의 값인 
, 암 상피 클래스와 대응되는 채널의 값인 
를 포함할 수 있다.
본 개시에서, '최종 추론 결과'는 대상 이미지에 대한 추론 결과를 지칭할 수 있는데, 예를 들어, 대상 이미지에 포함된 복수의 서브 이미지 각각에 대한 추론 결과들을 병합하여 생성될 수 있다.
본 개시에서, '이미지에 대한 추론 결과' 또는 '이미지의 추론 결과'는 이미지에 포함된 복수의 픽셀에 대한 추론 결과를 포함할 수 있다. 역으로, '복수의 픽셀에 대한 추론 결과'는 복수의 픽셀을 포함하는 이미지에 대한 추론 결과 또는 이미지의 추론 결과를 지칭할 수 있다.
본 개시에서, '가중치'는 대상 이미지에 포함된 복수의 서브 이미지 각각의 추론 결과가 대상 이미지에 대한 추론 결과를 생성할 시에 반영되는 정도를 나타내는 수치를 지칭할 수 있다. 예를 들어, 대상 이미지 내의 복수의 서브 이미지의 각각에 적용되는 가중치에 따라, 복수의 서브 이미지 각각에 대한 추론 결과가 대상 이미지에 대한 추론 결과, 즉 최종 추론 결과에 미칠 수 있는 영향력이 결정될 수 있다. 이러한 '가중치'는 픽셀 단위 또는 복수의 픽셀을 포함하는 픽셀 그룹 단위로 산출 및/또는 적용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 정보 처리 시스템(100)이 대상 이미지(130)에 대한 추론 작업을 수행하는 예시도이다. 도시된 바와 같이, 정보 처리 시스템(100)은 통신 모듈(110) 및 프로세서(120)를 포함할 수 있다. 정보 처리 시스템(100)은 통신 모듈(110)을 통해 추론 작업을 수행할 대상 이미지(130)를 수신할 수 있다. 여기서, 대상 이미지는 현미경으로 촬영된 이미지 또는 영상인 전체 슬라이드 이미지(Whole Slide Image; WSI)를 지칭할 수 있다. 예를 들어, 대상 이미지는 병리 슬라이드 이미지 또는 병리 슬라이드 이미지 내에 포함된 하나 이상의 패치를 포함할 수 있다.
프로세서(120)는 수신된 대상 이미지(130)에 대한 추론 작업을 수행할 수 있다. 한편, 프로세서(120)가 대상 이미지(130)를 그대로 사용하여 추론 작업을 수행하기 위해서는 고용량 및 고비용의 메모리 및 계산 리소스(resource)를 필요로 할 수 있다. 또한, 고해상도의 대상 이미지(130)를 그대로 사용하여 추론 작업을 수행하는 경우, 프로세서(120)의 작업 속도가 저하될 수 있다. 이러한 조건 하에서, 프로세서(120)는 추론 작업을 수행하기 전에 대상 이미지(130)를 복수의 서브 이미지로 분할할 수 있다.
프로세서(120)는 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 예를 들어, 프로세서(120)는 복수의 픽셀의 각각에 대한 클래스를 결정할 수 있다. 여기서, 클래스는 해당 대상 이미지(130)에서 구분하고자 하는 인체 내의 세포(cell), 조직(tissue), 스트럭처(structure) 등의 대상 객체를 의미할 수 있다. 일 실시예에서, 프로세서(120)는 추론 작업을 수행하기 위한 기계학습 모델을 포함할 수 있다. 예를 들어, 프로세서(120)는 분할된 복수의 서브 이미지의 각각을 세그멘테이션(segmentation) 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력할 수 있다.
프로세서(120)는 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 모두 병합하여, 대상 이미지(130)에 대한 최종 추론 결과(140)를 출력할 수 있다. 이 경우, 최종 추론 결과(140)는 복수의 서브 이미지에 대한 추론 결과들이 병합되어 생성된 것이므로, 복수의 서브 이미지의 경계선에서의 추론 결과들이 자연스럽게 연결되지 못할 수 있다. 예를 들어, 경계선 부근의 2개의 서브 이미지의 추론 결과가 전혀 상이할 경우, 경계선 부근에서의 추론 결과는 끊어지는 것과 같이 보일 수 있다. 이를 방지하기 위해, 프로세서(120)는 대상 이미지(130)를 복수의 서브 이미지로 분할할 때, 각각의 서브 이미지가 인접한 다른 서브 이미지와 일부 오버랩(overlap)되도록 분할할 수 있다. 또한, 프로세서(120)는 복수의 서브 이미지에 대한 추론 결과들이 오버랩되는 일부 영역에 가중치를 적용하고, 가중치가 적용된 추론 결과들을 병합하여 대상 이미지에 대한 최종 추론 결과를 생성할 수 있다.
프로세서(120)는 대상 이미지 내에서 복수의 서브 이미지에 대한 추론 결과들이 부드러운 경계를 갖는 최종 추론 결과(150)를 생성 및/또는 출력하기 위한 가중치를 산출할 수 있다. 일 실시예에 따르면, 프로세서(120)는 복수의 서브 이미지의 각각의 픽셀의 위치에 따라 가중치가 상이하게 설정될 수 있다. 예를 들어, 프로세서(120)는 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과들에 이중 선형 가중치(bilinear weight)를 적용할 수 있다. 다른 예로서, 복수의 서브 이미지에서 중심부에 가까운 픽셀에 대한 추론 결과에 적용될 가중치가 복수의 서브 이미지에서 가장 자리에 가까운 픽셀에 대한 추론 결과에 적용될 가중치보다 더 크도록 설정될 수 있다. 다른 실시예에 따르면, 프로세서(120)는 복수의 서브 이미지의 각각의 픽셀 중 적어도 일부 픽셀에 적용될 가중치는 상이하게 결정하고, 나머지 픽셀에 대해 동일한 가중치를 적용하도록 결정할 수 있다. 이렇게 결정된 가중치는 복수의 서브 이미지에 대한 추론 결과들에 적용될 수 있다.
도 2는 본 개시의 일 실시예에 따른 프로세서(120)의 내부 구성을 나타내는 블록도이다. 프로세서(120)는 이미지 분할 모듈(210), 추론 작업 수행 모듈(220) 및 추론 결과 병합 모듈(230)을 포함할 수 있다. 이미지 분할 모듈(210)은 대상 이미지를 복수의 서브 이미지로 분할할 수 있다. 여기서, 대상 이미지는 전체 슬라이드 이미지일 수 있고, 서브 이미지는 전체 슬라이드 이미지의 패치에 해당할 수 있다. 일 실시예에서, 이미지 분할 모듈(210)은, 복수의 서브 이미지가 인접한 다른 서브 이미지와 일부 오버랩되도록 대상 이미지를 분할할 수 있다. 예를 들어, 이미지 분할 모듈(210)은, 복수의 서브 이미지에 포함된 제1 이미지의 일부가 제1 이미지와 인접한 제2 이미지의 일부와 오버랩되도록 분할할 수 있다. 이에 따라, 하나의 서브 이미지이 사각형인 경우, 인접한 네 개의 서브 이미지가 존재할 수 있으며, 하나의 서브 이미지는 인접한 네 개의 서브 이미지 중 적어도 하나의 서브 이미지와 오버랩되도록 분할될 수 있다.
추론 작업 수행 모듈(220)은 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 일 실시예에서, 추론 작업 수행 모듈(220)은 복수의 픽셀의 각각에 대한 클래스를 결정할 수 있다. 예를 들어, 추론 작업 수행 모듈(220)은 분할된 복수의 서브 이미지의 각각을 세그멘테이션 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력할 수 있다. 여기서, 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스일 수 있다.
일 실시예에서, 추론 작업 수행 모듈(220)은 결정된 클래스를 포함하는 추론 결과를 생성할 수 있다. 예를 들어, 추론 작업 수행 모듈(220)은 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정할 수 있다. 추가적으로, 추론 작업 수행 모듈(220)은 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 집합(예: 어레이(array) 등)을 생성할 수 있다. 여기서, 생성된 어레이의 크기는, 복수의 서브 이미지의 각각의 폭(w), 복수의 서브 이미지의 각각의 높이(h) 및 복수의 채널의 크기(c)를 곱한 값(w*h*c)일 수 있다.
추론 결과 병합 모듈(230)은 복수의 픽셀에 대한 추론 결과에 가중치를 적용할 수 있다. 일 실시예에서, 추론 결과 병합 모듈(230)은 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용할 수 있다. 예를 들어, 이중 선형 가중치는 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법(bilinear interpolation)을 위해 사용되는 가중치로서, 복수의 픽셀의 각각에 대응하는 값으로 산출될 수 있다. 예를 들어, 이러한 이중 선형 가중치는 아래 수학식 1를 이용하여 산출될 수 있다. 다른 실시예에서, 추론 결과가 복수의 채널을 포함하는 경우, 추론 결과 병합 모듈(230)은 복수의 채널 각각에 가중치를 적용할 수 있다. 그리고 나서, 추론 결과 병합 모듈(230)은 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합할 수 있다. 일 실시예에서, 추론 결과 병합 모듈(230)은 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과를 병합할 수 있다. 즉, 추론 결과 병합 모듈(230)은 가중치가 적용된 각각 서브 이미지에 대한 추론 결과를 일부 오버랩하여 병합함으로써 최종 추론 결과를 산출할 수 있다.
일 실시예에서, 추론 결과 병합 모듈(230)은 최종 결과 및 최종 가중치 각각에 대한 어레이를 0으로 초기화하고, 이중 선형 가중치 어레이(bilinear weight array)를 생성할 수 있다. 그 후, 추론 결과 병합 모듈(230)은 각각의 서브 이미지(예를 들면, 패치)에 대한 추론 결과에 채널 별로 가중치를 곱한 결과를 초기화된 최종 결과 어레이에 더하고, 이중 선형 가중치를 최종 가중치 어레이에 더할 수 있다. 즉, 추론 결과 병합 모듈(230)은 대상 이미지에서의 복수의 서브 이미지의 위치 대로, 가중치가 적용된 복수의 서브 이미지에 대한 추론 결과를 배열하고, 가중치가 적용된 추론 결과들을 병합할 수 있다. 그리고 나서, 추론 결과 병합 모듈(230)은 최종 결과 어레이에서의 각 픽셀에 대한 값을 최종 가중치 어레이에서의 해당 픽셀에 대한 최종 가중치 값으로 나누어, 최종 추론 결과를 산출할 수 있다. 여기서, 최종 결과 어레이에서의 각 픽셀에 대한 값을 0으로 나누는 것을 방지하기 위해, 최종 가중치 값이 0보다 큰 경우에만 최종 가중치 값으로 나누거나, 최종 가중치 값에 매우 작은 수, 예를 들어, 엡실론(epsilon)을 더한 값으로 나눌 수 있다. 예를 들어, 추론 결과 병합 모듈(230)은 아래 수학식 1 내지 8을 기초로 최종 추론 결과를 산출할 수 있다.
위 수학식 1 및 2는 서브 이미지에 대한 추론 결과에 적용될 이중 선형 가중치를 결정하기 위한 수식을 나타낼 수 있다. 여기서, 수학식 1의 
는 각 서브 이미지에 대응하는 가중치 마스크(weight mask) 내의 각 픽셀에 대한 가중치 값을 의미할 수 있다. 여기서, 가중치 마스크는 서브 이미지 내의 픽셀의 각각에 적용될 가중치의 집합을 지칭할 수 있다.
또한, 
및 
는 각각 마스크의 가로 길이 및 세로 길이를 나타낼 수 있다. 수학식 1에서 표시된 바와 같이, 
는 0부터 
까지의 범위에서 하나의 값을 지칭할 수 있으며, 
는 0부터 
까지의 범위에서 하나의 값을 지칭할 수 있다. 이에 따라, 
는 가중치 마스크 내의 하나의 픽셀을 나타낼 수 있다. 또한, 수학식 2에서 표시된 바와 같이, 가중치 마스크의 바깥 영역에 포함된 픽셀에 대한 추론 결과에 적용될 가중치, 즉, 
는 모두 0으로 정의될 수 있다. 여기서, 가중치 마스크의 가로 길이 및 세로 길이는 각각 서브 이미지의 가로 길이 및 세로 길이와 동일할 수 있다.
여기서, 
은 서브 이미지의 갯수를 나타내고, 
는 
번째 서브 이미지의 추론 결과를 나타낸다. 수학식 3은 
번째 서브 이미지에서, 가중치 마스크가 적용되는 영역의 바깥 영역에 포함된 추론 결과, 즉, 
은 0으로 정의되는 것을 나타낼 수 있다.
여기서, 
, 
는 복수의 서브 이미지 중 
번째 서브 이미지의 좌상단 좌표를 나타내고, 
는 
번째 서브 이미지에 대한 추론 결과에 가중치를 적용한 결과를 나타낸다.
여기서, 
은 
번째 서브 이미지에 적용된 가중치 마스크를 나타낸다.
수학식 6에 도시된 바와 같이, 추론 결과 병합 모듈(230)은 가중치가 적용된 복수의 서브 이미지에 대한 추론 결과들을 합하여, 각각의 좌표(각각의 픽셀)에 대한 값(
)을 산출할 수 있다.
또한, 수학식 7에 도시된 바와 같이, 추론 결과 병합 모듈(230)은 각 서브 이미지들의 가중치 마스크를 합하여, 각각의 좌표에 대한 최종 가중치 값(
)을 산출할 수 있다.
그리고 나서, 수학식 8에 도시된 바와 같이, 추론 결과 병합 모듈(230)은 각각의 좌표에 대하여, 산출된 각각의 좌표에 대한 값(
)을 최종 가중치 값(
)으로 나누어 최종 추론 결과(
)를 산출할 수 있다. 여기서, 
(엡실론)은 매우 작은 수를 지칭하며, 예를 들어, 미리 정해진 값을 지칭할 수 있다.
도 3은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 방법(300)을 나타내는 흐름도이다. 일 실시예에서, 대상 이미지에 대한 추론 작업을 수행하는 방법(300)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 대상 이미지에 대한 추론 작업을 수행하는 방법(300)은 프로세서가 대상 이미지를 복수의 서브 이미지로 분할함으로써 개시될 수 있다(S310). 프로세서는, 복수의 서브 이미지에 포함된 제1 이미지의 일부가 제1 이미지와 인접한 제2 이미지의 일부와 오버랩되도록 분할할 수 있다. 여기서, 제1 이미지 및 제2 이미지는 각각 하나 이상의 서브 이미지일 수 있다.
그 후, 프로세서는 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성할 수 있다(S320). 일 실시예에서, 프로세서는 복수의 픽셀의 각각에 대한 클래스를 결정하고, 결정된 클래스를 포함하는 추론 결과를 생성할 수 있다. 여기서, 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스일 수 있다. 예를 들어, 프로세서는 분할된 복수의 서브 이미지의 각각을 세그멘테이션 기계학습 모델에 입력하여, 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력할 수 있다. 또한, 프로세서는 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정할 수 있다. 추가적으로, 프로세서는 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성할 수 있다.
프로세서는 생성된 복수의 픽셀에 대한 추론 결과에 가중치를 적용할 수 있다(S330). 일 실시예에서, 프로세서는 복수의 서브 이미지의 각각에 포함된 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용할 수 있다. 여기서, 이중 선형 가중치는 이중 선형 보간법(bilinear interpolation)을 통해 산출된, 각 픽셀에 대응하는 가중치를 포함할 수 있다. 일 실시예에서, 추론 결과가 복수의 채널을 포함하는 경우, 프로세서는 복수의 채널 각각에 가중치를 적용할 수 있다. 프로세서는 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합할 수 있다(S330). 일 실시예에서, 프로세서는 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합할 수 있다.
도 4는 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시도이다. 프로세서는 대상 이미지(410)에 대한 추론 작업을 수행하기 위해, 대상 이미지(410)를 복수의 서브 이미지(420)로 분할할 수 있다. 일 실시예에서, 프로세서는 작업 속도, 계산 리소스, 메모리 등을 기초로 복수의 서브 이미지(420)의 크기 및/또는 갯수를 결정하고, 결정된 서브 이미지(420)의 크기 및/또는 갯수를 기초로, 대상 이미지(410)를 복수의 서브 이미지(420)로 분할할 수 있다. 도 4에서는, 복수의 서브 이미지(520)의 각각의 크기가 동일한 것으로 도시되어 있으나, 이에 한정되지 않으며, 복수의 서브 이미지(520)의 적어도 일부의 이미지의 크기가 서로 상이할 수 있다.
프로세서는 분할된 복수의 서브 이미지(420) 각각에 대한 세그멘테이션을 수행하여, 복수의 서브 이미지(420)와 대응하는 복수의 추론 결과(430)를 생성할 수 있다. 일 실시예에서, 프로세서는 복수의 서브 이미지에 포함된 복수의 픽셀의 각각에 대한 클래스를 결정하고, 결정된 클래스를 포함하는 추론 결과를 생성할 수 있다. 여기서, 클래스는 복수의 객체(예를 들면, 각각의 세포, 조직 및/또는 스트럭처 등)를 나타내는 복수의 클래스 중 하나의 클래스일 수 있다. 도 4에서는 각 서브 이미지에 대한 추론 결과가 색채를 이용하여 표시되었으나, 이에 한정되지 않으며, 클래스를 나타내는 다양한 방식이 적용될 수 있다.
프로세서는 복수의 픽셀의 각각에 대한 클래스를 이용하여, 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정할 수 있다. 또한, 프로세서는 결정된 복수의 채널에 대한 값을 기초로, 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성할 수 있다. 여기서, 각각의 서브 이미지에 대한 추론 결과(430)는 결과는 타겟(target)이 되는 클래스의 수만큼의 채널을 가질 수 있다. 예를 들어, 프로세서가 서브 이미지에서 '암 세포' 와 '림프구 세포' 두 개의 클래스에 대한 세그멘테이션을 하는 경우, 추론 결과는 두 개의 채널을 가질 수 있다.
프로세서는 대상 이미지(410)에서의 복수의 서브 이미지(420) 각각의 위치대로 추론 결과들(430)을 배열하여 병합함으로써, 대상 이미지에 대한 최종 추론 결과(440)를 생성할 수 있다. 여기서, 대상 이미지(410)는 현미경으로 촬영된 영상인 전체 슬라이드 이미지일 수 있고, 전체 슬라이드 이미지는 유리 슬라이드에 조직을 올려놓은 영역(즉, 추론 작업을 수행할 대상인 조직 영역)과 올려놓지 않은 영역으로 구분될 수 있다. 대안적으로, 대상 이미지(410)는 전체 슬라이드 이미지 중 조직 영역에 해당하는 일부 이미지일 수 있다.
도 4에서는, 복수의 서브 이미지(420)가 대상 이미지(410)의 전체 영역을 커버하도록, 프로세서가 대상 이미지(410)를 복수의 서브 이미지(420)로 분할하고 있으나, 이에 한정되지 않는다. 예를 들어, 프로세서는 복수의 서브 이미지(420)가 대상 이미지(410)의 일부인 조직 영역을 커버하도록, 분할할 수 있다.
도 5는 본 개시의 일 실시예에 따른 대상 이미지(510)를 복수의 서브 이미지(520)로 분할하는 예시도이다. 일 실시예에서, 복수의 서브 이미지 각각에 대한 추론 결과를 병합함으로써 생성되는 최종 추론 결과의 성능을 더욱 향상시키기 위하여, 프로세서는 대상 이미지(510)를 복수의 서브 이미지(520)로 분할할 때, 각각의 서브 이미지가 인접한 다른 서브 이미지와 일부 오버랩되도록 분할할 수 있다. 일반적으로, 서브 이미지의 주변부가 중심부보다 수용 영역(receptive field)이 좁으므로, 세그멘테이션의 성능이 떨어질 수 있다.
프로세서는 복수의 서브 이미지(520)가 중복되는 영역(즉, 서로 인접한 서브 이미지와 오버랩되는 영역)을 갖도록 대상 이미지(510)를 분할함으로써, 대상 이미지(510)에 대한 세그멘테이션 성능을 향상시킬 수 있다. 예를 들어, 도시된 바와 같이, 프로세서는 대상 이미지의 서브 이미지인 제1 이미지(522)의 일부가 대상 이미지의 다른 서브 이미지인 제2 이미지(524)의 일부와 오버랩되도록 분할할 수 있다. 여기서, 제1 이미지(522) 및 제2 이미지(524)는 서로 인접한 서브 이미지일 수 있다. 예를 들어, 도 5의 대상 이미지(510) 내에서 도시된 바와 같이, 제1 이미지(522) 및 제2 이미지(524)를 포함한 네 개의 인접한 서브 이미지가 서로 중첩되도록 분할될 수 있다.
복수의 서브 이미지가 서로 오버랩되는 영역의 크기가 클수록 프로세서의 추론 성능이 향상될 수 있다. 그러나, 복수의 서브 이미지가 서로 오버랩되는 영역의 크기가 클수록, 프로세서는 더 큰 서브 이미지 및/또는 더 많은 서브 이미지를 처리해야 할 수 있다. 이에 따라, 프로세서는 작업 속도, 계산 리소스, 메모리, 추론 성능 등을 고려하여, 최적의 추론 성능이 도달할 수 있도록 복수의 서브 이미지가 서로 오버랩되는 영역의 크기를 결정할 수 있다. 프로세서는 이렇게 분할된 복수의 서브 이미지(520)의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다.
도 5에서는 대상 이미지(510)를 동일한 크기의 복수의 서브 이미지(520)로 분할하는 예시를 도시하고 있으나, 이에 한정되지 않고, 상이한 크기의 복수의 서브 이미지로 분할할 수 있다. 또한, 도 5에서 프로세서는, 복수의 서브 이미지(520) 각각이 인접한 다른 서브 이미지와 오버랩되는 영역의 크기가 동일하도록 대상 이미지(510)를 분할하고 있으나, 이에 한정되지 않고, 오버랩되는 영역의 크기가 상이하도록 대상 이미지(510)를 분할할 수 있다. 또한, 도 5에서 대상 이미지(510) 및 서브 이미지(520)의 모양을 사각형으로 도시하고 있으나, 이에 한정되지 않고, 삼각형, 사다리꼴 등의 다각형, 원형, 곡선형 등 상이한 모양일 수 있다.
도 6은 본 개시의 일 실시예에 따른 서브 이미지에 대한 추론 결과(610)를 병합하여 대상 이미지에 대한 최종 추론 결과(620)를 생성하는 예시도이다. 도 6에서 도시하는 바와 같이, 복수의 서브 이미지 각각의 추론 결과는 색채로 표시될 수 있으나, 이에 한정되지 않으며, 추론 결과를 표시할 수 있는 임의의 정보에 의해 표시될 수 있다. 예를 들어, 복수의 서브 이미지 각각의 추론 결과는 RGB 색채, 1차원 흑백, 다차원 이미지 등으로 표시될 수 있다. 도 6에서는, 추론 결과로서 표시되는 색채 중 하늘색은 암 상피 클래스를 나타내고, 노란색은 림프구 세포 클래스를 나타내고, 자주색은 암 기질 클래스를 나타내고, 남색은 정상 세포를 나타낼 수 있다.
프로세서는 복수의 서브 이미지 각각에 대한 추론 결과(610)에 가중치 마스크를 적용할 수 있다. 즉, 프로세서는 복수의 서브 이미지 각각에 포함된 복수의 픽셀에 대한 추론 결과(610)에 가중치를 적용할 수 있다. 일 실시예에서, 프로세서는 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과(610)에 이중 선형 가중치를 적용할 수 있다. 여기서, 이중 선형 가중치는 각 픽셀에 대응하는 가중치로, 이중 선형 보간법을 통해 산출될 수 있다. 다른 실시예에서, 복수의 픽셀에 대한 추론 결과(610)가 복수의 채널을 갖는 경우, 프로세서는 복수의 채널 각각에 가중치를 적용할 수 있다.
이후, 프로세서는 복수의 서브 이미지 각각의 대상 이미지에서의 위치에 따라, 가중치가 적용된 복수의 서브 이미지 각각에 대한 추론 결과를 배열하고 병합함으로써, 대상 이미지에 대한 최종 추론 결과(620)를 생성할 수 있다. 일 실시예에서, 프로세서는 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합할 수 있다. 예를 들어, 프로세서는 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과와 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 가중치가 적용된 추론 결과를 병합할 수 있다. 프로세서는 이중 선형 가중치가 적용된 서브 이미지 각각에 대한 추론 결과를 병합함으로써, 도시된 바와 같이 부드러운 경계를 갖는 최종 추론 결과(620)를 출력할 수 있다.
도 6에서는 복수의 서브 이미지 중 4개의 서브 이미지에 대한 추론 결과(610)만을 예시로 표시하고 있으나, 각각의 추론 결과들은 도 6에 예시로 도시된 추론 결과(610) 외에도 인접한 다른 서브 이미지에 대한 추론 결과와 병합될 수 있다. 예를 들어, 도 6의 최종 추론 결과(620)에 도시된 바와 같이, 노란색 추론 결과의 일부 영역에서, 우측에 인접한 다른 서브 이미지에 대한 추론 결과(미도시)가 함께 병합된 색채가 표시될 수 있다. 또한, 자주색 추론 결과의 일부 영역에서, 하단에 인접한 다른 서브 이미지에 대한 추론 결과(미도시)와 함께 병합된 색채가 표시될 수 있다. 또한, 남색 추론 결과의 일부 영역에서, 우측에 인접한 서브 이미지에 대한 추론 결과(미도시) 및 하단에 인접한 서브 이미지에 대한 추론 결과(미도시)와 함께 병합된 색체가 표시될 수 있다.
도 7은 본 개시의 일 실시예에 따른 인공신경망 모델(700)을 나타내는 예시도이다. 인공신경망 모델(700)은, 기계학습 모델의 일 예로서, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.
일 실시예에 따르면, 인공신경망 모델(700)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 기계학습 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(700)은 기계 학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
일 실시예에 따르면, 인공신경망 모델(700)은 대상 이미지 또는 서브 이미지를 입력하여 각 픽셀에 대한 클래스를 출력하도록 구성된 인공신경망 모델을 포함할 수 있다. 예를 들어, 인공신경망 모델(700)은 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치를 입력하여 각 픽셀에 대한 클래스를 출력하도록 구성된 인공신경망 모델을 포함할 수 있다.
인공신경망 모델(700)은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현된다. 본 실시예에 따른 인공신경망 모델(700)은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 도 5에 도시된 바와 같이, 인공신경망 모델(700)은, 외부로부터 입력 신호 또는 데이터(710)를 수신하는 입력층(720), 입력 데이터에 대응한 출력 신호 또는 데이터(750)를 출력하는 출력층(740), 입력층(720)과 출력층(740) 사이에 위치하며 입력층(720)으로부터 신호를 받아 특성을 추출하여 출력층(740)으로 전달하는 n개(여기서, n은 양의 정수)의 은닉층(730_1 내지 730_n)으로 구성된다. 여기서, 출력층(740)은 은닉층(730_1 내지 730_n)으로부터 신호를 받아 외부로 출력한다.
인공신경망 모델(700)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 정보 처리 시스템은 대상 이미지 및/또는 서브 이미지에 포함된 복수의 픽셀 각각에 대한 클래스 정보가 추론될 수 있도록 인공신경망 모델(700)을 지도 학습 및/또는 비지도 학습시킬 수 있다.
이렇게 학습된 인공신경망 모델(700)은 정보 처리 시스템의 메모리(미도시)에 저장될 수 있으며, 통신 모듈 및/또는 메모리로부터 수신된 대상 이미지 또는 서브 이미지의 입력에 응답하여, 대상 이미지 또는 서브 이미지에 포함된 복수의 픽셀 각각에 대한 클래스 정보를 출력할 수 있다.
일 실시예에 따르면, 세그멘테이션을 수행할 수 있는 기계학습 모델, 즉, 인공신경망 모델(700)의 입력변수는, 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치가 될 수 있다. 예를 들어, 인공신경망 모델(700)의 입력층(720)에 입력되는 입력변수는, 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치를 하나의 벡터 데이터 요소로 구성한, 이미지 벡터(710)가 될 수 있다. 병리 슬라이드 이미지의 적어도 일부를 포함한 이미지의 입력에 응답하여, 인공신경망 모델(700)의 출력층(740)에서 출력되는 출력 변수는 병리 슬라이드 이미지의 적어도 일부에 포함된 복수의 픽셀 각각에 대한 클래스 정보를 나타내거나 특징화하는 벡터(750)가 될 수 있다. 이에 더하여, 인공신경망 모델(700)의 출력층(740)은 출력된 클래스 정보에 대한 신뢰도 및/또는 정확도를 나타내는 벡터를 출력하도록 구성될 수 있다. 본 개시에 있어서, 인공신경망 모델(700)의 출력변수는, 이상에서 설명된 유형에 한정되지 않으며, 클래스 정보를 나타내는 임의의 정보/데이터를 포함할 수 있다.
이와 같이, 인공신경망 모델(700)의 입력층(720)과 출력층(740)에 복수의 입력변수와 대응되는 복수의 출력변수가 각각 매칭되고, 입력층(720), 은닉층(730_1 내지 730_n) 및 출력층(740)에 포함된 노드들 사이의 시냅스 값이 조정됨으로써, 특정 입력에 대응한 올바른 출력이 추출될 수 있도록 학습될 수 있다. 이러한 학습 과정을 통해, 인공신경망 모델(700)의 입력변수에 숨겨져 있는 특성을 파악할 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(700)의 노드들 사이의 시냅스 값(또는 가중치)를 조정할 수 있다. 이렇게 학습된 인공신경망 모델(700)을 이용하여, 입력된 병리 슬라이드 이미지 또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 응답하여, 입력 이미지에 포함된 복수의 픽셀에 대한 클래스 정보가 출력될 수 있다.
도 8은 본 개시의 일 실시예에 따른 대상 이미지 및 서브 이미지로서, 병리 슬라이드 이미지 및 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 예시도이다. 도시된 바와 같이, 병리 슬라이드 이미지(810)는 인체로부터 떼어낸 조직의 적어도 일부에 대한 일련의 화학적 처리 과정을 거쳐 염색 및/또는 고정된 병리 슬라이드를 현미경 및 카메라를 통해 촬영함으로써 생성된 디지털 이미지를 지칭할 수 있다. 예를 들어, 병리 슬라이드 이미지(810)는 H&E 염색(hematoxylin and eosin stain) 기법으로 염색된 것일 수 있으나, 이에 한정되지 않고, 이미 알려진 상이한 염색 기법으로 염색한 병리 슬라이드를 현미경 및 카메라를 통해 촬영함으로써 생성된 이미지를 포함할 수 있다.
본 개시의 실시예들에 따른 대상 이미지는 병리 슬라이드 이미지(810)일 수 있으며, 서브 이미지는 병리 슬라이드 이미지(810)에 포함된 패치(820)일 수 있다. 대안적으로, 본 개시의 실시예들에 따른 대상 이미지는 병리 슬라이드 이미지(810)에 포함된 패치(820)일 수 있고, 서브 이미지는 대상 이미지인 패치(820)보다 작은 단위의 패치(830)일 수 있다. 여기서, 서브 이미지인 작은 단위의 패치(830)는 대상 이미지인 패치(820)에 포함될 수 있다.
프로세서는, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)를 기계학습 모델에 입력하여, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)에 대한 추론 작업을 수행하고, 추론 결과를 생성할 수 있다. 일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)를 기계학습 모델에 입력하여, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)에 포함된 복수의 픽셀 각각에 대한 복수의 클래스를 출력할 수 있다. 여기서, 기계학습 모델은 이미지를 입력으로 받아, 이미지에 포함된 복수의 픽셀 각각에 대한 클래스를 출력하도록 학습된 세그멘테이션 기계학습 모델(예: 도 7의 인공신경망 모델(700))일 수 있다. 여기서 세그멘테이션 기계학습 모델은 다양한 세그멘테이션 알고리즘이 적용될 수 있으며, 예를 들면 시맨틱(semantic) 세그멘테이션 기계학습 모델 및/또는 인스턴스(instance) 세그멘테이션 기계학습 모델일 수 있다.
본 개시의 실시예들에 따른 추론 결과로서, 프로세서에 의해 출력된 복수의 클래스 정보에 따라, 병리 슬라이드 이미지(810) 및/또는 패치(820, 830)에 포함된 복수의 픽셀 중 적어도 일부에 대한 클래스 정보가 태깅 및/또는 표시될 수 있다. 일 실시예에 따르면, 병리 슬라이드 이미지(810)의 제1 영역은 암 기질(cancer stroma)이라는 클래스 정보가 표시될 수 있고, 제2 영역은 암 상피(cancer epithelium)라는 클래스 정보가 표시될 수 있다. 예를 들어, 암 기질 영역에 해당하는 제1 영역은 자주색으로 채색되고, 암 상피 영역에 해당하는 제2 영역은 하늘색으로 채색될 수 있다. 대안적으로, 클래스 정보는 영역 표시, 도형 표시, 다른 색채 표시 또는 텍스트 등의 다양한 시각적 표시로 표현될 수 있다.
병리 슬라이드 이미지(810)는 현미경으로 촬영된 원본 이미지의 압축된 형태로 대상 이미지로서 프로세서에 제공될 수 있으며, 압축된 이미지가 복수의 서브 이미지로서 복수의 패치(820)로 분할되면 복수의 패치(820)에 대응하는 압축 해제된 이미지가 프로세서에 제공될 수 있다. 이에 마찬가지로, 패치(820)에 포함된 작은 단위의 패치(830)에 대한 확대된 이미지가 획득될 수 있다. 도 2에서는, 패치(820) 및 작은 단위의 패치(830)에 대응하는 이미지가 각각 특정 배율로 확대되어 있으나, 이에 제한되지 않고, 병리 슬라이드 이미지 및/또는 이에 포함된 패치에 대응하는 이미지는 다양한 배율로 확대되거나 축소될 수 있다.
도 9는 본 개시의 실시예들에 따른 두 개의 서브 이미지에 대한 추론 결과의 병합으로 생성되는 대상 이미지에 대한 추론 결과의 예시도이다. 프로세서는 대상 이미지를 제1 서브 이미지 및 제2 서브 이미지로 분할하고, 분할된 제1 서브 이미지 및 제2 서브 이미지 각각에 대한 추론 작업을 수행할 수 있다. 즉, 제1 서브 이미지 및 제2 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 그 후, 프로세서는 제1 서브 이미지 및 제2 서브 이미지에 대한 추론 결과를 병합하여, 대상 이미지에 대한 추론 결과를 생성할 수 있다.
제1 추론 결과(910)는 제1 서브 이미지와 제2 서브 이미지가 서로 오버랩되지 않도록 대상 이미지를 분할하고, 제1 서브 이미지 및 제2 서브 이미지 각각의 추론 결과를 오버랩 없이 단순히 배열하여 병합한 결과를 나타낸다. 이 경우, 제1 서브 이미지에 대한 추론 결과와 제2 서브 이미지에 대한 추론 결과가 전혀 상이한 경우, 제1 및 제2 서브 이미지 사이의 경계 부근의 추론 결과가 자연스럽게 이어지지 않는 것을 확인할 수 있다. 즉, 서브 이미지 각각의 추론 결과를 겹치는 영역 없이 병합하여 생성된 최종 추론 결과(910)의 일부에서 추론 결과물이 끊어지는 것처럼 나타날 수 있다. 이에 따라, 도시된 바와 같이, 빨간색의 추론 결과와 파란색의 추론 결과 사이에 명확한 경계가 나타날 수 있다. 인체 세포 및/또는 조직학적인 구성을 고려할 때, 이러한 명확한 경계는 제1 서브 이미지와 제2 서브 이미지 사이의 경계 부근의 추론 결과의 정확성은 담보되기 어려울 수 있다.
제2 추론 결과(920)는, 제1 서브 이미지와 제2 서브 이미지가 서로 오버랩되도록 분할하고, 제1 서브 이미지의 추론 결과 및 제2 서브 이미지의 추론 결과가 오버랩되는 영역을 제1 서브 이미지의 추론 결과와 제2 서브 이미지의 추론 결과의 평균값으로 산출하여 병합한 결과를 나타낸다. 이 경우, 출력되는 추론 결과가 서브 이미지 별로 상이한 경우, 서브 이미지가 오버랩되는 경계선에서 추론 결과들이 끊어지는 듯한 결함(artifact)이 발생할 수 있다. 도시된 바와 같이, 빨간색의 추론 결과와 파란색의 추론 결과가 오버랩되는 영역이 중간 값인 보라색이 나타난다. 따라서, 빨간색과 보라색 사이의 경계, 보라색과 파란색 사이의 경계가 명확히 드러나고, 제1 추론 결과(910)와 마찬가지로, 인체 세포 및/또는 조직학적 구성을 고려할 때, 제2 추론 결과(920)의 정확성은 보장되기 어려울 수 있다.
제3 추론 결과(930)는 제1 서브 이미지와 제2 서브 이미지가 서로 오버랩되도록 분할하고, 제1 서브 이미지에 포함된 복수의 픽셀에 대한 추론 결과 및 제2 서브 이미지에 포함된 복수의 픽셀에 대한 추론 결과에 상이한 가중치(예: 선형 가중치)를 적용하여 병합한 결과를 나타낸다. 이 경우, 제1 추론 결과(910) 및 제2 추론 결과(920)와 달리 서브 이미지에 대한 추론 결과들 사이에서 부드러운 경계를 갖는 것을 확인할 수 있다. 예를 들어, 도시된 바와 같이, 빨간색의 추론 결과와 파란색의 추론 결과 사이에서 부드러운 경계가 나타날 수 있다. 이에 따라, 대상 이미지에 대한 최종 추론 결과에서 끊어지는 듯한 결함이 발생하는 것을 방지할 수 있으며, 제3 추론 결과(930)의 정확성은 제1 추론 결과(910) 및 제2 추론 결과(920) 보다 향상될 수 있다.
도 9에서는 두 개의 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성하고 있으나, 이에 한정되지 않고, 3이상의 복수의 서브 이미지에 대한 추론 결과를 병합하여 대상 이미지에 대한 최종 추론 결과를 생성할 수 있다.
도 10은 본 개시의 실시예들에 따른 복수의 패치에 대한 추론 결과의 병합으로 생성되는 병리 슬라이드 이미지(1010)에 대한 추론 결과(1020, 1030)의 예시도이다. 프로세서는 병리 슬라이드 이미지(1010)를 복수의 패치로 분할하고, 분할된 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 작업을 수행할 수 있다. 여기서, 분할된 복수의 패치 각각은 인접한 패치와 일부 오버랩될 수 있다. 그 후, 프로세서는 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 결과에 가중치를 적용하고, 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하여, 병리 슬라이드 이미지(1010)에 대한 추론 결과를 생성할 수 있다.
일 실시예에 따르면, 제1 추론 결과(1020)는, 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 결과에 평균 가중치를 적용하고, 평균 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합한 결과를 보여줄 수 있다. 즉, 프로세서는 복수의 패치가 오버랩되는 영역의 추론 결과를 오버랩되는 픽셀들에 대한 추론 결과의 평균값으로 산출할 수 있다. 제1 추론 결과(1020)의 빨간색 점선 박스 영역에서 나타나는 바와 같이, 패치의 경계선이 명확히 드러나고, 추론 결과들이 끊어지는 듯한 결함이 발생할 수 있다. 따라서, 인체 세포 및/또는 조직학적 구성을 고려할 때, 제1 추론 결과(1020)의 정확성은 보장되기 어려울 수 있다.
다른 실시예에 따르면, 제2 추론 결과(1030)는, 복수의 패치 각각에 포함된 복수의 픽셀에 대한 추론 결과에 이중 선형 가중치를 적용하고, 이중 선형 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합한 결과를 보여줄 수 있다. 빨간색 점선 박스 영역에서 명확한 경계선이 나타나는 제1 추론 결과(1020)와 달리, 제2 추론 결과(1030)에서는 복수의 패치의 추론 결과들 사이에서 결과물이 끊어지는 듯한 결함이 발생하지 않는 것을 확인할 수 있다. 두 추론 결과를 비교해볼 때, 패치에 대한 추론 결과에 평균 가중치를 적용하여 병합하는 방식보다 이중 선형 가중치를 적용하여 병합하는 방식이 병리 슬라이드 이미지(1010)에 대한 추론 결과의 정확성을 더욱 향상시킬 수 있다.
도 10에서는 병리 슬라이드 이미지(1010)에 대한 추론 결과(1020, 1030)를 흑백 이미지로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지에 대한 추론 결과는 RGB 색채 및/또는 다차원 이미지 등으로 표시될 수 있다.
도 11은 본 개시의 일 실시예에 따른 대상 이미지에 대한 추론 작업을 수행하는 예시적인 시스템 구성도이다. 도시된 바와 같이, 정보 처리 시스템(100)은 하나 이상의 프로세서(1110), 버스(1130), 통신 인터페이스(1140), 프로세서(1110)에 의해 수행되는 컴퓨터 프로그램(1160)을 로드(load)하는 메모리(1120) 및 컴퓨터 프로그램(1160)을 저장하는 저장 모듈(1150)을 포함할 수 있다. 다만, 도 11에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 11에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(1110)는 정보 처리 시스템(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1110)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 정보 처리 시스템(100)은 하나 이상의 프로세서를 구비할 수 있다.
메모리(1120)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(1120)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 모듈(1150)로부터 하나 이상의 컴퓨터 프로그램(1160)을 로드할 수 있다. 메모리(1120)는 RAM과 같은 휘발성 메모리로 구현될 수 있으나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.
버스(1130)는 정보 처리 시스템(100)의 구성 요소 간 통신 기능을 제공할 수 있다. 버스(1130)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(1140)는 정보 처리 시스템(100)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(1140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1140)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
저장 모듈(1150)은 하나 이상의 컴퓨터 프로그램(1160)을 비임시적으로 저장할 수 있다. 저장 모듈(1150)은 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(1160)은 메모리(1120)에 로드될 때 프로세서(1110)로 하여금 본 개시의 다양한 실시예들에 따른 동작/방법을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(1110)는 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예들에 따른 동작/방법들을 수행할 수 있다.
예를 들어, 컴퓨터 프로그램(1160)은 대상 이미지를 복수의 서브 이미지로 분할하는 동작, 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하는 동작, 복수의 픽셀에 대한 추론 결과에 가중치를 적용하는 동작, 가중치가 적용된 복수의 픽셀에 대한 추론 결과를 병합하는 동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 정보 처리 시스템(100)을 통해 본 개시의 몇몇 실시예들에 따른 대상 이미지에 대한 추론 작업을 수행하는 시스템이 구현될 수 있다.
본 개시의 앞선 설명은 통상의 기술자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 통상의 기술자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에서 첨부된 특허 청구의 범위 내에 속하는 것으로 생각되어야 한다.
100: 정보 처리 시스템
110: 통신 모듈
120: 프로세서
130: 대상 이미지
140: 최종 추론 결과
110: 통신 모듈
120: 프로세서
130: 대상 이미지
140: 최종 추론 결과
Claims (20)
- 적어도 하나의 프로세서에 의해 수행되는, 대상 이미지에 대한 추론 작업을 수행하는 방법에 있어서,
상기 대상 이미지를 복수의 서브 이미지로 분할하는 단계;
기계학습 모델을 이용하여, 상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론(prediction) 결과를 생성하는 단계;
상기 분할된 복수의 서브 이미지의 각각에 포함된 상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하여 병합함으로써, 대상 이미지에 대한 최종 추론 결과를 생성하는 단계
를 포함하고,
상기 대상 이미지를 복수의 서브 이미지로 분할하는 단계는,
상기 복수의 서브 이미지에 포함된 제1 이미지의 일부가 상기 제1 이미지와 인접한 제2 이미지의 일부와 오버랩(overlap)되도록 분할하는 단계를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
- 삭제
- 제1항에 있어서,
상기 대상 이미지에 대한 최종 추론 결과를 생성하는 단계는,
상기 복수의 픽셀에 대한 추론 결과에 이중 선형 가중치(bilinear weight)를 적용하는 단계를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
- 제3항에 있어서,
상기 이중 선형 가중치는, 상기 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법(bilinear interpolation)을 위해 사용되는 가중치로서, 상기 복수의 픽셀의 각각에 대응하는 값으로 산출되는, 대상 이미지에 대한 추론 작업을 수행하는 방법. - 제3항에 있어서,
상기 대상 이미지에 대한 최종 추론 결과를 생성하는 단계는,
상기 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 상기 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합함으로써, 상기 대상 이미지에 대한 최종 추론 결과의 일부에 포함된 픽셀에 대응하는 값을 산출하는 단계
를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
- 제1항에 있어서,
상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하는 단계는,
상기 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계 - 상기 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스임 -; 및
상기 결정된 클래스를 포함하는 추론 결과를 생성하는 단계
를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법. - 제6항에 있어서,
상기 복수의 픽셀의 각각에 대한 클래스를 결정하는 단계는,
상기 분할된 복수의 서브 이미지의 각각을 상기 기계학습 모델에 입력하여, 상기 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력하는 단계를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
- 제6항에 있어서,
상기 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는,
상기 복수의 픽셀의 각각에 대한 클래스를 이용하여, 상기 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정하는 단계
를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법. - 제8항에 있어서,
상기 결정된 클래스를 포함하는 추론 결과를 생성하는 단계는,
상기 결정된 복수의 채널에 대한 값을 기초로, 상기 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성하는 단계를 더 포함하는,
대상 이미지에 대한 추론 작업을 수행하는 방법. - 제8항에 있어서,
상기 대상 이미지에 대한 최종 추론 결과를 생성하는 단계는,
상기 복수의 채널 각각에 상기 가중치를 적용하는 단계를 포함하는, 대상 이미지에 대한 추론 작업을 수행하는 방법.
- 정보 처리 시스템에 있어서,
하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
상기 저장된 하나 이상의 인스트럭션을 실행함으로써,
대상 이미지를 복수의 서브 이미지로 분할하고, 기계학습 모델을 이용하여, 상기 분할된 복수의 서브 이미지의 각각에 포함된 복수의 픽셀에 대한 추론 결과를 생성하고, 상기 분할된 복수의 서브 이미지의 각각에 포함된 상기 복수의 픽셀에 대한 추론 결과에 가중치를 적용하여 병합함으로써, 상기 대상 이미지에 대한 최종 추론 결과를 생성하도록 구성된 프로세서를 포함하고,
상기 프로세서는, 상기 복수의 서브 이미지에 포함된 제1 이미지의 일부가 상기 제1 이미지와 인접한 제2 이미지의 일부와 오버랩되도록 분할하도록 더 구성된,
정보 처리 시스템.
- 삭제
- 제11항에 있어서,
상기 프로세서는,
상기 복수의 픽셀에 대한 추론 결과에 이중 선형 가중치를 적용하도록 더 구성된,
정보 처리 시스템.
- 제13항에 있어서,
상기 이중 선형 가중치는, 상기 복수의 픽셀에 대한 추론 결과에 적용되는 이중 선형 보간법을 위해 사용되는 가중치로서, 상기 복수의 픽셀의 각각에 대응하는 값으로 산출되는, 정보 처리 시스템. - 제13항에 있어서,
상기 프로세서는,
상기 오버랩된 제1 이미지의 일부에 포함된 픽셀에 대응하는 제1 가중치가 적용된 추론 결과와 상기 오버랩된 제2 이미지의 일부에 포함된 픽셀에 대응하는 제2 가중치가 적용된 추론 결과를 병합함으로써, 상기 대상 이미지에 대한 최종 추론 결과의 일부에 포함된 픽셀에 대응하는 값을 산출하도록 더 구성된,
정보 처리 시스템.
- 제11항에 있어서,
상기 프로세서는,
상기 복수의 픽셀의 각각에 대한 클래스를 결정하고 - 상기 클래스는 복수의 객체를 나타내는 복수의 클래스 중 하나의 클래스임 -, 상기 결정된 클래스를 포함하는 추론 결과를 생성하도록 더 구성된,
정보 처리 시스템.
- 제16항에 있어서,
상기 프로세서는,
상기 분할된 복수의 서브 이미지의 각각을 상기 기계학습 모델에 입력하여, 상기 복수의 서브 이미지의 각각에 포함된 복수의 픽셀의 각각에 대한 클래스를 출력하도록 더 구성된,
정보 처리 시스템.
- 제16항에 있어서,
상기 프로세서는,
상기 복수의 픽셀의 각각에 대한 클래스를 이용하여, 상기 복수의 클래스에 대응하는 복수의 채널에 대한 값을 결정하도록 더 구성된,
정보 처리 시스템. - 제18항에 있어서,
상기 프로세서는,
상기 결정된 복수의 채널에 대한 값을 기초로, 상기 복수의 픽셀에 대한 추론 결과에 대응하는 어레이를 생성하도록 더 구성된,
정보 처리 시스템. - 제18항에 있어서,
상기 프로세서는,
상기 복수의 채널 각각에 상기 가중치를 적용하도록 더 구성된,
정보 처리 시스템.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200144411A KR102429534B1 (ko) | 2020-11-02 | 2020-11-02 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
| EP21802585.6A EP4239533A1 (en) | 2020-11-02 | 2021-11-02 | Method and system for performing prediction operation on target image |
| PCT/KR2021/015734 WO2022092993A1 (ko) | 2020-11-02 | 2021-11-02 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
| US17/671,936 US20220172009A1 (en) | 2020-11-02 | 2022-02-15 | Method and system for performing prediction work on target image |
| KR1020220095389A KR20220113891A (ko) | 2020-11-02 | 2022-08-01 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200144411A KR102429534B1 (ko) | 2020-11-02 | 2020-11-02 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220095389A Division KR20220113891A (ko) | 2020-11-02 | 2022-08-01 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220059155A KR20220059155A (ko) | 2022-05-10 |
| KR102429534B1 true KR102429534B1 (ko) | 2022-08-04 |
Family
ID=81383025
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200144411A KR102429534B1 (ko) | 2020-11-02 | 2020-11-02 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
| KR1020220095389A KR20220113891A (ko) | 2020-11-02 | 2022-08-01 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220095389A KR20220113891A (ko) | 2020-11-02 | 2022-08-01 | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220172009A1 (ko) |
| EP (1) | EP4239533A1 (ko) |
| KR (2) | KR102429534B1 (ko) |
| WO (1) | WO2022092993A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102563550B1 (ko) | 2023-04-14 | 2023-08-11 | 고려대학교산학협력단 | 읽기 전용 프롬프트 학습 방법 및 장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102572423B1 (ko) * | 2023-03-07 | 2023-08-30 | 주식회사 에이모 | 인스턴스 레이어를 생성하는 방법 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015054666A1 (en) | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| US20180061046A1 (en) | 2016-08-31 | 2018-03-01 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
| US20200193597A1 (en) | 2018-12-14 | 2020-06-18 | Spectral Md, Inc. | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds |
| US20200258223A1 (en) * | 2018-05-14 | 2020-08-13 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101400410B1 (ko) * | 2012-08-14 | 2014-05-28 | 이화여자대학교 산학협력단 | 현미경 영상 내 세포 분류 방법 및 장치 |
| CN105608459B (zh) * | 2014-10-29 | 2018-09-14 | 阿里巴巴集团控股有限公司 | 商品图片的分割方法及其装置 |
| US10754035B2 (en) * | 2017-01-17 | 2020-08-25 | Aptiv Technologies Limited | Ground classifier system for automated vehicles |
| KR102481885B1 (ko) * | 2017-09-08 | 2022-12-28 | 삼성전자주식회사 | 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스 |
| US10929665B2 (en) * | 2018-12-21 | 2021-02-23 | Samsung Electronics Co., Ltd. | System and method for providing dominant scene classification by semantic segmentation |
| US11347965B2 (en) * | 2019-03-21 | 2022-05-31 | Illumina, Inc. | Training data generation for artificial intelligence-based sequencing |
| US11645756B2 (en) * | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
-
2020
- 2020-11-02 KR KR1020200144411A patent/KR102429534B1/ko active IP Right Grant
-
2021
- 2021-11-02 WO PCT/KR2021/015734 patent/WO2022092993A1/ko unknown
- 2021-11-02 EP EP21802585.6A patent/EP4239533A1/en active Pending
-
2022
- 2022-02-15 US US17/671,936 patent/US20220172009A1/en active Pending
- 2022-08-01 KR KR1020220095389A patent/KR20220113891A/ko not_active Application Discontinuation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015054666A1 (en) | 2013-10-10 | 2015-04-16 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes |
| US20180061046A1 (en) | 2016-08-31 | 2018-03-01 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
| US20200258223A1 (en) * | 2018-05-14 | 2020-08-13 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
| US20200193597A1 (en) | 2018-12-14 | 2020-06-18 | Spectral Md, Inc. | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102563550B1 (ko) | 2023-04-14 | 2023-08-11 | 고려대학교산학협력단 | 읽기 전용 프롬프트 학습 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220172009A1 (en) | 2022-06-02 |
| EP4239533A1 (en) | 2023-09-06 |
| WO2022092993A1 (ko) | 2022-05-05 |
| KR20220059155A (ko) | 2022-05-10 |
| KR20220113891A (ko) | 2022-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Weigert et al. | Star-convex polyhedra for 3D object detection and segmentation in microscopy | |
| Garcia et al. | Automatic segmentation of fish using deep learning with application to fish size measurement | |
| US20210390281A1 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| CN109635141B (zh) | 用于检索图像的方法、电子设备和计算机可读存储介质 | |
| KR20220113891A (ko) | 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템 | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| CN109791625A (zh) | 使用人工神经网络进行面部识别 | |
| TWI786330B (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
| US11710552B2 (en) | Method and system for refining label information | |
| Matuszewski et al. | Reducing the U-Net size for practical scenarios: Virus recognition in electron microscopy images | |
| CN111985458B (zh) | 一种检测多目标的方法、电子设备及存储介质 | |
| WO2020260862A1 (en) | Facial behaviour analysis | |
| CN111145188A (zh) | 一种基于ResNet与UNet模型的图像分割方法 | |
| EP4293628A1 (en) | Image processing method and related apparatus | |
| KR102580419B1 (ko) | 병리 슬라이드 이미지 내의 관심 영역을 검출하기 위한 방법 및 시스템 | |
| Szemenyei et al. | Real-time scene understanding using deep neural networks for RoboCup SPL | |
| Borbon et al. | Coral health identification using image classification and convolutional neural networks | |
| CN114004806A (zh) | 一种乳腺肿瘤检测模型的训练方法及乳腺肿瘤检测方法 | |
| An et al. | Overlap training to mitigate inconsistencies caused by image tiling in CNNs | |
| Mayerich et al. | Fast cell detection in high-throughput imagery using GPU-accelerated machine learning | |
| Varando et al. | MultiMap: a tool to automatically extract and analyse spatial microscopic data from large stacks of confocal microscopy images | |
| Liu et al. | Att-MoE: attention-based mixture of experts for nuclear and cytoplasmic segmentation | |
| KR20220039544A (ko) | 힌트 기반의 머신러닝 모델을 통해 목적 데이터에 대한 어노테이션 정보를 제공하는 방법 및 시스템 | |
| Bai et al. | YUSEG: Yolo and Unet is all you need for cell instance segmentation | |
| Golts et al. | Deep-energy: Unsupervised training of deep neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |