KR101944536B1 - 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 - Google Patents
뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101944536B1 KR101944536B1 KR1020160168176A KR20160168176A KR101944536B1 KR 101944536 B1 KR101944536 B1 KR 101944536B1 KR 1020160168176 A KR1020160168176 A KR 1020160168176A KR 20160168176 A KR20160168176 A KR 20160168176A KR 101944536 B1 KR101944536 B1 KR 101944536B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- tile
- channel
- output layer
- disease
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003745 diagnosis Methods 0.000 title claims description 66
- 201000010099 disease Diseases 0.000 claims abstract description 68
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 68
- 210000001519 tissue Anatomy 0.000 claims description 37
- 206010060862 Prostate cancer Diseases 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 16
- 208000000236 Prostatic Neoplasms Diseases 0.000 claims description 15
- 210000004907 gland Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000004940 nucleus Anatomy 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000003855 cell nucleus Anatomy 0.000 description 4
- 206010061818 Disease progression Diseases 0.000 description 3
- 230000005750 disease progression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 210000002421 cell wall Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
- G16B40/20—Supervised data analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Pathology (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Bioethics (AREA)
- Biotechnology (AREA)
Abstract
뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법이 개시된다. 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템은 생체이미지에 포함된 소정의 타일을 입력 레이어로 하며 복수의 제1레이어들 및 출력 레이어를 포함하는 미시 뉴럴 네트워크 및 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 입력 레이어로 하며 복수의 제2레이어들 및 상기 출력 레이어를 포함하는 거시 뉴럴 네트워크를 포함하며, 상기 출력 레이어는 상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 상태채널을 적어도 하나 포함한다.
Description
본 발명은 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 뉴럴 네트워크를 통한 학습을 수행하여 학습된 뉴럴 네트워크를 이용하여 생체조직의 이미지를 입력할 경우 소정의 질병(예컨대, 전립선 암)을 진단할 수 있는 시스템 및 그 방법에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution neurla network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체이미지의 조각 즉, 타일(tile)을 이용한다. 즉, 해당 타일에 대해 숙련된 의료인은 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 타일들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크가 이용될 수 있다.
하지만 이러한 방식의 경우 학습된 뉴럴 네트워크는 해당 타일의 이미지 특징만으로 해당 타일의 질병의 상태를 판단하게 되는데, 실제로는 특정 질병에 대해 특정 생체조직의 상태를 판단할 때에는 상기 특정 생체조직 자체뿐만 아니라 상기 특정 생체조직의 주변 조직의 현황(예컨대, 모양, 특정 패턴이 존재하는지 등)까지 같이 고려되어야 하는 경우가 존재한다. 하지만 종래의 방식은 이러한 경우에 적합하지 않는 문제점이 있다.
본 발명이 이루고자 하는 기술적인 과제는 특정 타일의 질병에 대한 상태(예컨대, 질병의 발현여부, 또는 질병의 상태를 나타내는 지표 등)를 판단하기 위해 상기 특정 타일뿐만 아니라 주변 타일까지 학습에 이용하여 보다 정확도를 높일 수 있는 뉴럴 네트워크를 이용하는 진단 시스템 및 그 방법을 제공하는 것이다.
또한 단순히 타일의 질병의 상태에 대한 정보를 출력하는 것에 그치지 않고 그러한 상태를 판단한 근거가 되는 인자에 대한 정보까지 출력할 수 있는 뉴럴 네트워크를 이용한 진단 시스템 및 그 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템은 상기 생체이미지에 포함된 소정의 타일을 입력 레이어로 하며 복수의 제1레이어들 및 출력 레이어를 포함하는 미시 뉴럴 네트워크 및 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 입력 레이어로 하며 복수의 제2레이어들 및 상기 출력 레이어를 포함하는 거시 뉴럴 네트워크를 포함하며, 상기 출력 레이어는 상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 상태채널을 적어도 하나 포함한다.
상기 출력 레이어는 상기 제1레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제1직전 레이어 및 상기 제2레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제2직전 레이어 각각의 출력 데이터에 기초하여 결정되는 것을 특징으로 할 수 있다.
상기 거시 뉴럴 네트워크는 상기 미시 뉴럴 네트워크에 비해 큰 스트라이드(stride)를 갖는 것을 특징으로 할 수 있다.
상기 출력 레이어는 상기 상태채널 및 상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함할 수 있다.
상기 질병은 전립선 암인 것을 특징으로 할 수 있다.
상기 상태채널은 상기 타일에 해당하는 생체조직이 미리 정해진 범위의 글리슨 패턴 값을 가질 확률을 나타내는 채널일 수 있다.
상기 연관인자 채널은 상기 타일에 해당하는 생체조직의 세포핵이 특정 조건을 만족하는 확률을 나타내는 채널, 상기 타일에 해당하는 생체조직이 싱글 셀 레이어로 분류되는 확률을 나타내는 채널, 상기 타일에 해당하는 생체조직이 고밀도 글랜드(gland)로 분류되는 확률을 나타내는 채널, 또는 상기 타일에 해당하는 생체조직이 정상 스트로마(stroma)로 분류되는 확률을 나타내는 채널 중 적어도 하나의 채널을 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템은 상기 생체이미지에 포함된 소정의 타일을 입력받는 입력 레이어, 복수의 레이어들, 및 출력 레이어를 포함하며, 상기 출력 레이어는 상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 적어도 하나의 상태채널 및 상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함한다.
상기 기술적 과제를 해결하기 위한 프로세서 및 저장장치를 포함하는 시스템에 구현되며 생체이미지와 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법은 상기 생체이미지에 포함된 소정의 타일을 입력 레이어로 하며 복수의 제1레이어들 및 출력 레이어를 포함하는 미시 뉴럴 네트워크와 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 입력 레이어로 하며 복수의 제2레이어들 및 상기 출력 레이어를 포함하는 거시 뉴럴 네트워크를 저장하는 단계, 상기 타일 및 상기 출력 레이어와 상응하도록 상기 타일에 어노테이션(annotation)된 어노테이션 정보를 이용하여 상기 미시 뉴럴 네트워크 및 상기 거시 뉴럴 네트워크를 각각 학습시키는 단계를 포함하며, 상기 출력 레이어는 상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 상태채널을 적어도 하나 포함한다.
상기 뉴럴 네트워크를 이용한 질병의 진단방법은 학습된 상기 미시 뉴럴 네트워크 및 상기 거시 뉴럴 네트워크를 포함하는 상기 뉴럴 네트워크가 진단대상 생체이미지에 포함된 대상 타일을 입력 받는 단계 및 상기 뉴럴 네트워크를 통해 상기 출력 레이어에 상응하는 출력 데이터를 출력하는 단계를 더 포함할 수 있다.
상기 출력 레이어는 상기 제1레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제1직전 레이어 및 상기 제2레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제2직전 레이어 각각의 출력 데이터에 기초하여 결정될 수 있다.
상기 기술적 과제를 해결하기 위한 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법은 상기 생체이미지에 포함된 소정의 타일을 입력받는 입력 레이어, 복수의 레이어들, 및 출력 레이어를 포함하는 뉴럴 네트워크를 저장하는 단계, 상기 타일 및 상기 출력 레이어에 상응하는 상기 타일의 어노테이션 정보를 이용하여 상기 뉴럴 네트워크를 학습시키는 단계를 포함하며, 상기 출력 레이어는 상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 적어도 하나의 상태채널 및 상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함할 수 있다.
상기의 방법은 데이터 처리장치에 설치되는 컴퓨터 프로그램과 상기 컴퓨터 프로그램을 실행할 수 있는 데이터 처리장치의 하드웨어를 통해 구현될 수 있다.
본 발명의 기술적 사상에 따르면 특정 타일에 대한 진단을 수행하면서 상기 특정 타일을 포함하며 주변타일을 더 포함하는 거시 타일까지 같이 고려하여 상기 특정 타일의 질병에 대한 상태를 판단할 수 있는 뉴럴 네트워크를 제공함으로써 보다 높은 진단의 정확도를 제공할 수 있는 효과가 있다.
또한 뉴럴 네트워크가 단순히 질병의 상태에 대한 정보만을 출력하는 것이 아니라 그러한 상태와 연관된 인자에 대한 정보까지 더 출력함으로써, 진단 시스템이 판단한 질병의 상태에 대한 정보의 신뢰성을 높일 수 있고 상기 상태에 대한 정보와 그 근거까지 파악함으로써 잘못된 판단에 대한 검증이 가능한 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 하드웨어적 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 뉴럴 네트워크의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 뉴럴 네트워크의 출력 레이어를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 뉴럴 네트워크를 학습하기 위한 어노테이션 정보의 일 예를 나타내는 도면이다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 뉴럴 네트워크에서 연관인자를 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 진단 결과를 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에따른 뉴럴 네트워크를 이용한 질병의 진단 시스템을 통해 진단된 생체이미지를 설명하기 위한 도면이다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 하드웨어적 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 뉴럴 네트워크의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 뉴럴 네트워크의 출력 레이어를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 뉴럴 네트워크를 학습하기 위한 어노테이션 정보의 일 예를 나타내는 도면이다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 뉴럴 네트워크에서 연관인자를 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 진단 결과를 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에따른 뉴럴 네트워크를 이용한 질병의 진단 시스템을 통해 진단된 생체이미지를 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, “포함하다”또는 “가지다”등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 개략적인 시스템 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템(이하, 진단 시스템, 100)은 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 도 3에 도시된 바와 같이 프로세서(11) 및 저장장치(12)를 포함할 수 있다. 상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 상기 프로그램(12-1)과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크(Nerual Network, 12-2)를 이용해 진단을 수행할 수 있다.
상기 저장장치(12)는 상기 프로그램(12-1) 및 뉴럴 네트워크(12-2)를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(12)는 상기 서버(10)에 포함된 주 기억장치 뿐만 아니라, 상기 프로세서(11)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 진단 시스템(100)은 도 1 또는 도 3에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 명세서에서 상기 진단 시스템(100)이 진단을 수행한다고 함은 생체조직이 표현된 생체이미지를 입력받아 본 명세서에서 정의된 출력 데이터를 출력하는 일련의 프로세스를 의미할 수 있다. 상기 출력 데이터는 상기 진단 시스템(100)이 이용하는 뉴럴 네트워크의 출력 레이어가 출력하는 정보를 의미할 수 있으며, 상기 출력 데이터에는 상기 생체 이미지에 포함된 타일에 해당하는 생체조직이 특정 질병에 대해 어떠한 상태인지를 나타내는 상태정보를 포함할 수 있다. 이러한 상태정보는 상기 출력 레이어에 포함된 상태채널이 출력하는 정보일 수 있다.
예컨대, 상태정보는 상기 타일에 해당하는 조직에 특정 질병(예컨대, 특정 종류의 암)이 발현되었는지 여부에 대한 확률정보일 수 있다. 또는 후술할 바와 같이, 단순히 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도를 나타내는 정보(또는 상기 진행 정도에 해당할 확률)일 수도 있다. 예컨대, 후술할 바와 같이 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 상태정보에 포함될 수 있다. 예컨대, 글리슨 패턴은 2 내지 5의 값을 가지며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 따라서 상기 상태정보는 진단의 대상이 되는 타일에 해당하는 생체조직이 글리슨 패턴의 특정 값(예컨대, 3, 4, 또는 5)에 해당할 확률을 의미할 수도 있다.
상기 상태정보는 복수 개 존재할 수 있다. 예컨대, 제1상태정보는 글리슨 패턴이 3일 확률, 제2상태정보는 글리슨 패턴이 4일 확률, 제3상태정보는 글리슨 패턴이 5일 확률을 나타낼 수 있으며, 이러한 제1상태정보, 제2상태정보, 제3상태정보에 상응하는 상태채널 모두가 상기 출력 레이어에 정의될 수도 있다. 구현 예에 따라서는 글리슨 패턴이 일정 범위(예컨대, 3 내지 5, 4 내지 5 등)를 가질 확률을 나타내는 상태정보가 정의될 수도 있다. 즉, 하나의 상태정보가 질병의 진행상태를 표현하는 복수개의 지표들에 대응할 수도 있다.
출력 레이어에 포함되는 상태채널은 학습시에 해당 타일을 어떻게 어노테이션(annotation)하는지에 따라 결정될 수 있음은 물론이다.
한편, 본 발명의 기술적 사상에 의하면 상기 출력 레이어에는 상태채널뿐만 아니라 연관인자 채널도 포함될 수 있다. 이러한 기술적 사상은 후술하도록 한다.
상기 진단 시스템(100)이 소정의 서버(10)에 포함되어 구현되는 경우, 상기 진단 시스템(100)은 상기 서버(10)에 접속가능한 적어도 하나의 클라이언트(예컨대, 20, 20-1)와 통신을 수행할 수도 있다. 이러한 경우 상기 클라이언트(예컨대, 20, 20-1)는 생체이미지를 상기 진단 시스템(100)으로 전송할 수 있고, 상기 진단 시스템(100)은 전송된 생체이미지에 대해 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 그리고 진단결과를 상기 클라이언트(예커대, 20, 20-1)로 전송할 수도 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 이용하여 진단을 수행할 수 있다. 물론, 이러한 진단을 수행하기 위해 상기 뉴럴 네트워크를 학습시키는 프로세스를 먼저 수행할 수도 있다.
따라서 상기 진단 시스템(100)은 본 발명의 기술적 사상에 따라 학습된 뉴럴 네트워크 및 상기 뉴럴 네트워크를 이용하여 진단을 수행하기 위한 프로그램을 외부로부터 수신하여 진단을 수행하는 시스템일 수도 있고, 상기 뉴럴 네트워크의 학습까지 수행하는 시스템일 수도 있다. 또한, 상기 진단 시스템(100)은 범용의 데이터처리장치가 아니라 본 발명의 기술적 사상을 구현하기 위해 제작된 전용 장치로 구현될 수도 있고, 이러한 경우에는 생체이미지를 스캔하기 위한 수단 등이 더 구비될 수도 있다.
본 발명의 기술적 사상에 따른 진단 시스템(100)이 이용하는 뉴럴 네트워크는 미시 뉴럴 네트워크 및 거시 뉴럴 네트워크를 포함할 수 있다.
상기 미시 뉴럴 네트워크는 특정 하나의 타일을 이용하여 학습을 수행하고 상기 타일 자체의 이미지 특징을 이용하여 상기 타일에 대한 진단을 수행하기 위한 일련의 프로세스를 수행하는 네트워크를 의미할 수 있다.
상기 거시 뉴럴 네트워크는 상기 타일뿐만 아니라 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 이용하여 학습을 수행하고 상기 거시타일 전체의 이미지 특징을 이용하여 상기 타일에 대한 진단을 수행하기 위한 일련의 프로세스를 수행하는 네트워크를 의미할 수 있다.
따라서 본 발명의 기술적 사상에 따른 뉴럴 네트워크는 특정 타일에 대한 진단을 수행하기 위해 상기 특정 타일 자체의 이미지만을 고려하는 것이 아니라, 상기 특정 타일의 인접한 적어도 하나의 타일의 이미지까지도 고려하여 상기 특정 타일의 진단을 수행하는 특징을 가질 수 있다. 이러한 기술적 사상을 통해 실제로 특정 타일에 해당하는 생체조직의 진단을 위해서 상기 생체조직뿐만 아니라 상기 생체조직의 주변조직의 상태까지 고려하여야 하는 질병의 진단에 매우 유의미한 수준으로 정확도의 향상이 가능해지는 효과가 있다. 또한 생체이미지를 다수의 타일로 분할하는 경우, 타일의 분할방식이나 분할된 영역이 생체조직의 어떤 위치인지 여부에 따라 발생할 수 있는 진단결과의 영향에 강인한 효과를 가질 수 있다.
이러한 기술적 사상을 구현하기 위한 상기 진단 시스템(100)은 논리적으로 도 2와 같은 구성을 가질 수 있다.
도 2는 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 상기 진단 시스템(100)은 제어모듈(110) 및 뉴럴 네트워크가 저장된 뉴럴 네트워크 모듈(120)을 포함한다. 또한, 상기 진단 시스템(100)은 전처리 모듈(130)을 더 포함할 수 있다.
상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 진단 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(110), 상기 뉴럴 네트워크 모듈(120), 및/또는 상기 전처리 모듈(130) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 상기 뉴럴 네트워크 모듈(120) 및/또는 상기 전처리 모듈(130) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(110)은 본 발명의 기술적 사상을 구현하기 위해 상기 진단 시스템(100)에 포함된 다른 구성(예컨대, 상기 뉴럴 네트워크 모듈(120) 및/또는 상기 전처리 모듈(130) 등)을 제어할 수 있다.
또한, 상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)에 저장된 뉴럴 네트워크를 이용하여 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 진단을 수행한다고 함은 전술한 바와 같이 출력 레이어에 정의된 적어도 하나의 채널의 채널 값을 출력함을 의미할 수 있다. 각각의 채널 값은 진단의 대상이 되는 타일이 해당하는 채널이 정의하는 정보에 해당할 확률을 나타낼 수 있다.
상기 뉴럴 네트워크 모듈(120)은 뉴럴 네트워크를 저장할 수 있다. 상기 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다.
상기 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)에 저장된 뉴럴 네트워크 즉, 학습된 뉴럴 네트워크에 입력 데이터를 입력할 수 있다. 그리고 뉴럴 네트워크에 의해 정의되는 연산들을 수행하여 출력 데이터를 출력할 수 있다.
상기 전처리 모듈(130)은 뉴럴 네트워크를 이용하여 진단을 수행하기 전에 필요한 생체이미지의 전처리를 수행할 수 있다. 예컨대, 상기 생체이미지의 전처리는 상기 생체이미지를 미리 정의된 크기의 타일들로 타일화하는 과정을 포함할 수 있으며, 필요에 따라 상기 뉴럴 네트워크에 적합한 방식으로 적절한 이미지 프로세싱을 수행할수도 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 본 발명의 기술적 사상에 따른 뉴럴 네트워크는 전술한 바와 같이 미시 뉴럴 네트워크와 거시 뉴럴 네트워크를 포함하는 기술적 특징을 가진다. 이러한 일 예는 도 4를 참조하여 상세히 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 뉴럴 네트워크의 구성을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 기술적 사상에 따른 뉴럴 네트워크(200)는 미시 뉴럴 네트워크 및 거시 뉴럴 네트워크를 포함한다.
미시 뉴럴 네트워크는 복수의 레이어들(210) 및 출력 레이어(230)를 포함한다. 복수의 레이어들(210)에는 입력 레이어(211) 및 복수의 히든 레이어들(212)이 포함된다.
거시 뉴럴 네트워크는 복수의 레이어들(220) 및 상기 출력 레이어(230)를 포함한다. 상기 복수의 레이어들(220)에는 입력 레이어(221) 및 복수의 히든 레이어들(222)이 포함된다.
상기 미시 뉴럴 네트워크는 특정 타일(30)을 입력 받고, 특정 타일의 진단결과 즉, 출력 레이어(230)에 정의된 출력 데이터들을 출력하도록 정의된다.
또한 상기 거시 뉴럴 네트워크는 상기 특정 타일(30)을 포함하며 상기 특정 타일(30)의 인접 타일을 적어도 하나 포함하는 거시 타일(40)을 입력 받고, 상기 특정 타일의 진단결과를 출력하도록 정의된다.
즉, 본 발명의 기술적 사상에 따른 뉴럴 네트워크(200)는 특정 타일(30)의 진단결과를 출력하기 위해 특정 타일(30)의 이미지 특성뿐만 아니라 상기 특정 타일(30)의 인접한 타일들의 이미지 특성까지 고려하여 진단결과를 출력할 수 있다.
상기 거시 타일(40)은 도 4에서는 타일을 둘러싼 3타일이 이용되는 일 예를 도시하고 있지만, 다양한 실시예가 가능할 수 있음은 물론이다.
상기 출력 레이어(230)는 상기 미시 뉴럴 네트워크에 포함된 상기 출력 레이어(230)의 직전 레이어인 제1직전 레이어(212-1)와 거시 뉴럴 네트워크에 포함된 상기 출력 레이어(230)의 직전 레이어인 제2직전 레이어(222-1) 각각의 출력 데이터를 입력받아 상기 출력 레이어(230)에 정의된 출력 데이터를 출력할 수 있다. 상기 제1직전 레이어(212-1), 상기 제2직전 레이어(222-1), 및 상기 출력 레이어(230)는 풀리 커넥티드(fully connected)될 수 있다.
상기 출력 레이어(230)를 정의하는 전방향(Feedforward) 함수로는 입력 레이어로 입력받은 입력 데이터가 뉴럴 네트워크(200)을 통해 결과로 출력 레이어(230)로 출력 데이터를 출력하는 다양한 함수 중 어느 하나가 이용될 수 있다.
결국, 상기 뉴럴 네트워크(200)는 특정 타일(30)에 대해 진단을 수행하기 위해 상기 특정 타일(30)의 이미지 특성과 상기 특정 타일(30)을 포함하는 거시 타일(40)의 이미지 특성을 같이 고려하여, 다수의 트레이닝 데이터들의 어노테이션 값과 상응하는 출력 레이어(230)의 출력 데이터를 출력하도록 학습된다.
즉, 상기 뉴럴 네트워크(200)를 학습하기 위해서는 다수의 트레이닝 데이터들이 이용되며, 다수의 트레이닝 데이터는 특정 타일(30) 및 거시 타일(40) 한쌍을 포함할 수 있다. 그리고 거시 타일(40) 역시 상기 특정 타일(30)의 어노테이션 정보를 이용하여 학습을 수행할 수 있다.
그러면 상기 뉴럴 네트워크(200)는 상기 특정 타일(30)과 상기 거시 타일(40)의 이미지 특성을 모두 고려하여, 상기 특정 타일(30)의 어노테이션 정보에 상응하는 출력 데이터를 출력할 수 있도록 학습될 수 있다.
그리고 학습된 뉴럴 네트워크(200)는 진단의 대상이 되는 대상 타일 및 상기 대상 타일에 상응하는 거시 타일을 각각 미시 뉴럴 네트워크 및 거시 뉴럴 네트워크의 입력 레이어의 입력 데이터로 입력받으면, 상기 대상 타일의 진단 결과 즉, 출력 레이어(230)의 출력 데이터를 출력할 수 있다.
한편, 상기 거시 뉴럴 네트워크는 미시 뉴럴 네트워크에 비해 큰 스트라이드를 갖는 것을 특징으로 할 수 있다. 이는 거시 뉴럴 네트워크에서는 거시 타일(40)에 포함된 이미지 특성을 미시 뉴럴 네트워크에 비해 보다 간헐적으로 추출하는 것을 의미할 수 있다. 이는 거시 뉴럴 네트워크 역시 상기 특정 타일(30)을 진단하기 위한 것이어서 미시 뉴럴 네트워크와 같이 매우 촘촘히 이미지 특징을 추출하여 추출된 이미지 특징을 추상화하는 과정을 거칠 필요는 없다는 것을 의미할 수 있다. 또한 오히려 특정 타일(30)이 아닌 인접 타일의 이미지 특징이 상기 특정 타일(30)의 진단에 너무 많은 영향을 미치는 것을 어느 정도 제약할 수 있는 효과도 가질 수 있다. 따라서 거시 뉴럴 네트워크의 스트라이드 값을 미시 뉴럴 네트워크보다 크게 함으로써 보다 효율적인 네트워크 설계가 가능할 수 있다. 일 예에 의하면, 상기 미시 뉴럴 네트워크에서 사용되는 스트라이드 값은 1일 수 있고, 거시 뉴럴 네트워크에서 사용되는 스트라이드 값은 2 또는 3 등이 이용될 수 있다.
또한 모든 히든 레이어들에 공통적으로 더 큰 스트라이드 값이 적용될 필요는 없을 수 있으며, 초기의 몇 개의 컨볼루션 레이어에 대해서만 적용되는 스트라이드 값이 미시 뉴럴 네트워크에 비해 거시 뉴럴 네트워크가 클 수도 있다.
한편, 상기 출력 레이어(230)는 진단의 대상이 되는 특정 타일(30)의 진단결과를 출력 데이터를 출력할 수 있다. 진단결과는 상기 특정 타일(30)의 질병의 상태에 대한 정보를 적어도 포함할 수 있다. 질병의 상태에 대한 정보는 단순히 특정 질병이 특정 타일(30)에 발현되었는지 여부(또는 확률 값)에 대한 정보를 의미할 수도 있다.
하지만 질병의 종류에 따라 질병의 상태에 대한 정보에는 보다 구체적으로 질병의 진행정도를 나타내는 정보가 포함될 수도 있다. 이하에서는 상기 진단 시스템(100)이 진단하는 질병의 종류가 전립선 암인 경우를 일 예로 설명하지만, 본 발명의 기술적 사상이 반드시 전립선 암에 국한되어 적용될 필요는 없음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 5는 본 발명의 실시 예에 따른 뉴럴 네트워크의 출력 레이어를 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 출력 레이어(230)는 적어도 하나의 채널(예컨대, 231 내지 238)을 포함할 수 있다.
상기 출력 레이어(230)는 전술한 바와 같이 질병의 상태에 대한 정보를 나타내는 상태채널(예컨대, 236, 237, 238)이 적어도 하나 포함될 수 있다. 상기 상태채널들(예컨대, 236, 237, 238)은 각각 질병의 진행정도를 나타내는 정보일 수 있다. 예컨대, 제1상태채널(236)은 전립선 암의 진행정도를 나타내는 지표인 글리슨 패턴의 값 중 어느 하나인 제1값(예컨대, 글리슨 패턴 3)을 가질 확률을 나타내는 정보일 수 있다. 제2상태채널(237) 및 제3상태채널(238)은 각각 글리슨 패턴의 값 중 다른 값인 제2값(예컨대, 글리슨 패턴 4) 및 제3값(예컨대, 글리슨 패턴 5)를 가질 확률을 나타내는 정보일 수 있다. 이처럼 질병의 종류에 따라 진행정도를 나타내는 지표가 정의되어 있는 경우에는, 진행정도에 따른 상태채널이 정의됨으로써 단순히 질병이 발현되었는지 뿐만 아니라 해당 질병의 진행정도까지 진단될 수 있는 효과가 있다.
한편, 본 발명의 기술적 사상에 의하면 상기 출력 레이어(230)에는 상기 상태채널의 값 즉, 진단의 대상이 된 타일이 질병이 발현되었는지 여부 또는 질병이 어느 정도 진행되었는지에 대한 정보뿐만 아니라, 상기 상태채널의 값과 연관된 연관인자의 발현정도를 나타내는 연관인자 채널(예컨대, 232, 233, 234, 235)이 적어도 하나 더 포함될 수 있다.
즉, 상기 연관인자 채널(예컨대, 232, 233, 234, 235)은 질병의 발현여부 또는 질병의 진행정도를 판단하는데 근거가 된 개별적인 인자들의 발현여부를 나타내는 정보일 수 있다. 예컨대, 전립선 암의 발현 또는 진행정도는 세포 핵의 상태가 소정의 조건을 만족하는지 여부, 글랜드(gland) 세포벽이 한층으로 이루어져있는지 여부, 글랜드가 일정 수준 이상 밀집되어 있는지 여부, 및/또는 스트로마의 형태가 정상적인지 여부 등의 개별적인 인자들이 하나 또는 복수 개 고려되어 전립선 암이 발현되었는지 또는 진행정도가 어느 정도인지가 판단될 수 있다.
즉, 이러한 개별적인 인자들의 조합에 의해 상태채널의 채널 값이 판단되게 되는데, 본 발명의 기술적 사상에 의하면 이러한 개별적인 인자들 자체를 별도의 채널로 정의하고 개별적인 인자들의 발현여부 역시 학습을 통해 진단을 수행하는 특징을 가질 수 있다.
이처럼 연관인자 채널(예컨대, 232, 233, 234, 235)을 출력 레이어(230)에 정의하는 경우에는, 실제로 상태채널만 존재하는 경우 의료진이 어떤 이유로 해당 상태채널의 출력 값이 도출되었는지를 알지 못하는 문제점을 해결할 수 있다. 즉, 본 발명의 기술적 사상에 의하면, 상태채널의 출력 값 예컨대, 질병이 발현되었다 또는 질병이 어느 정도 진행되었다고 진단 시스템(100)이 판단한 판단의 근거인 개별적인 인자들의 발현여부 즉, 연관인자 채널(예컨대, 232, 233, 234, 235)의 출력 값을 추가적으로 제공할 수 있는 효과가 있다. 이를 통해 진단 시스템(100)의 진단결과에 대한 보다 높은 신뢰성이 제공될 수 있는 효과가 있다. 또한 연관인자 채널(예컨대, 232, 233, 234, 235)의 출력 값과 상태채널의 출력 값이 서로 매칭되는지 여부를 손쉽게 확인할 수 있어서 상기 진단 시스템(100)의 학습이 정상적으로 진행되고 있는지를 학습 중에도 판단할 수 있는 효과가 있어서 뉴럴 네트워크(200)의 학습 자체에도 효과적일 수 있다. 더욱이 연관인자 채널(예컨대, 232, 233, 234, 235)을 별도로 학습하는 경우, 뉴럴 네트워크(200)는 보다 정확한 진단율을 가지는 것으로 확인되었다. 이는 실제로 출력 레이어(230)에 연관인자 채널(예컨대, 232, 233, 234, 235)이 포함됨으로써 뉴럴 네트워크(200)가 개별적인 인자들을 상태채널의 출력 값의 판단에 고려하고 있음을 의미할 수도 있다.
상기 진단 시스템(100)이 전립선 암에 대한 진단을 위해 학습된 경우, 상기 연관인자 채널은 상기 타일에 해당하는 생체조직의 세포핵이 특정 조건을 만족하는 확률을 나타내는 채널을 포함할 수 있다. 예컨대, 상기 특정 조건은 핵이 상대적으로 큰 경우, 색이 짙은 경우, 핵소체가 뚜렷하게 보이는 경우, 핵이 원형에 가까운 정도 등의 조건을 포함할 수 있고, 이러한 조건이 만족할수록 전립선 암의 발명 또는 진행정도가 심할 확률이 높을 수 있다.
또한, 상기 연관인자 채널(예컨대, 232, 233, 234, 235)은 상기 타일에 해당하는 생체조직이 싱글 셀 레이어 즉, 글랜드 세포벽이 한층으로 뚜렷하게 표시되는 경우로 분류되는 확률을 나타내는 채널을 포함할 수 있다. 싱글 셀 레이어의 특징이 발현되는 경우에 전립선 암이 발병했거나 그 진행정도가 심할 확률이 높을 수 있다.
또한 상기 연관인자 채널(예컨대, 232, 233, 234, 235)은 상기 타일에 해당하는 생체조직이 고밀도 글랜드(gland)로 분류되는 확률을 나타내는 채널을 포함할 수도 있다. 예컨대, 일정 범위 내에 글랜드가 미리 정해진 개수 이상 밀집되어 있는지 여부에 따라 전립선 암이 발병할 확률 또는 진행정도가 심할 수 있다.
또한, 상기 연관인자 채널(예컨대, 232, 233, 234, 235)은 상기 타일에 해당하는 생체조직이 정상 스트로마(stroma)로 분류되는 확률을 나타내는 채널을 포함할 수도 있다. 즉 정상 스트로마의 형태를 갖는 경우에는 전립선 암일 확률 또는 진행정도가 낮을 수 있다.
상기의 출력 레이어(230)에 정의된 각각의 채널 값들을 학습된 뉴럴 네트워크(200)가 출력 데이터로 출력하기 위해서는 트레이닝 데이터 즉, 타일 및 거시 타일 각각에 출력 레이어(230)에 상응하는 채널들의 어노테이션 값들이 어노테이션되어야 함은 물론이며, 이를 위해서는 상기의 채널 값들을 어노테이션할 수 있는 전문적인 인력이 필요할 수도 있음은 물론이다.
본 발명의 실시 예에서 상기 출력 레이어(230)에 포함된 채널들 중 소정의 채널(예컨대, 231)은 어떠한 유의미한 정보도 의미하지 않을 수 있다. 즉, 해당 채널은 학습 및 진단에 이용되지 않는 채널일 수 있다. 이는 네트워크 설계 시에 출력 레이어(230)가 2의 배수의 채널을 갖는 것이 유리할 경우, 사용되지 않는 채널을 적어도 하나 포함되도록 출력 레이어(230)가 설계될 수도 있기 때문이다.
결국 본 발명의 기술적 사상에 따른 진단 시스템(100)이 이용하는 뉴럴 네트워크(200)는 진단의 대상이 되는 어느 한 타일의 진단을 위해 상기 타일뿐만 아니라 상기 타일을 포함하는 거시타일의 이미지까지 고려하여 보다 높은 정확도로 진단을 수행할 수 있는 특징이 있다.
또한 상기 뉴럴 네트워크(200)는 단순히 상태채널만을 출력 데이터로 출력하는 것이 아니라 연관인자 채널을 적어도 하나 포함함으로써, 진단결과에 대한 신뢰성을 확보할 수 있을 뿐만 아니라 뉴럴 네트워크(200)의 학습에 있어서도 효과적이며, 연관인자 채널이 출력 레이어에 포함됨으로써 상태채널의 진단결과 자체에도 정확성이 높아질 수 있는 효과가 있다.
도 6은 본 발명의 실시 예에 따른 뉴럴 네트워크를 학습하기 위한 어노테이션 정보의 일 예를 나타내는 도면이다.
도 6을 참조하면, 본 발명의 기술적 사상에 따른 뉴럴 네트워크(200)를 학습하기 위해서는 도 6과 같은 거시 타일의 어노테이션 정보가 필요할 수 있다. 도 6에서는 상기 거시 타일의 중앙에 존재하는 타일에 대해, 출력 레이어(230)에 정의된 채널들 각각의 값이 어노테이션된다. 예컨대, 도 6의 하단에 기재된 바와 같이 8개의 채널 값이 각각 어노테이션되어 있고, 첫 번째 채널은 미사용채널, 두 번째 채널은 전술한 바와 같은 세포 핵에 대한 연관인자 채널, 세 번째 채널은 싱글 셀 레이어와 관련한 연관인자 채널, 네 번째 채널은 고밀도 글랜드에 대한 연관인자 채널, 다섯 번째 채널은 정상 스트로마인지에 대한 연관인자 채널, 여섯 번째 채널은 글리슨 패턴이 3인 값을 갖는 상태채널, 일곱 번째 채널은 글리슨 패턴이 4인 값을 갖는 상태채널, 여덟 번째 채널은 글리슨 패턴이 5인 값을 갖는 상태채널이 예시적으로 도시되고 있다. 또한 어노테이터는 상기 거시 타일의 중앙에 위치한 타일에 대해 글리슨 패턴이 4인 상태를 갖는다고 어노테이션 했음을 의미할 수 있다. 물론, 도 6에는 도시되지 않았지만 글리슨 패턴 4라고 판단한 근거가된 연관인자 채널에 대해 어노테이션을 더 수행할 수도 있다.
이처럼 어노테이션된 정보와 어노테이션된 상기 타일 및 상기 타일을 포함하는 거시 타일이 트레이닝 데이터로 이용되어 상기 뉴럴 네트워크(200)가 학습될 수 있다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 뉴럴 네트워크에서 연관인자를 설명하기 위한 도면이다.
도 7 내지 도 10은 전술한 바와 같이 연관인자 채널에 해당하는 값이 어노테이션된(또는 진단된) 타일의 일 예들을 도시하고 있다. 도 7은 타일들 중에서 세포 핵에 대한 조건이 만족하는 타일들이 반전되어 표시되고 있고, 도 8은 싱글 셀 레이어에 해당하는 타일이 반전되어 표시되고 있다. 또한, 도 9는 고밀도 글랜드에 해당하는 타일이 반전되어 표시되고 있으며, 도 10은 정상 스트로마에 해당하는 타일이 반전되어 표시되고 있다.
따라서 본 발명의 기술적 사상에 따른 진단 시스템(100)에 의하면, 다수의 타일들이 존재하는 생체이미지에서 특정 질병이 발현되거나 또는 특정 진행상태에 해당하는 타일들을 추출할 수 있을 뿐만 아니라, 이와는 개별적으로 특정 개별인자가 발현된 타일들을 별도로 추출할 수도 있는 효과가 있다.
도 11은 본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 진단 결과를 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 실시 예에 따른 뉴럴 네트워크(200)를 이용한 진단 시스템(100)은 도 11에 도시된 타일들 중 중앙 타일에 대해 도 11의 하단에 기재된 바와 같은 진단 결과를 출력할 수 있다.
예컨대, 진단 시스템(100)은 학습된 뉴럴 네트워크(200)를 이용하여 도11에 도시된 타일들의 중앙 타일에 대해 제1연관인자 채널의 값은 0.90, 제2연관인자 채널의 값은 0.73, 제3연관인자 채널의 값은 0.95, 제4연관인자 채널의 값은 0, 제1상태채널의 값은 0.64, 제2상태채널의 값은 0.4, 제3상태채널의 값은 0으로 판단하였다.
이는 상기 중앙 타일은 글리슨 패턴 3일 확률이 높고, 세포 핵이 특정 조건을 만족할 확률이 높고, 싱글 셀 레이어에 해당할 확률 및 고밀도 글랜드에 해당할 확률이 높다고 판단하고 있음을 알 수 있다.
도 12는 본 발명의 실시 예에따른 뉴럴 네트워크를 이용한 질병의 진단 시스템을 통해 진단된 생체이미지를 설명하기 위한 도면이다.
도 12는 본 발명의 기술적 사상에 따른 진단 시스템(100)을 통해 생체이미지에서 전립선 암이 발명된 부위를 진행정도에 따라 달리 표시한 결과의 일 예를 도시하고 있다. 도 12에선 녹색으로 표시된 부분은 글리슨 패턴 3에 해당하는 생체조직, 보라색으로 표시된 부분은 글리슨 패턴 4에 해당하는 생체조직, 적색으로 표시된 부분은 글리슨 패턴 5에 해당하는 생체조직을 표시한 일 예를 도시하고 있다.
따라서 본 발명의 기술적 사상에 따른 진단 시스템(100)은 기존에 숙련된 병리학과 의료인이 오랜 시간 걸려서 진단하였던 결과를 자동으로 그리고 효과적으로 빠른 시간내에 진단할 수 있는 효과가 있다. 또한 상태채널을 질병의 진행정도에 따라 복수 개 출력 레이어에 포함되도록 정의함으로써 생체조직에서 질병의 진행정도의 차이에 따라 도 12에 도시된 바와 같이 차별적으로 표시할 수도 있는 효과가 있다.
또한 전술한 바와 같이 단순히 단일 타일만을 학습하고 이를 이용해 진단을 수행하는 뉴럴 네트워크를 구성하는 경우에 비해, 단일 타일 및 상기 단일 타일을 포함하는 거시 타일을 모두 고려하여 상기 단일 타일을 진단한 결과 진단율의 정확도가 더욱 높게 나타나는 것을 확인할 수 있었다.
또한 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 특정 조직뿐만 아니라 해당 조직이 주변조직의 상태까지 고려하여 상기 특정 조직의 진단을 수행할 필요가 있는 다른 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단이 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 실시 예에 따른 뉴럴 네트워크를 이용한 질병의 진단 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (17)
- 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템에 있어서,
상기 생체이미지에 포함된 소정의 타일을 입력 레이어로 입력 받으며 복수의 제1레이어들 및 출력 레이어를 포함하는 미시 뉴럴 네트워크; 및
상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 입력 레이어로 입력 받으며 복수의 제2레이어들 및 상기 출력 레이어를 포함하는 거시 뉴럴 네트워크를 포함하며,
상기 출력 레이어는,
상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 상태채널을 적어도 하나 포함하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 제1항에 있어서, 상기 출력 레이어는,
상기 제1레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제1직전 레이어 및 상기 제2레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제2직전 레이어 각각의 출력 데이터에 기초하여 결정되는 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 제1항에 있어서, 상기 거시 뉴럴 네트워크는,
상기 미시 뉴럴 네트워크에 비해 큰 스트라이드(stride)를 갖는 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단 시스템
- 제1항에 있어서, 상기 출력 레이어는,
상기 상태채널; 및
상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 제4항에 있어서, 상기 질병은,
전립선 암인 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 제5항에 있어서, 상기 상태채널은,
상기 타일에 해당하는 생체조직이 미리 정해진 범위의 글리슨 패턴 값을 가질 확률을 나타내는 채널인 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 제5항에 있어서, 상기 연관인자 채널은,
상기 타일에 해당하는 생체조직의 세포핵이 특정 조건을 만족하는 확률을 나타내는 채널;
상기 타일에 해당하는 생체조직이 싱글 셀 레이어로 분류되는 확률을 나타내는 채널;
상기 타일에 해당하는 생체조직이 고밀도 글랜드(gland)로 분류되는 확률을 나타내는 채널; 또는
상기 타일에 해당하는 생체조직이 정상 스트로마(stroma)로 분류되는 확률을 나타내는 채널 중 적어도 하나의 채널을 포함하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템에 있어서,
상기 생체이미지에 포함된 소정의 타일을 입력받는 입력 레이어;
복수의 레이어들; 및
출력 레이어를 포함하며,
상기 출력 레이어는,
상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 적어도 하나의 상태채널 및 상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함하는 뉴럴 네트워크를 이용한 질병의 진단 시스템.
- 프로세서 및 저장장치를 포함하는 시스템에 구현되며 생체이미지와 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법에 있어서,
상기 진단 시스템의 뉴럴 네트워크 모듈이 상기 생체이미지에 포함된 소정의 타일을 입력 레이어로 입력받으며 복수의 제1레이어들 및 출력 레이어를 포함하는 미시 뉴럴 네트워크와 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 입력 레이어로 입력받으며 복수의 제2레이어들 및 상기 출력 레이어를 포함하는 거시 뉴럴 네트워크를 저장하는 단계;
상기 진단 시스템의 제어모듈이 상기 타일 및 상기 출력 레이어와 상응하도록 상기 타일에 어노테이션(annotation)된 어노테이션 정보를 이용하여 상기 뉴럴 네트워크 모듈에 저장된 상기 미시 뉴럴 네트워크 및 상기 거시 뉴럴 네트워크를 각각 학습시키는 단계를 포함하며,
상기 출력 레이어는,
상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 상태채널을 적어도 하나 포함하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 제9항에 있어서, 상기 뉴럴 네트워크를 이용한 질병의 진단방법은,
상기 뉴럴 네트워크 모듈에 저장된, 학습된 상기 미시 뉴럴 네트워크 및 상기 거시 뉴럴 네트워크를 포함하는 상기 뉴럴 네트워크가 진단대상 생체이미지에 포함된 대상 타일을 입력 받는 단계; 및
상기 뉴럴 네트워크를 통해 상기 출력 레이어에 상응하는 출력 데이터를 출력하는 단계를 더 포함하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 제9항에 있어서, 상기 출력 레이어는,
상기 제1레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제1직전 레이어 및 상기 제2레이어들에 포함되며 상기 출력 레이어의 직전 레이어인 제2직전 레이어 각각의 출력 데이터에 기초하여 결정되는 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 제9항에 있어서, 상기 거시 뉴럴 네트워크는,
상기 미시 뉴럴 네트워크에 비해 큰 스트라이드(stride)를 갖는 것을 특징으로 하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 제9항에 있어서, 상기 출력 레이어는,
상기 상태채널; 및
상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법에 있어서,
상기 진단 시스템의 뉴럴 네트워크 모듈이 상기 생체이미지에 포함된 소정의 타일을 입력받는 입력 레이어, 복수의 레이어들, 및 출력 레이어를 포함하는 뉴럴 네트워크를 저장하는 단계;
상기 진단 시스템의 제어모듈이 상기 타일 및 상기 출력 레이어에 상응하는 상기 타일의 어노테이션 정보를 이용하여 상기 뉴럴 네트워크를 학습시키는 단계를 포함하며,
상기 출력 레이어는,
상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 적어도 하나의 상태채널 및 상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 프로세서 및 저장장치를 포함하는 시스템에 구현되며 생체이미지와 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법에 있어서,
상기 진단 시스템이 상기 진단 시스템의 뉴럴 네트워크 모듈에 저장되며 입력 레이어, 복수의 제1레이어들 및 출력 레이어를 포함하는 미시 뉴럴 네트워크에 상기 생체이미지에 포함된 소정의 타일을 입력받고, 제2입력 레이어, 복수의 제2레이어들 및 상기 출력 레이어를 포함하는 거시 뉴럴 네트워크에 상기 타일을 포함하며 상기 타일의 인접 타일을 적어도 하나 포함하는 거시타일을 입력받는 단계;
상기 진단 시스템이 입력에 응답하여 상기 출력 레이어를 통해 상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 적어도 하나의 상태채널의 값을 출력하는 단계를 포함하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 구현되며 생체이미지와 상기 뉴럴 네트워크를 이용한 질병의 진단 시스템이 수행하는 방법에 있어서,
상기 진단 시스템이 상기 생체이미지에 포함된 소정의 타일을 입력받는 입력 레이어, 복수의 레이어들, 및 출력 레이어를 포함하는 학습된 뉴럴 네트워크를 뉴럴 네트워크 모듈에 저장하는 단계;
상기 진단 시스템이 저장된 상기 뉴럴 네트워크 모듈을 이용해 상기 타일을 입력받고 입력에 응답하여 진단결과를 출력하는 단계를 포함하며,
상기 출력 레이어는,
상기 타일에 대응하는 생체조직의 상기 질병에 대한 상태를 나타내는 적어도 하나의 상태채널 및 상기 상태채널의 값에 연관된 연관인자의 발현정도를 나타내는 적어도 하나의 연관인자 채널을 포함하는 뉴럴 네트워크를 이용한 질병의 진단방법.
- 데이터 처리장치에 설치되며 제9항 내지 제16항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168176A KR101944536B1 (ko) | 2016-12-11 | 2016-12-11 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| PCT/KR2017/014219 WO2018106005A1 (ko) | 2016-12-11 | 2017-12-06 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| JP2019552437A JP6851094B2 (ja) | 2016-12-11 | 2017-12-06 | ニューラルネットワークを用いた疾病診断システム及びその方法 |
| ES17879144T ES2962851T3 (es) | 2016-12-11 | 2017-12-06 | Sistema de diagnóstico de enfermedades que utiliza una red neuronal y procedimiento para de la misma |
| US16/468,173 US11074686B2 (en) | 2016-12-11 | 2017-12-06 | System for diagnosing disease using neural network and method therefor |
| EP17879144.8A EP3553789B1 (en) | 2016-12-11 | 2017-12-06 | System for diagnosing disease using neural network and method therefor |
| CN201780076613.5A CN110366759B (zh) | 2016-12-11 | 2017-12-06 | 用神经网络诊断疾病的***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168176A KR101944536B1 (ko) | 2016-12-11 | 2016-12-11 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180066983A KR20180066983A (ko) | 2018-06-20 |
| KR101944536B1 true KR101944536B1 (ko) | 2019-02-01 |
Family
ID=62492265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160168176A KR101944536B1 (ko) | 2016-12-11 | 2016-12-11 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11074686B2 (ko) |
| EP (1) | EP3553789B1 (ko) |
| JP (1) | JP6851094B2 (ko) |
| KR (1) | KR101944536B1 (ko) |
| CN (1) | CN110366759B (ko) |
| ES (1) | ES2962851T3 (ko) |
| WO (1) | WO2018106005A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102316525B1 (ko) | 2021-03-08 | 2021-10-22 | 주식회사 딥바이오 | Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101944536B1 (ko) * | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| KR102162895B1 (ko) | 2018-06-04 | 2020-10-07 | 주식회사 딥바이오 | 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 |
| KR102172213B1 (ko) * | 2018-06-04 | 2020-10-30 | 주식회사 딥바이오 | 투 페이스 질병 진단 시스템 및 그 방법 |
| KR102185893B1 (ko) * | 2018-08-07 | 2020-12-02 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법 |
| KR102215269B1 (ko) * | 2018-08-07 | 2021-02-15 | 주식회사 딥바이오 | 진단 결과 생성 시스템 및 방법 |
| KR102151723B1 (ko) * | 2018-08-07 | 2020-09-03 | 주식회사 딥바이오 | 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
| KR102174379B1 (ko) * | 2018-08-27 | 2020-11-04 | 주식회사 딥바이오 | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
| KR102226899B1 (ko) * | 2018-11-16 | 2021-03-11 | 주식회사 딥바이오 | 지도학습기반의 합의 진단방법 및 그 시스템 |
| KR102650078B1 (ko) | 2019-01-25 | 2024-03-25 | 오토넥서스 메디컬 테크놀러지 인코퍼레이티드 | 중이염 진단을 위한 기계 학습 |
| KR102236948B1 (ko) * | 2019-01-25 | 2021-04-06 | 주식회사 딥바이오 | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 |
| KR102226898B1 (ko) * | 2019-01-25 | 2021-03-11 | 주식회사 딥바이오 | 커스터마이징 진단 시스템 제공방법 및 그 시스템 |
| KR102226897B1 (ko) * | 2019-01-25 | 2021-03-11 | 주식회사 딥바이오 | 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 |
| KR102329546B1 (ko) * | 2019-07-13 | 2021-11-23 | 주식회사 딥바이오 | 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법 |
| US11488014B2 (en) * | 2019-10-22 | 2022-11-01 | International Business Machines Corporation | Automated selection of unannotated data for annotation based on features generated during training |
| EP3828816A1 (en) * | 2019-11-28 | 2021-06-02 | Siemens Healthcare GmbH | Patient follow-up analysis |
| KR20210137828A (ko) * | 2020-05-11 | 2021-11-18 | 의료법인 성광의료재단 | 기계학습 예측모델을 이용한 난소암 진단 방법 및 이를 적용하는 시스템 |
| CN116134535A (zh) * | 2020-07-23 | 2023-05-16 | 第一百欧有限公司 | 利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断*** |
| WO2022019355A1 (ko) * | 2020-07-23 | 2022-01-27 | 주식회사 딥바이오 | 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 |
| KR102254755B1 (ko) * | 2020-11-10 | 2021-05-21 | 주식회사 딥바이오 | 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템 |
| KR102246319B1 (ko) * | 2021-01-07 | 2021-05-03 | 주식회사 딥바이오 | 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 |
| WO2022164133A1 (ko) * | 2021-01-26 | 2022-08-04 | 주식회사 뷰노 | 의료 영상의 병변 평가 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008536211A (ja) | 2005-03-31 | 2008-09-04 | フランス テレコム | ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法 |
| JP2014049118A (ja) | 2012-08-31 | 2014-03-17 | Fujitsu Ltd | 畳み込みニューラルネットワーク分類器システム、その訓練方法、分類方法および用途 |
| KR101563569B1 (ko) | 2014-05-28 | 2015-10-28 | 한국과학기술원 | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790761A (en) * | 1992-12-11 | 1998-08-04 | Heseltine; Gary L. | Method and apparatus for the diagnosis of colorectal cancer |
| AU1837495A (en) * | 1994-10-13 | 1996-05-06 | Horus Therapeutics, Inc. | Computer assisted methods for diagnosing diseases |
| US5638823A (en) * | 1995-08-28 | 1997-06-17 | Rutgers University | System and method for noninvasive detection of arterial stenosis |
| WO1998039721A1 (en) | 1997-03-07 | 1998-09-11 | University Of Florida | Method for diagnosing and staging prostate cancer |
| US7037267B1 (en) * | 1999-11-10 | 2006-05-02 | David Lipson | Medical diagnostic methods, systems, and related equipment |
| US8346482B2 (en) * | 2003-08-22 | 2013-01-01 | Fernandez Dennis S | Integrated biosensor and simulation system for diagnosis and therapy |
| US20050136509A1 (en) * | 2003-09-10 | 2005-06-23 | Bioimagene, Inc. | Method and system for quantitatively analyzing biological samples |
| US7935055B2 (en) * | 2003-09-19 | 2011-05-03 | Siemens Medical Solutions Usa, Inc. | System and method of measuring disease severity of a patient before, during and after treatment |
| US9779213B2 (en) * | 2008-07-25 | 2017-10-03 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | System for evaluating a pathological stage of prostate cancer |
| CN101639937B (zh) * | 2009-09-03 | 2011-12-14 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| JP2012235796A (ja) | 2009-09-17 | 2012-12-06 | Sharp Corp | 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置 |
| JP5589366B2 (ja) * | 2009-11-27 | 2014-09-17 | ソニー株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
| CA2944829C (en) | 2014-05-23 | 2022-10-25 | Ting Chen | Systems and methods for detection of biological structures and/or patterns in images |
| US10417525B2 (en) | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
| JP2016064004A (ja) * | 2014-09-25 | 2016-04-28 | 大日本印刷株式会社 | 医用画像表示処理方法、医用画像表示処理装置およびプログラム |
| WO2016189605A1 (ja) * | 2015-05-22 | 2016-12-01 | 株式会社Ｕｂｉｃ | データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体 |
| IL239191A0 (en) | 2015-06-03 | 2015-11-30 | Amir B Geva | Image sorting system |
| CN106203327B (zh) * | 2016-07-08 | 2019-04-19 | 清华大学 | 基于卷积神经网络的肺部肿瘤识别***及方法 |
| KR101944536B1 (ko) * | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| US9934364B1 (en) * | 2017-02-28 | 2018-04-03 | Anixa Diagnostics Corporation | Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis |
-
2016
- 2016-12-11 KR KR1020160168176A patent/KR101944536B1/ko active IP Right Grant
-
2017
- 2017-12-06 ES ES17879144T patent/ES2962851T3/es active Active
- 2017-12-06 WO PCT/KR2017/014219 patent/WO2018106005A1/ko active Application Filing
- 2017-12-06 US US16/468,173 patent/US11074686B2/en active Active
- 2017-12-06 CN CN201780076613.5A patent/CN110366759B/zh active Active
- 2017-12-06 JP JP2019552437A patent/JP6851094B2/ja active Active
- 2017-12-06 EP EP17879144.8A patent/EP3553789B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008536211A (ja) | 2005-03-31 | 2008-09-04 | フランス テレコム | ニューラルネットワークを実現するオブジェクトイメージにおいて興味のあるポイントを位置決めするシステム及び方法 |
| JP2014049118A (ja) | 2012-08-31 | 2014-03-17 | Fujitsu Ltd | 畳み込みニューラルネットワーク分類器システム、その訓練方法、分類方法および用途 |
| KR101563569B1 (ko) | 2014-05-28 | 2015-10-28 | 한국과학기술원 | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102316525B1 (ko) | 2021-03-08 | 2021-10-22 | 주식회사 딥바이오 | Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180066983A (ko) | 2018-06-20 |
| US11074686B2 (en) | 2021-07-27 |
| EP3553789A1 (en) | 2019-10-16 |
| CN110366759A (zh) | 2019-10-22 |
| EP3553789B1 (en) | 2023-08-16 |
| JP2020502712A (ja) | 2020-01-23 |
| WO2018106005A1 (ko) | 2018-06-14 |
| EP3553789A4 (en) | 2020-07-08 |
| ES2962851T3 (es) | 2024-03-21 |
| US20190385306A1 (en) | 2019-12-19 |
| EP3553789C0 (en) | 2023-08-16 |
| JP6851094B2 (ja) | 2021-03-31 |
| CN110366759B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101944536B1 (ko) | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 | |
| KR102172213B1 (ko) | 투 페이스 질병 진단 시스템 및 그 방법 | |
| JP5328146B2 (ja) | 医用画像処理装置、医用画像処理方法ならびにプログラム | |
| US9861308B2 (en) | Method and system for monitoring stress conditions | |
| JP7307926B2 (ja) | 被検体の致命的症状の発生を早期に予測するための予測結果を生成する方法、及びそれを利用する装置 | |
| CN107066814A (zh) | 一种基于望闻问切协同的中医智能辅助诊断*** | |
| KR20200005987A (ko) | 터치입력을 이용한 인지장애 진단 시스템 및 방법 | |
| KR102236948B1 (ko) | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 | |
| KR102151497B1 (ko) | 사용자의 뇌 질환을 진단하는 방법, 시스템 및 컴퓨터-판독가능 매체 | |
| JP2022510113A (ja) | 半教師あり学習を用いた診断システム提供方法、及びそれを用いた診断システム | |
| JP7320856B2 (ja) | 生体画像診断システム、生体画像診断方法、及びこれを行うための端末 | |
| KR20200016658A (ko) | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법 | |
| WO2021010093A1 (ja) | データ分析装置、データ分析方法及びデータ分析プログラム | |
| JP7109815B2 (ja) | デュアルクラスに対応できる疾病診断システム及び該方法 | |
| JP7152810B2 (ja) | 多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法 | |
| KR102215269B1 (ko) | 진단 결과 생성 시스템 및 방법 | |
| WO2021010734A1 (ko) | 건강검진 결과지 생성 시스템 | |
| KR102222015B1 (ko) | 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| KR20210142921A (ko) | 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법 | |
| JP7430025B2 (ja) | 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム | |
| Boelders et al. | Predicting Cognitive Functioning for Patients with a High-Grade Glioma: Evaluating Different Representations of Tumor Location in a Common Space | |
| Bagchi | Refining AI Methods for Medical Diagnostics Management | |
| JPWO2022264757A5 (ko) | ||
| Bagchi et al. | Support vector machine classifiers built using imperfect training data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |