KR20240083819A - Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model and learning method thereof - Google Patents
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model and learning method thereof Download PDFInfo
- Publication number
- KR20240083819A KR20240083819A KR1020230157522A KR20230157522A KR20240083819A KR 20240083819 A KR20240083819 A KR 20240083819A KR 1020230157522 A KR1020230157522 A KR 1020230157522A KR 20230157522 A KR20230157522 A KR 20230157522A KR 20240083819 A KR20240083819 A KR 20240083819A
- Authority
- KR
- South Korea
- Prior art keywords
- learning model
- lymph node
- gastric cancer
- node metastasis
- learning
- Prior art date
Links
- 208000007433 Lymphatic Metastasis Diseases 0.000 title claims abstract description 75
- 201000011591 microinvasive gastric cancer Diseases 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 38
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 67
- 210000001519 tissue Anatomy 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 201000011510 cancer Diseases 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000002250 progressing effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 35
- 238000013473 artificial intelligence Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 18
- 238000012143 endoscopic resection Methods 0.000 description 13
- 238000001356 surgical procedure Methods 0.000 description 12
- 230000000306 recurrent effect Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012277 endoscopic treatment Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000001165 lymph node Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 208000035346 Margins of Excision Diseases 0.000 description 1
- 101100009348 Mus musculus Depp1 gene Proteins 0.000 description 1
- 101100009350 Rattus norvegicus Depp gene Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치는 디지털 스캐닝을 통해 검체의 홀 슬라이드 이미지를 획득하는 이미지 획득부; 획득한 상기 이미지에 대해 종양 유무를 판별하는 제1 학습 모델; 상기 제1 학습 모델로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 제2 학습 모델; 및 상기 이미지 획득부, 상기 제1 학습 모델 및 상기 제2 학습 모델을 제어하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 디지털 스캐닝된 검체의 홀 슬라이드 이미지를 획득하고, 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델을 학습시키고, 종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델을 학습시키도록 구성될 수 있다.An electronic device for predicting early gastric cancer lymph node metastasis based on an ensemble model according to the present invention includes an image acquisition unit that acquires a whole slide image of a specimen through digital scanning; A first learning model that determines the presence or absence of a tumor for the acquired image; a second learning model that predicts early gastric cancer lymph node metastasis of the specimen from the image output from the first learning model; and at least one processor controlling the image acquisition unit, the first learning model, and the second learning model, wherein the at least one processor acquires a hole slide image of a digitally scanned specimen, and the hole slide The first learning model is trained to classify tumor, normal tissue, and non-tissue for the input image using images, and the second learning model is trained to predict early gastric cancer lymph node metastasis of the specimen using tumor and normal tissue images. It can be configured to learn.
Description
본 발명은 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법으로서, 보다 구체적으로 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법에 관한 것이다.The present invention relates to an electronic device and its learning method for predicting lymph node metastasis, and more specifically, to an electronic device and its learning method for predicting early gastric cancer lymph node metastasis based on an ensemble model.
조기 위암의 경우 일반적으로 수술이 동반되나, 최근에 조기 위암을 내시경적 절제(endoscopic resection)로 치료하는 사례가 증가하고 있다. 내시경적 절제를 시행했을 때 수술을 받았을 때보다 합병증이 적고, 내원 기간이 짧기 때문에 가능하다면 수술보다 내시경적 절제를 수행하는 경우가 많아지고 있는 것이다.Early gastric cancer is generally accompanied by surgery, but recently, cases of treating early gastric cancer with endoscopic resection have been increasing. Because endoscopic resection has fewer complications than surgery and the hospital stay is shorter, endoscopic resection is increasingly preferred over surgery when possible.
그러나, 내시경적 절제로는 위 주위 림프절을 제거할 수 없기 때문에 림프절 전이가 없는 증례에만 내시경적 절제를 시행할 수 있다. 따라서, 림프절 전이가 없는 증례만 선택하여 내시경적 절제를 시행하여야 하는데, 어떤 위암을 내시경으로 절제할지, 수술로 절제할지를 정확하게 판단하는 것이 중요하다.However, because endoscopic resection cannot remove lymph nodes around the stomach, endoscopic resection can only be performed in cases without lymph node metastasis. Therefore, endoscopic resection should be performed by selecting only cases without lymph node metastasis, and it is important to accurately determine which gastric cancer should be resected endoscopically or surgically.
현재 림프절 전이 확률을 바탕으로 내시경적 절제를 선택하는 기준과 내시경적 절제 이후 추가로 수술을 시행해야하는 기준에 대한 여러 가이드 라인이 발표되었다. 그러나, 기준에 따라 내시경적 절제를 수행하더라도 림프절 전이가 발생되는 경우가 소수 발생하며, 반대로 기준을 만족하지 않아 수술을 수행하였으나 림프절 전이가 없는 경우도 다수 발생하였다.Currently, several guidelines have been published regarding the criteria for selecting endoscopic resection based on the probability of lymph node metastasis and the criteria for performing additional surgery after endoscopic resection. However, even if endoscopic resection was performed according to the standards, there were a small number of cases where lymph node metastasis occurred. Conversely, there were many cases where the criteria were not met and surgery was performed, but there was no lymph node metastasis.
상기 가이드 라인에 따라 결정을 함에도 불구하고 정확한 림프절 전이 판단이 어려워 조기 위암환자에 대해 전절제를 유도하는 공격적인 대응이 많아 문제가 되었다.Despite making decisions based on the above guidelines, it was difficult to accurately determine lymph node metastasis, which led to many aggressive responses to induce total resection for patients with early gastric cancer.
본 발명의 실시에는 상술한 문제점을 해결하기 위하여 제안된 것으로, 딥러닝을 통해 디지털 스캐닝된 병리 이미지를 학습하고 림프절 전이를 예측함으로써 수술이 필요할 때까지 수술이 수행되지 않도록 하는 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법을 제공할 수 있다.The implementation of the present invention was proposed to solve the above-mentioned problems, and is an ensemble model-based early gastric cancer that prevents surgery from being performed until surgery is necessary by learning digitally scanned pathology images through deep learning and predicting lymph node metastasis. An electronic device for predicting lymph node metastasis and a learning method thereof can be provided.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치는 디지털 스캐닝을 통해 검체의 홀 슬라이드 이미지를 획득하는 이미지 획득부; 획득한 상기 이미지에 대해 종양 유무를 판별하는 제1 학습 모델; 상기 제1 학습 모델로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 제2 학습 모델; 및 상기 이미지 획득부, 상기 제1 학습 모델 및 상기 제2 학습 모델을 제어하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 디지털 스캐닝된 검체의 홀 슬라이드 이미지를 획득하고, 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델을 학습시키고, 종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델을 학습시키도록 구성될 수 있다.An electronic device for predicting early gastric cancer lymph node metastasis based on an ensemble model according to the present invention to solve the above-mentioned problems includes an image acquisition unit that acquires a whole slide image of the specimen through digital scanning; A first learning model that determines the presence or absence of a tumor for the acquired image; a second learning model that predicts early gastric cancer lymph node metastasis of the specimen from the image output from the first learning model; and at least one processor controlling the image acquisition unit, the first learning model, and the second learning model, wherein the at least one processor acquires a hole slide image of a digitally scanned specimen, and the hole slide The first learning model is trained to classify tumor, normal tissue, and non-tissue for the input image using images, and the second learning model is trained to predict early gastric cancer lymph node metastasis of the specimen using tumor and normal tissue images. It can be configured to learn.
상술한 과제를 해결하기 위한 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법은 획득한 이미지에 대해 종양 유무를 판별하는 제1 학습 모델과, 상기 제1 학습 모델로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 제2 학습 모델을 포함하는 전자 장치의 학습 방법으로서, 상기 방법은 디지털 스캐닝을 통해 검체의 홀 슬라이드 이미지를 획득하는 단계; 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델을 학습시키는 단계; 및 종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델을 학습시키는 단계를 포함할 수 있다. In order to solve the above-mentioned problems, the learning method of an electronic device for predicting early gastric cancer lymph node metastasis based on an ensemble model according to the present invention includes a first learning model for determining the presence or absence of a tumor for an acquired image, and a learning method from the first learning model. A learning method for an electronic device including a second learning model for predicting early gastric cancer lymph node metastasis of the specimen from the output image, the method comprising: acquiring a whole slide image of the specimen through digital scanning; training the first learning model to classify tumor, normal tissue, and non-tissue for input images using the whole slide image; And it may include training the second learning model to predict early gastric cancer lymph node metastasis of the specimen using tumor and normal tissue images.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium recording a computer program for executing the method may be further provided.
이 외에도, 본 발명을 구현하기 위한 방법이 컴퓨터 상에서 수행되도록 매체에 저장되는 컴퓨터 프로그램이 더 제공될 수 있다. In addition to this, a computer program stored in a medium may be further provided so that the method for implementing the present invention can be performed on a computer.
본 발명의 전술한 과제 해결 수단에 의하면 조기 위암의 림프절 전이에 대한 정확한 예측을 통해 내시경적 절제 또는 수술 진행 여부를 정확하게 판단하여 치료 효과를 높이고 긍정적인 예후를 도모하여 환자의 고통을 절감할 수 있다.According to the means for solving the above-mentioned problems of the present invention, it is possible to accurately predict whether to proceed with endoscopic resection or surgery through accurate prediction of lymph node metastasis in early gastric cancer, thereby increasing the treatment effect and promoting a positive prognosis, thereby reducing patient pain. .
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below.
도 1은 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 구성을 간략하게 도시한 블록도이다.
도 2는 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 과정 및 예측 과정을 도시한 것이다.
도 4는 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 제1 학습 모델의 학습 데이터를 도시한 것이다.
도 5는 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 제2 학습 모델의 학습 데이터를 도시한 것이다.
도 6은 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 성능을 나타내는 표를 도시한 것이다.
도 7은 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법을 도시한 플로우 차트이다.Figure 1 is a block diagram briefly illustrating the configuration of an electronic device for predicting early gastric cancer lymph node metastasis based on an ensemble model according to the present invention.
Figure 2 is a block diagram showing the configuration of an electronic device for predicting early gastric cancer lymph node metastasis based on an ensemble model according to the present invention.
Figure 3 shows the learning process and prediction process of an electronic device for predicting early gastric cancer lymph node metastasis based on the ensemble model according to the present invention.
Figure 4 shows learning data of the first learning model of the electronic device for predicting early gastric cancer lymph node metastasis based on the ensemble model according to the present invention.
Figure 5 shows learning data of the second learning model of the electronic device for predicting early gastric cancer lymph node metastasis based on the ensemble model according to the present invention.
Figure 6 shows a table showing the performance of an electronic device for predicting early gastric cancer lymph node metastasis based on the ensemble model according to the invention.
Figure 7 is a flow chart showing a learning method of an electronic device for predicting early gastric cancer lymph node metastasis based on an ensemble model according to the invention.
본 발명 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 발명이 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numerals refer to like elements throughout the present invention. The present invention does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present invention pertains is omitted. The term 'part, module, member, block' used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'part, module, member, block' may be implemented as a single component, or It is also possible for one 'part, module, member, or block' to include multiple components.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, when a part is said to “include” a certain component, this does not mean excluding other components, but may include other components, unless specifically stated to the contrary.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only cases where a member is in contact with another member, but also cases where another member exists between the two members.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly makes an exception.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. The identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present invention will be described with reference to the attached drawings.
본 명세서에서 '본 발명에 따른 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 발명에 따른 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.In this specification, 'device according to the present invention' includes all various devices that can perform computational processing and provide results to the user. For example, the device according to the present invention may include all of a computer, a server device, and a portable terminal, or may take the form of any one.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.Here, the computer may include, for example, a laptop, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.The server device is a server that processes information by communicating with external devices, and may include an application server, computing server, database server, file server, game server, mail server, proxy server, and web server.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.The portable terminal is, for example, a wireless communication device that guarantees portability and mobility, such as PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), and PDA. (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, smart phone ), all types of handheld wireless communication devices, and wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-device (HMD). may include.
본 발명에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.Functions related to artificial intelligence according to the present invention are operated through a processor and memory. The processor may consist of one or multiple processors. At this time, one or more processors may be a general-purpose processor such as a CPU, AP, or DSP (Digital Signal Processor), a graphics-specific processor such as a GPU or VPU (Vision Processing Unit), or an artificial intelligence-specific processor such as an NPU. One or more processors control input data to be processed according to predefined operation rules or artificial intelligence models stored in memory. Alternatively, when one or more processors are dedicated artificial intelligence processors, the artificial intelligence dedicated processors may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 발명에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.Predefined operation rules or artificial intelligence models are characterized by being created through learning. Here, being created through learning means that the basic artificial intelligence model is learned using a large number of learning data by a learning algorithm, thereby creating a predefined operation rule or artificial intelligence model set to perform the desired characteristics (or purpose). It means burden. This learning may be accomplished in the device itself that performs the artificial intelligence according to the present invention, or may be accomplished through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.An artificial intelligence model may be composed of multiple neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and neural network calculation is performed through calculation between the calculation result of the previous layer and the plurality of weights. Multiple weights of multiple neural network layers can be optimized by the learning results of the artificial intelligence model. For example, a plurality of weights may be updated so that loss or cost values obtained from the artificial intelligence model are reduced or minimized during the learning process. Artificial neural networks may include deep neural networks (DNN), such as Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks, etc., but are not limited to the examples described above.
본 발명의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력데이터)의 해답(출력데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력데이터)의 해답(출력데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태(State)에서 어떤 행동(Action)을 취할 때마다 외부 환경에서 보상(Reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망(CNN; Convolutional Neural Network), 순환신경망(RNN; Recurrent Neural Network), 트랜스포머(Transformer), 생성적 대립 신경망(GAN; generative adversarial networks) 등으로 구분될 수 있다.According to an exemplary embodiment of the present invention, a processor may implement artificial intelligence. Artificial intelligence refers to a machine learning method based on an artificial neural network that allows machines to learn by imitating human biological neurons. Methodology of artificial intelligence includes supervised learning, in which the answer (output data) to the problem (input data) is determined by providing input data and output data together as training data according to the learning method, and only input data is provided without output data. In unsupervised learning, in which the solution (output data) to the problem (input data) is not determined, and a reward is given from the external environment whenever an action is taken in the current state, , It can be divided into reinforcement learning, which conducts learning in the direction of maximizing these rewards. In addition, artificial intelligence methodologies can be divided according to the architecture, which is the structure of the learning model. The architecture of widely used deep learning technology is convolutional neural network (CNN) and recurrent neural network (RNN). , Transformer, and generative adversarial networks (GAN).
본 장치와 시스템은 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력(input)으로부터 예측하고자 하는 결과(output)를 추론할 수 있다.The devices and systems may include artificial intelligence models. An artificial intelligence model may be a single artificial intelligence model or may be implemented as multiple artificial intelligence models. Artificial intelligence models may be composed of neural networks (or artificial neural networks) and may include statistical learning algorithms that mimic biological neurons in machine learning and cognitive science. A neural network can refer to an overall model in which artificial neurons (nodes), which form a network through the combination of synapses, change the strength of the synapse connection through learning and have problem-solving capabilities. Neurons in a neural network can contain combinations of weights or biases. A neural network may include one or more layers consisting of one or more neurons or nodes. By way of example, a device may include an input layer, a hidden layer, and an output layer. The neural network that makes up the device can infer the result (output) to be predicted from arbitrary input (input) by changing the weight of neurons through learning.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다.The processor creates a neural network, trains or learns a neural network, performs calculations based on received input data, generates an information signal based on the results, or generates a neural network. The network can be retrained. Neural network models include CNN (Convolution Neural Network), R-CNN (Region with Convolution Neural Network), RPN (Region Proposal Network), and RNN, such as GoogleNet, AlexNet, and VGG Network. (Recurrent Neural Network), S-DNN (Stacking-based deep Neural Network), S-SDNN (State-Space Dynamic Neural Network), Deconvolution Network, DBN (Deep Belief Network), RBM (Restrcted Boltzman Machine), Fully Convolutional Network , LSTM (Long Short-Term Memory) Network, Classification Network, etc., but the processor may include one or more processors for performing operations according to neural network models. For example, a neural network may include a deep neural network.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.Neural networks include CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), perceptron, multilayer perceptron, FF (Feed Forward), RBF (Radial Basis Network), DFF (Deep Feed Forward), and LSTM. (Long Short Term Memory), GRU (Gated Recurrent Unit), AE (Auto Encoder), VAE (Variational Auto Encoder), DAE (Denoising Auto Encoder), SAE (Sparse Auto Encoder), MC (Markov Chain), HN (Hopfield) Network), BM (Boltzmann Machine), RBM (Restricted Boltzmann Machine), DBN (Depp Belief Network), DCN (Deep Convolutional Network), DN (Deconvolutional Network), DCIGN (Deep Convolutional Inverse Graphics Network), GAN (Generative Adversarial Network) ), Liquid State Machine (LSM), Extreme Learning Machine (ELM), Echo State Network (ESN), Deep Residual Network (DRN), Differential Neural Computer (DNC), Neural Turning Machine (NTM), Capsule Network (CN), Those skilled in the art will understand that it may include any neural network, including but not limited to KN (Kohonen Network) and AN (Attention Network).
본 발명의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.According to an exemplary embodiment of the present invention, the processor may be configured to support a Convolution Neural Network (CNN), a Region with Convolution Neural Network (R-CNN), a Region Proposal Network (RPN), a Recurrent Neural Network (RNN), such as GoogleNet, AlexNet, VGG Network, etc. ), S-DNN (Stacking-based deep Neural Network), S-SDNN (State-Space Dynamic Neural Network), Deconvolution Network, DBN (Deep Belief Network), RBM (Restrcted Boltzman Machine), Fully Convolutional Network, LSTM (Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, BERT for natural language processing, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3 , GPT-4, Visual Analytics for vision processing, Visual Understanding, Video Synthesis, and Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, and Data Creation for ResNet data intelligence. , but is not limited to this. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치(100)의 구성을 간략하게 도시한 블록도이다. 이하, 도 2 내지 도 7을 참조하여 본 발명에 따른 전자 장치 및 그의 학습 방법을 설명하기로 한다.Figure 1 is a block diagram briefly illustrating the configuration of an
본 발명에 따른 전자 장치(100)는 프로세서(110), 메모리(120), 통신부(130) 및 입출력 인터페이스(140) 등을 포함할 수 있다. 전자 장치(100)가 포함할 수 있는 내부 구성 요소는 이에 한정되지 않는다. 본 발명의 전자 장치(100)는 프로세서(110) 대신 별도의 프로세싱 서버 또는 클라우드 서버를 통해 프로세서(110)의 기능을 수행할 수 있다.The
도 1을 참고하면, 프로세서(110)는 전자 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(120) 및 메모리(120)에 저장된 데이터를 이용하여 전자 장치(100)의 동작을 수행하도록 구현될 수 있다. 이 때, 프로세서(110)와 메모리(120)는 각각 별개의 칩으로 구현될 수 있다. 또는, 프로세서(110)와 메모리(120)는 단일의 칩으로 구현될 수도 있다.Referring to FIG. 1, the
실시예에 따른 메모리(120)는 전자 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 이미지, 영상 등)을 저장할 있고, 전자 장치(100)에서 구동되는 다수의 응용 프로그램(application program) 또는 어플리케이션(application), 전자 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.The
이러한, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리는 전자 장치(100)과는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.The
실시예에 따른 통신부(130)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다. Wired communication modules include various wired communication modules such as Local Area Network (LAN) modules, Wide Area Network (WAN) modules, or Value Added Network (VAN) modules, as well as USB (Universal Serial Bus) modules. ), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard 232), power line communication, or POTS (plain old telephone service).
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.In addition to Wi-Fi modules and WiBro (Wireless broadband) modules, wireless communication modules include GSM (global System for Mobile Communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), and UMTS (universal mobile telecommunications system). ), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G, 5G, 6G, etc. may include a wireless communication module that supports various wireless communication methods.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.The short-range communication module is for short-range communication and includes Bluetooth™, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and NFC (Near Field). Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-distance communication.
실시예에 따른 입출력 인터페이스(140)는 본 발명의 전자 장치(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 입출력 인터페이스(140)는 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈(SIM)이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 본 발명의 전자 장치(100)은, 입출력 인터페이스(140)에 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.The input/
도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.Each component shown in FIG. 1 refers to software and/or hardware components such as Field Programmable Gate Array (FPGA) and Application Specific Integrated Circuit (ASIC).
본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치(100)는 조기 위암에서 내시경적 절제 후 추가로 수술해야하는 적응증을 결정하는 모델일 수 있다.The
조기 위암 조직병리검사 유리 슬라이드에 대한 디지털 스캐닝 이미지를 활용하여 림프절 전이를 예측함으로써 내시경적 절제 이후 수술 적응증을 결정할 수 있다.By predicting lymph node metastasis using digital scanning images of early gastric cancer histopathology glass slides, indications for surgery after endoscopic resection can be determined.
기존의 내시경적 절제 선택 기준은 그 기준을 만족하더라도 0.14~0.21%의 확률로 재발되는 경우가 있었고, 또는 반대로 기준을 만족하지 않아 수술을 시행 받았으나 림프절 전이가 없는 증례도 많았으나, 본 발명은 이러한 오차를 줄일 수 있다.The existing selection criteria for endoscopic resection had a probability of recurrence of 0.14 to 0.21% even if the criteria were met, or conversely, there were many cases where the criteria were not met and surgery was performed but there was no lymph node metastasis. However, the present invention Errors can be reduced.
도 2에 도시된 바와 같이, 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치(100)는 디지털 스캐닝을 통해 검체의 홀 슬라이드 이미지를 획득하는 이미지 획득부(210), 획득한 상기 이미지에 대해 종양 유무를 판별하는 제1 학습 모델(220), 상기 제1 학습 모델(220)로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 제2 학습 모델(230) 및 상기 이미지 획득부(210), 상기 제1 학습 모델(220) 및 상기 제2 학습 모델(230)을 제어하는 적어도 하나의 프로세서(110)를 포함할 수 있다. 상기 프로세서(110)는 도 1의 프로세서(110)와 동일한 하드웨어 또는 소프트웨어일 수 있다. As shown in Figure 2, the
상기 적어도 하나의 프로세서(110)는, 디지털 스캐닝된 검체의 홀 슬라이드 이미지를 획득하고, 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델(220)을 학습시키고, 종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델(230)을 학습시키도록 구성될 수 있다.The at least one
도 3에 도시된 바와 같이, 본 발명에 따른 전자 장치(100)는 제1 학습 모델(220)의 출력 결과가 제2 학습 모델(230)에 입력되도록 순차적으로 연결된 앙상블 모델을 포함할 수 있다.As shown in FIG. 3, the
다시 말해, 상기 제1 학습 모델(220)은 상기 제2 학습 모델(230)과 순차적으로 직렬 연결될 수 있다.In other words, the
본 발명에 따른 전자 장치(100)의 프로세서(110)는 종양, 정상 조직 및 논티슈 이미지로 라벨링된 홀 슬라이드 이미지를 획득하고, 라벨링된 상기 홀 슬라이드 이미지(11)를 이용하여 입력 이미지에 대해 종양(Tumor), 정상 조직(Normal) 및 논티슈(Non-tissue)를 분류하여 상기 제1 학습 모델(220)의 학습 데이터를 생성할 수 있다.The
도 3을 참조하면, 제1 학습 모델(220)은 각 영역을 컬러로 구분한 홀 슬라이드 이미지(11, Annotated color region)를 종양(Tumor), 정상 조직(Normal) 및 논티슈(Non-tissue) 이미지(12)로 분류하도록 학습될 수 있다.Referring to FIG. 3, the
제2 학습 모델(230)은 제1 학습 모델(220)에서 출력된 종양(Tumor), 정상 조직(Normal) 및 논티슈(Non-tissue) 이미지(12) 중 종양 이미지를 입력 받아 림프절 전이가 있는지 유무를 바이너리 값으로 출력하도록 학습될 수 있다. 림프절 전이가 있으면 1, 림프절 전이가 없으면 0을 출력하도록 학습할 수 있다.The
논티슈(Non-tissue)는 학습 이미지를 가볍게 하기 위하여 학습 데이터에서 제외되는 이미지로서, 종양이더라도 해당 영역이 찢어졌거나 제대로 컬러가 반영되지 않아 색 구분이 되지 않거나, 변색이 이상하게 된 경우 등 제대로 판단이 어려운 오류 이미지를 의미할 수 있다.Non-tissue is an image that is excluded from the learning data in order to lighten the learning image. Even if it is a tumor, it cannot be properly judged if the area is torn or the color is not properly reflected, so the color cannot be distinguished or the discoloration is abnormal. This could mean a difficult error image.
또한, 종양과 정상 조직을 구분하기 위하여, 도 4에 도시된 바와 같이, 홀 슬라이드 이미지에서 분류된 종양에 대해 별도 마스킹을 수행할 수 있다. 종양은 초록색으로 마스킹하고, 정상 조직은 흰색으로 그대로 두어 종양과 정상 조직이 구분되도록 할 수 있다.Additionally, in order to distinguish between tumor and normal tissue, separate masking can be performed on the tumor classified in the whole slide image, as shown in FIG. 4. Tumors can be masked in green, and normal tissues can be left white to distinguish between tumors and normal tissues.
따라서, 제1 학습 모델(220)은 종양 및 정상 조직 외에도 논티슈 이미지를 분류하여 제2 학습 모델(230)에 논티슈 이미지가 유입되지 않도록 필터링할 수 있다. 그 후 제2 학습 모델(230)은 종양 또는 정상 조직 이미지를 이용하여 림프절 전이를 판단할 수 있다.Accordingly, the
도 3을 참조하면, 상술한 학습 과정(Training)에서 학습된 제1 학습 모델(220) 및 제2 학습 모델(230)을 이용하여 조기 위암 림프절 전이 예측에 활용할 수 있다.Referring to FIG. 3, the
예측 과정에서, 입력 이미지(21)는 검체의 홀 슬라이드 이미지이며, 이를 전처리하여 각 영역이 색으로 구분되도록 전처리된 이미지(22)를 생성할 수 있다. 제1 학습 모델(220)은 전처리된 이미지(22)를 입력 받아 종양, 정상 조직, 논티슈 이미지(23)로 분류할 수 있다.In the prediction process, the input image 21 is a whole slide image of the specimen, and this can be preprocessed to generate a preprocessed image 22 so that each region is color-coded. The
상기 분류된 이미지(23)를 통합하여 상기 입력 이미지(21)에 대해 종양, 정상 조직, 논티슈가 구분된 통합 이미지(24)를 생성할 수 있다. 통합 이미지(24)에서 주황색은 종양, 녹색은 정상 조직으로서, 그 중 주황색만 필터링한 필터링 이미지(25)를 제2 학습 모델(230)에 입력하여 림프절 전이 여부를 판단할 수 있다.By integrating the classified images 23, an integrated image 24 in which tumors, normal tissues, and non-tissues are classified for the input image 21 can be generated. In the integrated image 24, orange indicates tumor and green indicates normal tissue. Among them, the filtered image 25, in which only the orange color is filtered, can be input to the
본 발명에 따른 제2 학습 모델(230)은 필터링 이미지(25)를 통해 종양의 크기, 궤양의 유무, 침범한 깊이, 뗀 절제면에 종양의 유무, 종양이 관을 타고 뻗어나갔는지 여부(인파틱 인베이젼, 베슬 인베이젼) 등을 종합하여 조기 위암 림프절 전이 여부 판단을 수행할 수 있다.The
한편, 본 발명에 따른 전자 장치(100)의 프로세서(110)는 필터링 이미지(25)를 통해 종양 이미지만을 나타내는 경우, 홀 슬라이드 이미지(21)의 종양에 제1 배율을 적용한 제1 데이터 및 상기 홀 슬라이드 이미지(21)의 종양에 제2 배율을 적용한 제2 데이터를 이용하여 상기 제2 학습 모델(230)의 학습 데이터를 생성할 수 있다.Meanwhile, when the
도 5를 참조하면, 종양 이미지 a에서 좌표를 기준으로 배율을 적용한 배율 이미지 b를 추출할 수 있으며, 예를 들어 제1 배율인 100배를 적용하여 암의 구조적 특징을 반영한 제1 학습 데이터를 생성하거나, 제2 배율인 400배를 적용하여 종양 세포 특징을 반영한 제2 학습 데이터를 생성할 수 있다.Referring to Figure 5, a magnification image b can be extracted from tumor image a by applying magnification based on coordinates. For example, the first magnification of 100 times is applied to generate first learning data reflecting the structural characteristics of cancer. Alternatively, second learning data reflecting tumor cell characteristics can be generated by applying a second magnification of 400 times.
다시 말해, 상기 제1 데이터를 이용하여 상기 제2 학습 모델(230)이 상기 종양의 전체 아키텍쳐에 대한 정보를 학습하도록 하고, 상기 제2 데이터를 이용하여 상기 제2 학습 모델(230)이 상기 종양의 각 세포에 대한 정보를 학습할 수 있다.In other words, the
일 실시예로서, 상기 제1 배율은 상기 제2 배율보다 작을 수 있으며, 상기 제1 배율 및 상기 제2 배율은 100배율 내지 400배율 중 적어도 하나의 수치일 수 있다. 상이한 배율을 적용하여 이미지에서 각각의 특징을 추출하고 각각의 특징에 따라 림프절 전이 여부를 지도 학습하여 제2 학습 모델(230)이 림프절 전이를 구분할 수 있다. 제1 배율은 종양의 구조적 특징을 추출하도록 제2 배율에 비해 작게 설정하고, 제2 배율은 종양의 세포 특징을 상세하고 디테일하게 추출하도록 제1 배율에 비해 크게 설정할 수 있다.As an example, the first magnification may be smaller than the second magnification, and the first magnification and the second magnification may be at least one of 100 to 400 times. By applying different magnifications to extract each feature from the image and supervised learning whether there is lymph node metastasis according to each feature, the
따라서, 상기 제2 학습 모델(230)은 동일한 이미지에 동일한 배율을 적용한 앙상블 데이터 및 동일한 이미지에 상이한 배율을 적용한 앙상블 데이터를 이용하여 학습을 수행할 수 있다.Accordingly, the
본 발명에 따른 전자 장치(100)의 프로세서(110)는 학습 데이터를 생성하는데 복수 개의 배율을 적용할 수 있다. 각각 상이한 배율이 적용된 제1 학습 데이터와 제2 학습 데이터를 하나의 세트로 묶어 딥러닝 처리할 수 있다. 멀티 스케일 이미지를 모아 지도 학습을 수행함으로써 림프절 전이 유무를 정확하게 예측할 수 있다.The
이때, 상기 제1 학습 모델(220) 및 상기 제2 학습 모델(230)은 CNN(Convolutional Neural Network)일 수 있다. CNN은 conv layer, max-pooling layer, dropout layer 5개, fully connected layer 3개, ReLU, batch stochastic gradient descent로 구성될 수 있다.At this time, the
도 6을 참조하면, 본 발명에 따른 전자 장치(100)는 4개의 데이터로 훈련하고 1개의 데이터로 테스트를 수행했을 때, 패치 레벨(Patch level)과 관련하여 실제 Normal인데 Normal로 예측한 값은 2079개, 실제 LNM인데 LNM으로 예측한 값은 177개이며, 슬라이드 레벨과 관련하여 LNM 4, Normal 78로 정확도가 78.1%를 달성함을 확인할 수 있다.Referring to FIG. 6, when the
또한, ROC 커브와 관련하여, 슬라이드 레벨이 LNM과 Normal 모두 더 크게 나타남을 확인할 수 있다.Additionally, with regard to the ROC curve, it can be seen that the slide level appears larger for both LNM and Normal.
따라서, 본 발명에 따른 전자 장치(100)는 상기 검체의 조기 위암 림프절 전이 예측 결과에 따라 수슬 진행 여부에 대한 지표를 제공하는 사용자 인터페이스를 더 포함할 수 있다. 사용자 인터페이스는 상술한 입출력 인터페이스(140)일 수 있다.Accordingly, the
이를 통해, 종래 가이드라인으로 결정을 함에도 불구하고 너무 많은 사람들에게 전절제를 유도하게 되는 것을 방지하고, 수술이 필요한 환자에게는 수술 수행을, 내시경 처치가 가능한 환자에게는 내시경 처치를 수행하도록 맞춤형 치료 가이드를 제공할 수 있다.Through this, we prevent too many people from being induced to undergo total resection despite decisions based on conventional guidelines, and provide a customized treatment guide to perform surgery for patients who need surgery and perform endoscopic treatment for patients who can undergo endoscopic treatment. can be provided.
한편, 도 7을 참조하면, 본 발명에 따른 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치(100)의 학습 방법은 획득한 이미지에 대해 종양 유무를 판별하는 제1 학습 모델(220)과, 상기 제1 학습 모델(220)로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 제2 학습 모델(230)을 포함하는 전자 장치에서 수행될 수 있다. Meanwhile, referring to FIG. 7, the learning method of the
상기 방법은 디지털 스캐닝을 통해 검체의 홀 슬라이드 이미지를 획득하는 단계(S710), 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델(220)을 학습시키는 단계(S720) 및 종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델(230)을 학습시키는 단계(S730)를 포함할 수 있다.The method includes acquiring a whole slide image of the specimen through digital scanning (S710), and using the whole slide image to classify the input image as a tumor, normal tissue, and non-tissue. It may include a learning step (S720) and a step of training the
상술한 내용과 중복되는 내용은 설명의 간략함을 위해 생략하기로 한다.Content that overlaps with the above-described content will be omitted for brevity of explanation.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다. As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which the present invention pertains will understand that the present disclosure may be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.
100: 전자 장치
110: 프로세서
120: 메모리
130: 통신부
140: 입출력 인터페이스
210: 이미지 획득부
220: 제1 학습 모델
230: 제2 학습 모델100: electronic device
110: processor
120: memory
130: Department of Communications
140: input/output interface
210: Image acquisition unit
220: First learning model
230: Second learning model
Claims (20)
획득한 상기 이미지에 대해 종양 유무를 판별하는 제1 학습 모델;
상기 제1 학습 모델로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 제2 학습 모델; 및
상기 이미지 획득부, 상기 제1 학습 모델 및 상기 제2 학습 모델을 제어하는 적어도 하나의 프로세서를 포함하며,
상기 적어도 하나의 프로세서는,
디지털 스캐닝된 검체의 홀 슬라이드 이미지를 획득하고,
상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델을 학습시키고,
종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델을 학습시키도록 구성된
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.An image acquisition unit that acquires a hole slide image of the specimen through digital scanning;
A first learning model that determines the presence or absence of a tumor for the acquired image;
a second learning model that predicts early gastric cancer lymph node metastasis of the specimen from the image output from the first learning model; and
It includes at least one processor that controls the image acquisition unit, the first learning model, and the second learning model,
The at least one processor,
Acquire a digitally scanned hole slide image of the specimen,
Train the first learning model to classify tumor, normal tissue, and non-tissue for input images using the whole slide image,
configured to train the second learning model to predict early gastric cancer lymph node metastasis of the specimen using tumor and normal tissue images.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 학습 모델은 상기 제2 학습 모델과 순차적으로 직렬 연결되는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to claim 1,
The first learning model is sequentially connected in series with the second learning model.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 적어도 하나의 프로세서는,
종양, 정상 조직 및 논티슈 이미지로 라벨링된 상기 홀 슬라이드 이미지를 획득하고,
라벨링된 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하여 상기 제1 학습 모델의 학습 데이터를 생성하도록 구성된
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to clause 2,
The at least one processor,
Acquire the whole slide images labeled as tumor, normal tissue, and non-tissue images;
configured to generate training data for the first learning model by classifying tumor, normal tissue, and non-tissue for the input image using the labeled hole slide image.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 적어도 하나의 프로세서는,
상기 홀 슬라이드 이미지에서 분류된 종양에 대해 별도 마스킹을 수행하도록 구성된
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to claim 1,
The at least one processor,
Configured to perform separate masking on tumors classified in the hole slide image
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 적어도 하나의 프로세서는,
상기 홀 슬라이드 이미지의 종양에 제1 배율을 적용한 제1 데이터 및 상기 홀 슬라이드 이미지의 종양에 제2 배율을 적용한 제2 데이터를 이용하여 상기 제2 학습 모델의 학습 데이터를 생성하도록 구성된
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to claim 1,
The at least one processor,
configured to generate training data of the second learning model using first data obtained by applying a first magnification to the tumor of the whole slide image and second data obtained by applying a second magnification to the tumor of the whole slide image.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 적어도 하나의 프로세서는,
상기 제1 데이터를 이용하여 상기 제2 학습 모델이 상기 종양의 전체 아키텍쳐에 대한 정보를 학습하도록 하고,
상기 제2 데이터를 이용하여 상기 제2 학습 모델이 상기 종양의 각 세포에 대한 정보를 학습하도록 구성되며,
상기 제1 배율은 상기 제2 배율보다 작은 것을 특징으로 하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to clause 5,
The at least one processor,
Using the first data, the second learning model learns information about the overall architecture of the tumor,
The second learning model is configured to learn information about each cell of the tumor using the second data,
Characterized in that the first magnification is smaller than the second magnification.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 배율 및 상기 제2 배율은 100배율 내지 400배율 중 적어도 하나의 수치인 것을 특징으로 하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to clause 6,
The first magnification and the second magnification are characterized in that at least one of 100 times to 400 times
An electronic device for predicting early gastric cancer lymph node metastasis based on ensemble models.
상기 제2 학습 모델은
동일한 이미지에 동일한 배율을 적용한 앙상블 데이터 및 동일한 이미지에 상이한 배율을 적용한 앙상블 데이터를 이용하여 학습을 수행하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to clause 7,
The second learning model is
Learning is performed using ensemble data with the same magnification applied to the same image and ensemble data with different magnification applied to the same image.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 학습 모델 및 상기 제2 학습 모델은 CNN(Convolutional Neural Network)인 것을 특징으로 하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to claim 1,
The first learning model and the second learning model are CNN (Convolutional Neural Network).
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
상기 검체의 조기 위암 림프절 전이 예측 결과에 따라 수슬 진행 여부에 대한 지표를 제공하는 사용자 인터페이스를 더 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치.According to clause 9,
It further includes a user interface that provides an indicator of whether the cancer is progressing according to the prediction result of early gastric cancer lymph node metastasis of the sample.
Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model.
디지털 스캐닝을 통해 검체의 홀 슬라이드 이미지를 획득하는 단계;
상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하도록 상기 제1 학습 모델을 학습시키는 단계; 및
종양 및 정상 조직 이미지를 이용하여 상기 검체의 조기 위암 림프절 전이를 예측하도록 상기 제2 학습 모델을 학습시키는 단계를 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.A learning method for an electronic device comprising a first learning model for determining the presence or absence of a tumor for an acquired image, and a second learning model for predicting early gastric cancer lymph node metastasis of the specimen from the image output from the first learning model, The above method is
Obtaining a hole slide image of the specimen through digital scanning;
training the first learning model to classify tumor, normal tissue, and non-tissue for input images using the whole slide image; and
Comprising the step of training the second learning model to predict early gastric cancer lymph node metastasis of the specimen using tumor and normal tissue images.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 학습 모델을 이용하여 획득한 상기 이미지에 대해 종양 유무를 판별하는 단계; 및
상기 제2 학습 모델을 이용하여 상기 제1 학습 모델로부터 출력된 이미지로부터 상기 검체의 조기 위암 림프절 전이를 예측하는 단계를 더 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 11,
Determining the presence or absence of a tumor in the image acquired using the first learning model; and
Further comprising predicting early gastric cancer lymph node metastasis of the specimen from the image output from the first learning model using the second learning model.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 학습 모델을 학습시키는 단계는,
종양, 정상 조직 및 논티슈 이미지로 라벨링된 상기 홀 슬라이드 이미지를 획득하는 단계; 및
라벨링된 상기 홀 슬라이드 이미지를 이용하여 입력 이미지에 대해 종양, 정상 조직 및 논티슈를 분류하여 상기 제1 학습 모델의 학습 데이터를 생성하는 단계를 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 12,
The step of training the first learning model is,
Acquiring the whole slide images labeled as tumor, normal tissue, and non-tissue images; and
Generating training data for the first learning model by classifying tumor, normal tissue, and non-tissue for the input image using the labeled hole slide image.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 학습 모델을 학습시키는 단계는,
상기 홀 슬라이드 이미지에서 분류된 종양에 대해 별도 마스킹을 수행하는 단계를 더 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 13,
The step of training the first learning model is,
Further comprising performing separate masking on tumors classified in the whole slide image.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제2 학습 모델을 학습시키는 단계는,
상기 홀 슬라이드 이미지의 종양에 제1 배율을 적용한 제1 데이터 및 상기 홀 슬라이드 이미지의 종양에 제2 배율을 적용한 제2 데이터를 이용하여 상기 제2 학습 모델의 학습 데이터를 생성하는 단계를 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 11,
The step of training the second learning model is,
Generating training data for the second learning model using first data obtained by applying a first magnification to the tumor in the whole slide image and second data obtained by applying a second magnification to the tumor in the whole slide image.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제2 학습 모델을 학습시키는 단계는,
상기 제1 데이터를 이용하여 상기 제2 학습 모델에 대해 상기 종양의 전체 아키텍쳐에 대한 정보를 학습시키는 단계; 및
상기 제2 데이터를 이용하여 상기 제2 학습 모델에 대해 상기 종양의 각 세포에 대한 정보를 학습시키는 단계를 더 포함하며,
상기 제1 배율은 상기 제2 배율보다 작은 것을 특징으로 하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 15,
The step of training the second learning model is,
learning information about the overall architecture of the tumor for the second learning model using the first data; and
It further includes learning information about each cell of the tumor for the second learning model using the second data,
Characterized in that the first magnification is smaller than the second magnification.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 배율 및 상기 제2 배율은 100배율 내지 400배율 중 적어도 하나의 수치인 것을 특징으로 하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 16,
The first magnification and the second magnification are at least one of 100 times to 400 times.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제2 학습 모델을 학습시키는 단계는,
동일한 이미지에 동일한 배율을 적용한 앙상블 데이터 또는 동일한 이미지에 상이한 배율을 적용한 앙상블 데이터를 이용하여 학습을 수행하는 단계를 더 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 17,
The step of training the second learning model is,
Further comprising performing learning using ensemble data obtained by applying the same magnification to the same image or ensemble data obtained by applying different magnification to the same image.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 제1 학습 모델 및 상기 제2 학습 모델은 CNN(Convolutional Neural Network)인 것을 특징으로 하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to claim 11,
The first learning model and the second learning model are CNN (Convolutional Neural Network).
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
상기 방법은,
상기 검체의 조기 위암 림프절 전이 예측 결과에 따라 수슬 진행 여부에 대한 지표를 제공하는 단계를 더 포함하는
앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치의 학습 방법.According to clause 19,
The method is:
Further comprising the step of providing an indicator of the progression of cancer according to the prediction result of early gastric cancer lymph node metastasis of the sample.
Learning method for electronic device to predict early gastric cancer lymph node metastasis based on ensemble model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2023/019834 WO2024123021A1 (en) | 2022-12-05 | 2023-12-05 | Electronic device for predicting metastasis of early gastric cancer into lymph node on basis of ensemble model, and training method therefor |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220168122 | 2022-12-05 | ||
| KR20220168122 | 2022-12-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240083819A true KR20240083819A (en) | 2024-06-12 |
Family
ID=91469420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230157522A KR20240083819A (en) | 2022-12-05 | 2023-11-14 | Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model and learning method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240083819A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220095342A (en) | 2020-12-29 | 2022-07-07 | 아주대학교산학협력단 | The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image |
-
2023
- 2023-11-14 KR KR1020230157522A patent/KR20240083819A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220095342A (en) | 2020-12-29 | 2022-07-07 | 아주대학교산학협력단 | The diagnostic method and system of lymph node metastasis in thyroid cancer using ct image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102338913B1 (en) | Deep learning based image segmentation method including biodegradable stent in intravascular optical tomography image | |
| Stephen et al. | Designing self attention-based ResNet architecture for rice leaf disease classification | |
| KR20240067783A (en) | Device, method and program for calculating medical efficacy of food using ingredient analysis and medical evidence based on AI | |
| Prezja et al. | Improving performance in colorectal cancer histology decomposition using deep and ensemble machine learning | |
| KR20240083819A (en) | Electronic device for predicting early gastric cancer lymph node metastasis based on ensemble model and learning method thereof | |
| KR20240006058A (en) | Systems, methods, and devices for predicting personalized biological states with models generated by meta-learning | |
| WO2024123021A1 (en) | Electronic device for predicting metastasis of early gastric cancer into lymph node on basis of ensemble model, and training method therefor | |
| Krishnamoorthy et al. | AO-HRCNN: archimedes optimization and hybrid region-based convolutional neural network for detection and classification of diabetic retinopathy | |
| KR102369999B1 (en) | Method for diagnosis of keratoconus based on artificial intellingence | |
| Lilhore et al. | A precise model for skin cancer diagnosis using hybrid U-Net and improved MobileNet-V3 with hyperparameters optimization | |
| KR20240058031A (en) | Electronic device and prediction method for performing cancer diagnosis on thyroid ultrasound image based on deep learning | |
| Glory Precious et al. | Deployment of a mobile application using a novel deep neural network and advanced pre-trained models for the identification of brain tumours | |
| KR20240076731A (en) | Apparatus and method for predicting blood test values of pregnant women using artificial intelligence model | |
| KR20240083820A (en) | Electronic device for annotating cells in the tumor micro environment and annotation method thereof | |
| KR102671422B1 (en) | Device and method for placing classroom placements using student personality and grade data and machine learning technology | |
| KR102610505B1 (en) | Apparatus, method and program for measuring external defects of agricultural products based on artificial intelligence | |
| EP4060558A1 (en) | Deep learning based image segmentation method including biodegradable stent in intravascular optical tomography image | |
| Arficho | Artificial Intelligence and Deep Learning in the Early Detection of Colorectal Cancer | |
| KR102657234B1 (en) | Apparatus, system and method for predicting initial disease of cut flower using self-learning deep learning based on thermal image | |
| Steffi | Automated microaneurysms detection in retinal images using SSA optimised U-Net and Bayesian optimised CNN | |
| Udara et al. | Face Skin Disease Detection and Community based Doctor Recommendation System | |
| KR20230140526A (en) | Ai model learning apparatus applying priority based signal-to-noise ratio and ai model learning method using the same | |
| KR102525537B1 (en) | Server, method and program for providing quality control services for agricultural products based on image analysis of agricultural products | |
| KR20240067026A (en) | Devices, methods and programs that automatically standardize clinical trial images based on artificial intelligence | |
| El Ouahabi et al. | Vigilance towards the use of artificial intelligence applications for breast cancer screening and early diagnosis |