KR102564750B1 - Deep learning algorithm for Alzheimer's disease prediction using a single brain MR slice - Google Patents
Deep learning algorithm for Alzheimer's disease prediction using a single brain MR slice Download PDFInfo
- Publication number
- KR102564750B1 KR102564750B1 KR1020210091487A KR20210091487A KR102564750B1 KR 102564750 B1 KR102564750 B1 KR 102564750B1 KR 1020210091487 A KR1020210091487 A KR 1020210091487A KR 20210091487 A KR20210091487 A KR 20210091487A KR 102564750 B1 KR102564750 B1 KR 102564750B1
- Authority
- KR
- South Korea
- Prior art keywords
- brain
- image
- deep learning
- slice
- dementia
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Primary Health Care (AREA)
- Neurology (AREA)
- Epidemiology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- High Energy & Nuclear Physics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Neurosurgery (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명은 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법에 관한 것으로, (a) 뇌 영상 촬영부가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득하는 단계; (b) 에러 최소화부가 상기 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하는 단계; (c) 딥 러닝 모듈이 상기 에러 최소화된 이미지에 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성하는 단계; 및 (d) 스코어 정의 모듈이 상기 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측하는 단계;를 포함하는 것을 특징으로 한다. The present invention relates to a deep learning method for predicting dementia risk based on a single brain MR slice image, comprising: (a) acquiring brain images for each patient by photographing brain shapes of a plurality of patients by a brain imaging unit; (b) receiving, by an error minimization unit, the obtained brain images, matching brain images for each patient, and generating error-minimized images of slice images through real-time data augmentation; (c) a deep learning module generating a weighted sum image by adding a weight in the learning step to the error-minimized image; and (d) predicting the risk of dementia by deriving, by a score definition module, a dementia index in the form of a real number for the generated summed images.
Description
본 발명은 복수명의 환자별 뇌 영상의 정합 및 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하고, 뇌 MR 영상인 T1 이미지를 사용하여, 인간의 직관과 유사한 관점에서 1장의 슬라이스 영상만으로 병원 센터별, 의료 장비별 호환이 가능한 치매 지수를 도출할 수 있는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법에 관한 것이다.The present invention creates an error-minimized image of a slice image through matching brain images of a plurality of patients and real-time data augmentation, and uses a brain MR image T1 image to obtain one slice image from a viewpoint similar to human intuition. It is about a deep learning method for predicting dementia risk based on a single brain MR slice image that can derive a dementia index that is compatible for each hospital center and each medical equipment with only
- Fully convolution network (FCN) :- Fully convolution network (FCN):
개념 : 여러 개의 컨볼루션 블록(convolution layer, pooling layer)으로 구성되어 있는 딥 러닝 네트워크로서, 마지막에 완전 연결층(Fully connected layer)이 없는 것이 특징이다. Concept: It is a deep learning network composed of several convolution blocks (convolution layer, pooling layer), and it is characterized by the absence of a fully connected layer at the end.
특히, FCN의 특성상 위치정보를 소실하지 않으므로 더 정확한 정보를 획득할 수 있는 것이 특징이다. In particular, since location information is not lost due to the nature of FCN, more accurate information can be obtained.
본 발명에서는 FCN에서 확립된 다양한 모델들을 적용하여, 병원 센터 및 의료 장비에 종속되지 않는 결과를 도출한다.In the present invention, various models established in FCN are applied to derive results independent of hospital centers and medical equipment.
- Softmax layer :-Softmax layer:
개념 : 딥 러닝에서 마지막 활성 커널(activation kernel)을 지정하게 되는데, 본 발명에서는 치매 지수 (0~1)이라는 값의 범위 내에서 도출을 목표로 하기에, softmax layer를 마지막 단에서 사용하게 된다.Concept: In deep learning, the last activation kernel is designated. In the present invention, the softmax layer is used in the last stage because the goal is to derive it within the value range of the dementia index (0 to 1).
- Data augmentation :-Data augmentation:
개념 : 의료영상처럼 데이터가 부족한 환경에서 파라미터가 큰 뉴럴 네트워크 모델링을 할 경우에는 훈련 데이터(train data)에서 오버 피팅(over-fitting)이 발생할 경우가 높아진다. Concept: When performing neural network modeling with large parameters in an environment where data is scarce, such as medical images, over-fitting occurs in the training data.
이를 해결하기 위해 위 내용(FCN)에 적용하는 방법도 존재하며, 본 발명에서는 추가로 MR에 적합하도록 1장의 슬라이스 영상으로부터 많은 영상들이 추가로 생성될 수 있도록, 동적(dynamic)으로 데이터를 증량하는 기법을 사용한다. To solve this problem, there is also a method applied to the above content (FCN), and in the present invention, to dynamically increase data so that many images can be additionally generated from one slice image to be suitable for MR. use the technique
이를 통해 제한적인 데이터를 가지고 많은 수를 학습한 것과 같은 효과 및 병원 센터 및 의료 장비별 데이터의 바이어스를 줄임으로써 좀 더 일반화(generalization)된 치매 지수를 도출한다.Through this, a more generalized dementia index is derived by reducing the effect of learning a large number with limited data and the bias of data by hospital center and medical equipment.
- Medical image processing :- Medical image processing :
개념 : 대부분의 뇌 T1 이미지는 다양한 의료영상처리 기법/툴(freesurfer, SPM, FSL 등...)을 사용하게 되는데, 본 발명의 핵심은 의료 영상 처리(medical image processing)를 사용하지 않는데 있다. Concept: Most brain T1 images use various medical image processing techniques/tools (freesurfer, SPM, FSL, etc.), but the core of the present invention is not to use medical image processing.
단지 적절하게 슬라이스가 골라져서 입력으로 넣어지면, 치매 지수 도출이 가능하다.Derivation of the dementia index is possible only when appropriate slices are selected and input.
- Cortical thickness based ad risk score :- Cortical thickness based ad risk score:
개념 : 피질 두께(Cortical thickness)는 뇌의 대뇌 피질의 두께를 나타내는 용어로서, 치매는 뇌의 조직이 망가지게 되므로, 정상인과 치매 환자 사이에 뇌의 두께는 필연적으로 차이가 나게 된다. Concept: Cortical thickness is a term representing the thickness of the cerebral cortex of the brain. Since dementia causes brain tissue to be damaged, there is inevitably a difference in brain thickness between normal people and dementia patients.
이를 기반으로 제안한 방법론이 ad 위험 점수(ad risk score)이며, 뇌의 두께의 복합적인 변화에 따라서 정상(0), 치매(1)인 연속적인 숫자로 나타내게 된다.
또한 후술하는 본 발명과 관련된 선행기술문헌으로, 대한민국 제10-2019-0132832호(2019.11.29)가 있다.Based on this, the proposed methodology is the ad risk score, which is expressed as a continuous number of normal (0) and dementia (1) according to the complex change in brain thickness.
In addition, as a prior art document related to the present invention described later, there is Republic of Korea No. 10-2019-0132832 (2019.11.29).
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 기존에 MRI 기반으로 치매의 유무를 판단해 주는 기술은 많이 있으나, 대부분의 알고리즘은 병원/의료 장비가 바뀔 경우 잘 적용되지 않음을 고려하여, 본 발명은 사람의 직관과 유사한 과정을 모방함으로써 병원/의료 장비가 바뀜에도 치매 지수 수치값이 안정적으로 나오는 것을 증명하는 것을 목표로 한다.Therefore, in order to solve the above problems, the present invention has many existing techniques for determining the presence or absence of dementia based on MRI, but considering that most algorithms are not well applied when hospital / medical equipment is changed, The present invention aims to prove that the dementia index value comes out stably even when hospital/medical equipment is changed by imitating a process similar to human intuition.
실제 의사들이 MR을 판독하는데 있어, 기존 방법론/툴(freesurfer, FSL, SPM,... )처럼 복잡한 과정을 거치지 않고 몇 개의 영역만 보고 직관적으로 판단하게 되는데, 본 발명은 해당 과정을 모델링하고 증명하고자 한다.When actual doctors read MR, they do not go through a complicated process like existing methodologies/tools (freesurfer, FSL, SPM, ...), but intuitively judge by looking at only a few areas. The present invention models and proves the process want to do
또한, 각 환자별로 획득된 뇌 영상을 표준 뇌 템플릿에 각 환자별로 정합시키고, 실시간 데이터 증강을 통해 에러 최소화된 이미지를 생성하며, 딥 러닝 학습 단계에서 가중치를 부가하여 가중된 합산 이미지를 생성하는데 목적이 있다.In addition, the purpose of matching brain images obtained for each patient to a standard brain template for each patient, generating images with minimized errors through real-time data augmentation, and generating weighted sum images by adding weights in the deep learning learning step there is
상기 과제를 해결하기 위한 수단으로서, 본 발명은 (a) 뇌 영상 촬영부가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득하는 단계; (b) 에러 최소화부가 상기 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하는 단계; (c) 딥 러닝 모듈이 상기 에러 최소화된 이미지에 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성하는 단계; 및 (d) 스코어 정의 모듈이 상기 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측하는 단계;를 포함하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 제공한다.As a means for solving the above problems, the present invention includes (a) acquiring brain images for each patient by photographing the brain shapes of a plurality of patients by a brain imaging unit; (b) receiving, by an error minimization unit, the obtained brain images, matching brain images for each patient, and generating error-minimized images of slice images through real-time data augmentation; (c) a deep learning module generating a weighted sum image by adding a weight in the learning step to the error-minimized image; and (d) predicting the risk of dementia by deriving, by the score definition module, a dementia index in the form of a real number for the generated summed images.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (b) 단계는 (b-1) 데이터 보정부가 상기 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 상기 각 환자별 뇌 영상을 정합시키는 단계; (b-2) 슬라이스 위치 선택부가 상기 정합된 각 환자별 뇌 영상을 인가받아 슬라이스 위치를 선택하는 단계; 및 (b-3) 데이터 증강 모듈이 상기 위치 선택된 슬라이스에 대하여, 실시간으로 데이터 증강을 적용하여 슬라이스 영상에 대한 상기 에러 최소화된 이미지를 생성하는 단계; 를 포함하는 것을 특징으로 한다.As a means for solving the above problems, the present invention provides that the step (b) includes: (b-1) matching the brain images for each patient with a standard brain template by a data correction unit receiving the acquired brain images; (b-2) selecting a slice position by a slice position selection unit receiving the matched brain image for each patient; and (b-3) generating, by a data augmentation module, the error-minimized image of the slice image by applying data augmentation in real time to the location-selected slice; It is characterized in that it includes.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (b-2) 단계는 치매에 관련된 위치를 포함하고 있는 슬라이스를 수동으로 직접 선택하는 단계; 및 관상면 방향 기준으로 hippocampus의 무게 중심이 포함되는 슬라이스 및 축 방향 기준으로 ventricle의 무게 중심이 포함되는 슬라이스를 자동으로 선택하는 단계;를 포함하는 것을 특징으로 한다.As a means for solving the above problems, the present invention provides that the step (b-2) includes manually selecting a slice including a location related to dementia; and automatically selecting a slice including the center of gravity of the hippocampus in the coronal direction and a slice including the center of gravity of the ventricle in the axial direction.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (b-3) 단계에서, 상기 데이터 증강에 사용된 파라미터는 좌우 및 상하 대칭, 크기 조절, 기울이기, 회전, 정규화, 이동 및 밝기 조절 중 하나 이상인 것을 특징으로 한다.As a means for solving the above problems, the present invention, in the step (b-3), the parameter used for data augmentation is one of horizontal and vertical symmetry, scaling, tilting, rotation, normalization, movement, and brightness control. It is characterized by more than
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (a) 단계는 비선형 정합 및 선형 정합 방법을 사용하는 것을 특징으로 한다.As a means for solving the above problems, the present invention is characterized in that the step (a) uses a non-linear matching method and a linear matching method.
상기 과제를 해결하기 위한 수단으로서, 본 발명은 상기 (d) 단계에서, 카테고리가 1개인 경우 로지스틱 회귀 모형을 적용하고, 카테고리가 2개 이상인 경우 softmax를 적용하는 것을 특징으로 한다.As a means for solving the above problems, the present invention is characterized in that in step (d), a logistic regression model is applied when there is one category, and softmax is applied when there are two or more categories.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Details of other embodiments are included in "Specific Contents for Carrying Out the Invention" and the accompanying "Drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent upon reference to the various embodiments described below in detail in conjunction with the accompanying drawings.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 게시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited only to the configuration of each embodiment disclosed below, but may also be implemented in various other forms, and each embodiment disclosed herein only makes the disclosure of the present invention complete, and this It is provided to completely inform the scope of the present invention to those skilled in the art to which the invention belongs, and it should be noted that the present invention is only defined by the scope of each claim of the claims.
본 발명은 기존의 컴퓨팅 방법론에서 시간이 오래 걸리고 직관과는 다르기에 병원/의료 장비별 호환이 불가능하나 모든 과정을 자동으로 진행할 수 있는 장점과, 사람이 판독할 경우에는 수동으로 해야 하는데 불편함이 있으나, 병원/의료 장비에 제한되지 않는 장점을 취한 것으로서, 모델링만 되어 있다면 치매 지수를 도출하는데 있어 수분의 시간으로 충분하도록 한다.The present invention takes a long time in the existing computing methodology and is different from intuition, so it is not compatible for each hospital/medical equipment, but it has the advantage of being able to automatically proceed with all processes, and the inconvenience of having to do it manually when a person reads it. However, it takes advantage of not being limited to hospital/medical equipment, and if only modeling is done, a time of several minutes is sufficient to derive the dementia index.
또한, 각 환자의 뇌 영상이 표준 뇌 템플릿과 유사하게 변형되고, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치가 선택되는 것을 통해, 각 환자 간의 뇌 형상이 상이함으로 인해 발생되는 에러를 최소화할 수 있게 된다. In addition, the brain image of each patient is modified similarly to a standard brain template, and the slice location is selected based on the area where the error between multiple hospital centers and between multiple medical devices is minimized. It is possible to minimize errors caused by different shapes.
또한, 딥 러닝 학습 단계에서 정상 이미지 및 치매 이미지에 가중치가 부가되어, 정상 상태 또는 치매 상태로 극단적으로 분류되는 것에 대한 에러를 최소화할 수 있게 된다.In addition, in the deep learning step, weights are added to the normal image and the dementia image, thereby minimizing an error for extreme classification into a normal state or a dementia state.
도 1은 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 구현하기 위한 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 동작을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 치매 위험 예측 딥 러닝 방법의 동작 중 단계(S200)의 세부 동작을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 치매 위험 예측 딥 러닝 방법을 이용하여 테스트한 결과 그래프를, 기존 방법론과 대비하여 도시한 도면이다. 1 is a block diagram of an apparatus for implementing a deep learning method for predicting dementia risk based on a single brain MR slice image according to an embodiment of the present invention.
2 is a flowchart illustrating the operation of a deep learning method for predicting risk of dementia based on a single brain MR slice image according to an embodiment of the present invention.
FIG. 3 is a flowchart for explaining the detailed operation of step S200 during the operation of the deep learning method for predicting dementia risk shown in FIG. 2 .
4 is a diagram showing a graph of a test result using a dementia risk prediction deep learning method according to an embodiment of the present invention, compared with an existing methodology.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following merely illustrates the principles of the present invention. Therefore, those skilled in the art can invent various devices that embody the principles of the present invention and fall within the concept and scope of the present invention, even though not explicitly described or shown herein. In addition, it is to be understood that all conditional terms and embodiments listed herein are, in principle, expressly intended only for the purpose of making the concept of the present invention understood, and not limited to such specifically listed embodiments and conditions. It should be.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.Further, it should be understood that all detailed descriptions reciting specific embodiments, as well as principles, aspects and embodiments of the present invention, are intended to encompass structural and functional equivalents of these matters. In addition, it should be understood that such equivalents include not only currently known equivalents but also equivalents developed in the future, that is, all devices invented to perform the same function regardless of structure.
따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein should be understood to represent conceptual views of illustrative circuits embodying the principles of the present invention. Similarly, all flowcharts, state transition diagrams, pseudo code, etc., are meant to be tangibly represented on computer readable media and represent various processes performed by a computer or processor, whether or not the computer or processor is explicitly depicted. It should be.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다.The functions of the various elements shown in the drawings including functional blocks represented by processors or similar concepts may be provided using dedicated hardware as well as hardware capable of executing software in conjunction with appropriate software.
프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.When provided by a processor, the functionality may be provided by a single dedicated processor, a single shared processor, or a plurality of separate processors, some of which may be shared.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.In addition, the explicit use of terms presented as processor, control, or similar concepts should not be construed as exclusively citing hardware capable of executing software, but without limitation, digital signal processor (DSP) hardware, ROM for storing software (ROM), random access memory (RAM) and non-volatile memory. Other hardware for the governor's use may also be included.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. In the claims of this specification, components expressed as means for performing the functions described in the detailed description include, for example, a combination of circuit elements performing the functions or all types of software including firmware/microcode, etc. It is intended to include any method that performs the function of performing the function, combined with suitable circuitry for executing the software to perform the function.
이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.Since the invention defined by these claims combines the functions provided by the various enumerated means and is combined in the manner required by the claims, any means capable of providing such functions is equivalent to that discerned from this specification. should be understood as
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.The above objects, features and advantages will become more apparent through the following detailed description in conjunction with the accompanying drawings, and accordingly, those skilled in the art to which the present invention belongs can easily implement the technical idea of the present invention. There will be.
또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. In addition, in describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.
도 1은 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 구현하기 위한 장치의 블록도로서, 뇌 영상 촬영부(100), 에러 최소화부(200), 딥 러닝 모듈(300) 및 스코어 정의 모듈(400)을 포함한다.1 is a block diagram of an apparatus for implementing a deep learning method for predicting dementia risk based on a single brain MR slice image according to an embodiment of the present invention, including a brain image capture unit 100, an error minimization unit 200, and deep learning module 300 and score definition module 400 .
에러 최소화부(200)는 데이터 보정부(210), 슬라이스 위치 선택부(220) 및 데이터 증강 모듈(230)을 포함한다.The error minimization unit 200 includes a data correction unit 210 , a slice location selection unit 220 and a data augmentation module 230 .
도 2는 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 동작을 설명하기 위한 순서도이다.2 is a flowchart illustrating the operation of a deep learning method for predicting risk of dementia based on a single brain MR slice image according to an embodiment of the present invention.
도 3은 도 2에 도시된 치매 위험 예측 딥 러닝 방법의 동작 중 단계(S200)의 세부 동작을 설명하기 위한 순서도이다.FIG. 3 is a flowchart for explaining the detailed operation of step S200 during the operation of the deep learning method for predicting dementia risk shown in FIG. 2 .
도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 동작을 개략적으로 설명하면 다음과 같다. The operation of the deep learning method for predicting dementia risk based on a single brain MR slice image according to an embodiment of the present invention is schematically described with reference to FIGS. 1 to 3 as follows.
먼저, 뇌 영상 촬영부(100)가 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득한다(S100).First, the brain imaging unit 100 acquires brain images for each patient by capturing the brain shapes of a plurality of patients (S100).
에러 최소화부(200)가 뇌 영상 촬영부(100)로부터 획득된 뇌 영상을 인가받아 각 환자별 뇌 영상을 정합시키고, 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성한다(S200).The error minimization unit 200 receives the brain image obtained from the brain imaging unit 100, matches the brain images for each patient, and generates an error-minimized image of the slice image through real-time data augmentation (S200). .
즉, 데이터 보정부(210)가 뇌 영상 촬영부(100)에서 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 상기 각 환자별 뇌 영상을 정합시키면(S210), 슬라이스 위치 선택부(220)가 데이터 보정부(210)에서 정합된 각 환자별 뇌 영상을 인가받아 슬라이스 위치를 선택한다(S220).That is, when the data correction unit 210 receives the brain image obtained from the brain imaging unit 100 and matches the brain image for each patient to the standard brain template (S210), the slice position selector 220 selects the data The correction unit 210 receives the matching brain image for each patient and selects a slice position (S220).
또한, 데이터 증강 모듈(230)이 슬라이스 위치 선택부(220)에서 위치 선택된 슬라이스에 대하여, 실시간으로 데이터 증강을 적용하여 슬라이스 영상에 대한 에러 최소화된 이미지를 생성한다(S230).In addition, the data augmentation module 230 generates an error-minimized image of the slice image by applying data augmentation in real time to the slice location selected by the slice location selector 220 (S230).
딥 러닝 모듈(300)이 단계(S200)에서 에러 최소화된 이미지에, 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성한다(S300). The deep learning module 300 generates a weighted summed image by adding weights in the learning step to the error-minimized image in step S200 (S300).
스코어 정의 모듈(400)이 단계(S300)에서 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측한다(S400).The score definition module 400 predicts the risk of dementia by deriving a dementia index in the form of a real number for the summed images generated in step S300 (S400).
도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법의 유기적인 동작을 상세하게 설명하면 다음과 같다.The organic operation of the deep learning method for predicting risk of dementia based on a single brain MR slice image according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 3 .
본 발명은 개인이 대형 대학병원급에서 의원급까지의 의료 기관에 내원하여 촬영한 뇌 영상에서, 병원 센터 및 의료 장비 별 호환가능한 치매 지수를 도출할 수 있도록 한다. The present invention enables an individual to derive a compatible dementia index for each hospital center and medical equipment from brain images taken after visiting medical institutions ranging from large university hospitals to clinics.
특히, 신경심리검사 사용을 통해 결과를 보완할 필요없이 본 발명은 최소화된 정보(슬라이스 1장)만을 이용하여 구현 가능하도록 한다.In particular, the present invention can be implemented using only minimized information (one slice) without the need to supplement the results through the use of neuropsychological tests.
뇌 영상 촬영부(100)는 복수명의 환자의 뇌 형상을 촬영하여 각 환자별 뇌 영상을 획득한다.The brain imaging unit 100 acquires brain images for each patient by photographing the brain shapes of a plurality of patients.
본 발명의 '획득된 뇌 영상' 범위는 MR 의료진의 직관으로 구조 판단이 가능한 뇌 영상 슬라이스를 포함한다.The range of 'obtained brain images' of the present invention includes brain image slices in which the structure can be judged by the intuition of the MR medical staff.
즉, 고해상도의 MR(예를 들어, z축이 200개 이상)부터 저해상도의 MR(예를 들어, z축이 약 20개)까지 대부분의 T1 MR을 포함한다.That is, it includes most of the T1 MRs from high-resolution MRs (eg, 200 or more z-axis MRs) to low-resolution MRs (eg, about 20 z-axis MRs).
데이터 보정부(210)는 각 환자별로 획득된 뇌 영상을 인가받아 비선형 정합 및 선형 정합 방법을 사용하여, 표준 뇌 템플릿에 각 환자별 뇌 영상을 정합시킨다.The data correction unit 210 receives the brain image obtained for each patient and matches the brain image for each patient to a standard brain template using nonlinear and linear matching methods.
이를 통해 각 환자의 뇌 영상은 표준 뇌 템플릿과 유사하게 변형되고, 대부분의 조직이 유사하게 위치되는 것을 통해, 각 환자 간의 뇌 형상이 상이함으로 인해 발생되는 에러를 최소화한다(에러 최소화 1단계). Through this, each patient's brain image is deformed similarly to a standard brain template, and most of the tissues are positioned similarly, thereby minimizing errors caused by differences in brain shapes between patients (error minimization step 1).
슬라이스 위치 선택부(220)는 많은 실험을 거쳐 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치를 선택한다(에러 최소화 2단계).The slice location selection unit 220 selects a slice location based on a region based on a location where an error between multiple hospital centers and between multiple medical devices is minimized through many experiments (error minimization step 2).
즉, 치매에 관련된 위치(gray matter, hippocampus 등)를 포함하고 있는 슬라이스를 수동으로 직접 선택하여 입력으로 사용한다.That is, a slice containing dementia-related locations (gray matter, hippocampus, etc.) is manually selected and used as an input.
또한, 관상면(coronal plane) 방향 기준으로 hippocampus의 무게 중심이 포함되는 슬라이스 및 축(axial) 방향 기준으로 ventricle의 무게 중심이 포함되는 슬라이스를 자동으로 선택하여 다음 파트의 입력으로 사용한다.In addition, the slice containing the center of gravity of the hippocampus in the coronal plane direction and the slice containing the center of gravity of the ventricle in the axial direction are automatically selected and used as input for the next part.
데이터 증강(Data augmentation) 모듈은 의료영상의 경우 데이터가 적은 한계점이 있으므로, 데이터 증강을 적용하며, 데이터 증강 적용에 사용된 파라미터는 실시간으로 좌우/상하 대칭, 크기 조절, 기울이기, 회전, 정규화, 이동, 밝기 조절 등 무작위 생성을 통해 슬라이스 영상에 대한 무한대로 이미지를 생성하며, 이를 통해 타 발병과는 다른 호환가능한 치매 지수에 도달할 수 있다(에러 최소화 3단계). The data augmentation module applies data augmentation because there is a limitation with a small amount of data in the case of medical images. Through random generation such as movement and brightness control, images are generated infinitely for slice images, and through this, a compatible dementia index different from other onsets can be reached (error minimization step 3).
또한, 이미지의 변형을 가하는 데이터 증강 뿐만 아니라, 딥 러닝 모듈(300)이 학습 단계에서 정상 이미지 및 치매 이미지에 가중치(weight)를 부가하여 가중된 합산 이미지(weighted sum image)를 매회 학습시마다 생성하도록 함으로써, 정상 상태 또는 치매 상태로 극단적으로 분류되는 것에 대한 에러를 최소화한다(에러 최소화 4단계).In addition, in addition to data augmentation that transforms the image, the deep learning module 300 adds weight to the normal image and the dementia image in the learning step to generate a weighted sum image at each learning time By doing so, the error for being extremely classified as a normal state or a dementia state is minimized (error minimization step 4).
딥 러닝 모듈(300)은 대부분의 딥 러닝 네트워크 모듈을 사용할 수 있으나, 인셉션 모듈(inception module)이 적용된 네트워크 사용이 호환가능한 치매 지수에 도출한 적합함을 확인한다. The deep learning module 300 can use most of the deep learning network modules, but confirms that the use of the network to which the inception module is applied is suitable for deriving a compatible dementia index.
다수회 실험을 실시해 본 결과, 인셉션 모듈 기반의 딥 러닝 네트워크가 단순히 이미지 특징이 아닌 사람의 인지와 유사하게 패턴을 보고 학습하는 것으로 확인되었다.As a result of conducting multiple experiments, it was confirmed that the inception module-based deep learning network learns by looking at patterns similar to human perception, rather than simply image features.
스코어 정의 모듈(400)은 {정상, 인지 경도, 치매}와 같이 불연속적인 값의 분류 값이 아닌, 연속된 (실수 형태)의 치매 지수 도출이 될 수 있도록, 카테고리가 1개일 경우에는 로지스틱 회귀 모형을 적용하고, 카테고리가 많은 경우, 즉 2개 이상인 경우에는 softmax를 적용함으로써 스코어를 연속된 (실수 형태)로 값을 도출하여 치매 위험을 예측한다. The score definition module 400 is a logistic regression model if there is one category so that the dementia index can be derived in a continuous (real form) rather than a classification value of discontinuous values such as {normal, cognitive mildness, dementia} , and when there are many categories, that is, when there are two or more categories, softmax is applied to predict the risk of dementia by deriving values in continuous (real number form) scores.
정상에 가까울수록 0, 치매에 가까울수록 1에 가까우며, 해당 범위는 [0, 1]에 제한되지 않는다. The closer to normal, the closer to 0, and the closer to dementia, closer to 1, and the range is not limited to [0, 1].
연속된 실수 형태에서 컷 오프(cut-off)를 지정할 경우 다른 기술과 같이 분류값으로도 예측의 지정이 가능하다. If a cut-off is specified in the form of continuous real numbers, prediction can be specified with a classification value as in other techniques.
도 4는 본 발명의 일 실시예에 따른 치매 위험 예측 딥 러닝 방법을 이용하여 테스트한 결과 그래프를, 기존 방법론과 대비하여 도시한 도면이다. 4 is a diagram showing a graph of a test result using a dementia risk prediction deep learning method according to an embodiment of the present invention, compared with an existing methodology.
본 실시예에서는 삼성서울병원, 미국 ADNI, 가천대학병원, 차움에서 획득한 뇌 MR 영상 데이터셋(T1)을 사용하여 실험을 진행하였으며, 정상/치매 분류에 약 94% 결과를 획득하였다. In this embodiment, the experiment was conducted using the brain MR image dataset (T1) obtained from Samsung Seoul Hospital, ADNI, Gachon University Hospital, and Chaum in the United States, and about 94% of the results were obtained for normal/dementia classification.
동일 사람에 대해서 2개의 병원 센터 및 의료 장비를 테스트해본 결과, 기존 방법론 대비 병원 센터 및 의료 장비별로 대각선에 가깝게 수렴함을 확인할 수 있었다. As a result of testing two hospital centers and medical equipment for the same person, it was confirmed that each hospital center and medical equipment converged closer to the diagonal compared to the existing methodology.
이와 같이, 본 발명은 사람의 직관과 유사한 과정을 모방함으로써 병원 센터/ 의료 장비가 바뀜에도 치매지수 수치값이 안정적으로 산출되고, 각 환자별로 획득된 뇌 영상을 표준 뇌 템플릿에 각 환자별로 정합시키고, 실시간 데이터 증강을 통해 에러 최소화된 이미지를 생성하며, 딥 러닝 학습 단계에서 가중치를 부가하여 가중된 합산 이미지를 생성하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법을 제공한다.In this way, the present invention imitates a process similar to human intuition, so that the dementia index numerical value is stably calculated even when hospital centers/medical equipment are changed, matching brain images obtained for each patient to a standard brain template for each patient, , Provides a single-brain MR slice image-based dementia risk prediction deep learning method that generates an error-minimized image through real-time data augmentation and generates a weighted summed image by adding weights in the deep learning learning step.
이를 통하여, 병원 센터/ 의료 장비별 호환이 가능하고 모든 과정을 자동으로 진행되며, 모델링만 되어 있다면 치매지수를 도출하는데 있어 수분의 시간으로 충분하게 된다.Through this, it is possible to be compatible with each hospital center/medical equipment, all processes are automatically performed, and only a few minutes are sufficient to derive the dementia index if only modeling is performed.
또한, 각 환자의 뇌 영상이 표준 뇌 템플릿과 유사하게 변형되고, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치를 선택되는 것을 통해 각 환자 간의 뇌 형상이 상이함으로 인해 발생되는 에러를 최소화할 수 있게 된다.In addition, each patient's brain image is deformed similarly to a standard brain template, and the brain shape between each patient is selected based on the area where the error between multi-hospital centers and multi-medical equipment is minimized. Errors caused by this difference can be minimized.
또한, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치가 선택되고, 딥 러닝 학습 단계에서 정상 이미지 및 치매 이미지에 가중치가 부가되어 정상 상태 또는 치매 상태로 극단적으로 분류되는 것에 대한 에러를 최소화할 수 있게 된다.In addition, the slice position is selected based on the region where the error between multi-hospital centers and multi-medical equipment is minimized, and weights are added to normal images and dementia images in the deep learning step to return to a normal or dementia state. It is possible to minimize the error for being classified as extreme.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and is common in the art to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Of course, various modifications and implementations are possible by those with knowledge of, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
100: 뇌 영상 촬영부
200: 에러 최소화부
210: 데이터 보정부
220: 슬라이스 위치 선택부
230: 데이터 증강 모듈
300: 딥 러닝 모듈
400: 스코어 정의 모듈100: brain imaging unit
200: error minimization unit
210: data correction unit
220: slice position selection unit
230: data augmentation module
300: deep learning module
400: score definition module
Claims (6)
(b) 상기 치매 위험 예측 딥 러닝 장치의 에러 최소화부가, 상기 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 각 환자별 뇌 영상을 정합시키고, 멀티 병원 센터간, 멀티 의료 장비간 에러가 최소화로 도출되는 위치를 영역 기반으로 하여 슬라이스 위치를 선택하며, 좌우 및 상하 대칭, 크기 조절, 기울이기, 회전, 정규화, 이동 및 밝기 조절의 파라미터를 사용하여 실시간 데이터 증강을 통해 슬라이스 영상에 대한 에러 최소화된 이미지를 생성하는 단계;
(c) 상기 치매 위험 예측 딥 러닝 장치의 딥 러닝 모듈이, 상기 에러 최소화된 이미지에 학습 단계에서의 가중치를 부가하여 가중된 합산 이미지를 생성하되, 정상 이미지 및 치매 이미지에 가중치(weight)를 부가하여 가중된 합산 이미지(weighted sum image)를 매회 학습시마다 생성하는 단계; 및
(d) 상기 치매 위험 예측 딥 러닝 장치의 스코어 정의 모듈이, 상기 생성된 합산 이미지에 대해 실수 형태의 치매 지수를 도출하여 치매 위험을 예측하는 단계;
를 포함하는 것을 특징으로 하는,
단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
(a) acquiring brain images for each patient by photographing the brain shapes of a plurality of patients, by a brain imaging unit of the dementia risk prediction deep learning device;
(b) The error minimization unit of the dementia risk prediction deep learning device receives the obtained brain image and matches the brain image for each patient with a standard brain template, and derives the error between multi-hospital centers and multi-medical equipment to be minimized The slice position is selected based on the area to be selected, and the error minimized image for the slice image through real-time data augmentation using parameters of left and right and top and bottom symmetry, scaling, tilting, rotation, normalization, movement, and brightness control generating;
(c) The deep learning module of the dementia risk prediction deep learning device generates a weighted sum image by adding a weight in the learning step to the error-minimized image, and adds weight to the normal image and the dementia image generating a weighted sum image at each training time; and
(d) predicting, by the score definition module of the dementia risk prediction deep learning device, a dementia risk by deriving a dementia index in the form of a real number for the generated sum images;
Characterized in that it includes,
A Deep Learning Method for Dementia Risk Prediction Based on Single Brain MR Slice Images.
상기 (b) 단계는
(b-1) 상기 치매 위험 예측 딥 러닝 장치의 데이터 보정부가, 상기 획득된 뇌 영상을 인가받아 표준 뇌 템플릿에 상기 각 환자별 뇌 영상을 정합시키는 단계;
(b-2) 상기 치매 위험 예측 딥 러닝 장치의 슬라이스 위치 선택부가, 상기 정합된 각 환자별 뇌 영상을 인가받아 슬라이스 위치를 선택하는 단계; 및
(b-3) 상기 치매 위험 예측 딥 러닝 장치의 데이터 증강 모듈이, 상기 위치 선택된 슬라이스에 대하여, 실시간으로 데이터 증강을 적용하여 슬라이스 영상에 대한 상기 에러 최소화된 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는,
단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
According to claim 1,
The step (b) is
(b-1) receiving the obtained brain image and matching the brain image for each patient with a standard brain template, by a data correction unit of the dementia risk prediction deep learning device;
(b-2) selecting a slice position by receiving the matched brain image for each patient by a slice position selector of the dementia risk prediction deep learning device; and
(b-3) generating, by the data augmentation module of the dementia risk prediction deep learning apparatus, the error-minimized image of the slice image by applying data augmentation in real time to the location-selected slice;
Characterized in that it includes,
A Deep Learning Method for Dementia Risk Prediction Based on Single Brain MR Slice Images.
상기 (b-2) 단계는
상기 치매 위험 예측 딥 러닝 장치의 슬라이스 위치 선택부가, 관상면 방향 기준으로 hippocampus의 무게 중심이 포함되는 슬라이스 및 축 방향 기준으로 ventricle의 무게 중심이 포함되는 슬라이스를 자동으로 선택하는 단계;
를 포함하는 것을 특징으로 하는,
단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
According to claim 2,
The step (b-2) is
Automatically selecting, by the slice position selection unit of the dementia risk prediction deep learning device, a slice including the center of gravity of the hippocampus in the coronal direction and a slice including the center of gravity of the ventricle in the axial direction;
Characterized in that it includes,
A Deep Learning Method for Dementia Risk Prediction Based on Single Brain MR Slice Images.
상기 (a) 단계는
비선형 정합 및 선형 정합 방법을 사용하는 것을 특징으로 하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
According to claim 1,
The step (a) is
A deep learning method for predicting dementia risk based on a single brain MR slice image, characterized by using nonlinear matching and linear matching methods.
상기 (d) 단계에서,
카테고리가 1개인 경우 로지스틱 회귀 모형을 적용하고, 카테고리가 2개 이상인 경우 softmax를 적용하는 것을 특징으로 하는 단일 뇌 MR 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법.
According to claim 1,
In step (d),
A deep learning method for predicting dementia risk based on a single brain MR slice image, characterized by applying a logistic regression model when there is one category and applying softmax when there are two or more categories.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200092074 | 2020-07-24 | ||
KR20200092074 | 2020-07-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220013319A KR20220013319A (en) | 2022-02-04 |
KR102564750B1 true KR102564750B1 (en) | 2023-08-09 |
Family
ID=80268275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210091487A KR102564750B1 (en) | 2020-07-24 | 2021-07-13 | Deep learning algorithm for Alzheimer's disease prediction using a single brain MR slice |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102564750B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101718130B1 (en) * | 2016-02-12 | 2017-03-20 | 서울대학교산학협력단 | Method of dividing and system for brain region using magnetic resonance imaging |
JP2017076193A (en) * | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | Brain activity analysis device, brain activity analysis method and brain activity analysis program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102173197B1 (en) * | 2018-05-21 | 2020-11-03 | 고려대학교 산학협력단 | Method and apparatus for predicting amyloid positive or negative based on deep learning |
KR102336003B1 (en) * | 2018-12-27 | 2021-12-08 | (주)제이엘케이 | Apparatus and method for increasing learning data using patch matching |
KR20190135908A (en) * | 2019-02-01 | 2019-12-09 | (주)제이엘케이인스펙션 | Artificial intelligence based dementia diagnosing method and apparatus |
-
2021
- 2021-07-13 KR KR1020210091487A patent/KR102564750B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017076193A (en) * | 2015-10-13 | 2017-04-20 | 株式会社国際電気通信基礎技術研究所 | Brain activity analysis device, brain activity analysis method and brain activity analysis program |
KR101718130B1 (en) * | 2016-02-12 | 2017-03-20 | 서울대학교산학협력단 | Method of dividing and system for brain region using magnetic resonance imaging |
Also Published As
Publication number | Publication date |
---|---|
KR20220013319A (en) | 2022-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11069056B2 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
CN108784655B (en) | Rapid assessment and outcome analysis for medical patients | |
US10984905B2 (en) | Artificial intelligence for physiological quantification in medical imaging | |
CN111127389B (en) | Scalable artificial intelligence model generation system and method for healthcare | |
CN106529117B (en) | Physiologically driven decision support for therapy planning | |
Hope et al. | Predicting outcome and recovery after stroke with lesions extracted from MRI images | |
JP7170145B2 (en) | Information processing device, program, trained model, diagnosis support device, learning device, and prediction model generation method | |
EP3611661B1 (en) | Magnetic resonance imaging quality classification based on deep machine-learning to account for less training data | |
US10984894B2 (en) | Automated image quality control apparatus and methods | |
Gatta et al. | Towards a modular decision support system for radiomics: A case study on rectal cancer | |
CN111656372A (en) | Training neural network model | |
US10929973B2 (en) | Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms | |
JP2023169313A (en) | Diagnosis assistance system and method | |
US11893729B2 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
RU2513905C2 (en) | Image classification based on image segmentation | |
KR20210108376A (en) | Apparatus and method for utilizing brain trait activity map database to characterize content | |
JP7339270B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, METHOD AND PROGRAM | |
RU2559712C2 (en) | Relevance feedback for extraction of image on basis of content | |
KR102564750B1 (en) | Deep learning algorithm for Alzheimer's disease prediction using a single brain MR slice | |
WO2024015938A1 (en) | Generating functional brain mappings and accompanying reference information | |
US20230126877A1 (en) | Synthetic data generation and annotation for tumor diagnostics and treatment | |
CN116869555A (en) | Scanning protocol adjusting method, device and storage medium | |
CN115841476A (en) | Method, device, equipment and medium for predicting life cycle of liver cancer patient | |
JP2004174220A (en) | Apparatus and method for processing image and recording medium for storing program used for causing computer to execute the method | |
US20240016439A1 (en) | Generating functional brain mappings and accompanying reference information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |