KR102516868B1 - 3d convolutional neural network for detection of parkinson's disease - Google Patents

Abstract

파킨슨 병(Parkinson's Disease) 검출 방법이 제공된다.
본 발명의 방법은, MRI 스캔을 획득하고, 상기 MRI 스캔을 등록하고, 상기 MRI 스캔의 패턴을 학습하고, 상기 MRI 스캔을 건강한 그룹, 파킨슨 병 그룹 중 하나의 그룹으로 분류하는 방법을 포함할 수 있다.A method for detecting Parkinson's Disease is provided.
The method of the present invention may include a method of acquiring an MRI scan, registering the MRI scan, learning a pattern of the MRI scan, and classifying the MRI scan into one of a healthy group and a Parkinson's disease group. there is.

Description

파킨슨 병 검출을 위한 3D 컨볼루셔널 뉴럴 네트워크{3D CONVOLUTIONAL NEURAL NETWORK FOR DETECTION OF PARKINSON'S DISEASE}3D CONVOLUTIONAL NEURAL NETWORK FOR DETECTION OF PARKINSON'S DISEASE}

본 발명은 3D 컨볼루션 신경망(3 dimensional convolutional neural network)을 이용한 3T(Tesla) T1강조(weighted) MRI(magnetic resonance imaging) 스캔으로부터 파킨슨 병(Parkinson's Disease)을 검출하는 방법에 관한 것이다.The present invention relates to a method for detecting Parkinson's disease from a 3T (Tesla) T1 weighted magnetic resonance imaging (MRI) scan using a 3 dimensional convolutional neural network.

전 세계의 고령화 인구 사이에서 두 번째로 흔한 신경 장애는 파킨슨 병(Parkinson's Disease)이다. 파킨슨 병은 주로 신경 세포간에 신호를 전달하는 신경 전달 물질의 역할을하는 유기 화학 물질인 도파민을 생성하는 뇌의 신경 세포에 영향을 미친다. 따라서 파킨슨 병 환자는 일반적으로 근육 경직, 떨림, 자세 및 균형 장애와 같은인지 및 운동 장애로 고통받는다. 더욱이 파킨슨 병은 본질적으로 점진적이므로 질병을 조기에 발견하고 모니터링하면 환자의 삶이 향상된다. 또한 전 세계의 고령화 인구가 기하 급수적으로 증가함에 따라 매우 초기 단계에서 파킨슨 병을 발견하기 위한 적절한 방법을 개발하는 것이 중요할 수 있다.The second most common neurological disorder among the aging population worldwide is Parkinson's disease. Parkinson's disease primarily affects nerve cells in the brain that produce dopamine, an organic chemical that acts as a neurotransmitter that transmits signals between nerve cells. Therefore, patients with Parkinson's disease commonly suffer from cognitive and motor impairments such as muscle stiffness, tremors, and postural and balance disorders. Moreover, since Parkinson's disease is progressive in nature, early detection and monitoring of the disease improves patients' lives. Additionally, as the world's aging population grows exponentially, it may be important to develop appropriate methods to detect Parkinson's disease at a very early stage.

파킨슨 병의 조기 발견을 위해 가장 널리 사용되는 진단 패러다임은 뇌의 자기 공명 영상(MRI) 스캔 분석이다. MRI 스캔은 뇌의 피질 하 구조에 대한 해부학 적 세부 사항을 제공하며, 이는 특정 유형의 질병의 조기 진단에 도움이 되는 동맥류를 확인하기 위해 추가로 분석된다. 그러나 MRI는 3D 구조이기 때문에 인간의 눈으로 피질 하 구조의 본질적인 세부 사항과 이질적인 특성을 분석하는 것은 어려울 수 있다. 따라서 지능형 기술의 발전과 함께 컴퓨터 지원 탐지 시스템은 다차원 의료 데이터를 활용하여 질병의 분석 및 진단을 수행하는 데 매우 효과적인 것으로 입증되었다.The most widely used diagnostic paradigm for early detection of Parkinson's disease is the analysis of magnetic resonance imaging (MRI) scans of the brain. An MRI scan provides anatomical details of the brain's subcortical structures, which are further analyzed to identify aneurysms that help in early diagnosis of certain types of disease. However, because MRI is a 3D structure, it can be difficult for the human eye to resolve the intrinsic details and disparate properties of subcortical structures. Therefore, with the advancement of intelligent technology, computer-aided detection systems have proven to be very effective in performing analysis and diagnosis of diseases by utilizing multi-dimensional medical data.

따라서, MRI 스캔에서 파킨슨 병을 검출하기 위한 3D 컨볼루셔널 뉴럴 네트워크의 필요성이 증대되었다.Therefore, the need for 3D convolutional neural networks for detecting Parkinson's disease in MRI scans has increased.

국내 등록특허공보 제10-2153920호(2020.09.09.)Korean Registered Patent Publication No. 10-2153920 (2020.09.09.)

본 발명의 실시예들은 MRI(magnetic resonance imaging) 스캔의 분석을 통해 파킨슨 병(Parkinson's Disease)을 검출하는 방법 및 프로그램을 제공한다.Embodiments of the present invention provide a method and program for detecting Parkinson's disease through analysis of a magnetic resonance imaging (MRI) scan.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예에 따른 파킨슨 병(Parkinson's Disease) 검출 방법은, MRI(magnetic resonance imaging) 스캔(scan)을 획득하는 단계; 상기 MRI 스캔을 등록하는 단계; 상기 MRI 스캔의 패턴을 학습하는 단계; 및 상기 MRI 스캔을 건강한 그룹, 및 파킨슨 병 그룹 중 하나의 그룹으로 분류하는 단계;를 포함할 수 있다.As a technical means for achieving the above-described technical problem, a method for detecting Parkinson's Disease according to an embodiment of the present disclosure includes obtaining a magnetic resonance imaging (MRI) scan; registering the MRI scan; learning a pattern of the MRI scan; and classifying the MRI scan into one of a healthy group and a Parkinson's disease group.

여기서, 상기 MRI 스캔을 등록하는 단계는, 상기 MRI 스캔을 대상 이미지와 정렬하는 단계를 포함할 수 있다.Here, registering the MRI scan may include aligning the MRI scan with a target image.

여기서, 상기 MRI 스캔 등록은 ANTsPy(Advanced Normalization Tools Python)를 사용하여 수행될 수 있다.Here, the MRI scan registration may be performed using ANTsPy (Advanced Normalization Tools Python).

여기서, 상기 MRI 스캔을 건강한 그룹, 및 파킨슨 병 그룹 중 하나의 그룹으로 분류하는 단계는, 컨볼루션 신경망(convolutional neural network) 모델이 수행되는 단계를 포함하고, 상기 컨볼루션 신경망의 가중치(weight) 및 편향(bias)을 최적화하기 위한 하이퍼파라미터(hyperparameter)를 선택하기 위해 베이지안(Bayesian) 순차 모델 기반 최적화(sequential model-based optimization, SMBO)가 사용되고, 상기 베이지안 순차 모델 기반 최적화는 이전 목적 함수의 평가 결과를 기반으로 대리 모델(surrogate model)을 생성하여 목적 함수를 최소화하는 작업인 하이퍼파라미터 최적화에 사용되는 알고리즘이고, 상기 베이지안 순차 모델 기반 최적화의 기본 목적 함수는 다음과 같을 수 있다.Here, the step of classifying the MRI scan into one of a healthy group and a Parkinson's disease group includes the step of performing a convolutional neural network model, and the weight of the convolutional neural network and Bayesian sequential model-based optimization (SMBO) is used to select hyperparameters for optimizing the bias, and the Bayesian sequential model-based optimization is the evaluation result of the previous objective function. It is an algorithm used for hyperparameter optimization, which is an operation of minimizing an objective function by generating a surrogate model based on , and the basic objective function of the Bayesian sequential model-based optimization may be as follows.

여기서, 상기 컨볼루션 신경망 모델은 손실 함수를 포함하고, 상기 손실 함수는 예측 값과 실제 값 사이의 변동성을 결정하는 데 사용되고, 상기 손실 함수는 아래와 같고,Here, the convolutional neural network model includes a loss function, the loss function is used to determine the variability between predicted values and actual values, and the loss function is as follows;

θ는 상기 컨볼루션 신경망 모델의 매개 변수를 나타내고, x는 특성 행렬을 나타내고, y는 특정 특성 집합에 대한 실제 값을 나타낼 수 있다.θ may represent parameters of the convolutional neural network model, x may represent a feature matrix, and y may represent an actual value for a specific feature set.

여기서, 상기 손실 함수는 이진(binary) 교차 엔트로피(cross-entropy)이고, 상기 이진 교차 엔트로피 방정식은 아래와 같고, Here, the loss function is binary cross-entropy, and the binary cross-entropy equation is as follows,

상기 y는 참 값(true value)이고, 상기 p(y)는 y가 참일 것으로 예상되는 확률일 수 있다.The y may be a true value, and the p(y) may be a probability that y is expected to be true.

여기서, 상기 컨볼루션 신경망 모델은, 12개의 3D 컨볼루션 레이어(3 dimensional convolution layer)를 포함하고, 제1 및 제2 3D 컨볼루션 레이어는 필터 개수 4개, 커널 사이즈(kernel size)가 (3, 3, 3), 스트라이드(stride)가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제5 및 제6 3D 컨볼루션 레이어는 필터 개수 128개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제7 및 제8 3D 컨볼루션 레이어는 필터 개수 256개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제9 및 제10 3D 컨볼루션 레이어는 필터 개수 512개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제11 3D 컨볼루션 레이어는 필터 개수 1024개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제12 3D 컨볼루션 레이어는 필터 개수 2048개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어일 수 있다.Here, the convolutional neural network model includes 12 3D convolution layers, and the first and second 3D convolution layers have a filter number of 4 and a kernel size of (3, 3, 3), a 3D convolution layer with a stride of (2, 2, 2), and the third and fourth 3D convolution layers have 64 filters, a kernel size of (3, 3, 3), It is a 3D convolution layer with a stride of (2, 2, 2), and the third and fourth 3D convolution layers have 64 filters, a kernel size of (3, 3, 3), and a stride of (2, 2, 2 ), and the fifth and sixth 3D convolution layers are 3D convolution layers having a filter number of 128, a kernel size of (2, 2, 2), and a stride of (1, 1, 1), The seventh and eighth 3D convolution layers are 3D convolution layers having 256 filters, a kernel size of (2, 2, 2), and a stride of (1, 1, 1), and the ninth and tenth 3D convolution layers The layer is a 3D convolution layer with 512 filters, a kernel size of (1, 1, 1), and a stride of (1, 1, 1), and the 11th 3D convolution layer has 1024 filters and a kernel size of ( 1, 1, 1), a 3D convolution layer with a stride of (1, 1, 1), and the twelfth 3D convolution layer has a filter number of 2048, a kernel size of (1, 1, 1), and a stride of (1 , 1, 1) may be a 3D convolutional layer.

본 개시의 다른 실시예는 MRI(magnetic resonance imaging) 스캔(scan)을 획득하는 단계; 상기 MRI 스캔을 등록하는 단계; 상기 MRI 스캔의 패턴을 학습하는 단계; 및 상기 MRI 스캔을 건강한 그룹, 및 파킨슨 병 그룹 중 하나의 그룹으로 분류하는 단계;를 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품을 포함할 수 있다.Another embodiment of the present disclosure is obtaining a magnetic resonance imaging (MRI) scan; registering the MRI scan; learning a pattern of the MRI scan; and classifying the MRI scan into one of a healthy group and a Parkinson's disease group.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명의 컨볼루션 신경망(Convolutional Neural Network, CNN) 모델은 두 클래스 모두에 대해 전체 정확도 95.29 %, 평균 재현율 0.943, 평균 정확도 0.927, f1 점수 0.936을 나타냈다. 따라서, 본 발명에 따르면 높은 신뢰도로 MRI(magnetic resonance imaging) 스캔을 통해 파킨슨 병(Parkinson's Disease)을 검출할 수 있다.The convolutional neural network (CNN) model of the present invention showed an overall accuracy of 95.29%, an average recall of 0.943, an average accuracy of 0.927, and an f1 score of 0.936 for both classes. Therefore, according to the present invention, Parkinson's disease can be detected through magnetic resonance imaging (MRI) scan with high reliability.

도 1은 본 발명의 일 실시예에 따른 파킨슨 병 검출 장치의 블록 구성도이다.
도 2는 PPMI 데이터베이스에서 얻은 두 연구 그룹에 속하는 MRI 스캔 샘플을 보여준다.
도 3은 등록 프로세스 전후의 특정 MRI 스캔을 보여준다.
도 4는 연구의 전체 프로세스 흐름을 도시한 도면이다.
도 5는 3D 컨볼루션 신경망 (CNN) 아키텍처를 도시한 도면이다.
도 6은 4차 교차 검증 분할의 혼동 행렬로서, PD는 파킨슨 병을 의미한다.
도 7은 파킨슨 병 클래스에 속하는 샘플의 실제 확률과 예측 확률 사이의 QQ(quantile-Quantile) 플롯을 도시한 도면이다.
도 8은 건강한 대조군 클래스에 속하는 샘플의 실제 확률과 예측 확률 사이의 QQ(quantile-Quantile) 플롯을 도시한 도면이다.
도 9는 파킨슨 병으로 예측된 샘플 MRI 스캔의 슬라이스(slices)에 대한 클래스 활성화 맵(Class Activation Maps)을 도시한 도면이다.
도 10은 파킨슨 병(Parkinson's Disease) 검출 방법의 일 실시예를 도시한 흐름도이다.1 is a block diagram of an apparatus for detecting Parkinson's disease according to an embodiment of the present invention.
Figure 2 shows MRI scan samples belonging to the two study groups obtained from the PPMI database.
Figure 3 shows specific MRI scans before and after the registration process.
4 is a diagram showing the entire process flow of the study.
5 is a diagram illustrating a 3D convolutional neural network (CNN) architecture.
6 is a confusion matrix of 4th-order cross-validation partitioning, where PD means Parkinson's disease.
7 is a diagram showing a quantile-quantile (QQ) plot between actual probability and predicted probability of a sample belonging to a Parkinson's disease class.
8 is a diagram showing a quantile-quantile (QQ) plot between the actual probability and the predicted probability of a sample belonging to a healthy control class.
9 is a diagram illustrating class activation maps for slices of sample MRI scans predicted to have Parkinson's disease.
10 is a flowchart illustrating an embodiment of a method for detecting Parkinson's Disease.

본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present embodiments have been selected from general terms that are currently widely used as much as possible while considering the functions in the present embodiments, but these may vary depending on the intention of a person skilled in the art or a precedent, the emergence of new technologies, etc. there is. In addition, in a specific case, there are also terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the relevant part. Therefore, the term used in the present embodiments should be defined based on the meaning of the term and the general content of the present embodiment, not a simple name of the term.

본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.Since the present embodiments can have various changes and various forms, some embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present embodiments to a specific disclosure, and should be understood to include all changes, equivalents, or substitutes included in the spirit and scope of the present embodiments. Terms used in this specification are only used for description of the embodiments, and are not intended to limit the embodiments.

본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms used in the present embodiments have the same meaning as commonly understood by a person of ordinary skill in the art to which the present embodiments belong, unless otherwise defined. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present embodiments, in an ideal or excessively formal meaning. should not be interpreted.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable any person skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented from one embodiment to another without departing from the spirit and scope of the present invention. It should also be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described later is not performed in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims and all scopes equivalent thereto. Like reference numbers in the drawings indicate the same or similar elements throughout the various aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily practice the present invention.

도 1은 본 발명의 일 실시예에 따른 파킨슨 병(Parkinson's Disease) 검출 장치의 블록 구성도이다.1 is a block diagram of an apparatus for detecting Parkinson's Disease according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 파킨슨 병 검출 장치는 적어도 하나의 프로세서(110), 메모리(120) 및 저장 장치(130)를 포함할 수 있다.Referring to FIG. 1 , an apparatus for detecting Parkinson's disease according to an embodiment of the present invention may include at least one processor 110, a memory 120, and a storage device 130.

프로세서(110)는 메모리(120) 및/또는 저장 장치(130)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120)와 저장 장치(130)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.The processor 110 may execute program commands stored in the memory 120 and/or the storage device 130 . The processor 110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to the present invention are performed. The memory 120 and the storage device 130 may be composed of volatile storage media and/or non-volatile storage media. For example, the memory 120 may include read only memory (ROM) and/or random access memory (RAM).

메모리(120)는 프로세서(110)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다.The memory 120 may store at least one command executed through the processor 110 .

파킨슨 병은 노화 인구에 영향을 미치는 신경 퇴행성 질환으로 흑질(substantia nigra region, SNc)에서 도파민 성 뉴런의 점진적인 손실로 인해 발생한다. 질병의 발병과 함께 환자는 떨림(tremors), 운동완만증(bradykinesia), 자세 및 균형 장애 등과 같은 이동성 장애로 고생하고 시간이 지나면서 상기 질병 및 장애는 점차 악화된다. 또한 전 세계적으로 고령화 인구가 기하급수적으로 증가함에 따라 파킨슨 병으로 고통 받는 사람들의 수가 증가하고 있으며 이는 정부에 막대한 경제적 부담을 부과하고 있다. 그러나 지금까지 발병 후 사람의 몸에서 질병을 완전히 제거하는 치료법은 발견되지 않았다. 따라서 파킨슨 병의 조기 발견은 환자의 도파민 성 뉴런의 점진적인 손실을 해결하여 더 나은 삶을 제공하는 데 가장 중요하다. 이 연구에서 3T T1 가중치 MRI 스캔은 기준선 방문(baseline visit)에서 406 명의 피험자에 대한 PPMI(Parkinson's Progression Markers Initiative) 데이터베이스에서 획득했으며, 203 명은 건강하고 203 명은 파킨슨 병 환자였다. 데이터 전처리 후 파킨슨 병 감지를 위한 MRI(magnetic resonance imaging) 스캔의 복잡한 패턴을 학습하기 위해 3D 컨볼루션 신경망(convolutional neural network, CNN) 아키텍처가 개발되었다. 결과적으로 개발된 3D CNN 모델은 연구의 가설과 완전히 일치하여 우수한 성능을 보였으며 전체 정확도(accuracy) 95.29 %, 평균 재현율(recall) 0.943, 평균 정밀도(precision) 0.927, 평균 특이도(specificity) 0.9430, f1-점수 0.936 점, 두 클래스 각각 ROC-AUC(Receiver Operating Characteristic―Area Under Curve) 점수 0.98 점을 기록했다.Parkinson's disease is a neurodegenerative disease that affects an aging population and is caused by progressive loss of dopaminergic neurons in the substantia nigra region (SNc). With the onset of the disease, patients suffer from mobility impairments such as tremors, bradykinesia, postural and balance disorders, etc., and over time these diseases and disorders gradually worsen. In addition, as the aging population increases exponentially around the world, the number of people suffering from Parkinson's disease is increasing, which imposes a huge economic burden on governments. However, until now, no treatment has been found that completely removes the disease from the human body after it develops. Therefore, early detection of Parkinson's disease is of paramount importance in resolving the gradual loss of dopaminergic neurons in patients to give them a better life. In this study, 3T T1-weighted MRI scans were obtained from the Parkinson's Progression Markers Initiative (PPMI) database for 406 subjects at the baseline visit, 203 healthy and 203 patients with Parkinson's disease. After data preprocessing, a 3D convolutional neural network (CNN) architecture was developed to learn complex patterns from magnetic resonance imaging (MRI) scans for Parkinson's disease detection. As a result, the developed 3D CNN model showed excellent performance in complete agreement with the research hypothesis, with overall accuracy of 95.29%, average recall of 0.943, average precision of 0.927, average specificity of 0.9430, It scored an f1-score of 0.936 and an ROC-AUC (Receiver Operating Characteristic—Area Under Curve) score of 0.98 for each of the two classes.

1. 소개1. Introduction

과거 연구자들은 여러 연구를 수행했으며 조직 및 세포 이미징 스캔의 조직 및 형태 학적 분석이 매우 놀라운 결과를 제공했음을 발견했다. 텍스쳐 및 형태 학적 분석의 적용은 그레이 레벨 패턴의 정량화를 수행하고 관심 영역 내에서 픽셀 간 관계를 도출할 수 있었기 때문에 거대한 것으로 간주되었다. 더욱이 스캔이나 이미지의 다른 영역은 인간이 추적하기 어려운 다른 조직 및 형태 학적 패턴을 가지고 있음이 관찰되었다. 따라서 영상 스캔의 조직 및 형태 학적 분석은 질병의 감지 및 진단에 대한 신경 학적 연구 및 응용에 매우 신뢰할 수 있는 것으로 입증되었다. 그러나 컴퓨터 응용 프로그램 및 지능형 시스템 분야의 발전으로 연구 커뮤니티는 이제 도메인 별 지식이 필요한 수작업 기능 엔지니어링보다는 데이터 기반 기능 표현에 더 초점을 맞추고 있다. 따라서 딥 러닝 아키텍처 및 기술의 급속한 발전으로 의료 이미지 응용 프로그램을 위한 몇 가지 최첨단 방법론을 제시하는 것이 입증되었다.In the past, researchers have conducted several studies and found that histological and morphological analyzes of tissue and cell imaging scans have provided very surprising results. The application of textural and morphological analysis was considered grand because it allowed us to perform quantification of gray-level patterns and derive relationships between pixels within a region of interest. Moreover, it was observed that different areas of the scans or images had different histological and morphological patterns that were difficult for humans to trace. Thus, histological and morphological analysis of imaging scans has proven to be highly reliable for neurological research and applications in the detection and diagnosis of disease. However, with advances in the fields of computer applications and intelligent systems, the research community is now focusing more on data-driven feature representation rather than manual feature engineering that requires domain-specific knowledge. Therefore, rapid advances in deep learning architectures and techniques have proven to present some state-of-the-art methodologies for medical imaging applications.

섹션 2에서는 특히 연구에 사용 된 데이터, 데이터 선택 절차, 이미징 양식 및 이미지 등록 프로토콜에 대해 설명된다. 또한, 섹션 2에서는 Parkinson의 PPMI (Progression Markers Initiative) 데이터 처리 및 MNIPD25-T1MPRAGE-1 mm 아틀라스(atlas)와 관련된 데이터 등록을 위한 전체 워크플로우(workflow)를 보여 준다. 섹션 3에서는 3D 컨볼루션 신경망 아키텍처의 개발 및 최적화에 관한 연구 방법론을 강조한다. 섹션 4에서는 개발된 3D 컨볼루션 신경망 아키텍처의 성능 및 일반화 기능에 대해 설명한다. 섹션 5에서는 전체 연구를 추가로 논의하고 파킨슨 병의 조기 발견을 위한 작업의 중요성에 대해 논의한다. 마지막으로, 섹션 6에서는 결론을 내리고 연구와 관련된 향후 작업에 대해 논의한다.In section 2, in particular, the data used in the study, data selection procedure, imaging modality and image registration protocol are described. In addition, Section 2 shows the complete workflow for Parkinson's Progression Markers Initiative (PPMI) data processing and data registration related to the MNIPD25-T1MPRAGE-1 mm atlas. Section 3 highlights the research methodology for the development and optimization of 3D convolutional neural network architectures. Section 4 describes the performance and generalization capabilities of the developed 3D convolutional neural network architecture. Section 5 further discusses the full study and discusses the importance of work for early detection of Parkinson's disease. Finally, Section 6 draws conclusions and discusses future work related to the study.

2. 데이터 수집 및 전처리2. Data collection and preprocessing

2.1. 데이터 수집2.1. data collection

연구 데이터는 PPMI 데이터베이스(www.ppmi-info.org/data)에서 수집되었다. 신경 이미지 용 PPMI 데이터베이스는 파킨슨 병의 진행을 담당하는 바이오 마커를 연구하기 위한 획기적인 국제적 다기관 연구이다. 연구를 위해 선택된 MRI 스캔은 표 1에 설명된 특정 영상 프로토콜을 기반으로 하고 기준 방문(baseline visit)에 해당한다. 또한 연구에서 고려된 모든 스캔은 단일 유형의 스캐너(예를 들어, 독일 뮌헨의 Siemens)에서 얻은 것이다. 또한 획득 한 모든 스캔은 MP-RAGE (Magneticization Prepared-Rapid Gradient Echo) 시퀀스를 기반으로 한다. 연구에 사용된 모든 스캔은 20-30분 시간 범위에서 정수리(vertex), 소뇌(cerebellum) 및 뇌교(pons)을 포함한 시야(field of view, FoV)에서 획득되었다.Study data were collected from the PPMI database (www.ppmi-info.org/data). The PPMI Database for Neuroimaging is a groundbreaking international multicenter study to investigate biomarkers responsible for the progression of Parkinson's disease. The MRI scans selected for the study were based on the specific imaging protocol described in Table 1 and corresponded to the baseline visit. Additionally, all scans considered in the study were obtained from a single type of scanner (e.g., Siemens, Munich, Germany). Additionally, all acquired scans are based on the Magneticization Prepared-Rapid Gradient Echo (MP-RAGE) sequence. All scans used in the study were acquired in the field of view (FoV) including the vertex, cerebellum, and pons over a 20-30 minute time range.

표 1은 PPMI(Parkinson's Progression Markers Initiative) 데이터베이스에서 스캔을 선택하기 위한 이미징 프로토콜을 나타낸다.Table 1 shows the imaging protocol for selecting scans from the Parkinson's Progression Markers Initiative (PPMI) database.

표 1에 언급 된 영상 프로토콜을 기반으로 필터를 적용한 후, 환자의 기준선 방문에서 총 406 개의 MRI 스캔이 선택되었다. 406명 중 여성이 148명, 남성이 258명이었다. 연구를 위해 고려된 MRI 스캔은 62.64 ± 9.9 세의 피험자의 MRI 스캔이었다. 스캔은 주로 건강한 대조군(healthy control, HC)과 파킨슨 병(Parkinson's Disease, PD)의 두 연구 그룹에 속했다. 스캔은 건강한 대조군에 203 개, 파킨슨 병 203에 개씩 속했다. 스캔을 위해 고려된 대상은 표 2에 설명 된 특정 기준에 따라 선택되었다.After applying a filter based on the imaging protocol mentioned in Table 1, a total of 406 MRI scans from the patient's baseline visit were selected. Of the 406 patients, 148 were female and 258 were male. The MRI scan considered for the study was that of a subject aged 62.64 ± 9.9 years. Scans mainly belonged to two study groups: healthy control (HC) and Parkinson's Disease (PD). Scans belonged to 203 healthy controls and 203 to Parkinson's disease. Subjects considered for scanning were selected according to specific criteria described in Table 2.

표 2는 연구 그룹에 포함될 주제의 자격 기준을 나타낸 것이다.Table 2 shows the eligibility criteria for subjects to be included in the study group.

표 3은 PPMI 데이터베이스에서 얻은 스캔 사양을 보여준다.Table 3 shows the scan specifications obtained from the PPMI database.

도 2는 PPMI 데이터베이스에서 얻은 두 연구 그룹에 속하는 MRI 스캔 샘플을 보여준다. 도 2는 PPMI(Parkinson's Progression Markers Initiative) 데이터베이스에서 얻은 MRI(Magnetic Resonance Imaging) 스캔 샘플이다. (a)는 대조군에 속하는 피험자의 MRI 스캔이고, (b)는 파킨슨 병 그룹의 피험자의 MRI 스캔이다.Figure 2 shows MRI scan samples belonging to the two study groups obtained from the PPMI database. 2 is a Magnetic Resonance Imaging (MRI) scan sample obtained from the Parkinson's Progression Markers Initiative (PPMI) database. (a) is an MRI scan of a subject belonging to the control group, and (b) is an MRI scan of a subject belonging to the Parkinson's disease group.

2.2. 데이터 전처리2.2. data preprocessing

연구에 사용된 데이터 세트는 PPMI 데이터베이스에서 얻었다. 앞서 언급했듯이 PPMI는 다기관 연구이므로 연구에서 얻은 이미징 스캔에는 시간적 및 공간적 차이가 포함되어 있다. 이 문제를 해결하고 모든 스캔간에 일정한 양식을 유지하려면 모든 스캔이 MNI(Montreal Neurological Institute) 또는 IBASPM(individual brain atlases using statistical parametric mapping)와 같은 동일한 공간에 있어야 한다. 따라서 전 세계 여러 센터에서 수집 된 PPMI MRI 데이터를 고정 좌표계로 변환하기 위해 이미지 등록 절차를 수행했다. 이미지 등록은 고정 된 이미지(atlas)에서 순회가 수행되어 정렬 매개 변수와 좌표를 찾아 알 수 없거나 보이지 않는 이미지가 고정 된 이미지와 유사하게 정렬 될 수 있도록 하는 프로세스이다. 간단하게 이미지 등록은 두 이미지를 특정 공간에 정렬하는 과정으로 이해 될 수 있다. 하나는 소스 이미지로, 다른 하나는 대상 이미지로 작동하며 소스 이미지는 대상 이미지와 정렬하는 방법으로 변환된다. 특정 연구에서는 PPMI 데이터베이스에서 얻은 MRI 스캔을 소스 이미지로 간주하고 MNI 또는 IBASPM과 같은 아틀라스를 대상 이미지로 간주했다.The data set used in the study was obtained from the PPMI database. As mentioned earlier, PPMI is a multicenter study, so the imaging scans obtained in the study contain temporal and spatial differences. To solve this problem and maintain constant modality across all scans, all scans must be in the same space, such as Montreal Neurological Institute (MNI) or individual brain atlases using statistical parametric mapping (IBASPM). Therefore, an image registration procedure was performed to convert the PPMI MRI data collected from multiple centers around the world into a fixed coordinate system. Image registration is the process by which traversal is performed on a fixed image (atlas) to find alignment parameters and coordinates so that unknown or invisible images can be aligned similarly to the fixed image. Simply put, image registration can be understood as a process of arranging two images in a specific space. One acts as the source image and the other as the target image, and the source image is transformed in such a way that it aligns with the target image. In certain studies, MRI scans obtained from the PPMI database were considered as source images and atlases such as MNI or IBASPM as target images.

PPMI 데이터베이스에서 얻은 MRI 스캔 등록은,MRI scan registrations obtained from the PPMI database were:

Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. A dataset of multi-contrast population-averaged brain MRI atlases of a Parkinson's disease cohort. Data Brief. 2017, 12, 370-379. Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. A dataset of multi-contrast population-averaged brain MRI atlases of a Parkinson's disease cohort. Data Brief. 2017, 12, 370-379.

Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. Multi-contrast unbiased MRI atlas of a Parkinson's disease population. Int. J. Comput. Assist. Radiol. Surg. 2015, 10, 329-341. Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. Multi-contrast unbiased MRI atlas of a Parkinson's disease population. Int. J. Comput. Assist. Radiol. Surg. 2015, 10, 329-341.

Xiao, Y.; Beriault, S.; Bruce Pike, G.; Louis Collins, D. Multicontrast multiecho FLASH MRI for targeting the subthalamic nucleus. Magn. Reson. Imaging 2012, 30, 627-640.Xiao, Y.; Beriault, S.; Bruce Pike, G.; Louis Collins, D. Multicontrast multiecho FLASH MRI for targeting the subthalamic nucleus. Magn. Reson. Imaging 2012, 30, 627-640.

위 레퍼런스들에 의해 생성 된 MNIPD25-T1MPRAGE-1 mm 아틀라스를 사용하여 수행되었다. MNIPD25-T1MPRAGE-1 mm 아틀라스의 사양은 표 4에 설명되어 있다. MRI 스캔 등록은 ANTsPy(advanced normalization tools python)으로 알려진 가장 효과적인 정규화 도구 중 하나를 사용하여 수행되었다. ANTsPy는 MRI, fMRI 및 SPECT 데이터에 대한 전처리를 수행하기 위해 복잡한 이미징 데이터 세트에서 중요한 정보를 추출하기 위한 이미징 연구 분야에서 특히 사용된다. MNIPD25-T1MPRAGE-1 mm 아틀라스로 획득한 MRI 스캔의 등록은 대칭 정규화를 사용하여 수행되었다. 도 3은 등록 프로세스 전후의 특정 MRI 스캔을 보여준다.This was done using the MNIPD25-T1MPRAGE-1 mm atlas generated by the references above. The specifications of the MNIPD25-T1MPRAGE-1 mm Atlas are described in Table 4. MRI scan registration was performed using one of the most effective normalization tools known as ANTsPy (advanced normalization tools python). ANTsPy is particularly used in the field of imaging research for extracting important information from complex imaging data sets to perform preprocessing on MRI, fMRI and SPECT data. Registration of MRI scans acquired with the MNIPD25-T1MPRAGE-1 mm atlas was performed using symmetric normalization. Figure 3 shows specific MRI scans before and after the registration process.

표 4는 MNIPD25-T1MPRAGE-1 mm 아틀라스의 사양을 도시한다.Table 4 shows the specifications of the MNIPD25-T1MPRAGE-1 mm atlas.

도 3은 특정 스캔의 등록 전후를 도시한 도면이다. (a)는 등록 전 MRI 스캔이고, (b)는 등록 후 MRI 스캔이다.3 is a diagram illustrating before and after registration of a specific scan. (a) is the MRI scan before registration, and (b) is the MRI scan after registration.

4. 재료 및 방법4. Materials and Methods

이 연구의 주요 전제는 파킨슨 병의 감지와 3D 컨볼루션 신경망을 사용하여 건강한 대조군 또는 파킨슨 병으로 MRI 스캔을 분류하는 데 초점을 맞추고 있다.The main premise of this study is focused on the detection of Parkinson's disease and the classification of MRI scans as healthy controls or Parkinson's disease using 3D convolutional neural networks.

도 4는 연구의 전체 프로세스 흐름을 도시한 도면이다. 파킨슨 병 검출을 위한 프로세스 및 방법론의 전체 흐름은 도 4에 설명되어 있다. 방법론은 주로 4 단계로 나뉜다. PPMI 데이터베이스에서 MRI 스캔 획득; 데이터 전처리, 등록 및 변환; 3D 컨볼루션 신경망 아키텍처; 마지막으로 몇 가지 메트릭을 기반으로 한 CNN 아키텍처의 결과 및 성능 평가로 나뉠 수 있다. 방법론의 처음 두 단계는 섹션 2에서 철저히 논의되었으며 세 번째 및 네 번째 단계는 다음 섹션에서 논의된다.4 is a diagram showing the entire process flow of the study. The overall flow of the process and methodology for Parkinson's disease detection is illustrated in FIG. 4 . The methodology is mainly divided into four steps. Acquire MRI scans from the PPMI database; data pre-processing, registration and transformation; 3D convolutional neural network architecture; Finally, it can be divided into results and performance evaluation of CNN architecture based on several metrics. The first two steps of the methodology are thoroughly discussed in Section 2 and the third and fourth steps are discussed in the following sections.

3.1. 3D 컨볼루션 신경망 아키텍처3.1. 3D convolutional neural network architecture

최근에는 문제 해결을 위한 지도 학습 기술(supervised learning techniques)이 크게 발전했다. 더욱이, 딥 러닝 알고리즘의 인기와 효과는 아키텍처 설계 및 최적화 기능 측면에서 주요 패러다임 변화를 겪었다. 특히 헬스 케어 분야에서는 영상 분석, 영상 속 동맥류 검출, 생체 신호 분석 등에 사용되던 기존 기술에 비해 딥 러닝 알고리즘이 훨씬 우위를 점하고 있다.In recent years, there have been significant advances in supervised learning techniques for problem solving. Moreover, the popularity and effectiveness of deep learning algorithms has undergone a major paradigm shift in terms of architecture design and optimization capabilities. In particular, in the healthcare field, deep learning algorithms are far superior to existing technologies used for image analysis, aneurysm detection in images, and bio-signal analysis.

이 명세서에서는 T1 가중 MRI 스캔에서 파킨슨 병을 감지하기 위해 3D 컨볼루션 신경망 모델이 개발되었다. 이 연구의 주요 제안은 MRI 또는 *?*뇌 이미지에서 파킨슨 병을 식별하는 데 사용할 수 있는 시스템을 제시한다. 또한 연구의 두 번째 제안은 파킨슨 병의 원인이 되는 뇌 MRI 이미지에서 그럴듯한 관심 영역 (ROI)을 결정하는 것이었다. 따라서 연구의 주된 제안을 해결하기 위해 도 5 및 표 5와 같이 3D 컨볼루션 신경망이 개발되었다.In this specification, a 3D convolutional neural network model is developed to detect Parkinson's disease in T1-weighted MRI scans. The main proposal of this study presents a system that can be used to identify Parkinson's disease in MRI or brain images. Also, the second proposal of the study was to determine plausible regions of interest (ROIs) in brain MRI images that are causative of Parkinson's disease. Therefore, in order to solve the main proposal of the study, a 3D convolutional neural network was developed as shown in FIG. 5 and Table 5.

도 5는 3D 컨볼루션 신경망 (CNN) 아키텍처를 도시한 도면이다.5 is a diagram illustrating a 3D convolutional neural network (CNN) architecture.

표 5는 3D 컨볼루션 신경망 (CNN) 아키텍처를 나타낸다.Table 5 shows the 3D convolutional neural network (CNN) architecture.

작업에서 개발된 CNN 네트워크는 입력 및 출력 계층을 포함하는 35 개의 계층으로 구성된다. 또한 네트워크 아키텍처는 12 개의 3D 컨볼루션 레이어(convolution layer)로 구성되어 모델이 입력 뇌 MRI 스캔의 특징 표현을 생성할 수 있다. 또한 모든 컨볼루션 레이어는 활성화 함수에 의해 지원된다. The CNN network developed in the work consists of 35 layers including input and output layers. In addition, the network architecture consists of 12 3D convolution layers, allowing the model to generate feature representations of input brain MRI scans. Also, all convolutional layers are supported by activation functions.

여기서, 상기 컨볼루션 신경망 모델은, 12개의 3D 컨볼루션 레이어(3 dimentional convolution layer)를 포함하고, 제1 및 제2 3D 컨볼루션 레이어는 필터 개수 4개, 커널 사이즈(kernel size)가 (3, 3, 3), 스트라이드(stride)가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제5 및 제6 3D 컨볼루션 레이어는 필터 개수 128개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제7 및 제8 3D 컨볼루션 레이어는 필터 개수 256개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제9 및 제10 3D 컨볼루션 레이어는 필터 개수 512개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제11 3D 컨볼루션 레이어는 필터 개수 1024개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제12 3D 컨볼루션 레이어는 필터 개수 2048개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어일 수 있다.Here, the convolutional neural network model includes 12 3D convolutional layers (3 dimentional convolutional layers), and the first and second 3D convolutional layers have a filter number of 4 and a kernel size of (3, 3, 3), a 3D convolution layer with a stride of (2, 2, 2), and the third and fourth 3D convolution layers have 64 filters, a kernel size of (3, 3, 3), It is a 3D convolution layer with a stride of (2, 2, 2), and the third and fourth 3D convolution layers have 64 filters, a kernel size of (3, 3, 3), and a stride of (2, 2, 2 ), and the fifth and sixth 3D convolution layers are 3D convolution layers having a filter number of 128, a kernel size of (2, 2, 2), and a stride of (1, 1, 1), The seventh and eighth 3D convolution layers are 3D convolution layers having 256 filters, a kernel size of (2, 2, 2), and a stride of (1, 1, 1), and the ninth and tenth 3D convolution layers The layer is a 3D convolution layer with 512 filters, a kernel size of (1, 1, 1), and a stride of (1, 1, 1), and the 11th 3D convolution layer has 1024 filters and a kernel size of ( 1, 1, 1), a 3D convolution layer with a stride of (1, 1, 1), and the twelfth 3D convolution layer has a filter number of 2048, a kernel size of (1, 1, 1), and a stride of (1 , 1, 1) may be a 3D convolutional layer.

또한, 모든 특징 표현은 입력 특징 행렬을 다운 샘플링(down sampling)하고 과적 합(overfitting)을 방지하기 위해 특징 표현의 추상적인 형태를 제공하는 최대 풀링 레이어(max-pulling layer)에 적용된다. 특성 학습의 전체 프로세스가 끝나면 모든 특성 행렬이 평탄화되어 조밀 계층 또는 완전 연결 계층에서 허용 될 수 있다. 덴스 레이어(dense layer)의 표현은 건강한 대조군과 파킨슨 병인 두 상태에 해당하는 두 개의 뉴런과 시그모이드(sigmoid) 활성화가 있는 출력 dense layer에 추가로 적용된다.In addition, all feature expressions are applied to a max-pulling layer that provides an abstract form of feature expressions to down-sample the input feature matrix and prevent overfitting. After the whole process of feature learning, all feature matrices are flattened and can be accepted in either dense layer or fully connected layer. The representation of the dense layer is further applied to the output dense layer with two neurons and sigmoid activation corresponding to the two conditions: healthy control and Parkinson's disease.

3.2. 가설 및 훈련 절차3.2. Hypothesis and training procedure

통계, 기계 학습 및 딥 러닝 모델을 개발하기 위한 첫 번째 단계는 해결해야 할 문제에 대한 가설을 개발하는 것이다. 따라서 특정 문제를 해결하기 위해 고안된 기본 가설은 다음과 같다.The first step in developing statistical, machine learning and deep learning models is to develop a hypothesis about the problem to be solved. Therefore, the basic hypothesis devised to solve the specific problem is as follows.

1. 파킨슨 병 클래스의 재현율(recall) 또는 트루 네거티브(true negative 즉, 진짜 음성)는 0.95 초과이어야 하며, 오 예측(mispredicted) 샘플 또는 폴스 네거티브(false negative 즉, 거짓 음성) 확률 인자는 60%를 넘지 않아야 한다.1. The recall or true negative (i.e. true negative) of the Parkinson's disease class must be greater than 0.95, and the mispredicted sample or false negative (i.e. false negative) probability factor is 60% should not exceed

2. 건강한 대조군의 재현율 또는 트루 포지티브(true positive 즉, 진짜 양성)는 85% 초과이어야 하며, 오 예측 샘플 또는 폴스 포지티브(false positive 즉, 거짓 양성) 확률 인자는 65%를 넘지 않아야 한다.2. The recall of healthy controls or true positives must be greater than 85%, and the probability factor of false positives or false positives must not exceed 65%.

따라서 위의 가설을 바탕으로 3D 컨볼루션 신경망 모델의 성능을 평가 하였다. 평가 목적으로 정확도(accuracy), 정밀도(precision), 재현율(recall), f1- 점수 및 혼동 행렬(confusion matrix)의 다섯 가지 분류 성능 메트릭을 고려했다. 또한 보이지 않는 데이터에 대한 모델의 일반화 가능성을 결정하기 위해 5 분할 교차 검증(5-split cross-validation)을 수행했다. 성능 메트릭 평가에 대한 세부 정보는 결과 섹션에 설명되어 있다.Therefore, based on the above hypothesis, the performance of the 3D convolutional neural network model was evaluated. For evaluation purposes, we considered five classification performance metrics: accuracy, precision, recall, f1-score, and confusion matrix. We also performed 5-split cross-validation to determine the generalizability of the model to unseen data. Details of the performance metric evaluation are described in the Results section.

3.3. 모델 옵티마이저(optimizer) 하이퍼 파라미터(hyperparameter) 및 손실3.3. Model optimizer hyperparameters and loss

3D CNN 아키텍처의 개발은 실제로 작업의 가장 중요한 측면이다. 그러나 학습 알고리즘을 생성하기 위해 신중하게 고려해야 할 구성 요소는 가중치(weight) 및 편향(bias)과 같은 네트워크의 내부 매개 변수 세트와 손실 함수를 최적화하기 위해 올바른 하이퍼 파라미터 세트를 선택하는 것이다.The development of the 3D CNN architecture is actually the most important aspect of the task. However, the components that need to be carefully considered to create a learning algorithm are the set of internal parameters of the network, such as weights and biases, and choosing the correct set of hyperparameters to optimize the loss function.

학습 과정을 제어하는 *?*과정은 딥 러닝 모델을 생성하는 동안 매우 중요하다고 간주된다. 이 프로세스는 옵티마이저(optimizer) 알고리즘 튜닝을 담당하는 옵티마이저 기능의 하이퍼 파라미터에 의해 수행된다. 현재 연구에서 최적화 알고리즘에 있는 주요 측면은 모델의 검증 및 테스트 오류를 *?*최소화하는 것이다. 특정 작업을 수행하려면 기본 딥 러닝 모델 외부에있는 하이퍼 파라미터를 가중치 및 편향인 모델의 완벽한 내부 매개 변수를 생성하는 방식으로 조정해야 한다. 그러나 이 과정에서 직면한 문제는 보이지 않는 데이터(unseen data)에 대한 모델의 일반화 가능성을 높이기 위해 특정 훈련 세트보다는 모델에 특정한 방식으로 하이퍼 파라미터를 선택해야 한다는 것이다. 따라서 전체 모델 일반화 및 최적의 객관적 점수를 유지하기위한 완벽한 하이퍼 파라미터 세트를 선택하기 위해 베이지안(Bayesian) 순차 모델 기반 최적화(sequential model-based optimization, SMBO)가 사용된다.The process of controlling the learning process is considered very important while creating a deep learning model. This process is performed by the hyperparameters of the optimizer function, which is responsible for tuning the optimizer algorithm. The main aspect in the optimization algorithm in the current study is to *?*minimize the validation and testing errors of the model. To perform a particular task, hyperparameters outside the underlying deep learning model must be tuned in a way that creates perfect internal parameters of the model, which are the weights and biases. However, the problem we face in this process is that we need to choose the hyperparameters in a model-specific way rather than a specific training set in order to increase the generalizability of the model to unseen data. Therefore, Bayesian sequential model-based optimization (SMBO) is used to select the perfect set of hyperparameters to maintain overall model generalization and optimal objective scores.

Bayesian SMBO는 이전 목적 함수의 평가 결과를 기반으로 대리 모델(확률 함수)을 생성하여 목적 함수를 최소화하는 작업을하는 하이퍼 파라미터 최적화에 사용되는 알고리즘이다. 베이지안 SMBO의 기본 목적 함수는 수학식 1과 같다.Bayesian SMBO is an algorithm used in hyperparameter optimization that works to minimize the objective function by generating a surrogate model (probability function) based on the evaluation result of the previous objective function. The basic objective function of Bayesian SMBO is shown in Equation 1.

Bayesian SMBO에 의해 개발된 대리 모델(surrogate model)은 메인 옵티마이저 기능보다 저렴한 것으로 간주된다. 또한 다음 평가 결과 세트는 예상 개선 기준(expected improvement criterion)을 사용하여 선택된다. 기준은 수학식 2와 같이 정의된다.The surrogate model developed by Bayesian SMBO is considered cheaper than the main optimizer function. In addition, the next set of evaluation results is selected using an expected improvement criterion. The criterion is defined as in Equation 2.

수학식 2를 참조하면, x는 하이퍼 파라미터 값에 속하며 f(x)의 객관적 점수(score)의 개선으로 간주되며, f*는 프로세스에서 발견된 객관적 점수의 최대 값이다.Referring to Equation 2, x belongs to the hyperparameter value and is regarded as an improvement of the objective score of f(x), and f* is the maximum value of the objective score found in the process.

또한 이 과정에서 AdaDelta가 네트워크의 가중치와 편향을 최적화하기 위한 최적화 알고리즘으로 선택된다. AdaDelta는 아래 레퍼런스를 기초로 한다.Also in this process, AdaDelta is chosen as the optimization algorithm to optimize the weights and biases of the network. AdaDelta is based on the references below.

Zeiler, M.D. Adadelta: An adaptive learning rate method. arXiv 2012, arXiv:1212.5701.Zeiler, M.D. Adadelta: An adaptive learning rate method. arXiv 2012, arXiv:1212.5701.

AdaDelta는 경사 하강법(gradient descent) 알고리즘과 관련된 매우 강력한 알고리즘으로 간주된다. 알고리즘은 1차 정보만을 활용하여 훈련 과정 동안 동적으로 적응한다. 또한 이 알고리즘은 학습률을 수동으로 조정할 필요가 없으며 잡음이 있는 기울기 정보에 대해 매우 강력하다. 따라서 최적의 하이퍼 파라미터를 생성하기 위해 베이지안 SMBO가 알고리즘에 적용되었으며 아래에 언급되어 있다.AdaDelta is considered a very powerful algorithm related to gradient descent algorithms. The algorithm dynamically adapts during the training process using only primary information. Additionally, the algorithm does not require manual adjustment of the learning rate and is very robust against noisy gradient information. Therefore, Bayesian SMBO was applied to the algorithm to generate optimal hyperparameters and is mentioned below.

딥 러닝 모델의 또 다른 중요한 부분은 손실 함수이다. 이러한 함수는 일반적으로 예측 값(y??)과 실제 값(y) 사이의 변동성을 결정하는 데 사용된다. 손실 함수의 출력은 손실을 줄임으로써 모델의 일반화 가능성을 높이는 음이 아닌 값이다. 모델의 손실 함수는 수학식 3과 같이 지정된다.Another important part of a deep learning model is the loss function. These functions are commonly used to determine the variability between predicted values (y??) and actual values (y). The output of the loss function is a non-negative value that increases the generalizability of the model by reducing the loss. The loss function of the model is specified as in Equation 3.

여기서 θ는 모델의 매개 변수를 나타내고 x는 특성 행렬을 나타내고 y는 특정 특성 집합에 대한 실제 값을 나타낸다.where θ represents the parameters of the model, x represents the feature matrix and y represents the actual value for a particular set of features.

본 연구에서 사용 된 손실 함수는 교차 엔트로피 또는 로그 손실이라고도 하는 이진 교차 엔트로피(binary cross-entropy)이다. 이진 교차 엔트로피 손실에서 각 예측 결과는 실제 값과 비교되고 손실 점수가 계산된다. 프로세스의 손실 점수는 예측 확률에 페널티를 주는 데 사용된다. 손실 점수는 대수적으로 예측 결과와 실제 값 사이의 작은 차이에 작은 패널티가 할당되고 더 큰 차이에 큰 패널티가 적용된다. y가 참 값이고 p(y)가 y가 참일 것으로 예상되는 확률인 이진 교차 엔트로피 방정식이 제공된다. 이진 교차 엔트로피 방정식은 수학식 4와 같다.The loss function used in this study is binary cross-entropy, also called cross-entropy or log loss. In binary cross-entropy loss, each prediction result is compared to the actual value and a loss score is calculated. The loss score of the process is used to penalize the prediction probabilities. The loss score is logarithmic, with small penalties assigned to small differences between predicted results and actual values, and larger penalties applied to larger differences. A binary cross entropy equation is given where y is true and p(y) is the probability that y is expected to be true. The binary cross entropy equation is shown in Equation 4.

4. 결과4. Results

3D 컨볼루션 신경망 모델은 뇌 MRI 스캔에서 파킨슨 병을 감지하는 데 있어 괜찮은 결과를 보여 주었다. 이 모델은 두 클래스에 대해 각각 0.9421 및 0.9280의 평균 재현율(recall)과 정밀도(precision)를 유도하여 효과적인 결과를 정량적으로 제시했다. 또한 훈련 절차의 경우 전체 데이터 세트에 대해 80:20 비율의 5 분할 교차 검증(5-split cross-validation)을 수행했으며, 다중 교차 검증 테스트 세트에 따라 데이터 예측 측면에서 모델이 최적의 일반화 가능성을 입증하는 것으로 관찰되었다. 표 6은 보이지 않는 데이터에 대한 3D 컨볼루션 신경망 모델의 일반화 가능성을 결정하는 데 사용 된 5 분할 교차 검증 결과를 보여준다.A 3D convolutional neural network model has shown decent results in detecting Parkinson's disease in brain MRI scans. This model induced average recall and precision of 0.9421 and 0.9280 for the two classes, respectively, and presented effective results quantitatively. In addition, for the training procedure, we performed a 5-split cross-validation with a ratio of 80:20 on the entire data set, demonstrating the optimal generalizability of the model in terms of data prediction according to the multiple cross-validation test set. It was observed that Table 6 shows the 5-segment cross-validation results used to determine the generalizability of the 3D convolutional neural network model to unseen data.

표 6은 3D CNN 모델의 성능 평가를 나타낸다.Table 6 shows the performance evaluation of the 3D CNN model.

도 6은 4차 교차 검증 분할의 혼동 행렬로서, PD는 파킨슨 병을 의미한다. 도 6은 최고 성능의 교차 검증 세트에서 받은 결과를 기반으로 생성 된 혼동 행렬을 보여준다. 또한 혼동 행렬이 PD 클래스에 속하는 MRI 스캔이 다른 클래스로 잘못 예측되어서는 안되며 건강한 클래스의 예측 재현율이 85%보다 더 높아야 한다는 사전 가설과 완전히 일치 함을 관찰 할 수 있다. 그러나 딥 러닝 모델의 예측 성능 만 분석하는 것만으로는 모델의 신뢰성을 결정하는 데 충분하지 않다. 따라서 도 7 및 도 8에서는 모델의 불확실성과 예측의 신뢰도를 이해하기 위해 QQ (Quantile-Quantile plot)가 묘사되었다.6 is a confusion matrix of 4th-order cross-validation partitioning, where PD means Parkinson's disease. Figure 6 shows the confusion matrix generated based on the results received from the best-performing cross-validation set. We can also observe that the confusion matrix is completely consistent with our prior hypothesis that MRI scans belonging to the PD class should not be mispredicted to other classes and the prediction recall of the healthy class should be higher than 85%. However, analyzing only the predictive performance of a deep learning model is not sufficient to determine the reliability of the model. Therefore, in FIGS. 7 and 8, a quantile-quantile plot (QQ) is depicted to understand the uncertainty of the model and the reliability of the prediction.

도 7은 파킨슨 병 클래스에 속하는 샘플의 실제 확률과 예측 확률 사이의 QQ(quantile-Quantile) 플롯을 도시한 도면이다. 확률적 신뢰도는 0.932이다.7 is a diagram showing a quantile-quantile (QQ) plot between actual probability and predicted probability of a sample belonging to a Parkinson's disease class. The probability reliability is 0.932.

도 8은 건강한 대조군 클래스에 속하는 샘플의 실제 확률과 예측 확률 사이의 QQ(quantile-Quantile) 플롯을 도시한 도면이다. 확률적 신뢰도는 0.843이다.8 is a diagram showing a quantile-quantile (QQ) plot between the actual probability and the predicted probability of a sample belonging to a healthy control class. The probability reliability is 0.843.

딥 러닝 모델의 성능을 평가하기 위해 측정해야 하는 또 다른 매우 중요한 요소는 모델의 해석 가능성이다. 의료 분야는 자동화 된 지능형 시스템을 구현할 때 중요한 분야로 간주된다. 따라서 모델에서 제공해야하는 주요 요구 사항은 특정 예측에 대한 해석 또는 특정 예측으로 이어진 원인-효과 정보이다. 따라서 개발된 3D CNN 모델의 예측을 해석하기 위해 클래스 활성화 맵이 사용되었다. Another very important factor that needs to be measured to evaluate the performance of a deep learning model is the interpretability of the model. The medical field is considered an important field when it comes to implementing automated intelligent systems. Therefore, the main requirement that a model must provide is the interpretation of a particular prediction or cause-and-effect information that led to a particular prediction. Therefore, the class activation map was used to interpret the predictions of the developed 3D CNN model.

도 9는 파킨슨 병으로 예측된 샘플 MRI 스캔의 슬라이스(slices)에 대한 클래스 활성화 맵(Class Activation Maps)을 도시한 도면이다. (a)는 축 방향(axial view), (b)는 관상면(coronal view), (c)는 시상면(sagittal view)으로 촬영된 샘플이다. 도 9는 파킨슨 병으로 예측 된 샘플 MRI 조각의 클래스 활성화 맵을 보여준다. 클래스 활성화 맵은 모델이 도파민 성 뉴런의 손실로 인해 가장 큰 영향을받는 흑질 (substantia nigra pars compacta) 영역에 많은주의를 기울 였음을 보여준다.9 is a diagram illustrating class activation maps for slices of sample MRI scans predicted to have Parkinson's disease. (a) is an axial view, (b) is a coronal view, and (c) is a sample taken in a sagittal view. Figure 9 shows class activation maps of sample MRI slices predicted to be Parkinson's disease. The class activation map shows that the model paid a lot of attention to the substantia nigra pars compacta region, which is most affected by the loss of dopaminergic neurons.

5. 토론5. Discussion

이 연구는 3T-T1 가중 MRI 스캔에서 파킨슨 병을 감지하기 위한 3D 컨볼루션 신경망 아키텍처의 개발에 관한 것이다. MRI 스캔은 건강한 대조군과 파킨슨 병이라는 두 연구 그룹의 PPMI 데이터베이스에서 수집되었다. 논의된 바와 같이 PPMI는 다기관 연구이므로 획득 한 MRI 스캔은 공간적 및 시간적 차이가 있다. 따라서 모든 MRI 스캔을 동일한 공간으로 가져 오기 위해 모든 MRI 스캔에 대해 이미지 등록 루틴을 수행했다. 이미지 등록은 MNIPD2-T1MPRAGE-1mm 아틀라스를 사용하여 수행되었다. 뇌 MRI 스캔 등록 후, MRI 스캔에서 복잡한 패턴을 학습하여 파킨슨 병을 감지하고 MRI 스캔을 건강한 대조군과 파킨슨 병 카테고리로 각각 분류하기 위해 3D 컨볼루션 신경망이 개발되었다.This study is about the development of a 3D convolutional neural network architecture for detecting Parkinson's disease in 3T-T1 weighted MRI scans. MRI scans were collected from the PPMI database from two study groups: healthy controls and Parkinson's disease. As discussed, PPMI is a multicenter study, so acquired MRI scans have spatial and temporal differences. Therefore, an image registration routine was performed for all MRI scans to bring them all into the same space. Image registration was performed using the MNIPD2-T1MPRAGE-1mm atlas. After registration of brain MRI scans, a 3D convolutional neural network was developed to learn complex patterns from MRI scans to detect Parkinson's disease and classify MRI scans into healthy control and Parkinson's disease categories, respectively.

모델을 개발하기 전에 모델의 성능 메트릭을 평가하기위한 가설이 설계되었다. 가설은 파킨슨 병 클래스 또는 진짜 음성(true negative)의 재현율(recall)은 0.95 초과이어야 하며, 잘못 예측된(mispredicted) 샘플 또는 거짓 음성(false negative)의 확률 인자는 60%를 넘지 않아야 하며, 건강한 대조군 또는 진짜 양성(true positive)의 재현율이 85% 초과이어야 하며, 잘못 예측된(mispredicted) 샘플의 또는 거짓 양성(false positive)은 65%를 넘지 않아야 한다는 것이다. 따라서 사전 가설을 충족하기 위해 5 가지 성능 메트릭 즉, 혼동 행렬, 정확도, 정밀도, 재현율 및 f1 점수를 평가했다. 결과로부터 두 클래스에 대해 최대 정확도 95.29 %, 재현율 0.943, 정밀도 0.927, f1 점수 0.936을 기록하여 모델이 우월하게 예측을 수행한 것을 확인할 수 있다. 또한 모델의 일반화 능력을 이해하기 위해 5-split cross-validation을 수행했으며 모델이 모든 cross-validation split에서 지속적으로 수행되는 것을 관찰했다.Before developing the model, hypotheses were designed to evaluate the performance metrics of the model. The hypotheses should have a Parkinson's disease class or true negative recall greater than 0.95, a mispredicted sample or false negative probability factor greater than 60%, and a healthy control Alternatively, the recall of true positives must exceed 85%, and the mispredicted sample or false positives must not exceed 65%. Therefore, to meet the prior hypothesis, we evaluated five performance metrics: confusion matrix, accuracy, precision, recall and f1 score. From the results, it can be confirmed that the model performed the prediction superiorly, recording a maximum accuracy of 95.29%, recall of 0.943, precision of 0.927, and f1 score of 0.936 for both classes. In addition, we performed 5-split cross-validation to understand the generalization ability of the model and observed that the model performed consistently across all cross-validation splits.

또한 작업의 이전 가설을 증명하기 위해 혼동 행렬과 QQ(quantile-quantile) 플롯(plot)이 작업에서 묘사되었으며, 이는 가설과 완전히 일치했다. 혼동 매트릭스에서 파킨슨 병 등급에 속하는 MRI 스캔에 대해 오 예측이 없었음을 확인할 수 있다. 또한 QQ(quantile-quantile) 플롯에서 정확하게 예측된 모든 샘플이 파킨슨 병 클래스에 속하는 MRI 스캔에 대해 85% 이상의 예측 신뢰도를 가짐을 관찰 할 수 있다. 따라서 개발 된 3D CNN 모델은 작업의 이전 가설과 완벽하게 일치하여 우수한 성능 결과를 보이며 견고하게 수행되었으며, 모델은 교차 검증 결과를 기반으로 높은 일반화 능력을 입증한 결과를 볼 수 있다.In addition, to prove the previous hypothesis in the work, a confusion matrix and quantile-quantile (QQ) plot were depicted in the work, which were completely consistent with the hypothesis. In the confusion matrix, it can be seen that there were no false predictions for MRI scans belonging to Parkinson's disease grade. It can also be observed that in the quantile-quantile (QQ) plot, all correctly predicted samples have a prediction reliability of over 85% for MRI scans belonging to the Parkinson's disease class. Therefore, the developed 3D CNN model performed robustly with excellent performance results in perfect agreement with the previous hypothesis of the work, and the model demonstrated high generalization ability based on cross-validation results.

현재 인공 지능, 머신 러닝, 딥 러닝 연구 분야는 블랙 박스 모델의 해석 가능성에 초점을 맞추고 있다. 따라서 모델이 올바른 영역을 선택하는지 또는 파킨슨 병의 감지를 담당하는 영역을 선택하는지 파악하고 이해하기 위해 3D CAM(3D Class Activation Map)이 개발되었다. 도 9에 표시된 3D CAM 플롯에서 모델이 흑질 영역(substantia nigra region, SNc)에 많은 주의를 기울여 특정 MRI 스캔을 파킨슨 병으로 예측했음을 알 수 있다. 따라서 모델은 MRI 스캔에서 파킨슨 병의 원인이 되는 특정 영역을 이해했다고 볼 수 있다.Current fields of artificial intelligence, machine learning, and deep learning research are focused on the interpretability of black box models. Therefore, a 3D Class Activation Map (3D CAM) was developed to identify and understand whether the model selects the correct region or the region responsible for the detection of Parkinson's disease. From the 3D CAM plot shown in Fig. 9, it can be seen that the model predicted a specific MRI scan as Parkinson's disease by paying a lot of attention to the substantia nigra region (SNc). Thus, the model can be said to have understood the specific regions responsible for Parkinson's disease in MRI scans.

6. 결론6. Conclusion

제안된 연구에서는 3D 컨볼루션 신경망을 사용하여 파킨슨 병의 검출을 위해 3D MRI 분석을 수행했다. 이 연구는 전체 뇌 3D MRI 스캔을 활용하여 파킨슨 병을 탐지하기 위해 뇌의 모든 피질 하 구조의 복잡한 패턴을 이해했다. CNN 모델의 평가를 위해 특정 성능 메트릭이 고려되었으며 성능 메트릭 값을 검증하기 위해 이전 가설이 설계되었다. 3D CNN 모델의 훈련 후 연구의 이전 가설과 밀접하게 일치하여 모델이 우수하게 수행되는 것이 관찰되었으며 또한 꽤 놀라운 결과를 입증했다. 연구에서 개발 된 모델은 두 클래스 모두에 대해 전체 정확도 95.29 %, 평균 재현율 0.943, 평균 정확도 0.927, f1 점수 0.936을 나타냈다. 또한 MRI 스캔에 대한 모델의 해석은 3D 클래스 활성화 맵을 사용하여 평가되었으며, 이 모델은 특정 MRI 스캔을 파킨슨 병으로 예측하기 위해 흑질 영역 (substantia nigra region, SNc)에 최대한 주의를 기울인 것으로 나타났다.In the proposed study, a 3D convolutional neural network was used to perform 3D MRI analysis for the detection of Parkinson's disease. This study utilized whole-brain 3D MRI scans to understand the complex patterns of all subcortical structures in the brain to detect Parkinson's disease. Certain performance metrics were considered for the evaluation of CNN models and previous hypotheses were designed to verify the performance metric values. After training of the 3D CNN model, it was observed that the model performed well, in close agreement with the previous hypothesis of the study, and also demonstrated quite surprising results. The model developed in the study yielded an overall accuracy of 95.29%, an average recall of 0.943, an average accuracy of 0.927, and an f1 score of 0.936 for both classes. Additionally, the model's interpretation of the MRI scans was evaluated using a 3D class activation map, which showed that the model paid maximal attention to the substantia nigra region (SNc) to predict specific MRI scans as Parkinson's disease.

결론적으로, 제안된 연구의 결과는 매우 동기를 부여한다. 그러나 3D CNN을 사용하여 파킨슨 병을 탐지하는 데 활용할 수 있는 혁신적인 아키텍처 개발에 관한 수 많은 연구가 남아 있다. 더욱이 현재 연구는 전체 뇌 MRI 스캔에 초점을 맞추었지만 앞으로는 특정 피질 하 구조와 파킨슨 병 검출을 위한 보다 효율적인 아키텍처 개발을 고려하여 이러한 연구를 수행하는 것이 좋다.In conclusion, the results of the proposed study are highly motivating. However, numerous studies remain on the development of innovative architectures that can be utilized to detect Parkinson's disease using 3D CNNs. Moreover, although the current study focused on whole-brain MRI scans, it is recommended to conduct such studies in the future, considering specific subcortical structures and the development of more efficient architectures for Parkinson's disease detection.

도 10은 파킨슨 병(Parkinson's Disease) 검출 방법의 일 실시예를 도시한 흐름도이다.10 is a flowchart illustrating an embodiment of a method for detecting Parkinson's Disease.

도 10을 참조하면, 단계 S1010에서 프로세서는 MRI 스캔을 획득할 수 있다. 예를 들어, 연구 데이터는 PPMI 데이터베이스(www.ppmi-info.org/data)에서 수집될 수 있다. 신경 이미지 용 PPMI 데이터베이스는 파킨슨 병의 진행을 담당하는 바이오 마커를 연구하기 위한 획기적인 국제적 다기관 연구이다. 연구를 위해 선택된 MRI 스캔은 표 1에 설명된 특정 영상 프로토콜을 기반으로 하고 기준 방문(baseline visit)에 해당한다. 또한 연구에서 고려된 모든 스캔은 단일 유형의 스캐너(예를 들어, 독일 뮌헨의 Siemens)에서 얻은 것이다. 또한 획득 한 모든 스캔은 MP-RAGE (Magnetization Prepared-Rapid Gradient Echo) 시퀀스를 기반으로 한다. 연구에 사용된 모든 스캔은 20-30분 시간 범위에서 정수리(vertex), 소뇌(cerebellum) 및 뇌교(pons)을 포함한 시야(field of view, FoV)에서 획득될 수 있다.Referring to FIG. 10 , in step S1010, the processor may obtain an MRI scan. For example, research data may be collected from the PPMI database (www.ppmi-info.org/data). The PPMI Database for Neuroimaging is a groundbreaking international multicenter study to investigate biomarkers responsible for the progression of Parkinson's disease. The MRI scans selected for the study were based on the specific imaging protocol described in Table 1 and corresponded to the baseline visit. Additionally, all scans considered in the study were obtained from a single type of scanner (e.g., Siemens, Munich, Germany). Additionally, all acquired scans are based on the Magnetization Prepared-Rapid Gradient Echo (MP-RAGE) sequence. All scans used in the study can be acquired in the field of view (FoV) including the vertex, cerebellum and pons in the 20-30 min time range.

표 1은 PPMI(Parkinson's Progression Markers Initiative) 데이터베이스에서 스캔을 선택하기 위한 이미징 프로토콜을 나타낸다.Table 1 shows the imaging protocol for selecting scans from the Parkinson's Progression Markers Initiative (PPMI) database.

표 1에 언급 된 영상 프로토콜을 기반으로 필터를 적용한 후, 환자의 기준선 방문에서 총 406 개의 MRI 스캔이 선택되었다. 406명 중 여성이 148명, 남성이 258명이었다. 연구를 위해 고려된 MRI 스캔은 62.64 ± 9.9 세의 피험자의 MRI 스캔이었다. 스캔은 주로 건강한 대조군(healthy control, HC)과 파킨슨 병(Parkinson's Disease, PD)의 두 연구 그룹에 속했다. 스캔은 건강한 대조군에 203 개, 파킨슨 병 203에 개씩 속했다. 스캔을 위해 고려된 대상은 표 2에 설명 된 특정 기준에 따라 선택되었다. 표 2는 연구 그룹에 포함될 주제의 자격 기준을 나타낸 것이다. 표 3은 PPMI 데이터베이스에서 얻은 스캔 사양을 보여준다. 도 2는 PPMI 데이터베이스에서 얻은 두 연구 그룹에 속하는 MRI 스캔 샘플을 보여준다. 도 2는 PPMI(Parkinson's Progression Markers Initiative) 데이터베이스에서 얻은 MRI(Magnetic Resonance Imaging) 스캔 샘플이다. (a)는 대조군에 속하는 피험자의 MRI 스캔이고, (b)는 파킨슨 병 그룹의 피험자의 MRI 스캔이다.After applying a filter based on the imaging protocol mentioned in Table 1, a total of 406 MRI scans from the patient's baseline visit were selected. Of the 406 patients, 148 were female and 258 were male. The MRI scan considered for the study was that of a subject aged 62.64 ± 9.9 years. Scans mainly belonged to two study groups: healthy control (HC) and Parkinson's Disease (PD). Scans belonged to 203 healthy controls and 203 to Parkinson's disease. Subjects considered for scanning were selected according to specific criteria described in Table 2. Table 2 shows the eligibility criteria for subjects to be included in the study group. Table 3 shows the scan specifications obtained from the PPMI database. Figure 2 shows MRI scan samples belonging to the two study groups obtained from the PPMI database. 2 is a Magnetic Resonance Imaging (MRI) scan sample obtained from the Parkinson's Progression Markers Initiative (PPMI) database. (a) is an MRI scan of a subject belonging to the control group, and (b) is an MRI scan of a subject belonging to the Parkinson's disease group.

단계 S1020에서 프로세서는 MRI 스캔을 등록할 수 있다. 예를 들어, 연구에 사용된 데이터 세트는 PPMI 데이터베이스에서 획득될 수 있다. 앞서 언급했듯이 PPMI는 다기관 연구이므로 연구에서 얻은 이미징 스캔에는 시간적 및 공간적 차이가 포함되어 있다. 이 문제를 해결하고 모든 스캔간에 일정한 양식을 유지하려면 모든 스캔이 MNI(Montreal Neurological Institute) 또는 IBASPM(individual brain atlases using statistical parametric mapping)와 같은 동일한 공간에 있어야 한다. 따라서 전 세계 여러 센터에서 수집 된 PPMI MRI 데이터를 고정 좌표계로 변환하기 위해 이미지 등록 절차를 수행했다. 이미지 등록은 고정 된 이미지(atlas)에서 순회가 수행되어 정렬 매개 변수와 좌표를 찾아 알 수 없거나 보이지 않는 이미지가 고정 된 이미지와 유사하게 정렬 될 수 있도록 하는 프로세스이다. 간단하게 이미지 등록은 두 이미지를 특정 공간에 정렬하는 과정으로 이해 될 수 있다. 하나는 소스 이미지로, 다른 하나는 대상 이미지로 작동하며 소스 이미지는 대상 이미지와 정렬하는 방법으로 변환된다. 특정 연구에서는 PPMI 데이터베이스에서 얻은 MRI 스캔을 소스 이미지로 간주하고 MNI 또는 IBASPM과 같은 아틀라스를 대상 이미지로 간주했다.In step S1020, the processor may register the MRI scan. For example, the data set used in the study may be obtained from the PPMI database. As mentioned earlier, PPMI is a multicenter study, so the imaging scans obtained in the study contain temporal and spatial differences. To solve this problem and maintain constant modality across all scans, all scans must be in the same space, such as Montreal Neurological Institute (MNI) or individual brain atlases using statistical parametric mapping (IBASPM). Therefore, an image registration procedure was performed to convert the PPMI MRI data collected from multiple centers around the world into a fixed coordinate system. Image registration is the process by which traversal is performed on a fixed image (atlas) to find alignment parameters and coordinates so that unknown or invisible images can be aligned similarly to the fixed image. Simply put, image registration can be understood as a process of arranging two images in a specific space. One acts as the source image and the other as the target image, and the source image is transformed in such a way that it aligns with the target image. In certain studies, MRI scans obtained from the PPMI database were considered as source images and atlases such as MNI or IBASPM as target images.

PPMI 데이터베이스에서 얻은 MRI 스캔 등록은,MRI scan registrations obtained from the PPMI database were:

Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. A dataset of multi-contrast population-averaged brain MRI atlases of a Parkinson's disease cohort. Data Brief. 2017, 12, 370-379. Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. A dataset of multi-contrast population-averaged brain MRI atlases of a Parkinson's disease cohort. Data Brief. 2017, 12, 370-379.

Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. Multi-contrast unbiased MRI atlas of a Parkinson's disease population. Int. J. Comput. Assist. Radiol. Surg. 2015, 10, 329-341. Xiao, Y.; Fonov, V.; Beriault, S.; Subaie, F.A.; Chakravarty, M.M.; Sadikot, A.F.; Bruce Pike, G.; Louis Collins, D. Multi-contrast unbiased MRI atlas of a Parkinson's disease population. Int. J. Comput. Assist. Radiol. Surg. 2015, 10, 329-341.

Xiao, Y.; Beriault, S.; Bruce Pike, G.; Louis Collins, D. Multicontrast multiecho FLASH MRI for targeting the subthalamic nucleus. Magn. Reson. Imaging 2012, 30, 627-640.Xiao, Y.; Beriault, S.; Bruce Pike, G.; Louis Collins, D. Multicontrast multiecho FLASH MRI for targeting the subthalamic nucleus. Magn. Reson. Imaging 2012, 30, 627-640.

위 레퍼런스들에 의해 생성 된 MNIPD25-T1MPRAGE-1 mm 아틀라스를 사용하여 수행되었다. MNIPD25-T1MPRAGE-1 mm 아틀라스의 사양은 표 4에 설명되어 있다. MRI 스캔 등록은 ANTsPy(advanced normalization tools python)으로 알려진 가장 효과적인 정규화 도구 중 하나를 사용하여 수행되었다. ANTsPy는 MRI, fMRI 및 SPECT 데이터에 대한 전처리를 수행하기 위해 복잡한 이미징 데이터 세트에서 중요한 정보를 추출하기 위한 이미징 연구 분야에서 특히 사용된다. MNIPD25-T1MPRAGE-1 mm 아틀라스로 획득한 MRI 스캔의 등록은 대칭 정규화를 사용하여 수행되었다. 도 3는 등록 프로세스 전후의 특정 MRI 스캔을 보여준다. 표 4는 MNIPD25-T1MPRAGE-1 mm 아틀라스의 사양을 도시한다. 도 3은 특정 스캔의 등록 전후를 도시한 도면이다. (a)는 등록 전 MRI 스캔이고, (b)는 등록 후 MRI 스캔이다.This was done using the MNIPD25-T1MPRAGE-1 mm atlas generated by the references above. The specifications of the MNIPD25-T1MPRAGE-1 mm Atlas are described in Table 4. MRI scan registration was performed using one of the most effective normalization tools known as ANTsPy (advanced normalization tools python). ANTsPy is particularly used in the field of imaging research for extracting important information from complex imaging data sets to perform preprocessing on MRI, fMRI and SPECT data. Registration of MRI scans acquired with the MNIPD25-T1MPRAGE-1 mm atlas was performed using symmetric normalization. Figure 3 shows specific MRI scans before and after the registration process. Table 4 shows the specifications of the MNIPD25-T1MPRAGE-1 mm atlas. 3 is a diagram illustrating before and after registration of a specific scan. (a) is the MRI scan before registration, and (b) is the MRI scan after registration.

단계 S1030에서 프로세서는 MRI 스캔 패턴을 학습할 수 있다. 최근에는 문제 해결을 위한 지도 학습 기술(supervised learning techniques)이 크게 발전했다. 더욱이, 딥 러닝 알고리즘의 인기와 효과는 아키텍처 설계 및 최적화 기능 측면에서 주요 패러다임 변화를 겪었다. 특히 헬스 케어 분야에서는 영상 분석, 영상 속 동맥류 검출, 생체 신호 분석 등에 사용되던 기존 기술에 비해 딥 러닝 알고리즘이 훨씬 우위를 점하고 있다. 이 명세서에서는 T1 가중 MRI 스캔에서 파킨슨 병을 감지하기 위해 3D 컨볼루션 신경망 모델이 개발되었다. 이 연구의 주요 제안은 MRI 또는 *?*뇌 이미지에서 파킨슨 병을 식별하는 데 사용할 수 있는 시스템을 제시한다. 또한 연구의 두 번째 제안은 파킨슨 병의 원인이 되는 뇌 MRI 이미지에서 그럴듯한 관심 영역 (ROI)을 결정하는 것이었다. 따라서 연구의 주된 제안을 해결하기 위해 도 5 및 표 5와 같이 3D 컨볼루션 신경망이 개발되었다.In step S1030, the processor may learn the MRI scan pattern. In recent years, there have been significant advances in supervised learning techniques for problem solving. Moreover, the popularity and effectiveness of deep learning algorithms has undergone a major paradigm shift in terms of architecture design and optimization capabilities. In particular, in the healthcare field, deep learning algorithms are far superior to existing technologies used for image analysis, aneurysm detection in images, and bio-signal analysis. In this specification, a 3D convolutional neural network model is developed to detect Parkinson's disease in T1-weighted MRI scans. The main proposal of this study presents a system that can be used to identify Parkinson's disease in MRI or brain images. Also, the second proposal of the study was to determine plausible regions of interest (ROIs) in brain MRI images that are causative of Parkinson's disease. Therefore, in order to solve the main proposal of the study, a 3D convolutional neural network was developed as shown in FIG. 5 and Table 5.

작업에서 개발된 CNN 네트워크는 입력 및 출력 계층을 포함하는 35 개의 계층으로 구성된다. 또한 네트워크 아키텍처는 12 개의 3D 컨볼루션 레이어(convolution layer)로 구성되어 모델이 입력 뇌 MRI 스캔의 특징 표현을 생성할 수 있다. 또한 모든 컨볼루션 레이어는 활성화 함수에 의해 지원된다.The CNN network developed in the work consists of 35 layers including input and output layers. In addition, the network architecture consists of 12 3D convolution layers, allowing the model to generate feature representations of input brain MRI scans. Also, all convolutional layers are supported by activation functions.

여기서, 상기 컨볼루션 신경망 모델은, 12개의 3D 컨볼루션 레이어(3 dimensional convolution layer)를 포함하고, 제1 및 제2 3D 컨볼루션 레이어는 필터 개수 4개, 커널 사이즈(kernel size)가 (3, 3, 3), 스트라이드(stride)가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고, 제5 및 제6 3D 컨볼루션 레이어는 필터 개수 128개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제7 및 제8 3D 컨볼루션 레이어는 필터 개수 256개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제9 및 제10 3D 컨볼루션 레이어는 필터 개수 512개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제11 3D 컨볼루션 레이어는 필터 개수 1024개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고, 제12 3D 컨볼루션 레이어는 필터 개수 2048개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어일 수 있다.Here, the convolutional neural network model includes 12 3D convolution layers, and the first and second 3D convolution layers have a filter number of 4 and a kernel size of (3, 3, 3), a 3D convolution layer with a stride of (2, 2, 2), and the third and fourth 3D convolution layers have 64 filters, a kernel size of (3, 3, 3), It is a 3D convolution layer with a stride of (2, 2, 2), and the third and fourth 3D convolution layers have 64 filters, a kernel size of (3, 3, 3), and a stride of (2, 2, 2 ), and the fifth and sixth 3D convolution layers are 3D convolution layers having a filter number of 128, a kernel size of (2, 2, 2), and a stride of (1, 1, 1), The seventh and eighth 3D convolution layers are 3D convolution layers having 256 filters, a kernel size of (2, 2, 2), and a stride of (1, 1, 1), and the ninth and tenth 3D convolution layers The layer is a 3D convolution layer with 512 filters, a kernel size of (1, 1, 1), and a stride of (1, 1, 1), and the 11th 3D convolution layer has 1024 filters and a kernel size of ( 1, 1, 1), a 3D convolution layer with a stride of (1, 1, 1), and the twelfth 3D convolution layer has a filter number of 2048, a kernel size of (1, 1, 1), and a stride of (1 , 1, 1) may be a 3D convolutional layer.

또한, 모든 특징 표현은 입력 특징 행렬을 다운 샘플링(down sampling)하고 과적 합(overfitting)을 방지하기 위해 특징 표현의 추상적인 형태를 제공하는 최대 풀링 레이어(max-pulling layer)에 적용된다. 특성 학습의 전체 프로세스가 끝나면 모든 특성 행렬이 평탄화되어 조밀 계층 또는 완전 연결 계층에서 허용 될 수 있다. 덴스 레이어(dense layer)의 표현은 건강한 대조군과 파킨슨 병인 두 상태에 해당하는 두 개의 뉴런과 시그모이드(sigmoid) 활성화가 있는 출력 dense layer에 추가로 적용된다.In addition, all feature expressions are applied to a max-pulling layer that provides an abstract form of feature expressions to down-sample the input feature matrix and prevent overfitting. After the whole process of feature learning, all feature matrices are flattened and can be accepted in either dense layer or fully connected layer. The representation of the dense layer is further applied to the output dense layer with two neurons and sigmoid activation corresponding to the two conditions: healthy control and Parkinson's disease.

통계, 기계 학습 및 딥 러닝 모델을 개발하기 위한 첫 번째 단계는 해결해야 할 문제에 대한 가설을 개발하는 것이다. 따라서 특정 문제를 해결하기 위해 고안된 기본 가설은 다음과 같다.The first step in developing statistical, machine learning and deep learning models is to develop a hypothesis about the problem to be solved. Therefore, the basic hypothesis devised to solve the specific problem is as follows.

1. 파킨슨 병 클래스의 재현율(recall) 또는 트루 네거티브(true negative 즉, 진짜 음성)는 0.95 초과이어야 하며, 오 예측(mispredicted) 샘플 또는 폴스 네거티브(false negative 즉, 거짓 음성) 확률 인자는 60%를 넘지 않아야 한다.1. The recall or true negative (i.e. true negative) of the Parkinson's disease class must be greater than 0.95, and the mispredicted sample or false negative (i.e. false negative) probability factor is 60% should not exceed

2. 건강한 대조군의 재현율 또는 트루 포지티브(true positive 즉, 진짜 양성)는 85% 초과이어야 하며, 오 예측 샘플 또는 폴스 포지티브(false positive 즉, 거짓 양성) 확률 인자는 65%를 넘지 않아야 한다.2. The recall of healthy controls or true positives must be greater than 85%, and the probability factor of false positives or false positives must not exceed 65%.

따라서 위의 가설을 바탕으로 3D 컨볼루션 신경망 모델의 성능을 평가 하였다. 평가 목적으로 정확도(accuracy), 정밀도(precision), 재현율(recall), f1- 점수 및 혼동 행렬(confusion matrix)의 다섯 가지 분류 성능 메트릭을 고려했다. 또한 보이지 않는 데이터에 대한 모델의 일반화 가능성을 결정하기 위해 5 분할 교차 검증(5-split cross-validation)을 수행했다. 성능 메트릭 평가에 대한 세부 정보는 결과 섹션에 설명되어 있다.Therefore, based on the above hypothesis, the performance of the 3D convolutional neural network model was evaluated. For evaluation purposes, we considered five classification performance metrics: accuracy, precision, recall, f1-score, and confusion matrix. We also performed 5-split cross-validation to determine the generalizability of the model to unseen data. Details of the performance metric evaluation are described in the Results section.

3D CNN 아키텍처의 개발은 실제로 작업의 가장 중요한 측면이다. 그러나 학습 알고리즘을 생성하기 위해 신중하게 고려해야 할 구성 요소는 가중치(weight) 및 편향(bias)과 같은 네트워크의 내부 매개 변수 세트와 손실 함수를 최적화하기 위해 올바른 하이퍼 파라미터 세트를 선택하는 것이다.The development of the 3D CNN architecture is actually the most important aspect of the task. However, the components that need to be carefully considered to create a learning algorithm are the set of internal parameters of the network, such as weights and biases, and choosing the correct set of hyperparameters to optimize the loss function.

학습 과정을 제어하는 *?*과정은 딥 러닝 모델을 생성하는 동안 매우 중요하다고 간주된다. 이 프로세스는 옵티마이저(optimizer) 알고리즘 튜닝을 담당하는 옵티마이저 기능의 하이퍼 파라미터에 의해 수행된다. 현재 연구에서 최적화 알고리즘에 있는 주요 측면은 모델의 검증 및 테스트 오류를 *?*최소화하는 것이다. 특정 작업을 수행하려면 기본 딥 러닝 모델 외부에있는 하이퍼 파라미터를 가중치 및 편향인 모델의 완벽한 내부 매개 변수를 생성하는 방식으로 조정해야 한다. 그러나 이 과정에서 직면한 문제는 보이지 않는 데이터(unseen data)에 대한 모델의 일반화 가능성을 높이기 위해 특정 훈련 세트보다는 모델에 특정한 방식으로 하이퍼 파라미터를 선택해야 한다는 것이다. 따라서 전체 모델 일반화 및 최적의 객관적 점수를 유지하기위한 완벽한 하이퍼 파라미터 세트를 선택하기 위해 베이지안(Bayesian) 순차 모델 기반 최적화(sequential model-based optimization, SMBO)가 사용된다.The process of controlling the learning process is considered very important while creating a deep learning model. This process is performed by the hyperparameters of the optimizer function, which is responsible for tuning the optimizer algorithm. The main aspect in the optimization algorithm in the current study is to *?*minimize the validation and testing errors of the model. To perform a particular task, hyperparameters outside the underlying deep learning model must be tuned in a way that creates perfect internal parameters of the model, which are the weights and biases. However, the problem we face in this process is that we need to choose the hyperparameters in a model-specific way rather than a specific training set in order to increase the generalizability of the model to unseen data. Therefore, Bayesian sequential model-based optimization (SMBO) is used to select the perfect set of hyperparameters to maintain overall model generalization and optimal objective scores.

Bayesian SMBO는 이전 목적 함수의 평가 결과를 기반으로 대리 모델(확률 함수)을 생성하여 목적 함수를 최소화하는 작업을하는 하이퍼 파라미터 최적화에 사용되는 알고리즘이다. 베이지안 SMBO의 기본 목적 함수는 수학식 1과 같다.Bayesian SMBO is an algorithm used in hyperparameter optimization that works to minimize the objective function by generating a surrogate model (probability function) based on the evaluation result of the previous objective function. The basic objective function of Bayesian SMBO is shown in Equation 1.

Bayesian SMBO에 의해 개발된 대리 모델(surrogate model)은 메인 옵티마이저 기능보다 저렴한 것으로 간주된다. 또한 다음 평가 결과 세트는 예상 개선 기준(expected improvement criterion)을 사용하여 선택된다. 기준은 수학식 2와 같이 정의된다.The surrogate model developed by Bayesian SMBO is considered cheaper than the main optimizer function. In addition, the next set of evaluation results is selected using an expected improvement criterion. The criterion is defined as in Equation 2.

수학식 2를 참조하면, x는 하이퍼 파라미터 값에 속하며 f(x)의 객관적 점수(score)의 개선으로 간주되며, f*는 프로세스에서 발견된 객관적 점수의 최대 값이다.Referring to Equation 2, x belongs to the hyperparameter value and is regarded as an improvement of the objective score of f(x), and f* is the maximum value of the objective score found in the process.

또한 이 과정에서 AdaDelta가 네트워크의 가중치와 편향을 최적화하기 위한 최적화 알고리즘으로 선택된다. AdaDelta는 아래 레퍼런스를 기초로 한다.Also in this process, AdaDelta is chosen as the optimization algorithm to optimize the weights and biases of the network. AdaDelta is based on the references below.

Zeiler, M.D. Adadelta: An adaptive learning rate method. arXiv 2012, arXiv:1212.5701.Zeiler, M.D. Adadelta: An adaptive learning rate method. arXiv 2012, arXiv:1212.5701.

AdaDelta는 경사 하강법(gradient descent) 알고리즘과 관련된 매우 강력한 알고리즘으로 간주된다. 알고리즘은 1차 정보만을 활용하여 훈련 과정 동안 동적으로 적응한다. 또한 이 알고리즘은 학습률을 수동으로 조정할 필요가 없으며 잡음이 있는 기울기 정보에 대해 매우 강력하다. 따라서 최적의 하이퍼 파라미터를 생성하기 위해 베이지안 SMBO가 알고리즘에 적용되었으며 아래에 언급되어 있다.AdaDelta is considered a very powerful algorithm related to gradient descent algorithms. The algorithm dynamically adapts during the training process using only primary information. Additionally, the algorithm does not require manual adjustment of the learning rate and is very robust against noisy gradient information. Therefore, Bayesian SMBO was applied to the algorithm to generate optimal hyperparameters and is mentioned below.

딥 러닝 모델의 또 다른 중요한 부분은 손실 함수이다. 이러한 함수는 일반적으로 예측 값(y??)과 실제 값(y) 사이의 변동성을 결정하는 데 사용된다. 손실 함수의 출력은 손실을 줄임으로써 모델의 일반화 가능성을 높이는 음이 아닌 값이다. 모델의 손실 함수는 수학식 3과 같이 지정된다.Another important part of a deep learning model is the loss function. These functions are commonly used to determine the variability between predicted values (y??) and actual values (y). The output of the loss function is a non-negative value that increases the generalizability of the model by reducing the loss. The loss function of the model is specified as in Equation 3.

여기서 θ는 모델의 매개 변수를 나타내고 x는 특성 행렬을 나타내고 y는 특정 특성 집합에 대한 실제 값을 나타낸다.where θ represents the parameters of the model, x represents the feature matrix and y represents the actual value for a particular set of features.

본 연구에서 사용 된 손실 함수는 교차 엔트로피 또는 로그 손실이라고도 하는 이진 교차 엔트로피(binary cross-entropy)이다. 이진 교차 엔트로피 손실에서 각 예측 결과는 실제 값과 비교되고 손실 점수가 계산된다. 프로세스의 손실 점수는 예측 확률에 페널티를 주는 데 사용된다. 손실 점수는 대수적으로 예측 결과와 실제 값 사이의 작은 차이에 작은 패널티가 할당되고 더 큰 차이에 큰 패널티가 적용된다. y가 참 값이고 p(y)가 y가 참일 것으로 예상되는 확률인 이진 교차 엔트로피 방정식이 제공된다. 이진 교차 엔트로피 방정식은 수학식 4와 같다.The loss function used in this study is binary cross-entropy, also called cross-entropy or log loss. In binary cross-entropy loss, each prediction result is compared to the actual value and a loss score is calculated. The loss score of the process is used to penalize the prediction probabilities. The loss score is logarithmic, with small penalties assigned to small differences between predicted results and actual values, and larger penalties applied to larger differences. A binary cross entropy equation is given where y is true and p(y) is the probability that y is expected to be true. The binary cross entropy equation is shown in Equation 4.

단계 S1040에서 프로세서는 MRI 스캔을 분류할 수 있다.In step S1040, the processor may classify the MRI scan.

단계 S1050에서 프로세서는 MRI 스캔 분류 결과를 평가할 수 있다.In step S1050, the processor may evaluate the MRI scan classification result.

3D 컨볼루션 신경망 모델은 뇌 MRI 스캔에서 파킨슨 병을 감지하는 데 있어 괜찮은 결과를 보여 주었다. 이 모델은 두 클래스에 대해 각각 0.9421 및 0.9280의 평균 재현율(recall)과 정밀도(precision)를 유도하여 효과적인 결과를 정량적으로 제시했다. 또한 훈련 절차의 경우 전체 데이터 세트에 대해 80:20 비율의 5 분할 교차 검증(5-split cross-validation)을 수행했으며, 다중 교차 검증 테스트 세트에 따라 데이터 예측 측면에서 모델이 최적의 일반화 가능성을 입증하는 것으로 관찰되었다.A 3D convolutional neural network model has shown decent results in detecting Parkinson's disease in brain MRI scans. This model induced average recall and precision of 0.9421 and 0.9280 for the two classes, respectively, and presented effective results quantitatively. In addition, for the training procedure, we performed a 5-split cross-validation with a ratio of 80:20 on the entire data set, demonstrating the optimal generalizability of the model in terms of data prediction according to the multiple cross-validation test set. It was observed that

본 개시의 다양한 실시예들은 기기(machine) 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예:　프로그램))로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present disclosure may be implemented as software (eg, a program) including one or more instructions stored in a storage medium readable by a machine. For example, the processor of the device may call at least one command among one or more commands stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary' only means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.

일 실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은　컴퓨터　프로그램　제품(computer program product)에 포함되어 제공될 수 있다.　컴퓨터　프로그램　제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.　컴퓨터　프로그램　제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에,　컴퓨터　프로그램　제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments of the present disclosure may be provided by being included in a computer program product. Computers, programs, and products can be traded between sellers and buyers as commodities. A computer, program, or product is distributed in the form of a device-readable storage medium (e.g., compact disc read only memory (CD-ROM)), or through an application store (e.g., Play Store™) or between two user devices. It can be distributed (e.g., downloaded or uploaded) directly or online. In the case of online distribution, at least part of the “computer” program “product” may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer’s server, an application store server, or a relay server’s memory.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Also, in this specification, “unit” may be a hardware component such as a processor or a circuit, and/or a software component executed by the hardware component such as a processor.

본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.The scope of the present embodiment is indicated by the claims to be described later rather than the detailed description above, and should be construed as including all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof.

Claims (7)

프로세서에 의해 수행되는, 파킨슨 병(Parkinson's Disease) 검출 방법에 있어서,
MRI(magnetic resonance imaging) 스캔(scan)을 획득하는 단계;
상기 MRI 스캔을 등록하는 단계;
상기 MRI 스캔의 패턴을 학습하는 단계; 및
상기 MRI 스캔을 건강한 그룹, 및 파킨슨 병 그룹 중 하나의 그룹으로 분류하는 단계;
를 포함하되,
상기 MRI 스캔을 건강한 그룹, 및 파킨슨 병 그룹 중 하나의 그룹으로 분류하는 단계는,
컨볼루션 신경망(convolutional neural network) 모델이 수행되는 단계를 포함하고,
상기 컨볼루션 신경망의 가중치(weight) 및 편향(bias)을 최적화하기 위한 하이퍼파라미터(hyperparameter)를 선택하기 위해 베이지안(Bayesian) 순차 모델 기반 최적화(sequential model-based optimization, SMBO)가 사용되고,
상기 베이지안 순차 모델 기반 최적화는 이전 목적 함수의 평가 결과를 기반으로 대리 모델(surrogate model)을 생성하여 목적 함수를 최소화하는 작업인 하이퍼파라미터 최적화에 사용되는 알고리즘이고,
상기 베이지안 순차 모델 기반 최적화의 기본 목적 함수는 하이퍼파라미터에 대한 점수의 조건부 확률인,
방법.In the method for detecting Parkinson's Disease, performed by a processor,
obtaining a magnetic resonance imaging (MRI) scan;
registering the MRI scan;
learning a pattern of the MRI scan; and
classifying the MRI scan into one of a healthy group and a Parkinson's disease group;
Including,
Classifying the MRI scan into one of a healthy group and a Parkinson's disease group,
Including the step of performing a convolutional neural network model,
Bayesian sequential model-based optimization (SMBO) is used to select hyperparameters for optimizing weights and biases of the convolutional neural network,
The Bayesian sequential model-based optimization is an algorithm used for hyperparameter optimization, which is an operation of minimizing an objective function by generating a surrogate model based on an evaluation result of a previous objective function,
The basic objective function of the Bayesian sequential model-based optimization is the conditional probability of scores for hyperparameters,
method. 청구항 1에 있어서,
상기 MRI 스캔을 등록하는 단계는,
상기 MRI 스캔을 대상 이미지와 정렬하는 단계를 포함하는,
방법.The method of claim 1,
Registering the MRI scan,
Aligning the MRI scan with the target image,
method. 청구항 2에 있어서,
상기 MRI 스캔 등록은 ANTsPy(Advanced Normalization Tools Python)를 사용하여 수행되는,
방법.The method of claim 2,
The MRI scan registration is performed using ANTsPy (Advanced Normalization Tools Python),
method. 삭제delete 청구항 4에 있어서,
상기 컨볼루션 신경망 모델은 손실 함수를 포함하고,
상기 손실 함수는 예측 값과 실제 값 사이의 변동성을 결정하는 데 사용되고,
상기 손실 함수는 아래와 같고,

θ는 상기 컨볼루션 신경망 모델의 매개 변수를 나타내고, x는 특성 행렬을 나타내고, y는 특정 특성 집합에 대한 실제 값을 나타내는,
방법.The method of claim 4,
The convolutional neural network model includes a loss function,
the loss function is used to determine the variability between predicted and actual values;
The loss function is as follows,

θ represents a parameter of the convolutional neural network model, x represents a feature matrix, and y represents an actual value for a specific feature set,
method. 청구항 5에 있어서,
상기 손실 함수는 이진(binary) 교차 엔트로피(cross-entropy)이고,
상기 이진 교차 엔트로피 방정식은 아래와 같고,

상기 y는 참 값(true value)이고, 상기 p(y)는 y가 참일 것으로 예상되는 확률인,
방법.The method of claim 5,
The loss function is binary cross-entropy,
The binary cross entropy equation is as follows,

The y is a true value, and the p(y) is the probability that y is expected to be true,
method. 청구항 6에 있어서,
상기 컨볼루션 신경망 모델은,
12개의 3D 컨볼루션 레이어(3 dimensional convolution layer)를 포함하고,
제1 및 제2 3D 컨볼루션 레이어는 필터 개수 4개, 커널 사이즈(kernel size)가 (3, 3, 3), 스트라이드(stride)가 (2, 2, 2)인 3D 컨볼루션 레이어이고,
제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고,
제3 및 제4 3D 컨볼루션 레이어는 필터 개수 64개, 커널 사이즈가 (3, 3, 3), 스트라이드가 (2, 2, 2)인 3D 컨볼루션 레이어이고,
제5 및 제6 3D 컨볼루션 레이어는 필터 개수 128개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고,
제7 및 제8 3D 컨볼루션 레이어는 필터 개수 256개, 커널 사이즈가 (2, 2, 2), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고,
제9 및 제10 3D 컨볼루션 레이어는 필터 개수 512개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고,
제11 3D 컨볼루션 레이어는 필터 개수 1024개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어이고,
제12 3D 컨볼루션 레이어는 필터 개수 2048개, 커널 사이즈가 (1, 1, 1), 스트라이드가 (1, 1, 1)인 3D 컨볼루션 레이어인,
방법.The method of claim 6,
The convolutional neural network model,
It includes 12 3D convolution layers,
The first and second 3D convolution layers are 3D convolution layers having 4 filters, a kernel size of (3, 3, 3), and a stride of (2, 2, 2),
The third and fourth 3D convolution layers are 3D convolution layers having 64 filters, a kernel size of (3, 3, 3), and a stride of (2, 2, 2),
The third and fourth 3D convolution layers are 3D convolution layers having 64 filters, a kernel size of (3, 3, 3), and a stride of (2, 2, 2),
The fifth and sixth 3D convolution layers are 3D convolution layers having 128 filters, a kernel size of (2, 2, 2), and a stride of (1, 1, 1),
The seventh and eighth 3D convolution layers are 3D convolution layers having 256 filters, a kernel size of (2, 2, 2), and a stride of (1, 1, 1),
The ninth and tenth 3D convolution layers are 3D convolution layers having 512 filters, a kernel size of (1, 1, 1), and a stride of (1, 1, 1),
The eleventh 3D convolution layer is a 3D convolution layer having 1024 filters, a kernel size of (1, 1, 1), and a stride of (1, 1, 1),
The twelfth 3D convolution layer is a 3D convolution layer with 2048 filters, a kernel size of (1, 1, 1), and a stride of (1, 1, 1),
method.

Images