KR20230104083A - Diagnostic auxiliary image providing device based on eye image - Google Patents

Abstract

일 실시 예에 따르면, 안저 이미지에 기초하여 질병을 진단하는 진단 보조 이미지 제공 장치에 있어서, 입력된 안저 이미지에 대한 질병의 진단을 수행하는 신경망 모델 - 상기 신경망 모델은 복수의 안저 이미지 세트를 통해 상기 질병을 진단하도록 학습됨-; 상기 신경망 모델의 진단 수행에 영향을 미치는 영역이 용이하게 파악되도록, 상기 입력된 안저 이미지 및 상기 신경망 모델에서 얻어진 정보 중 적어도 어느 하나에 기초하여 CAM 이미지를 출력하는 CAM 모델; 및 상기 입력된 안저 이미지 및 상기 CAM 이미지 중 적어도 어느 하나에 대해 상기 질병의 특성에 기초하여 상기 진단 수행에 영향을 미치는 영역을 상기 질병의 특성 별로 강조하는 병변 강조 모델을 포함하고, 상기 병변 강조 모델을 통해 상기 질병의 발병 위치 및 발병 영역이 강조되는 진단 보조 이미지가 제공되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. According to an embodiment, in a diagnosis auxiliary image providing apparatus for diagnosing a disease based on an ocular fundus image, a neural network model for diagnosing a disease with respect to an input ocular fundus image - the neural network model performs the diagnosis of the disease through a plurality of fundus image sets. learned to diagnose disease-; a CAM model that outputs a CAM image based on at least one of the input fundus image and information obtained from the neural network model so that a region affecting diagnostic performance of the neural network model is easily identified; and a lesion highlighting model for emphasizing a region influencing performance of the diagnosis for each characteristic of the disease based on the characteristic of the disease with respect to at least one of the input fundus image and the CAM image, wherein the lesion highlighting model A diagnosis auxiliary image providing device may be provided through which a diagnosis auxiliary image in which the onset location and onset region of the disease is emphasized is provided.

Description

안구 이미지 기반의 진단 보조 이미지 제공 장치 {DIAGNOSTIC AUXILIARY IMAGE PROVIDING DEVICE BASED ON EYE IMAGE}Eye image-based diagnosis auxiliary image providing device {DIAGNOSTIC AUXILIARY IMAGE PROVIDING DEVICE BASED ON EYE IMAGE}

아래의 실시 예들은 안저 이미지 기반의 진단 보조 이미지 제공 장치에 대한 것이다. The following embodiments relate to a fundus image-based diagnosis auxiliary image providing device.

아래의 실시 예들은 안저 이미지 기반의 병변 별 진단 보조 이미지 제공 시스템에 대한 것이다. The following embodiments relate to a system for providing diagnostic auxiliary images for each lesion based on fundus images.

안저 검사는 망막, 시신경 및 황반부의 이상을 관찰할 수 있으며 비교적 간단하게 촬영을 통하여 결과를 확인할 수 있어 안과에서 빈번하게 활용되는 진단 보조 자료이다. 최근에는 안저 검사를 통하여 안질환 뿐 아니라 고혈압, 당뇨 등의 만성 질환에 의한 혈관 손상 정도를 비침습적 방법으로 관찰할 수 있다는 점에서 더욱 그 쓰임새가 늘어나고 있는 추세이다.Fundus examination can observe abnormalities in the retina, optic nerve, and macula, and it is a diagnostic aid frequently used in ophthalmology because the results can be confirmed through relatively simple imaging. Recently, the use of fundus examination is increasing in that it can observe the degree of blood vessel damage caused by not only eye diseases but also chronic diseases such as hypertension and diabetes in a non-invasive way.

한편, 근래의 딥러닝 기술의 도약적인 발전에 의해, 의료 진단 분야, 특히 이미지 기반의 진단 분야에서 진단 인공지능의 개발이 활발하게 이루어지고 있다. 구글, IBM 등의 글로벌 기업들에서도 의료계와의 협업으로 대규모 데이터를 투입하는 등, 다양한 영상 의료 데이터 분석을 위한 인공지능 개발에 투자를 아끼지 않고 있으며, 일부 기업에서는 우수한 진단 결과를 출력하는 인공지능 진단 툴 개발에 성공하기도 하였다. On the other hand, due to the rapid development of deep learning technology in recent years, the development of diagnostic artificial intelligence is being actively performed in the field of medical diagnosis, especially in the field of image-based diagnosis. Global companies such as Google and IBM are investing in artificial intelligence development for various imaging medical data analysis, such as injecting large-scale data in collaboration with the medical community, and some companies are investing in AI diagnosis that outputs excellent diagnostic results. The tool development was also successful.

다만, 안저 이미지 기반의 진단 결과를 제공함에 있어서, 사용자는 배경 지식의 정도에 따라 상기 안저 이미지를 통해 상기 진단 결과를 이해하는 것이 어려울 수 있다. 다양한 사용자의 배경 지식의 정도를 고려하기 위해, 상기 안저 이미지를 통해 얻은 상기 진단 결과를 용이하게 이해할 수 있는 진단 보조 이미지를 제공할 필요성이 대두되고 있다. However, in providing the diagnosis result based on the fundus image, it may be difficult for the user to understand the diagnosis result through the fundus image depending on the degree of background knowledge. In order to consider the degree of background knowledge of various users, there is a need to provide a diagnosis auxiliary image that can easily understand the diagnosis result obtained through the fundus image.

일 과제는, 안저 이미지에 대한 진단 결과에 대응되는 진단 보조 이미지를 제공하는 것이다.One task is to provide a diagnosis auxiliary image corresponding to a diagnosis result for a fundus image.

일 과제는, 안저 이미지에 대한 진단 결과에 영향을 미치는 정도에 따라 강조되는 진단 보조 이미지를 제공하는 것이다.One task is to provide a diagnosis auxiliary image that is emphasized according to the degree of influence on the diagnosis result of the fundus image.

일 과제는, 안저 이미지에 대한 진단 결과에 영향을 미치는 정도에 따라 강조되되, 병변의 종류 또는 위치 등을 고려한 진단 보조 이미지를 제공하는 것이다.One task is to provide a diagnostic auxiliary image that is emphasized according to the degree of influence on the diagnosis result of the fundus image and considers the type or location of the lesion.

해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 일 실시 예의 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The problem to be solved is not limited to the above-described problem, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.

일 실시 예에 따르면, 안저 이미지에 기초하여 질병을 진단하는 진단 보조 이미지 제공 장치에 있어서, 입력된 안저 이미지에 대한 질병의 진단을 수행하는 신경망 모델 - 상기 신경망 모델은 복수의 안저 이미지 세트를 통해 상기 질병을 진단하도록 학습됨-; 상기 신경망 모델의 진단 수행에 영향을 미치는 영역이 용이하게 파악되도록, 상기 입력된 안저 이미지 및 상기 신경망 모델에서 얻어진 정보 중 적어도 어느 하나에 기초하여 CAM 이미지를 출력하는 CAM 모델; 및 상기 입력된 안저 이미지 및 상기 CAM 이미지 중 적어도 어느 하나에 대해 상기 질병의 특성에 기초하여 상기 진단 수행에 영향을 미치는 영역을 상기 질병의 특성별로 강조하는 병변 강조 모델을 포함하고, 상기 병변 강조 모델을 통해 상기 질병의 발병 위치 및 발병 영역이 강조되는 진단 보조 이미지가 제공되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. According to an embodiment, in a diagnosis auxiliary image providing apparatus for diagnosing a disease based on an ocular fundus image, a neural network model for diagnosing a disease with respect to an input ocular fundus image - the neural network model performs the diagnosis of the disease through a plurality of fundus image sets. learned to diagnose disease-; a CAM model that outputs a CAM image based on at least one of the input fundus image and information obtained from the neural network model so that a region affecting diagnostic performance of the neural network model is easily identified; and a lesion highlighting model for emphasizing a region influencing performance of the diagnosis for each characteristic of the disease based on the characteristic of the disease with respect to at least one of the input fundus image and the CAM image, wherein the lesion highlighting model A diagnosis auxiliary image providing device may be provided through which a diagnosis auxiliary image in which the onset location and onset region of the disease is emphasized is provided.

일 실시 예에 따르면, 안저 이미지에 기초하여 복수의 질병을 진단하는 진단 보조 이미지 제공 장치에 있어서, 입력된 안저 이미지를 획득하는 데이터 획득부; 상기 입력된 안저 이미지에 대한 제1 질병의 제1 진단 보조 이미지를 제공하는 제1 모델; 및 상기 입력된 안저 이미지에 대한 제2 질병의 제2 진단 보조 이미지를 제공하는 제2 모델을 포함하고, 상기 제1 모델 및 상기 제2 모델은 상기 입력된 안저 이미지를 상기 제1 질병 또는 상기 제2 질병과 관련하여 정상 및 비정상 중 어느 하나로 분류하되, 상기 신경망 모델의 진단 결과가 비정상인 경우에 대해서만 제1 진단 보조 이미지 또는 제2 진단 보조 이미지가 출력되고, 상기 제1 질병 및 상기 제2 질병은 발병 영역의 적어도 일부가 상이한 질병이고, 상기 제1 진단 보조 이미지 및 상기 제2 진단 보조 이미지는 각각 상기 제1 질병 및 상기 제2 질병의 특성에 기초하여 출력되되, 상기 제1 질병 및 상기 제2 질병의 발병 영역이 강조 처리되어 출력되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. According to an embodiment, an apparatus for providing a diagnosis auxiliary image for diagnosing a plurality of diseases based on a fundus image, comprising: a data acquisition unit acquiring an input fundus image; a first model providing a first diagnosis auxiliary image of a first disease with respect to the input ocular fundus image; and a second model providing a second diagnosis auxiliary image of a second disease with respect to the input fundus image, wherein the first model and the second model convert the input fundus image to the first disease or the first disease. 2 Diseases are classified as either normal or abnormal, but only when the diagnosis result of the neural network model is abnormal, the first diagnosis auxiliary image or the second diagnosis auxiliary image is output, and the first disease and the second disease is a disease in which at least a part of an onset region is different, and the first diagnosis assisting image and the second diagnosis assisting image are output based on the characteristics of the first disease and the second disease, respectively. 2 An auxiliary diagnosis image providing device may be provided, in which a disease onset region is emphasized and outputted.

일 실시 예에 의하면, 안저 이미지에 대한 진단 보조 장치 및/또는 시스템의 진단 결과를 진단 보조 이미지를 통해 용이하게 이해할 수 있다.According to an embodiment, it is possible to easily understand a diagnostic result of a diagnostic assisting device and/or system for an ocular fundus image through a diagnostic assisting image.

일 실시 예에 의하면, 안저 이미지에 대한 진단 보조 장치 및/또는 시스템의 진단 결과를 진단 보조 이미지를 통해 제공하여, 사용자의 배경 지식의 정도를 고려할 수 있어 상기 진단 결과를 용이하게 이해할 수 있다. According to an embodiment, a diagnostic result of a diagnostic assisting device and/or system for a fundus image is provided through a diagnostic assisting image, so that the degree of background knowledge of a user can be taken into consideration, so that the diagnostic result can be easily understood.

일 실시 예에 의하면, 병변 별 특이성을 고려하여 진단 보조 이미지를 제공함에 따라, 안저 이미지에 대한 진단 보조 장치 및/또는 시스템의 진단 결과가 병변 특이적으로 제공될 수 있어, 사용자가 보다 쉽고 명확하게 상기 진단 결과를 이해하고 활용할 수 있다.According to an embodiment, as the diagnostic assist image is provided in consideration of the specificity of each lesion, the diagnosis result of the diagnostic assist device and/or system for the fundus image can be provided lesion-specifically, allowing the user to more easily and clearly The diagnosis result can be understood and utilized.

일 실시 예의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 일 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. Effects of one embodiment are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.

도 1은 일 실시 예에 따른 진단 보조 시스템을 도시한 것이다.
도 2는 일 실시 예에 따른 학습 장치를 설명하기 위한 블록도이다.
도 3은 일 실시 예의 다른 일 실시 예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 4는 일 실시 예에 따른 진단 장치를 설명하기 위한 블록도이다.
도 5는 일 실시 예의 다른 일 실시 예에 따른 진단 장치를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 진단 보조 시스템을 도시한 것이다.
도 7은 일 실시 예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 8은 일 실시 예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 학습부의 구성을 설명하기 위한 도면이다.
도 10는 일 실시 예에 따른 이미지 데이터 세트를 설명하기 위한 개념도이다.
도 11은 일 실시 예에 따른 이미지 리사이징을 설명하기 위한 도면이다.
도 12은 일 실시 예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다.
도 13는 일 실시 예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블록도이다.
도 14은 일 실시 예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블록도이다.
도 15는 일 실시 예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 16은 일 실시 예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17은 일 실시 예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 18은 일 실시 예에 따른 진단부의 구성을 설명하기 위한 도면이다.
도 19는 일 예에 따른 진단 대상 데이터를 설명하기 위한 도면이다.
도 20은 일 실시 예에 따른 진단 프로세스를 설명하기 위한 도면이다.
도 21은 몇몇 실시 예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 22는 몇몇 실시 예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 23은 일 실시 예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다.
도 24는 일 실시 예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 25는 일 실시 예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 26은 일 실시 예에 따른 진단부를 설명하기 위한 블록도이다.
도 27은 일 실시 예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 28은 일 실시 예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 29는 일 실시 예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 30은 일 실시 예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 31은 일 실시 예에 따른 진단 보조 이미지를 설명하기 위한 도면이다.
도 32는 일 실시 예에 따른 진단 보조 정보 제공부의 구성을 설명하기 위한 도면이다.
도 33은 일 실시 예에 따른 진단 장치에 의해 수행되는 진단 프로세스 및 CAM 제공 프로세스를 설명하기 위한 도면이다.
도 34는 학습된 진단 보조 신경망 모델에 의한 진단 프로세스를 설명하기 위한 도면이다.
도 35은 일 실시 예에 따른 진단 장치의 분류 데이터가 비정상에 해당되는지 여부를 판단하는 프로세스를 설명하기 위한 도면이다.
도 36은 일 실시 예에 따른 진단 장치의 분류 데이터가 정상에 해당되는 여부를 판단하는 프로세스를 설명하기 위한 도면이다.
도 37은 입력 데이터 및 진단 프로세스로부터 얻어진 정보로부터 CAM 이미지를 출력하는 프로세스를 설명하기 위한 도면이다.
도 38은 진단 질병의 진행 정도를 고려한 진단 프로세스에 따른 CAM 이미지 제공 프로세스를 설명하기 위한 도면이다.
도 39는 일 실시 예의 다른 일 실시 예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 40은 일 실시 예에 따른 진단 보조 시스템에서 진단되는 복수의 질병이 발생된 안저 이미지를 나타내는 도면이다
도 41은 일 실시 예에 따른 진단 보조 정보 제공부의 구성을 설명하기 위한 도면이다.
도 42는 일 실시 예에 따른 진단 장치에 의해 수행되는 진단 프로세스 및 진단 보조 이미지 제공 프로세스를 설명하기 위한 도면이다.
도 43 내지 도 46은 상기 진단 프로세스의 진단 질병이 녹내장인 경우의 진단 보조 이미지를 나타내는 도면이다.
도 47 내지 도 50은 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우의 진단 보조 이미지를 나타내는 도면이다.
도 51 및 도 52는 상기 진단 프로세스의 입력 데이터가 백내장을 보유한 경우를 진단 보조 이미지를 나타내는 도면이다.
도 53은 진단 보조 이미지 제공 방법을 나타내는 순서도이다.
도 54은 일 실시 예에 따른 안저 이미지에 대한 병렬적인 진단 보조 정보 제공부의 구성을 나타내는 도면이다.
도 55는 도 54의 진단 보조 정보 제공부에 의해 수행되는 진단 프로세스 및 진단 보조 이미지 제공 프로세스를 설명하기 위한 도면이다.
도 56은 일 실시 예에 따른 안저 이미지에 대한 병렬적인 진단 보조 정보 제공부의 구성을 나타내는 도면이다.
도 57는 도 56의 진단 보조 정보 제공부에 의해 수행되는 진단 프로세스 및 진단 보조 이미지 제공 프로세스를 설명하기 위한 도면이다.1 illustrates a diagnosis assistance system according to an exemplary embodiment.
2 is a block diagram illustrating a learning device according to an exemplary embodiment.
3 is a block diagram illustrating a learning device according to another embodiment in more detail.
4 is a block diagram illustrating a diagnosis device according to an exemplary embodiment.
5 is a diagram for describing a diagnosis device according to another exemplary embodiment.
6 illustrates a diagnosis assistance system according to an exemplary embodiment.
7 is a block diagram illustrating a client device according to an exemplary embodiment.
8 is a diagram for describing a diagnosis auxiliary process according to an exemplary embodiment.
9 is a diagram for explaining a configuration of a learning unit according to an exemplary embodiment.
10 is a conceptual diagram for describing an image data set according to an exemplary embodiment.
11 is a diagram for describing image resizing according to an exemplary embodiment.
12 is a diagram for describing expansion of an image data set according to an exemplary embodiment.
13 is a block diagram for explaining a learning process of a neural network model according to an embodiment.
14 is a block diagram for explaining a learning process of a neural network model according to an exemplary embodiment.
15 is a diagram for explaining a method of controlling a learning device according to an exemplary embodiment.
16 is a diagram for explaining a method of controlling a learning device according to an exemplary embodiment.
17 is a diagram for explaining a method of controlling a learning device according to an exemplary embodiment.
18 is a diagram for explaining a configuration of a diagnosis unit according to an exemplary embodiment.
19 is a diagram for explaining diagnosis target data according to an example.
20 is a diagram for describing a diagnosis process according to an exemplary embodiment.
21 is a diagram for explaining a parallel diagnosis assistance system according to some embodiments.
22 is a diagram for explaining a parallel diagnosis assistance system according to some embodiments.
23 is a diagram for explaining a configuration of a learning device including a plurality of learning units according to an exemplary embodiment.
24 is a diagram for explaining a parallel learning process according to an embodiment.
25 is a diagram for explaining a parallel learning process according to an embodiment.
26 is a block diagram for describing a diagnosis unit according to an exemplary embodiment.
27 is a diagram for describing a diagnosis auxiliary process according to an exemplary embodiment.
28 is a diagram for explaining a diagnosis assistance system according to an exemplary embodiment.
29 is a diagram for describing a graphic user interface according to an exemplary embodiment.
30 is a diagram for describing a graphic user interface according to an exemplary embodiment.
31 is a diagram for describing a diagnosis auxiliary image according to an exemplary embodiment.
32 is a diagram for explaining the configuration of a diagnosis auxiliary information providing unit according to an exemplary embodiment.
33 is a diagram for explaining a diagnosis process and a CAM providing process performed by a diagnosis device according to an embodiment.
34 is a diagram for explaining a diagnosis process by a learned diagnosis assistant neural network model.
35 is a diagram for explaining a process of determining whether classification data of a diagnosis device corresponds to an abnormality, according to an exemplary embodiment.
36 is a diagram for explaining a process of determining whether classification data of a diagnosis device corresponds to normal according to an embodiment.
37 is a diagram for explaining a process of outputting a CAM image from input data and information obtained from a diagnosis process.
38 is a diagram for explaining a CAM image providing process according to a diagnosis process in consideration of the degree of progression of a diagnosed disease.
39 is a diagram for explaining region division of an ocular fundus image according to another exemplary embodiment.
40 is a diagram illustrating an ocular fundus image in which a plurality of diseases diagnosed by the diagnosis assistance system according to an embodiment are generated;
41 is a diagram for explaining the configuration of a diagnosis auxiliary information providing unit according to an embodiment.
42 is a diagram for explaining a diagnosis process and a diagnosis auxiliary image providing process performed by a diagnosis device according to an exemplary embodiment.
43 to 46 are diagrams illustrating diagnosis auxiliary images when the diagnosis disease of the diagnosis process is glaucoma.
47 to 50 are diagrams illustrating diagnosis auxiliary images when a disease diagnosed in the diagnosis process occurs in a non-specific region.
51 and 52 are diagrams illustrating diagnosis auxiliary images when the input data of the diagnosis process includes cataract.
53 is a flowchart illustrating a diagnostic auxiliary image providing method.
54 is a diagram illustrating a configuration of a parallel diagnostic auxiliary information providing unit for fundus images according to an embodiment.
FIG. 55 is a diagram for explaining a diagnosis process performed by a diagnosis auxiliary information providing unit of FIG. 54 and a diagnosis auxiliary image providing process.
56 is a diagram illustrating a configuration of a parallel diagnosis auxiliary information providing unit for fundus images according to an embodiment.
FIG. 57 is a diagram for explaining a diagnosis process and a diagnosis auxiliary image providing process performed by the diagnosis auxiliary information providing unit of FIG. 56 .

이하에서는 도면을 참조하여 일 실시 예의 구체적인 실시 예를 상세하게 설명한다. 다만, 일 실시 예의 사상은 제시되는 실시 예에 제한되지 아니하고, 일 실시 예의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 일 실시 예 사상의 범위 내에 포함되는 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.Hereinafter, specific embodiments of an embodiment will be described in detail with reference to the drawings. However, the idea of an embodiment is not limited to the presented embodiment, and those skilled in the art who understand the idea of an embodiment may add, change, or delete other elements within the scope of the same idea, thereby degenerating other inventions or work. Although other embodiments included within the scope of the spirit of the embodiment can be easily proposed, it will be said that this is also included within the spirit of the present invention.

또한, 각 실시 예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성 요소는 동일한 참조 부호를 사용하여 설명한다. In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment are described using the same reference numerals.

일 실시 예에 따르면, 안저 이미지에 기초하여 질병을 진단하는 진단 보조 이미지 제공 장치에 있어서, 입력된 안저 이미지에 대한 질병의 진단을 수행하는 신경망 모델 - 상기 신경망 모델은 복수의 안저 이미지 세트를 통해 상기 질병을 진단하도록 학습됨-; 상기 신경망 모델의 진단 수행에 영향을 미치는 영역이 용이하게 파악되도록, 상기 입력된 안저 이미지 및 상기 신경망 모델에서 얻어진 정보 중 적어도 어느 하나에 기초하여 CAM 이미지를 출력하는 CAM 모델; 및 상기 입력된 안저 이미지 및 상기 CAM 이미지 중 적어도 어느 하나에 대해 상기 질병의 특성에 기초하여 상기 진단 수행에 영향을 미치는 영역을 상기 질병의 특성별로 강조하는 병변 강조 모델을 포함하고, 상기 병변 강조 모델을 통해 상기 질병의 발병 위치 및 발병 영역이 강조되는 진단 보조 이미지가 제공되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. According to an embodiment, in a diagnosis auxiliary image providing apparatus for diagnosing a disease based on an ocular fundus image, a neural network model for diagnosing a disease with respect to an input ocular fundus image - the neural network model performs the diagnosis of the disease through a plurality of fundus image sets. learned to diagnose disease-; a CAM model that outputs a CAM image based on at least one of the input fundus image and information obtained from the neural network model so that a region affecting diagnostic performance of the neural network model is easily identified; and a lesion highlighting model for emphasizing a region influencing performance of the diagnosis for each characteristic of the disease based on the characteristic of the disease with respect to at least one of the input fundus image and the CAM image, wherein the lesion highlighting model A diagnosis auxiliary image providing device may be provided through which a diagnosis auxiliary image in which the onset location and onset region of the disease is emphasized is provided.

또한, 상기 병변 강조 모델은 상기 CAM 이미지의 픽셀값을 기초로 하여, 상기 CAM 이미지의 픽셀 중 소정의 임계값 이상의 픽셀이 선택적으로 출력되는 병변 강조가 수행되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, based on the pixel value of the CAM image, the lesion enhancement model performs lesion enhancement in which pixels of a predetermined threshold value or more among pixels of the CAM image are selectively output. there is.

또한, 상기 질병이 안저 이미지에 포함되어 있는 해부학적 영역에 대응되는 위치 또는 영역에 특이적으로 발병되는 경우, 상기 병변 강조 모델은 상기 CAM 이미지 상에 상기 해부학적 영역에 대응되는 경계선이 중첩되는 병변 강조가 수행되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the disease is specifically developed in a location or region corresponding to an anatomical region included in the fundus image, the lesion emphasis model is a lesion in which a boundary line corresponding to the anatomical region overlaps on the CAM image An apparatus for providing a diagnostic auxiliary image in which emphasizing is performed may be provided.

또한, 상기 질병이 안저 이미지에 포함되어 있는 해부학적 영역에 대해 비특이적으로 발병되는 경우, 상기 병변 강조 모델은 상기 CAM 이미지를 기초로 상기 CAM 이미지의 픽셀값 중 소정의 임계값으로 형성된 경계선이 중첩되는 병변 강조가 수행되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the disease is non-specific to an anatomical region included in the fundus image, the lesion emphasis model overlaps a boundary line formed at a predetermined threshold among pixel values of the CAM image based on the CAM image A diagnosis assisting image providing device in which lesion highlighting is performed may be provided.

또한, 상기 질병의 병변 영역이 상기 안저 이미지에 포함되어 있는 해부학적 영역 중 적어도 일부를 가리는 경우, 상기 병변 강조 모델은 상기 병변 영역에 의해 가려진 상기 해부학적 영역에 대응되는 경계선이 상기 안저 이미지 상에 중첩되는 병변 강조가 수행되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the lesion region of the disease covers at least a part of anatomical regions included in the fundus image, the lesion emphasis model determines that a boundary line corresponding to the anatomical region covered by the lesion region is displayed on the fundus image. An apparatus for providing an auxiliary diagnosis image in which overlapping lesion enhancement is performed may be provided.

또한, 상기 신경망 모델은 상기 입력된 안저 이미지를 상기 진단 질병과 관련하여 정상 및 비정상 중 어느 하나로 분류하되, 상기 진단 보조 이미지 제공 장치는 상기 신경망 모델의 진단 결과가 비정상인 경우에 대해서만 진단 보조 이미지가 출력되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the neural network model classifies the input fundus image as either normal or abnormal in relation to the diagnosis disease, and the diagnostic auxiliary image providing device only outputs the diagnostic auxiliary image when the diagnosis result of the neural network model is abnormal. An apparatus for providing an output, auxiliary diagnostic image may be provided.

또한, 상기 질병은 녹내장, 망막 출혈, 망막 삼출물 발생, 수정체 혼탁, 및 당뇨 망막증 중 어느 하나인, 진단 보조 이미지제공 장치가 제공될 수 있다. In addition, if the disease is any one of glaucoma, retinal hemorrhage, retinal exudate, crystalline lens opacity, and diabetic retinopathy, an auxiliary diagnosis image providing device may be provided.

또한, 상기 질병이 발병 시기 및 발병 정도에 따라 제1 기 및 제2 기로 구분되어 진단되는 경우, 상기 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함하고, 상기 제1 서브 신경망 모델은 상기 질병의 제1 기와 관련하여 정상 및 비정상 중 어느 하나로 분류하고, 상기 제2 서브 신경망 모델은 상기 제1 기와 관련하여 정상 및 비정상 중 어느 하나로 분류하되, 상기 진단 보조 이미지 제공 장치는 상기 제1 서브 신경망 모델 및 상기 제2 서브 신경망 모델 중 적어도 어느 하나의 진단 결과가 비정상인 경우에 대해서만 진단 보조 이미지가 출력되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the disease is classified into a first stage and a second stage and diagnosed according to the onset time and degree of onset, the neural network model includes a first sub-neural network model and a second sub-neural network model, and the first sub-neural network model is classified as either normal or abnormal in relation to the first phase of the disease, and the second sub-neuronal network model is classified as either normal or abnormal in relation to the first phase; An apparatus for providing a diagnosis auxiliary image may be provided, in which a diagnosis auxiliary image is output only when a diagnosis result of at least one of the sub neural network model and the second sub neural network model is abnormal.

또한, 상기 제1 서브 신경망 모델 및 상기 제2 서브 신경망 모델 중 적어도 어느 하나의 진단 결과가 비정상인 경우, 상기 질병의 진행 정도를 고려한 진단 보조 이미지를 제공하기 위해, 상기 진단 보조 이미지는 상기 제1 서브 신경망 모델 및 상기 제2 서브 신경망 모델 중 정상이라고 판단한 모델의 제1 진단 정보와 상기 제1 서브 신경망 모델 및 상기 제2 서브 신경망 모델 중 비정상이라고 판단한 모델의 제2 진단 정보에 기초하여 출력되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the diagnosis result of at least one of the first sub-neural network model and the second sub-neural network model is abnormal, in order to provide a diagnosis-assisted image considering the progress of the disease, the diagnosis-assisted image is the first sub-neural network model. Output based on first diagnostic information of a model determined to be normal among the sub neural network model and the second sub neural network model and second diagnostic information of a model determined to be abnormal among the first sub neural network model and the second sub neural network model, An auxiliary diagnosis image providing device may be provided.

일 실시 예에 따르면, 안저 이미지에 기초하여 복수의 질병을 진단하는 진단 보조 이미지 제공 장치에 있어서, 입력된 안저 이미지를 획득하는 데이터 획득부; 상기 입력된 안저 이미지에 대한 제1 질병의 제1 진단 보조 이미지를 제공하는 제1 모델; 및 상기 입력된 안저 이미지에 대한 제2 질병의 제2 진단 보조 이미지를 제공하는 제2 모델을 포함하고, 상기 제1 모델 및 상기 제2 모델은 상기 입력된 안저 이미지를 상기 제1 질병 또는 상기 제2 질병과 관련하여 정상 및 비정상 중 어느 하나로 분류하되, 상기 신경망 모델의 진단 결과가 비정상인 경우에 대해서만 제1 진단 보조 이미지 또는 제2 진단 보조 이미지가 출력되고, 상기 제1 질병 및 상기 제2 질병은 발병 영역의 적어도 일부가 상이한 질병이고, 상기 제1 진단 보조 이미지 및 상기 제2 진단 보조 이미지는 각각 상기 제1 질병 및 상기 제2 질병의 특성에 기초하여 출력되되, 상기 제1 질병 및 상기 제2 질병의 발병 영역이 강조 처리되어 출력되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. According to an embodiment, an apparatus for providing a diagnosis auxiliary image for diagnosing a plurality of diseases based on a fundus image, comprising: a data acquisition unit acquiring an input fundus image; a first model providing a first diagnosis auxiliary image of a first disease with respect to the input ocular fundus image; and a second model providing a second diagnosis auxiliary image of a second disease with respect to the input fundus image, wherein the first model and the second model convert the input fundus image to the first disease or the first disease. 2 Diseases are classified as either normal or abnormal, but only when the diagnosis result of the neural network model is abnormal, the first diagnosis auxiliary image or the second diagnosis auxiliary image is output, and the first disease and the second disease is a disease in which at least a part of an onset region is different, and the first diagnosis assisting image and the second diagnosis assisting image are output based on the characteristics of the first disease and the second disease, respectively. 2 An auxiliary diagnosis image providing device may be provided, in which a disease onset region is emphasized and outputted.

또한, 상기 제1 모델은 제1 신경망 모델, 제1 CAM 모델, 및 제1 병변 강조 모델을 포함하고, 상기 제2 모델은 제2 신경망 모델, 제2 CAM 모델, 및 제2 병변 강조 모델을 포함하는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first model includes a first neural network model, a first CAM model, and a first lesion emphasis model, and the second model includes a second neural network model, a second CAM model, and a second lesion emphasis model. A diagnosis auxiliary image providing device may be provided.

또한, 상기 제1 신경망 모델은 복수의 안저 이미지 세트를 기초로 제1 질병을 진단하도록 학습되고, 상기 제2 신경망 모델은 복수의 안저 이미지 세트를 기초로 제2 질병을 진단하도록 학습되고, 상기 제1 신경망 모델에서 얻어진 진단 정보를 기초로 상기 제1 CAM 모델은 제1 CAM 이미지를 출력하되, 상기 제1 CAM 이미지에 대해 상기 제1 병변 강조 모델이 제1 진단 질병의 특성을 고려하여 병변 강조가 수행되고, 상기 제2 신경망 모델에서 얻어진 진단 정보를 기초로 상기 제2 CAM 모델은 제2 CAM 이미지를 출력하되, 상기 제2 CAM 이미지에 대해 상기 제2 병변 강조 모델이 제2 진단 질병의 특성을 고려하여 병변 강조가 수행되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first neural network model is trained to diagnose a first disease based on a plurality of fundus image sets, and the second neural network model is trained to diagnose a second disease based on a plurality of fundus image sets. 1 Based on the diagnosis information obtained from the neural network model, the first CAM model outputs a first CAM image, and the first lesion enhancement model takes into account the characteristics of the first diagnosed disease for the first CAM image and enhances the lesion. And based on the diagnosis information obtained from the second neural network model, the second CAM model outputs a second CAM image, and the second lesion emphasis model has characteristics of a second diagnosis disease for the second CAM image An apparatus for providing a diagnosis-assisted image may be provided, in which lesion emphasis is performed taking into account.

또한, 상기 제1 진단 보조 이미지는 상기 제1 CAM 이미지를 기초로 상기 제1 CAM 이미지의 픽셀값을 기초로 하여, 소정의 임계값 이상의 제1 영역이 선택적으로 출력되는 병변 강조가 수행되는 이미지이고, 상기 제2 진단 보조 이미지는 상기 제2 CAM 이미지를 기초로 상기 제2 CAM 이미지의 픽셀값을 기초로 하여, 소정의 임계값 이상의 제2 영역이 선택적으로 출력되는 병변 강조가 수행되는 이미지이고, 상기 제1 영역 및 상기 제2 영역은 적어도 일부가 상이한, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first diagnosis auxiliary image is an image for which lesion enhancement is performed, in which a first region of a predetermined threshold value or more is selectively output based on pixel values of the first CAM image based on the first CAM image. , the second diagnosis auxiliary image is an image for which lesion enhancement is performed, in which a second region of a predetermined threshold or more is selectively output based on pixel values of the second CAM image based on the second CAM image, The first region and the second region may be provided with a diagnosis auxiliary image providing apparatus in which at least a part is different.

또한, 상기 제1 진단 보조 이미지는 상기 제1 CAM 이미지를 기초로 상기 제1 CAM 이미지의 픽셀값 중 소정의 임계값으로 형성된 제1 경계선이 중첩되는 병변 강조가 수행된 이미지이고, 상기 제2 진단 보조 이미지는 상기 제2 CAM 이미지를 기초로 상기 제2 CAM 이미지의 픽셀값 중 소정의 임계값으로 형성된 제2 경계선이 중첩되는 병변 강조가 수행된 이미지이고, 상기 제1 경계선 및 상기 제2 경계선은 적어도 일부가 상이한, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first diagnostic auxiliary image is an image on which lesion emphasis is performed in which a first boundary line formed with a predetermined threshold among pixel values of the first CAM image overlaps with the first CAM image, and the second diagnosis The auxiliary image is an image on which a lesion enhancement has been performed in which a second boundary line formed with a predetermined threshold value among pixel values of the second CAM image overlaps with the second CAM image, and the first boundary line and the second boundary line are A diagnosis assisting image providing device, at least partially different from each other, may be provided.

또한, 상기 제1 질병의 발병 영역은 안저 이미지에 포함된 복수의 해부학적 영역 중 적어도 어느 하나의 영역과 대응되고, 상기 제2 질병의 발병 영역은 안저 이미지에서 비특이적으로 위치하는 경우, 상기 제1 진단 보조 이미지는 상기 제1 CAM 이미지에 대해 상기 해부학적 영역에 대응되는 경계선이 중첩되는 병변 강조가 수행된 이미지이고, 상기 제2 진단 보조 이미지는 상기 제2 CAM 이미지를 기초로 상기 제2 CAM 이미지의 픽셀값 중 소정의 임계값으로 형성된 경계선이 중첩되는 병변 강조가 수행된 이미지인, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the onset region of the first disease corresponds to at least one of a plurality of anatomical regions included in the fundus image, and the onset region of the second disease is non-specifically located in the fundus image, the first The diagnostic auxiliary image is an image on which lesion enhancement is performed in which a boundary corresponding to the anatomical region overlaps with the first CAM image, and the second diagnostic auxiliary image is the second CAM image based on the second CAM image. An auxiliary diagnosis image providing apparatus may be provided, which is an image on which lesion enhancement is performed in which a boundary line formed with a predetermined threshold value among pixel values of is overlapped.

또한, 상기 제1 질병의 발병 영역은 안저 이미지에 포함된 제1 해부학적 영역과 대응되고, 상기 제2 질병의 발병 영역은 상기 제1 질병의 발병 영역과 적어도 일부가 상이한 제2 해부학적 영역에 대응되는 경우, 상기 제1 진단 보조 이미지는 상기 제1 CAM 이미지에 대해 상기 제1 해부학적 영역에 대응되는 경계선이 중첩되는 병변 강조가 수행된 이미지이고, 상기 제2 진단 보조 이미지는 상기 제2 CAM 이미지에 대해 상기 제2 해부학적 영역에 대응되는 경계선이 중첩되는 병변 강조가 수행된 이미지인, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the onset region of the first disease corresponds to the first anatomical region included in the fundus image, and the onset region of the second disease is in a second anatomical region at least partially different from the onset region of the first disease. In case of correspondence, the first diagnostic assistance image is an image on which lesion enhancement is performed in which a boundary corresponding to the first anatomical region overlaps with respect to the first CAM image, and the second diagnosis assistance image is the second CAM image. An apparatus for providing an auxiliary diagnosis image may be provided, which is an image on which lesion enhancement is performed on an image in which a boundary line corresponding to the second anatomical region overlaps.

또한, 상기 제1 질병의 제1 발병 영역은 안저 이미지에서 비특이적으로 위치하고, 상기 제2 질병의 제2 발병 영역은 안저 이미지에서 비특이적으로 위치하되 상기 제1 발병 영역과는 적어도 일부가 상이한 경우, 상기 제1 진단 보조 이미지는 상기 제1 CAM 이미지를 기초로 상기 제1 CAM 이미지의 픽셀값 중 소정의 임계값으로 형성된 경계선이 중첩되는 병변 강조가 수행된 이미지이고, 상기 제2 진단 보조 이미지는 상기 제2 CAM 이미지를 기초로 상기 제2 CAM 이미지의 픽셀값 중 소정의 임계값으로 형성된 경계선이 중첩되는 병변 강조가 수행된 이미지인, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, when the first diseased region of the first disease is non-specifically located in the fundus image, and the second diseased region of the second disease is nonspecifically located in the fundus image, but at least partially different from the first diseased region, the The first diagnostic auxiliary image is an image on which lesion enhancement is performed in which a boundary line formed at a predetermined threshold among pixel values of the first CAM image overlaps with the first CAM image, and the second diagnostic auxiliary image is the first CAM image. An apparatus for providing a diagnosis auxiliary image may be provided, which is an image on which lesion enhancement is performed in which a boundary line formed with a predetermined threshold among pixel values of the second CAM image overlaps with the 2 CAM image.

또한, 상기 제1 질병에 의해 안저 이미지에 혼탁 영역이 발생되고, 상기 제2 질병의 발병 영역은 안저 이미지에 포함된 해부학적 영역과 대응되되, 상기 해부학적 영역이 상기 제1 질병의 혼탁 영역에 의해 가려지는 경우, 상기 제2 진단 보조 이미지는 상기 입력된 안저 이미지에서 상기 해부학적 영역의 경계선이 중첩되는 병변 강조가 수행된 이미지인, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, an opaque region is generated in the fundus image by the first disease, and the onset region of the second disease corresponds to an anatomical region included in the fundus image, and the anatomical region is in the opaque region of the first disease. If the second diagnostic auxiliary image is an image in which a boundary line of the anatomical region overlaps in the input fundus image, a lesion enhancement image may be provided.

또한, 상기 제1 질병에 의해 안저 이미지에 혼탁 영역이 발생되고, 상기 제1 진단 보조 이미지는 상기 입력된 안저 이미지와 동일하게 출력되고, 상기 제2 질병의 발병 영역은 안저 이미지에서 비특이적으로 위치하되, 상기 발병 영역이 상기 제1 질병의 혼탁 영역에 의해 가려지는 경우, 상기 제2 진단 보조 이미지는 상기 입력된 안저 이미지에서 상기 발병 영역의 경계선이 중첩되는 병변 강조가 수행된 이미지인, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, an opaque region is generated in the fundus image by the first disease, the first diagnosis auxiliary image is output identically to the input fundus image, and the onset region of the second disease is non-specifically located in the fundus image, , When the diseased region is covered by the opaque region of the first disease, the second diagnostic assisting image is an image on which lesion enhancement is performed in which the boundary of the affected region overlaps in the input fundus image. A providing device may be provided.

또한, 상기 제1 모델은 제1 신경망 모델 및 제1 CAM 모델을 포함하고, 상기 제2 모델은 제2 신경망 모델 및 제2 CAM 모델을 포함하고, 상기 진단 보조 이미지 제공 장치는 병변 강조 모델을 더 포함하는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first model includes a first neural network model and a first CAM model, the second model includes a second neural network model and a second CAM model, and the diagnosis auxiliary image providing device further includes a lesion emphasis model A diagnosis auxiliary image providing apparatus may be provided.

또한, 상기 제1 신경망 모델은 복수의 안저 이미지 세트를 기초로 제1 질병을 진단하도록 학습되고, 상기 제2 신경망 모델은 복수의 안저 이미지 세트를 기초로 제2 질병을 진단하도록 학습되고, 상기 제1 신경망 모델에서 얻어진 진단 정보를 기초로 상기 제1 CAM 모델은 제1 CAM 이미지를 출력하고, 상기 제2 신경망 모델에서 얻어진 진단 정보를 기초로 상기 제2 CAM 모델은 제2 CAM 이미지를 출력하되, 상기 제1 CAM 이미지 및 상기 제2 CAM 이미지에 대해 상기 병변 강조 모델에 의해 상기 제1 질병 및 상기 제2 질병의 특성을 고려하여 각각 병변 강조가 수행되는, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first neural network model is trained to diagnose a first disease based on a plurality of fundus image sets, and the second neural network model is trained to diagnose a second disease based on a plurality of fundus image sets. The first CAM model outputs a first CAM image based on diagnostic information obtained from one neural network model, and the second CAM model outputs a second CAM image based on diagnostic information obtained from the second neural network model, An apparatus for providing a diagnosis auxiliary image may be provided, in which lesion enhancement is performed on the first CAM image and the second CAM image in consideration of characteristics of the first disease and the second disease by the lesion enhancement model, respectively. .

또한, 상기 제1 질병은 녹내장, 망막 출혈, 망막 삼출물 발생, 수정체 혼탁, 및 당뇨 망막증 중 어느 하나이고, 상기 제2 질병은 녹내장, 망막 출혈, 망막 삼출물 발생, 수정체 혼탁, 및 당뇨 망막증에서 상기 제1 질병을 제외한 나머지 중 어느 하나인, 진단 보조 이미지 제공 장치가 제공될 수 있다. In addition, the first disease is any one of glaucoma, retinal hemorrhage, retinal exudate generation, lens opacity, and diabetic retinopathy, and the second disease is glaucoma, retinal hemorrhage, retinal exudate generation, lens opacity, and diabetic retinopathy. Any one of the rest except for 1 disease, a diagnosis auxiliary image providing device may be provided.

이하에서는, 일 실시 예의 안저 이미지를 이용한 진단 보조 결과 및 진단 보조 이미지를 제공하는 진단 보조 장치 및/또는 시스템에 대하여 설명하고자 한다. Hereinafter, an auxiliary diagnosis device and/or system for providing an auxiliary diagnosis result using a fundus image and an auxiliary diagnosis image according to an embodiment will be described.

1. 안저 이미지를 이용한 진단 보조One. Diagnostic assistance using fundus images

1.1 진단 보조 시스템 및 프로세스1.1 Diagnostic aid systems and processes

1.1.1 목적 및 정의1.1.1 purpose and definition

이하에서는, 안저 이미지에 기초하여 질병 또는 질환의 유무 또는 그 판단의 근거가 되는 이상 여부 등의 판단을 보조하기 위한 진단 보조 시스템 및 방법 등에 대하여 설명한다. 특히, 딥러닝 기법을 이용하여 질병을 진단하기 위한 신경망 모델을 구축하고, 구축된 모델을 이용하여 질병 유무 또는 이상 소견의 검출을 보조하는 진단 보조 시스템 또는 방법에 대하여 설명한다. Hereinafter, a diagnosis assisting system and method for assisting in determining the presence or absence of a disease or disorder based on an ocular fundus image or an abnormality serving as a basis for the determination will be described. In particular, a diagnosis assistance system or method for constructing a neural network model for diagnosing a disease using a deep learning technique and assisting in detecting the presence or absence of a disease or an abnormal finding using the constructed model will be described.

일 실시 예에 의하면, 안저 이미지에 기초하여 질병의 유무와 관련된 진단 정보 또는 질병 유무의 진단에 이용되는 소견 정보 등을 획득하고, 이를 이용하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. According to an embodiment, a diagnosis assistance system or method may be provided that obtains diagnosis information related to the presence or absence of a disease or finding information used for diagnosis of the presence or absence of a disease based on a fundus image, and assists diagnosis using the same. .

일 실시 예에 의하면, 안저 이미지에 기초하여 안질환의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 검사 대상자의 녹내장, 백내장, 황반 변성, 미숙아 망막증의 유무와 관련된 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. According to an embodiment, a diagnosis assisting system or method for assisting in diagnosing an eye disease based on a fundus image may be provided. For example, an auxiliary diagnosis system or method may be provided to assist diagnosis by acquiring diagnostic information related to the presence or absence of glaucoma, cataract, macular degeneration, or retinopathy of prematurity in a test subject.

일 실시 예에 의하면, 안질환이 아닌 타 질환(예컨대, 전신 질환 또는 만성 질환)의 지단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 고혈압, 당뇨병, 알츠하이머, 거대 세포 바이러스, 뇌졸중, 심장 질환, 동맥 경화증 등의 전신 질환의 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.According to one embodiment, a diagnosis assisting system or method may be provided that aids diagnosis of other diseases (eg, systemic diseases or chronic diseases) other than eye diseases. For example, an assisting diagnosis system or method may be provided that aids diagnosis by obtaining diagnosis information of systemic diseases such as hypertension, diabetes, Alzheimer's disease, cytomegalovirus, stroke, heart disease, arteriosclerosis, and the like.

일 실시 예에 의하면, 안질환 또는 타 질환의 진단에 이용될 수 있는 이상 안저 소견을 검출하기 위한 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 안저 전반의 색상 이상, 수정체 혼탁(Opacity), 시신경 유두의 비율(C/D ratio: cup to disc ratio)의 이상, 황반 이상(예를 들어, 황반 원공), 혈관의 직경, 주행 등의 이상, 망막 동맥의 직경 이상, 망막의 출혈, 삼출물의 발생, 드루젠(drusen) 등의 소견 정보를 획득하는 진단 보조 시스템 또는 방법이 제공될 수 있다.According to one embodiment, a diagnostic aid system or method for detecting abnormal fundus findings that can be used for diagnosing eye diseases or other diseases may be provided. For example, color abnormalities across the fundus, lens opacity, cup to disc ratio (C/D ratio) abnormalities, macular abnormalities (e.g. macular holes), vessel diameter, trajectory A diagnostic aid system or method for acquiring information on findings such as back abnormality, retinal artery diameter abnormality, retinal hemorrhage, generation of exudate, and drusen may be provided.

본 명세서에서, 진단 보조 정보라 함은, 질환 유무의 판단에 따른 진단 정보 또는 그 기초가 되는 소견 정보 등을 포괄하는 것으로 이해될 수 있다.In the present specification, diagnosis auxiliary information may be understood as encompassing diagnosis information according to the determination of the presence or absence of a disease or finding information underlying the diagnosis information.

1.1.2 진단 보조 시스템 구성1.1.2 Diagnosis Assist System Configuration

일 실시 예에 의하면, 진단 보조 시스템이 제공될 수 있다. According to one embodiment, a diagnosis assistance system may be provided.

도 1은 일 실시 예에 의한 진단 보조 시스템(10)을 도시한 것이다. 도 1을 참조하면, 진단 보조 시스템(10)은 진단 모델을 트레이닝하는 학습 장치(1000), 진단 모델을 이용하여 진단을 수행하는 진단 장치(2000) 및 진단 요청을 획득하는 클라이언트 장치(3000)를 포함할 수 있다. 진단 보조 시스템(10)은 복수의 학습 장치, 복수의 진단 장치, 또는 복수의 클라이언트 장치를 포함할 수 있다. 1 illustrates a diagnosis assistance system 10 according to an embodiment. Referring to FIG. 1 , the diagnosis assistance system 10 includes a learning device 1000 that trains a diagnosis model, a diagnosis device 2000 that performs diagnosis using the diagnosis model, and a client device 3000 that obtains a diagnosis request. can include The diagnostic assistance system 10 may include a plurality of learning devices, a plurality of diagnostic devices, or a plurality of client devices.

학습 장치(1000)는 학습부(100)를 포함할 수 있다. 학습부(100)는 신경망 모델의 트레이닝을 수행할 수 있다. 일 예로, 학습부(100)는 안저 이미지 데이터 세트를 획득하고, 안저 이미지로부터 질환 또는 이상 소견을 검출하는 신경망 모델의 트레이닝을 수행할 수 있다. The learning device 1000 may include a learning unit 100 . The learning unit 100 may perform training of a neural network model. For example, the learning unit 100 may acquire a fundus image data set and perform training of a neural network model that detects a disease or anomaly from the fundus image.

진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단부(200)는 신경망 모델을 이용하여 질환의 진단 또는 진단에 이용되는 보조 정보의 획득을 수행할 수 있다. 일 예로, 진단부(200)는 학습부(100)에 의하여 트레이닝된 진단 모델을 이용하여 진단 보조 정보의 획득을 수행할 수 있다. The diagnosis device 2000 may include a diagnosis unit 200 . The diagnosis unit 200 may diagnose a disease or obtain auxiliary information used for diagnosis by using a neural network model. For example, the diagnosis unit 200 may perform acquisition of diagnosis auxiliary information using a diagnosis model trained by the learning unit 100 .

클라이언트 장치(3000)는 촬상부(300)를 포함할 수 있다. 촬상부(300)는 안저 이미지를 촬상할 수 있다. 클라이언트 장치는 안과용 안저 촬영 장치일 수 있다. 또는 클라이언트 장치(3000)는 스마트폰, 태블릿 PC 등의 휴대용(handheld) 디바이스일 수 있다. The client device 3000 may include an imaging unit 300 . The imaging unit 300 may capture a fundus image. The client device may be an ophthalmic fundus imaging device. Alternatively, the client device 3000 may be a handheld device such as a smart phone or a tablet PC.

본 실시 예에 따른 진단 보조 시스템(10)에서, 학습 장치(1000)는 데이터 세트를 획득하여 신경망 모델의 학습을 수행함으로써 진단 보조에 이용하기 위한 신경망 모델을 결정하고, 진단 장치(2000)는 클라이언트로부터 정보 요청이 획득되면 결정된 신경망 모델을 이용하여 진단 대상 이미지에 따른 진단 보조 정보를 획득하고, 클라이언트 장치(3000)는 상기 진단 장치(2000)로 정보를 요청하고 이에 응답하여 전송된 진단 보조 정보를 획득할 수 있다. 'In the diagnosis assistance system 10 according to the present embodiment, the learning device 1000 acquires a data set and performs learning of the neural network model to determine a neural network model to be used for diagnosis assistance, and the diagnosis device 2000 determines the client When an information request is obtained from the neural network model, diagnosis auxiliary information according to an image to be diagnosed is acquired using the determined neural network model, and the client device 3000 requests information from the diagnosis device 2000 and returns diagnosis auxiliary information transmitted in response thereto. can be obtained '

다른 일 실시 예에 따른 진단 보조 시스템은, 진단 모델의 학습 및 이를 이용한 진단을 수행하는 진단 장치 및 클라이언트 장치를 포함할 수 있다. 또 다른 일 실시 예에 따른 진단 보조 시스템은, 진단 모델의 학습, 진단 요청의 획득 및 진단을 수행하는 진단 장치를 포함할 수 있다. 또 다른 일 실시 예에 따른 진단 보조 시스템은, 진단 모델의 학습을 수행하는 학습 장치 및 진단 요청을 획득하고, 진단을 수행하는 진단 장치를 포함할 수 있다. A diagnosis assistance system according to another embodiment may include a diagnosis device and a client device that perform learning of a diagnosis model and diagnosis using the diagnosis model. A diagnosis assistance system according to another embodiment may include a diagnosis device that performs learning of a diagnosis model, acquisition of a diagnosis request, and diagnosis. A diagnosis assistance system according to another embodiment may include a learning device for learning a diagnosis model and a diagnosis device for acquiring a diagnosis request and performing diagnosis.

본 명세서에서 개시하는 진단 보조 시스템이 위에서 설명한 실시 예들에 한정되는 것은 아니고, 모델의 학습을 수행하는 학습부, 학습된 모델에 따라 진단 보조 정보를 획득하는 진단부 및 진단 대상 이미지를 획득하는 촬상부를 포함하는 어떠한 형태로든 구현될 수 있다. The diagnostic assist system disclosed in this specification is not limited to the above-described embodiments, and includes a learning unit for learning a model, a diagnosis unit for acquiring diagnostic aid information according to the learned model, and an imaging unit for obtaining a diagnosis target image. It can be implemented in any form, including

이하에서는, 시스템을 구성하는 각 장치의 몇몇 실시 예에 대하여 설명한다. Hereinafter, some embodiments of each device constituting the system will be described.

1.1.2.1 학습 장치1.1.2.1 learning device

일 실시 예에 따른 학습 장치는 진단을 보조하는 신경망 모델의 트레이닝을 수행할 수 있다.A learning device according to an embodiment may perform training of a neural network model assisting diagnosis.

도 2는 일 실시 예에 따른 학습 장치(1000)를 설명하기 위한 블록도이다. 도 2를 참조하면, 학습 장치(1000)는 제어부(1200) 및 메모리부(1100)를 포함할 수 있다. 2 is a block diagram illustrating a learning device 1000 according to an exemplary embodiment. Referring to FIG. 2 , the learning device 1000 may include a control unit 1200 and a memory unit 1100.

학습 장치(1000)는 제어부(1200)를 포함할 수 있다. 제어부(1200)는 학습 장치(1000)의 동작을 제어할 수 있다.The learning device 1000 may include a controller 1200. The controller 1200 may control the operation of the learning device 1000.

제어부(1200)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다. The controller 1200 may include one or more of a central processing unit (CPU), a random access memory (RAM), a graphics processing unit (GPU), one or more microprocessors, and other electronic components capable of processing input data according to predetermined logic. can include

제어부(1200)는 메모리부(1100)에 저장된 시스템 프로그램 및 다양한 프로세싱 프로그램을 판독할 수 있다. 일 예로, 제어부(1200)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스, 진단 프로세스 등을 RAM 상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다. 제어부(1200)는 후술하는 신경망 모델의 학습을 수행할 수 있다.The controller 1200 may read system programs and various processing programs stored in the memory unit 1100 . For example, the control unit 1200 may deploy a data processing process, a diagnosis process, etc. for carrying out diagnosis assistance, which will be described later, on RAM, and perform various processes according to the developed program. The controller 1200 may perform learning of a neural network model described later.

학습 장치(1000)는 메모리부(1100)를 포함할 수 있다. 메모리부(1100)는 학습에 필요한 데이터 및 학습 모델을 저장할 수 있다.The learning device 1000 may include a memory unit 1100 . The memory unit 1100 may store data necessary for learning and a learning model.

메모리부(1100)는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM, ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 이외의 유형의(tangible) 비휘발성 기록 매체 등으로 구현될 수 있다. The memory unit 1100 may include a non-volatile semiconductor memory, a hard disk, a flash memory, a RAM, a read only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), or other tangible non-volatile recording media. can be implemented as

메모리부(1100)는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 일 예로, 메모리부(1100)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스 프로그램, 진단 프로세스 프로그램, 각 프로그램의 수행을 위한 파라미터 및 이러한 프로그램의 수행에 따라 얻어진 데이터(예컨대, 가공된 데이터 또는 진단 결과값) 등을 저장할 수 있다.The memory unit 1100 may store various processing programs, parameters for performing program processing, or such processing result data. For example, the memory unit 1100 includes a data processing process program for performing diagnosis assistance, a diagnostic process program, parameters for executing each program, and data obtained according to the execution of these programs (e.g., processed data or diagnostic result), etc.

학습 장치(1000)는 별도의 학습부(또는 학습 모듈)를 포함할 수 있다. 학습부는 신경망 모델의 학습을 수행할 수 있다. 학습의 수행과 관련하여서는 이하의 목차 2. 학습 프로세스 에서 보다 상세히 설명하기로 한다.The learning device 1000 may include a separate learning unit (or learning module). The learning unit may perform learning of the neural network model. The performance of learning will be described in more detail in Table of Contents 2. Learning Process below.

학습부는 전술한 제어부(1200)에 포함될 수 있다. 학습부는 전술한 메모리부(1100)에 저장될 수 있다. 학습부는 전술한 제어부(1200) 및 메모리부(1100)의 일부 구성에 의하여 구현될 수 있다. 예컨대, 학습부는 메모리부(1100)에 저장되고, 제어부(1200)에 의하여 구동될 수 있다. The learning unit may be included in the control unit 1200 described above. The learning unit may be stored in the memory unit 1100 described above. The learning unit may be implemented by some components of the controller 1200 and the memory unit 1100 described above. For example, the learning unit may be stored in the memory unit 1100 and driven by the control unit 1200.

학습 장치(1000)는 통신부(1300)를 더 포함할 수 있다. 통신부(1300)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(1300)는 후술하는 진단 장치, 서버 장치 또는 클라이언트 장치와 통신할 수 있다. 통신부(1300)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(1300)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. The learning device 1000 may further include a communication unit 1300. The communication unit 1300 may communicate with an external device. For example, the communication unit 1300 may communicate with a diagnosis device, a server device, or a client device to be described later. The communication unit 1300 may perform wired or wireless communication. The communication unit 1300 may perform bi-directional or unidirectional communication.

도 3은 일 실시 예에 따른 학습 장치(1000)를 보다 구체적으로 설명하기 위한 블록도이다. 도 3을 참조하면, 학습 장치(1000)는 프로세서(1050), 휘발성 메모리(1010), 비휘발성 메모리(1030), 대용량 저장 장치(1070) 및 통신 인터페이스(1090)를 포함할 수 있다.3 is a block diagram illustrating a learning apparatus 1000 according to an embodiment in more detail. Referring to FIG. 3 , a learning device 1000 may include a processor 1050, a volatile memory 1010, a non-volatile memory 1030, a mass storage device 1070, and a communication interface 1090.

학습 장치(1000)의 프로세서(1050)는 데이터 가공 모듈(1051) 및 학습 모듈(1053)을 포함할 수 있다. 프로세서(1050)는 데이터 가공 모듈(1051)을 통하여 대용량 저장 장치 또는 비휘발성 메모리에 저장된 데이터 세트를 가공할 수 있다. 프로세서(1050)는 학습 모듈(1053)을 통하여, 진단 보조 신경망 모델의 트레이닝을 수행할 수 있다. 프로세서(1050)는 로컬 메모리를 포함할 수 있다. 통신 인터페이스(1090)는 네트워크(1110)와 연결될 수 있다.The processor 1050 of the learning device 1000 may include a data processing module 1051 and a learning module 1053 . The processor 1050 may process a data set stored in a mass storage device or a non-volatile memory through the data processing module 1051 . The processor 1050 may perform training of the diagnosis assistant neural network model through the learning module 1053 . Processor 1050 may include local memory. The communication interface 1090 may be connected to the network 1110 .

다만, 도 3에서 도시하는 학습 장치(1000)는, 예시에 불과하며, 일 실시 예에 따른 학습 장치(1000)의 구성이 이에 한정되지는 않는다. 특히, 데이터 가공 모듈(1051) 또는 학습 모듈(1053)은 도 3에서 도시하는 것과 다른 위치에 마련될 수 있다.However, the learning device 1000 shown in FIG. 3 is only an example, and the configuration of the learning device 1000 according to an embodiment is not limited thereto. In particular, the data processing module 1051 or the learning module 1053 may be provided in a location different from that shown in FIG. 3 .

1.1.2.2 진단 장치1.1.2.2 diagnostic device

진단 장치는 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.The diagnosis device may obtain diagnostic assistance information using a neural network model.

도 4는 일 실시 예에 따른 진단 장치(2000)를 설명하기 위한 블록도이다. 도 4를 참조하면, 진단 장치(2000)는 제어부(2200) 및 메모리부(2100)를 포함할 수 있다. 4 is a block diagram illustrating a diagnosis apparatus 2000 according to an exemplary embodiment. Referring to FIG. 4 , the diagnosis apparatus 2000 may include a controller 2200 and a memory unit 2100 .

제어부(2200)는 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 생성할 수 있다. 제어부(2200)는 진단을 위한 진단 데이터(예컨대, 피검자의 안저 데이터)를 획득하고 학습된 진단 보조 신경망 모델을 이용하여 진단 데이터에 의해 예측되는 진단 보조 정보를 획득할 수 있다. The controller 2200 may generate diagnosis assistance information using a diagnosis assistance neural network model. The control unit 2200 may acquire diagnostic data for diagnosis (eg, fundus data of a subject) and acquire diagnostic assist information predicted by the diagnostic data by using the learned diagnostic aid neural network model.

메모리부(2100)는 학습된 진단 보조 신경망 모델을 저장할 수 있다. 메모리부(2100)는 진단 보조 신경망 모델의 파라미터, 변수 등을 저장할 수 있다. The memory unit 2100 may store the learned diagnostic assisting neural network model. The memory unit 2100 may store parameters and variables of the diagnostic assisting neural network model.

진단 장치(2000)는 통신부(2300)를 더 포함할 수 있다. 통신부(2300)는 학습 장치 및/또는 클라이언트 장치와 통신할 수 있다. 일 예로, 진단 장치(2000)는 클라이언트 장치와 통신하는 서버 형태로 마련될 수 있다. 이와 관련하여, 이하에서 보다 상세히 설명한다. The diagnosis device 2000 may further include a communication unit 2300 . The communication unit 2300 may communicate with a learning device and/or a client device. For example, the diagnosis device 2000 may be provided in the form of a server communicating with a client device. In this regard, it will be described in more detail below.

도 5는 일 실시 예에 따른 진단 장치(2000)를 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시 예에 따른 진단 장치(2000)는 프로세서(2050), 휘발성 메모리(2030), 비휘발성 메모리(2010), 대용량 저장 장치(2070), 및 통신 인터페이스(2090)를 포함할 수 있다.5 is a diagram for explaining a diagnosis apparatus 2000 according to an exemplary embodiment. Referring to FIG. 5 , a diagnostic device 2000 according to an embodiment includes a processor 2050, a volatile memory 2030, a non-volatile memory 2010, a mass storage device 2070, and a communication interface 2090. can do.

진단 장치의 프로세서(2050)는 데이터 가공 모듈(2051) 및 진단 모듈(2053)을 포함할 수 있다. 프로세서(2050)는 데이터 가공 모듈(2051)을 통하여 진단 데이터의 가공을 수행하고, 진단 모듈(2053)을 통하여 진단 데이터에 따른 진단 보조 정보를 획득할 수 있다.The processor 2050 of the diagnosis device may include a data processing module 2051 and a diagnosis module 2053 . The processor 2050 may process diagnostic data through the data processing module 2051 and obtain diagnostic auxiliary information according to the diagnostic data through the diagnostic module 2053 .

1.1.2.3 서버 장치1.1.2.3 server device

일 실시 예에 따르면, 진단 보조 시스템은 서버 장치를 포함할 수 있다. 일 실시 예에 따른 진단 보조 시스템은, 복수의 서버 장치를 포함할 수도 있다. According to one embodiment, the diagnosis assistance system may include a server device. A diagnosis assistance system according to an embodiment may include a plurality of server devices.

서버 장치는 신경망 모델을 저장 및/또는 구동할 수 있다. 서버 장치는 학습된 신경망 모델을 구성하는 가중치 값들을 저장할 수 있다. 서버 장치는 진단 보조에 이용되는 데이터를 수집 또는 저장할 수 있다.The server device may store and/or drive the neural network model. The server device may store weight values constituting the learned neural network model. The server device may collect or store data used for diagnostic assistance.

서버 장치는 신경망 모델을 이용한 진단 보조 프로세스의 결과를 클라이언트 장치로 출력할 수 있다. 서버 장치는 클라이언트 장치로부터 피드백을 획득할 수 있다. 서버 장치는 전술한 진단 장치와 유사하게 동작할 수 있다. The server device may output the result of the diagnosis auxiliary process using the neural network model to the client device. The server device may obtain feedback from the client device. The server device may operate similarly to the diagnostic device described above.

도 6은 일 실시 예에 따른 진단 보조 시스템(20)을 도시한 것이다. 도 6을 참조하면, 일 실시 예에 따른 진단 보조 시스템(20)은 진단 서버(4000), 학습 장치 및 클라이언트 장치를 포함할 수 있다. 6 illustrates a diagnosis assistance system 20 according to an embodiment. Referring to FIG. 6 , the diagnosis assistance system 20 according to an embodiment may include a diagnosis server 4000, a learning device, and a client device.

진단 서버(4000), 즉 서버 장치는 복수의 학습 장치 또는 복수의 진단 장치와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 학습 장치(1000a) 및 제2 학습 장치(1000b)와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 클라이언트 장치(3000a) 및 제2 클라이언트 장치(3000b)와 통신할 수 있다. The diagnosis server 4000, that is, the server device may communicate with a plurality of learning devices or a plurality of diagnosis devices. Referring to FIG. 6 , the diagnosis server 4000 may communicate with the first learning device 1000a and the second learning device 1000b. Referring to FIG. 6 , the diagnosis server 4000 may communicate with a first client device 3000a and a second client device 3000b.

예컨대, 진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델을 학습시키는 제1 학습 장치(1000a) 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 학습시키는 제2 학습 장치(1000b)와 통신할 수 있다. For example, the diagnosis server 4000 may include a first learning device 1000a for learning a first diagnosis assistance neural network model for obtaining first diagnosis assistance information and a second diagnosis assistance neural network model for acquiring second diagnosis assistance information. It may communicate with the second learning device 1000b.

진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 저장하고, 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로부터의 지단 보조 정보 획득 요청에 응답하여 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로 전송할 수 있다. The diagnosis server 4000 stores a first diagnosis assistance neural network model for obtaining first diagnosis assistance information and a second diagnosis assistance neural network model for obtaining second diagnosis assistance information, and the first client device 3000a or the second client device 3000a Diagnostic auxiliary information may be obtained in response to a request for obtaining Jidan auxiliary information from the device 3000b, and the obtained diagnostic auxiliary information may be transmitted to the first client device 3000a or the second client device 3000b.

또는, 진단 서버(4000)는 제1 진단 보조 정보를 요청하는 제1 클라이언트 장치(3000a) 및 제2 진단 보조 정보를 요청하는 제2 클라이언트 장치(3000b)와 통신할 수도 있다.Alternatively, the diagnosis server 4000 may communicate with the first client device 3000a requesting first diagnostic assistance information and the second client device 3000b requesting second diagnosis assistance information.

1.1.2.4 클라이언트 장치 1.1.2.4 client device

클라이언트 장치는 진단 장치 또는 서버 장치로 진단 보조 정보를 요청할 수 있다. 클라이언트 장치는 진단에 필요한 데이터를 획득하고, 진단 장치로 획득한 데이터를 전송할 수 있다.The client device may request diagnostic assistance information from the diagnostic device or the server device. The client device may obtain data necessary for diagnosis and transmit the acquired data to the diagnosis device.

클라이언트 장치는 데이터 획득부를 포함할 수 있다. 데이터 획득부는 진단 보조에 필요한 데이터를 획득할 수 있다. 데이터 획득부는 진단 보조 모델에 이용되는 이미지를 획득하는 촬상부일 수 있다. The client device may include a data acquisition unit. The data acquisition unit may acquire data necessary for assisting diagnosis. The data acquisition unit may be an imaging unit that acquires an image used for a diagnostic assistance model.

도 7은 일 실시 예에 따른 클라이언트 장치(3000)를 설명하기 위한 블록도이다. 도 7을 참조하면, 일 실시 예에 따른 클라이언트 장치(3000)는 촬상부(3100), 제어부(3200), 및 통신부(3300)를 포함할 수 있다.7 is a block diagram illustrating a client device 3000 according to an exemplary embodiment. Referring to FIG. 7 , a client device 3000 according to an embodiment may include an imaging unit 3100, a controller 3200, and a communication unit 3300.

촬상부(3100)는 이미지 또는 영상 데이터를 획득할 수 있다. 촬상부(3100)는 안저 이미지를 획득할 수 있다. 다만, 클라이언트 장치(3000)는 촬상부(3100)가 아닌 다른 형태의 데이터 획득부로 대체될 수도 있다.The imaging unit 3100 may acquire image or video data. The imaging unit 3100 may obtain a fundus image. However, the client device 3000 may be replaced with a data acquisition unit of a different type other than the imaging unit 3100 .

통신부(3300)는 외부 장치, 예컨대 진단 장치 또는 서버 장치와 통신할 수 있다. 통신부(3300)는 유선 또는 무선 통신을 수행할 수 있다.The communication unit 3300 may communicate with an external device, for example, a diagnosis device or a server device. The communication unit 3300 may perform wired or wireless communication.

제어부(3200)는 촬상부(3100)가 이미지 또는 데이터를 획득하도록 제어할 수 있다. 제어부(3200)는 촬상부(3100)가 안저 이미지를 획득하도록 제어할 수 있다. 제어부(3200)는 획득된 안저 이미지를 진단 장치로 전송할 수 있다. 제어부는 촬상부(3100)를 통하여 획득한 이미지를 통신부(3300)를 통하여 서버 장치로 전송하고, 이에 기초하여 생성된 진단 보조 정보를 획득할 수 있다. The controller 3200 may control the imaging unit 3100 to acquire images or data. The controller 3200 may control the imaging unit 3100 to obtain an fundus image. The controller 3200 may transmit the acquired fundus image to the diagnosis device. The controller may transmit the image acquired through the imaging unit 3100 to the server device through the communication unit 3300 and obtain diagnosis auxiliary information generated based thereon.

도시하지는 아니하였으나, 클라이언트 장치는 출력부를 더 포함할 수 있다. 출력부는 영상 또는 이미지를 출력하는 디스플레이 또는 음성을 출력하는 스피커를 포함할 수 있다. 출력부는 획득된 촬상부에 의해 획득된 영상 또는 이미지 데이터를 출력할 수 있다. 출력부는 진단 장치로부터 획득된 진단 보조 정보를 출력할 수 있다. Although not shown, the client device may further include an output unit. The output unit may include a display outputting video or images or a speaker outputting audio. The output unit may output video or image data acquired by the acquired imaging unit. The output unit may output diagnosis auxiliary information acquired from the diagnosis device.

도시하지는 아니하였으나, 클라이언트 장치는 입력부를 더 포함할 수 있다. 입력부는 사용자 입력을 획득할 수 있다. 예컨대, 입력부는 진단 보조 정보를 요청하는 사용자 입력을 획득할 수 있다. 입력부는 진단 장치로부터 획득된 진단 보조 정보를 평가하는 사용자 정보를 획득할 수 있다.Although not shown, the client device may further include an input unit. The input unit may obtain user input. For example, the input unit may obtain a user input requesting diagnostic assistance information. The input unit may obtain user information for evaluating diagnostic assistance information acquired from the diagnostic device.

또한, 도시하지는 아니하였으나, 클라이언트 장치는 메모리부를 더 포함할 수 있다. 메모리부는 촬상부에 의해 획득된 이미지를 저장할 수 있다. Also, although not shown, the client device may further include a memory unit. The memory unit may store an image acquired by the imaging unit.

1.1.3 진단 보조 프로세스 개요 1.1.3 Diagnosis Assistant Process Overview

본 명세서에서 개시하는 진단 보조 시스템 또는 진단 보조 장치에 의하여 진단 보조 프로세스가 수행될 수 있다. 진단 보조 프로세스는 크게 진단 보조에 이용되는 진단 보조 모델을 학습하는 트레이닝 프로세스, 진단 보조 모델을 이용하는 진단 프로세스로 나누어 고려될 수 있다.A diagnostic assisting process may be performed by a diagnostic assisting system or a diagnostic assisting device disclosed in this specification. The diagnosis assistance process can be considered by dividing into a training process for learning a diagnosis assistance model used for diagnosis assistance and a diagnosis process using the diagnosis assistance model.

도 8은 일 실시 예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시 예에 따른 진단 보조 프로세스는, 데이터를 획득하고, 가공하여(S110) 신경망 모델을 학습하고(S130), 학습된 신경망 모델의 변수를 획득(S150)하는 학습 프로세스 및 진단 대상 데이터를 획득하고(S210) 진단 대상 데이터에 기초하여 학습된 신경망 모델(S230)을 이용하여 진단 보조 정보를 획득(S250)하는 진단 보조 프로세스를 포함할 수 있다. 8 is a diagram for describing a diagnosis auxiliary process according to an exemplary embodiment. Referring to FIG. 8 , the diagnosis auxiliary process according to an embodiment includes a learning process of acquiring data, processing them (S110), learning a neural network model (S130), and acquiring parameters of the learned neural network model (S150); and It may include a diagnosis assisting process of obtaining diagnosis subject data (S210) and acquiring diagnosis assistance information using a neural network model (S230) learned based on the diagnosis subject data (S250).

보다 구체적으로, 트레이닝 프로세스는 입력된 학습 이미지 데이터를 가공하여 모델의 트레이닝에 이용될 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 모델을 트레이닝하는 학습 프로세스를 포함할 수 있다. 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.More specifically, the training process may include a data processing process of processing the input training image data into a state that can be used for model training, and a learning process of training the model using the processed data. The training process may be performed by the aforementioned learning device.

진단 프로세스는 입력된 검사 대상 이미지 데이터를 가공하여 신경망 모델을 이용한 진단을 수행할 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 진단을 수행하는 진단 프로세스를 포함할 수 있다. 진단 프로세스는 전술한 진단 장치 또는 서버 장치에 의하여 수행될 수 있다.The diagnosis process may include a data processing process of processing the input test target image data into a state capable of performing a diagnosis using a neural network model and a diagnosis process of performing a diagnosis using the processed data. The diagnosis process may be performed by the aforementioned diagnosis device or server device.

이하에서는, 각 프로세스에 대하여 설명한다. Below, each process is demonstrated.

1.2 트레이닝 프로세스1.2 training process

일 실시 예에 따르면, 신경망 모델을 트레이닝하는 프로세스가 제공될 수 있다. 구체적인 예로, 안저 이미지에 기초하여 진단을 수행하거나 보조하는 신경망 모델을 트레이닝하는 프로세스가 개시될 수 있다. According to one embodiment, a process for training a neural network model may be provided. As a specific example, a process of training a neural network model that performs or assists in diagnosis based on fundus images may be disclosed.

이하에서는 설명하는 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.The training process described below may be performed by the aforementioned learning device.

1.2.1 학습부1.2.1 learning department

일 실시 예에 따르면, 트레이닝 프로세스는 학습부에 의해 수행될 수 있다. 학습부는 전술한 학습 장치 내에 마련될 수 있다.According to one embodiment, the training process may be performed by a learning unit. The learning unit may be provided in the aforementioned learning device.

도 9는 일 실시 예에 따른 학습부(100)의 구성을 설명하기 위한 도면이다. 도 9를 참조하면, 학습부(100)는 데이터 가공 모듈(110), 큐 모듈(130), 학습 모듈(150) 및 학습 결과 모듈(170)을 포함할 수 있다. 각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만, 도 9에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적이지는 아니하며, 학습 형태에 따라, 일부 요소가 추가되거나 일부 요소들이 생략될 수 있다. 9 is a diagram for explaining the configuration of the learning unit 100 according to an embodiment. Referring to FIG. 9 , the learning unit 100 may include a data processing module 110, a queue module 130, a learning module 150, and a learning result module 170. Each module may perform separate steps of a data processing process and a learning process as described below. However, the components described in FIG. 9 and the functions performed by each component are not essential, and some elements may be added or omitted depending on the type of learning.

1.2.2 데이터 가공 프로세스1.2.2 data processing process

1.2.2.1 이미지 데이터 획득1.2.2.1 image data acquisition

일 실시 예에 따르면, 데이터 세트가 획득될 수 있다. 일 실시 예에 따르면, 데이터 가공 모듈은 데이터 세트를 획득할 수 있다.According to one embodiment, a data set may be obtained. According to one embodiment, the data processing module may obtain a data set.

데이터 세트는 이미지 데이터 세트일 수 있다. 구체적으로, 안저 이미지 데이터 세트일 수 있다. 안저 이미지 데이터 세트는 일반적인 무산동 안저 카메라 등을 이용하여 획득될 수 있다. 안저 이미지는 파노라마 이미지일 수 있다. 안저 이미지는 레드프리(Red-free) 이미지일 수 있다. 안저 이미지는 적외선 촬영된 이미지일 수 있다. 안저 이미지는 자가 형광 촬영된 이미지일 수 있다. 이미지 데이터는 JPG, PNG, DCM(DICOM), EMP, GIF, TIFF 중 어느 하나의 형태로 획득될 수 있다. The data set may be an image data set. Specifically, it may be a fundus image data set. The fundus image data set may be obtained using a general non-mydriatic fundus camera or the like. The fundus image may be a panoramic image. The fundus image may be a red-free image. The fundus image may be an infrared photographed image. The fundus image may be an autofluorescence image. Image data may be obtained in any one of JPG, PNG, DCM (DICOM), EMP, GIF, and TIFF formats.

데이터 세트는 트레이닝 데이터 세트를 포함할 수 있다. 데이터 세트는 테스트 데이터 세트를 포함할 수 있다. 데이터 세트는 검증(validation) 데이터 세트를 포함할 수 있다. 다시 말해, 데이터 세트는 트레이닝 데이터 세트, 테스트 데이터 세트, 및 검증 데이터 세트 중 적어도 하나의 데이터 세트로 할당될 수 있다.A data set may include a training data set. The data set may include a test data set. The data set may include a validation data set. In other words, the data set may be allocated to at least one of a training data set, a test data set, and a verification data set.

데이터 세트는 해당 데이터 세트를 통해 학습되는 신경망 모델을 이용하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다. 예컨대, 백내장과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 적외선 안저 이미지 데이터 세트로 결정될 수 있다. 또는, 황반 변성과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 자가형광 촬영된 안저 이미지 데이터 세트일 수 있다. The data set may be determined in consideration of diagnostic auxiliary information to be acquired using a neural network model learned through the corresponding data set. For example, when it is desired to train a neural network model that acquires diagnostic assistance information related to cataract, an acquired data set may be determined as an infrared fundus image data set. Alternatively, when it is desired to train a neural network model that acquires auxiliary diagnosis information related to macular degeneration, the obtained data set may be an autofluorescence photographed fundus image data set.

데이터 세트에 포함되는 개별 데이터는 라벨을 포함할 수 있다. 라벨은 복수 개일 수 있다. 다시 말해, 데이터 세트에 포함되는 개별 데이터는 적어도 하나의 특징에 대하여 라벨링되어 있을 수 있다. 일 예로, 데이터 세트는 복수의 안저 이미지 데이터를 포함하는 안저 이미지 데이터 세트이고, 각각의 안저 이미지 데이터는 해당 이미지에 따른 진단 정보 라벨(예컨대, 특정 질환의 유무) 및/또는 소견 정보(예컨대, 특정 부위의 이상 여부) 라벨을 포함할 수 있다. Individual data included in the data set may include labels. There may be a plurality of labels. In other words, individual data included in the data set may be labeled with respect to at least one feature. As an example, the data set is a fundus image data set including a plurality of fundus image data, and each fundus image data includes a diagnostic information label (eg, presence/absence of a specific disease) and/or finding information (eg, specific disease) according to the corresponding image. whether or not the site is abnormal) may include a label.

다른 예로, 데이터 세트는 안저 이미지 데이터 세트이고, 각각의 안저 이미지 데이터는 해당 이미지에 대한 주변 정보 라벨을 포함할 수 있다. 예컨대, 각각의 안저 이미지 데이터는 해당 안저 이미지가 좌안의 이미지인지 또는 우안의 이미지인지에 대한 좌우안 정보, 여성의 안저 이미지인지 또는 남성의 안저 이미지인지에 대한 성별 정보, 해당 안저 이미지를 촬영한 피검자의 나이에 대한 나이 정보 등을 포함하는 주변 정보 라벨을 포함할 수 있다. As another example, the data set is a fundus image data set, and each fundus image data may include a surrounding information label for a corresponding image. For example, each fundus image data includes left and right eye information on whether the fundus image is a left eye image or a right eye image, gender information on whether the fundus image is a female fundus image or a male fundus image, and the subject who took the fundus image. A surrounding information label including age information on the age of the user may be included.

도 10은 일 실시 예에 따른 이미지 데이터 세트(DS)를 설명하기 위한 개념도이다. 도 10을 참조하면, 일 실시 예에 따른 이미지 데이터 세트(DS)는 복수의 이미지 데이터(ID)를 포함할 수 있다. 각 이미지 데이터(ID)는 이미지(I) 및 이미지에 할당된 라벨(L)을 포함할 수 있다. 도 10을 참조하면, 이미지 데이터 세트(DS)는 제1 이미지 데이터(ID1)은 제1 이미지(I1) 및 제1 이미지에 대응되는 제1 라벨(L1)을 포함할 수 있다. 10 is a conceptual diagram for describing an image data set DS according to an exemplary embodiment. Referring to FIG. 10 , an image data set DS according to an exemplary embodiment may include a plurality of image data IDs. Each image data ID may include an image I and a label L assigned to the image. Referring to FIG. 10 , the first image data ID1 of the image data set DS may include a first image I1 and a first label L1 corresponding to the first image.

도 10에서는 하나의 이미지 데이터가 하나의 라벨을 포함하는 경우를 기준으로 설명하였으나, 전술한 바와 같이 하나의 이미지 데이터는 복수의 라벨을 포함할 수 있다. In FIG. 10, a case in which one image data includes one label has been described, but as described above, one image data may include a plurality of labels.

1.2.2.2 이미지 리사이징1.2.2.2 image resizing

일 실시 예에 따르면, 획득된 이미지 데이터의 크기가 조정될 수 있다. 즉, 이미지들이 리사이징 될 수 있다. 일 실시 예에 따르면, 전술한 학습부의 데이터 가공 모듈에 의하여 이미지 리사이징이 수행될 수 있다.According to an embodiment, the size of acquired image data may be adjusted. That is, images can be resized. According to an embodiment, image resizing may be performed by the above-described data processing module of the learning unit.

이미지의 크기 또는 종횡비가 조정될 수 있다. 획득된 복수의 이미지들은 일정한 크기를 가지도록 그 크기가 조정될 수 있다. 또는, 이미지들은 일정한 종횡비(aspect ratio)를 가지도록 그 크기를 조정할 수 있다. 이미지를 리사이징 하는 것은 이미지에 이미지 변환 필터를 적용하는 것일 수 있다. The size or aspect ratio of the image can be adjusted. The obtained plurality of images may be resized to have a certain size. Alternatively, the images can be resized to have a constant aspect ratio. Resizing an image may be applying an image transformation filter to the image.

획득된 개별 이미지들의 사이즈 또는 용량이 과도하게 크거나 작은 경우에, 이미지의 사이즈 또는 용량을 조정하여 적절한 사이즈로 변환할 수 있다. 또는 개별 이미지들의 사이즈 또는 용량이 다양한 경우에, 리사이징을 통하여 사이즈 또는 용량을 통일시킬 수 있다. When the size or capacity of individual images obtained is excessively large or small, the size or capacity of the image may be adjusted and converted into an appropriate size. Alternatively, when individual images have various sizes or capacities, the sizes or capacities may be unified through resizing.

일 실시 예에 따르면, 이미지의 용량이 조정될 수 있다. 예컨대, 이미지의 용량이 적정 범위를 초과하는 경우에, 다운 샘플링(down sampling)을 통하여 이미지를 축소시킬 수 있다. 또는 이미지의 용량이 적정 범위에 못 미치는 경우에, 업 샘플링(upsampling) 또는 보간(interpolating)을 통하여 이미지를 확대할 수 있다.According to one embodiment, the capacity of an image may be adjusted. For example, when the capacity of an image exceeds an appropriate range, the image may be reduced through down sampling. Alternatively, when the capacity of the image is less than an appropriate range, the image may be enlarged through upsampling or interpolation.

다른 일 실시 예에 따르면, 이미지를 자르거나 획득한 이미지에 픽셀을 덧붙여 이미지의 사이즈 또는 종횡비를 조정할 수 있다. 예컨대, 이미지에 학습에 불필요한 부분이 포함되어 있는 경우에, 이를 제거하기 위하여 이미지 일부를 크롭할 수 있다. 또는, 이미지의 일부가 잘려나가 종횡비가 맞지 않는 경우에 칼럼(column) 또는 로(row)를 추가하여 이미지 종횡비를 조정할 수 도 있다. 다시 말해, 이미지에 마진 또는 패딩을 추가하여 종횡비를 조정할 수 있다. According to another embodiment, the size or aspect ratio of an image may be adjusted by cropping the image or adding pixels to the obtained image. For example, when an image includes a portion unnecessary for learning, a portion of the image may be cropped to remove it. Alternatively, when a part of the image is cropped and the aspect ratio does not match, the image aspect ratio may be adjusted by adding a column or row. In other words, you can adjust the aspect ratio by adding margins or padding to the image.

또 다른 일 실시 예에 따르면, 이미지의 용량 및 사이즈 또는 종횡비가 함께 조정될 수 있다. 일 예로, 이미지의 용량이 큰 경우에 이미지를 다운 샘플링하여 이미지 용량을 축소하고, 축소된 이미지에 포함된 불필요한 부분을 크롭하여 적절한 이미지 데이터로 변환할 수 있다.According to another embodiment, the capacity and size or aspect ratio of an image may be adjusted together. For example, when the size of an image is large, the size of the image may be reduced by downsampling the image, and unnecessary parts included in the reduced image may be cropped and converted into appropriate image data.

또한, 일 실시 예에 따르면, 이미지 데이터의 방향(orientation)이 변경될 수도 있다.Also, according to an embodiment, the orientation of image data may be changed.

구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우, 각각의 안저 이미지는 그 용량이 조절되거나, 사이즈가 조정될 수 있다. 안저 이미지의 안저 부분을 제외한 여백 부분을 제거하기 위한 크롭핑 또는 안저 이미지의 잘린 부분을 보충하여 종횡비를 조정하기 위한 패딩을 수행할 수 있다. As a specific example, when a fundus image data set is used as a data set, the capacity or size of each fundus image may be adjusted. Cropping to remove a blank portion of the fundus image except for the fundus portion or padding to adjust the aspect ratio by supplementing the cropped portion of the fundus image may be performed.

도 11은 일 실시 예에 따른 이미지 리사이징을 설명하기 위한 도면이다. 도 11을 참조하면, 일 실시 예에 따른 이미지 리사이징 프로세스에 의하여, 획득된 안저 이미지가 리사이징될 수 있다.11 is a diagram for describing image resizing according to an exemplary embodiment. Referring to FIG. 11 , an acquired fundus image may be resized by an image resizing process according to an embodiment.

구체적으로 원본 안저 이미지(a)는 진단 정보 획득에 불필요한 여백 부분이 크롭되고(b), 학습 효율의 증진을 위하여 그 크기가 축소(c)될 수 있다. Specifically, in the original fundus image (a), a blank portion unnecessary for obtaining diagnostic information may be cropped (b), and the size may be reduced (c) to improve learning efficiency.

1.2.2.3 이미지 전처리1.2.2.3 image preprocessing

일 실시 예에 따르면, 이미지 전처리가 수행될 수 있다. 이미지를 입력된 그대로 학습에 이용할 경우, 불필요한 특성들에 대한 학습 결과 과적합 현상 등이 발생할 수 있고, 학습 효율 역시 저하될 수 있다. According to one embodiment, image pre-processing may be performed. When an image is used for learning as it is input, an overfitting phenomenon may occur as a learning result for unnecessary characteristics, and the learning efficiency may also decrease.

이를 방지하기 위하여, 이미지 데이터를 학습의 목적에 부합하도록 적절히 전처리하여 이용함으로써 학습 효율 및 성능을 향상시킬 수 있다. 예컨대, 안저 이미지에 대하여 안질환의 이상 징후를 검출하기에 용하이하도록 하는 전처리 또는 망막 혈관 내지 혈류 변화가 강조되도록 하는 전처리가 수행될 수 있다.In order to prevent this, learning efficiency and performance can be improved by appropriately pre-processing and using image data to meet the purpose of learning. For example, pre-processing to facilitate detection of abnormal signs of eye diseases or pre-processing to emphasize changes in retinal blood vessels or blood flow may be performed on the ocular fundus image.

전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 전처리가 수행될 수 있다. 데이터 가공 모듈은 리사이징된 이미지를 획득하고 학습에 요청되는 전처리를 수행할 수 있다. Image pre-processing may be performed by the data processing module of the above-described learning unit. The data processing module may acquire the resized image and perform preprocessing required for learning.

이미지 전처리는 전술한 리사이징 처리가 완료된 이미지에 대하여 수행될 수 있다. 다만, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니고, 리사이징 처리를 생략하고 이미지에 대한 전처리가 수행될 수도 있다. 이미지의 전처리를 가하는 것은 이미지에 전처리 필터를 적용하는 것일 수 있다.Image pre-processing may be performed on the image for which the above-described resizing process has been completed. However, the content of the invention disclosed in this specification is not limited thereto, and pre-processing of the image may be performed without resizing processing. Applying pre-processing of an image may be applying a pre-processing filter to the image.

일 실시 예에 따르면, 이미지에 블러(blur) 필터가 적용될 수 있다. 이미지에 가우시안 필터가 적용될 수 있다. 이미지에 가우시안 블러 필터가 적용될 수 도 있다. 또는, 이미지에 이미지를 선명하게 하는 디블러(deblur) 필터가 적용될 수 있다.According to an embodiment, a blur filter may be applied to an image. A Gaussian filter may be applied to the image. A Gaussian blur filter may be applied to the image. Alternatively, a deblur filter that sharpens the image may be applied to the image.

다른 일 실시 예에 따르면, 이미지의 색상을 조정 또는 변조하는 필터가 적용될 수 있다. 예컨대, 이미지를 구성하는 RGB 값 중 일부 성분의 값을 변경하거나, 또는 이미지를 이진화하는 필터가 적용될 수도 있다. According to another embodiment, a filter for adjusting or modulating the color of an image may be applied. For example, a filter may be applied to change the values of some of the RGB values constituting the image or to binarize the image.

또 다른 일 실시 예에 따르면, 이미지에 특정 요소가 강조되도록 하는 필터가 적용될 수 있다. 예컨대, 안저 이미지 데이터에 대하여, 각 이미지로부터 혈관 요소가 강조되도록 하는 전처리가 수행될 수 있다. 이 때, 혈관 요소가 강조되도록 하는 전처리는 하나 이상의 필터를 순차적으로 조합하여 적용하는 것일 수 있다. According to another embodiment, a filter for emphasizing a specific element in an image may be applied. For example, pre-processing may be performed on the fundus image data to emphasize vascular elements from each image. In this case, the preprocessing to emphasize the blood vessel element may be sequentially combining and applying one or more filters.

일 실시 예에 따르면, 이미지의 전처리는 획득하고자 하는 진단 보조 정보의 특성을 고려하여 수행될 수 있다. 예컨대, 망막의 출혈, 드루젠, 미세혈관류, 삼출물 등의 소견과 관련된 진단 보조 정보를 획득하고자 하는 경우에는 획득된 안저 이미지를 레드프리 안저 이미지 형태로 변환하는 전처리를 수행할 수 있다. According to an embodiment, image pre-processing may be performed in consideration of characteristics of diagnostic auxiliary information to be obtained. For example, when it is desired to acquire diagnosis auxiliary information related to findings such as retinal hemorrhage, drusen, microvascular flow, exudate, etc., pre-processing of converting the acquired fundus image into a red-free fundus image may be performed.

1.2.2.4 이미지 증강(augmentation)1.2.2.4 image augmentation

일 실시 예에 따르면, 이미지가 증강 또는 확장될 수 있다. 전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 증강이 수행될 수 있다.According to one embodiment, an image may be augmented or expanded. Image augmentation may be performed by the above-described data processing module of the learning unit.

증강된 이미지들은 신경망 모델의 트레이닝 성능 개선을 위하여 이용될 수 있다. 예컨대, 신경망 모델의 트레이닝을 위한 데이터의 양이 부족한 경우에, 트레이닝을 위한 데이터 수의 확대를 위하여 존재하는 트레이닝 이미지 데이터의 변조를 실시하고, 변조(또는 변화)된 이미지를 원본 이미지와 함께 이용함으로써 트레이닝 이미지 데이터 수를 늘릴 수 있다. 이에 따라 과학습(overfitting)이 억제되고 모델의 레이어를 보다 깊이 형성할 수 있으며, 예측 정확도가 향상될 수 있다. Augmented images can be used to improve the training performance of neural network models. For example, when the amount of data for training a neural network model is insufficient, the existing training image data is modulated to expand the number of data for training, and the modulated (or changed) image is used together with the original image. The number of training image data can be increased. Accordingly, overfitting can be suppressed, a layer of the model can be formed more deeply, and prediction accuracy can be improved.

예를 들어, 이미지 데이터의 확장은, 이미지의 좌우를 반전시키거나, 이미지의 일부를 오려내거나, 이미지의 색상 값을 보정하거나, 또는 인위적인 노이즈를 추가하여 수행될 수 있다. 구체적인 예로, 이미지의 일부를 오려내는 것은 이미지를 구성하는 요소의 일부 영역을 오려내거나, 일부 영역들을 랜덤하게 오려내는 방식으로 수행될 수 있다. 보다 많은 예로, 이미지 데이터를 좌우 반전, 상하 반전, 회전, 일정 비율 리사이징, 크롭핑, 패딩, 색상 조정 또는 밝기 조정 함으로써 이미지 데이터를 확장할 수 있다. For example, image data expansion may be performed by reversing an image horizontally, cutting out a part of an image, correcting a color value of an image, or adding artificial noise. As a specific example, cutting out part of the image may be performed by cutting out part of an element constituting the image or randomly cutting out part of the part. For more examples, image data may be expanded by inverting the image data horizontally, inverting vertically, rotating, resizing at a certain ratio, cropping, padding, adjusting color, or adjusting brightness.

일 예로, 상술한 이미지 데이터의 증강 또는 확장은 일반적으로, 트레이닝 데이터 세트에 대하여 적용될 수 있다. 다만, 이외의 데이터 세트, 예컨대, 테스트 데이터 세트, 즉 트레이닝 데이터를 이용한 학습 및 검증 데이터를 이용한 검증이 끝난 모델의 테스트를 위한 데이터 세트에도 적용될 수 있다. As an example, the augmentation or expansion of image data described above may be generally applied to a training data set. However, it may also be applied to other data sets, for example, test data sets, that is, data sets for learning using training data and testing models that have been verified using verification data.

구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우에, 데이터의 수를 늘리기 위하여 이미지를 반전시키거나, 오려내거나, 노이즈를 추가하거나, 색상을 변경하는 것 중 하나 이상의 처리를 랜덤하게 적용하여 증강된 안저 이미지 데이터 세트를 획득할 수 있다. As a specific example, when a fundus image data set is used as a data set, in order to increase the number of data, one or more processing of inverting the image, clipping, adding noise, or changing color is randomly applied An augmented fundus image data set may be acquired.

도 12는 일 실시 예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다. 도 12를 참조하면, 일 실시 예들에 따른 이미지는 신경망 모델의 예측 정확도를 향상시키기 위하여 변형될 수 있다.12 is a diagram for describing expansion of an image data set according to an exemplary embodiment. Referring to FIG. 12 , an image according to an embodiment may be modified to improve prediction accuracy of a neural network model.

구체적으로, 도 12를 참조하면, 일 실시 예들에 따른 이미지는 일부 영역이 드롭-아웃되거나(a), 좌우가 반전되거나(b), 중심점이 이동되거나(c, d), 일부 영역의 색상이 변조(e)될 수 있다. Specifically, referring to FIG. 12 , in an image according to an exemplary embodiment, some areas are dropped out (a), the left and right are reversed (b), the center point is moved (c, d), or the color of some areas is changed. can be modulated (e).

1.2.2.5 이미지 직렬화(serialization)1.2.2.5 Image serialization

일 실시 예에 따르면, 이미지 데이터는 직렬화(linearization)될 수 있다. 이미지는 전술한 학습부의 데이터 가공 모듈에 의하여 직렬화될 수 있다. 직렬화 모듈은 전처리된 이미지 데이터를 직렬화하고 큐 모듈로 전달할 수 있다.According to one embodiment, image data may be serialized. The image may be serialized by the above-described data processing module of the learning unit. The serialization module can serialize the preprocessed image data and pass it to the queue module.

이미지 데이터를 그대로 이용하여 학습에 이용하게 되면, 이미지 데이터는 JPG, PNB, DCM 등의 이미지 파일 형태를 가지기 때문에 디코딩이 필요한데, 매번 디코딩을 거쳐 학습을 수행하게 되면 모델 학습의 성능이 저하될 수 있다. 이에 따라, 이미지 파일을 그대로 학습에 이용하지 않고 직렬화하여 학습을 수행할 수 있다. 따라서, 학습 성능 및 속도를 향상시키기 위하여 이미지 데이터의 직렬화를 수행할 수 있다. 따라서, 학습 성능 및 속도를 향상시키기 위하여 이미지 데이터의 직렬화를 수행할 수 있다. 직렬화되는 이미지 데이터는 전술한 이미지 리사이징 및 이미지 전처리 중 하나 이상의 단계가 적용된 이미지 데이터거나, 둘 다 처리되지 아니한 이미지 데이터일 수 있다. If image data is used for learning as it is, decoding is necessary because the image data has image file formats such as JPG, PNB, DCM, etc. If learning is performed through decoding every time, the performance of model learning may deteriorate. . Accordingly, instead of using the image file as it is for learning, learning can be performed by serializing it. Therefore, serialization of image data can be performed to improve learning performance and speed. Therefore, serialization of image data can be performed to improve learning performance and speed. Image data to be serialized may be image data to which at least one of the aforementioned image resizing and image preprocessing has been applied, or image data without both of them being processed.

이미지 데이터 세트에 포함되는 각 이미지 데이터는 스트링 형태로 변환될 수 있다. 이미지 데이터는 이진화된 데이터 형태로 변환될 수 있다. 특히, 이미지 데이터는 신경망 모델의 학습에 이요되겡 적합한 데이터 형태로 변환될 수 있다. 일 예로, 이미지 데이터는 텐서플로우(tensorflow)를 이용한 신경망 모델 학습에 이용하기 위한 TFRecord 형태로 변환될 수 있다.Each image data included in the image data set may be converted into a string form. Image data may be converted into a binarized data form. In particular, image data may be converted into a data form suitable for learning of a neural network model. For example, image data may be converted into a TFRecord form for use in learning a neural network model using tensorflow.

구체적인 예로, 데이터 세트로서 안저 이미지 세트가 이용되는 경우에, 획득된 안저 이미지 세트는 TFReocrd 형태로 변환되어 신경망 모델의 학습에 이용될 수 있다. As a specific example, when a fundus image set is used as a data set, the obtained fundus image set may be converted into a TFReocrd format and used for training of a neural network model.

1.2.2.6 큐(Queue)1.2.2.6 Queue

데이터의 병목 현상을 해소하기 위하여 큐(Queue)가 이용될 수 있다. 전술한 학습부의 큐 모듈의 이미지 데이터를 큐에 저장하고, 학습 모델 모듈로 전달할 수 있다.A queue may be used to solve the bottleneck of data. Image data of the queue module of the learning unit may be stored in the queue and transmitted to the learning model module.

특히 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)를 함께 이용하여 학습 프로세스를 진행하는 경우에, 큐를 이용함으로써, CPU와 GPU 사이의 병목 현상을 최소화하고 데이터베이스에 대한 접근이 원활하게 하며 메모리 사용 효율을 증진할 수 있다. In particular, in the case of using a CPU (Central Processing Unit) and a GPU (Graphic Processing Unit) together for the learning process, by using a queue, the bottleneck between the CPU and GPU is minimized, access to the database is smooth, and memory Use efficiency can be improved.

큐는 신경망 모델의 학습에 이용되는 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장할 수 있다. 큐에 저장되는 이미지 데이터는 전술한 데이터 가공 프로세스(즉, 리사이징, 전처리 및 증강) 중 적어도 하나가 처리된 이미지 데이터이거나 획득된 상태 그대로의 이미지일 수 있다.A queue may store data used for training of a neural network model. A cue may store image data. The image data stored in the queue may be image data processed through at least one of the above-described data processing processes (ie, resizing, preprocessing, and augmentation) or may be an acquired image.

큐는 이미지 데이터, 바람직하게는 전술한 바와 같이 직렬화된 이미지 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장하고, 신경망 모델로 이미지 데이터를 공급할 수 있다. 큐는 신경망 모델로 배치(batch) 사이즈 단위로 이미지 데이터를 전달할 수 있다.The queue may store image data, preferably serialized image data as described above. A queue can store image data and feed image data to a neural network model. Queue is a neural network model and can deliver image data in units of batch size.

큐는 이미지 데이터를 제공할 수 있다. 큐는 후술하는 학습 모듈에 데이터를 제공할 수 있다. 학습 모듈에서 데이터를 추출함에 따라 큐에 축적된 데이터 수가 줄어들 수 있다.Queues can provide image data. Queues can provide data to a learning module described below. As data is extracted from the learning module, the number of data accumulated in the queue may decrease.

신경망 모델의 학습이 진행됨에 큐에 저장된 데이터 수가 기준 이하로 감소하면, 큐는 데이터의 보충을 요청할 수 있다. 큐는 특정 종류 데이터의 보충을 요청할 수 있다. 큐는 학습부가 데이터의 보충이 요청되면, 큐에 데이터를 보충할 수 있다.When the number of data stored in the queue decreases below a standard as the learning of the neural network model progresses, the queue may request supplementation of data. A queue may request replenishment of certain kinds of data. The queue may replenish data to the queue when the learning unit requests replenishment of data.

큐는 학습 장치의 시스템 메모리에 마련될 수 있다. 예컨대, 큐는 중앙 처리 장치(CPU)의 RAM(Random Access Memory)에 형성될 수 있다. 이 경우, 큐의 크기 즉, 용량은 CPU의 RAM 용량에 따라 정해질 수 있다. 큐로는 선입선출(FIFO; First In First Out) 큐, 우선순위 큐(Primary Queue) 또는 랜덤 큐가 이용될 수 있다. The queue may be provided in the system memory of the learning device. For example, the queue may be formed in random access memory (RAM) of a central processing unit (CPU). In this case, the size of the queue, that is, the capacity may be determined according to the RAM capacity of the CPU. As the queue, a first in first out (FIFO) queue, a primary queue, or a random queue may be used.

1.2.3 학습 프로세스1.2.3 learning process

일 실시 예에 따르면, 신경망 모델의 학습 프로세스가 개시될 수 있다. According to one embodiment, a learning process of a neural network model may be initiated.

일 실시 예에 따르면, 신경망 모델의 학습은 전술한 학습 장치에 의하여 수행될 수 있다. 학습 프로세스는 학습 장치의 제어부에 의해 수행될 수 있다. 학습 프로세스는 전술한 학습부의 학습 모듈에 의하여 수행될 수 있다.According to an embodiment, learning of the neural network model may be performed by the aforementioned learning device. The learning process may be performed by the control unit of the learning device. The learning process may be performed by the learning module of the learning unit described above.

도 13는 일 실시 예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블록도이다. 도 13을 참조하면, 일 실시 예에 따른 신경망 모델의 학습 프로세스는 데이터를 획득(S1010)하고, 신경망 모델을 학습(S1030)하고, 학습된 모델을 검증(S1050)하고, 학습된 모델의 변수를 획득(S1070)하여 수행될 수 있다.13 is a block diagram for explaining a learning process of a neural network model according to an embodiment. Referring to FIG. 13 , the learning process of the neural network model according to an embodiment acquires data (S1010), learns the neural network model (S1030), verifies the learned model (S1050), and changes the parameters of the learned model. It may be performed by acquiring (S1070).

이하에서는, 도 13을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시 예를 들어 설명한다. Hereinafter, with reference to FIG. 13 , a learning process of a neural network model will be described by way of some exemplary embodiments.

1.2.3.1 데이터 입력1.2.3.1 data entry

진단 보조 신경망 모델의 학습을 위한 데이터 세트가 획득될 수 있다.A data set for training of a diagnosis-assisted neural network model may be obtained.

획득되는 데이터는 전술한 데이터 가공 프로세스에 의하여 처리된 이미지 데이터 세트일 수 있다. 일 예로, 데이터 세트는 사이즈가 조정되고 전처리 필터가 적용되고 데이터가 증강된 후 직렬화된 안저 이미지 데이터를 포함할 수 있다. Acquired data may be an image data set processed by the aforementioned data processing process. In one example, the data set may include fundus image data that has been resized, preprocessed filters applied, and serialized after the data has been augmented.

신경망 모델의 학습 단계에서는 트레이닝 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 검증 단계에서는 검증 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 테스트 단계에서는 테스트 데이터 세트가 획득 및 이용될 수 있다. 각 데이터 세트는 안저 이미지 및 라벨을 포함할 수 있다. In the training phase of the neural network model, a training data set may be obtained and used. In the validation step of the neural network model, a validation data set may be obtained and used. In the testing phase of the neural network model, a test data set may be obtained and used. Each data set may include fundus images and labels.

데이터 세트는 큐로부터 획득될 수 있다. 데이터 세트는 큐로부터 배치 사이즈 단위로 획득될 수 있다. 예컨대, 배치 사이즈로서 60개가 지정된 경우, 데이터 세트는 큐로부터 60개 단위로 추출될 수 있다. 배치 사이즈의 사이즈는 GPU의 RAM 용량에 의해 제한될 수 있다. A data set can be obtained from a queue. Data sets can be obtained in batch size units from the queue. For example, if 60 is specified as the batch size, data sets can be extracted in units of 60 from the queue. The size of the batch size may be limited by the amount of RAM in the GPU.

데이터 세트는 큐로부터 학습 모듈로 랜덤하게 획득될 수 있다. 데이터 세트는 큐에 축적된 순서대로 획득될 수도 있다. A data set can be randomly obtained from the queue into the learning module. Data sets may be obtained in the order they are accumulated in the queue.

학습 모듈은 큐로부터 획득되는 데이터 세트의 구성을 지정하여 추출할 수 있다. 일 예로, 학습 모듈로 특정 피검자의 좌안 라벨을 가지는 안저 이미지와 우안 라벨을 가지는 안저 이미지 데이터가 함께 학습에 이용되도록 추출할 수 있다. The learning module may designate and extract the configuration of the data set obtained from the queue. For example, the learning module may extract fundus image data having a left eye label and fundus image data having a right eye label of a specific subject to be used for learning together.

학습 모듈은 큐로부터 특정 라벨의 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터 세트를 획득할 수 있다. 학습 모듈은 큐로부터 라벨에 따른 데이터 수의 비율을 지정하여 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터의 수와 진단 정보 라벨이 정상인 안저 이미지 데이터의 수가 1 대 1이 되도록 안저 이미지 데이터 세트를 획득할 수 있다. The learning module can obtain a data set of a particular label from the queue. For example, the learning module may obtain a fundus image data set having an abnormal diagnostic information label from the queue. The learning module may acquire a data set by specifying a ratio of the number of data according to a label from the queue. For example, the learning module may obtain the fundus image data set from the queue such that the number of fundus image data having abnormal diagnostic information labels and the number of fundus image data having normal diagnostic information labels are 1 to 1.

1.2.3.2 모델의 설계1.2.3.2 design of the model

신경망 모델은 이미지 데이터에 기초하여 진단 보조 정보를 출력하는 진단 보조 모델일 수 있다. 진단 보조 정보 획득을 위한 진단 보조 신경망 모델의 구조는 미리 정해진 형태를 가질 수 있다. 신경망 모델은 복수의 계층 또는 레이어를 포함할 수 있다. The neural network model may be a diagnosis assistance model that outputs diagnosis assistance information based on image data. A structure of a diagnosis assistance neural network model for obtaining diagnosis assistance information may have a predetermined form. A neural network model may include a plurality of layers or layers.

신경망 모델은 진단 보조 정보를 생성하는 분류기(Classifier)의 형태로 구현될 수 있다. 분류기는 이중 분류 또는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터를 특정 질병 또는 이상 징후 등의 타겟 진단 보조 정보에 대하여 정상 또는 비정상 클래스로 분류하는 이진 분류 모델일 수 있다. 또는, 신경망 모델은 입력 데이터를 특정 특성(예컨대, 질병의 진행 정도)에 대한 복수의 등급 클래스로 분류하는 다중 분류 모델일 수 있다. 또는, 신경망 모델은 특정 질병과 관련된 특정 수치를 출력하는 회귀 형태의 모델로 구현될 수도 있다.The neural network model may be implemented in the form of a classifier that generates auxiliary diagnosis information. A classifier can perform double or multiple classification. For example, the neural network model may be a binary classification model that classifies input data into a normal or abnormal class for target diagnostic aid information such as a specific disease or abnormal symptom. Alternatively, the neural network model may be a multi-classification model that classifies input data into a plurality of grade classes for a specific characteristic (eg, degree of progression of a disease). Alternatively, the neural network model may be implemented as a regression model that outputs a specific numerical value related to a specific disease.

신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. CNN 구조로서, Alexnet, LENET, NIN, VGGNet, ResNEt, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySuperviseNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다. The neural network model may include a Convolutional Neural Network (CNN). As the CNN structure, at least one of Alexnet, LENET, NIN, VGGNet, ResNEt, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, and DeeplySuperviseNet may be used. A neural network model may be implemented using a plurality of CNN structures.

일 예로, 신경망 모델은 복수의 VGGNet 블록을 포함하도록 구현될 수 있다. 보다 구체적인 예로, 신경망 모델은 3x3 크기의 64개의 필터를 가지는 CNN 레이어, BN(Batch Normalization) 레이어, 및 ReLu 레이어가 순차적으로 결합된 제1 구조 및 3x3 크기의 128개의 필터를 가지는 CNN 레이어, ReLu 레이어 및 BN 레이어가 순차적으로 결합된 제2 블록이 결합되어 마련될 수 있다.For example, a neural network model may be implemented to include a plurality of VGGNet blocks. As a more specific example, the neural network model has a first structure in which a CNN layer having 64 filters of 3x3 size, a Batch Normalization (BN) layer, and a ReLu layer are sequentially combined, and a CNN layer having 128 filters of 3x3 size and a ReLu layer And a second block to which the BN layer is sequentially combined may be provided.

신경망 모델은 각 CNN 블록에 이어서, 맥스 풀링 레이어를 포함하고, 종단에는 GAP(Global Average Pooling) 레이어, FC(Fully Connected) 레이어, 및 활성화 레이어(예컨대, 시그모이드, 소프트 맥스 등)를 포함할 수 있다. The neural network model includes a max pooling layer following each CNN block, and includes a global average pooling (GAP) layer, a fully connected (FC) layer, and an activation layer (eg, sigmoid, soft max, etc.) at the end. can

1.2.3.3 모델의 학습1.2.3.3 learning of the model

신경망 모델은 트레이닝 데이터 세트를 이용하여 학습될 수 있다.A neural network model can be learned using a training data set.

신경망 모델은 라벨링된 데이터 세트를 이용하여 학습될 수 있다. 다만, 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 프로세스가 이에 한정되는 것은 아니며, 신경망 모델은 라벨링되지 아니한 데이터를 이용하여 비지도 형태로 학습될 수도 있다. A neural network model can be trained using labeled data sets. However, the learning process of the diagnosis-assisted neural network model described herein is not limited thereto, and the neural network model may be learned in an unsupervised form using unlabeled data.

신경망 모델의 학습은, 트레이닝 이미지 데이터에 기초하여, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화함으로써 수행할 수 있다. 또한, 신경망 모델의 학습은 후술하는 모델의 검증 결과, 테스트 결과 및/또는 진단 단계로부터의 피드백으로부터 영향을 받을 수 있다. Learning of the neural network model acquires result values using a neural network model to which arbitrary weight values are assigned based on training image data, compares the acquired result values with label values of the training data, and backpropagates according to the error. It can be performed by optimizing the weight values by performing In addition, learning of the neural network model may be influenced by feedback from a verification result, a test result, and/or a diagnosis step of the model, which will be described later.

상술한 신경망 모델의 학습은 텐서플로우를 이용하여 수행될 수 있다. 다만, 일 실시 예가 이에 한정되지는 아니하며, 티아노(Theano), 케라스(Keras), 카페(Caffe), 토치(Torch), CNTK(Microsoft Cognitive Toolkit) 등의 프레임워크가 신경망 모델의 학습이 이용될 수도 있다. Learning of the above-described neural network model may be performed using TensorFlow. However, one embodiment is not limited thereto, and frameworks such as Theano, Keras, Caffe, Torch, and CNTK (Microsoft Cognitive Toolkit) are used to learn neural network models. It could be.

1.2.3.4 모델의 검증(validation)1.2.3.4 Model validation

신경망 모델은 검증 데이터 세트를 이용하여 검증될 수 있다. 신경망 모델의 검증은 학습이 진행된 신경망 모델로부터 검증 데이터 세트에 대한 결과값을 획득하고, 결과값과 검증 데이터 세트의 라벨을 비교하여 수행될 수 있다. 검증은 결과값의 정확도(accuracy)를 측정하여 수행될 수 있다. 검증 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)가 조정될 수 있다.The neural network model can be verified using a validation data set. Verification of the neural network model may be performed by obtaining a result value for a verification data set from the neural network model in which learning has been performed, and comparing the result value with a label of the verification data set. Verification may be performed by measuring the accuracy of the result value. According to the verification result, parameters (eg, weights and/or biases) or hyperparameters (eg, learning rate) of the neural network model may be adjusted.

일 예로, 일 실시 예에 따른 학습 장치는, 안저 이미지에 기초하여 진단 보조 정보를 예측하는 신경망 모델을 학습시키고, 학습된 모델의 검증 안저 이미지에 대한 진단 보조 정보를 검증 안저 이미지에 대응되는 검증 라벨과 비교함으로써 진단 보조 신경망 모델의 검증을 수행할 수 있다. For example, the learning apparatus according to an embodiment trains a neural network model that predicts auxiliary diagnosis information based on a fundus image, and sets the diagnostic auxiliary information for a verification fundus image of the trained model to a verification label corresponding to the verification fundus image. Verification of the diagnosis-assisted neural network model can be performed by comparing with .

신경망 모델의 검증에는, 별도의 검증 세트(external data set), 즉 트레이닝 데이터 세트에는 포함되지 않는 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다. 예를 들어, 별도의 검증 세트는 트레이닝 데이터 세트와 인종, 환경, 나이, 성별 등의 요인이 구별되는 데이터 세트일 수 있다. For the verification of the neural network model, a separate verification set (external data set), that is, a data set having distinct factors not included in the training data set may be used. For example, a separate verification set may be a data set in which factors such as race, environment, age, and gender are distinguished from the training data set.

1.2.3.5 모델의 테스트1.2.3.5 testing the model

신경망 모델은 테스트 데이터 세트를 이용하여 테스트될 수 있다.A neural network model can be tested using a test data set.

도 13에서 도시하지는 아니하였으나, 일 실시 예에 따른 학습 프로세스에 의하면, 신경망 모델을 트레이닝 데이터 세트 및 검증 데이터 세트와 구분되는 테스트 데이터 세트를 이용하여 테스트할 수 있다. 테스트 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다. Although not shown in FIG. 13 , according to a learning process according to an embodiment, a neural network model may be tested using a test data set that is distinct from a training data set and a verification data set. Depending on the test result, parameters (eg, weights and/or biases) or hyperparameters (eg, learning rate) of the neural network model may be adjusted.

일 예로, 일 실시 예에 따른 학습 장치는 안저 이미지에 기초하여 진단 보조 정보를 예측하도록 학습된 신경망 모델로부터, 트레이닝 및 검증에 이용되지 않은 테스트 안저 이미지 데이터를 입력으로 하는 결과 값을 획득하여, 학습 및 검증된 진단 보조 신경망 모델의 테스트를 수행할 수 있다. For example, the learning apparatus according to an embodiment obtains a resultant value having test fundus image data not used for training and verification as an input from a neural network model learned to predict diagnosis auxiliary information based on fundus images, and learns and a test of the verified diagnostic assisting neural network model.

신경망 모델의 테스트에는, 별도로 마련된 검증 세트(external data set), 즉, 트레이닝 및/또는 검증 데이터와 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다. For the test of the neural network model, a separately provided verification set (external data set), that is, a data set having a factor distinct from training and/or verification data may be used.

1.2.3.6 결과의 출력1.2.3.6 the output of the result

신경망 모델의 학습 결과, 최적화된 모델의 파라미터 값이 획득될 수 있다. 전술한 바와 같이 테스트 데이터 세트를 이용하여 모델의 학습을 반복적으로 진행함에 따라, 보다 적절한 파라미터(또는 변수) 값이 얻어질 수 있다. 학습이 충분히 진행되면, 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다. As a result of learning the neural network model, parameter values of the optimized model may be obtained. As described above, as the model is repeatedly trained using the test data set, more appropriate parameter (or variable) values may be obtained. When learning is sufficiently progressed, optimized values of weight and/or bias may be obtained.

일 실시 예에 따르면, 학습된 신경망 모델 및/또는 학습된 신경망 모델의 파라미터 또는 변수는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 학습된 신경망 모델은 진단 장치 및/또는 클라이언트 장치 등에 의하여 진단 보조 정보의 예측에 이용될 수 있다. 또한, 학습된 신경망 모델의 파라미터 또는 변수는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다. According to an embodiment, the learned neural network model and/or parameters or variables of the learned neural network model may be stored in a learning device and/or a diagnosis device (or server). The learned neural network model may be used for prediction of diagnosis auxiliary information by a diagnosis device and/or a client device. In addition, parameters or variables of the learned neural network model may be updated according to feedback obtained from a diagnosis device or a client device.

1.2.3.7 모델 앙상블(ensemble)1.2.3.7 model ensemble

일 실시 예에 따르면, 하나의 진단 보조 신경망 모델을 학습하는 과정에서, 복수의 서브 모델이 동시에 학습될 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다. According to an embodiment, in the process of learning one diagnosis-assisting neural network model, a plurality of sub-models may be simultaneously learned. A plurality of sub-models may have different hierarchical structures.

이 때, 일 실시 예에 따른 진단 보조 신경망 모델은 복수의 서브 신경망 모델을 조합하여 구현될 수 있다. 다시 말해, 복수의 서브 신경망을 조합하는 앙상블 기법을 이용하여 신경망 모델의 학습을 수행할 수 있다.In this case, the diagnosis assistant neural network model according to an embodiment may be implemented by combining a plurality of sub-neural network models. In other words, learning of a neural network model may be performed using an ensemble technique that combines a plurality of sub-neural networks.

앙상블을 형성하여 진단 보조 신경망 모델을 구성할 경우, 다양한 형태의 서브 신경망 모델로부터 예측되는 결과를 종합하여 예측을 수행할 수 있어, 결과 예측의 정확도가 보다 향상될 수 있다. When an ensemble is formed to configure a diagnosis-assisted neural network model, prediction can be performed by integrating results predicted from various types of sub-neural network models, so that the accuracy of predicting results can be further improved.

도 14는 일 실시 예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블록도이다. 도 14를 참조하면, 일 실시 예에 따른 신경망 모델의 학습 프로세스는, 데이터 세트를 획득(S1011)하고, 획득된 데이터를 이용하여 제1 모델(즉, 제1 신경망 모델) 및 제2 모델(즉, 제2 신경망 모델)을 학습(S1031, S1033)하고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 검증(S1051)하고, 최종 신경망 모델을 결정하고 그 파라미터 또는 변수를 획득(S1072)할 수 있다. 14 is a block diagram for explaining a learning process of a neural network model according to an embodiment. Referring to FIG. 14 , in the process of learning a neural network model according to an embodiment, a data set is acquired (S1011), and a first model (ie, the first neural network model) and a second model (ie, the first neural network model) are obtained using the acquired data (S1011). , the second neural network model) is learned (S1031, S1033), the learned first and second neural network models are verified (S1051), the final neural network model is determined, and its parameters or variables are obtained (S1072). there is.

이하에서는, 도 14를 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시 예를 들어 설명한다. Hereinafter, with reference to FIG. 14 , a learning process of a neural network model will be described by way of some exemplary embodiments.

일 실시 예에 따르면 복수의 서브 신경망 모델은 동일한 트레이닝 데이터 세트를 획득하고, 개별적으로 출력값을 생성할 수 있다. 이 때, 복수의 서브 신경망 모델의 앙상블을 최종 신경망 모델로 결정하고, 복수의 서브 신경망 모델 각각에 대한 파라미터 값이 학습 결과로 얻어질 수 있다. 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델에 의한 출력값의 평균값으로 정해질 수 있다. 또는, 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델의 출력값에 대한 가중 평균값으로 정해질 수 있다. According to an embodiment, a plurality of sub neural network models may acquire the same training data set and individually generate output values. In this case, an ensemble of a plurality of sub-neural network models may be determined as a final neural network model, and parameter values for each of the plurality of sub-neural network models may be obtained as a learning result. An output value of the final neural network model may be determined as an average value of output values of each sub-neural network model. Alternatively, the output value of the final neural network model may be determined as a weighted average value of the output values of each sub-neural network model.

보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 때, 기계 학습에 의하여 제1 서브 신경망 모델에 대한 최적화된 파라미터 값 및 제2 서브 신경망 모델의 최적화된 파라미터 값을 획득할 수 있다. 이 때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델로부터 각각 획득되는 출력값(예컨대, 특정 진단 보조 정보에 대한 확률 값)들에 대한 평균값을 최종 신경망 모델의 출력값으로 결정할 수 있다. As a more specific example, when the neural network model includes a first sub neural network model and a second sub neural network model, optimized parameter values for the first sub neural network model and optimized parameter values for the second sub neural network model are determined by machine learning. can be obtained In this case, an average value of output values obtained from the first sub-neural network model and the second sub-neural network model (eg, a probability value for specific diagnostic assistance information) may be determined as an output value of the final neural network model.

일 실시 예의 다른 일 실시 예에 따르면, 복수의 서브 신경망 모델 각각에 의한 출력값에 기초하여 개별 서브 신경망 모델의 정확도를 평가할 수 있다. 이때, 정확도에 기초하여 복수의 서브 신경망 모델 중 어느 하나의 모델을 선택하여 최종 서브 신경망 모델로 결정할 수 있다. 결정된 서브 신경망 모델의 구조 및 학습 결과 얻어진 결정된 서브 신경망 모델의 파라미터 값들은 저장될 수 있다. According to another embodiment of an embodiment, the accuracy of individual sub neural network models may be evaluated based on output values of each of a plurality of sub neural network models. At this time, based on the accuracy, any one model among a plurality of sub-neural network models may be selected and determined as the final sub-neural network model. The structure of the determined sub-neural network model and parameter values of the determined sub-neural network model obtained as a learning result may be stored.

보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델 각각에 따른 정확도를 획득하고, 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정할 수 있다. As a more specific example, when the neural network model includes a first sub-neural network model and a second sub-neural network model, accuracy according to each of the first sub-neural network model and the second sub-neural network model is obtained, and a more accurate sub-neural network model is a final neural network model. model can be determined.

일 실시 예의 또 다른 일 실시 예에 따르면, 복수의 신경망 모델 중 적어도 하나의 서브 신경망을 조합하고, 조합된 적어도 하나의 서브 신경망 모델의 앙상블을 형성하고, 각각의 앙상블에 대하여 평가하되, 복수의 앙상블 중 정확도가 높은 앙상블을 형성하는 서브 신경망 모델의 조합을 최종 신경망 모델로 결정할 수 있다. 이 때, 복수의 서브 신경망 모델 중 적어도 하나를 선택하는 가능한 모든 경우의 수에 대하여 앙상블을 수행하고, 가장 정확도가 높은 것으로 평가된 서브 신경망 조합을 최종 신경망 모델로 결정할 수도 있다. According to another embodiment of an embodiment, at least one sub-neural network among a plurality of neural network models is combined, an ensemble of the combined at least one sub-neural network model is formed, and each ensemble is evaluated. A combination of sub-neural network models forming an ensemble with high accuracy may be determined as a final neural network model. At this time, the ensemble may be performed for all possible cases of selecting at least one of the plurality of sub-neural network models, and the sub-neural network combination evaluated as having the highest accuracy may be determined as the final neural network model.

보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 대, 제1 서브 신경망 모델의 정확도, 제2 서브 신경망 모델의 정확도, 및 제1 및 제2 서브 신경망 모델의 앙상블에 의한 정확도를 비교하고, 가장 정확한 경우의 서브 신경망 모델 구성을 최종 신경망 모델로 결정할 수 있다. As a more specific example, when the neural network model includes a first sub-neural network model and a second sub-neural network model, the accuracy of the first sub-neural network model, the accuracy of the second sub-neural network model, and the ensemble of the first and second sub-neural network models It is possible to compare the accuracy by , and determine the configuration of the sub-neural network model in the most accurate case as the final neural network model.

1.2.4 실시 예 1 - 학습 장치의 제어 방법1.2.4 Embodiment 1 - Control method of learning device

도 15는 일 실시 예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.15 is a diagram for explaining a method of controlling a learning device according to an exemplary embodiment.

도 15를 참조하면, 일 실시 예에 따른 학습 장치의 제어 방법은 제1 안저 이미지의 전처리를 수행하는 단계(S110), 전처리된 제1 안저 이미지를 직렬화하는 단계(S130), 제1 신경망 모델을 학습시키는 단계(S150)를 포함할 수 있다.Referring to FIG. 15 , the method for controlling a learning apparatus according to an embodiment includes preprocessing a first fundus image (S110), serializing the preprocessed first fundus image (S130), and generating a first neural network model. It may include a step of learning (S150).

일 실시 예에 따른 학습 장치의 제어 방법은 복수의 안저 이미지를 포함하는 제1 트레이닝 데이터 세트를 획득하고, 상기 제1 트레이닝 데이터 세트에 포함된 상기 안저 이미지를 가공하고, 상기 제1 트레이닝 데이터 세트를 이용하여, 제1 신경망 모델을 학습시키는 학습 장치, 진단 보조 정보를 획득하기 위한 대상 안저 이미지를 획득하고, 상기 학습된 제1 신경망 모델을 이용하여 상기 대상 안저 이미지에 기초하여 상기 진단 보조 정보를 획득하는 진단 장치를 포함하는 시스템에 포함되는 학습 장치의 제어 방법일 수 있다.A control method of a learning device according to an embodiment includes obtaining a first training data set including a plurality of fundus images, processing the fundus images included in the first training data set, and obtaining the first training data set. A learning device for learning a first neural network model by using a learning device, obtaining a target fundus image for obtaining diagnosis assistance information, and acquiring the diagnosis assistance information based on the target fundus image using the learned first neural network model It may be a control method of a learning device included in a system including a diagnostic device for

제1 안저 이미지의 전처리를 수행하는 단계(S110)는 상기 제1 트레이닝 데이터 세트에 포함된 제1 안저 이미지가 상기 제1 신경망 모델의 학습에 적절한 형태로 변환되도록 상기 제1 안저 이미지의 전처리를 수행하는 것을 더 포함할 수 있다. In the step of pre-processing the first fundus image (S110), the first fundus image included in the first training data set is pre-processed so that the first fundus image is converted into a form suitable for learning of the first neural network model. may further include

일 실시 예에 따른 학습 장치의 제어 방법은, 전처리된 제1 안저 이미지를 직렬화하는 단계(S130)를 포함할 수 있다. 제1 안저 이미지는 신경망 모델의 학습에 용이한 형태로 직렬화될 수 있다.The control method of the learning device according to an embodiment may include serializing the preprocessed first fundus image ( S130 ). The first fundus image may be serialized in a form that facilitates learning of the neural network model.

이때, 제1 신경망 모델을 학습시키는 단계(S150)는 직렬화된 제1 안저 이미지를 이용하여, 상기 대상 안저 이미지를 제1 라벨 또는 제2 라벨로 분류하는 상기 제1 신경망 모델을 학습시키는 것을 더 포함할 수 있다.At this time, the step of training the first neural network model (S150) further includes training the first neural network model for classifying the target fundus image as a first label or a second label using the serialized first fundus image. can do.

학습 장치는 복수의 안저 이미지를 포함하고 상기 제1 트레이닝 데이터 세트와 적어도 일부 상이한 제2 트레이닝 데이터 세트를 획득하고, 상기 제2 트레이닝 데이터 세트를 이용하여, 제2 신경망 모델을 학습시킬 수 있다.The learning device may obtain a second training data set including a plurality of fundus images and at least partially different from the first training data set, and may train a second neural network model using the second training data set.

일 실시 예에 따르면, 학습 장치의 제어 방법은 제2 트레이닝 세트에 포함된 제2 안저 이미지가 제2 신경망 모델의 학습에 적합하도록 제2 안저 이미지의 전처리를 수행하는 단계, 전처리된 제2 안저 이미지를 직렬화하는 단계 및 직렬화된 제2 안저 이미지를 이용하여, 대상 안저 이미지를 제3 라벨 또는 제4 라벨로 분류하는 제2 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.According to an embodiment, the control method of the learning apparatus includes preprocessing the second fundus image so that the second fundus image included in the second training set is suitable for learning of the second neural network model, and the preprocessed second fundus image. The method may further include serializing and training a second neural network model that classifies the target fundus image as a third label or a fourth label using the serialized second fundus image.

도 16은 일 실시 예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 일 실시 예에 따른 학습 장치의 제어 방법은 제2 안저 이미지의 전처리를 수행하는 단계(S210), 전처리된 제2 안저 이미지를 직렬화하는 단계(S230), 제2 신경망 모델을 학습시키는 단계(S250)를 포함할 수 있다.16 is a diagram for explaining a method of controlling a learning device according to an exemplary embodiment. Referring to FIG. 16 , the method for controlling a learning apparatus according to an embodiment includes preprocessing a second fundus image (S210), serializing the preprocessed second fundus image (S230), and generating a second neural network model. It may include a step of learning (S250).

도 16에서는 설명의 편의를 위하여, 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 제1 안저 이미지의 전처리, 제2 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 수행되는 것으로 묘사하였으나, 일 실시 예의 내용이 이에 한정되는 것은 아니다.In FIG. 16 , for convenience of explanation, preprocessing of the first fundus image, serialization of the first fundus image, and learning using the first fundus image are followed by preprocessing of the first fundus image, serialization of the second fundus image, and first fundus image. Although described as being performed following learning using , the content of an embodiment is not limited thereto.

제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 독립적으로 수행될 수 있다. 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 병렬적으로 수행될 수 있다. 다시 말해, 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 반드시 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습 이후에 이루어지거나, 이전에 이루어져야 하는 것은 아니며, 제1 안저 이미지에 대한 처리 및 제2 안저 이미지에 대한 처리는 상호 의존관계 없이 수행될 수 있다.The preprocessing of the second fundus image included in the second training set, serialization of the second fundus image, and learning using the second fundus image are the above-described preprocessing of the first fundus image, serialization of the first fundus image, and the first fundus image. It can be performed independently of learning using images. The preprocessing of the second fundus image included in the second training set, serialization of the second fundus image, and learning using the second fundus image are the above-described preprocessing of the first fundus image, serialization of the first fundus image, and the first fundus image. It can be performed in parallel with learning using images. In other words, pre-processing of the second fundus images included in the second training set, serialization of the second fundus images, and learning using the second fundus images necessarily include pre-processing of the first fundus images and serialization of the first fundus images. and it does not have to be performed after or before learning using the first fundus image, and the processing of the first fundus image and the processing of the second fundus image may be performed without interdependence.

제1 트레이닝 데이터 세트에 포함된 상기 안저 이미지에 대하여 수행되는 제1 전처리는 상기 제2 트레이닝 데이터 세트에 포함된 상기 안저 이미지에 대하여 수행되는 제2 전처리와 구별될 수 있다. 예컨대, 제1 전처리는 혈관 강조 전처리이고, 제2 전처리는 색상 변조 전처리일 수 있다. 각 전처리는 각 신경망 모델을 통하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다.The first preprocessing performed on the fundus image included in the first training data set may be distinguished from the second preprocessing performed on the fundus image included in the second training data set. For example, the first preprocessing may be a blood vessel enhancement preprocessing, and the second preprocessing may be a color modulation preprocessing. Each preprocessing may be determined in consideration of diagnostic auxiliary information to be acquired through each neural network model.

일 실시 예에 따른 학습 장치의 제어 방법은, 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 상기 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 상기 제1 신경망 모델을 검증하는 단계 및 제2 트레이닝 데이터 세트와 적어도 일부 구별되는 제2 검증 데이터 세트를 이용하여, 상기 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 상기 제2 신경망 모델을 검증하는 단계를 더 포함할 수 있다. 이때, 제1 신경망 모델의 및 상기 제2 신경망 모델의 검증은 독립적으로 수행될 수 있다.A control method of a learning device according to an embodiment includes evaluating the accuracy of the learned first neural network model using a first verification data set that is at least partially distinct from a first training data set; Verifying the neural network model and evaluating the accuracy of the learned first neural network model using a second verification data set that is at least partially distinct from the second training data set to verify the second neural network model Further steps may be included. In this case, verification of the first neural network model and the second neural network model may be independently performed.

직렬화된 제1 안저 이미지는 제1 큐에 순차적으로 저장되고, 상기 제1 큐에 저장된 직렬화된 안저 이미지는 상기 제1 큐로부터 미리 정해진 용량 단위로 상기 제1 신경망 모델의 학습에 이용되고, 직렬화된 제2 안저 이미지는 상기 제1 큐와 구별되는 제2 큐에 순차적으로 저장되고, 상기 제2 큐에 저장된 직렬화된 안저 이미지는 상기 제2 큐로부터 미리 정해진 용량 단위로 상기 제1 신경망 모델의 학습에 이용될 수 있다.The serialized first fundus images are sequentially stored in a first queue, the serialized fundus images stored in the first queue are used for learning of the first neural network model in units of predetermined doses from the first queue, and the serialized fundus images are stored in the first queue. Second fundus images are sequentially stored in a second queue distinct from the first queue, and the serialized fundus images stored in the second queue are used for learning of the first neural network model in units of predetermined doses from the second queue. can be used

제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 상기 제1 라벨 또는 상기 제2 라벨로 분류하는 것은 상기 제1 서브 신경망 모델에 의해 예측되는 제1 예측 값 및 상기 제2 서브 신경망 모델에 의해 예측되는 제2 예측 값을 함께 고려하여 수행될 수 있다.The first neural network model may include a first sub neural network model and a second sub neural network model. At this time, the classification of the target fundus image into the first label or the second label results in a first prediction value predicted by the first sub-neural network model and a second prediction value predicted by the second sub-neural network model together. can be taken into account.

제2 신경망 모델은 제3 서브 신경망 모델 및 제4 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 상기 제3 라벨 또는 상기 제4 라벨로 분류하는 것은 상기 제3 서브 신경망 모델에 의해 예측되는 제3 예측 값 및 상기 제4 서브 신경망 모델에 의해 예측되는 제4 예측 값을 함께 고려하여 수행될 수 있다.The second neural network model may include a third sub neural network model and a fourth sub neural network model. At this time, the classification of the target fundus image into the third label or the fourth label results in a third prediction value predicted by the third sub-neural network model and a fourth prediction value predicted by the fourth sub-neural network model together. can be taken into account.

제1 트레이닝 데이터 세트는 제1 라벨로 라벨링된 안저 이미지를 적어도 일부 포함하고, 제2 트레이닝 데이터 세트는 제3 라벨로 라벨링된 안저 이미지를 적어도 일부 포함할 수 있다. 이때, 제1 라벨로 라벨링된 안저 이미지 및 상기 제3 라벨로 라벨링된 적어도 일부의 안저 이미지는 일부 공통될 수 있다.The first training data set may include at least some fundus images labeled with the first label, and the second training data set may include at least some fundus images labeled with the third label. In this case, the fundus image labeled with the first label and at least a portion of the fundus image labeled with the third label may be partially common.

제1 라벨은 상기 대상 안저 이미지에 대응되는 피검체가 상기 제1 소견에 대하여 정상임을 지시하는 정상이고, 상기 제2 라벨은 상기 피검체가 상긴 제2 소견에 대하여 비정상임을 지시하는 비정상일 수 있다.The first label may be normal indicating that the subject corresponding to the subject fundus image is normal with respect to the first finding, and the second label may be abnormal indicating that the subject is abnormal with respect to the second finding. .

제1 안저 이미지의 전처리를 수행하는 단계는, 상기 제1 안저 이미지가 기준 종횡비를 만족하도록 크롭하고, 상기 제1 안저 이미지의 사이즈를 변경하는 것을 포함할 수 있다.The preprocessing of the first fundus image may include cropping the first fundus image to satisfy a reference aspect ratio and changing the size of the first fundus image.

제1 안저 이미지의 전처리를 수행하는 단계는, 상기 가공부가 상기 제1 안저 이미지에 포함된 혈관이 강조되도록 상기 안저 이미지에 혈관 강조 필터를 적용하는 것을 더 포함할 수 있다.The preprocessing of the first fundus image may further include applying, by the processing unit, a blood vessel enhancement filter to the fundus image to emphasize blood vessels included in the first fundus image.

직렬화된 제1 안저 이미지는 큐에 순차적으로 저장되고, 상기 큐에 저장된 직렬화된 제1 안저 이미지는 상기 큐로부터 미리 정해진 용량 단위로 상기 제1 신경망 모델의 학습에 이용될 수 있다. 큐는 상기 제1 학습에 이용되지 않은 상기 직렬화된 제1 안저 이미지가 기준 용량 이하로 감소하면 상기 직렬화된 제1 안저 이미지의 보충을 요청할 수 있다. The serialized first fundus images may be sequentially stored in a queue, and the serialized first fundus images stored in the queue may be used for training of the first neural network model from the queue in units of a predetermined volume. The queue may request replenishment of the serialized first fundus image when the serialized first fundus image not used for the first learning decreases below a reference volume.

제1 소견은 망막 출혈 소견, 망막 삼출물 발생 소견, 수정체 혼탁 소견, 당뇨 망막증 소견 중 어느 하나일 수 있다.The first findings may be any one of retinal hemorrhage findings, retinal exudate findings, lens opacity findings, and diabetic retinopathy findings.

도 17은 일 실시 예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 17 is a diagram for explaining a method of controlling a learning device according to an exemplary embodiment.

도 17을 참조하면, 일 실시 예에 따른 학습 장치의 제어 방법은 제1 신경망 모델을 검증하는 단계(S170) 및 제1 신경망 모델을 갱신하는 단계(S190)를 더 포함할 수 있다.Referring to FIG. 17 , the control method of the learning device according to an embodiment may further include verifying the first neural network model ( S170 ) and updating the first neural network model ( S190 ).

제1 신경망 모델을 검증하는 단계(S170)는 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 상기 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여 1 신경망 모델을 검증하는 것을 더 포함할 수 있다.In the step of verifying the first neural network model (S170), one neural network model is obtained by evaluating the accuracy of the learned first neural network model using a first verification data set at least partially distinct from the first training data set. It may further include verification.

제1 신경망 모델을 갱신하는 단계(S190), 제1 신경망 모델을 검증하는 단계(S170)로부터 얻어진 검증 결과를 반영하여, 상기 제1 신경망 모델을 갱신하는 단계를 더 포함할 수 있다.The method may further include updating the first neural network model by reflecting the verification result obtained from the step of updating the first neural network model (S190) and the step of verifying the first neural network model (S170).

한편, 제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 제1 신경망 모델을 학습시키는 단계는 제1 검증 데이터 세트를 이용하여 상기 제1 서브 신경망 모델을 검증하여 상기 제1 서브 신경망 모델의 정확도를 획득하고, 상기 제1 검증 데이터 세트를 이용하여 상기 제2 서브 신경망 모델을 검증하여 상기 제2 서브 신경망 모델의 정확도를 획득하고, 상기 제1 서브 신경망 모델의 정확도 및 상기 제2 서브 신경망 모델의 정확도를 비교하여 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정하는 것을 포함할 수 있다.Meanwhile, the first neural network model may include a first sub neural network model and a second sub neural network model. In this case, in the step of learning the first neural network model, accuracy of the first sub-neural network model is obtained by verifying the first sub-neural network model using a first verification data set, and the accuracy of the first sub-neural network model is obtained using the first verification data set. The accuracy of the second sub-neural network model is obtained by verifying the second sub-neural network model, and the accuracy of the first sub-neural network model and the accuracy of the second sub-neural network model are compared to obtain a more accurate sub-neural network model as a final neural network model. This may include deciding

1.3 진단 보조 프로세스1.3 Diagnostic Assistant Process

일 실시 예에 따르면, 신경망 모델을 이용하여 진단 보조 정보를 획득하는 진단 보조 프로세스(또는 진단 프로세스)가 제공될 수 있다. 구체적인 예로, 진단 보조 프로세스에 의하여, 안저 이미지를 이용하고 학습된 진단 보조 신경망 모델을 통하여 진단 보조 정보(예컨대, 진단 정보 또는 소견 정보)가 예측될 수 있다.According to an embodiment, a diagnosis assistance process (or diagnosis process) for acquiring diagnosis assistance information using a neural network model may be provided. As a specific example, auxiliary diagnostic information (eg, diagnostic information or finding information) may be predicted by using a fundus image and using a diagnostic auxiliary neural network model learned by the diagnostic auxiliary process.

이하에서 설명하는 진단 보조 프로세스는 진단 장치에 의하여 수행될 수 있다. A diagnosis auxiliary process described below may be performed by a diagnosis device.

1.3.1 진단부1.3.1 diagnosis department

일 실시 예에 따르면, 진단 프로세스는 진단부(200)에 의해 수행될 수 있다. 진단부(200)는 전술한 진단 장치 내에 마련될 수 있다. According to an embodiment, the diagnosis process may be performed by the diagnosis unit 200 . The diagnostic unit 200 may be provided in the aforementioned diagnostic device.

도 18은 일 실시 예에 따른 진단부(200)의 구성을 설명하기 위한 도면이다. 도 18을 참조하면, 진단부(200)는 진단 요청 획득 모듈(210), 데이터 가공 모듈(230), 진단 모듈(250) 및 출력 모듈(270)을 포함할 수 있다.18 is a diagram for explaining a configuration of a diagnosis unit 200 according to an exemplary embodiment. Referring to FIG. 18 , the diagnosis unit 200 may include a diagnosis request acquisition module 210 , a data processing module 230 , a diagnosis module 250 and an output module 270 .

각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만, 도 16에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 진단의 양태에 따라 일부 요소가 추가되거나 일부 요소가 생략될 수 있다. Each module may perform separate steps of a data processing process and a learning process, as described below. However, the components described in FIG. 16 and the functions performed by each of the components are not essential, and some elements may be added or omitted depending on the aspect of diagnosis.

1.3.2 데이터 획득 및 진단 요청1.3.2 Data Acquisition and Diagnostic Request

일 실시 예에 따른 진단 장치는 진단 대상 데이터를 획득하고, 이에 기초하여, 진단 보조 정보를 획득할 수 있다. 진단 대상 데이터는 이미지 데이터일 수 있다. 전술한 진단부의 진단 요청 획득 모듈에 의하여 데이터 획득 및 진단 요청의 획득이 수행될 수 있다. The diagnosis apparatus according to an embodiment may obtain diagnosis target data and obtain diagnosis auxiliary information based on the acquired data. Diagnosis target data may be image data. Data acquisition and diagnosis request acquisition may be performed by the above-described diagnosis request acquisition module of the diagnosis unit.

도 19는 일 예에 따른 진단 대상 데이터(TD)를 설명하기 위한 도면이다. 도 19를 참조하면, 진단 대상 데이터(TD)는 진단 대상 이미지(T1) 및 진단 대상 객체 정보(PI; patient information)를 포함할 수 있다.19 is a diagram for explaining diagnosis target data TD according to an example. Referring to FIG. 19 , the diagnosis target data TD may include a diagnosis target image T1 and diagnosis target object information (PI; patient information).

진단 대상 이미지(TI)는 진단 대상 객체에 대한 진단 보조 정보를 획득하기 위한 이미지일 수 있다. 예컨대, 진단 대상 이미지는 안저 이미지일 수 있다. 진단 대상 이미지(TI)는 JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 포맷을 가질 수 있다.The diagnosis target image TI may be an image for obtaining diagnosis auxiliary information on a diagnosis target object. For example, the image to be diagnosed may be a fundus image. The diagnosis target image TI may have any one format among JPG, PNG, DCM (DICOM), BMP, GIF, and TIFF.

진단 객체 정보(PI)는 진단 대상 객체를 식별하기 위한 정보일 수 있다. 또는, 진단 객체 정보(PI)는 진단 대상 객체 또는 이미지의 특성 정보일 수 있다. 예컨대, 진단 객체 정보(PI)는 진단 대상 이미지의 촬상 일시, 촬영 장비, 진단 대상 피검체의 식별 번호, ID, 성명, 성별, 나이 또는 몸무게 등의 정보를 포함할 수 있다. 진단 대상 이미지가 안저 이미지인 경우, 진단 객체 정보(PI)는 좌안인지 우안인지를 나타내는 양안 정보 등의 안구 관련 정보를 더 포함할 수 있다. The diagnosis object information (PI) may be information for identifying a diagnosis target object. Alternatively, the diagnosis object information PI may be characteristic information of a diagnosis target object or image. For example, the diagnosis object information (PI) may include information such as a capturing date and time of an image to be diagnosed, photographing equipment, an identification number, ID, name, gender, age, or weight of a subject to be diagnosed. If the diagnosis target image is a fundus image, the diagnosis object information PI may further include eyeball-related information such as binocular information indicating whether the diagnosis target image is the left eye or the right eye.

진단 장치는 진단 요청을 획득할 수 있다. 진단 장치는 진단 요청과 함께 진단 대상 데이터를 획득할 수 있다. 진단 장치는 진단 요청이 획득되면, 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 장치는 클라이언트 장치로부터 진단 요청을 획득할 수 있다. 또는, 진단 장치는 별도로 마련된 입력 수단을 통하여 사용자로부터 진단 요청을 획득할 수 있다.A diagnostic device may obtain a diagnostic request. The diagnosis device may obtain diagnosis target data together with a diagnosis request. When the diagnosis request is obtained, the diagnosis device may obtain diagnosis assistance information by using the learned diagnosis assistance neural network model. A diagnosis device may obtain a diagnosis request from a client device. Alternatively, the diagnosis device may obtain a diagnosis request from the user through a separately provided input means.

1.3.3 데이터 가공 프로세스1.3.3 data processing process

획득된 데이터는 가공될 수 있다. 데이터의 가공은 전술한 진단부의 데이터 가공 모듈에 의하여 수행될 수 있다. Acquired data may be processed. Data processing may be performed by the above-described data processing module of the diagnosis unit.

데이터 가공 프로세스는 일반적으로, 전술한 학습 프로세스에서의 데이터 가공 프로세스와 유사하게 수행될 수 있다. 이하에서는, 학습 프로세스에서의 데이터 가공 프로세스와의 차이점을 중심으로, 진단 프로세스에서의 데이터 가공 프로세스에 대하여 설명한다.The data processing process may generally be performed similarly to the data processing process in the learning process described above. Hereinafter, the data processing process in the diagnosis process will be described, focusing on differences from the data processing process in the learning process.

진단 프로세스에서, 진단 장치는 학습 프로세스에서와 마찬가지로 데이터를 획득할 수 있다. 이때, 획득되는 데이터는 학습 프로세스에서 획득되는 데이터와 동일한 형식일 수 있다. 예를 들어, 학습 프로세스에서 학습 장치가 DCM 형식의 이미지 데이터를 이용하여 진단 보조 신경망 모델을 학습시킨 경우, 진단 장치는 DCM 이미지를 획득하고 학습된 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.In the diagnostic process, the diagnostic device may acquire data as in the learning process. In this case, the acquired data may have the same format as the data obtained in the learning process. For example, in the learning process, when the learning device trains a diagnostic assisting neural network model using DCM format image data, the diagnostic device acquires the DCM image and obtains diagnostic assisting information using the learned neural network model. .

진단 프로세스에서, 획득된 진단 대상 이미지는 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 리사이징될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측을 효율적으로 수행하기 위하여, 적절한 용량, 크기 및/또는 종횡비를 가지도록 그 형태가 조정될 수 있다. In the diagnosis process, the obtained image to be diagnosed may be resized similarly to image data used in the learning process. The shape of the diagnosis target image may be adjusted to have an appropriate capacity, size, and/or aspect ratio in order to efficiently predict diagnosis assistance information through the learned diagnosis assistance neural network model.

예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 안저 이미지에 기초한 진단 정보의 예측을 위하여, 이미지의 불필요한 부분을 크롭하거나, 그 사이즈를 축소하는 등의 리사이징이 수행될 수 있다.For example, when the image to be diagnosed is a fundus image, resizing may be performed, such as cropping an unnecessary part of the image or reducing its size, in order to predict diagnostic information based on the fundus image.

진단 프로세스에서, 획득된 진단 대상 이미지에는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 전처리 필터가 적용될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측의 정확도가 보다 향상되도록, 적절한 필터가 적용될 수 있다. In the diagnosis process, similarly to the image data used in the learning process, a pre-processing filter may be applied to the obtained image to be diagnosed. Appropriate filters may be applied to the diagnosis target image to further improve the accuracy of prediction of diagnosis assistance information through the learned diagnosis assistance neural network model.

예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 정 진단 정보의 예측이 용이하도록 하는 전처리, 예컨대 혈관이 강조되도록 하는 이미지 전처리 또는 특정 색상이 강조되거나 약화되도록 하는 이미지 전처리가 진단 대상 이미지에 적용될 수 있다.For example, when the image to be diagnosed is an fundus image, preprocessing that facilitates prediction of true diagnostic information, such as image preprocessing to emphasize blood vessels or image preprocessing to emphasize or weaken a specific color, may be applied to the image to be diagnosed. there is.

진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 직렬화될 수 있다. 진단 대상 이미지는 특정 워크프레임에서의 진단 모델 구동이 용이한 형태로 변환 또는 직렬화 수 있다. In the diagnosis process, the acquired diagnosis target image may be serialized, similar to image data used in the learning process. Diagnosis target images can be converted or serialized into a form that is easy to drive a diagnosis model in a specific workframe.

진단 대상 이미지의 직렬화는 생략될 수 있다. 이는, 학습 단계에서와 달리 진단 단계에서는 프로세서가 한번에 처리하는 데이터의 수가 많지 않아, 데이터 처리 속도에 대한 부담이 상대적으로 적기 때문일 수 있다.Serialization of the image to be diagnosed may be omitted. This may be because, unlike in the learning stage, the burden on data processing speed is relatively small in the diagnosis stage since the number of data processed by the processor at one time is not large.

진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 큐에 저장될 수 있다. 다만, 진단 프로세스에서는 처리 데이터 수가 학습 프로세스에 비하여 적으므로, 데이터를 큐에 저장하는 단계는 생략될 수도 있다.In the diagnosis process, the obtained image to be diagnosed may be stored in a queue, similar to image data used in the learning process. However, since the number of processed data is less in the diagnosis process than in the learning process, the step of storing the data in the queue may be omitted.

한편, 진단 프로세스에서는, 데이터 수의 증가가 요구되지 않으므로, 정확한 진단 보조 정보의 획득을 위하여, 학습 프로세스와 달리 데이터 증강 또는 이미지 증강 절차는 이용하지 않음이 바람직할 것이다.Meanwhile, since an increase in the number of data is not required in the diagnosis process, it is preferable not to use a data augmentation or image augmentation procedure unlike the learning process in order to acquire accurate diagnosis auxiliary information.

1.3.4 진단 프로세스1.3.4 diagnostic process

일 실시 예에 따르면, 학습된 신경망 모델을 이용한 진단 프로세스가 개시될 수 있다. 진단 프로세스는 전술한 진단 장치에서 수행될 수 있다. 진단 프로세스는 전술한 진단 서버에서 수행될 수 있다. 진단 프로세스는 전술한 진단 장치의 제어부에서 수행될 수 있다. 진단 프로세스는 전술한 진단부의 진단 모듈에 의하여 수행될 수 있다. According to an embodiment, a diagnosis process using a trained neural network model may be initiated. The diagnostic process may be performed in the aforementioned diagnostic device. The diagnosis process may be performed in the aforementioned diagnosis server. The diagnosis process may be performed by the control unit of the aforementioned diagnosis device. The diagnosis process may be performed by the diagnosis module of the diagnosis unit described above.

도 20은 일 실시 예에 따른 진단 프로세스를 설명하기 위한 도면이다. 도 20을 참조하면, 진단 프로세스는 진단 대상 데이터를 획득(S2010)하고, 학습된 신경망 모델을 이용하여(S2030), 획득된 진단 대상 데이터에 대응되는 결과를 획득하여 수행(S2050)될 수 있다. 다만, 데이터의 가공은 선택적으로 수행될 수 있다. 20 is a diagram for describing a diagnosis process according to an exemplary embodiment. Referring to FIG. 20 , the diagnosis process may be performed by obtaining diagnosis subject data (S2010), using a learned neural network model (S2030), and obtaining a result corresponding to the acquired diagnosis subject data (S2050). However, data processing may be selectively performed.

이하에서는 도 20을 참조하여, 진단 프로세스의 각 단계에 대하여 설명한다. Hereinafter, referring to FIG. 20 , each step of the diagnosis process will be described.

1.3.4.1 데이터 입력1.3.4.1 data entry

일 실시 예에 따르면, 진단 모듈은 진단 대상 데이터를 획득할 수 있다. 획득된 데이터는, 전술한 바와 같이 가공된 데이터일 수 있다. 일 예로, 획득된 데이터는 사이즈가 조절되고 혈관이 강조되도록 하는 전처리가 적용된 피검자의 안저 이미지 데이터일 수 있다. 일 실시 예에 따르면, 하나의 피검자의 좌안 이미지 및 우안 이미지는 함께 진단 대상 데이터로 입력될 수 있다. According to an embodiment, the diagnosis module may obtain diagnosis target data. The acquired data may be processed data as described above. For example, the obtained data may be fundus image data of a subject to which a size is adjusted and preprocessing is applied to emphasize blood vessels. According to an embodiment, a left eye image and a right eye image of one subject may be input together as diagnosis target data.

1.3.4.2 데이터 분류1.3.4.2 data classification

분류기 형태로 마련된 진단 보조 신경망 모델은 입력된 진단 대상 이미지를 소정의 라벨에 대하여 긍정 또는 부정 클래스로 분류할 수 있다. The diagnosis assistant neural network model prepared in the form of a classifier may classify the input diagnosis target image into a positive or negative class with respect to a predetermined label.

학습된 진단 보조 신경망 모델은 진단 대상 데이터를 입력받고, 예측되는 라벨을 출력할 수 있다. 학습된 진단 보조 신경망 모델은 진단 보조 정보의 예측값을 출력할 수 있다. 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 보조 정보는 예측되는 라벨에 기초하여 결정될 수 있다.The trained diagnosis assistant neural network model may receive diagnosis target data and output a predicted label. The trained diagnostic assisting neural network model may output predicted values of diagnostic assisting information. Diagnostic assistance information may be obtained using the learned diagnosis assistance neural network model. Diagnostic auxiliary information may be determined based on the predicted label.

예를 들어, 진단 보조 신경망 모델은 피검체의 안질환 또는 전신 질환에 대한 진단 정보(즉, 질병의 유무에 대한 정보) 또는 소견 정보(즉, 이상 소견의 유무에 대한 정보)를 예측할 수 있다. 이때, 진단 정보 또는 소견 정보는 확률 형태로 출력될 수 있다. 예컨대, 피검체가 특정 질병을 보유할 확률 또는 피검체의 안저 이미지체 특정 이상 소견이 있을 확률이 출력될 수 있다. 분류기 형태로 마련된 진단 보조 신경망 모델을 이용하는 경우에, 예측되는 라벨은 출력되는 확률값(또는 예측 점수)이 임계값을 초과하는지 여부를 고려하여 결정될 수 있다.For example, the diagnosis-assisted neural network model may predict diagnosis information (ie, information on the presence or absence of a disease) or finding information (ie, information on the presence or absence of an abnormal finding) of an eye disease or systemic disease of a subject. At this time, diagnosis information or finding information may be output in a probability form. For example, a probability that the subject has a specific disease or a probability that the subject has a specific abnormality in the fundus image object may be output. In the case of using a diagnosis assistant neural network model prepared in the form of a classifier, a predicted label may be determined by considering whether an output probability value (or prediction score) exceeds a threshold value.

구체적인 예로, 진단 보조 신경망 모델은 피검체의 안저 사진을 진단 대상 이미지로 하여, 피검체의 당뇨 망막증 유무를 확률값으로 출력할 수 있다. 1을 정상으로 하는 분류기 형태의 진단 보조 신경망 모델을 이용하는 경우, 피검체의 안저 사진을 진단 보조 신경망 모델에 입력하고, 피검체의 당뇨 망막증 보유 여부에 대하여, 정상: 비정상의 확률 값을 0.74:0.26 등의 형태로 획득할 수 있다.As a specific example, the diagnosis assistant neural network model may output whether or not the subject has diabetic retinopathy as a probability value by using a fundus photograph of the subject as a diagnosis target image. In the case of using a diagnosis-assisted neural network model in the form of a classifier in which 1 is normal, the subject's fundus photograph is input to the diagnosis-assisted neural network model, and the probability value of normal: abnormal is 0.74:0.26 with respect to whether or not the subject has diabetic retinopathy. can be obtained in the form of

여기에서는 분류기 형태의 진단 보조 신경망 모델을 이용하여 데이터를 분류하는 경우를 기준으로 설명하였으나, 일 실시 예가 이에 한정되지는 아니하며, 회귀 모델 형태로 구현된 진단 보조 신경망 모델을 이용하여 특정한 진단 보조 수치(예컨대, 혈압 등)를 예측할 수도 있다.Here, the description has been made based on the case of classifying data using a diagnostic assisting neural network model in the form of a classifier, but an embodiment is not limited thereto, and a specific diagnostic assisting value ( For example, blood pressure, etc.) may be predicted.

일 실시 예의 다른 일 실시 예에 따르면, 이미지의 적합성 정보가 획득될 수 있다. 적합성 정보는 진단 대상 이미지가 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하기에 적합한지 여부를 나타낼 수 있다. According to another embodiment of an embodiment, suitability information of an image may be obtained. The adequacy information may represent whether a diagnosis target image is suitable for obtaining diagnosis assistance information using a diagnosis assistance neural network model.

이미지의 적합성 정보는 이미지의 품질 정보일 수 있다. 품질 정보 또는 적합성 정보는, 진단 대상 이미지가 기준 레벨에 미치는지 여부를 나타낼 수 있다. The suitability information of the image may be quality information of the image. The quality information or suitability information may indicate whether the image to be diagnosed meets the reference level.

예컨대, 진단 대상 이미지가 촬영 장비의 결함 또는 촬영시 조명의 영향 등으로 인하여 결함을 가지는 경우, 해당 진단 대상 이미지에 대하여는 적합성 정보로서 부적합 결과가 출력될 수 있다. 진단 대상 이미지에 노이즈가 일정 수준 이상 포함된 경우, 그 진단 대상 이미지는 부적합한 것으로 판단될 수 있다.For example, when an image to be diagnosed has a defect due to a defect in a photographing device or an effect of lighting during photographing, an unsuitable result may be output as suitability information for the image to be diagnosed. If the image to be diagnosed contains noise at a certain level or more, the image to be diagnosed may be determined to be unsuitable.

적합성 정보는 신경망 모델을 이용하여 예측된 값일 수 있다. 또는, 적합성 정보는 별도의 이미지 분석 프로세스를 통하여 획득된 정보일 수 있다.The suitability information may be a value predicted using a neural network model. Alternatively, suitability information may be information obtained through a separate image analysis process.

일 실시 예에 따르면, 이미지가 부적합한 것으로 분류된 경우에도, 부적합한 이미지에 기초하여 획득된 진단 보조 정보가 획득될 수 있다.According to an embodiment, even when the image is classified as unsuitable, diagnosis auxiliary information obtained based on the unsuitable image may be obtained.

일 실시 예에 따르면, 부적합한 것으로 분류된 이미지는 진단 보조 신경망 모델에 의하여 재검토될 수 있다.According to an embodiment, an image classified as unsuitable may be reviewed by a diagnosis assisting neural network model.

이때, 재검토를 수행하는 진단 보조 신경망 모델은, 최초 검토를 수행하는 진단 보조 신경망 모델과 상이할 수 있다. 예를 들어, 진단 장치는 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 저장하고, 제1 진단 보조 신경망 모델을 통하여 부적합한 것으로 분류된 이미지는 제2 진단 보조 신경망 모델을 통하여 검토될 수 있다.In this case, the diagnosis assisting neural network model performing the review may be different from the diagnosis assisting neural network model performing the initial review. For example, the diagnosis apparatus may store a first diagnosis assistance neural network model and a second diagnosis assistance neural network model, and an image classified as unsuitable through the first diagnosis assistance neural network model may be reviewed through the second diagnosis assistance neural network model. .

일 실시 예의 또 다른 일 실시 예에 따르면, 학습된 신경망 모델로부터 CAM(Class Activation Map)이 획득될 수 있다. 진단 보조 정보는 CAM을 포함할 수 있다. CAM은 다른 진단 보조 정보와 함께 획득될 수 있다.According to another embodiment of an embodiment, a class activation map (CAM) may be obtained from a learned neural network model. Diagnostic auxiliary information may include CAM. CAM can be acquired along with other diagnostic aid information.

CAM의 경우, 선택적으로 획득될 수 있다. 예를 들어, CAM의 경우, 진단 보조 모델에 의하여 획득된 진단 정보 또는 소견 정보가 비정상 클래스로 분류된 경우에 CAM이 추출 및/또는 출력될 수 있다.In the case of CAM, it can be obtained selectively. For example, in the case of CAM, when diagnosis information or finding information obtained by a diagnosis assistance model is classified as an abnormal class, the CAM may be extracted and/or output.

1.3.5 진단 보조 정보의 출력1.3.5 Output of diagnostic aid information

진단 보조 정보는, 진단 보조 신경망 모델로부터 예측된 라벨에 기초하여 결정될 수 있다. Diagnostic assistance information may be determined based on a label predicted from a diagnosis assistance neural network model.

진단 보조 정보의 출력은 전술한 진단부의 출력 모듈에 의하여 수행될 수 있다. 진단 보조 정보는 진단 장치로부터 클라이언트 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치로부터 서버 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치 또는 진단 서버에 저장될 수 있다. 진단 보조 정보는 별도로 마련된 서버 장치 등에 저장될 수 있다.Output of diagnostic auxiliary information may be performed by the above-described output module of the diagnosis unit. Diagnostic auxiliary information may be output from the diagnostic device to the client device. Diagnostic auxiliary information may be output from the diagnostic device to the server device. Diagnostic auxiliary information may be stored in a diagnostic device or a diagnostic server. Diagnostic auxiliary information may be stored in a separately prepared server device or the like.

진단 보조 정보는 데이터베이스화 되어 관리될 수 있다. 예컨대, 획득된 진단 보조 정보는 피검체의 식별 번호에 따라 해당 피검체의 진단 대상 이미지와 함께 저장 및 관리될 수 있다. 이때, 피검체의 진단 대상 이미지 및 진단 보조 정보는 시간 순서에 따라 관리될 수 있다. 진단 보조 정보 및 진단 대상 이미지를 시계열적으로 관리함으로써, 개인별 진단 정보의 추적 및 이력 관리가 용이해질 수 있다.Diagnostic auxiliary information can be managed as a database. For example, the acquired diagnostic auxiliary information may be stored and managed along with a diagnosis target image of a corresponding subject according to an identification number of the subject. In this case, the diagnosis target image and diagnosis auxiliary information of the subject may be managed according to a chronological order. By managing diagnosis auxiliary information and diagnosis target images in a time-series manner, tracking and history management of individual diagnosis information may be facilitated.

진단 보조 정보는 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치에 마련된 시각적 또는 청각적 출력 수단을 통하여 사용자가 인지할 수 있도록 출력될 수 있다. Diagnostic auxiliary information may be provided to the user. Diagnostic auxiliary information may be provided to a user through an output means of a diagnostic device or a client device. The diagnostic auxiliary information may be output so that the user can recognize it through a visual or auditory output means provided in the diagnosis device or the client device.

일 실시 예에 따르면, 사용자에게 진단 보조 정보를 효과적으로 제공하기 위한 인터페이스가 제공될 수 있다. 이러한 사용자 인터페이스와 관련하여서는 후술하는 5. 사용자 인터페이스 에서 보다 상세히 설명한다.According to an embodiment, an interface for effectively providing diagnostic assistance information to a user may be provided. This user interface will be described in more detail in 5. User Interface to be described later.

신경망 모델에 의하여 CAM이 획득된 경우, CAM의 이미지가 함께 제공될 수 있다. CAM 이미지의 경우 선택적으로 제공될 수 있다. 예컨대, 진단 보조 신경망 모델을 통하여 획득된 진단 정보가 정상 소견 정보 또는 정상 진단 정보인 경우 CAM 이미지를 제공하지 않고, 획득된 진단 정보가 비정상 소견 정보 또는 비정상 진단 정보인 경우, 보다 정확한 임상 진단을 위하여 CAM 이미지가 함께 제공될 수 있다.When the CAM is acquired by the neural network model, an image of the CAM may be provided together. In the case of CAM images, it can be provided selectively. For example, when the diagnostic information obtained through the diagnostic assistant neural network model is normal finding information or normal diagnosis information, CAM images are not provided, and when the acquired diagnostic information is abnormal finding information or abnormal diagnosis information, for more accurate clinical diagnosis CAM images may be provided.

이미지가 부적합한 것으로 분류된 경우, 이미지의 적합성 정보가 함께 제공될 수 있다. 일 예로, 이미지가 부적합한 것으로 분류된 경우, 해당 이미지에 따라 획득된 진단 보조 정보 및 부적합 판정 정보가 함께 제공될 수 있다. When an image is classified as unsuitable, suitability information of the image may be provided together. For example, when an image is classified as unsuitable, auxiliary diagnosis information and unsuitability determination information obtained according to the corresponding image may be provided together.

부적합한 것으로 판정된 진단 대상 이미지는 재촬영 대상 이미지로 분류될 수도 있다. 이때, 재촬영 대상으로 분류된 이미지의 대상 객체에 대한 재촬영 안내가 적합성 정보와 함께 제공될 수 있다.An image to be diagnosed that is determined to be unsuitable may be classified as an image to be recaptured. At this time, a recapture guide for a target object of an image classified as a recapture target may be provided together with suitability information.

한편, 신경망 모델을 통하여 획득된 진단 보조 정보를 제공하는 것에 응답하여, 신경망 모델의 학습과 관련된 피드백이 획득될 수 있다. 예컨대, 신경망 모델의 학습과 관련된 파라미터 또는 하이퍼 파라미터를 조정하기 위한 피드백이 획득될 수 있다. 피드백은 진단 장치 또는 클라이언트 장치에 마련된 사용자 입력부를 통하여 획득될 수 있다.Meanwhile, in response to providing diagnostic assistance information obtained through the neural network model, feedback related to learning of the neural network model may be obtained. For example, feedback for adjusting parameters or hyperparameters related to learning of a neural network model may be obtained. Feedback may be obtained through a user input unit provided in a diagnosis device or a client device.

일 실시 예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 신경망 모델이 다중 분류를 수행하는 분류기 모델인 경우, 등급 정보는 진단 대상 이미지가 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 신경망 모델이 특정 질병과 관련된 수치를 출력하는 회귀 모델인 경우, 등급 정보는 출력되는 수치를 고려하여 결정될 수 있다.According to an embodiment, diagnosis auxiliary information corresponding to a diagnosis target image may include rating information. Grade information may be selected from among a plurality of grades. The rating information may be determined based on diagnosis information and/or finding information obtained through a neural network model. Rating information may be determined in consideration of suitability information or quality information of an image to be diagnosed. If the neural network model is a classifier model that performs multi-classification, class information may be determined in consideration of a class in which an image to be diagnosed is classified by the neural network model. If the neural network model is a regression model that outputs a numerical value related to a specific disease, grade information may be determined in consideration of the output numerical value.

예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다. 또는, 등급 정보는, 신경망 모델을 통하여 획득된 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.For example, the diagnosis auxiliary information acquired corresponding to the diagnosis target image may include first grade information or second grade information selected from among grade information. The grade information may be selected as first grade information when abnormal finding information or abnormal diagnosis information is obtained through a neural network model. The grade information may be selected as second grade information when abnormal finding information or abnormal diagnosis information is not obtained through the neural network model. Alternatively, the grade information may be selected as first grade information when the numerical value obtained through the neural network model exceeds the reference value, and may be selected as second grade information when the obtained numerical value is less than the reference value. Compared to the second level information, the first level information may indicate that there is strong abnormal information in the diagnosis target image.

한편, 등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.Meanwhile, the grade information may be selected as third grade information when it is determined that the quality of the image to be diagnosed is below the standard by using image analysis or a neural network model. Alternatively, the diagnosis auxiliary information may include the third level information together with the first or second level information.

진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.When the diagnostic auxiliary information includes the first level information, the first user guide may be output through an output unit. The first user guidance may indicate that a more precise examination is required for the subject (ie, the patient) corresponding to the diagnostic auxiliary information. For example, the first user guidance may indicate that a second diagnosis (eg, a diagnosis at a separate medical institution or a referral procedure) is required for the subject. Alternatively, the first user guidance may instruct treatment required for the subject. As a specific example, when abnormal information on the subject's macular degeneration is acquired by means of the auxiliary diagnosis information, the first user guidance is guidance on injection prescriptions and transfer procedures for the subject (for example, in a hospital where transfer is possible). list) may be included.

진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다. When the diagnostic assistance information includes the second grade information, the second user guide may be output through the output unit. The second user guide may include a future management plan for the subject corresponding to the diagnostic assistance information. For example, the second user guidance may indicate the next medical examination time and the next medical treatment subject for the subject.

진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.When the information to be diagnosed includes the third level information, the third user guide may be output through the output unit. The third user guide may indicate that re-capturing of the image to be diagnosed is required. The third user guide may include information about the quality of an image to be diagnosed. For example, the third user guide may include information on defects existing in the image to be diagnosed (eg, whether there are bright artifacts or dark artifacts or the degree thereof).

1.4 복수 라벨에 대한 진단 보조 시스템1.4 Diagnostic aid system for multiple labels

일 실시 예에 따르면, 복수 라벨(예컨대, 복수의 진단 보조 정보)에 대하여 예측하기 위한 진단 보조 시스템이 제공될 수 있다. 이를 위하여, 전술한 진단 보조 시스템의 진단 보조 신경망을 복수의 라벨에 대하여 예측하도록 설계할 수 있다.According to an embodiment, a diagnosis assistance system for predicting for multiple labels (eg, a plurality of diagnosis assistance information) may be provided. To this end, the diagnostic assisting neural network of the aforementioned diagnostic assisting system may be designed to predict a plurality of labels.

또는, 위와 전술한 진단 보조 시스템에 있어서, 서로 다른 라벨에 대하여 예측하는 복수의 진단 보조 신경망이 병렬적으로 이용될 수 있다. Alternatively, in the diagnosis assistance system described above, a plurality of diagnosis assistance neural networks predicting different labels may be used in parallel.

이하에서는, 이러한 병렬 진단 보조 시스템에 대하여 설명한다. Hereinafter, this parallel diagnosis assistance system will be described.

1.4.1 병렬 진단 보조 시스템 구성 1.4.1 Parallel diagnostic aid system configuration

일 실시 예에 따르면, 복수의 진단 보조 정보를 획득하기 위한 병렬 진단 보조 시스템이 제공될 수 있다. 병렬 진단 보조 시스템은 복수의 진단 보조 정보를 획득하기 위한 복수의 신경망 모델을 학습시키고, 학습된 복수의 신경망 모델을 이용하여 복수의 진단 보조 정보를 획득할 수 있다.According to an embodiment, a parallel diagnosis assistance system for acquiring a plurality of pieces of diagnosis assistance information may be provided. The parallel diagnostic assistance system may learn a plurality of neural network models for acquiring a plurality of diagnostic assistance information and obtain a plurality of diagnosis assistance information using the learned plurality of neural network models.

예컨대, 병렬 진단 보조 시스템은 안저 이미지에 기초하여, 피검체의 안질환 유무와 관련된 제1 진단 보조 정보를 획득하는 제1 신경망 모델 및 피검체의 전신 질환 유무와 관련된 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습시키고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 피검체의 안질환 유무 및 전신 질환 유무에 관한 진단 보조 정보를 출력할 수 있다. For example, the parallel diagnosis assistance system may include a first neural network model for obtaining first diagnosis assistance information related to the presence or absence of an eye disease of a subject and second diagnosis assistance information related to the presence or absence of a systemic disease of a subject based on an ocular fundus image. The second neural network model may be trained, and auxiliary diagnosis information regarding the presence or absence of an eye disease and systemic disease of the subject may be output using the learned first neural network model and the second neural network model.

도 21 및 22는 일 실시 예의 몇몇 실시 예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다. 도 21 및 22를 참조하면, 병렬 진단 보조 시스템은 복수의 학습부를 포함할 수 있다.21 and 22 are diagrams for explaining a parallel diagnosis assistance system according to some exemplary embodiments. Referring to FIGS. 21 and 22 , the parallel diagnosis assistance system may include a plurality of learning units.

도 21을 참조하면, 일 실시 예에 따른 병렬 진단 보조 시스템(30)은 학습 장치(1000), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 이때, 학습 장치(1000)는 복수의 학습부를 포함할 수 있다. 예를 들어, 학습 장치(1000)는 제1 학습부(100a) 및 제2 학습부(100b)를 포함할 수 있다. Referring to FIG. 21 , the parallel diagnosis assistance system 30 according to an embodiment may include a learning device 1000, a diagnosis device 2000, and a client device 3000. At this time, the learning device 1000 may include a plurality of learning units. For example, the learning device 1000 may include a first learning unit 100a and a second learning unit 100b.

도 22를 참조하면, 일 실시 예에 따른 병렬 진단 보조 시스템(40)은 제1 학습 장치(1000a), 제2 학습 장치(1000b), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 제1 학습 장치(1000a)는 제1 학습부(100a)를 포함할 수 있다. 제2 학습 장치(1000b)는 제2 학습부(100b)를 포함할 수 있다. Referring to FIG. 22 , the parallel diagnosis assistance system 40 according to an embodiment may include a first learning device 1000a, a second learning device 1000b, a diagnosis device 2000, and a client device 3000. there is. The first learning device 1000a may include a first learning unit 100a. The second learning device 1000b may include a second learning unit 100b.

도 21 및 22를 참조하면, 제1 학습부(100a)는 제1 데이터 세트를 획득하고, 제1 신경망 모델에 대하여 학습 결과 얻어진 제1 신경망 모델의 제1 파라미터 세트를 출력할 수 있다. 제2 학습부(100b)는 제2 데이터 세트를 획득하고, 제2 신경망 모델에 대하여 학습 결과 얻어진 제2 신경망 모델의 제2 파라미터 세트를 출력할 수 있다. Referring to FIGS. 21 and 22 , the first learning unit 100a may obtain a first data set and output a first parameter set of the first neural network model obtained as a result of learning the first neural network model. The second learning unit 100b may obtain a second data set and output a second parameter set of the second neural network model obtained as a result of learning the second neural network model.

진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단 장치(2000) 및 진단부(200)에 대하여는 도 1과 관련하여 설명한 내용이 유사하게 적용될 수 있다. 진단부(200)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 각각 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다. 진단부(2000)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 획득한 학습된 제1 신경망 모델의 파라미터 및 학습된 제2 신경망 모델의 파라미터를 저장할 수 있다.The diagnosis device 2000 may include a diagnosis unit 200 . The description of FIG. 1 may be similarly applied to the diagnosis device 2000 and the diagnosis unit 200 . The diagnosis unit 200 obtains first diagnosis assistance information and second diagnosis assistance information by using the first and second neural network models learned from the first learning unit 100a and the second learning unit 100b, respectively. can do. The diagnosis unit 2000 may store the learned parameters of the first neural network model and the learned parameters of the second neural network model obtained from the first learning unit 100a and the second learning unit 100b.

클라이언트 장치(3000)는 데이터 획득부 예컨대, 촬상부(300)를 포함할 수 있다. 다만, 촬상부(300)는 기타 진단 보조 정보의 획득에 이용되는 데이터의 획득 수단으로 대체될 수 있다. 클라이언트 장치는 진단 장치로 진단 요청 및 진단 대상 데이터(예컨대, 촬상부로부터 획득된 안저 이미지)를 전송할 수 있다. 클라이언트 장치(3000)는 진단 요청을 전송하는 것에 응답하여, 진단 장치로부터, 전송한 진단 대상 데이터에 따른 복수의 진단 보조 정보를 획득할 수 있다.The client device 3000 may include a data acquisition unit, for example, the imaging unit 300 . However, the imaging unit 300 may be replaced with other means for acquiring data used for acquiring diagnostic auxiliary information. The client device may transmit a diagnosis request and diagnosis target data (eg, an fundus image obtained from an imaging unit) to the diagnosis device. In response to transmitting the diagnosis request, the client device 3000 may obtain a plurality of pieces of diagnostic auxiliary information according to the transmitted diagnosis target data from the diagnosis device.

한편, 도 21 및 22에서는 진단 보조 시스템(40)이 제1 학습부(100a) 및 제2 학습부(100b)를 포함하는 경우를 기준으로 설명하였으나, 일 실시 예의 내용이 이에 한정되는 것은 아니다. 일 실시 예의 다른 실시 예에 따르면, 학습 장치는 3개 이상의 서로 다른 진단 보조 정보를 획득하는 학습부를 포함할 수 있다. 또는, 진단 보조 시스템은 서로 다른 진단 보조 정보를 획득하는 복수의 학습 장치를 포함할 수도 있다.Meanwhile, in FIGS. 21 and 22 , the case in which the diagnosis assistance system 40 includes the first learning unit 100a and the second learning unit 100b has been described, but the content of an embodiment is not limited thereto. According to one embodiment of another embodiment, the learning device may include a learning unit that acquires three or more different types of diagnostic assistance information. Alternatively, the diagnosis assistance system may include a plurality of learning devices that acquire different diagnosis assistance information.

학습 장치, 진단 장치 및 클라이언트 장치의 보다 구체적인 동작에 대하여는 이하에서 보다 상세하게 설명하기로 한다.More specific operations of the learning device, the diagnosis device, and the client device will be described in more detail below.

1.4.2 병렬 트레이닝 프로세스1.4.2 Parallel training process

일 실시 예에 따르면, 복수의 신경망 모델이 학습될 수 있다. 각각의 신경망 모델을 학습하는 트레이닝 프로세스는 병렬적으로 수행될 수 있다. According to an embodiment, a plurality of neural network models may be learned. The training process of learning each neural network model can be performed in parallel.

1.4.2.1 병렬 학습부1.4.2.1 Parallel learning department

트레이닝 프로세스는 복수의 학습부에 의해 수행될 수 있다. 각각의 트레이닝 프로세스는 서로 독립적으로 수행될 수 있다. 복수의 학습부는 하나의 학습 장치에 마련되거나 복수의 학습 장치에 각각 마련될 수 있다. The training process may be performed by a plurality of learning units. Each training process can be performed independently of each other. A plurality of learning units may be provided in one learning device or provided in each of a plurality of learning devices.

도 23은 일 실시 예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다. 제1 학습부(100a) 및 제2 학습부(100b) 각각의 구성 및 동작은 도 9와 관련하여 전술한 것과 유사하게 구현될 수 있다.23 is a diagram for explaining a configuration of a learning device including a plurality of learning units according to an exemplary embodiment. Configurations and operations of each of the first learning unit 100a and the second learning unit 100b may be implemented similarly to those described above with respect to FIG. 9 .

도 23을 참조하면, 일 실시 예에 따른 신경망 모델의 프로세스는, 제1 데이터 가공 모듈(110a), 제1 큐 모듈(130a), 제1 학습 모듈(150a) 및 제1 학습 결과 획득 모듈(170a)을 포함하는 제1 학습부(100a) 및 제2 데이터 가공 모듈(110b), 제2 큐 모듈(130b), 제2 학습 모듈(150b) 및 제2 학습 결과 획득 모듈(170b)을 포함하는 제2 학습부(100b)를 포함하는 학습 장치(1000)에 의하여 수행될 수 있다.Referring to FIG. 23 , the neural network model process according to an embodiment includes a first data processing module 110a, a first queue module 130a, a first learning module 150a, and a first learning result acquisition module 170a. ) and a second data processing module 110b, a second queue module 130b, a second learning module 150b, and a second learning result acquisition module 170b. 2 It can be performed by the learning device 1000 including the learning unit 100b.

도 23을 참조하면, 일 실시 예에 따른 신경망 모델의 트레이닝 프로세스는 제1 학습부(100a) 및 제2 학습부(100b)에 의하여 각각 수행될 수 있다. 제1 학습부(100a) 및 제2 학습부(100b)는 독립적으로 제1 신경망 모델 및 제2 신경망 모델의 학습을 수행할 수 있다. 도 23을 참조하면, 제1 학습부(100a) 및 제2 학습부(100b)는 전술한 학습 장치 내에 마련될 수 있다. 또는, 제1 학습부 및 제2 학습부는 서로 다른 학습 장치 내에 마련될 수도 있다.Referring to FIG. 23 , a training process of a neural network model according to an embodiment may be performed by a first learning unit 100a and a second learning unit 100b, respectively. The first learning unit 100a and the second learning unit 100b may independently perform learning of the first neural network model and the second neural network model. Referring to FIG. 23 , the first learning unit 100a and the second learning unit 100b may be provided in the aforementioned learning device. Alternatively, the first learning unit and the second learning unit may be provided in different learning devices.

1.4.2.2 병렬 데이터 획득1.4.2.2 Parallel Data Acquisition

일 실시 예에 따르면, 복수의 학습부는 데이터를 획득할 수 있다. 복수의 학습부는 서로 다른 데이터 세트를 획득할 수 있다. 또는, 복수의 학습부는 동일한 데이터 세트를 획득할 수도 있다. 경우에 따라, 복수의 학습부는 일부가 공통되는 데이터 세트를 획득할 수도 있다. 데이터 세트는 안저 이미지 데이터 세트일 수 있다. According to an embodiment, a plurality of learning units may obtain data. A plurality of learning units may acquire different data sets. Alternatively, a plurality of learning units may acquire the same data set. In some cases, a plurality of learning units may obtain a data set with a part in common. The data set may be a fundus image data set.

제1 학습부는 제1 데이터 세트를 획득하고, 제2 학습부는 제2 데이터 세트를 획득할 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 구별될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 일부 공통될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 라벨링된 안저 이미지 데이터 세트일 수 있다.The first learning unit may acquire a first data set, and the second learning unit may obtain a second data set. A first data set and a second data set can be distinguished. The first data set and the second data set may have some commonalities. The first data set and the second data set may be labeled fundus image data sets.

제1 데이터 세트는 제1 특징에 대하여 정상(normal)으로 라벨링된 데이터 및 제1 특징에 대하여 비정상(abnormal)으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.The first data set may include data labeled as normal for the first characteristic and data labeled as abnormal for the first characteristic. For example, the first data set may include fundus images labeled as normal and fundus images labeled as abnormal, with respect to lens opacities.

제2 데이터 세트는 (제1 특징과 구별되는)제2 특징에 대하여 정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제2 데이터 세트는 당뇨 망막증과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.The second data set may include data labeled normal for a second characteristic (distinct from the first characteristic) and data labeled abnormal for the second characteristic. For example, the second data set may include fundus images labeled as normal and fundus images labeled as abnormal, with respect to diabetic retinopathy.

제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 정상으로 라벨링된 데이터 세트 및 제2 특징에 대하여 정상으로 라벨링된 데이터는 공통될 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하고, 제2 데이터 세트는 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하되, 제1 데이터 세트에 포함된 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 제2 데이터 세트에 포함된 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지는 공통될 수 있다.Data sets labeled as normal for the first feature and data labeled as normal for the second feature included in each of the first data set and the second data set may be common. For example, a first data set includes fundus images labeled as normal and fundus images labeled as abnormal with respect to lens opacities, and a second data set includes fundus images labeled as normal and abnormal with respect to diabetic retinopathy. The fundus images labeled as normal with respect to lens opacity included in the first data set and the fundus images labeled as normal with respect to diabetic retinopathy included in the second data set will have a common can

또는, 제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 비정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터가 공통될 수도 있다. 즉, 복수 특징에 대하여 라벨링된 데이터가 복수 특징에 대한 신경망 모델의 학습에 이용될 수도 있다.Alternatively, data labeled as abnormal for the first feature and data labeled as abnormal for the second feature included in each of the first data set and the second data set may be common. That is, data labeled for multiple features may be used to learn a neural network model for multiple features.

한편, 제1 데이터 세트는 제1 방법으로 촬영된 안저 이미지 데이터 세트이고, 제2 데이터 세트는 제2 방법으로 촬영된 안저 이미지 데이터 세트일 수 있다. 제1 방법 및 제2 방법은 레드프리 촬영, 파노라마 촬영, 자가형광 촬영, 적외선 촬영 등으로부터 선택된 어느 하나의 방법일 수 있다.Meanwhile, the first data set may be a fundus image data set taken by the first method, and the second data set may be a fundus image data set taken by the second method. The first method and the second method may be any method selected from red-free imaging, panoramic imaging, autofluorescence imaging, and infrared imaging.

각 학습부에서 이용되는 데이터 세트는, 학습되는 신경망에 의하여 획득되는 진단 보조 정보를 고려하여 결정될 수 있다. 예를 들어, 제1 학습부는 망막 이상 소견(예를 들어, 미세혈관류, 삼출물 등)과 관련된 진단 보조 정보를 획득하고자 하는 제1 신경망 모델을 학습시키는 경우, 레드프리 촬영된 제1 안저 이미지 데이터 세트를 획득할 수 있다. 또는, 제2 학습부는 황반 변성과 관련된 진단 보조 정보를 획득하고자 하는 제2 신경망 모델을 학습시키는 경우, 자가형광 촬영된 제2 안저 이미지 데이터 세트를 획득할 수 있다.A data set used in each learning unit may be determined in consideration of diagnostic assistance information acquired by a neural network to be trained. For example, when the first learning unit trains a first neural network model for acquiring diagnosis auxiliary information related to retinal abnormal findings (eg, microvascular flow, exudate, etc.), red-free photographed first fundus image data A set can be obtained. Alternatively, the second learning unit may acquire the autofluorescence-photographed second fundus image data set when learning the second neural network model for obtaining auxiliary diagnostic information related to macular degeneration.

1.4.2.3 병렬 데이터 가공1.4.2.3 Parallel Data Processing

복수의 학습부는 각각 획득된 데이터를 가공할 수 있다. 전술한 2.2 데이터 가공 프로세스 에서 설명한 것과 같이, 각각의 학습부는, 획득된 데이터에 대하여, 이미지 리사이징, 전처리 필터 적용, 이미지 증강 및 이미지 직렬화 프로세스 중 하나 이상을 적용하여 데이터를 가공할 수 있다. 제1 학습부의 제1 데이터 가공 모듈은 제1 데이터 세트를 가공하고, 제2 학습부의 제2 데이터 가공 모듈은 제2 데이터 세트를 가공할 수 있다. A plurality of learning units may process each acquired data. As described in 2.2 Data Processing Process, each learning unit may process data by applying one or more of image resizing, preprocessing filter application, image augmentation, and image serialization processes to the acquired data. The first data processing module of the first learning unit may process the first data set, and the second data processing module of the second learning unit may process the second data set.

복수의 학습부에 포함되는 제1 학습부 및 제2 학습부는 각각에 의해 학습되는 신경망 모델로부터 획득되는 진단 보조 정보를 고려하여 획득된 데이터 세트를 달리 가공할 수 있다. 예를 들어, 제1 학습부는 고혈압과 관련된 제1 진단 보조 정보를 획득하기 위한 제1 신경망 모델을 학습시키기 위하여, 제1 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 혈관이 강조되도록 하는 전처리를 수행할 수 있다. 또는, 제2 학습부는 망막의 삼출물, 미세 혈관 등의 이상 소견과 관련된 제2 진단 보조 정보를 획득하기 위한 제2 신경망 모델을 학습시키기 위하여, 제2 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 레드프리 이미지로 변환하는 전처리를 수행할 수도 있다.The first learning unit and the second learning unit included in the plurality of learning units may process the acquired data set differently in consideration of diagnostic assistance information obtained from the neural network model learned by each learning unit. For example, the first learning unit performs pre-processing for highlighting blood vessels in the fundus images included in the first fundus image data set in order to train a first neural network model for obtaining first diagnostic assistance information related to hypertension. can be done Alternatively, the second learning unit learns a second neural network model for acquiring second diagnostic aid information related to abnormal findings such as retinal exudates and microvessels with respect to fundus images included in the second fundus image data set. Pre-processing of converting the image into a red-free image may be performed.

1.4.2.4 병렬 큐1.4.2.4 parallel queue

복수의 학습부는 데이터를 큐에 저장할 수 있다. 전술한 2.2.6 큐 에서 설명한 것과 같이, 각각의 학습부는 처리된 데이터를 큐에 저장하고 학습 모듈로 전달할 수 있다. 예를 들어, 제1 학습부는 제1 데이터 세트를 제1 큐 모듈에 저장하고 제1 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다. 제2 학습 모듈은 제2 데이터 세트를 제2 큐 모듈에 저장하고 제2 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다.A plurality of learning units may store data in a queue. As described in 2.2.6 Queue, each learning unit can store processed data in a queue and deliver it to the learning module. For example, the first learning unit may store the first data set in the first queue module and sequentially or randomly provide the first data set to the first learning module. The second learning module may store the second data set in the second queue module and provide it sequentially or randomly to the second learning module.

1.4.2.5 병렬 학습 프로세스1.4.2.5 Parallel learning process

복수의 학습부는 신경망 모델을 학습시킬 수 있다. 각각의 학습 모듈은 트레이닝 데이터 세트를 이용하여 서로 다른 라벨에 대하여 예측하는 진단 보조 신경망 모델을 각각 독립적으로 학습시킬 수 있다. 제1 학습부의 제1 학습 모듈은 제1 신경망 모델을 학습시키고, 제2 학습부의 제2 학습 모듈은 제2 신경망 모듈을 학습시킬 수 있다. A plurality of learning units may train a neural network model. Each learning module may independently train diagnosis-assisted neural network models predicting different labels using a training data set. The first learning module of the first learning unit may train the first neural network model, and the second learning module of the second learning unit may train the second neural network module.

복수의 진단 보조 신경망 모델은 병렬적 및/또는 독립적으로 학습될 수 있다. 이와 같이 복수의 신경망 모델을 통하여 서로 다른 라벨에 대하여 예측하도록 모델을 학습시킴으로써, 각 라벨에 대한 예측 정확도가 향상되고, 예측 동작의 효율이 증가될 수 있다.A plurality of diagnostic assisting neural network models may be trained in parallel and/or independently. In this way, by training a model to predict different labels through a plurality of neural network models, prediction accuracy for each label can be improved and efficiency of prediction operation can be increased.

각각의 진단 보조 신경망 모델은 2.3.2 모델의 설계 에서 설명한 것과 유사하게 마련될 수 있다. 각각의 서브 학습 프로세스는 2.3.1 내지 2.3.5 에서 전술한 것과 유사하게 수행될 수 있다.Each diagnosis-assisted neural network model can be prepared similarly to that described in 2.3.2 Model design. Each sub-learning process can be performed similarly to that described above in 2.3.1 to 2.3.5.

일 실시 예에 따른 병렬 학습 프로세스는, 서로 다른 라벨을 예측하는 진단 보조 신경망 모델을 학습시키는 것을 포함할 수 있다. 제1 학습부는 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 제2 학습부는 제2 라벨을 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다. A parallel learning process according to an embodiment may include training diagnostic assisting neural network models that predict different labels. The first learning unit may train a first diagnosis assisting neural network model predicting the first label. The second learning unit may train a second diagnostic assisting neural network model predicting the second label.

제1 학습부는 제1 데이터 세트를 획득하고 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제1 학습부는 황반 변성 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 황반 변성 여부를 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다.The first learning unit may obtain a first data set and train a first diagnostic assisting neural network model predicting a first label. For example, the first learning unit may train a first diagnostic assistant neural network model that predicts macular degeneration or not of the subject from the fundus image by using the fundus image training data set labeled with respect to macular degeneration or not.

제2 학습부는 제2 데이터 세트를 획득하고 제2 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제2 학습부는 당뇨 망막증 해당 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 당뇨 망막증 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다.The second learning unit may acquire the second data set and train the first diagnostic assisting neural network model predicting the second label. For example, the second learning unit may train a second diagnostic assistant neural network model that predicts whether or not the subject has diabetic retinopathy, from the fundus image, using the fundus image training data set labeled with respect to diabetic retinopathy.

신경망 모델의 학습 프로세스에 대하여는 이하에서 도 24 및 25를 참조하여 보다 구체적으로 설명한다.The learning process of the neural network model will be described in more detail with reference to FIGS. 24 and 25 below.

도 24는 일 실시 예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 병렬 학습 프로세스는, 병렬 진단 보조 시스템이 도 21과 같이 구현된 경우, 도 22과 같이 구현된 경우 및 그 외의 형태로 구현된 경우 모두에 적용될 수 있다. 다만, 설명의 편의를 위하여, 이하에서는 도 21과 같이 구현된 병렬 진단 보조 시스템을 기준으로 설명한다.24 is a diagram for explaining a parallel learning process according to an embodiment. The parallel learning process can be applied to both cases where the parallel diagnosis assistance system is implemented as shown in FIG. 21, as shown in FIG. 22, and implemented in other forms. However, for convenience of description, the following will be described based on the parallel diagnosis assistance system implemented as shown in FIG. 21 .

도 24를 참조하면, 병렬 학습 프로세스는 서로 다른 라벨을 예측하는 복수의 진단 보조 신경망 모델을 각각 학습시키는 복수의 서브 학습 프로세스를 포함할 수 있다. 병렬 학습 프로세스는 제1 신경망 모델을 학습시키는 제1 서브 학습 프로세스 및 제2 신경망 모델을 학습시키는 제2 서브 학습 프로세스를 포함할 수 있다. Referring to FIG. 24 , the parallel learning process may include a plurality of sub-learning processes for respectively training a plurality of diagnosis-assisting neural network models predicting different labels. The parallel learning process may include a first sub-learning process for training a first neural network model and a second sub-learning process for training a second neural network model.

예컨대, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1010a), 제1 신경망 모델을 이용하고(S1030a), 제1 모델(즉, 제1 진단 보조 신경망 모델)을 검증하고(S1050a) 제1 신경망 모델의 파라미터를 획득(S1070a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1010b), 제2 신경망 모델을 이용하고(S1030b), 제2 신경망 모델을 검증(즉, 제2 진단 보조 신경망 모델)하고(S1050b) 제2 신경망 모델의 파라미터를 획득(S1070b)하여 수행될 수 있다.For example, the first sub-learning process acquires first data (S1010a), uses a first neural network model (S1030a), verifies the first model (ie, the first diagnosis assistant neural network model) (S1050a), and It may be performed by acquiring parameters of the neural network model (S1070a). The second sub-learning process acquires second data (S1010b), uses a second neural network model (S1030b), verifies the second neural network model (i.e., a second diagnosis-assisting neural network model) (S1050b), and second neural network (S1050b). It may be performed by acquiring parameters of the model (S1070b).

서브 학습 프로세스는 서브 신경망 모델에 트레이닝 데이터를 입력하고, 출력으로 얻어진 라벨 값을 입력 트레이닝 데이터와 비교하여 모델을 검증하고, 검증 결과를 다시 서브 신경망 모델에 반영함으로써 신경망 모델을 학습시키는 것을 포함할 수 있다.The sub-learning process may include training the neural network model by inputting training data to the sub-neural network model, verifying the model by comparing a label value obtained as an output with the input training data, and reflecting the validation result back to the sub-neural network model. there is.

각각의 서브 학습 프로세스는, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화하는 것을 포함할 수 있다. Each sub-learning process obtains a result value using a neural network model to which arbitrary weight values are assigned, compares the obtained result value with a label value of training data, performs backpropagation according to the error, and calculates the weight value. may include optimizing them.

각각의 서브 학습 프로세스에서, 진단 보조 신경망 모델은 트레이닝 데이터 세트와 구별되는 검증 데이터 세트를 통하여 검증될 수 있다. 제1 신경망 모델 및 제2 신경망 모델을 검증하기 위한 검증 데이터 세트는 구별될 수 있다. In each sub-learning process, the diagnosis assistant neural network model may be verified through a verification data set distinct from a training data set. Verification data sets for verifying the first neural network model and the second neural network model may be distinguished.

복수의 학습부는 학습 결과를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습 모듈로부터 학습된 신경망 모듈에 관한 정보를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습부로부터 학습된 신경망 모듈의 파라미터 값들을 획득할 수 있다. 제1 학습부의 제1 학습 결과 획득 모듈은 제1 학습 모듈로부터 학습된 제1 신경망 모델의 제1 파라미터 세트를 획득할 수 있다. 제2 학습부의 제2 학습 결과 획득 모듈은 제2 학습 모듈로부터 학습된 제2 신경망 모델의 제2 파라미터 세트를 획득할 수 있다.A plurality of learning units may acquire learning results. Each learning result obtaining module may acquire information about the learned neural network module from the learning module. Each learning result obtaining module may acquire parameter values of the neural network module learned from the learning unit. The first learning result obtaining module of the first learning unit may acquire the first parameter set of the first neural network model learned from the first learning module. The second learning result obtaining module of the second learning unit may obtain a second parameter set of the second neural network model learned from the second learning module.

각각의 서브 학습 프로세스에 의하여, 학습된 신경망 모델의 최적화된 파라미터 값들, 즉 파라미터 세트가 획득될 수 있다. 보다 많은 트레이닝 데이터 세트를 이용하여 학습을 진행함에 따라, 보다 적절한 파라미터 값들이 얻어질 수 있다.Optimized parameter values of the learned neural network model, that is, parameter sets may be obtained by each sub-learning process. As learning progresses using more training data sets, more appropriate parameter values can be obtained.

제1 서브 학습 프로세스에 의하여 학습된 제1 진단 보조 신경망 모델의 제1 파라미터 세트가 획득될 수 있다. 제2 서브 학습 프로세스에 의하여 학습된 제2 진단 보조 신경망 모델의 제2 파라미터 세트가 획득될 수 있다. 학습이 충분히 진행됨에 따라, 제1 진단 보조 신경망 모델의 및 제2 진단 보조 신경망 모델의 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다.A first parameter set of the first diagnosis assisting neural network model learned by the first sub-learning process may be obtained. A second parameter set of the second diagnostic assisting neural network model learned by the second sub-learning process may be obtained. As learning progresses sufficiently, optimized values of weights and/or biases of the first diagnostic assisting neural network model and the second diagnostic assisting neural network model may be obtained.

획득된 각 신경망 모델의 파라미터 세트는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 제1 진단 보조 신경망 모델의 제1 파라미터 세트 및 제2 진단 보조 신경망 모델의 제2 파라미터 세트는 함께 또는 따로 저장될 수 있다. 학습된 각 신경망 모델의 파라미터 세트는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.The acquired parameter set of each neural network model may be stored in a learning device and/or a diagnosis device (or server). The first parameter set of the first diagnostic assisting neural network model and the second parameter set of the second diagnostic assisting neural network model may be stored together or separately. The parameter set of each learned neural network model may be updated by feedback obtained from a diagnosis device or a client device.

1.4.2.6 병렬 앙상블 학습 프로세스1.4.2.6 Parallel Ensemble Learning Process

복수의 신경망 모델을 병렬적으로 학습시키는 경우에도, 전술한 앙상블 형태의 모델 학습이 이용될 수 있다. 각각의 서브 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다. 이하에서, 별다른 언급이 없는 한 2.3.7에서 설명한 내용이 유사하게 적용될 수 있다. Even when a plurality of neural network models are trained in parallel, the above-described ensemble model learning may be used. Each sub-learning process may include training a plurality of sub-neural network models. A plurality of sub-models may have different hierarchical structures. Hereinafter, the contents described in 2.3.7 may be similarly applied unless otherwise noted.

복수의 진단 보조 신경망 모델이 병렬적으로 학습되는 경우에, 각각의 진단 보조 신경망 모델을 학습시키는 서브 학습 프로세스 중 일부 서브 학습 프로세스는 단일 모델을 학습시키고, 일부 서브 학습 프로세스는 복수의 서브 모델을 함께 학습시키는 형태로 구현될 수도 있다.When a plurality of diagnostic assisting neural network models are trained in parallel, some sub-learning processes of the sub-learning processes for training each diagnostic assisting neural network model train a single model, and some sub-learning processes train a plurality of sub-models together. It may be implemented in the form of learning.

각 서브 학습 프로세스에서 앙상블을 이용하여 모델을 학습시킴에 따라, 각각의 서브 프로세스에서 보다 최적화된 신경망 모델의 형태를 획득하고, 예측의 오차가 감소될 수 있다.As the model is trained using an ensemble in each sub-learning process, a more optimized neural network model shape can be obtained in each sub-process, and prediction errors can be reduced.

도 25는 일 실시 예의 다른 일 실시 예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 도 25를 참조하면, 각 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다. 25 is a diagram for explaining a parallel learning process according to another exemplary embodiment. Referring to FIG. 25 , each learning process may include training a plurality of sub neural network models.

도 25를 참조하면, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1011a), 제 1-1 신경망 모델 및 제1-2 신경망 모델을 이용하고(S1031a, S1033a) 제 1-1 신경망 모델 및 제1-2 신경망 모델을 검증(S1051a)하여, 제1 신경망 모델의 최종 형태 및 그 파라미터를 결정(S1071a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1011b), 제 2-1 신경망 모델 및 제2-2 신경망 모델을 이용하고(S1031b, S1033b) 제 2-1 신경망 모델 및 제2-2 신경망 모델을 검증(S1051b)하여, 제1 모델(즉, 제1 진단 보조 신경망 모델)의 최종 형태 및 그 파라미터를 결정(S1071b)하여 수행될 수 있다.Referring to FIG. 25, the first sub-learning process acquires first data (S1011a), uses the 1-1 neural network model and the 1-2 neural network model (S1031a, S1033a), and obtains the 1-1 neural network model and It may be performed by verifying the 1-2 neural network model (S1051a) and determining the final shape and parameters of the first neural network model (S1071a). The second sub-learning process acquires second data (S1011b), uses the 2-1 neural network model and the 2-2 neural network model (S1031b, S1033b), and obtains the 2-1 neural network model and the 2-2 neural network model. It can be performed by verifying (S1051b) and determining the final shape and parameters of the first model (ie, the first diagnostic assisting neural network model) (S1071b).

제1 서브 학습 프로세스에서 학습되는 제1 신경망은 제1-1 신경망 모델, 제1-2 신경망 모델을 포함할 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 서로 다른 계층 구조로 마련될 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 제1 데이터 세트를 획득하고 예측되는 라벨을 각각 출력할 수 있다. 또는, 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블에 의한 예측되는 라벨을 최종 예측 라벨로 결정할 수 있다.The first neural network learned in the first sub-learning process may include a 1-1 neural network model and a 1-2 neural network model. The 1-1 neural network model and the 1-2 neural network model may have different hierarchical structures. The 1-1 neural network model and the 1-2 neural network model may acquire the first data set and output predicted labels, respectively. Alternatively, a label predicted by the ensemble of the 1-1 neural network model and the 1-2 neural network model may be determined as the final predicted label.

이때, 제1-1 신경망 모델 및 제1-2 신경망 모델을 검증 데이터 세트를 이용하여 검증하고, 정확도가 높은 신경망 모델을 최종 신경망 모델로 결정할 수 있다. 또는, 제1-1 신경망 모델, 제1-2 신경망 모델 및 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블을 검증하고, 그 중 정확도가 높은 경우의 신경망 모델 형태를 최종 제1 신경망 모델로 결정할 수도 있다.In this case, the 1-1 neural network model and the 1-2 neural network model may be verified using the verification data set, and a highly accurate neural network model may be determined as the final neural network model. Alternatively, the 1-1 neural network model, the 1-2 neural network model, and the ensemble of the 1-1 neural network model and the 1-2 neural network model are verified, and the shape of the neural network model in the case of high accuracy is selected as the final first neural network model. may be determined by the model.

제2 서브 학습 프로세스에 대하여도 마찬가지로, 제2-1 신경망 모델, 제2-2 신경망 모델 및 제2-1 신경망 모델, 제2-2 신경망 모델의 앙상블 중 정확도가 높은 형태의 신경망을 최종 제2 모델(즉, 제2 진단 보조 신경망 모델)로 결정할 수 있다.Similarly, for the second sub-learning process, a neural network having a high accuracy among the ensembles of the 2-1 neural network model, the 2-2 neural network model, and the 2-1 neural network model and the 2-2 neural network model is selected as the final second sub-learning process. model (ie, the second diagnostic assisting neural network model).

한편, 도 25에서는, 편의를 위하여 각 서브 학습 프로세스가 두 개의 서브 모델을 포함하는 경우를 기준으로 설명하였으나, 이는 예시에 불과하며, 일 실시 예가 이에 한정되지는 않는다. 각 서브 학습 프로세스에서 학습되는 신경망 모델은, 하나의 신경망 모델만을 포함하거나, 세 개 이상의 서브 모델을 포함할 수도 있다.Meanwhile, in FIG. 25, for convenience, a case in which each sub-learning process includes two sub-models has been described, but this is only an example, and an embodiment is not limited thereto. A neural network model learned in each sub-learning process may include only one neural network model or three or more sub-models.

1.4.3 병렬 진단 프로세스1.4.3 parallel diagnostic process

일 실시 예에 의하면, 복수의 진단 보조 정보를 획득하는 진단 프로세스가 제공될 수 있다. 복수의 진단 보조 정보를 획득하는 진단 프로세스는 서로 독립적인 복수의 진단 프로세스를 포함하는 병렬 진단 보조 프로세스 형태로 구현될 수 있다. According to an embodiment, a diagnosis process for acquiring a plurality of pieces of diagnostic auxiliary information may be provided. A diagnosis process for obtaining a plurality of auxiliary diagnostic information may be implemented in a form of a parallel diagnosis auxiliary process including a plurality of independent diagnostic processes.

1.4.3.1 병렬 진단부1.4.3.1 parallel diagnostics

일 실시 예에 따르면, 진단 보조 프로세스는 복수의 진단 모듈에 의하여 수행될 수 있다. 각각의 진단 보조 프로세스는 독립적으로 수행될 수 있다.According to an embodiment, the diagnostic auxiliary process may be performed by a plurality of diagnostic modules. Each diagnostic subprocess can be performed independently.

도 26은 일 실시 예에 따른 진단부(200)를 설명하기 위한 블록도이다.26 is a block diagram for explaining the diagnosis unit 200 according to an exemplary embodiment.

도 26을 참조하면, 일 실시 예에 따른 진단부(200)는 진단 요청 획득 모듈(211), 데이터 가공 모듈(231), 제1 진단 모듈(251), 제2 진단 모듈(253) 및 출력 모듈(271)을 포함할 수 있다. 진단부(200)의 각 모듈은 특별한 언급이 없는 한, 도 18에서 도시하는 진단부의 진단 모듈과 유사하게 동작할 수 있다. Referring to FIG. 26 , the diagnosis unit 200 according to an embodiment includes a diagnosis request acquisition module 211, a data processing module 231, a first diagnosis module 251, a second diagnosis module 253, and an output module. (271). Each module of the diagnostic unit 200 may operate similarly to the diagnostic module of the diagnostic unit shown in FIG. 18 unless otherwise specified.

도 26에서는, 진단부(200)가 복수의 진단 모듈을 포함하는 경우에도, 진단 요청 획득 모듈(211), 데이터 가공 모듈(231) 및 출력 모듈(271)은 공통되는 것으로 도시하였으나, 일 실시 예가 이러한 구성에 한정되는 것은 아니며, 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 복수로 마련될 수도 있다. 복수의 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 병렬적으로 동작할 수도 있다.In FIG. 26, even when the diagnosis unit 200 includes a plurality of diagnosis modules, the diagnosis request acquisition module 211, the data processing module 231, and the output module 271 are shown to be common, but one embodiment It is not limited to this configuration, and a plurality of diagnosis request acquisition modules, data processing modules, and/or output modules may also be provided. A plurality of diagnosis request acquisition modules, data processing modules and/or output modules may also operate in parallel.

예를 들어, 진단부(200)는 입력된 진단 대상 이미지에 대하여 제1 가공을 수행하는 제1 데이터 가공 모듈 및 진단 대상 이미지에 대하여 제2 데이터 가공을 수행하는 제2 가공 모듈을 포함하고, 제1 진단 모듈은 제1 가공된 진단 대상 이미지에 기초하여 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 제2 가공된 진단 대상 이미지에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제1 가공 및/또는 제2 가공은 이미지 리사이징, 이미지의 색상 변조, 블러 필터 적용, 혈관 강조 처리, 레드프리 변환, 일부 영역 크롭, 일부 요소 추출 중 선택된 어느 하나일 수 있다.For example, the diagnosis unit 200 includes a first data processing module that performs first processing on an input diagnosis target image and a second data processing module that performs second data processing on the diagnosis target image. The first diagnostic module may obtain first diagnostic auxiliary information based on the first processed diagnostic target image, and the second diagnostic module may acquire second diagnostic auxiliary information based on the second processed diagnostic target image. The first processing and/or the second processing may be any one selected from among image resizing, image color modulation, blur filter application, blood vessel enhancement processing, red free conversion, partial area cropping, and partial element extraction.

복수의 진단 모듈은 서로 다른 진단 보조 정보를 획득할 수 있다. 복수의 진단 모듈은 서로 다른 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 예를 들어, 제1 진단 모듈은 피검체의 안질환 해당 여부를 예측하는 제1 신경망 모델을 이용하여 피검체의 안질환 해당 여부와 관련된 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 피검체의 전신 질환 해당 여부를 예측하는 제2 신경망 모델을 이용하여 피검체의 전신 질환 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.A plurality of diagnostic modules may acquire different diagnostic auxiliary information. A plurality of diagnosis modules may obtain diagnosis assistance information by using different diagnosis assistance neural network models. For example, the first diagnosis module acquires first diagnostic auxiliary information related to whether the subject has an eye disease by using a first neural network model that predicts whether the subject has an eye disease, and the second diagnosis module is configured to Second diagnostic auxiliary information related to whether the subject has a systemic disease may be obtained by using a second neural network model that predicts whether the subject has a systemic disease.

보다 구체적인 예로, 제1 진단 모듈은 안저 이미지에 기초하여 피검체의 당뇨 망막증 해당 여부를 예측하는 제1 진단 보조 신경망 모델을 이용하여 피검체의 당뇨 망막증 해당 여부에 관한 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 안저 이미지에 기초하여 피검체의 고혈압 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 이용하여 피검체의 고혈압 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.As a more specific example, the first diagnostic module obtains first diagnostic auxiliary information about whether the subject has diabetic retinopathy by using a first diagnostic auxiliary neural network model that predicts whether the subject has diabetic retinopathy based on the fundus image, and , The second diagnosis module may obtain second diagnostic aid information related to whether the subject has hypertension by using a second diagnosis aid neural network model that predicts whether the subject corresponds to hypertension based on the fundus image.

1.4.3.2 병렬 진단 프로세스1.4.3.2 parallel diagnostic process

일 실시 예에 따른 진단 보조 프로세스는 복수의 서브 진단 프로세스를 포함할 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 보조 신경망 모델을 이용하여 수행될 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 모듈에서 수행될 수 있다. 예컨대, 제1 진단 모듈은 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 제1 서브 진단 프로세스를 수행할 수 있다. 또는, 제2 진단 모듈은 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 제2 서브 진단 프로세스를 수행할 수 있다.A diagnosis auxiliary process according to an embodiment may include a plurality of sub-diagnosis processes. Each sub-diagnosis process may be performed using a different diagnosis-assisted neural network model. Each sub-diagnosis process may be performed in a different diagnosis module. For example, the first diagnosis module may perform a first sub-diagnosis process of acquiring first diagnosis assistance information through a first diagnosis assistance neural network model. Alternatively, the second diagnosis module may perform a second sub-diagnosis process of obtaining second diagnosis assistance information through a second diagnosis assistance neural network model.

학습된 복수의 신경망 모델은 진단 대상 데이터를 입력으로 하여, 예측되는 라벨 또는 확률을 출력할 수 있다. 각각의 신경망 모델은 분류기 형태로 마련되고, 입력되는 진단 대상 데이터를 소정의 라벨에 대하여 분류할 수 있다. 이때, 복수의 신경망 모델은 서로 다른 특성에 대하여 학습된 분류기 형태로 마련될 수 있다. 각각의 신경망 모델은 3.4.2 에서 전술한 것과 같이 진단 대상 데이터를 분류할 수 있다.The plurality of learned neural network models may output predicted labels or probabilities by taking diagnosis target data as inputs. Each neural network model is prepared in the form of a classifier, and can classify input data to be diagnosed with respect to a predetermined label. In this case, a plurality of neural network models may be provided in the form of classifiers learned for different characteristics. Each neural network model can classify data to be diagnosed as described above in 3.4.2.

한편, 각각의 진단 보조 신경망 모델로부터, CAM이 획득될 수 있다, CAM은 선택적으로 획득될 수 있다. CAM은 미리 정해진 조건이 만족되는 경우에 추출될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우에 제1 진단 보조 신경망 모델로부터 제1 CAM이 획득될 수 있다. Meanwhile, from each diagnosis-assisted neural network model, a CAM can be obtained, and a CAM can be selectively obtained. CAM can be extracted when a predetermined condition is satisfied. For example, when the first diagnosis assistance information indicates that the subject is abnormal with respect to the first characteristic, the first CAM may be obtained from the first diagnosis assistance neural network model.

도 27은 일 실시 예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다. 27 is a diagram for describing a diagnosis auxiliary process according to an exemplary embodiment.

도 27을 참조하면, 일 실시 예에 따른 진단 보조 프로세스는 진단 대상 데이터를 획득(S2011)하고, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 이용하여(S2031a, S2031b) 진단 대상 데이터에 따른 진단 보조 정보를 획득(S2051)하는 것을 포함할 수 있다. 진단 대상 데이터는 가공된 데이터일 수 있다.Referring to FIG. 27 , the diagnosis assisting process according to an embodiment acquires diagnosis subject data (S2011), and uses the first diagnosis assistance neural network model and the second diagnosis assistance neural network model (S2031a, S2031b) to obtain diagnosis subject data. It may include obtaining (S2051) diagnostic auxiliary information according to the method. Diagnosis target data may be processed data.

일 실시 예에 따른 진단 보조 프로세스는 학습된 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하고, 학습된 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 동일한 진단 대상 데이터에 기초하여 각각 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.A diagnostic assisting process according to an embodiment may include acquiring first diagnostic assisting information through a learned first diagnostic assisting neural network model and obtaining second diagnostic assisting information through a learned second diagnostic assisting neural network model. there is. The first diagnosis assistance neural network model and the second diagnosis assistance neural network model may acquire first diagnosis assistance information and second diagnosis assistance information, respectively, based on the same diagnosis target data.

예를 들어, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 진단 대상 안저 이미지에 기초하여, 피검체의 황반 변성 여부에 관한 제1 진단 보조 정보 및 피검체의 당뇨 망막증 해당 여부에 관한 제2 진단 보조 정보를 각각 획득할 수 있다.For example, the first diagnostic assisting neural network model and the second diagnostic assisting neural network model are first diagnostic assisting information on whether or not the subject has macular degeneration and first diagnostic assisting information on whether or not the subject has diabetic retinopathy, based on the fundus image to be diagnosed. 2 Diagnostic auxiliary information can be acquired respectively.

이외에도, 특별한 언급이 없는 한, 도 27과 관련하여 설명하는 진단 보조 프로세스는 도 20과 관련하여 전술한 진단 보조 프로세스와 유사하게 구현될 수 있다.In addition, unless otherwise specified, the auxiliary diagnosis process described with reference to FIG. 27 may be implemented similarly to the auxiliary diagnostic process described with reference to FIG. 20 .

1.4.3.3 진단 보조 정보의 출력1.4.3.3 Output of diagnostic aid information

일 실시 예에 따르면, 병렬 진단 보조 프로세스에 의하여 획득된 진단 보조 정보가 획득될 수 있다. 획득된 진단 보조 정보는 진단 장치, 서버 장치 및/또는 클라이언트 장치에 저장될 수 있다. 획득된 진단 보조 정보는 외부 장치로 전달될 수 있다.According to an embodiment, diagnostic auxiliary information obtained by a parallel diagnostic auxiliary process may be obtained. The obtained diagnosis auxiliary information may be stored in a diagnosis device, a server device, and/or a client device. The acquired diagnostic auxiliary information may be transmitted to an external device.

복수의 진단 보조 정보는, 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨을 각각 지시할 수 있다. 복수의 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 각각 대응될 수 있다. 또는, 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측된 복수의 라벨에 기초하여 결정된 정보일 수 있다. 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 대응될 수 있다.A plurality of diagnostic aid information may indicate a plurality of labels predicted by a plurality of diagnosis aid neural network models, respectively. A plurality of diagnostic aid information may respectively correspond to a plurality of labels predicted by a plurality of diagnosis aid neural network models. Alternatively, the diagnosis assistance information may be information determined based on a plurality of labels predicted by a plurality of diagnosis assistance neural network models. The diagnosis assistance information may correspond to a plurality of labels predicted by a plurality of diagnosis assistance neural network models.

다시 말해, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨에 대응되는 진단 보조 정보일 수 있다. 또는, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨 및 제2 진단 보조 신경망 모델을 통하여 예측된 제2 라벨을 함께 고려하여 결정된 진단 보조 정보일 수 있다.In other words, the first diagnosis assistance information may be diagnosis assistance information corresponding to the first label predicted through the first diagnosis assistance neural network model. Alternatively, the first diagnosis assistance information may be diagnosis assistance information determined by considering both the first label predicted through the first diagnosis assistance neural network model and the second label predicted through the second diagnosis assistance neural network model.

한편, 복수의 진단 보조 신경망 모델로부터 획득된 CAM의 이미지가 출력될 수 있다. CAM 이미지는 미리 정해진 조건이 만족되는 경우에 출력될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우 또는 제2 진단 보조 정보가 피검체가 제2 특성에 대하여 비정상임을 지시하는 경우 중 어느 하나의 경우에, 비정상임인 것으로 지시된 진단 보조 정보가 출력된 진단 보조 신경망 모델로부터 획득된 CAM 이미지가 출력될 수 있다.Meanwhile, images of CAMs acquired from a plurality of diagnostic assisting neural network models may be output. A CAM image may be output when a predetermined condition is satisfied. For example, in either case of a case in which the first auxiliary diagnostic information indicates that the subject is abnormal with respect to the first characteristic or a case in which the second auxiliary diagnostic information indicates that the subject is abnormal with respect to the second characteristic, A CAM image obtained from a diagnosis assistance neural network model in which diagnosis assistance information indicated to be abnormal may be output.

복수의 진단 보조 정보 및/또는 CAM 이미지는 사용자에게 제공될 수 있다. 복수의 진단 보조 정보 등은 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 시각적으로 출력될 수 있다. 이와 관련하여, 5. 사용자 인터페이스에서 보다 상세하게 설명한다.A plurality of diagnostic aids and/or CAM images may be provided to the user. A plurality of auxiliary diagnostic information and the like may be provided to a user through an output means of a diagnosis device or a client device. Diagnostic auxiliary information can be visually output. In this regard, it will be described in more detail in Section 5. User Interface.

일 실시 예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 복수의 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 등급 정보는 진단 대상 이미지가 복수의 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 등급 정보는 복수의 신경망 모델로부터 출력되는 수치를 고려하여 결정될 수 있다.According to an embodiment, diagnosis auxiliary information corresponding to a diagnosis target image may include rating information. Grade information may be selected from among a plurality of grades. The rating information may be determined based on a plurality of diagnostic information and/or finding information obtained through a neural network model. Rating information may be determined in consideration of suitability information or quality information of an image to be diagnosed. The rating information may be determined in consideration of a class in which an image to be diagnosed is classified by a plurality of neural network models. The rating information may be determined in consideration of numerical values output from a plurality of neural network models.

예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 복수의 신경망 모델을 통하여 획득된 진단 정보 중, 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 중, 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다. For example, the diagnosis auxiliary information acquired corresponding to the diagnosis target image may include first grade information or second grade information selected from among grade information. The grade information may be selected as the first grade information when at least one abnormal finding information or abnormal diagnosis information is obtained from among the diagnostic information obtained through a plurality of neural network models. The grade information may be selected as second grade information when abnormal finding information or abnormal diagnosis information is not obtained from among the diagnostic information acquired through the neural network model.

등급 정보는, 신경망 모델을 통하여 획득된 수치들 중 적어도 하나의 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치들 모두가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.The grade information is selected as first grade information when at least one of the values obtained through the neural network model exceeds the reference value, and is selected as second grade information when all of the obtained values are less than the reference value. It could be. Compared to the second level information, the first level information may indicate that there is strong abnormal information in the diagnosis target image.

등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.The grade information may be selected as third grade information when it is determined that the quality of the image to be diagnosed is below a standard by using image analysis or a neural network model. Alternatively, the diagnosis auxiliary information may include the third level information together with the first or second level information.

진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 포함된 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보에 대응되는 사항을 포함할 수 있다. 예컨대, 제1 사용자 안내는, 진단 보조 정보에 포함된 비정상 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.When the diagnostic auxiliary information includes the first level information, the first user guide may be output through an output unit. The first user guide may include information corresponding to at least one abnormal finding information or abnormal diagnosis information included in the diagnosis auxiliary information. For example, the first user guide may indicate that a more precise examination is required for a subject (ie, a patient) corresponding to abnormal information included in the diagnostic assistance information. For example, the first user guidance may indicate that a second diagnosis (eg, a diagnosis at a separate medical institution or a referral procedure) is required for the subject. Alternatively, the first user guidance may instruct treatment required for the subject. As a specific example, when abnormal information on the subject's macular degeneration is acquired by means of the auxiliary diagnosis information, the first user guidance is guidance on injection prescriptions and transfer procedures for the subject (for example, in a hospital where transfer is possible). list) may be included.

진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다. When the diagnostic assistance information includes the second grade information, the second user guide may be output through the output unit. The second user guide may include a future management plan for the subject corresponding to the diagnostic assistance information. For example, the second user guidance may indicate the next medical examination time and the next medical treatment subject for the subject.

진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.When the information to be diagnosed includes the third level information, the third user guide may be output through the output unit. The third user guide may indicate that re-capturing of the image to be diagnosed is required. The third user guide may include information about the quality of an image to be diagnosed. For example, the third user guide may include information on defects existing in the image to be diagnosed (eg, whether there are bright artifacts or dark artifacts or the degree thereof).

제1 내지 제3 등급 정보는, 클라이언트 장치 또는 진단 장치의 출력부에 의해 출력될 수 있다. 구체적으로, 후술하는 사용자 인터페이스를 통해 출력될 수 있다.The first to third level information may be output by an output unit of a client device or a diagnosis device. Specifically, it may be output through a user interface to be described later.

1.4.4 실시 예 2 - 진단 보조 시스템1.4.4 Example 2 - Diagnostic Assist System

일 실시 예에 따른 진단 보조 시스템은 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.A diagnosis assistance system according to an embodiment may include a fundus image acquisition unit, a first processing unit, a second processing unit, a third processing unit, and a diagnosis information output unit.

일 실시 예에 따르면, 진단 보조 시스템은 진단 장치를 포함할 수 있다. 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및/또는 진단 정보 출력부를 포함할 수 있다. 다만, 일 실시 예가 이에 한정되는 것은 아니며, 진단 보조 시스템에 포함되는 각 부는 학습 장치, 진단 장치, 학습 진단 서버 및/또는 클라이언트 장치 상의 적절한 위치에 각각 위치될 수 있다. 이하에서는, 편의를 위하여 진단 보조 시스템의 진단 장치가 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함하는 경우를 기준으로 설명한다.According to one embodiment, the diagnosis assistance system may include a diagnosis device. The diagnosis device may include a fundus image acquisition unit, a first processing unit, a second processing unit, a third processing unit, and/or a diagnosis information output unit. However, one embodiment is not limited thereto, and each unit included in the diagnosis assistance system may be located at an appropriate location on a learning device, a diagnosis device, a learning diagnosis server, and/or a client device. Hereinafter, for convenience, a case in which the diagnosis device of the diagnosis assistance system includes a fundus image acquisition unit, a first processing unit, a second processing unit, a third processing unit, and a diagnosis information output unit will be described.

도 28은 일 실시 예에 따른 진단 보조 시스템을 설명하기 위한 도면이다. 도 28을 참조하면, 진단 보조 시스템은 진단 장치를 포함하고, 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.28 is a diagram for explaining a diagnosis assistance system according to an exemplary embodiment. Referring to FIG. 28 , the diagnosis assistance system includes a diagnosis device, and the diagnosis device may include a fundus image acquisition unit, a first processing unit, a second processing unit, a third processing unit, and a diagnosis information output unit.

일 실시 예에 따르면, 안저 이미지에 기초하여 복수의 질병에 대한 진단을 보조하는 진단 보조 시스템은, 피검체에 대한 진단 보조 정보 획득의 기초가 되는 대상 안저 이미지를 획득하는 안저 이미지 획득부, 상기 대상 안저 이미지에 대하여 제1 신경망 모델 - 상기 제1 신경망 모델은 상기 제1 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 상기 피검체에 대한 제1 소견과 관련된 제1 결과를 획득하는 제1 처리부, 상기 대상 안저 이미지에 대하여 제2 신경망 모델 - 상기 제2 신경망 모델은 상기 제1 안저 이미지 세트와 적어도 일부가 상이한 제2 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 상기 피검체에 대한 제2 소견과 관련된 제2 결과를 획득하는 제2 처리부, 상기 제1 결과 및 상기 제2 결과에 기초하여, 상기 피검체에 대한 진단 정보를 결정하는 제3 처리부 및 사용자에게 상기 결정된 진단 정보를 제공하는 진단 정보 출력부를 포함할 수 있다. 이때, 제1 소견 및 상기 제2 소견은 서로 다른 질병에 대한 진단에 이용될 수 있다.According to an embodiment, a diagnosis assistance system for assisting diagnosis of a plurality of diseases based on fundus images includes: a fundus image acquisition unit acquiring a target fundus image, which is a basis for obtaining diagnosis assistance information on a subject; A first processing unit that obtains a first result related to a first finding of the subject by using a first neural network model for an ocular fundus image, wherein the first neural network model is machine-learned based on the first ocular fundus image set. , With respect to the target fundus image, a second neural network model is machine-learned based on a second fundus image set that is at least partially different from the first fundus image set. A second processing unit obtaining a second result related to the second finding, a third processing unit determining diagnostic information about the subject based on the first result and the second result, and providing the determined diagnostic information to a user A diagnostic information output unit may be included. In this case, the first finding and the second finding may be used to diagnose different diseases.

제1 신경망 모델은 입력된 안저 이미지를 상기 제1 소견과 관련하여 정상 및 비정상 중 어느 하나로 분류하도록 학습되고, 제1 처리부는 상기 제1 신경망 모델을 이용하여 상기 대상 안저 이미지를 상기 정상 또는 상기 비정상 중 어느 하나로 분류하여 상기 제1 결과를 획득할 수 있다.A first neural network model is trained to classify an input fundus image as either normal or abnormal in relation to the first finding, and a first processing unit classifies the target fundus image as the normal or abnormal fundus image using the first neural network model. The first result may be obtained by classifying as one of the above.

제3 처리부는 제1 결과 및 제2 결과를 함께 고려하여, 대상 안저 이미지에 따른 진단 정보가 정상 정보인지 비정상 정보인지 결정할 수 있다.The third processing unit may determine whether diagnostic information according to the target fundus image is normal information or abnormal information by considering the first result and the second result together.

제3 처리부는, 진단 정확도가 향상되도록, 상기 비정상에 우선권을 부여하여 상기 피검체에 대한 진단 정보를 결정할 수 있다.The third processing unit may give priority to the abnormality to determine diagnostic information for the subject so as to improve diagnosis accuracy.

제3 처리부는 상기 제1 라벨이 상기 제1 소견에 대한 정상이고, 상기 제2 라벨이 상기 제2 소견에 대한 정상인 경우, 상기 진단 정보를 정상으로 결정하고, 제1 라벨이 제1 소견에 대한 정상이 아니거나 상기 제2 라벨이 상기 제2 소견에 대한 정상이 아닌 경우, 상기 진단 정보를 비정상으로 결정할 수 있다. The third processing unit determines that the diagnostic information is normal, if the first label is normal for the first finding and the second label is normal for the second finding, and the first label is normal for the first finding. If it is not normal or the second label is not normal for the second finding, the diagnosis information may be determined to be abnormal.

제1 소견은 안질환과 관련되고, 상기 제1 결과는 상기 피검체의 상기 안질환에 대한 정상 여부를 지시할 수 있다. 제2 소견은 전신 질환과 관련되고, 상기 제2 결과는 상기 피검체의 상기 전신 질환에 대한 정상 여부를 지시할 수 있다.The first finding is related to an eye disease, and the first result may indicate whether or not the eye disease of the subject is normal. The second finding is related to a systemic disease, and the second result may indicate whether or not the systemic disease of the subject is normal.

제1 소견은 제1 안질환과 관련되고, 상기 제1 결과는 상기 피검체의 상기 제1 안질환에 대한 정상 여부를 지시하고, 상기 제2 소견은 상기 제1 안질환과 구별되는 제2 안질환과 관련되고, 상기 제2 결과는 상기 피검체의 상기 제2 안질환에 대한 정상 여부를 지시할 수 있다.The first finding is related to the first eye disease, the first result indicates whether the subject is normal for the first eye disease, and the second finding is a second eye distinct from the first eye disease. disease, and the second result may indicate whether or not the second eye disease of the subject is normal.

제1 소견은 제1 안질환을 진단하기 위한 소견이고, 상기 제1 결과는 상기 피검체의 상기 제1 안질환에 대한 정상 여부를 지시하고, 제2 소견은 상기 제1 안질환을 진단하기 위한 상기 제1 소견과 구별되는 소견이고, 상기 제2 결과는 상기 피검체의 상기 제2 안질환에 대한 정상 여부를 지시할 수 있다. The first finding is a finding for diagnosing the first eye disease, the first result indicates whether the test subject is normal for the first eye disease, and the second finding is a finding for diagnosing the first eye disease. This is a finding distinct from the first finding, and the second result may indicate whether the second eye disease of the subject is normal.

제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함하고, 제1 결과는 상기 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 상기 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 결정될 수 있다.The first neural network model includes a first sub-neural network model and a second sub-neural network model, and a first result is a first prediction value predicted by the first sub-neural network model and a second predicted value predicted by the second sub-neural network model. It can be determined by considering the predicted value together.

제1 처리부는 상기 제1 신경망 모델을 통하여 상기 제1 라벨과 관련된 CAM(Class Activation Map)을 획득하고, 진단 정보 출력부는 상기 CAM의 이미지를 출력할 수 있다.A first processing unit may acquire a CAM (Class Activation Map) related to the first label through the first neural network model, and a diagnostic information output unit may output an image of the CAM.

진단 정보 출력부는 상기 제3 처리부에 의하여 획득된 상기 진단 정보가 비정상 진단 정보인 경우 상기 CAM의 이미지를 출력할 수 있다.The diagnostic information output unit may output the CAM image when the diagnostic information obtained by the third processing unit is abnormal diagnostic information.

진단 보조 시스템은 상기 대상 안저 이미지의 품질 정보를 획득하는 제4 처리부를 더 포함하고, 진단 정보 출력부는 상기 제4 처리부에 의하여 획득된 상기 대상 안저 이미지의 품질 정보를 출력할 수 있다.The diagnostic assistance system may further include a fourth processing unit acquiring quality information of the target fundus image, and a diagnostic information output unit may output the quality information of the target fundus image obtained by the fourth processing unit.

제4 처리부에서 상기 대상 안저 이미지의 품질 정보가 미리 정해진 품질 레벨 이하인 것으로 판단된 경우, 상기 진단 정보 출력부는, 상기 사용자에게 상기 결정된 진단 정보와 함께 상기 대상 안저 이미지의 품질 정보가 상기 미리 정해진 품질 레벨 이하인 것을 지시하는 정보를 함께 제공할 수 있다. When the fourth processing unit determines that the quality information of the target fundus image is equal to or less than a predetermined quality level, the diagnostic information output unit sends the quality information of the target fundus image to the user along with the determined diagnostic information at the predetermined quality level. Information indicating the following may be provided together.

1.5 사용자 인터페이스1.5 user interface

일 실시 예에 따르면, 전술한 클라이언트 장치 또는 진단 장치는 진단 보조 정보를 사용자에게 제공하기 위한 표시부를 가질 수 있다. 이때, 표시부는 사용자에게 진단 보조 정보를 명확히 전달하고, 사용자로부터의 피드백 획득이 용이하도록 마련될 수 있다. According to an embodiment, the aforementioned client device or diagnosis device may have a display unit for providing diagnostic assistance information to a user. In this case, the display unit may be provided to clearly convey diagnostic assistance information to the user and to easily obtain feedback from the user.

표시부의 일 예로서, 사용자에게 시각 정보를 제공하는 디스플레이가 제공될 수 있다. 이때, 사용자에게 진단 보조 정보를 시각적으로 전달하기 위한 그래픽 사용자 인터페이스가 이용될 수 있다. 예컨대, 안저 이미지에 기초하여 진단 보조 정보를 획득하는 안저 진단 보조 시스템에 있어서, 획득된 진단 보조 정보를 효과적으로 표시하고 사용자의 이해를 돕기 위한 그래픽 사용자 인터페이스가 제공될 수 있다.As an example of the display unit, a display providing visual information to a user may be provided. At this time, a graphical user interface may be used to visually convey diagnosis auxiliary information to a user. For example, in a fundus diagnosis assist system that acquires assist diagnosis information based on a fundus image, a graphic user interface may be provided to effectively display the obtained assist diagnosis information and help a user's understanding.

도 29 및 30은 일 실시 예의 몇몇 실시 예에 따른 사용자에게 진단 정보를 제공하기 위한 그래픽 사용자 인터페이스를 설명하기 위한 도면이다. 이하에서는, 도 29 및 30을 참조하여, 안저 진단 보조 시스템에서 이용될 수 있는 사용자 인터페이스에 대하여 몇몇 실시 예를 들어 설명한다.29 and 30 are diagrams for explaining a graphic user interface for providing diagnostic information to a user according to some embodiments of the present disclosure. Hereinafter, with reference to FIGS. 29 and 30 , a user interface that can be used in the fundus diagnosis assisting system will be described with reference to some exemplary embodiments.

도 29를 참조하면, 일 실시 예에 따른 사용자 인터페이스는 진단 대상 안저 이미지에 대응되는 피검체의 식별 정보를 표시할 수 있다. 사용자 인터페이스는 피검체(즉, 환자)의 식별 정보 및/또는 진단 대상 안저 이미지의 촬영 정보(예컨대, 촬영 날짜)를 표시하는 대상 이미지 식별 정보 표시부(401)를 포함할 수 있다.Referring to FIG. 29 , the user interface according to an embodiment may display identification information of a subject corresponding to an ocular fundus image to be diagnosed. The user interface may include a target image identification information display unit 401 that displays identification information of the subject (ie, the patient) and/or photographing information (eg, a photographing date) of an ocular fundus image to be diagnosed.

일 실시 예에 따른 사용자 인터페이스는, 동일한 피검체의 좌안의 안저 이미지 및 우안의 안저 이미지를 각각 표시하는 안저 이미지 표시부(405)를 포함할 수 있다. 안저 이미지 표시부(405)는 CAM 이미지를 표시할 수도 있다.The user interface according to an embodiment may include a fundus image display unit 405 that displays a fundus image of the left eye and a fundus image of the right eye of the same subject, respectively. The fundus image display unit 405 may display a CAM image.

일 실시 예에 따른 사용자 인터페이스는 좌안의 안저 이미지 및 우안의 안저 이미지 각각에 대하여 좌안 또는 우안의 이미지임을 표시하고, 각 이미지의 진단 정보 및 사용자 확인 여부를 지시하는 진단 정보 지시자가 표시되는 진단 정보 지시부(403)를 포함할 수 있다. A user interface according to an embodiment displays a left or right eye fundus image for a left eye fundus image and a right eye fundus image, respectively, and a diagnostic information indicating unit displaying diagnostic information of each image and a diagnostic information indicator instructing whether a user confirms the image. (403).

진단 정보 지시자의 색상은 대상 안저 이미지에 기초하여 얻어진 진단 보조 정보를 고려하여 결정될 수 있다. 진단 정보 지시자는 진단 보조 정보에 따라 제1 색상 또는 제2 색상으로 표시될 수 있다. 일 예로, 하나의 대상 안저 이미지에 제1 내지 제3 진단 보조 정보를 획득한 경우, 하나의 진단 보조 정보라도 비정상(즉, 이상 소견 있음) 정보를 포함하는 경우, 진단 정보 지시자는 적색으로 표시되고, 모든 진단 보조 정보가 정상(즉, 이상 소견 없음) 정보를 포함하는 경우, 진단 정보 지시자는 녹색으로 표시될 수 있다.The color of the diagnostic information indicator may be determined in consideration of auxiliary diagnostic information obtained based on the target fundus image. The diagnostic information indicator may be displayed in a first color or a second color according to diagnostic auxiliary information. For example, when the first to third diagnostic auxiliary information are acquired in one target fundus image, and even one diagnostic auxiliary information includes abnormal (ie, abnormal findings) information, the diagnostic information indicator is displayed in red, , when all diagnostic auxiliary information includes normal (ie, no abnormal findings) information, the diagnostic information indicator may be displayed in green.

진단 정보 지시자의 형태는 사용자의 확인 여부에 따라 결정될 수 있다. 진단 정보 지시자는 사용자의 확인 여부에 따라 제1 형태 또는 제2 형태로 표시될 수 있다. 일 예로, 도 25를 참조하면, 사용자에 의해 검토가 완료된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 원으로 표시되고, 사용자에 의해 미검토된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 반원으로 표시될 수 있다.The shape of the diagnostic information indicator may be determined according to whether the user confirms it. The diagnostic information indicator may be displayed in a first form or a second form depending on whether the user confirms it. For example, referring to FIG. 25 , a diagnostic information indicator corresponding to a target fundus image reviewed by the user is displayed as a filled circle, and a diagnostic information indicator corresponding to a target fundus image not reviewed by the user is displayed as a filled semicircle. can be displayed

일 실시 예에 따른 사용자 인터페이스는, 진단 보조 정보를 지시하는 진단 정보 지시부(407)를 포함할 수 있다. 진단 보조 정보 지시부는 좌안 및 우안 이미지에 각각 위치될 수 있다. 진단 보조 정보 지시부는 복수의 소견 정보 또는 진단 정보를 지시할 수 있다.The user interface according to an embodiment may include a diagnostic information indicator 407 indicating auxiliary diagnostic information. The diagnostic auxiliary information indicator may be located in the left eye and right eye images, respectively. The diagnostic auxiliary information indicator may indicate a plurality of finding information or diagnostic information.

진단 보조 정보 지시부는 적어도 하나의 진단 보조 정보 지시자를 포함할 수 있다. 진단 보조 정보 지시자는 색상 변화를 통하여 각각 대응되는 진단 보조 정보를 지시할 수 있다.The diagnostic auxiliary information indicator may include at least one diagnostic auxiliary information indicator. The diagnostic auxiliary information indicator may indicate corresponding diagnostic auxiliary information through color change.

예를 들어, 진단 대상 안저 이미지에 대하여, 제1 진단 보조 신경망 모델을 통하여 수정체 혼탁 유무를 지시하는 제1 진단 보조 정보, 제2 진단 보조 신경망 모델을 통하여 당뇨 망막증 소견 유무를 지시하는 제2 진단 보조 정보, 제3 진단 보조 신경망 모델을 통하여 망막 이상 소견 유무를 지시하는 제3 진단 보조 정보가 획득된 경우에, 진단 정보 지시부는 제1 진단 보조 정보, 제2 진단 보조, 제3 진단 보조 정보를 각각 지시하는 제1 내지 제3 진단 보조 정보 지시자를 포함할 수 있다.For example, with respect to the fundus image to be diagnosed, first diagnosis assistance information indicating the presence or absence of crystalline lens opacity through a first diagnosis assistance neural network model, and second diagnosis assistance indicating presence or absence of diabetic retinopathy findings through a second diagnosis assistance neural network model When third diagnostic aid information indicating the presence or absence of a retinal abnormality is acquired through the third diagnosis aid neural network model, the diagnostic information indicator displays the first diagnosis aid information, the second diagnosis aid, and the third diagnosis aid information, respectively. It may include first to third diagnostic auxiliary information indicators that indicate.

보다 구체적인 예로, 도 29를 참조하면, 좌안 안저 이미지와 관련하여, 진단 정보 지시부(407)는 피검체의 좌안 안저 이미지에 기초하여 획득된 진단 보조 정보가 수정체 혼탁 비정상임을 지시하는 제1 진단 보조 정보, 당뇨 망막증 정상(이상 소견 없음)을 지시하는 제2 진단 보조 정보 및 망막 비정상(이상 소견 있음)을 지시하는 제3 진단 보조 정보가 획득된 경우에, 제1 색상을 띠는 제1 진단 보조 정보 지시자, 제2 색상을 띠는 제1 진단 보조 정보 지시자 및 제1 색상을 띠는 제3 진단 보조 정보 지시자를 표시할 수 있다.As a more specific example, referring to FIG. 29 , in relation to the left eye fundus image, the diagnostic information indicating unit 407 first diagnostic auxiliary information indicating that the acquired diagnostic auxiliary information based on the subject's left eye fundus image is abnormal crystalline lens opacity. , When the second auxiliary diagnostic information indicating normal (no abnormal findings) of diabetic retinopathy and the third auxiliary diagnostic information indicating abnormal retinal conditions (abnormal findings) are obtained, the first diagnostic auxiliary information having a first color An indicator, a first diagnostic auxiliary information indicator having a second color, and a third diagnostic auxiliary information indicator having a first color may be displayed.

일 실시 예에 따른 사용자 인터페이스는, 사용자로부터 진단 대상 안저 이미지에 대한 사용자 코멘트를 획득할 수 있다. 사용자 인터페이스는 사용자 코멘트 오브젝트(409)를 포함하고, 사용자 코멘트 오브젝트에 대한 사용자 선택에 응답하여, 사용자 입력창을 표시할 수 있다. 사용자로부터 획득된 코멘트는 진단 보조 신경망 모델의 갱신에 이용될 수도 있다. 예컨대, 사용자 코멘트 오브젝트에 대한 선택에 응답하여 표시되는 사용자 입력창은, 신경망을 통한 진단 보조 정보에 대한 사용자 평가를 획득할 수 있고, 획득된 사용자 평가는 신경망 모델의 갱신에 이용될 수 있다.The user interface according to an embodiment may obtain a user comment on an ocular fundus image to be diagnosed from a user. The user interface may include a user comment object 409 and display a user input window in response to a user selection on the user comment object. The comments obtained from the user may be used to update the diagnostic assisting neural network model. For example, a user input window displayed in response to selection of a user comment object may obtain a user evaluation of diagnostic assistance information through a neural network, and the obtained user evaluation may be used to update a neural network model.

일 실시 예에 따른 사용자 인터페이스는, 각 진단 대상 안저 이미지에 대한 사용자 검토 여부를 표시하는 검토 지시 오브젝트(411)를 포함할 수 있다. 검토 지시 오브젝트는 각 진단 대상 이미지에 대한 사용자 검토가 완료되었음을 나타내는 사용자 입력을 획득 받고, 제1 상태에서 제2 상태로 그 표시가 변경될 수 있다. 예컨대, 도 29 및 도 30을 참조하면, 검토 지시 오브젝트는 확인 요청 문구를 표시하는 제1 상태에서, 사용자 입력이 획득되면, 확인 되었음을 나타내는 제2 상태로 변경될 수 있다. The user interface according to an embodiment may include a review instruction object 411 indicating whether the user reviews each fundus image to be diagnosed. The review instruction object may receive a user input indicating completion of user review of each diagnosis target image, and may change its display from a first state to a second state. For example, referring to FIGS. 29 and 30 , the review instruction object may change from a first state displaying a confirmation request phrase to a second state indicating confirmation when a user input is obtained.

진단 대상 안저 이미지의 목록(413)이 표시될 수 있다. 목록에는 피검체의 식별 정보, 이미지 촬영 날짜 및 양안 이미지에 대한 검토 여부 지시자(403)가 함께 표시될 수 있다.A list 413 of fundus images to be diagnosed may be displayed. In the list, identification information of the subject, a date the image was captured, and an indicator 403 indicating whether to review the image of both eyes may be displayed together.

진단 대상 안저 이미지의 목록(413)에는 검토가 완료된 진단 대상 안저 이미지를 나타내는 검토 완료 지시자(415)가 표시될 수 있다. 검토 완료 지시자(415)는 해당 이미지의 양안에 대한 검토 지시 오브젝트(411) 모두에 대하여 사용자 선택이 발생한 경우에 표시될 수 있다.A review completion indicator 415 indicating a fundus image to be diagnosed that has been reviewed may be displayed in the list 413 of the fundus images to be diagnosed. The review completion indicator 415 may be displayed when a user selects all of the review instruction objects 411 for both eyes of the corresponding image.

도 30을 참조하면, 사용자 그래픽 인터페이스는, 진단 대상 안저 이미지에 품질 이상이 있는 것으로 판단된 경우에, 사용자에게 대상 안저 이미지의 품질에 이상이 있음을 지시하는 저품질 경고 오브젝트(417)를 포함할 수 있다. 저품질 경고 오브젝트(417)는, 진단부로부터 진단 대상 안저 이미지가 진단 보조 신경망 모델로부터 적절한 진단 보조 정보가 예측될 수 있는 수준의 품질(즉, 기준 품질 레벨)에 미치지 아니하는 것으로 판단된 경우에 표시될 수 있다.Referring to FIG. 30 , the user graphic interface may include a low quality warning object 417 instructing the user that there is an abnormality in the quality of the fundus image to be diagnosed, when it is determined that there is a quality abnormality in the target fundus image. there is. The low quality warning object 417 is displayed when it is determined that the diagnosis target fundus image does not meet the level of quality at which proper diagnosis assistance information can be predicted from the diagnosis assistance neural network model (ie, the reference quality level). It can be.

또한, 도 28을 참조하면 진단 대상 안저 이미지의 목록(413)에도 저품질 경고 오브젝트(419)가 표시될 수 있다. Also, referring to FIG. 28 , a low quality warning object 419 may be displayed in the list 413 of fundus images to be diagnosed.

2. 안저 이미지를 이용한 진단 보조 이미지 2. Diagnostic auxiliary image using fundus image

2.1 배경 및 목적2.1 background and purpose

본 명세서에서는 안저 이미지를 이용하여 복수의 병변의 진단을 수행하고, 상기 복수의 병변의 진단 결과를 제공함에 있어서, 진단 보조 이미지를 제공하는 장치 및 방법 등에 대하여 설명한다. In the present specification, an apparatus, method, and the like for providing a diagnosis auxiliary image when diagnosing a plurality of lesions using fundus images and providing diagnosis results of the plurality of lesions will be described.

본 명세서의 일 실시 예에 따른 진단 보조 장치 및/또는 시스템이 제공하는 진단 결과는 상기 안저 이미지에 대해 복수의 라벨로 판단할 수 있고, 바람직하게는 의심(또는 비정상) 또는 정상으로 판단하여 제공할 수 있다. 상기 의심은 질병에 대한 보유가 의심되는 경우를 의미할 수 있고, 상기 정상은 질병에 대한 보유가 없는 정상적인 상태인 경우를 의미할 수 있다. The diagnosis result provided by the diagnosis assisting device and/or system according to an embodiment of the present specification may be determined as a plurality of labels for the fundus image, and preferably determined as suspicious (or abnormal) or normal and provided. can The suspicion may refer to a case in which possession of a disease is suspected, and the normal may mean a case of a normal state without possession of a disease.

다만, 사용자 또는 피검자는 상기 안저 이미지에서 상기 진단 보조 장치 및/또는 시스템이 제공하는 진단 결과가 도출되는 근거에 대해 파악하고자 하는 필요성을 가질 수 있다. 또한, 사용자 또는 피검자는 상기 안저 이미지 상에서 상기 진단 보조 장치 및/또는 시스템이 제공하는 진단 결과에 영향을 미치는 영역을 파악하고자 하는 필요성을 가질 수 있다.However, the user or the examinee may have a need to understand the basis for deriving the diagnostic result provided by the diagnostic assisting device and/or system from the fundus image. In addition, a user or an examinee may have a need to identify a region that affects a diagnostic result provided by the diagnostic assisting device and/or system on the fundus image.

본 명세서는 안저 이미지에 대해 기계 학습된 신경망 모델을 통해 복수의 질병에 대한 진단을 수행하는 진단 보조 장치 및/또는 시스템와 함께 진단 보조 이미지를 출력될 수 있는 진단 보조 이미지 장치 및/또는 시스템을 제공하고 있으며, 상기 진단 보조 이미지는 상기 안저 이미지의 어떤 영역이 상기 진단 보조 장치 및/또는 시스템을 통해 얻은 진단 결과에 영향을 미치는지에 대해 파악하기 위해 제공될 수 있다.The present specification provides a diagnostic auxiliary image device and / or system capable of outputting a diagnostic auxiliary image together with a diagnostic auxiliary device and / or system that performs diagnosis of a plurality of diseases through a machine-learned neural network model for fundus images, The auxiliary diagnostic image may be provided to determine which region of the fundus image has an influence on a diagnostic result obtained through the diagnostic auxiliary device and/or system.

이를 통해, 사용자는 상기 진단 보조 이미지를 통해 상기 진단 결과에 영향을 미친 영역을 용이하게 파악할 수 있어, 사용자는 상기 진단 결과에 관한 전문가로 제한되지 않을 수 있다. 또한, 사용자는 비전문가로서 상기 진단 보조 이미지를 통해 피검자에 대해 상기 진단 결과를 설명해줄 수 있다. 또한, 사용자는 피검자 본인으로서 상기 진단 보조 이미지를 통해 상기 진단 결과를 용이하게 이해할 수 있다. Through this, the user can easily grasp the region that has influenced the diagnosis result through the diagnosis auxiliary image, so the user may not be limited to an expert on the diagnosis result. In addition, the user, as a non-expert, may explain the diagnosis result to the subject through the diagnosis auxiliary image. In addition, the user, as the examinee himself, can easily understand the diagnosis result through the diagnosis auxiliary image.

2.2 CAM(Class Activation Map) 이미지 제공 장치 및 시스템2.2 CAM (Class Activation Map) image provision device and system

2.2.1 CAM 이미지 2.2.1 CAM images

도 31은 일 실시 예에 따른 진단 보조 이미지를 설명하기 위한 도면이다. 도 31에서, (a)는 상기 진단 보조 장치 및/또는 시스템에 입력된 이미지이고, (b)는 상기 진단 보조 장치 및/또는 시스템에서 제공하는 진단 보조 이미지로써 CAM 이미지를 나타낸 것이다. 31 is a diagram for describing a diagnosis auxiliary image according to an exemplary embodiment. In FIG. 31 , (a) is an image input to the diagnostic assisting device and/or system, and (b) is a CAM image as a diagnostic assisting image provided by the diagnostic assisting device and/or system.

기계 학습에 따른 신경망을 학습 모델 및/또는 진단 모델에서 사용하는 경우, 상기 진단 보조 이미지 제공 장치는 상기 학습 모델 및/또는 진단 모델을 통해 얻은 결과에 대한 근거를 제공할 수 있는 이미지가 제공될 수 있다. 합성곱 신경망을 학습 모델 및/또는 진단 모델에서 사용하는 경우, CAM 이미지는 합성공 신경망을 통해 얻은 결과에 대한 근거를 제공할 수 있는 이미지일 수 있다. 일 실시 예에 따르면, 안저 이미지를 이용한 진단 보조 시스템으로서 합성곱 신경망을 사용하는 경우, CAM 이미지는 상기 안저 이미지에 대한 진단 결과에 대한 근거를 제공할 수 있는 이미지로서 제공될 수 있다. 또한, 안저 이미지를 이용한 진단 보조 시스템으로서 합성곱 신경망을 사용하는 경우, CAM 이미지는 상기 안저 이미지에 대한 진단 결과에 영향을 미친 영역을 나타낼 수 있는 이미지로서 제공될 수 있다. 또한, CAM 이미지는 상기 진단 보조 장치 및/또는 시스템이 진단 결과를 도출하기 위해 중점적으로 고려된 영역을 나타낸 이미지일 수 있다. CAM 이미지는 상기 진단 보조 장치 및/또는 시스템의 진단 결과를 판단하기 위한 대상 영역을 검출하여, 해당 대상 영역을 강조하여 나타낸 이미지일 수 있다. When a neural network based on machine learning is used in a learning model and/or a diagnosis model, the diagnosis auxiliary image providing device may provide an image capable of providing a basis for a result obtained through the learning model and/or diagnosis model. there is. When a convolutional neural network is used in a learning model and/or a diagnosis model, a CAM image may be an image that can provide a basis for a result obtained through a synthetic neural network. According to an embodiment, when a convolutional neural network is used as a diagnostic aid system using fundus images, a CAM image may be provided as an image capable of providing a basis for a diagnosis result for the fundus image. In addition, in the case of using a convolutional neural network as a diagnostic aid system using fundus images, a CAM image may be provided as an image capable of indicating a region that has an effect on a diagnosis result for the fundus image. In addition, the CAM image may be an image showing a region that is considered as a priority for the diagnosis assisting device and/or system to derive a diagnosis result. The CAM image may be an image in which a target region for determining a diagnosis result of the diagnostic assist device and/or system is detected and the corresponding target region is highlighted.

도 31 (a)를 참조하면, 입력된 이미지에서 점선으로 표시된 영역(L)은 병변 영역 또는 진단 보조 장치 및/또는 시스템의 진단 결과에 영향을 미친 영역일 때, 진단 보조 이미지는 영향을 미친 정도에 따라 서로 상이한 색으로 표현될 수 있다. 또한, 진단 보조 이미지는 상기 진단 결과에 영향을 미친 정도에 따라 서로 동일한 색이되, 상이한 명도 또는 강도로 표현될 수 있다. Referring to FIG. 31 (a), when an area (L) indicated by a dotted line in an input image is a lesion area or an area that affects the diagnosis result of a diagnosis assistance device and/or system, the extent to which the diagnosis assistance image is affected It can be expressed in different colors according to each other. In addition, the diagnosis auxiliary images may be expressed in the same color but with different brightness or intensity according to the degree of influence on the diagnosis result.

도 31 (b)를 참조하면, CAM 이미지는 진단 결과에 영향을 미친 정도를 제1 레벨(15010), 제2 레벨(15020), 제3 레벨(15030), 제4 레벨(15040), 제5 레벨(15050)로 구분할 수 있고, 상기 제1 클래스(15010) 내지 상기 제5 클래스(15050)는 서로 소정의 차이를 가지는 상이한 색으로 표현될 수 있다. 또한, CAM 이미지는 상기 진단 보조 장치 및/또는 시스템이 포함한 진단 모델에 의해 도출된 진단 결과를 기초로 입력된 안저 이미지에 대한 히트맵(heat-map) 형태의 처리를 통해 나타낸 이미지일 수 있다. Referring to FIG. 31 (b), the CAM image shows the degree of influence on the diagnosis result as a first level (15010), a second level (15020), a third level (15030), a fourth level (15040), and a fifth level. It can be divided into levels 15050, and the first class 15010 to the fifth class 15050 can be expressed in different colors having a predetermined difference from each other. Also, the CAM image may be an image displayed through heat-map type processing of an ocular fundus image input based on a diagnostic result derived by a diagnostic model included in the diagnostic assisting device and/or system.

CAM 이미지는 별도의 색으로 처리하는 히트맵(Heat-map) 형태로 RGB 색을 기준으로 하여 제공하되, 진단 결과에 가장 영향을 많이 미친 영역은 빨간색으로, 가장 영향을 적게 미친 영역은 파란색으로 처리할 수 있다. CAM 이미지는 별도의 색으로 처리하는 히트맵(Heat-map) 형태로 흑백을 기준으로 하여 제공하되, 진단 결과에 가장 영향을 많이 미친 영역은 검은색으로, 가장 영향을 적게 미친 영역은 흰색으로 처리할 수 있다. CAM 이미지는 이미지 상에 중첩되는 히트맵 형태의 이미지여서, 사용자는 진단 결과에 영향을 미친 영역을 용이하게 인식할 수 있고, 시각적으로 보다 명확하게 파악할 수 있다. CAM images are provided based on RGB color in the form of a heat-map that is processed in separate colors, but the area that has the most impact on the diagnosis result is treated as red and the area that has the least impact is treated as blue can do. CAM images are provided based on black and white in the form of a heat-map processed in separate colors, but the area that has the most impact on the diagnosis result is treated as black and the area that has the least effect as white can do. Since the CAM image is an image in the form of a heat map superimposed on the image, the user can easily recognize a region that has an influence on the diagnosis result and visually grasp it more clearly.

또한, CAM 이미지는 진단 보조 장치 및/또는 시스템의 진단 결과와 동시에 또는 별도로 제공될 수 있다. CAM 이미지는 진단 보조 장치 및/또는 시스템에 입력된 안저 이미지 상에 중첩되어 제공될 수 있다. CAM 이미지는 진단 보조 장치 및/또는 시스템에 입력된 안저 이미지와는 별도로 제공될 수 있다. CAM 이미지는 진단 보조 장치 및/또는 시스템에 입력된 이미지에 대한 별도의 처리를 통해 제공될 수 있다. 일 예로, CAM 이미지는 진단 보조 장치 및/또는 시스템에 입력된 안저 이미지를 마우스로 클릭하거나, 마우스 커서를 상기 안저 이미지에 위치시키는 경우에 제공될 수 있다. Also, the CAM image may be provided simultaneously with or separately from the diagnostic results of the diagnostic assist device and/or system. The CAM image may be provided superimposed on an ocular fundus image input to a diagnostic assist device and/or system. The CAM image may be provided separately from the fundus image input to the diagnostic assist device and/or system. CAM images may be provided through separate processing of images input to a diagnostic aid and/or system. For example, the CAM image may be provided when a mouse is clicked on an ocular fundus image input to a diagnosis assisting device and/or system, or a mouse cursor is positioned on the ocular fundus image.

CAM 이미지는 시각적 설명 (visual explanation) 이미지 중 하나이며, 상기 CAM 이미지는 다양한 기법의 시각적 설명 이미지로 대체될 수 있다. 상기 CAM 이미지는 LIME(Local Interpretable Model-agnostic Explainations) 기법, Grad-CAM(Gradient-Class Activation Map) 기법, RISE(Randomized Input Sampling) 기법 등을 사용한 시각적 설명 이미지로 대체될 수 있다. 일 실시 예는 CAM 이미지를 이용한 진단 보조 이미지 장치 및/또는 시스템에 대해 보다 구체적으로 설명하고자 한다. A CAM image is one of visual explanation images, and the CAM image may be replaced with visual explanation images of various techniques. The CAM image may be replaced with a visual explanation image using LIME (Local Interpretable Model-agnostic Explainations) technique, Grad-CAM (Gradient-Class Activation Map) technique, RISE (Randomized Input Sampling) technique, and the like. An embodiment is intended to describe in more detail a diagnosis auxiliary image device and/or system using a CAM image.

2.2.2 CAM 이미지 제공 프로세스2.2.2 CAM image delivery process

일 실시 예에 따르면, CAM 이미지 제공 장치는 신경망 모델을 이용하여 CAM 이미지를 진단 보조 정보(또는 진단 보조 이미지)로서 획득하는 CAM 이미지 제공 프로세스(또는 진단 보조 이미지 제공 프로세스)가 제공될 수 있다. 구체적인 예로, CAM 이미지 제공 장치는 진단 보조 정보 제공부를 통한 CAM 이미지 제공 프로세스에 의하여 CAM 이미지가 출력될 수 있고, 사용자는 CAM 이미지를 통해 상기 진단 보조 장치가 안저 이미지를 기초로 판단한 진단 결과를 쉽게 파악할 수 있다. According to an embodiment, the CAM image providing apparatus may be provided with a CAM image providing process (or diagnostic auxiliary image providing process) for obtaining a CAM image as diagnostic auxiliary information (or diagnostic auxiliary image) using a neural network model. As a specific example, the CAM image providing device may output a CAM image by a CAM image providing process through a diagnostic auxiliary information providing unit, and the user can easily grasp the diagnosis result determined by the diagnostic auxiliary device based on the fundus image through the CAM image. can

도 32는 일 실시 예에 따른 진단 보조 정보 제공부(400)의 구성을 설명하기 위한 도면이다. 도 32를 참조하면, 진단 보조 정보 제공부(400)는 진단 요청 획득 모듈(410), 데이터 가공 모듈(430), 진단 모듈(450), CAM 제공 모듈(470), 및 출력 모듈(490)를 포함할 수 있다. 32 is a diagram for explaining a configuration of a diagnosis auxiliary information providing unit 400 according to an exemplary embodiment. Referring to FIG. 32 , the diagnostic auxiliary information provider 400 includes a diagnosis request acquisition module 410, a data processing module 430, a diagnosis module 450, a CAM providing module 470, and an output module 490. can include

도 33은 일 실시 예에 따른 진단 장치에 의해 수행되는 진단 프로 세스 및 CAM 제공 프로세스를 설명하기 위한 도면이다. 33 is a diagram for explaining a diagnosis process and a CAM provision process performed by a diagnosis device according to an embodiment.

이하에서 설명하는 CAM 이미지 제공 프로세스는 진단 보조 장치 또는 별도의 장치를 통해 제공될 수 있다. The CAM image providing process described below may be provided through a diagnostic aid or a separate device.

2.2.2.1 진단 보조 정보 제공부2.2.2.1 Diagnosis Auxiliary Information Provider

일 실시 예에 따르면, CAM 이미지 제공 프로세스는 진단 보조 정보 제공부(400)에 의해 수행될 수 있다. 상기 진단 보조 정보 제공부(400)는 전술한 진단 장치 내에 마련될 수 있다. 상기 진단 보조 정보 제공부(400)는 상기 진단 장치에 의해 진단 보조 정보가 출력될 수 있고, 상기 진단 보조 정보는 진단 결과와 함께 또는 별도로 CAM 이미지가 출력될 수 있다. According to an embodiment, the CAM image providing process may be performed by the diagnosis auxiliary information providing unit 400 . The diagnostic auxiliary information providing unit 400 may be provided in the aforementioned diagnostic device. The diagnostic auxiliary information providing unit 400 may output diagnostic auxiliary information by the diagnostic device, and the diagnostic auxiliary information may output a CAM image together with a diagnosis result or separately.

각각의 모듈은 후술하는 바와 같이 진단 보조 프로세스 및 CAM 제공 프로세스 등의 개별 단계들을 수행할 수 있다. 다만, 도 32에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 일부 구성 요소들 및 기능이 추가되거나 생략될 수 있다. Each module may perform individual steps such as a diagnosis assistance process and a CAM provision process as described below. However, not all components described in FIG. 32 and functions performed by each component are essential, and some components and functions may be added or omitted.

2.2.2.2 데이터 획득 및 가공 프로세스2.2.2.2 Data Acquisition and Processing Process

데이터 획득 및 가공 프로세스에 관한 내용은 1.3.2 데이터 획득 및 진단 요청, 1.3.3 데이터 가공 프로세스에서 전술한 내용과 동일할 수 있다. 다만, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다.The contents of the data acquisition and processing process may be the same as those described in 1.3.2 Data Acquisition and Diagnosis Request and 1.3.3 Data Processing Process. However, each process is not essential, and may be omitted or a separate process may be added depending on the subject to be diagnosed, the disease to be diagnosed, and the like.

2.2.2.3 진단 프로세스2.2.2.3 diagnostic process

도 32를 참조하면, 상기 진단 프로세스는 진단 모듈(450)에 의해 수행될 수 있다. 도 33을 참조하면, 상기 진단 프로세스는 데이터 획득(S4010), 학습된 진단 보조 신경망 모델(S4020), 및 진단 결과 출력(S4030)을 포함할 수 있다. 도 33을 참조하면, 상기 진단 프로세스는 데이터 획득(S4010), 학습된 진단 보조 신경망 모델(S4020), 및 진단 결과 출력(S4030)을 통해 진단 보조 정보를 출력(S4060)할 수 있다. 상기 진단 프로세스는 상기 진단 보조 정보로서 진단 결과를 출력할 수 있다. 상기 진단 프로세스에서 얻어진 진단 결과는 후술될 CAM 이미지 제공 프로세스에 이용될 수 있다. Referring to FIG. 32 , the diagnosis process may be performed by the diagnosis module 450 . Referring to FIG. 33 , the diagnosis process may include obtaining data (S4010), learning a diagnosis assistant neural network model (S4020), and outputting a diagnosis result (S4030). Referring to FIG. 33 , the diagnosis process may output (S4060) diagnostic assistance information through data acquisition (S4010), a learned diagnosis assistance neural network model (S4020), and diagnosis result output (S4030). The diagnosis process may output a diagnosis result as the diagnosis auxiliary information. Diagnosis results obtained in the diagnosis process may be used in a CAM image providing process to be described later.

진단 프로세스에 관한 내용은 1.3.4 진단 프로세스에서 전술한 내용과 동일할 수 있다. 다만, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병, 제공 정보 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다.The contents of the diagnosis process may be the same as those described above in 1.3.4 Diagnosis Process. However, each process is not essential, and may be omitted or a separate process may be added according to the diagnosis subject, diagnosis disease, provided information, and the like.

2.2.2.4 CAM 이미지 제공 프로세스2.2.2.4 CAM image delivery process

도 32를 참조하면, 일 실시 예에 따른 진단 장치는 상기 CAM 제공 모듈(470)에 의해 CAM 이미지 제공 프로세스가 수행될 수 있다. 상기 CAM 제공 모듈(470)은 입력된 진단 대상 데이터 및 상기 진단 모듈(450)에서 얻어진 정보 중 적어도 어느 하나를 기초로 CAM 이미지 제공 프로세스가 수행될 수 있다. 상기 CAM 제공 모듈(470)은 입력된 진단 대상 데이터 및 상기 진단 모듈(450)에서 얻어진 정보를 기초로 CAM 이미지 제공 프로세스가 수행될 수 있다. Referring to FIG. 32 , in the diagnosis apparatus according to an embodiment, a CAM image providing process may be performed by the CAM providing module 470 . The CAM providing module 470 may perform a CAM image providing process based on at least one of input diagnosis target data and information obtained from the diagnosis module 450 . The CAM providing module 470 may perform a CAM image providing process based on the input diagnosis target data and the information obtained by the diagnosis module 450 .

도 33을 참조하면, 상기 CAM 제공 프로세스는 데이터 획득(S4010), CAM 이미지 제공 모듈(S4040), 및 CAM 이미지 출력(S4050)을 포함할 수 있다. 상기 CAM 제공 프로세스는 데이터 획득(S4010), CAM 이미지 제공 모듈(S4040), 및 CAM 이미지 출력(S4050)을 통해 진단 보조 정보가 출력(S4060)될 수 있다. 상기 CAM 제공 프로세스는 상기 진단 보조 정보로서 CAM 이미지가 출력될 수 있다. 상기 CAM 제공 프로세스는 획득된 데이터 및 상기 진단 프로세스에서 얻어진 정보 중 적어도 어느 하나에 기초하여, 상기 진단 보조 정보로서 CAM 이미지가 출력될 수 있다. 상기 CAM 제공 프로세스는 데이터 획득(S4010)에서 획득된 데이터, 학습된 진단 보조 신경망 모델(S4020)에서 얻어진 정보, 및 진단 결과 출력(S4030)을 통해 얻어진 결과 중 적어도 어느 하나에 기초하여, 상기 진단 보조 정보로서 CAM 이미지가 출력될 수 있다.Referring to FIG. 33 , the CAM providing process may include data acquisition (S4010), CAM image providing module (S4040), and CAM image output (S4050). In the CAM providing process, diagnostic auxiliary information may be output (S4060) through data acquisition (S4010), CAM image providing module (S4040), and CAM image output (S4050). In the CAM providing process, a CAM image may be output as the diagnosis auxiliary information. In the CAM providing process, a CAM image may be output as the diagnostic auxiliary information based on at least one of acquired data and information obtained in the diagnostic process. The CAM providing process is based on at least one of data obtained in data acquisition (S4010), information obtained in the learned diagnosis assistance neural network model (S4020), and results obtained through diagnosis result output (S4030), the diagnosis assistance A CAM image may be output as information.

후술될 내용에서, 상기 CAM 제공 프로세스에 대해서 구체적으로 설명하고자 한다.In the following description, the CAM providing process will be described in detail.

2.2.2.4.1 진단 프로세스로부터 얻어진 정보2.2.2.4.1 Information obtained from the diagnostic process

도 34는 학습된 진단 보조 신경망 모델(S4020)에 의한 진단 프로세스를 설명하기 위한 도면이다. 34 is a diagram for explaining the diagnosis process by the learned diagnosis assistant neural network model (S4020).

도 32 내지 도 34를 참조하면, CAM 이미지 제공 장치는 학습된 진단 보조 신경망 모델(S4020)에 의한 진단 프로세스에 의해 얻어진 정보에 기초하여 CAM 이미지를 제공할 수 있다. Referring to FIGS. 32 to 34 , the CAM image providing apparatus may provide a CAM image based on information obtained by a diagnosis process using the learned diagnosis assistance neural network model S4020.

일 실시 예에 따르면, CAM 이미지 제공 장치는 복수의 층(500)을 포함한 합성곱 신경망 모델에 의한 진단 프로세스에 의해 얻어진 정보에 기초하여 CAM 이미지가 제공될 수 있다. 또한, 일 실시 예에 따르면, CAM 이미지 제공 장치는 합성곱 신경망 모델에 의한 진단 프로세스에 의해 얻어진 정보에 기초하여 CAM 이미지가 제공될 수 있다. 다만, 상기 학습된 진단 보조 신경망 모델(S4020)은 이에 제한되는 것은 아니며, 다른 신경망 모델에 의해서도 CAM 이미지가 제공될 수 있다. According to an embodiment, the CAM image providing apparatus may provide a CAM image based on information obtained by a diagnosis process using a convolutional neural network model including a plurality of layers 500 . Also, according to an embodiment, the CAM image providing device may provide a CAM image based on information obtained by a diagnosis process using a convolutional neural network model. However, the learned diagnostic assisting neural network model (S4020) is not limited thereto, and CAM images may be provided by other neural network models as well.

상기 CAM 이미지 제공 장치는 상기 학습된 진단 보조 신경망 모델(S4020)에서 제공되는 제1 정보 및 제2 정보 중 적어도 어느 하나에 기초하여 CAM 이미지가 제공될 수 있다. 상기 제1 정보는 상기 학습된 진단 보조 신경망 모델(S4020)에서 얻어지는 마지막 레이어의 피쳐맵(510)이 가지는 피쳐값일 수 있고, 상기 제2 정보는 마지막 레이어의 피쳐맵(510)에 기초하여 진단 질병에 관한 정상라벨 또는 비정상라벨에 해당되는 확률값(W)일 수 있다. The CAM image providing device may provide a CAM image based on at least one of first information and second information provided from the learned diagnostic assisting neural network model (S4020). The first information may be a feature value of the feature map 510 of the last layer obtained from the learned diagnosis-assisted neural network model (S4020), and the second information may be a diagnosis disease based on the feature map 510 of the last layer. It may be a probability value (W) corresponding to a normal label or an abnormal label.

이하에서는 진단 프로세스에 의해 얻어진 정보 중 CAM 이미지 제공 장치에 사용될 수 있는 정보에 대해 보다 구체적으로 설명하고자 한다. 이를 위해 우선적으로, 진단 프로세스에서 사용된 학습된 진단 보조 신경망 모델(S4020)에 대해 설명하고자 한다. Hereinafter, information that can be used in the CAM image providing device among information obtained by the diagnosis process will be described in more detail. To this end, first of all, the learned diagnosis assisting neural network model (S4020) used in the diagnosis process will be described.

상기 학습된 진단 보조 신경망 모델(S4020)은 복수의 층을 가지는 신경망일 수 있다. 상기 학습된 진단 보조 신경망 모델(S4020)은 합성곱 신경망 모델일 수 있다. 상기 학습된 진단 보조 신경망 모델(S4020)이 합성곱 신경망 모델인 경우, 상기 학습된 진단 보조 신경망 모델(S4020)은 복수의 레이어(500)을 가지는 신경망을 가질 수 있다. The learned diagnostic assisting neural network model (S4020) may be a neural network having a plurality of layers. The learned diagnostic assisting neural network model (S4020) may be a convolutional neural network model. When the learned diagnostic assisting neural network model S4020 is a convolutional neural network model, the learned diagnostic assisting neural network model S4020 may have a neural network having a plurality of layers 500 .

상기 복수의 레이어(500)은 복수의 컨벌루션 레이어(convolution layer)일 수 있다. 상기 컨벌루션 레이어는 입력된 데이터에 대해 컨벌루션 연산을 수행할 수 있다. 상기 컨벌루션 레이어는 입력된 데이터에 대한 컨벌루션 연산을 통해 복수의 피쳐맵(feature map)을 추출시킬 수 있다. 상기 피쳐맵의 개수는 상기 컨벌루션 레이어에서 사용되는 필터의 개수에 따라 달라질 수 있다. 상기 컨벌루션 레이어는 입력된 데이터 세트에 대해 동일한 필터에 의한 컨벌루션 연산이 수행될 수 있고, 이를 통해 얻어진 복수의 피쳐맵은 축적되어 다음 단계의 레이어 또는 출력 레이어에 입력될 수 있다. 또한, 상기 컨벌루션 레이어는 입력된 데이터 세트에 대해 상이한 필터에 의한 컨벌루션 연산이 각각 수행될 수 있고, 이를 통해 얻어진 복수의 피쳐맵은 각각 축적되어 다음 단계의 레이어 또는 출력 레이어에 입력될 수 있다. The plurality of layers 500 may be a plurality of convolution layers. The convolution layer may perform a convolution operation on input data. The convolution layer may extract a plurality of feature maps through a convolution operation on input data. The number of feature maps may vary depending on the number of filters used in the convolutional layer. The convolution layer may perform a convolution operation using the same filter on an input data set, and a plurality of feature maps obtained through this may be accumulated and input to a next layer or an output layer. In addition, the convolution layer may perform a convolution operation using different filters on an input data set, respectively, and a plurality of feature maps obtained through this may be accumulated and input to a next layer or an output layer.

입력 데이터가 상기 복수의 컨벌루션 레이어를 통과함에 따라, 상기 입력 데이터가 가지는 특징들을 추출할 수 있다. 상기 입력 데이터가 가지는 특징은 상기 복수의 컨벌루션 레이어에서 사용된 복수의 필터를 기초로 추출될 수 있다. 상기 입력 데이터가 가지는 특징은 상기 복수의 필터를 기초로 얻어진 추상적인 특징이 추출될 수 있다. 상기 입력 데이터로부터 상기 복수의 필터를 기초로 얻어진 특징은 상기 진단 결과와 관련된 상기 입력 데이터가 가지는 핵심적 특징일 수 있다. As input data passes through the plurality of convolutional layers, features of the input data may be extracted. Features of the input data may be extracted based on a plurality of filters used in the plurality of convolutional layers. Abstract features obtained based on the plurality of filters may be extracted as features of the input data. A feature obtained from the input data based on the plurality of filters may be a key feature of the input data related to the diagnosis result.

또한, 상기 복수의 컨벌루션 레이어 사이에는 풀링 레이어(pooling layer)가 포함될 수 있다. 상기 풀링 레이어는 컨벌루션 레이어가 추출한 피쳐맵 대해 사용될 수 있다. 상기 풀링 레이어는 입력된 데이터에 대한 풀링 연산이 수행될 수 있다. 상기 풀링 레이어는 상기 피쳐맵에 대한 풀링 연산이 수행되어, 상기 피쳐맵의 크기를 감소시킴과 동시에 상기 피쳐맵의 노이즈를 제거할 수 있다. 상기 풀링 레이어는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등의 방법으로 수행될 수 있다. 상기 풀링 레이어가 맥스 풀링을 통해 수행되는 경우, 상기 피쳐맵에서 특징값이 작은 노이즈를 제거되고, 이에 따라 상기 피쳐맵 상에 나타난 핵심적인 특징이 보다 잘 추출될 수 있다. 또한, 상기 풀링 레이어가 에버리지 풀링을 통해 수행되는 경우, 상기 피쳐맵에서 특징값이 평균값으로 추출되고, 이에 따라 상기 피쳐맵 상에 나타난 전반적인 특징이 보다 잘 추출될 수 있다. 상기 풀링 연산은 상기 모델이 판단하고자 하는 대상, 결과, 분류 대상 등을 기초로 다양한 연산 방법을 선택하여 사용될 수 있다. Also, a pooling layer may be included between the plurality of convolutional layers. The pooling layer may be used for feature maps extracted by the convolutional layer. The pooling layer may perform a pooling operation on input data. The pooling layer may perform a pooling operation on the feature map to reduce the size of the feature map and remove noise from the feature map. The pooling layer may be performed using a method such as max pooling or average pooling. When the pooling layer is performed through max pooling, noise having a small feature value is removed from the feature map, and thus, core features displayed on the feature map can be better extracted. In addition, when the pooling layer is performed through average pooling, feature values are extracted as average values from the feature map, and thus overall features displayed on the feature map can be better extracted. The pooling operation may be used by selecting various calculation methods based on an object, result, classification target, etc. to be determined by the model.

일 실시 예에 따르면, 상기 학습된 보조 신경망 모델(S4020)에 포함되는 복수의 레이어(500) 중 마지막 레이어에서 얻어진 피쳐맵(510)을 기초로 진단 결과가 추출될 수 있다. 상기 마지막 레이어에서 얻어진 복수의 피쳐맵(510)은 상기 복수의 레이어(500) 중 마지막 컨벌루션 레이어에서 얻어진 피쳐맵(510)을 기초로 진단 결과가 추출될 수 있다. 상기 복수의 레이어(500) 중 마지막 레이어에서 얻어진 복수의 피쳐맵(510)은 상기 입력 데이터에서 진단 질병에 관하여 가장 추상화된 특징(또는 핵심적 특징)이 추출될 수 있다. 마지막 레이어에서 얻어진 상기 복수의 피쳐맵(510)은 진단 질병에 관하여 가장 추상화된 특징(또는 핵심적 특징)이 추출되어 있어, 상기 복수의 피쳐맵(510)을 통해 상기 진단 질병의 진단 결과를 도출하기 용이할 수 있다. According to an embodiment, a diagnosis result may be extracted based on a feature map 510 obtained from a last layer among a plurality of layers 500 included in the trained auxiliary neural network model S4020. A diagnosis result may be extracted based on the feature map 510 obtained from the last convolutional layer among the plurality of layers 500 of the plurality of feature maps 510 obtained from the last layer. In the plurality of feature maps 510 obtained from the last layer among the plurality of layers 500, the most abstract features (or core features) of the diagnosis disease may be extracted from the input data. In the plurality of feature maps 510 obtained in the last layer, the most abstract features (or core features) with respect to the diagnosis disease are extracted, so that the diagnosis result of the diagnosis disease is derived through the plurality of feature maps 510. It can be easy.

상기 복수의 피쳐맵(510)에서 얻어진 피쳐값들은 제1 정보가 될 수 있다. 상기 복수의 피쳐맵(510)에서 얻어진 피쳐값들은 상기 CAM 제공 장치에 제1 정보로 제공될 수 있다. 상기 복수의 피쳐맵(510)에서 추출된 추상화된 특징을 고려하기 위해, 상기 복수의 피쳐맵(510)에서 얻어진 피쳐값들은 상기 CAM 제공장치에 제1 정보로 제공될 수 있다. 상기 CAM 제공 장치는 상기 제1 정보를 통해 진단 질병과 관련하여, 입력 데이터를 구성하는 복수의 픽셀들의 어떤 특징이 상기 진단 질병에 관한 특징인지를 CAM 이미지로 제공될 수 있다. Feature values obtained from the plurality of feature maps 510 may be first information. Feature values obtained from the plurality of feature maps 510 may be provided as first information to the CAM providing apparatus. In order to consider abstracted features extracted from the plurality of feature maps 510, feature values obtained from the plurality of feature maps 510 may be provided to the CAM providing apparatus as first information. The CAM providing device may provide, as a CAM image, which characteristic of a plurality of pixels constituting the input data is a characteristic of the diagnosed disease in relation to the diagnosed disease through the first information.

또한, 일 실시 예에 따르면, 마지막 레이어의 복수의 피쳐맵(510)은 진단 질병에 관한 진단 결과를 비정상(또는 의심) 또는 정상인지 여부를 판단하는 기초가 될 수 있다. 마지막 레이어의 복수의 피쳐맵(510)은 진단 질병에 관한 비정상 또는 정상을 판단하는 분류 단계를 거칠 수 있다. 상기 분류 단계를 거치기 위해 상기 복수의 피쳐맵(510)은 별도의 처리(520)가 수행될 수 있다. 상기 처리(520)가 수행된 상기 복수의 피쳐맵(510)은 복수의 분류 데이터(530)가 될 수 있다. 상기 복수의 분류 데이터(530)는 진단 질병에 관한 비정상 또는 정상에 대한 분류가 수행됨에 따라, 해당 라벨에 대한 웨이트값(W)을 기초로 상기 분류 데이터(530)가 해당 라벨에 해당될 수 있는 확률값을 얻을 수 있다. Also, according to an embodiment, the plurality of feature maps 510 of the last layer may be a basis for determining whether a diagnosis result related to a diagnosis disease is abnormal (or suspected) or normal. The plurality of feature maps 510 of the last layer may undergo a classification step of determining abnormality or normality with respect to the diagnosed disease. A separate process 520 may be performed on the plurality of feature maps 510 to pass through the classification step. The plurality of feature maps 510 on which the processing 520 is performed may become a plurality of classification data 530 . As the plurality of classification data 530 is classified as abnormal or normal for a diagnosed disease, the classification data 530 may correspond to a corresponding label based on the weight value W for the corresponding label. probabilities can be obtained.

상기 별도의 처리(520)는 GAP(Global Average Pooling) 또는 FC(Fully-Connected) layer를 거치는 것을 의미할 수 있다. 상기 별도의 처리(520)로서 GAP가 수행되는 경우, 상기 복수의 피쳐맵(510)의 피쳐들이 가지는 공간 정보가 유지될 수 있다. 상기 복수의 피쳐맵(510)은 GAP이 수행됨에 따라 GAP 데이터(530)를 얻을 수 있다. 상기 GAP 데이터(530)는 상기 진단 질병을 판단하기 위해, 상기 GAP 데이터(530)는 해당 라벨에 대한 웨이트값(W)을 기초로 진단 결과를 판단할 수 있다. The separate processing 520 may mean going through a Global Average Pooling (GAP) or Fully-Connected (FC) layer. When GAP is performed as the separate processing 520, spatial information of features of the plurality of feature maps 510 may be maintained. The plurality of feature maps 510 may obtain GAP data 530 as GAP is performed. In order to determine the diagnosed disease, the GAP data 530 may determine a diagnosis result based on a weight value (W) for a corresponding label.

상기 분류 데이터(530)에 대한 분류가 수행됨에 따라, 분류 데이터(530)의 해당 라벨에 대한 판단의 기초가 되는 웨이트 값(W)은 제2 정보가 될 수 있다. 상기 분류 데이터(530)의 웨이트값(W)은 상기 CAM 제공 장치에 제2 정보로 제공될 수 있다. 상기 복수의 피쳐맵(510)들이 진단 질병에 대해 가지는 각각의 웨이트값(W)은 상기 CAM 제공 장치에 제2 정보로 제공될 수 있다. 상기 웨이트값(W)은 상기 복수의 피쳐맵(510)을 구성하는 피쳐값 중 상기 진단 질병에 관한 라벨을 판단함에 있어 중요한 부분을 나타낼 수 있어, 상기 피쳐값 중 상기 진단 질병에 관한 라벨 판단에 대한 노이즈를 제거할 수 있다. As classification of the classification data 530 is performed, the weight value W, which is a basis for determining a corresponding label of the classification data 530, may become second information. The weight value W of the classification data 530 may be provided as second information to the CAM providing device. Each weight value (W) of the plurality of feature maps 510 for a diagnosis disease may be provided to the CAM providing device as second information. The weight value (W) may indicate an important part in determining the label related to the diagnosed disease among the feature values constituting the plurality of feature maps 510, so that among the feature values, the label related to the diagnosed disease is determined. noise can be removed.

도 35은 상기 분류 데이터(530)가 비정상에 해당되는지 여부를 판단하는 프로세스를 설명하기 위한 도면이고, 도 36은 상기 분류 데이터(530)가 정상에 해당되는 여부를 판단하는 프로세스를 설명하기 위한 도면이다.FIG. 35 is a diagram for explaining a process for determining whether the classified data 530 corresponds to abnormal, and FIG. 36 is a diagram for explaining a process for determining whether the classified data 530 corresponds to normal. am.

도 35 및 도 36을 참조하면, 일 실시 예에 따른 상기 복수의 피쳐맵(510)은 제1 피쳐맵(511), 제2 피쳐맵(513), 내지 제n 피쳐맵(515)을 포함할 수 있고, 상기 GAP 데이터(530)는 제1 GAP 데이터(531), 제2 GAP 데이터(533), 내지 제n GAP 데이터(535)를 포함할 수 있다. 상기 제1 GAP 데이터(531)은 상기 제1 피쳐맵(511)으로부터 GAP이 수행됨에 따라 얻어지며, 상기 제1 GAP 데이터(531)는 진단 질병에 대한 비정상을 판단하기 위해 제1 비정상 웨이트값(W1)이 고려되어 판단될 수 있다. 상기 제2 GAP 데이터(533) 내지 상기 제n GAP 데이터(535) 또한 상기 제2 피쳐맵(513) 내지 상기 제n 피쳐맵(515)으로부터 각각 GAP 수행됨에 따라 얻어지며, 상기 제2 GAP 데이터(533) 내지 상기 제n GAP 데이터(535)는 제2 비정상 웨이트값(W2) 내지 제n 비정상 웨이트값(Wn)이 각각 고려되어 판단될 수 있다. 35 and 36, the plurality of feature maps 510 according to an embodiment may include a first feature map 511, a second feature map 513, and an n-th feature map 515. The GAP data 530 may include first GAP data 531 , second GAP data 533 , to n th GAP data 535 . The first GAP data 531 is obtained as GAP is performed from the first feature map 511, and the first GAP data 531 is a first abnormal weight value ( W1) can be considered and determined. The second GAP data 533 to the n-th GAP data 535 are also obtained as GAP is performed from the second feature map 513 to the n-th feature map 515, respectively, and the second GAP data ( 533) to the n-th GAP data 535 may be determined by considering the second abnormal weight value W2 to the n-th abnormal weight value Wn, respectively.

또한, 상기 제1 GAP 데이터(531)는 진단 질병에 대한 정상을 판단하기 위해 제1 정상 웨이트값(W1')이 고려되어 판단될 수 있다. 상기 제2 GAP 데이터(533) 내지 상기 제n GAP 데이터(535) 또한 상기 제2 피쳐맵(513) 내지 상기 제n 피쳐맵(515)으로부터 각각 GAP 수행됨에 따라 얻어지며, 상기 제2 GAP 데이터(533) 내지 상기 제n GAP 데이터(535)는 진단 질병에 대한 정상을 판단하기 위해 제2 정상 웨이트값(W2') 내지 제n 정상 웨이트값(Wn')이 각각 고려되어 판단될 수 있다. In addition, the first GAP data 531 may be determined by considering the first normal weight value W1' in order to determine normality for a diagnosed disease. The second GAP data 533 to the n-th GAP data 535 are also obtained as GAP is performed from the second feature map 513 to the n-th feature map 515, respectively, and the second GAP data ( 533) to the n-th GAP data 535 may be determined by considering the second normal weight value (W2') to the n-th normal weight value (Wn'), respectively, in order to determine normality for the diagnosed disease.

따라서, 상기 웨이트값(W)을 제2 정보로 CAM 제공 장치에 제공됨에 따라, 상기 CAM 제공 장치는 제1 정보에서 상기 제2 정보를 고려할 수 있어, 상기 CAM 제공 장치는 입력 데이터에서 상기 진단 질병에 관한 핵심적 특징들이 추출된 CAM 이미지(540)를 제공할 수 있다. 또한, 상기 웨이트값은 진단 질병에 대해 판단하고자 하는 라벨에 따라 달라질 수 있고, 비정상에 대한 비정상 웨이트값(W1 내지 Wn) 및 정상에 대한 정상 웨이트값(W1' 내지 Wn')이 각각 제2 정보로서 제공될 수 있다. 즉, 상기 CAM 제공 장치는 입력 데이터에 대한 제1 정보와 함께 비정상에 대한 비정상 웨이트 값(W1 내지 Wn)인 제2 정보를 통해, 비정상에 해당되는 경우의 CAM 이미지(540)를 제공할 수 있고, 제1 정보와 함께 정상에 대한 정상 웨이트 값(W1' 내지 Wn')인 제2 정보를 통해, 정상에 해당되는 경우의 CAM 이미지(540')를 제공할 수 있다. Therefore, as the weight value (W) is provided to the CAM providing device as second information, the CAM providing device can consider the second information in the first information, so that the CAM providing device determines the diagnosis disease in the input data. It is possible to provide a CAM image 540 from which core features about . In addition, the weight value may vary according to a label to be determined for a diagnosed disease, and abnormal weight values (W1 to Wn) for abnormal and normal weight values (W1' to Wn') for normal are second information, respectively. can be provided as That is, the CAM providing device may provide a CAM image 540 in the case of abnormality through first information about input data and second information that is abnormal weight values (W1 to Wn) for abnormalities, , The CAM image 540' in the case of being normal can be provided through the first information and the second information that is the normal weight value (W1' to Wn') for normal.

다만, 일 실시 예에 따르면, CAM 이미지가 제공되는 목적은 진단 질병이 발생되는 위치를 보다 용이하게 판단할 수 있도록 하기 위한 점에서, 제1 정보와 더불어 비정상에 대한 비정상 웨이트 값(W1 내지 Wn)을 포함한 제2 정보를 통해 비정상에 대한 CAM 이미지(540)를 제공하는 것이 주 목적일 수 있다. However, according to one embodiment, the purpose of providing the CAM image is to more easily determine the location where the diagnosis disease occurs, and the abnormal weight values (W1 to Wn) for abnormalities together with the first information The main purpose may be to provide the CAM image 540 for the abnormality through the second information including .

2.2.2.4.2 CAM 이미지 출력2.2.2.4.2 CAM image output

도 37은 입력 데이터 및 진단 프로세스로부터 얻어진 정보로부터 CAM 이미지를 출력하는 프로세스를 설명하기 위한 도면이다. 37 is a diagram for explaining a process of outputting a CAM image from input data and information obtained from a diagnosis process.

도 31 내지 도 37을 참조하면, 상기 CAM 이미지 제공 장치는 입력 데이터, 상기 제1 정보, 및 상기 제2 정보 중 적어도 어느 하나를 기초로 CAM 이미지가 제공될 수 있다. 상기 CAM 이미지는 입력 데이터, 상기 제1 정보, 및 상기 제2 정보 중 적어도 어느 하나를 기초로 제공될 수 있다. 상기 CAM 이미지는 상기 제1 정보가 포함하는 피쳐값들에 대해 제2 정보를 고려한 값을 기초로 제공될 수 있다. Referring to FIGS. 31 to 37 , the CAM image providing device may provide a CAM image based on at least one of input data, the first information, and the second information. The CAM image may be provided based on at least one of input data, the first information, and the second information. The CAM image may be provided based on a value in which second information is considered for feature values included in the first information.

도 35 내지 도 37을 참조하면, 상기 CAM 이미지는 상기 제1 정보로 제공되는 복수의 피쳐맵(510)에 대해 제2 정보를 고려하여 나타낼 수 있다. 상기 복수의 피쳐맵(510)은 복수의 층을 통과하여, 상기 입력 데이터에 비해 그 크기가 작을 수 있다. 일 실시 예에 따르면, 상기 CAM 이미지 제공 장치는 상기 제1 정보로서 복수의 피쳐맵(510)에 상기 제2 정보를 고려한 제1 CAM 이미지(541)를 기초로 입력 데이터와 크기가 동일한 제2 CAM 이미지(549)가 제공될 수 있다. Referring to FIGS. 35 to 37 , the CAM image may be displayed in consideration of second information for a plurality of feature maps 510 provided as the first information. The plurality of feature maps 510 may pass through a plurality of layers and may have a smaller size than the input data. According to an embodiment, the CAM image providing apparatus generates a second CAM image having the same size as the input data based on the first CAM image 541 considering the second information in the plurality of feature maps 510 as the first information. Image 549 may be provided.

상기 CAM 이미지 제공 장치는 상기 제1 정보 및 상기 제2 정보를 기초로 진단 질병에 관한 비정상을 판단 하기 위해, 제1 피쳐맵(531)과 제1 비정상 웨이트값(W1)이 고려된 제1 피쳐값, 제2 피쳐맵(533)과 제2 비정상 웨이트값(W2)이 고려된 제2 피쳐값, 내지 제n 피쳐맵(535)과 제n 비정상 웨이트값(Wn)이 고려된 제n 피쳐값이 모두 고려될 수 있다. 상기 CAM 이미지 제공 장치는 제1 피쳐맵(531)과 제1 비정상 웨이트값(W1)이 고려된 제1 피쳐값, 제2 피쳐맵(533)과 제2 비정상 웨이트값(W2)이 고려된 제2 피쳐값, 내지 제n 피쳐맵(535)과 제n 비정상 웨이트값(Wn)이 고려된 제n 피쳐값이 모두 더해진 진단 피쳐맵에 대한 정보를 기초로 진단 질병에 관한 비정상을 판단할 수 있다. 이는 정상을 판단하기 위한 제1 정보 및 제2 정보인 경우에도 그 내용은 대응될 수 있다. The CAM image providing device determines a first feature map 531 and a first abnormal weight value W1 as abnormalities in a diagnosed disease based on the first information and the second information. value, the second feature value considering the second feature map 533 and the second abnormal weight value W2, to the nth feature value considering the nth feature map 535 and the n abnormal weight value Wn. All of these can be considered. The CAM image providing device includes a first feature value considering the first feature map 531 and the first abnormal weight value W1, and a second feature value considering the second feature map 533 and the second abnormal weight value W2. It is possible to determine the abnormality of the diagnosed disease based on the information about the diagnosis feature map in which the nth feature value considering the second to nth feature map 535 and the nth abnormality weight value Wn are all added together. . Even if this is the first information and the second information for determining normality, the contents may correspond.

상기 제1 CAM 이미지는 상기 비정상에 대한 진단 결과를 고려한 CAM 이미지(540) 및 상기 정상에 대한 진단 결과를 고려한 CAM 이미지(540')를 포함할 수 있다. 상기 제1 CAM 이미지(541)는 상기 복수의 피쳐맵(510)을 기초로 해당 라벨에 따른 웨이트값(W)을 고려하여 제공됨에 따라, 그 입력된 데이터에 비해 크기가 작고 선명도가 낮아질 수 있다. 따라서, 상기 제1 CAM 이미지(541)는 추가적인 처리가 수행됨에 따라 제2 CAM 이미지(549)로 제공될 수 있다. The first CAM image may include a CAM image 540 considering the diagnosis result for the abnormality and a CAM image 540' considering the diagnosis result for the normal condition. As the first CAM image 541 is provided based on the plurality of feature maps 510 in consideration of the weight value (W) according to the corresponding label, the size and sharpness of the first CAM image 541 may be reduced compared to the input data. . Accordingly, the first CAM image 541 may be provided as a second CAM image 549 as additional processing is performed.

일 실시 예에 따르면, 상기 제1 CAM 이미지(541)는 상기 피쳐맵(510)을 기초로 제공될 수 있되, 상기 피쳐맵을 구성하는 진단 피쳐값들(543)을 제1 CAM 이미지와 분리시킬 수 있다. 이 때, 분리된 진단 피쳐값들(543)은 그 값을 기초로 색 스펙트럼 또는 히트 맵 형태로 나타나있을 수 있고, 수치 값을 기초로 나타나 있을 수 있다. 상기 분리된 진단 피쳐값들(543)은 입력 데이터의 크기에 대응되게 확대될 수 있다. 상기 분리된 진단 피쳐값들(543)은 입력 데이터의 크기에 대응되게 확대되되, 확대된 이미지(545)는 그 값을 기초로 색 스펙트럼 또는 히트 맵 형태로 나타날 수 있다. 확대된 이미지(545)는 입력 데이터(547)에 중첩될 수 있다. 상기 입력 데이터(547)에 확대된 이미지(545)가 중첩된 이미지(549)는 제2 CAM 이미지로 제공될 수 있다. 상기 제2 CAM 이미지는 상기 확대된 이미지(545)가 투명도를 높이는 처리를 거친 후 입력 데이터(547)에 중첩된 이미지일 수 있다. According to an embodiment, the first CAM image 541 may be provided based on the feature map 510, and diagnostic feature values 543 constituting the feature map may be separated from the first CAM image. can In this case, the separated diagnostic feature values 543 may be displayed in the form of a color spectrum or a heat map based on the values, or may be displayed based on numerical values. The separated diagnostic feature values 543 may be enlarged to correspond to the size of input data. The separated diagnostic feature values 543 are enlarged to correspond to the size of the input data, and the enlarged image 545 may be displayed in the form of a color spectrum or a heat map based on the values. The enlarged image 545 may be superimposed on the input data 547 . An image 549 obtained by overlapping the enlarged image 545 on the input data 547 may be provided as a second CAM image. The second CAM image may be an image superimposed on the input data 547 after the enlarged image 545 is processed to increase transparency.

상기 제2 CAM 이미지는 상기 제1 CAM 이미지와 달리 입력 데이터가 선명하게 나타날 수 있어, 입력 데이터 상에 진단 질병의 진단 결과와 관련된 위치를 보다 용이하게 파악할 수 있다. 상기 제2 CAM 이미지는 입력 데이터 상에 제1 정보 및 제2 정보를 고려한 특징들을 부각시켜 나타남에 따라, 비숙련자도 쉽게 진단 질병의 진단 결과와 관련된 위치를 파악할 수 있다. Unlike the first CAM image, input data can be displayed clearly in the second CAM image, so that a location related to a diagnosis result of a diagnosis disease can be more easily identified on the input data. As the second CAM image is displayed by emphasizing features considering the first information and the second information on the input data, even an unskilled person can easily grasp the position related to the diagnosis result of the diagnosis disease.

2.2.2.5 진단 보조 정보2.2.2.5 diagnostic aids

2.2.2.5.1 진단 보조 정보의 정의2.2.2.5.1 What is diagnostic aid information?

1.3.5에 기재된 내용과 같이, 진단 보조 정보는 진단 보조 장치를 통해 얻어진 진단 결과를 보조하기 위한 정보일 수 있다. 또한, 진단 보조 정보는 상기 진단 결과에 영향을 미친 요소들에 대한 정보일 수 있다. 또한, 진단 보조 정보는 상기 진단 결과와 연관된 요소들에 대한 정보일 수 있다. 일 예로, 진단 보조 정보는 이미지, 텍스트, 및 숫자 등으로 표현 또는 구성된 정보일 수 있고, 상기 정보들은 동시에 또는 별개로 제공될 수 있다. As described in Section 1.3.5, the diagnosis auxiliary information may be information for assisting a diagnosis result obtained through a diagnosis assistance device. Also, the diagnosis auxiliary information may be information about factors that affect the diagnosis result. Also, the diagnosis auxiliary information may be information about elements related to the diagnosis result. For example, the diagnosis auxiliary information may be information expressed or composed of images, texts, and numbers, and the information may be provided simultaneously or separately.

일 실시 예에 따르면, 진단 보조 정보는 진단 보조 장치를 통해 얻어진 진단 결과 및 진단 보조 이미지를 포함할 수 있다. 또한, 상기 진단 보조 정보는 상기 진단 결과 및 상기 진단 보조 이미지 이외의 다른 정보를 포함할 수 있고, 상기 다른 정보는 상기 진단 질병에 연관된 요소들이거나 영향을 미친 요소들일 수 있다. 일 예로, 상기 진단 보조 정보는 상기 진단 결과 및 상기 진단 보조 이미지 이외에, 입력 데이터의 대상체인 환자에 관한 성별, 나이, 흡연 여부, 혈압, 및 신체 정보 등을 포함할 수 있다. 또한, 상기 진단 보조 정보는 상기 진단 결과 및 상기 진단 보조 이미지 이외에, 이전에 수행되었던 진단 결과 및 진단 보조 이미지가 함께 제공될 수 있다. According to an embodiment, the auxiliary diagnosis information may include a diagnosis result obtained through an auxiliary diagnosis device and an auxiliary diagnosis image. Also, the diagnostic auxiliary information may include information other than the diagnosis result and the diagnostic auxiliary image, and the other information may be factors related to or affecting the diagnosis disease. For example, the diagnostic auxiliary information may include, in addition to the diagnosis result and the diagnostic auxiliary image, gender, age, smoking status, blood pressure, and body information of a patient, which is an object of the input data. In addition, the diagnosis auxiliary information may include a previously performed diagnosis result and a diagnosis auxiliary image in addition to the diagnosis result and the diagnosis auxiliary image.

2.2.2.5.2 진단 보조 정보의 출력2.2.2.5.2 Output of diagnostic aid information

도 31 내지 도 37을 참조하면, 진단 보조 장치는 진단 보조 정보로서 출력된 진단 결과(S4030)와 함께 또는 별도로 출력된 CAM 이미지(S4050)가 출력 모듈(490)에 의해 출력(S4060)될 수 있다. 상기 CAM 이미지는 진단 모듈에서 수행된 진단 프로세스에 따라 진단 결과가 비정상인 경우에만 선택적으로 제공될 수 있다. 상기 CAM 이미지는 진단 모듈에서 수행된 진단 프로세스에 따라 진단 결과가 비정상인 경우에, 상기 진단 대상 데이터에 중첩되어 제공되거나 별도로 함께 제공될 수 있다. 또한, 진단 보조 정보의 출력은 1.3.5에 기재된 내용과 동일하거나 1.3.5에 기재된 내용을 포함할 수 있다. 또한, 1.5 사용자 인터페이스와 같이, 상기 진단 보조 정보는 사용자 인터페이스 상에 제공될 수 있다. Referring to FIGS. 31 to 37 , the diagnosis assisting device may output (S4060) a CAM image (S4050) outputted together with or separately outputted as diagnosis assistance information by the output module 490 along with a diagnosis result (S4030) output. . The CAM image may be selectively provided only when a diagnosis result is abnormal according to a diagnosis process performed by a diagnosis module. The CAM image may be overlapped with the diagnosis target data or provided together separately when a diagnosis result is abnormal according to a diagnosis process performed by a diagnosis module. In addition, the output of diagnostic auxiliary information may be the same as or include the contents described in 1.3.5. Also, like the 1.5 user interface, the diagnostic auxiliary information may be provided on the user interface.

2.2.3 CAM 이미지의 정확도 향상 방법2.2.3 How to improve the accuracy of CAM images

2.2.3.1 배경 및 목적2.2.3.1 background and purpose

전술하였듯이, CAM 이미지는 진단 질병에 대한 진단 결과를 기초로 제공될 수 있고, 이는 진단 결과와 함께 또는 별도로 제공될 수 있다. 일 실시 예에 따르면, 상기 진단 결과가 병변의 유무에 대해서 제공되는 경우, 상기 CAM 이미지는 진단 질병의 진행 정도를 추가적으로 고려함에 따라, CAM 이미지 제공 장치는 보다 정확성이 향상될 수 있다. 또한, 일 실시 예에 따르면, 상기 CAM 이미지는 노이즈 제거를 위한 별도의 처리가 추가적으로 수행되어, CAM 이미지 제공 장치는 보다 정확성이 향상될 수 있다. As described above, the CAM image may be provided based on a diagnosis result for a diagnosed disease, and may be provided together with or separately from the diagnosis result. According to an embodiment, when the diagnosis result is provided regarding the presence or absence of a lesion, the CAM image may further improve the accuracy of the CAM image providing device by additionally considering the degree of progression of the diagnosed disease. In addition, according to an embodiment, the CAM image is additionally processed to remove noise, so that the CAM image providing device can further improve accuracy.

2.2.3.2 Multi-binary system2.2.3.2 Multi-binary system

도 38은 진단 질병의 진행 정도를 고려한 진단 프로세스에 따른 CAM 이미지 제공 프로세스를 설명하기 위한 도면이다. 38 is a diagram for explaining a CAM image providing process according to a diagnosis process in consideration of the degree of progression of a diagnosed disease.

도 32를 참조하면, 상기 진단 프로세스는 진단 모듈(450)에 의해 수행될 수 있다. 또한, 도 38을 참조하면, 상기 진단 프로세스는 데이터 획득(S4011), 학습된 제1 진단 보조 신경망 모델 내지 학습된 제3 진단 보조 신경망 모델(S4021, S4023, S4025), 제1 진단 결과 출력 내지 제3 진단 결과 출력(S4031, S4033, S4035), 및 진단 보조 정보 출력(S4061)을 포함할 수 있다. 상기 진단 프로세스는 진단 질병에 대한 진행 정도에 따른 라벨링을 통해 상기 진단 보조 정보로서, 진단 질병에 대한 보유 여부 및 진행 정도에 관한 진단 결과를 출력할 수 있다. 상기 진단 프로세스에서 얻어진 진단 결과는 후술될 CAM 이미지 제공 프로세스에 이용될 수 있다. Referring to FIG. 32 , the diagnosis process may be performed by the diagnosis module 450 . Also, referring to FIG. 38 , the diagnosis process includes data acquisition (S4011), first learned diagnosis assisting neural network model to third learned diagnosis assisting neural network model (S4021, S4023, S4025), output of first diagnosis results to second diagnosis assisting neural network models. 3 diagnostic result outputs (S4031, S4033, S4035), and diagnostic auxiliary information output (S4061). The diagnosis process may output, as the diagnostic auxiliary information, a diagnosis result regarding whether or not the diagnosed disease is possessed and the progress level through labeling according to the progress level of the diagnosed disease. Diagnosis results obtained in the diagnosis process may be used in a CAM image providing process to be described later.

상기 학습된 제1 진단 보조 신경망 모델 내지 학습된 제3 진단 보조 신경망 모델(S4021, S4023, S4025)은 질병의 진행 정도에 따라 라벨링을 할 수 있는 모델일 수 있다. 일 실시 예에 따르면, 상기 학습된 제1 진단 보조 신경망 모델(S4021)은 상기 진단 질병의 초기 단계에 해당되는지 여부를 분류하는 모델일 수 있고, 상기 학습된 제2 진단 보조 신경망 모델(S4023)은 상기 진단 질병의 중기 단계에 해당되는지 여부를 분류하는 모델일 수 있고, 상기 학습된 제3 진단 보조 신경망 모델(S4025)은 상기 진단 질병의 말기에 해당되는지 여부를 분류하는 모델일 수 있다. 일 예로, 동일한 입력 데이터를 학습된 제1 진단 보조 신경망 모델 내지 학습된 제3 진단 보조 신경망 모델(S4021, S4023, S4025)에 각각 입력한 경우, 상기 학습된 제1 진단 보조 신경망 모델(S4021)에서는 진단 질병에 대한 정상으로 분류되되, 상기 학습된 제2 진단 보조 신경망 모델(S4023)에서는 비정상으로 분류되고, 상기 학습된 제3 진단 보조 신경망 모델(S4025)에서는 정상으로 분류되는 경우, 상기 진단 프로세스는 진단 질병의 중기에 해당되는 진단 결과가 제공될 수 있다. The learned first diagnostic assisting neural network model to the learned third diagnostic assisting neural network model (S4021, S4023, and S4025) may be models capable of labeling according to the degree of disease progression. According to an embodiment, the learned first diagnostic assisting neural network model (S4021) may be a model for classifying whether or not the diagnosed disease is in an early stage, and the learned second diagnostic assisting neural network model (S4023) is It may be a model for classifying whether or not it corresponds to the middle stage of the diagnosed disease, and the learned third diagnosis assisting neural network model (S4025) may be a model for classifying whether or not it corresponds to the late stage of the diagnosed disease. For example, when the same input data is input to the learned first diagnostic assisting neural network model to the learned third diagnostic assisting neural network model (S4021, S4023, and S4025), respectively, the learned first diagnostic assisting neural network model (S4021) When classified as normal for the diagnosis disease, but classified as abnormal in the learned second diagnosis assisting neural network model (S4023) and classified as normal in the learned third diagnosis assisting neural network model (S4025), the diagnosis process Diagnosis Diagnosis results corresponding to the intermediate stage of the disease may be provided.

상기 내용 이외의 진단 프로세스에 관한 내용은 1.3.4 진단 프로세스 및 2.2.2.3 진단 프로세스에서 전술한 내용과 동일할 수 있다. 다만, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병, 제공 정보 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다.The contents of the diagnosis process other than the above may be the same as those described in 1.3.4 Diagnosis Process and 2.2.2.3 Diagnosis Process. However, each process is not essential, and may be omitted or a separate process may be added according to the diagnosis subject, diagnosis disease, provided information, and the like.

이하에서는, 진단 질병의 진행 정도를 고려한 진단 프로세스에 따른 진단 결과에 따라 제공될 수 있는 CAM 이미지에 대해 구체적을 설명하고자 한다. Hereinafter, a CAM image that can be provided according to a diagnosis result according to a diagnosis process considering the progression of a diagnosed disease will be described in detail.

도 34를 참조하면, 상기 학습된 제1 진단 보조 신경망 모델 내지 학습된 제3 진단 보조 신경망 모델(S4021, S4023, S4025)에 의한 각각 마지막 피쳐맵(510)인 제1 정보 및 웨이트값(W2)인 제2 정보는 CAM 제공 프로세스에 제공될 수 있다. Referring to FIG. 34 , the first information and weight value W2, which are the last feature maps 510 by the learned first to third diagnostic assisting neural network models (S4021, S4023, and S4025), respectively. The second information may be provided to the CAM providing process.

일 실시 예에 따르면, 입력 데이터가 상기 학습된 제1 진단 보조 신경망 모델(S4021)에 의해 비정상으로 분류되되, 상기 학습된 제2 진단 보조 신경망 모델(S4023) 및 상기 학습된 제3 진단 보조 신경망 모델(S4025)에 의해 정상으로 분류되는 경우, 상기 학습된 제1 진단 보조 신경망 모델(S4021)에서 판단된 마지막 피쳐맵(510)은 상기 입력 데이터가 진단 질병의 초기 단계에 해당되는 비정상에 연관된 초기 단계 특징들이 존재할 수 있다. 상기 학습된 제2 진단 보조 신경망 모델(S4023) 및 상기 학습된 제3 진단 보조 신경망 모델(S4025)은 상기 입력 데이터가 진단 질병의 중기 및 말기 단계에 해당되지 않는 정상에 연관된 중기 및 말기 단계의 특징들이 각각 존재할 수 있다. 즉, 입력 데이터에 포함되는 특징들에 대해 초기, 중기, 및 말기 특징들을 함께 비교하되, 상기 CAM 제공 프로세스는 이를 고려하여 초기 단계를 의미하는 특징들에 대해서만 CAM 이미지가 제공될 수 있다. 다른 단계의 경우도 마찬가지일 수 있다.According to an embodiment, input data is classified as abnormal by the learned first diagnostic assisting neural network model (S4021), but the learned second diagnostic assisting neural network model (S4023) and the learned third diagnostic assisting neural network model (S4021). If it is classified as normal by (S4025), the last feature map 510 determined by the learned first diagnosis-assisting neural network model (S4021) is the initial stage associated with abnormality corresponding to the initial stage of the diagnosed disease. features may exist. The learned second diagnostic assisting neural network model (S4023) and the learned third diagnostic assisting neural network model (S4025) are characteristics of the middle and end stages associated with normal when the input data do not correspond to the middle and end stages of the diagnosed disease. may each exist. That is, the features included in the input data are compared with the features of the initial, middle, and end stages, but the CAM providing process considers this and provides CAM images only for features meaning an initial stage. The same may be true for other stages.

진단 질병을 진행 정도를 고려한 진단 보조 이미지는 비전문가의 CAM 이미지의 활용을 높일 수 있다. 또한, 진단 질병의 진행 정도를 고려한 CAM 이미지는 진단 질병의 유무 만을 판단한 진단 결과에 따른 CAM 이미지에 비해 정확도가 향상될 수 있다. Diagnosis auxiliary images considering the degree of disease progression can increase the use of CAM images by non-experts. In addition, the accuracy of a CAM image considering the progression of a diagnosed disease can be improved compared to a CAM image based on a diagnosis result that only determines the presence or absence of a diagnosed disease.

2.2.3.3 정규화 (Normalization)2.2.3.3 Normalization

일 실시 예에 따르면, 도 31 내지 도 37을 참고하면, CAM 이미지는 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)을 고려하여 제공될 수 있다. 일 예로, 상기 CAM 이미지 제공 프로세스는 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)의 곱을 기준으로 CAM 이미지가 제공될 수 있다. 이 때, 상기 CAM 이미지 제공 장치는 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)의 곱에서 나타난 최대값과 최소값을 기준으로 정규화(normalization) 처리가 수행될 수 있다. 상기 정규화 처리는 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)의 곱에서 나타난 최대값을 1로, 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)의 곱에서 나타난 최소값을 0을 기준으로 정규화가 수행될 수 있다. According to an embodiment, referring to FIGS. 31 to 37 , a CAM image may be provided in consideration of feature values and weight values (W) shown in the last feature map 510 . For example, in the CAM image providing process, a CAM image may be provided based on a product of a feature value shown in the last feature map 510 and a weight value (W). In this case, the CAM image providing apparatus may perform normalization based on the maximum value and the minimum value obtained by multiplying the feature value and the weight value (W) of the last feature map 510 . In the normalization process, the maximum value shown in the product of the feature value and the weight value (W) shown in the last feature map 510 is set to 1, and the maximum value shown in the product of the feature value and the weight value (W) shown in the last feature map 510 is set to 1. Normalization may be performed based on the minimum value of 0.

일 실시 예에 따르면, 상기 정규화 처리에 있어서, 진단 질병의 진행 정도가 고려될 수 있다. 일 예로, 진단 질병의 말기 단계의 정상 또는 비정상을 분류하는 진단 프로세스인 경우, 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)의 곱에서 나타난 최대값은 1로 정규화가 수행될 수 있다. 이와 달리, 진단 질병의 중기 단계의 정상 또는 비정상을 분류하는 진단 프로세스인 경우, 마지막 피쳐맵(510)에서 나타난 피쳐값과 웨이트값(W)의 곱에서 나타난 최대값은 1보다 작은 값으로 정규화가 수행될 수 있다. 또한, 진단 질병의 초기 단계에 관한 진단 프로세스는 중기 단계의 진단 프로세스의 상기 최대값에 비해 작은 값으로 정규화가 수행될 수 있다. According to an embodiment, in the normalization process, the degree of progression of the diagnosed disease may be considered. For example, in the case of a diagnosis process of classifying normal or abnormal in the terminal stage of a diagnosed disease, the maximum value obtained by multiplying a feature value and a weight value (W) in the last feature map 510 may be normalized to 1. there is. In contrast, in the case of a diagnosis process for classifying normal or abnormal in the middle stage of a diagnosed disease, the maximum value obtained by multiplying a feature value and a weight value (W) in the last feature map 510 is normalized to a value less than 1. can be performed In addition, the diagnosis process related to the early stage of the diagnosis disease may be normalized to a smaller value than the maximum value of the diagnosis process of the middle stage.

진단 질병을 진행 정도를 고려한 진단 보조 이미지는 비전문가의 CAM 이미지의 활용을 높일 수 있다. 또한, 진단 질병의 진행 정도를 시각화함에 따라 비전문가는 상기 진단 질병에 대한 이해도를 높일 수 있다. Diagnosis auxiliary images considering the degree of disease progression can increase the use of CAM images by non-experts. In addition, by visualizing the progress of the diagnosed disease, non-experts can increase their understanding of the diagnosed disease.

2.2.3.4 디컨벌루션 레이어(Deconvolution layer)2.2.3.4 Deconvolution layer

디컨벌루션 레이어는 언풀링 레이어(unpooling layer)가 포함될 수 있다. 디컨벌루션 레이어는 피쳐맵에서 얻어진 패턴을 유지하면서 피쳐맵의 크기를 증가시켜서 입력 이미지 상에서 진단 질병에 관한 특징이 검출되는 영역을 보다 정확하게 나타낼 수 있다. 또한, 디컨벌루션 레이어는 이전 단계인 마지막 컨벌루션 레이어에 포함된 풀링 레이어와 상기 디컨벌루션 레이어에 포함된 언풀링 레이어가 함께 이용되어, CAM 이미지의 정확도가 보다 향상될 수 있다. The deconvolution layer may include an unpooling layer. The deconvolution layer may increase the size of the feature map while maintaining the pattern obtained from the feature map, thereby more accurately representing a region in the input image in which a feature related to a diagnosis disease is detected. In addition, the deconvolution layer is used together with the pooling layer included in the last convolution layer, which is the previous step, and the unpooling layer included in the deconvolution layer, so that the accuracy of the CAM image can be further improved.

일 실시 예에 따르면, 도 31 내지 도 38을 참조하면, 상기 진단 프로세스가 포함하는 학습된 진단 보조 신경망 모델은 디컨벌루션 레이어를 더 포함할 수 있다. 상기 디컨볼루션 레이어는 마지막 컨벌루션 레이어 다음에 배치될 수 있다. 마지막 컨벌루션 레이어의 복수의 피쳐맵(510)은 상기 디컨벌루션 레이어에 의해 컨벌루션 연산을 수행하되, 마지막 컨벌루션 레이어의 복수의 피쳐맵(510)의 패턴이 유지된 채 그 정확도가 보다 향상될 수 있다. According to one embodiment, referring to FIGS. 31 to 38 , the learned diagnosis assistance neural network model included in the diagnosis process may further include a deconvolution layer. The deconvolution layer may be disposed after the last convolution layer. A convolution operation is performed on the plurality of feature maps 510 of the last convolution layer by the deconvolution layer, and the accuracy of the plurality of feature maps 510 of the last convolution layer is maintained while the pattern of the plurality of feature maps 510 of the last convolution layer is maintained.

이를 통해 상기 진단 보조 장치 및/또는 시스템은 CAM 이미지 내 병변 부위의 특정에 대한 정확도 향상 가능할 수 있다. Through this, the diagnosis assisting device and/or system may be able to improve the accuracy of specifying a lesion site in a CAM image.

2.3 진단 보조 이미지 제공 장치 및 시스템2.3 Diagnosis auxiliary image providing device and system

2.3.1 진단 보조 이미지2.3.1 diagnostic auxiliary image

진단 보조 이미지는 안저 이미지를 통해 진단 가능한 질병의 진단을 보조하기에 적합한 이미지일 수 있다. 또한, 진단 보조 이미지는 진단 프로세스에서 얻어진 진단 결과를 보조하기에 적합한 이미지일 수 있다. 또한, 상기 진단 보조 이미지는 입력된 안저 이미지 및 CAM 이미지 중 적어도 어느 하나에 대해 상기 진단 질병의 병변 영역이 강조되는 처리가 수행된 이미지일 수 있다. 또한, 진단 보조 이미지는 진단 프로세스에서 진단하는 진단 질병과 관련하여, 입력된 안저 이미지 및 CAM 이미지 중 적어도 어느 하나에 대해 상기 진단 질병의 특이적 성질을 고려한 처리가 수행된 이미지일 수 있다. 또한, 진단 보조 이미지는 진단 프로세스에서 진단하는 진단 질병과 관련하여, 입력된 안저 이미지 및 CAM 이미지 중 적어도 어느 하나에 대해 상기 진단 질병의 특이적 성질에 기초하여 상기 진단 질병의 병변 영역이 강조되는 처리가 수행된 이미지일 수 있다. 또한, 1.5 사용자 인터페이스와 같이, 상기 진단 보조 이미지는 진단 보조 정보로써, 사용자 인터페이스 상에 상기 진단 결과와 함께 또는 별도로 제공될 수 있다.The diagnosis auxiliary image may be an image suitable for assisting in diagnosis of a disease diagnosable through a fundus image. Also, the diagnosis auxiliary image may be an image suitable for assisting a diagnosis result obtained in a diagnosis process. Also, the diagnosis auxiliary image may be an image on which at least one of an input fundus image and a CAM image has been processed to emphasize a lesion region of the diagnosed disease. In addition, the diagnosis auxiliary image may be an image for which at least one of an input fundus image and a CAM image has been processed in consideration of specific characteristics of the diagnosis disease in relation to the diagnosis disease diagnosed in the diagnosis process. In addition, in relation to the diagnosis disease diagnosed in the diagnosis process, the diagnosis auxiliary image is a process in which a lesion area of the diagnosis disease is emphasized based on a specific characteristic of the diagnosis disease with respect to at least one of the input fundus image and the CAM image. may be an image on which is performed. Also, like the 1.5 user interface, the diagnosis auxiliary image may be provided as diagnosis auxiliary information along with the diagnosis result or separately on the user interface.

일 실시 예에 따르면, 진단 보조 이미지 제공 장치 및 시스템은 입력 데이터로 사용된 안저 이미지의 특성을 고려하여, 안저 이미지를 통해 진단 가능한 질병의 진단을 보조하기 위한 적합한 진단 보조 이미지가 제공될 수 있다. 상기 안저 이미지를 통해 진단 가능한 질병은 해당 질병에 따른 질병 특이적 성질을 가질 수 있다. 일 예로, 상기 질병 특이적 성질은 발병 위치, 발병 형태, 병변 모양, 병변 크기 등이 있을 수 있다. 일 실시 예에 따르면, 진단 보조 이미지 제공 장치 및 시스템은 진단 질병의 특이적 성질을 고려한 진단 보조 이미지가 제공될 수 있다. 또한, 진단 보조 이미지 제공 장치 및 시스템은 진단 질병의 발생 영역을 고려한 진단 보조 이미지가 제공될 수 있다. 일 예로, 진단 보조 이미지 제공 장치 및 시스템은 전술한 CAM 제공 프로세스에서 제공된 CAM 이미지에 대한 질병 특이적 성질을 고려한 병변 강조가 수행된 진단 보조 이미지가 제공될 수 있다. According to an embodiment, an auxiliary diagnostic image providing apparatus and system may provide an auxiliary diagnostic image suitable for assisting diagnosis of a diagnosable disease through an ocular fundus image in consideration of characteristics of an ocular fundus image used as input data. A disease diagnosable through the fundus image may have disease-specific properties according to the disease. For example, the disease-specific properties may include an onset location, an onset type, a lesion shape, and a lesion size. According to an embodiment, the diagnostic auxiliary image providing apparatus and system may provide a diagnostic auxiliary image considering specific characteristics of a diagnosed disease. In addition, the diagnostic auxiliary image providing apparatus and system may provide a diagnostic auxiliary image considering the occurrence region of the diagnosed disease. For example, the diagnostic auxiliary image providing apparatus and system may provide a diagnostic auxiliary image in which lesion enhancement is performed in consideration of disease-specific properties of the CAM image provided in the above-described CAM providing process.

2.3.2 질병 특이적 성질2.3.2 disease-specific properties

2.3.2.1 안저 이미지의 영역2.3.2.1 area of the fundus image

도 39는 일 실시 예의 다른 일 실시 예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다. 일 실시 예에 따르면, 안저 이미지는 안저 이미지에 포함된 해부학적 요소의 위치를 고려하여 결정된 복수의 영역을 포함할 수 있다.39 is a diagram for explaining region division of an ocular fundus image according to another exemplary embodiment. According to an embodiment, the fundus image may include a plurality of regions determined in consideration of positions of anatomical elements included in the fundus image.

도 39를 참조하면, 안저 이미지는 안저 영역(FA) 및 비안저 영역(NFA)을 포함할 수 있다. 상기 안저 영역(FA)은 황반부(MA), 시신경 유두부(ODA), 혈관부(BVA) 및 주변부(SA)를 포함할 수 있다. 안저 이미지는 안저 이미지로부터 검출된 황반 및/또는 시신경 유두의 위치에 기초하여 황반부, 시신경 유두부, 혈관부 및 주변부를 포함하도록 구분될 수 있다.Referring to FIG. 39 , an fundus image may include an fundus area FA and a non-fundus area NFA. The fundus area FA may include a macular area MA, an optic nerve head ODA, a blood vessel area BVA, and a peripheral area SA. The fundus image may be segmented to include a macula, an optic nerve head, a blood vessel, and a periphery based on positions of the macula and/or the optic disc detected from the fundus image.

황반부(MA)는 안저 영역의 황반이 분포하는 영역을 포함하도록 결정될 수 있다. 시신경 유두부(ODA)는 안저 영역의 시신경 유두가 분포하는 영역을 포함하도록 결정될 수 있다. 혈관부(BVA)는 안저 영역의 혈관이 분포하는 영역을 포함하도록 결정될 수 있다. 주변부(SA)는 안저 영역으로부터 황반부(MA), 시신경 유두부(ODA), 및 혈관부(BVA)를 제외한 영역으로 결정될 수 있다.The macular area MA may be determined to include a region in which the macula of the fundus region is distributed. The optic nerve head (ODA) may be determined to include a region in which the optic nerve head of the fundus region is distributed. The blood vessel portion BVA may be determined to include a region in which blood vessels of the fundus region are distributed. The peripheral area (SA) may be determined as an area excluding the macular area (MA), the optic nerve head (ODA), and the vascular area (BVA) from the fundus area.

황반부(MA), 시신경 유두부(ODA), 혈관부(BVA), 및 주변부(SA)의 경계는 황반, 시신경 유두, 혈관 등의 위치에 기초하여 결정될 수 있다. 황반부(MA)의 경계는 황반이 분포하는 영역을 둘러싸도록 결정될 수 있다. 시신경 유두부(ODA)의 경계는 시신경 유두가 분포하는 영역을 둘러싸도록 결정될 수 있다. 혈관부(BVA)의 경계는 혈관이 분포하는 영역을 둘러싸도록 결정될 수 있다. The boundaries of the macular area (MA), optic nerve head (ODA), blood vessel area (BVA), and peripheral area (SA) may be determined based on locations of the macula, optic nerve head, blood vessels, and the like. A boundary of the macular area MA may be determined to surround an area in which the macula is distributed. The boundary of the optic nerve head (ODA) may be determined to surround the area in which the optic nerve head is distributed. A boundary of the blood vessel unit BVA may be determined to surround a region in which blood vessels are distributed.

2.3.2.2 진단 질병 및 병변 영역2.3.2.2 Diagnosis disease and lesion area

도 40은 일 실시 예에 따른 진단 보조 시스템에서 진단되는 복수의 질병이 발생된 안저 이미지를 나타내는 도면이다. 도 40의 (a)는 녹내장(glaucoma)이 발생된 안저 이미지이고, (b)는 망막병증(retina)가 발생된 안저 이미지이고, (c)는 백내장(cataract 또는 opacity)가 발생된 안저 이미지를 나타낸 것이다. 40 is a diagram illustrating an ocular fundus image in which a plurality of diseases diagnosed by the diagnosis assistance system according to an embodiment are generated. 40 (a) is a fundus image with glaucoma, (b) is a fundus image with retina, and (c) is a fundus image with cataract (opacity). it is shown

도 39 및 도 40 (a)를 참조하면, 녹내장의 경우 시신경 유두부(ODA)를 중심으로 발병되는 것을 확인할 수 있다. 특히, 시신경 유두부(ODA)에 포함되어 있는 시신경 유두(OD, Optic Disk) 및 시신경 컵(OC, Optic Cup)에서, 녹내장은 시신경 유두 내에 시신경 컵이 차지하는 비율이 소정의 비율 이상인 경우를 의미할 수 있다. 따라서, 녹내장의 경우, 시신경 유두부(ODA)에 특이적으로 발병될 수 있고, 특히 시신경 유두(OD) 대비 시신경 컵(OC)의 비율이 중요한 판단 기준이 될 수 있다. 즉, 녹내장을 진단하는 진단 보조 시스템은 시신경 유두부(ODA)를 중심으로 하는 진단 보조 이미지가 제공될 수 있다. Referring to FIG. 39 and FIG. 40 (a) , it can be seen that glaucoma occurs mainly in the optic nerve head (ODA). In particular, in the optic disc (OD) and the optic cup (OC) included in the optic nerve head (ODA), glaucoma means a case where the ratio of the optic nerve cup within the optic disc is greater than a predetermined ratio. can Therefore, in the case of glaucoma, it may occur specifically in the optic nerve head (ODA), and in particular, the ratio of the optic nerve cup (OC) to the optic nerve head (OD) may be an important criterion. That is, the diagnosis assistance system for diagnosing glaucoma may provide a diagnosis assistance image centered on the optic nerve head (ODA).

도 39 및 도 40 (b)를 참조하면, 망막병증(retina)의 경우는 상기 안저 영역(FA)에 산발적으로 발병되는 것을 확인할 수 있다. 이는, 특정 영역에서 발병된다고 보기는 어려우며, 상기 안저 영역(FA)을 전반적으로 고려해야 하는 것을 확인할 수 있다. 다만, 망막병증(retina)이 발병된 영역은 그 크기 및 위치 등이 무작위적인 점을 고려하여, 해당 영역을 강조하여 처리해야 할 필요성이 있을 수 있다. 즉, 망막병증을 진단하는 진단 보조 시스템은 안저 영역(FA)을 전반적으로 판단하는 진단 보조 이미지가 제공될 수 있다.Referring to FIGS. 39 and 40 (b) , it can be confirmed that retinopathy occurs sporadically in the fundus area FA. It is difficult to say that it occurs in a specific area, and it can be confirmed that the fundus area FA should be considered as a whole. However, in consideration of the fact that the size and position of the region where retina has occurred is random, it may be necessary to emphasize the corresponding region and process it. That is, the auxiliary diagnosis system for diagnosing retinopathy may be provided with an auxiliary diagnostic image for determining the fundus area FA as a whole.

도 39 및 도 40 (c)를 참조하면, 백내장(cataract 또는 opacity)의 경우 상기 안저 영역(FA)의 전반적인 영역에서 발병되는 것을 확인할 수 있다. 백내장의 경우 상기 안저 영역(FA) 상에 발생된 흐릿한 영역이 중요한 판단 기준이 될 수 있고, 다른 진단 질병에 비해 보다 명확하게 파악할 수 있다. 다만, 백내장이 발생된 안저 이미지의 경우는 상기 안저 영역(FA) 상에 흐릿한 영역이 존재하여, 다른 진단 질병을 판단하기에 용이하지 않을 수 있다. 따라서, 백내장이 발생된 안저 이미지에 있어서, 상기 안저 영역(FA) 상의 흐릿한 영역 내에 포함된 다른 진단 질병이 병변 영역을 강조하여 처리할 필요가 있을 수 있다. 즉, 백내장을 진단하는 진단 보조 시스템은 안저 영역(FA)에서 다른 질병이 발병된 영역이 강조하여 처리되는 진단 보조 이미지가 제공될 수 있다.Referring to FIGS. 39 and 40 (c) , in the case of cataract (or opacity), it can be confirmed that the entire area of the fundus area (FA) is affected. In the case of cataract, the blurry area generated on the fundus area FA can be an important criterion, and can be more clearly identified than other diagnostic diseases. However, in the case of a fundus image in which a cataract has occurred, a blurry area exists on the fundus area FA, and thus it may not be easy to determine other diagnostic diseases. Therefore, in the fundus image in which cataract has occurred, other diagnostic diseases included in the blurry area on the fundus area FA may need to be processed by emphasizing the lesion area. That is, the diagnosis assistance system for diagnosing cataract may provide a diagnosis assistance image in which other disease-prone regions are emphasized and processed in the fundus area FA.

상기 복수의 진단 질병에 대한 병변의 종류 및 병변 영역은 상술한 내용에 한정되지 않을 수 있다. 일 예로, 특정 영역에 병변 영역이 위치하는 질병의 경우 녹내장과 유사한 필요성을 가질 수 있고, 비특정 영역에 병변 영역이 위치하는 질병의 경우 망막병증과 유사한 필요성을 가질 수 있고, 안저 이미지가 흐릿한 경우 백내장과 유사한 필요성을 가질 수 있다. 이에 대해서는 각각의 필요성을 고려한 진단 보조 이미지가 제공될 수 있다. The type of lesion and the lesion area for the plurality of diagnosed diseases may not be limited to the above description. For example, a disease in which a lesion area is located in a specific area may have a need similar to that of glaucoma, a disease in which a lesion area is located in a non-specific area may have a need similar to retinopathy, and a case in which the fundus image is blurred It can have similar needs to cataracts. For this, diagnostic auxiliary images considering each need may be provided.

2.3.3 진단 보조 이미지 제공 프로세스2.3.3 Diagnosis auxiliary image provision process

도 41은 일 실시 예에 따른 진단 보조 정보 제공부(600)의 구성을 설명하기 위한 도면이다. 도 41을 참조하면, 진단 보조 정보 제공부(600)는 진단 요청 획득 모듈(610), 데이터 가공 모듈(630), 진단 모듈(650), CAM 제공 모듈(670), 병변 강조 모듈(680), 및 출력 모듈(690)을 포함할 수 있다. 41 is a diagram for explaining a configuration of a diagnosis auxiliary information providing unit 600 according to an exemplary embodiment. Referring to FIG. 41 , the diagnosis auxiliary information provider 600 includes a diagnosis request acquisition module 610, a data processing module 630, a diagnosis module 650, a CAM providing module 670, a lesion highlighting module 680, and an output module 690 .

도 42는 일 실시 예에 따른 진단 장치에 의해 수행되는 진단 프로세스 및 진단 보조 이미지 제공 프로세스를 설명하기 위한 도면이다. 42 is a diagram for explaining a diagnosis process and a diagnosis auxiliary image providing process performed by a diagnosis device according to an exemplary embodiment.

각각의 모듈은 후술하는 바와 같이 진단 보조 프로세스 및 진단 보조 이미지 제공 프로세스 등의 개별 단계들을 수행할 수 있다. 다만, 도 41 및 도 42에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 일부 구성 요소들 및 기능이 추가되거나 생략될 수 있다. Each module may perform individual steps such as a diagnosis auxiliary process and a diagnosis auxiliary image providing process, as will be described later. However, not all components described in FIGS. 41 and 42 and functions performed by each component are essential, and some components and functions may be added or omitted.

2.3.3.1 데이터 획득 및 가공 프로세스2.3.3.1 Data Acquisition and Processing Process

데이터 획득 및 가공 프로세스에 관한 내용은 1.3.2 데이터 획득 및 진단 요청, 1.3.3 데이터 가공 프로세스, 및 2.2.2.2 데이터 획득 및 가공 프로세스에서 전술한 내용과 동일할 수 있다. 다만, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다.The contents of the data acquisition and processing process may be the same as those described in 1.3.2 Data Acquisition and Diagnosis Request, 1.3.3 Data Processing Process, and 2.2.2.2 Data Acquisition and Processing Process. However, each process is not essential, and may be omitted or a separate process may be added depending on the subject to be diagnosed, the disease to be diagnosed, and the like.

2.3.3.2 진단 프로세스2.3.3.2 diagnostic process

도 41 및 도 42를 참조하면, 상기 진단 프로세스는 진단 모듈(650)에 의해 수행될 수 있다. 상기 진단 프로세스는 데이터 획득(S6010), 학습된 진단 보조 신경망 모델(S6020), 및 진단 결과 출력(S6030)을 포함할 수 있다. 또한, 상기 진단 프로세스는 데이터 획득(S6010), 학습된 진단 보조 신경망 모델(S6020), 및 진단 결과 출력(S6030)을 통해 진단 보조 정보를 출력(S6060)할 수 있다. 상기 진단 프로세스는 상기 진단 보조 정보로서 진단 결과를 출력할 수 있다. 상기 진단 프로세스에서 얻어진 진단 결과는 후술될 진단 보조 이미지 제공 프로세스에 이용될 수 있다. Referring to FIGS. 41 and 42 , the diagnosis process may be performed by the diagnosis module 650. The diagnosis process may include data acquisition (S6010), a trained diagnosis assistant neural network model (S6020), and diagnosis result output (S6030). In addition, the diagnosis process may output (S6060) diagnostic aid information through data acquisition (S6010), the learned diagnosis aid neural network model (S6020), and diagnosis result output (S6030). The diagnosis process may output a diagnosis result as the diagnosis auxiliary information. Diagnosis results obtained in the diagnosis process may be used in a diagnosis auxiliary image providing process to be described later.

진단 프로세스에 관한 내용은 1.3.4 진단 프로세스, 2.2.2.3 진단 프로세스에서 전술한 내용과 동일할 수 있다. 다만, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병, 제공 정보 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다.The contents of the diagnosis process may be the same as those described in 1.3.4 Diagnosis Process and 2.2.2.3 Diagnosis Process. However, each process is not essential, and may be omitted or a separate process may be added according to the diagnosis subject, diagnosis disease, provided information, and the like.

2.3.3.3 CAM 이미지 제공 프로세스2.3.3.3 CAM image delivery process

CAM 이미지 제공 프로세스에 관한 내용은 2.2.2.4 CAM 이미지 제공 프로세스에서 전술한 내용과 동일할 수 있다. 다만, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다. Contents of the CAM image provision process may be the same as those described in 2.2.2.4 CAM image provision process. However, each process is not essential, and may be omitted or a separate process may be added depending on the subject to be diagnosed, the disease to be diagnosed, and the like.

상기 CAM 이미지 제공 프로세스를 통해 제공된 CAM 이미지는 상기 출력 모듈(690)에 의해 진단 보조 정보 출력(S6060)을 거칠 수 있되, 상기 CAM 이미지는 상기 병변 강조 모듈(680)을 추가적으로 거쳐 진단 보조 이미지로 출력될 수 있다. 상기 병변 강조 모듈(680) 및 상기 진단 보조 이미지에 대해서는 후술될 진단 보조 이미지 제공 프로세스에서 구체적으로 설명하고자 한다. The CAM image provided through the CAM image providing process may go through diagnostic auxiliary information output (S6060) by the output module 690, and the CAM image additionally goes through the lesion highlighting module 680 to output as a diagnostic auxiliary image It can be. The lesion highlighting module 680 and the diagnosis auxiliary image will be described in detail in a diagnosis auxiliary image providing process to be described later.

2.3.3.4 진단 보조 이미지 제공 프로세스2.3.3.4 Diagnosis auxiliary image provision process

도 41을 참조하면, 상기 진단 보조 이미지 제공 프로세스는 병변 강조 모듈(680)에 의해 수행될 수 있다. 상기 병변 강조 모듈(680)은 입력된 진단 대상 데이터, 상기 진단 모듈(650)에서 얻어진 정보, 상기 CAM 제공 모듈(670)에서 얻어진 CAM 이미지 중 적어도 어느 하나를 기초로 진단 보조 이미지 제공 프로세스가 수행될 수 있다. 상기 병변 강조 모듈(680)은 입력된 진단 대상 데이터, 상기 진단 모듈(650)에서 얻어진 정보, 및 상기 CAM 제공 모듈(670)에서 얻어진 CAM 이미지를 기초로 진단 보조 이미지 제공 프로세스가 수행될 수 있다. Referring to FIG. 41 , the diagnosis auxiliary image providing process may be performed by a lesion highlighting module 680 . The lesion highlighting module 680 performs a diagnosis auxiliary image providing process based on at least one of input diagnosis target data, information obtained from the diagnosis module 650, and CAM images obtained from the CAM providing module 670. can The lesion highlighting module 680 may perform a diagnosis auxiliary image providing process based on the input diagnosis target data, the information obtained from the diagnosis module 650, and the CAM image obtained from the CAM providing module 670.

도 42를 참조하면, 상기 진단 보조 이미지 제공 프로세스는 데이터 획득(S6010), CAM 이미지 제공 모델(S6040), 병변 강조 모델(S6080), 및 진단 보조 이미지 출력(S6050)을 포함할 수 있다. Referring to FIG. 42 , the diagnostic auxiliary image providing process may include data acquisition (S6010), CAM image providing model (S6040), lesion emphasis model (S6080), and diagnosis auxiliary image output (S6050).

상기 진단 보조 이미지 제공 프로세스는 데이터 획득(S6010), CAM 이미지 제공 모델(S6040), 병변 강조 모델(S6080), 및 진단 보조 이미지 출력(S6050)을 통해 진단 보조 정보를 출력(S6060)할 수 있다. 상기 진단 보조 이미지 제공 프로세스는 상기 진단 보조 정보로서 CAM 이미지 및 진단 보조 이미지 중 적어도 어느 하나가 출력될 수 있다. 상기 진단 보조 이미지 제공 프로세스는 상기 진단 보조 정보로서 CAM 이미지 및 진단 보조 이미지가 출력될 수 있다. 상기 진단 보조 이미지 제공 프로세스는 데이터 획득(S6010)에서 획득된 데이터, 학습된 진단 보조 신경망 모델(S6020)에서 얻어진 결과, 및 CAM 이미지 제공 모델(S6040)에서 얻어진 CAM 이미지 중 적어도 어느 하나를 기초로 하여, 상기 진단 보조 정보로서 진단 보조 이미지가 출력될 수 있다. The diagnostic auxiliary image providing process may output (S6060) diagnostic auxiliary information through data acquisition (S6010), CAM image providing model (S6040), lesion emphasis model (S6080), and diagnosis auxiliary image output (S6050). In the diagnostic auxiliary image providing process, at least one of a CAM image and a diagnostic auxiliary image may be output as the diagnostic auxiliary information. In the diagnostic auxiliary image providing process, a CAM image and a diagnostic auxiliary image may be output as the diagnostic auxiliary information. The diagnostic auxiliary image providing process is based on at least one of the data obtained in data acquisition (S6010), the result obtained in the learned diagnostic auxiliary neural network model (S6020), and the CAM image obtained in the CAM image providing model (S6040) , a diagnostic auxiliary image may be output as the diagnostic auxiliary information.

후술될 내용에서, 상기 진단 보조 이미지 제공 프로세스에 대해서 구체적으로 설명하고자 한다.In the following description, the diagnosis auxiliary image providing process will be described in detail.

2.3.3.4.1 병변 강조 모델2.3.3.4.1 Lesion Highlighting Model

도 39 내지 도 42를 참조하면, 일 실시 예에 따른 상기 진단 보조 이미지 제공 프로세스는 상기 진단 프로세스에서 진단한 결과를 고려하여 상기 CAM 이미지에 대한 병변 강조가 수행될 수 있다. 또한, 상기 진단 보조 이미지 제공 프로세스는 병변 강조 모델(S6080)을 통해 특정 진단 질병에 대해 학습된 진단 보조 신경망 모델(S6020)의 진단 결과, 해당 진단 질병의 질병 특이적 특성, 및 CAM 이미지 제공 모델(S6040)의 CAM 이미지 중 적어도 어느 하나를 고려하여 병변 강조가 수행된 진단 보조 이미지가 제공될 수 있다. 또한, 상기 진단 보조 이미지 제공 프로세스는 특정 질병에 대해 학습된 진단 보조 신경망 모델(S6020)에 대응되도록, 상기 특정 질병의 질병 특이적 특성을 고려한 병변 강조 모델(S6080)을 통해 상기 CAM 이미지 제공 모델(S6040)의 CAM 이미지에 대한 병변 강조가 수행된 진단 보조 이미지가 제공될 수 있다. Referring to FIGS. 39 to 42 , in the diagnosis auxiliary image providing process according to an embodiment, lesion emphasis may be performed on the CAM image in consideration of a diagnosis result in the diagnosis process. In addition, the diagnosis auxiliary image providing process includes the diagnosis result of the diagnosis auxiliary neural network model (S6020) learned for a specific diagnosis disease through the lesion emphasis model (S6080), the disease-specific characteristics of the diagnosis disease, and the CAM image providing model ( S6040) in consideration of at least one of the CAM images, a diagnosis auxiliary image on which lesion emphasis is performed may be provided. In addition, the diagnostic auxiliary image providing process is the CAM image providing model (S6080) through a lesion emphasis model (S6080) considering the disease-specific characteristics of the specific disease to correspond to the diagnostic auxiliary neural network model (S6020) learned for the specific disease S6040) may provide a diagnosis auxiliary image in which lesion enhancement is performed on the CAM image.

일 실시 예에 따르면, 상기 병변 강조 모델(S6080)은 상기 CAM 이미지의 픽셀값을 기초로 상기 CAM 이미지에 대한 병변 강조가 수행될 수 있다. 상기 병변 강조 모델(S6080)은 상기 CAM 이미지의 픽셀값을 기초로 소정의 임계값을 기준으로 상기 CAM 이미지에 대한 병변 강조가 수행될 수 있다. 일 예로, 상기 병변 강조 모델(S6080)은 상기 CAM 이미지의 픽셀값을 기초로 소정의 임계값 이상의 픽셀에 대해서만 출력되는 병변 강조가 수행될 수 있다. 또한, 상기 병변 강조 모델(S6080)은 상기 CAM 이미지의 픽셀값을 기초로 소정의 임계값 이상의 픽셀에 대해서는 0값으로 변환시키는 병변 강조가 수행될 수 있다. 또한, 상기 병변 강조 모델(S6080)은 상기 CAM 이미지의 픽셀값을 기초로 소정의 임계값 이상의 픽셀에 대해서만 상기 획득된 데이터에 중첩시키는 병변 강조가 수행될 수 있다. 일 예로, 상기 병변 강조 모델(S6080)은 상기 CAM 이미지의 픽셀값을 기초로 소정의 임계값을 기준으로 경계선을 삽입하는 병변 강조가 수행될 수 있다. According to an embodiment, the lesion emphasis model S6080 may perform lesion emphasis on the CAM image based on pixel values of the CAM image. In the lesion highlighting model (S6080), lesion enhancement may be performed on the CAM image based on a predetermined threshold value based on pixel values of the CAM image. For example, the lesion highlighting model (S6080) may perform lesion emphasis that is output only for pixels that are equal to or greater than a predetermined threshold based on pixel values of the CAM image. Also, in the lesion emphasis model (S6080), lesion highlighting may be performed by converting a pixel value equal to or higher than a predetermined threshold value to a value of 0 based on the pixel value of the CAM image. In addition, the lesion highlighting model (S6080) may perform lesion highlighting that is superimposed on the obtained data only for pixels equal to or greater than a predetermined threshold value based on pixel values of the CAM image. For example, in the lesion emphasis model S6080, lesion emphasis may be performed by inserting a boundary line based on a predetermined threshold value based on a pixel value of the CAM image.

일 실시 예에 따르면, 상기 병변 강조 모델(S6080)은 진단 질병의 질병 특이적 성질에 기초로 상기 CAM 이미지에 대한 병변 강조가 수행될 수 있다. 일 예로, 상기 병변 강조 모델(S0680)은 상기 진단 질병의 병변 발생 위치를 기초로 상기 CAM 이미지에 대한 병변 강조가 수행될 수 있다. 상기 병변 강조 모델(S6080)은 상기 진단 질병의 병변 발생 위치와 대응되는 해부학적 영역을 기초로 상기 CAM 이미지에 대한 병변 강조가 수행될 수 있다. 상기 병변 강조 모델(S6080)은 상기 진단 질병의 병변 발생 위치와 대응되는 해부학적 영역을 상기 CAM 이미지에 중첩시키는 병변 강조가 수행될 수 있다. 또한, 상기 병변 강조 모델(S6080)은 상기 진단 질병의 병변 발생 위치와 대응되는 해부학적 영역의 경계선을 상기 CAM 이미지에 삽입하는 병변 강조가 수행될 수 있다. 상기 병변 강조 모델(S6080)은 상기 진단 질병의 병변 발생 위치와 대응되는 해부학적 영역의 경계선을 상기 CAM 이미지에 중첩되는 병변 강조가 수행될 수 있다. According to an embodiment, the lesion enhancement model S6080 may perform lesion enhancement on the CAM image based on disease-specific characteristics of the diagnosed disease. For example, the lesion enhancement model (S0680) may perform lesion enhancement on the CAM image based on the lesion location of the diagnosed disease. In the lesion emphasis model (S6080), lesion emphasis may be performed on the CAM image based on an anatomical region corresponding to the lesion occurrence location of the diagnosed disease. In the lesion enhancement model (S6080), lesion enhancement may be performed by overlapping an anatomical region corresponding to a lesion occurrence location of the diagnosed disease on the CAM image. In addition, the lesion enhancement model (S6080) may perform lesion enhancement by inserting a boundary line of an anatomical region corresponding to a lesion occurrence location of the diagnosed disease into the CAM image. In the lesion emphasis model (S6080), lesion emphasis may be performed by overlapping the boundary line of the anatomical region corresponding to the location of occurrence of the lesion of the diagnosed disease on the CAM image.

도 39를 참조하면, 상기 해부학적 영역은 안저 영역(FA)에 포함되어 있는 영역 중 하나일 수 있다. 일 예로, 상기 해부학적 영역은 황반부(MA), 시신경 유두부(ODA), 혈관부(BVA) 및 주변부(SA) 중 적어도 어느 하나일 수 있다. 특히, 상기 해부학적 영역은 시신경 유두부(ODA), 혈관부(BVA), 또는 황반부(MA) 등 일 수 있다. Referring to FIG. 39 , the anatomical region may be one of regions included in the fundus region FA. For example, the anatomical region may be at least one of the macular region (MA), the optic nerve head (ODA), the blood vessel region (BVA), and the peripheral region (SA). In particular, the anatomical region may be an optic nerve head (ODA), a blood vessel (BVA), or a macular region (MA).

상기 병변 강조 모델(S6080)의 병변 강조 수행 방법은 상술한 내용에 한정되지 아니하며, 상기 진단 보조 이미지를 출력시키기 위한 다양한 방법들이 수행될 수 있다. 상기 병변 강조 모델(S6080)은 상기 진단 프로세스의 진단 질병에 따른 병변 강조 방법들을 수행할 수 있고, 이에 대해서는 후술할 내용을 통해 구체적으로 설명하고자 한다. A method of performing lesion emphasis of the lesion emphasis model (S6080) is not limited to the above, and various methods for outputting the diagnosis auxiliary image may be performed. The lesion emphasis model (S6080) can perform lesion emphasis methods according to the diagnosis disease of the diagnosis process, which will be described in detail later.

2.3.3.4.2 특정 해부학적 영역에 발생되는 질병2.3.3.4.2 Diseases that occur in specific anatomical regions

일 실시 예에 따르면, 상기 진단 프로세스의 진단 질병이 특정 해부학적 영역에서 발생되는 질병 특이적 성질을 가지고 있는 경우, 상기 진단 보조 이미지 제공 장치는 이를 고려한 진단 보조 이미지가 제공될 수 있다. According to an embodiment, when the diagnosis disease of the diagnosis process has a disease-specific property occurring in a specific anatomical region, the diagnosis auxiliary image providing device may provide a diagnosis auxiliary image considering this.

일 예로, 일 실시 예에 따르면 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 상기 진단 보조 이미지 제공 장치는 시신경 유두부(ODA)에서 발생되는 질병 특이적 성질을 고려한 진단 보조 이미지가 제공될 수 있다. 후술될 상기 병변 강조 모델(S060)은 진단 질병이 녹내장인 경우를 예시로 설명될 것이나, 상기 진단 질병은 녹내장에 한정되지 아니하고, 특정 해부학적 영역에 발생되는 질병은 후술될 병변 강조 모델(S6080)과 동일하거나 유사한 방법으로 병변 강조가 수행된 진단 보조 이미지가 제공될 수 있다. For example, according to an embodiment, when the diagnosis disease of the diagnosis process is glaucoma, the diagnosis auxiliary image providing device may provide a diagnosis auxiliary image in consideration of disease-specific characteristics occurring in the optic nerve head (ODA). The lesion emphasis model (S060), which will be described later, will be described as an example when the diagnosed disease is glaucoma, but the diagnosed disease is not limited to glaucoma, and a disease occurring in a specific anatomical region is a lesion emphasis model (S6080) to be described later. An auxiliary diagnosis image in which lesion highlighting is performed in the same or similar manner as described above may be provided.

도 43 내지 도 46은 상기 진단 프로세스의 진단 질병이 녹내장인 경우의 진단 보조 이미지를 나타내는 도면이다. 도 43 내지 도 46을 참조하여, 상기 진단 프로세스의 진단 질병이 녹내장에 해당되는 경우 상기 CAM 이미지에 대해 진행되는 병변 강조를 구체적으로 설명하고자 한다. 43 to 46 are diagrams illustrating diagnosis auxiliary images when the diagnosis disease of the diagnosis process is glaucoma. Referring to FIGS. 43 to 46 , when the diagnosis disease of the diagnosis process corresponds to glaucoma, progression of lesion emphasis on the CAM image will be described in detail.

도 43은 상기 진단 프로세스의 진단 질병이 녹내장인 경우의 진단 보조 이미지를 나타내는 도면이며, 도 43 (a)는 녹내장에 해당되는 입력 데이터이고, 도 43 (b)는 (a)의 CAM 이미지이고, 도 43 (c)는 (b)가 병변 강조된 진단 보조 이미지이다. 일 실시 예에 따르면, 도 43을 참조하면 상기 진단 보조 이미지는 상기 CAM 이미지의 픽셀값을 기초로 상기 CAM 이미지에 대한 병변 강조가 수행된 이미지일 수 있다. 상기 진단 보조 이미지는 상기 CAM 이미지의 픽셀값을 기초로 임계값 이상의 픽셀에 대해서만 출력되도록 병변 강조가 수행된 이미지일 수 있다. 상기 CAM 이미지의 픽셀값을 기초로 하는 병변 강조는 간이하고 빠르게 수행될 수 있는 장점이 있다. 또한, 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 상기 CAM 이미지의 픽셀값을 기초로 하는 병변 강조는 시신경 유두부(ODA)가 강조되어 처리될 수 있어, 사용자가 용이하게 녹내장 여부를 판단할 수 있다. 43 is a diagram showing a diagnosis auxiliary image when the diagnosis disease of the diagnosis process is glaucoma, FIG. 43 (a) is input data corresponding to glaucoma, FIG. 43 (b) is a CAM image of (a), 43 (c) is an auxiliary diagnosis image in which (b) is lesion-enhanced. According to an embodiment, referring to FIG. 43 , the diagnosis auxiliary image may be an image on which lesion enhancement is performed on the CAM image based on pixel values of the CAM image. The diagnosis auxiliary image may be an image on which lesion enhancement is performed such that only pixels of a threshold value or higher are output based on pixel values of the CAM image. The lesion enhancement based on pixel values of the CAM image has an advantage in that it can be performed simply and quickly. In addition, when the diagnosis disease of the diagnosis process is glaucoma, the lesion emphasis based on the pixel value of the CAM image can be processed by highlighting the optic nerve head (ODA), so that the user can easily determine whether or not he or she has glaucoma. there is.

도 44 및 도 45는 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 안저 영역(FA) 중 시신경 유두부(ODA)를 확대하여 나타낸 진단 보조 이미지를 나타내는 도면이다. 도 44는 상기 진단 프로세스의 진단 질병이 녹내장인 경우 정상에 해당되는 진단 보조 이미지를 나타내고, 도 45는 의심 또는 비정상에 해당되는 진단 보조 이미지를 나타낸 것이다. 도 44 (a) 및 도 45(a)는 입력 데이터이고, 도 44 (b) 및 도 45 (b)는 (a)의 CAM 이미지이고, 도 44 (c) 및 도 45 (c)는 (b)가 병변 강조된 진단 보조 이미지이다. 44 and 45 are diagrams illustrating an enlarged diagnosis auxiliary image of the optic nerve head (ODA) in the fundus area (FA) when the diagnosis disease of the diagnosis process is glaucoma. 44 shows a diagnosis auxiliary image corresponding to normal when the diagnosis disease of the diagnosis process is glaucoma, and FIG. 45 shows a diagnosis auxiliary image corresponding to suspected or abnormal. 44 (a) and 45 (a) are input data, FIGS. 44 (b) and 45 (b) are CAM images of (a), and FIGS. 44 (c) and 45 (c) are (b ) is a lesion-enhanced diagnostic aid image.

도 44 및 도 45를 참조하면, 일 실시 예에 따르면 상기 진단 보조 이미지는 입력 데이터의 시신경 유두부(ODA)를 확대한 이미지에 대한 CAM 이미지가 병변 강조된 이미지이다. 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 상기 진단 보조 이미지는 녹내장의 발병 위치가 시신경 유두부(ODA)에 대응되는 점을 고려한 이미지일 수 있다. 또한, 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 상기 진단 보조 이미지는 상기 시신경 유두부(ODA)에 위치하는 시신경 유두(OD) 및 시신경 컵(OC)을 강조하여 나타낸 이미지일 수 있다. 일 예로, 상기 진단 보조 이미지는 상기 시신경 유두부(ODA)를 확대한 이미지에 대한 CAM 이미지의 픽셀값을 기초로 임계값이 상의 픽셀에 대해서만 출력되도록 병변 강조가 수행된 이미지일 수 있다. 상술한, 상기 진단 보조 이미지는 시신경 유두부를 확대한 이미지에 대한 CAM 이미지의 진단 보조 이미지로서, 사용자는 상기 진단 보조 이미지를 통해 시신경 유두(OD) 및 시신경 컵(OC)의 비율을 용이하게 판단할 수 있다. Referring to FIGS. 44 and 45 , according to an embodiment, the diagnosis auxiliary image is a lesion-enhanced image of an enlarged CAM image of the optic nerve head (ODA) of input data. When the diagnosis disease of the diagnosis process is glaucoma, the diagnosis auxiliary image may be an image considering that the onset location of glaucoma corresponds to the optic nerve head (ODA). In addition, when the diagnosis disease of the diagnosis process is glaucoma, the diagnosis auxiliary image may be an image emphasizing the optic nerve head (OD) and the optic nerve cup (OC) located in the optic nerve head (ODA). For example, the diagnosis auxiliary image may be an image in which lesion enhancement is performed such that only pixels with a threshold value higher than or equal to are output based on pixel values of a CAM image of an enlarged image of the optic nerve head (ODA). As described above, the diagnostic auxiliary image is a diagnostic auxiliary image of a CAM image for an enlarged image of the optic nerve head, and the user can easily determine the ratio of the optic nerve head (OD) and the optic nerve cup (OC) through the diagnostic auxiliary image. can

도 46은 상기 진단 프로세스의 진단 질병이 녹내장인 경우의 진단 보조 이미지를 나타내는 도면이며, 도 46 (a)는 녹내장에 해당되는 입력 데이터이고, 도 46 (b)는 (a)의 CAM 이미지이고, 도 46 (c)는 (b)가 병변 강조된 진단 보조 이미지이다. 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 상기 진단 보조 이미지는 시신경 유두부(ODA)를 강조하여 처리한 이미지일 수 있다. 상기 진단 보조 이미지는 CAM 이미지에서 시신경 유두부(ODA)에 위치하는 시신경 유두(OD) 및 시신경 컵(OC)의 경계선이 처리된 이미지일 수 있다. 상기 진단 보조 이미지는 CAM 이미지에 대해 시신경 유두부(ODA)에 위치하는 시신경 유두(OD) 및 시신경 컵(OC)의 경계선이 중첩되는 이미지일 수 있다. 상기 시신경 유두(OD) 및 시신경 컵(OC)의 경계선은 입력 데이터로부터 출력될 수 있다. 상기 진단 보조 이미지는 상기 CAM 이미지에서 시신경 유두(OD) 및 시신경 컵(OC)의 경계선이 중첩되어, 사용자는 상기 진단 보조 이미지를 통해 녹내장을 용이하게 판단할 수 있다. 46 is a diagram showing a diagnosis auxiliary image when the diagnosis disease of the diagnosis process is glaucoma, FIG. 46 (a) is input data corresponding to glaucoma, FIG. 46 (b) is a CAM image of (a), 46 (c) is an auxiliary diagnosis image in which (b) is lesion-enhanced. When the diagnosis disease of the diagnosis process is glaucoma, the diagnosis auxiliary image may be an image processed by emphasizing the optic nerve head (ODA). The diagnosis auxiliary image may be an image in which the boundary of the optic nerve head (OD) and the optic nerve cup (OC) located in the optic nerve head (ODA) is processed in the CAM image. The diagnosis auxiliary image may be an image in which a boundary line between the optic nerve head (OD) and the optic nerve cup (OC) located in the optic nerve head (ODA) overlaps with respect to the CAM image. The boundary line between the optic disc (OD) and the optic nerve cup (OC) may be output from input data. The diagnostic auxiliary image overlaps the boundary of the optic disc (OD) and the optic nerve cup (OC) in the CAM image, so that the user can easily determine glaucoma through the diagnostic auxiliary image.

상기 진단 프로세스의 진단 질병이 녹내장인 경우, 상기 입력 데이터 또는 상기 CAM 이미지에 수행되는 병변 강조 방법은 상술한 내용에 한정되지 아니하며, 상기 녹내장의 질병 특이적 성질을 고려한 다양한 방법이 수행될 수 있다. When the diagnosis disease of the diagnosis process is glaucoma, the lesion enhancement method performed on the input data or the CAM image is not limited to the above, and various methods may be performed in consideration of the disease-specific characteristics of the glaucoma.

상기 진단 보조 이미지는 상기 진단 프로세스의 진단 질병이 녹내장인 경우, 녹내장의 질병 특이적 성질을 고려한 병변 강조가 수행된 이미지일 수 있다. 상기 진단 보조 이미지는 상술한 병변 강조를 통해 시신경 유두부(ODA)가 강조되어 처리될 수 있어, 상기 진단 보조 이미지는 CAM 이미지에 비해 보다 용이하고 명확하게 녹내장의 진단을 보조할 수 있다. 또한, 시신경 유두부(ODA)는 상기 입력 데이터 중 일부 영역에 해당되어, 비전문가가 입력 데이터 또는 CAM 이미지만을 보고 녹내장을 진단하는 것은 다소 어려운 문제가 있다. 따라서, 상기 시신경 유두부(ODA)를 강조하는 병변 강조가 진행된 진단 보조 이미지는 비전문가가 상기 진단 보조 이미지를 통해 녹내장을 진단하는 것이 용이하도록 보조할 수 있다. When the diagnosis disease of the diagnosis process is glaucoma, the diagnosis auxiliary image may be an image on which lesion enhancement is performed considering the disease-specific characteristics of glaucoma. The diagnostic auxiliary image can be processed with the optic nerve head (ODA) emphasized through the above-described lesion enhancement, so that the diagnostic auxiliary image can assist in diagnosing glaucoma more easily and clearly than the CAM image. In addition, since the optic nerve head (ODA) corresponds to a partial region of the input data, it is somewhat difficult for non-experts to diagnose glaucoma by only looking at the input data or CAM images. Therefore, the diagnosis assistance image in which the lesion emphasis has been performed, which emphasizes the optic nerve head (ODA), can assist a non-specialist to easily diagnose glaucoma through the diagnosis assistance image.

2.3.3.4.3 비특이적 영역에서 발생되는 질병2.3.3.4.3 Diseases that occur in non-specific areas

일 실시 예에 따르면, 상기 진단 프로세스의 진단 질병이 안저 영역(FA)에서 비특이적 영역에 발생되는 질병 특이적 성질을 가지고 있는 경우, 상기 진단 보조 이미지 제공 장치는 이를 고려한 진단 보조 이미지가 제공될 수 있다. According to an embodiment, when the diagnosis disease of the diagnosis process has a disease-specific property occurring in a non-specific region in the ocular fundus area (FA), the diagnosis auxiliary image providing device may provide a diagnosis auxiliary image considering this .

도 47 내지 도 50은 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우의 진단 보조 이미지를 나타내는 도면이다. 도 47 내지 도 50을 참조하여, 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우에 해당되는 경우, 상기 CAM 이미지에 대해 진행되는 병변 강조를 구체적으로 설명하고자 한다. 47 to 50 are diagrams illustrating diagnosis auxiliary images when a disease diagnosed in the diagnosis process occurs in a non-specific region. Referring to FIGS. 47 to 50 , when the diagnosis disease of the diagnosis process occurs in a non-specific region, lesion enhancement performed on the CAM image will be described in detail.

도 47은 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우의 입력 데이터를 나타내는 도면이다. 47 is a diagram showing input data when a diagnosis disease of the diagnosis process occurs in a non-specific region.

도 47의 (a)를 참조하면, 안저 이미지에 기초하여 출혈(hemorrhage)이 진단될 수 있다. 일 예로, (a)에서 도시하는 바와 같이, 안저 영역 전체의 임의의 위치로부터 출혈(L1)이 검출될 수 있다.Referring to (a) of FIG. 47 , hemorrhage may be diagnosed based on the fundus image. For example, as shown in (a), hemorrhage L1 may be detected from an arbitrary position in the entire fundus region.

도 47의 (b)를 참조하면, 안저 이미지에 기초하여 드루젠(drusen)이 진단될 수 있다. 일 예로, (b)에서 도시하는 바와 같이, 안저 영역 전체의 임의의 위치로부터 드루젠(L2)이 발견될 수 있다. Referring to (b) of FIG. 47 , drusen may be diagnosed based on the fundus image. For example, as shown in (b), drusen (L2) can be found from an arbitrary position throughout the fundus region.

도 47의 (c)를 참조하면, 안저 이미지에 기초하여 황반 천공(Macular hole)이 진단될 수 있다. 일 예로, (c)에서 도시하는 바와 같이, 안저 이미지의 황반부로부터 황반 천공 소견(L3)이 발견될 수 있다. Referring to (c) of FIG. 47 , a macular hole may be diagnosed based on the fundus image. For example, as shown in (c), a macular perforation finding (L3) may be found from the macula of the fundus image.

도 47의 (d)를 참조하면, 안저 이미지로부터 황반 전막(Macular epiretinal membrane)이 진단될 수 있다. 일 예로, (d)에서 도시하는 바와 같이, 안저 이미지의 황반 근처에서 황반 전막 소견(L4)이 발견될 수 있다. 황반 전막 소견은 안저 이미지의 황반부로부터 발견될 수 있다. Referring to (d) of FIG. 47 , the macular epiretinal membrane may be diagnosed from the fundus image. For example, as shown in (d), an epimacular membrane finding (L4) may be found near the macula of the fundus image. Epimacular findings can be found from the macular portion of fundus images.

도 47의 (e)를 참조하면, 안저 이미지부터 유수신경섬유(Myelinated nerve fiber) 증상이 진단될 수 있다. 일예로 도 (e)에서 도시하는 바와 같이, 안저 이미지의 임의의 영역으로부터 유수 신경 섬유(L5)의 소견이 발견될 수 있다. Referring to (e) of FIG. 47 , symptoms of myelinated nerve fibers can be diagnosed from the fundus image. For example, as shown in (e), findings of myelinated nerve fibers (L5) can be found from any region of the fundus image.

도 47을 참조하면, 상기 진단 프로세스의 진단 질병이 안저 영역(FA)에서 비특이적 영역에서 발생되는 경우, 질병 발생 영역에 대해 강조하는 진단 보조 이미지가 제공될 필요성이 있다. 또한, 황반부(MA)에 발생되는 질병의 경우 황반부(MA)의 영역이 비교적 넓고 경계가 모호한 점에 있어서, 상기 진단 보조 이미지는 비특이적 영역에서 발생되는 질병과 동일하거나 유사한 방법으로 병변 강조가 수행될 수 있다. Referring to FIG. 47 , when a diagnosis disease of the diagnosis process occurs in a non-specific area in the fundus area (FA), there is a need to provide a diagnosis auxiliary image emphasizing the disease occurrence area. In addition, in the case of a disease occurring in the macular region (MA), in that the region of the macular region (MA) is relatively wide and the boundary is ambiguous, the diagnosis auxiliary image may be performed in the same way as or similar to the disease occurring in the non-specific region. can

도 48은 도 47의 CAM 이미지를 나타내는 도면이다. 도 49 및 도 50은 도 48의 CAM 이미지에 병변 강조가 수행된 이미지를 나타내는 도면이다.FIG. 48 is a diagram illustrating the CAM image of FIG. 47 . 49 and 50 are diagrams illustrating images in which lesion enhancement is performed on the CAM image of FIG. 48 .

일 실시 예에 따르면, 도 48 및 도 49를 참조하여, 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우, 상기 진단 보조 이미지는 상기 CAM 이미지의 픽셀값을 기초로 상기 CAM 이미지에 대한 병변 강조가 수행된 이미지일 수 있다. 또한, 상기 진단 보조 이미지는 상기 CAM 이미지의 픽셀값을 기초로 임계값 이상의 픽셀에 대해서만 출력되도록 병변 강조가 수행된 이미지일 수 있다. 상기 CAM 이미지의 픽셀값을 기초로 하는 병변 강조는 간이하고 빠르게 수행될 수 있는 장점이 있다.According to an embodiment, referring to FIGS. 48 and 49 , when the diagnosis disease of the diagnosis process occurs in a non-specific region, the diagnosis auxiliary image emphasizes lesions on the CAM image based on pixel values of the CAM image. may be an image on which is performed. In addition, the diagnosis auxiliary image may be an image on which lesion enhancement is performed such that only pixels of a threshold value or higher are output based on pixel values of the CAM image. The lesion enhancement based on pixel values of the CAM image has an advantage in that it can be performed simply and quickly.

일 실시 예에 따르면, 도 48 및 도 50을 참조하여, 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우, 상기 진단 보조 이미지는 상기 CAM 이미지에서 상기 질병의 발생 영역의 경계선을 삽입하는 병변 강조가 수행될 수 있다. 또한, 상기 진단 보조 이미지는 상기 CAM 이미지에 대해 상기 질병의 발생 영역의 경계선을 중첩시키는 병변 강조가 수행될 수 있다. 상기 질병의 발생 영역의 경계선은 상기 CAM 이미지의 소정의 픽셀값 또는 입력 데이터로부터 출력될 수 있다. According to an embodiment, referring to FIGS. 48 and 50 , when the diagnosis disease of the diagnosis process occurs in a non-specific region, the diagnosis auxiliary image emphasizes a lesion in the CAM image by inserting a boundary line of the region where the disease occurs. can be performed. In addition, lesion enhancement may be performed on the diagnosis auxiliary image to overlap the boundary of the disease occurrence region with respect to the CAM image. The boundary line of the disease occurrence region may be output from predetermined pixel values of the CAM image or input data.

상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우, 비전문가는 입력 데이터에서 상기 진단 질병의 발생 영역을 파악하고 진단하는 것이 어려울 수 있다. 또한, 상기 진단 프로세스의 진단 질병이 비특이적 영역에서 발생되는 경우, 비전문가는 CAM 이미지에서 상기 진단 질병의 발생 영역을 파악하고 진단하는 것이 어려울 수 있다. 따라서, 상기 진단 질병의 발생 영역을 강조하는 병변 강조가 수행된 진단 보조 이미지는 비전문가가 상기 진단 질병을 진단하는 것을 보조할 수 있다. When the diagnosis disease of the diagnosis process occurs in a non-specific region, it may be difficult for non-experts to identify and diagnose the region where the diagnosis disease occurs in the input data. In addition, when the diagnosis disease of the diagnosis process occurs in a non-specific region, it may be difficult for non-experts to identify and diagnose the region where the diagnosis disease occurs in the CAM image. Accordingly, a diagnosis auxiliary image on which lesion emphasis is performed to emphasize the occurrence region of the diagnosed disease can assist non-experts in diagnosing the diagnosed disease.

2.3.3.4.4 복수의 질병에 대한 진단 보조 이미지2.3.3.4.4 Diagnosis auxiliary images for multiple diseases

일 실시 예에 따르면, 상기 진단 프로세스의 입력 데이터가 복수의 질병을 보유하고 있는 경우, 상기 진단 보조 이미지 제공 장치는 이를 고려한 진단 보조 이미지가 제공될 수 있다. 일 예로, 상기 진단 프로세스의 입력 데이터가 복수의 질병을 보유하고 있는 경우, 상기 진단 보조 이미지 제공 장치는 각 질병의 발생 영역에 대한 진단 보조 이미지를 각각 제공될 수 있다. According to an embodiment, when the input data of the diagnosis process includes a plurality of diseases, the diagnosis auxiliary image providing apparatus may provide a diagnosis auxiliary image considering this. For example, when the input data of the diagnosis process includes a plurality of diseases, the diagnosis auxiliary image providing apparatus may provide diagnosis auxiliary images for each disease region.

일 예로, 일 실시 예에 따르면 상기 진단 프로세스의 진단 질병이 백내장인 경우, 상기 진단 보조 이미지 제공 장치는 별도의 처리 없이 입력 데이터를 출력 이미지로 제공될 수 있다. 또한, 상기 진단 프로세스의 진단 질병이 백내장인 경우, 상기 진단 보조 이미지 제공 장치는 CAM 이미지 없이 입력 데이터에 대한 병변 강조가 수행된 이미지가 출력될 수 있다. 또한, 상기 진단 프로세스의 진단 질병이 백내장이 아닌 이외의 질병인 경우, 상기 진단 보조 이미지 제공 장치는 백내장을 보유한 입력 데이터에 대한 병변 강조가 수행된 이미지가 출력될 수 있다. 상기 진단 보조 이미지 제공 장치는 백내장이 상기 안저 영역(FA) 상에 흐릿한 영역이 발생되는 질병 특이적 성질을 고려하여 처리된 진단 보조 이미지가 제공될 수 있다. For example, according to an embodiment, when the disease diagnosed in the diagnosis process is cataract, the diagnosis auxiliary image providing device may provide input data as an output image without separate processing. In addition, when the diagnosis disease of the diagnosis process is cataract, the diagnosis auxiliary image providing apparatus may output an image in which lesion enhancement is performed on input data without a CAM image. Also, when the diagnosis disease of the diagnosis process is a disease other than cataract, the diagnosis auxiliary image providing apparatus may output an image in which a lesion is emphasized on input data including cataract. The diagnostic auxiliary image providing apparatus may provide a diagnosis auxiliary image processed in consideration of a disease-specific characteristic of cataract in which a blurred area is generated on the fundus area FA.

후술될 상기 병변 강조 모델(S060)은 입력 데이터가 백내장을 보유한 경우를 예시로 설명될 것이나, 상기 질병은 백내장에 한정되지 아니하고, 안저 영역(FA)의 적어도 일부를 가리는 영역을 발생시키는 질병들은 후술될 병변 강조 모델(S6080)과 동일하거나 유사한 방법으로 병변 강조가 수행된 진단 보조 이미지가 제공될 수 있다. The lesion emphasis model S060, which will be described later, will be described with an example of a case where the input data has cataract, but the disease is not limited to cataract, and diseases that cause a region that covers at least a part of the fundus area FA will be described later. An auxiliary diagnosis image in which lesion enhancement is performed in the same or similar manner as the lesion enhancement model (S6080) to be performed may be provided.

도 51 및 도 52는 상기 진단 프로세스의 입력 데이터가 백내장을 보유한 경우를 진단 보조 이미지를 나타내는 도면이다. 도 51 및 도 52를 참조하여, 상기 진단 프로세스의 입력 데이터가 백내장을 보유한 경우, 상기 입력 데이터에 대해 진행되는 병변 강조를 구체적으로 설명하고자 한다. 51 and 52 are diagrams illustrating diagnosis auxiliary images when the input data of the diagnosis process includes cataract. Referring to FIGS. 51 and 52 , when the input data of the diagnosis process includes cataract, lesion enhancement performed on the input data will be described in detail.

도 51 (a)는 백내장을 보유한 입력 데이터를 나타내고, 도 51 (b)는 (a)에서 혈관부(BVA)를 강조하여 나타낸 도면이다. 도 51 (a)를 참조하면, 백내장을 보유한 입력 데이터의 안저 영역(FA)은 백내장 발생 영역(L6)에 의해 일부 가려질 수 있어, 다른 진단 질병에 대한 판단이 용이하지 않을 수 있다. 도 51 (b)를 참조하면, 상기 진단 보조 이미지는 입력 데이터로부터 혈관부(BVA)를 분리시켜, 상기 백내장 발생 영역(L6) 상에 중첩되는 병변 강조가 수행된 이미지일 수 있다. 이를 통해, 진단 보조 이미지는 백내장 발생 영역(L6)에 의해 판단이 용이하지 않았던 혈관부(BVA)에 대한 정보를 제공함에 따라, 상기 혈관부(BVA)에 연관된 다른 진단 질병에 대해서도 진단을 보조할 수 있다. 또한, 비전문가는 백내장 발생 영역(L6)에 의해 다른 진단 질병에 대한 판단이 용이하지 않은 점을 고려할 때, 상기 혈관부(BVA)를 강조한 상기 진단 보조 이미지는 비전문가가 백내장 이외의 다른 진단 질병에 대해서도 용이하게 파악하여 진단할 수 있는 효과가 있을 수 있다. FIG. 51 (a) shows input data with a cataract, and FIG. 51 (b) is a diagram showing the blood vessel portion (BVA) in (a) with emphasis. Referring to FIG. 51 (a), the fundus area FA of the input data having cataract may be partially covered by the cataract occurrence area L6, so it may not be easy to determine other diagnostic diseases. Referring to FIG. 51 (b) , the auxiliary diagnosis image may be an image in which lesion enhancement is performed by separating the blood vessel portion (BVA) from input data and overlapping the cataract occurrence region (L6). Through this, as the diagnosis auxiliary image provides information on the blood vessel part (BVA), which was not easily determined by the cataract occurrence area (L6), it can assist in diagnosis of other diagnostic diseases related to the blood vessel part (BVA). can In addition, considering that it is not easy for non-experts to judge other diagnostic diseases due to the cataract occurrence region L6, the diagnosis auxiliary image emphasizing the blood vessel portion BVA is also useful for non-experts to diagnose other diseases other than cataract. There may be an effect that can be easily identified and diagnosed.

도 52 (a)는 녹내장, 망막병증, 및 녹내장을 모두 보유한 입력 데이터를 나타내고, 도 52 (b)는 (a)에서 녹내장 발생 영역(L7)을 강조하여 나타낸 도면이고, 도 52 (c)는 (a)에서 망막 병증 발생 영역(L8)을 강조하여 나타낸 도면이다. FIG. 52 (a) shows input data including glaucoma, retinopathy, and glaucoma, and FIG. 52 (b) is a diagram showing the glaucoma occurrence region (L7) highlighted in (a), and FIG. 52 (c) shows In (a), it is a diagram showing the retinopathy-occurring region (L8) highlighted.

도 52 (a)를 참조하면, 백내장을 보유한 입력 데이터의 안저 영역(FA)은 백내장 발생 영역(L6)에 의해 상기 녹내장 발생 영역(L7) 및 상기 망막 병증 발생 영역(L8) 중 적어도 어느 하나가 용이하게 파악되지 않을 수 있다. 따라서, 전문가 또는 비전문가는 상기 백내장 발생 영역(L6)에 의해 백내장에 대해서는 진단을 파악할 수 있으나, 녹내장 또는 망막병증에 대한 진단을 파악하기 어려울 수 있다. 또한, 전문가 또는 비전문가는 상기 백내장 발생 영역(L6)에 의해 백내장에 대한 진단 결과를 용이하게 파악할 수 있으나, 녹내장 또는 망막병증에 대한 진단 결과를 용이하게 파악하기 어려울 수 있다.Referring to FIG. 52 (a), the fundus area FA of the input data having cataract has at least one of the glaucoma area L7 and the retinal disease area L8 by the cataract area L6. may not be easily discerned. Therefore, experts or non-specialists can determine the diagnosis of cataract by the cataract occurrence region L6, but it may be difficult to determine the diagnosis of glaucoma or retinopathy. In addition, experts or non-experts can easily grasp the diagnosis result of cataract by the cataract occurrence region L6, but it may be difficult to easily grasp the diagnosis result of glaucoma or retinopathy.

도 52 (b)를 참조하면, 상기 진단 보조 이미지는 입력 데이터의 안저 영역(FA)의 백내장 발생 영역(L6) 상에 상기 녹내장 발생 영역(L7) 또는 시신경 유두부(ODA)의 경계선이 삽입 또는 중첩되는 병변 강조가 수행될 수 있다. 상기 경계선은 상기 입력 데이터로부터 분리 또는 도출될 수 있다. 상기 진단 보조 이미지는 상기 백내장 발생 영역(L6) 상에 상기 경계선을 통해 백내장뿐만 아니라 녹내장에 대한 진단도 보조할 수 있다. Referring to FIG. 52 (b), the diagnosis auxiliary image shows that the border of the glaucomatous region L7 or the optic nerve head ODA is inserted or inserted on the cataract region L6 of the fundus region FA of the input data. Overlapping lesion highlighting may be performed. The boundary line may be separated or derived from the input data. The diagnostic auxiliary image may assist in diagnosing not only cataract but also glaucoma through the boundary line on the cataract occurrence region L6.

도 52 (c)를 참조하면, 상기 진단 보조 이미지는 입력 데이터의 안저 영역(FA)의 망막 병증 발생 영역(L8) 상에 상기 망막 병증 발생 영역(L8)의 경계선이 삽입 또는 중첩되는 병변 강조가 수행될 수 있다. 상기 경계선은 상기 입력 데이터로부터 분리 또는 도출될 수 있다. 상기 진단 보조 이미지는 상기 백내장 발생 영역(L6) 상에 상기 경계선을 통해 백내장뿐만 아니라 망막 병증에 대한 진단도 보조할 수 있다. Referring to FIG. 52 (c), the diagnosis auxiliary image has lesion emphasis in which the boundary of the retinopathy occurrence region L8 is inserted or overlaps on the retinopathy occurrence region L8 of the fundus region FA of the input data. can be performed The boundary line may be separated or derived from the input data. The diagnosis auxiliary image may assist diagnosis of not only cataract but also retinopathy through the boundary line on the cataract occurrence region L6.

상기 진단 보조 이미지는 상술한 녹내장, 망막 병증 이외의 질병에 대해서도 해당 진단 질병에 따라 상기 백내장 발생 영역(L6) 상에 별도의 병변 강조를 통해 진단을 보조할 수 있다. 또한, 상기 진단 보조 이미지는 상기 백내장의 진행 정도에 따라 입력 데이터뿐만 아니라 CAM 이미지에 대한 병변 강조가 진행될 수도 있다. 또한, 상기 진단 보조 이미지는 상술한 녹내장, 망막 병증, 및 백내장에 제한되지 아니하며, 복수의 진단 질병을 보유한 입력 데이터에 대해서도 상술한 방법과 동일하거나 유사한 방법에 의한 병변 강조가 수행될 수 있다. 또한, 상기 진단 보조 이미지는 상술한 방법에 제한되지 아니하고, 상기 진단 질병의 질병 특이적 성질을 고려한 별도의 방법에 의한 병변 강조가 수행될 수 있다.The diagnostic auxiliary image may assist diagnosis of diseases other than the aforementioned glaucoma and retinopathy by separately highlighting lesions on the cataract occurrence region L6 according to the diagnosis disease. Also, in the diagnosis auxiliary image, lesion enhancement may be performed on the CAM image as well as the input data according to the degree of progression of the cataract. In addition, the diagnosis auxiliary image is not limited to the above-described glaucoma, retinopathy, and cataract, and lesion enhancement using the same or similar method as the above-described method may be performed on input data having a plurality of diagnostic diseases. In addition, the diagnosis auxiliary image is not limited to the above-described method, and lesion enhancement may be performed by a separate method in consideration of disease-specific characteristics of the diagnosis disease.

2.3.3.5 진단 보조 이미지 출력 2.3.3.5 Diagnostic auxiliary image output

상기 진단 보조 이미지 제공 장치는 진단 보조 정보로써, CAM 이미지 또는 진단 보조 이미지가 출력될 수 있다. 상기 진단 보조 이미지 제공 장치는 진단 보조 정보로써, CAM 이미지 및 진단 보조 이미지 중 적어도 어느 하나가 출력될 수 있다. 상기 진단 보조 이미지 제공 장치는 진단 보조 정보로써, CAM 이미지 및 진단 보조 이미지가 출력될 수 있다. 상기 CAM 이미지 및 상기 진단 보조 이미지는 동일한 입력 데이터에 대해서 상기 진단 프로세스의 진단 질병에 따라 적어도 일부의 영역이 상이할 수 있다. The diagnostic auxiliary image providing device may output a CAM image or a diagnostic auxiliary image as diagnostic auxiliary information. The diagnostic auxiliary image providing device may output at least one of a CAM image and a diagnostic auxiliary image as diagnostic auxiliary information. The diagnostic auxiliary image providing device may output a CAM image and a diagnostic auxiliary image as diagnostic auxiliary information. For the same input data, the CAM image and the diagnostic auxiliary image may have different at least some areas depending on the diagnosis disease of the diagnosis process.

상기 CAM 이미지 및 상기 진단 보조 이미지는 상기 진단 프로세스의 진단 질병의 진단 결과를 파악하기 위한 진단 보조 정보로 출력될 수 있다. 상기 CAM 이미지 및 상기 진단 보조 이미지는 동일한 입력 데이터에 대해서 상기 진단 프로세스의 진단 질병의 질병 특이적 성질을 고려한 진단 보조 정보로 출력될 수 있다. 상기 진단 보조 이미지는 입력 데이터 또는 CAM 이미지에 대한 병변 강조를 통해 진단 질병을 보다 용이하게 파악할 수 있도록 보조할 수 있다. The CAM image and the diagnostic auxiliary image may be output as diagnostic auxiliary information for grasping a diagnosis result of a diagnostic disease of the diagnostic process. The CAM image and the diagnostic auxiliary image may be output as diagnostic auxiliary information in consideration of disease-specific characteristics of a diagnosed disease in the diagnostic process for the same input data. The diagnosis auxiliary image may assist in identifying a diagnosis disease more easily through lesion emphasis on input data or a CAM image.

2.3.3.6 진단 보조 이미지 제공 방법2.3.3.6 How to provide diagnostic auxiliary images

이하에서는, 일 실시 예에 따른 진단 보조 이미지 제공 방법에 대해 설명하고자 한다. 도 53은 진단 보조 이미지 제공 방법을 나타내는 순서도이다. 도 53을 참조하면, 상기 진단 보조 이미지 제공 방법은 데이터 획득 단계(S610), 획득된 데이터의 진단 수행 단계(S620), 진단 결과 출력 단계(S630), CAM 이미지 생성 단계(S640), 진단 보조 이미지 생성 단계(S650), 및 진단 보조 이미지 출력 단계(S660)을 포함할 수 있다. 상기 진단 보조 이미지 제공 방법은 도 53에 나타난 순서에 제한되지 아니하고, 상기 단계들 이외의 단계들이 포함될 수 있다. Hereinafter, a diagnosis auxiliary image providing method according to an embodiment will be described. 53 is a flowchart illustrating a diagnostic auxiliary image providing method. Referring to FIG. 53 , the method for providing a diagnostic auxiliary image includes a data acquisition step (S610), a diagnostic execution step of the obtained data (S620), a diagnosis result output step (S630), a CAM image generation step (S640), and a diagnosis auxiliary image. It may include a generating step (S650), and a diagnosis auxiliary image output step (S660). The diagnostic auxiliary image providing method is not limited to the order shown in FIG. 53 and may include steps other than the above steps.

상기 데이터 획득 단계(S610)는 대상체의 안저 이미지가 입력됨에 따라 데이터가 획득될 수 있다. 또한, 상기 데이터 획득 단계(S610)는 진단을 수행되기 위해, 전처리가 수행된 안저 이미지가 입력됨에 따라 데이터가 획득될 수 있다. 또한, 상기 데이터 획득 단계(S610)는 대상체의 안저 이미지가 입력됨에 따라 데이터가 획득되고, 이에 따라 추가적인 전처리가 수행될 수 있다. In the data acquisition step ( S610 ), data may be acquired as the fundus image of the object is input. In addition, in the data acquisition step ( S610 ), data may be obtained as a preprocessed fundus image is input in order to perform diagnosis. In addition, in the data acquisition step ( S610 ), data is acquired as the fundus image of the object is input, and thus additional preprocessing may be performed.

상기 획득된 데이터의 진단 수행 단계(S620)는 상기 데이터 획득 단계(S610)에서 획득된 데이터에 대한 진단이 수행될 수 있다. 상기 획득된 데이터의 진단 수행 단계(S620)는 학습된 신경망 모델을 포함할 수 있고, 상기 학습된 신경망 모델에 의해 상기 데이터 획득 단계(S610)에서 획득된 데이터에 대한 진단이 수행될 수 있다. 또한, 상기 학습된 신경망 모델은 상기 진단 보조 이미지 제공 방법의 진단 질병에 대한 학습이 수행된 신경망 모델일 수 있고, 상기 학습된 신경망 모델은 한 개 또는 복수 개일 수 있다. 상기 획득된 데이터의 진단 수행 단계(S620)는 상기 학습된 신경망 모델에 의한 진단 수행에 따른 진단 결과가 제공될 수 있고, 상기 진단 결과에 사용된 복수의 정보에 대해 서도 제공될 수 있다. In the step of performing diagnosis of the acquired data (S620), diagnosis may be performed on the data obtained in the step of obtaining data (S610). Performing diagnosis of the obtained data (S620) may include a learned neural network model, and diagnosis may be performed on the data acquired in the data acquisition step (S610) by using the learned neural network model. In addition, the learned neural network model may be a neural network model in which learning of a diagnosis disease of the diagnostic auxiliary image providing method has been performed, and the learned neural network model may be one or a plurality of trained neural network models. In performing the diagnosis of the acquired data (S620), a diagnosis result according to diagnosis performed by the learned neural network model may be provided, and a plurality of pieces of information used in the diagnosis result may also be provided.

상기 진단 결과 출력 단계(S630)는 상기 획득된 데이터의 진단 수행 단계(S620)에서 제공된 진단 결과가 출력될 수 있다. 상기 진단 결과 출력 단계(S630)는 상기 획득된 데이터의 진단 수행 단계(S620)에서 제공된 진단 결과인 확률값을 통해 상기 진단 질병에 대한 정상 또는 비정상 여부가 출력될 수 있다. 또한, 상기 진단 결과 출력 단계(S630)는 상기 획득된 데이터의 진단 수행 단계(S620)에서 제공된 진단 결과인 확률값을 통해 상기 진단 질병의 진행 정도가 출력될 수 있다. In the diagnosis result output step (S630), the diagnosis result provided in the diagnosis execution step (S620) of the obtained data may be output. In the diagnosis result output step (S630), whether the diagnosed disease is normal or abnormal may be output through a probability value that is a diagnosis result provided in the diagnosis execution step (S620) of the acquired data. Also, in the diagnosis result output step (S630), the degree of progress of the diagnosed disease may be output through a probability value that is the diagnosis result provided in the diagnosis execution step (S620) of the acquired data.

상기 CAM 이미지 생성 단계(S640)는 상기 획득된 데이터의 진단 수행 단계(S620)에서 제공된 진단 결과 및 상기 진단 결과에 사용된 복수의 정보 중 적어도 어느 하나에 기초하여 CAM 이미지가 생성될 수 있다. 상기 CAM 이미지 생성 단계(S640)는 상기 획득된 데이터의 진단 수행 단계(S620)에서 얻어진 정보에 기초하여 상기 진단 수행과 연관된 정도에 따라 상이한 색으로 처리된 CAM이미지가 생성될 수 있다. In the CAM image generation step (S640), a CAM image may be generated based on at least one of the diagnosis result provided in the diagnostic execution step (S620) of the acquired data and a plurality of pieces of information used for the diagnosis result. In the CAM image generation step (S640), based on the information obtained in the diagnosis execution step (S620) of the obtained data, CAM images processed in different colors may be generated according to the degree of association with the diagnosis.

상기 진단 보조 이미지 생성 단계(S650)는 상기 획득된 데이터의 진단 수행 단계(S620)에서 제공된 진단 결과, 상기 진단 결과에 사용된 복수의 정보, 및 상기 CAM 이미지 생성 단계에서 얻어진 CAM 이미지 중 적어도 어느 하나에 기초하여 진단 보조 이미지가 생성될 수 있다. 상기 진단 보조 이미지 생성 단계(S650)는 상기 CAM 이미지 또는 입력된 대상체의 안저 이미지에 대한 병변 강조 처리가 수행된 진단 보조 이미지가 생성될 수 있다. 상기 진단 보조 이미지 생성 단계(S650)는 상기 진단 질병의 특성에 기초하여, 상기 CAM 이미지 또는 입력된 대상체의 안저 이미지에 대해 질병 특이적으로 병변 강조 처리가 수행된 진단 보조 이미지가 생성될 수 있다. In the diagnostic auxiliary image generating step (S650), at least one of the diagnosis result provided in the diagnostic execution step (S620) of the obtained data, a plurality of information used for the diagnosis result, and the CAM image obtained in the CAM image generating step A diagnosis auxiliary image may be generated based on In the diagnostic auxiliary image generating step ( S650 ), a diagnostic auxiliary image in which lesion emphasis processing is performed on the CAM image or the input fundus image of the object may be generated. In the diagnostic auxiliary image generating step ( S650 ), a diagnosis auxiliary image in which a disease-specific lesion emphasis process is performed on the CAM image or the input fundus image of the subject may be generated based on the characteristics of the diagnosed disease.

상기 진단 보조 이미지 출력 단계(S660)는 상기 진단 보조 이미지가 출력될 수 있다. 상기 진단 보조 이미지 출력 단계(S660)는 상기 진단 보조 이미지가 상기 입력된 대상체의 안저 이미지와 대응되는 또는 동일한 크기로 처리되어 출력될 수 있다. 상기 진단 보조 이미지 출력 단계(S660)는 상기 진단 보조 이미지 이외에 상기 입력된 대상체의 안저 이미지 및 상기 CAM 이미지 중 적어도 어느 하나의 이미지가 함께 출력될 수 있다. 상기 진단 보조 이미지 출력 단계(S660)는 상기 진단 보조 이미지가 출력되되 상기 입력된 대상체의 안저 이미지에 중첩되어 제공될 수 있고, 출력된 상기 진단 보조 이미지는 상기 입력된 대상체의 안저 이미지에 대한 별도의 작업이 수행됨에 따라 제공될 수 있다. 일 예로, 출력된 상기 진단 보조 이미지는 사용자가 상기 입력된 대상체의 안저 이미지 상에 마우스 커서를 올리거나 클릭함에 따라 제공될 수 있다. In the outputting of the diagnostic auxiliary image (S660), the diagnostic auxiliary image may be output. In the outputting of the diagnostic auxiliary image ( S660 ), the diagnostic auxiliary image may be processed and output in a size corresponding to or identical to that of the input fundus image of the object. In the diagnostic auxiliary image output step ( S660 ), at least one of the input fundus image of the object and the CAM image may be output together in addition to the diagnostic auxiliary image. In the outputting of the diagnostic auxiliary image (S660), the diagnostic auxiliary image may be output and provided overlapping with the input fundus image of the object, and the output diagnosis auxiliary image may be a separate image for the input fundus image of the object. It can be provided as work is performed. For example, the outputted diagnosis assisting image may be provided when the user places a mouse cursor on or clicks the input fundus image of the object.

또한, 상기 진단 보조 이미지 제공 방법은, 상기 진단 결과 출력 단계(S630) 및 상기 진단 보조 이미지 출력 단계(S660)에서 얻어진 진단 보조 정보가 제공될 수 있다. 상기 진단 보조 정보는 상기 진단 결과 출력 단계(S630)에서 얻어진 진단 결과 및 상기 진단 보조 이미지 출력(S660)에서 얻어진 진단 보조 이미지가 포함될 수 있다. 상기 진단 보조 이미지 제공 방법은 상기 입력된 안저 이미지에 대한 진단 보조 이미지가 제공되되, 상기 진단 결과 출력 단계(S630)에서 얻어진 진단 결과가 함께 제공될 수 있다.In addition, in the diagnostic auxiliary image providing method, diagnostic auxiliary information obtained in the diagnosis result output step (S630) and the diagnosis auxiliary image output step (S660) may be provided. The diagnosis auxiliary information may include a diagnosis result obtained in the diagnosis result output step ( S630 ) and a diagnosis auxiliary image obtained in the diagnosis auxiliary image output ( S660 ). In the diagnostic auxiliary image providing method, the diagnostic auxiliary image for the input fundus image may be provided together with the diagnosis result obtained in the diagnosis result output step ( S630 ).

상기 진단 보조 이미지 제공 방법에 대한 내용은 이에 제한되지 아니하며, 상기 진단 보조 이미지 제공 방법은 도 1 내지 도 53와 2.3.3. 진단 보조 이미지 제공 프로세스에 기재된 내용을 포함할 수 있다. The content of the diagnostic auxiliary image providing method is not limited thereto, and the diagnostic auxiliary image providing method is described in FIGS. 1 to 53 and 2.3.3. It may include the contents described in the diagnosis auxiliary image providing process.

2.4 복수의 질병에 대한 진단 보조 이미지 제공 시스템2.4 Diagnosis auxiliary image provision system for multiple diseases

복수의 질병에 대한 진단 보조 시스템은 상술한 안저 이미지를 이용한 진단 보조 이미지 제공 장치를 포함할 수 있다. 복수의 질병에 대한 진단 보조 이미지 제공 시스템은 상술한 안저 이미지를 이용한 진단 보조 이미지 제공 장치를 포함할 수 있다. 안저 이미지를 이용한 복수의 질병에 대한 진단 보조 이미지 제공 시스템은 진단 질병의 질병 특이적 특성을 고려한 진단 보조 이미지 제공 장치를 병렬적으로 포함할 수 있다. 동일한 안저 이미지에 대한 복수의 질병을 진단함에 있어서, 복수의 질병에 대한 진단 보조 이미지 제공 시스템은 진단 질병의 질병 특이적 특성을 고려한 진단 보조 이미지 제공 장치를 병렬적으로 포함할 수 있다.An auxiliary diagnosis system for a plurality of diseases may include an auxiliary diagnosis image providing device using the above-described ocular fundus image. A diagnostic auxiliary image providing system for a plurality of diseases may include the above-described diagnostic auxiliary image providing device using the ocular fundus image. A diagnostic auxiliary image providing system for a plurality of diseases using fundus images may include a diagnostic auxiliary image providing device in parallel considering disease-specific characteristics of the diagnosed diseases. In diagnosing a plurality of diseases with the same fundus image, a diagnosis auxiliary image providing system for a plurality of diseases may include a diagnosis auxiliary image providing device in parallel considering disease-specific characteristics of the diagnosed diseases.

복수의 질병에 대한 병렬적 진단 보조 이미지 제공 시스템은 후술될 내용에 제한되지 아니하고, 상술한 1.4 복수 라벨에 대한 진단 보조 시스템에서 기재된 내용에서 병변 강조 모듈 및 병변 강조 프로세스가 추가되는 구성이 추가된 내용과 동일하거나 유사할 수 있다. 후술될 내용에서는, 복수의 질병에 대한 병렬적 진단 보조 이미지 제공 시스템에 대해서 병변 강조 모듈 및 병변 강조 프로세스를 중점적으로 설명하고자 한다.The parallel diagnosis auxiliary image providing system for multiple diseases is not limited to the contents described below, and the contents described in the above-mentioned 1.4 diagnosis auxiliary system for multiple labels are added with a lesion highlighting module and a lesion highlighting process. may be the same as or similar to In the following description, a lesion highlighting module and a lesion highlighting process will be mainly described for a system for providing parallel diagnosis auxiliary images for a plurality of diseases.

2.4.1 실시 예 1 - 병렬적 진단 보조 이미지 제공 시스템2.4.1 Example 1 - Parallel Diagnosis Auxiliary Image Providing System

도 54은 일 실시 예에 따른 안저 이미지에 대한 병렬적인 진단 보조 정보 제공부(700)의 구성을 나타내는 도면이다. 도 54을 참조하면, 진단 보조 정보 제공부(700)는 진단 획득 모듈(710), 데이터 가공 모듈(720), 제1 진단 모듈(730), 제2 진단 모듈(740), 제1 CAM 제공 모듈(750), 제2 CAM 제공 모듈(760), 제1 병변 강조 모듈(770), 제2 병변 강조 모듈(780), 및 출력 모듈(790)을 포함할 수 있다. 54 is a diagram illustrating a configuration of a parallel diagnosis auxiliary information providing unit 700 for fundus images according to an embodiment. Referring to FIG. 54 , the auxiliary diagnostic information providing unit 700 includes a diagnostic acquisition module 710, a data processing module 720, a first diagnostic module 730, a second diagnostic module 740, and a first CAM providing module. 750 , a second CAM providing module 760 , a first lesion highlighting module 770 , a second lesion highlighting module 780 , and an output module 790 .

도 55는 도 54의 진단 보조 정보 제공부(700)에 의해 수행되는 진단 프로세스 및 진단 보조 이미지 제공 프로세스를 설명하기 위한 도면이다. 도 55를 참조하면, 상기 진단 프로세스 및 진단 보조 이미지 제공 프로세스는 데이터 획득(S7010), 학습된 제1 진단 보조 신경망 모델(S7020), 학습된 제2 진단 보조 신경망 모델(S7030), 제1 CAM 제공 모델(S7040), 제2 CAM 제공 모델(S7050), 제1 병변 강조 모델(S7060), 제2 병변 강조 모델(S7070), 및 진단 보조 정보 출력(S7080)을 포함할 수 있다. FIG. 55 is a diagram for explaining a diagnosis process performed by the diagnosis assistance information providing unit 700 of FIG. 54 and a diagnosis assistance image providing process. Referring to FIG. 55 , the diagnosis process and diagnosis assisting image providing process include data acquisition (S7010), a first learned diagnosis assisting neural network model (S7020), a learned second diagnosis assisting neural network model (S7030), and provision of a first CAM. It may include a model (S7040), a second CAM providing model (S7050), a first lesion emphasis model (S7060), a second lesion emphasis model (S7070), and a diagnosis auxiliary information output (S7080).

각각의 모듈은 후술하는 바와 같이 진단 보조 프로세스 및 진단 보조 이미지 제공 프로세스 등의 개별 단계들을 수행할 수 있다. 다만, 도 54 및 도 55에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 일부 구성 요소들 및 기능이 추가되거나 생략될 수 있다. Each module may perform individual steps such as a diagnosis auxiliary process and a diagnosis auxiliary image providing process, as will be described later. However, not all components and functions described in FIGS. 54 and 55 are essential, and some components and functions may be added or omitted.

도 54, 도 55를 참조하면, 데이터 획득 및 가공 프로세스에 관한 내용은 1.3.2 데이터 획득 및 진단 요청, 1.3.3 데이터 가공 프로세스, 및 2.2.2.2 데이터 획득 및 가공 프로세스에서 전술한 내용과 동일할 수 있다. 또한, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다. 다만, 상기 가공 프로세스는 병렬적 진단 프로세스가 진단하는 각각의 질병의 질병 특이적 성질을 고려하여 동일한 입력 데이터에 대해 서로 상이한 가공이 적절히 수행될 수 있다. 일 예로, 병렬적 진단 프로세스 중 적어도 일부의 프로세스가 진단하는 질병이 안저 이미지의 혈관을 중심으로 진단하는 경우 상기 가공 프로세스는 입력된 데이터의 혈관이 강조되는 필터 또는 별도의 처리를 통한 가공이 수행될 수 있다. Referring to FIGS. 54 and 55 , the data acquisition and processing processes may be the same as those described in 1.3.2 Data Acquisition and Diagnosis Request, 1.3.3 Data Processing Process, and 2.2.2.2 Data Acquisition and Processing Process. can In addition, each process is not essential, and may be omitted or a separate process may be added depending on the subject to be diagnosed, the disease to be diagnosed, and the like. However, in the processing process, different processing may be appropriately performed on the same input data in consideration of disease-specific characteristics of each disease diagnosed by the parallel diagnosis process. For example, when a disease diagnosed by at least some of the parallel diagnosis processes is diagnosed based on the blood vessels of the fundus image, the processing process may be performed through a filter emphasizing the blood vessels of the input data or a separate process. can

도 54, 도 55를 참조하면, 상기 진단 프로세스는 제1 진단 모듈(730) 및 제2 진단 모듈(740)에 의해 수행될 수 있다. 상기 진단 프로세스는 데이터 획득(S7010), 학습된 제1 진단 보조 신경망 모델(S7020), 학습된 제2 진단 보조 신경망 모델(S7030), 및 진단 보조 정보 출력(S7080)을 포함할 수 있다. 상기 진단 프로세스는 상기 진단 보조 정보로서 진단 결과를 출력할 수 있다. 상기 진단 프로세스에서 얻어진 진단 결과는 후술될 진단 보조 이미지 제공 프로세스에 이용될 수 있다. 상기 진단 프로세스에 관한 내용은 1.3.4 진단 프로세스, 2.2.2.3 진단 프로세스에서 전술한 내용과 동일할 수 있다. 또한, 각 프로세스는 모두 필수적인 것은 아니며, 진단 대상, 진단 질병, 제공 정보 등에 따라 생략되거나 별도의 프로세스가 추가될 수 있다. Referring to FIGS. 54 and 55 , the diagnosis process may be performed by a first diagnosis module 730 and a second diagnosis module 740 . The diagnosis process may include acquiring data (S7010), learning a first diagnosis assistance neural network model (S7020), learning a second diagnosis assistance neural network model (S7030), and outputting diagnosis assistance information (S7080). The diagnosis process may output a diagnosis result as the diagnosis auxiliary information. Diagnosis results obtained in the diagnosis process may be used in a diagnosis auxiliary image providing process to be described later. Details of the diagnosis process may be the same as those described in 1.3.4 Diagnosis Process and 2.2.2.3 Diagnosis Process. In addition, each process is not essential, and may be omitted or a separate process may be added according to the diagnosis subject, diagnosis disease, provided information, and the like.

도 54, 도 55를 참조하면, 상기 진단 보조 이미지 제공 프로세스는 제1 CAM 제공 모듈(750), 제2 CAM 제공 모듈(760), 제1 병변 강조 모듈(770), 및 제2 병변 강조 모듈(780)에 의해 수행될 수 있다. 상기 진단 보조 이미지 제공 프로세스는 복수의 질병에 대한 진단 보조 정보에 해당되는 각각의 진단 보조 이미지가 제공될 수 있다. 상기 진단 보조 이미지 제공 프로세스는 복수의 질병에 대한 진단 보조 정보에 해당되는 진단 결과와 함께 각각의 진단 보조 이미지가 제공될 수 있다.54 and 55, the diagnosis auxiliary image providing process includes a first CAM providing module 750, a second CAM providing module 760, a first lesion highlighting module 770, and a second lesion highlighting module ( 780). In the diagnostic auxiliary image providing process, each diagnostic auxiliary image corresponding to diagnostic auxiliary information for a plurality of diseases may be provided. In the diagnostic auxiliary image providing process, each diagnostic auxiliary image may be provided together with diagnostic results corresponding to diagnostic auxiliary information for a plurality of diseases.

일 예로, 상기 진단 보조 이미지 제공 프로세스는 획득된 데이터(S7010)를 기초로 제1 진단 질병에 대해 학습된 제1 진단 보조 신경망 모델(S7020), 제1 CAM 제공 모델(S7040), 제1 병변 강조 모델(S7060), 및 진단 보조 정보 출력(S7080)을 포함할 수 있고, 획득된 데이터(S7010)를 기초로 제2 진단 질병에 대해 대해 학습된 제2 진단 보조 신경망 모델(S7030), 제2 CAM 제공 모델(S7050), 제2 병변 강조 모델(S7070), 및 진단 보조 정보 출력(S7080)을 포함할 수 있다. 따라서, 상기 진단 보조 이미지 제공 프로세스는 복수의 질병에 대한 진단을 보조하는 병렬적 진단 프로세스에서 수행된 진단 결과를 기초로 형성된 CAM 이미지에 대해 각 진단 질병의 질병 특이적 성질을 고려한 병변 강조가 수행될 수 있다. For example, the diagnosis auxiliary image providing process includes a first diagnosis auxiliary neural network model (S7020) learned for a first diagnosis disease based on the acquired data (S7010), a first CAM provision model (S7040), and a first lesion emphasis A second diagnosis assistance neural network model (S7030), which may include a model (S7060), and a diagnosis assistance information output (S7080), learned about a second diagnosis disease based on the acquired data (S7010), and a second CAM It may include a provision model (S7050), a second lesion emphasis model (S7070), and output of diagnostic auxiliary information (S7080). Therefore, in the diagnosis auxiliary image providing process, lesion highlighting is performed in consideration of disease-specific characteristics of each diagnosed disease on a CAM image formed based on diagnosis results performed in a parallel diagnosis process assisting diagnosis of a plurality of diseases. can

일 예로, 상기 제1 진단 질병이 특정 해부학적 영역에서 발생되고, 상기 제2 진단 질병이 비특정 해부학적 영역에서 발생되는 경우, 상기 진단 보조 이미지 제공 프로세스는 상기 제1 CAM 제공 모델(S7040)에서 제공된 CAM 이미지에 대해 상기 제1 병변 강조 모델(S7060)을 통해 특정 해부학적 영역과 연관된 병변 강조가 수행될 수 있다. 동시에 또는 순차적으로, 상기 진단 보조 이미지 제공 프로세스는 상기 제2 CAM 제공 모델(S7050)에서 제공된 CAM 이미지에 대해 상기 제2 병변 강조 모델(S7070)을 통해 비특정 해부학적 영역과 연관된 병변 강조가 수행될 수 있다.For example, when the first diagnostic disease occurs in a specific anatomical region and the second diagnostic disease occurs in a non-specific anatomical region, the diagnosis auxiliary image providing process is performed in the first CAM providing model S7040. A lesion enhancement associated with a specific anatomical region may be performed on the provided CAM image through the first lesion enhancement model S7060. Simultaneously or sequentially, in the diagnosis auxiliary image providing process, lesion enhancement associated with a non-specific anatomical region is performed through the second lesion enhancement model (S7070) on the CAM image provided from the second CAM providing model (S7050). can

상기 진단 보조 이미지 제공 프로세스가 진단 프로세스에 수행되는 각각의 진단 질병의 진단 결과를 보조하기 위한 진단 보조 이미지를 제공하되, 상기 진단 보조 이미지는 각각의 진단 질병의 질병 특이적 성질을 고려하여 병변 강조가 수행되어, 상기 진단 보조 이미지는 상기 입력 데이터와 상기 진단 결과를 용이하게 대응시킬 수 있는 효과가 있다. 또한, 상기 진단 보조 이미지 제공 프로세스는 제1 진단 질병에 대응되는 제1 병변 강조 모델 및 제2 진단 질병에 대응되는 제2 병변 강조 모델을 포함하여, 상기 제1 병변 강조 모델 및 상기 제2 병변 강조 모델은 질병 특이적으로 수행되어, 각각의 병변 강조 수행 시간이 절약될 수 있다. The diagnostic auxiliary image providing process provides a diagnostic auxiliary image for assisting the diagnosis result of each diagnosed disease performed in the diagnosis process, wherein the diagnostic auxiliary image has lesion emphasis in consideration of the disease-specific nature of each diagnosed disease As a result, the diagnosis auxiliary image has an effect of easily matching the input data and the diagnosis result. In addition, the diagnostic auxiliary image providing process includes a first lesion emphasis model corresponding to the first diagnosis disease and a second lesion emphasis model corresponding to the second diagnosis disease, the first lesion emphasis model and the second lesion emphasis model. Models can be performed disease-specifically, saving time for each lesion highlighting run.

2.4.2 실시 예 2 - 병렬적 진단 보조 이미지 제공 시스템 2.4.2 Example 2 - Parallel Diagnosis Auxiliary Image Providing System

도 56은 일 실시 예에 따른 안저 이미지에 대한 병렬적인 진단 보조 정보 제공부(800)의 구성을 나타내는 도면이다. 도 56를 참조하면, 진단 보조 정보 제공부(800)는 진단 획득 모듈(810), 데이터 가공 모듈(820), 제1 진단 모듈(830), 제2 진단 모듈(840), 제1 CAM 제공 모듈(850), 제2 CAM 제공 모듈(860), 병변 강조 모듈(870), 및 출력 모듈(890)을 포함할 수 있다. 56 is a diagram illustrating a configuration of a parallel diagnostic auxiliary information providing unit 800 for fundus images according to an embodiment. Referring to FIG. 56 , the auxiliary diagnostic information providing unit 800 includes a diagnostic acquisition module 810, a data processing module 820, a first diagnostic module 830, a second diagnostic module 840, and a first CAM providing module. 850, a second CAM provision module 860, a lesion emphasis module 870, and an output module 890.

도 57은 도 56의 진단 보조 정보 제공부(800)에 의해 수행되는 진단 프로세스 및 진단 보조 이미지 제공 프로세스를 설명하기 위한 도면이다. 도 57을 참조하면, 상기 진단 프로세스 및 진단 보조 이미지 제공 프로세스는 데이터 획득(S8010), 학습된 제1 진단 보조 신경망 모델(S8030), 학습된 제2 진단 보조 신경망 모델(S8040), 제1 CAM 제공 모델(S8050), 제2 CAM 제공 모델(S8060), 병변 강조 모델(S8070), 및 진단 보조 정보 출력(S8090)을 포함할 수 있다. FIG. 57 is a diagram for explaining a diagnosis process performed by the diagnosis assistance information providing unit 800 of FIG. 56 and a diagnosis assistance image providing process. Referring to FIG. 57 , the diagnosis process and diagnosis assisting image providing process include acquiring data (S8010), learning a first diagnosis assisting neural network model (S8030), learning a second diagnosis assisting neural network model (S8040), and providing a first CAM. It may include a model (S8050), a second CAM providing model (S8060), a lesion emphasis model (S8070), and a diagnosis auxiliary information output (S8090).

각각의 모듈은 후술하는 바와 같이 진단 보조 프로세스 및 진단 보조 이미지 제공 프로세스 등의 개별 단계들을 수행할 수 있다. 다만, 도 55 및 도 56에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 일부 구성 요소들 및 기능이 추가되거나 생략될 수 있다. Each module may perform individual steps such as a diagnosis auxiliary process and a diagnosis auxiliary image providing process, as will be described later. However, not all components and functions described in FIGS. 55 and 56 are essential, and some components and functions may be added or omitted.

일 실시 예에 따른 진단 보조 이미지 제공 시스템은 상술한 실시 예1 에서 기재한 내용과 동일하거나 유사할 수 있으며, 진단 보조 이미지 제공 프로세스에서 병변 강조 모델에 관한 내용에서 일부 차이가 있을 수 있어, 상기 병변 강조 모델에 대한 차이점에 대해서 중점적으로 설명하고자 한다. A diagnostic auxiliary image providing system according to an embodiment may be the same as or similar to that described in the above-described embodiment 1, and there may be some differences in the contents of the lesion emphasis model in the diagnostic auxiliary image providing process, so that the lesion I would like to focus on the differences between the emphasis models.

도 56 및 도 57을 참조하면, 상기 진단 보조 이미지 제공 프로세스는 제1 CAM 제공 모듈(850), 제2 CAM 제공 모듈(860), 및 병변 강조 모듈(870)에 의해 수행될 수 있다. Referring to FIGS. 56 and 57 , the diagnosis auxiliary image providing process may be performed by a first CAM providing module 850, a second CAM providing module 860, and a lesion highlighting module 870.

상기 진단 보조 이미지 제공 프로세스는 획득된 데이터(S8010)를 기초로 제1 진단 질병에 대해 학습된 제1 진단 보조 신경망 모델(S8030), 제1 CAM 제공 모델(S8050), 병변 강조 모델(S8070), 및 진단 보조 정보 출력(S8090)을 포함할 수 있고, 획득된 데이터(S8010)를 기초로 제2 진단 질병에 대해 학습된 제2 진단 보조 신경망 모델(S8040), 제2 CAM 제공 모델(S8060), 병변 강조 모델(S8070), 및 진단 보조 정보 출력(S8090)을 포함할 수 있다. 따라서, 상기 진단 보조 이미지 제공 프로세스는 복수의 질병에 대한 진단을 보조하는 병렬적 진단 프로세스에서 수행된 진단 결과를 기초로 형성된 각각의 CAM 이미지에 대한 병변 강조가 수행될 수 있다. The diagnosis auxiliary image providing process includes a first diagnosis auxiliary neural network model (S8030) learned for a first diagnosis disease based on the acquired data (S8010), a first CAM provision model (S8050), a lesion emphasis model (S8070), and outputting diagnostic auxiliary information (S8090), and may include a second diagnosis auxiliary neural network model (S8040) learned about a second diagnosis disease based on the acquired data (S8010), a second CAM providing model (S8060), It may include a lesion highlighting model (S8070), and diagnostic auxiliary information output (S8090). Accordingly, in the diagnosis auxiliary image providing process, lesion enhancement may be performed on each CAM image formed based on a diagnosis result performed in a parallel diagnosis process assisting diagnosis of a plurality of diseases.

상기 진단 보조 이미지 제공 프로세스는 상기 제1 CAM 이미지 제공 모델에서 출력된 CAM 이미지와 상기 제2 CAM 이미지 제공 모델에서 출력된 CAM 이미지가 공통적인 상기 병변 강조 모델(S8070)에 의해 병변 강조가 수행되는바, 상기 병변 강조 모델(S8070)에 의한 수행 절차 및 수행 시간이 단축될 수 있다. 상기 진단 보조 이미지 제공 프로세스는 상기 제1 CAM 이미지 제공 모델에서 출력된 CAM 이미지와 상기 제2 CAM 이미지 제공 모델에서 출력된 CAM 이미지에 대해 상기 병변 강조 모델(S8070)을 통해 동일한 병변 강조가 수행되거나, 진단 질병에 따른 질병 특이적 병변 강조가 각각 수행될 수 있다. In the diagnosis auxiliary image providing process, lesion enhancement is performed by the lesion enhancement model (S8070) in which the CAM image output from the first CAM image providing model and the CAM image output from the second CAM image providing model are common. , the execution procedure and execution time by the lesion emphasis model (S8070) can be shortened. In the diagnosis auxiliary image providing process, the same lesion emphasis is performed on the CAM image output from the first CAM image providing model and the CAM image output from the second CAM image providing model through the lesion emphasis model (S8070), or Disease-specific lesion emphasis according to the diagnosed disease may be performed respectively.

일 예로, 상기 병변 강조 모델(S8070)은 상기 제1 CAM 이미지 제공 모델에서 출력된 CAM 이미지와 상기 제2 CAM 이미지 제공 모델에서 출력된 CAM 이미지에 대해 각각 소정의 임계값을 가지는 픽셀에 대해서만 출력되는 병변 강조가 수행되거나, 각각 소정의 임계값을 가지는 픽셀을 기초로 경계선을 삽입하는 병변 강조가 수행되거나, 각각 특정 해부학적 영역의 경계선을 삽입하는 병변 강조가 수행될 수 있다. 이러한 경우, 상기 진단 보조 이미지 제공 프로세스는 상기 병변 강조 모델(S8070)에 의한 수행 절차 및 수행 시간이 단축될 수 있다. For example, the lesion emphasis model (S8070) outputs only pixels having predetermined threshold values for the CAM image output from the first CAM image providing model and the CAM image output from the second CAM image providing model. Lesion enhancement may be performed, lesion enhancement may be performed by inserting a boundary line based on each pixel having a predetermined threshold value, or lesion enhancement may be performed by inserting a boundary line of a specific anatomical region. In this case, the procedure and execution time of the diagnosis auxiliary image providing process by the lesion emphasis model (S8070) can be shortened.

일 예로, 상기 병변 강조 모델(S8070)은 복수의 방법에 의한 병변 강조가 수행될 수 있어, 상기 제1 CAM 이미지 제공 모델에서 출력된 CAM 이미지와 상기 제2 CAM 이미지 제공 모델에서 출력된 CAM 이미지에 대해 질병 특이적인 병변 강조가 수행될 수 있다. 이러한 경우, 상기 진단 보조 이미지 제공 프로세스는 전체 모델의 구성이 간소화되면서도 진단 질병에 적합한 진단 보조 이미지가 제공될 수 있다. For example, the lesion emphasis model (S8070) can perform lesion emphasis by a plurality of methods, so that the CAM image output from the first CAM image providing model and the CAM image output from the second CAM image providing model Disease-specific lesion highlighting can be performed for In this case, in the process of providing diagnostic auxiliary images, a diagnostic auxiliary image suitable for a diagnosis disease may be provided while the configuration of the entire model is simplified.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (1)

안저 이미지에 기초하여 질병을 진단하는 진단 보조 이미지 제공 장치에 있어서,
입력된 안저 이미지에 대한 질병의 진단을 수행하는 신경망 모델 - 상기 신경망 모델은 복수의 안저 이미지 세트를 통해 상기 질병을 진단하도록 학습됨-;
상기 신경망 모델의 진단 수행에 영향을 미치는 영역이 용이하게 파악되도록, 상기 입력된 안저 이미지 및 상기 신경망 모델에서 얻어진 정보 중 적어도 어느 하나에 기초하여 CAM 이미지를 출력하는 CAM 모델; 및
상기 입력된 안저 이미지 및 상기 CAM 이미지 중 적어도 어느 하나에 대해 상기 질병의 특성에 기초하여 상기 진단 수행에 영향을 미치는 영역을 상기 질병의 특성별로 강조하는 병변 강조 모델을 포함하고,
상기 병변 강조 모델을 통해 상기 질병의 발병 위치 및 발병 영역이 강조되는 진단 보조 이미지가 제공되는,
진단 보조 이미지 제공 장치. A diagnostic auxiliary image providing device for diagnosing a disease based on a fundus image,
a neural network model for diagnosing a disease with respect to an input fundus image, wherein the neural network model is trained to diagnose the disease through a plurality of fundus image sets;
a CAM model that outputs a CAM image based on at least one of the input fundus image and information obtained from the neural network model so that a region affecting diagnostic performance of the neural network model is easily identified; and
A lesion highlighting model for emphasizing a region influencing performance of the diagnosis for each characteristic of the disease based on the characteristic of the disease with respect to at least one of the input fundus image and the CAM image;
A diagnosis auxiliary image in which the onset location and onset region of the disease is emphasized through the lesion highlighting model is provided.
Diagnosis auxiliary image providing device.

Images