WO2019189972A1 - 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 - Google Patents

치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 Download PDF

Info

Publication number
WO2019189972A1
WO2019189972A1 PCT/KR2018/003813 KR2018003813W WO2019189972A1 WO 2019189972 A1 WO2019189972 A1 WO 2019189972A1 KR 2018003813 W KR2018003813 W KR 2018003813W WO 2019189972 A1 WO2019189972 A1 WO 2019189972A1
Authority
WO
WIPO (PCT)
Prior art keywords
dementia
region
interest
image
neural network
Prior art date
Application number
PCT/KR2018/003813
Other languages
English (en)
French (fr)
Inventor
남궁종
조원태
Original Assignee
주식회사 홍복
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 홍복 filed Critical 주식회사 홍복
Priority to PCT/KR2018/003813 priority Critical patent/WO2019189972A1/ko
Publication of WO2019189972A1 publication Critical patent/WO2019189972A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method of artificially analyzing an iris image for diagnosing dementia, and more specifically, to predict the type and prognostic diagnosis of dementia, and a lightweight neural network that can be diagnosed by a low-performance mobile device.
  • the present invention relates to a method for designing and showing a location of a corresponding lesion area in order to increase the reliability of a dementia patient.
  • Dementia is a condition in which humans have difficulties in daily or social life due to disorders in temporal and frontal lobe executive functions including memory, attention, language, and spatiotemporal ability. Dementia is classified into Alzheimer's dementia, vascular dementia, Lewy body dementia, and prefrontal dementia according to the cause of dementia. Alzheimer's dementia accounts for 70% of people with dementia today.
  • Alzheimer's dementia gradually decreases cognitive abilities and often begins with loss of memory.
  • the cause is Alzheimer's by killing cells by interlocking abnormal protein clumps called amyloid plaques and clumps of proteins called neurofibrillary tangles.
  • Vascular dementia is a cognitive disorder caused by vascular damage in the brain. So stroke patients are likely to get dementia. In addition, it can appear similar to Alzheimer's disease, and it is very common to occur in parallel with vascular dementia.
  • Lewy body dementia involves an abnormal mass of protein called alphacituclein in certain parts of the brain. This results in changes in movement, thinking and behavior. In addition, a lot of fluctuations occur in attention and thinking, and if the movement symptoms appear first, it is often diagnosed with Parkinson's disease.
  • Frontal lobe dementia also known as prefrontal dementia, occurs when there is gradual damage to the frontal and temporal lobes of the brain. Behavioral symptoms and personality changes in the frontal lobe, and language disorders in the temporal lobe.
  • the iris is an extension of the brain and has hundreds of thousands of nerve endings (autonomic nerves, middle nerves, sensory nerves), capillaries, and muscle fibers. Therefore, the iris is connected to all organs and tissues through the brain and nervous system, and thus can serve as a direct diagnostic indicator of systemic health.
  • nerve endings autonomous nerves, middle nerves, sensory nerves
  • capillaries capillaries
  • muscle fibers muscle fibers. Therefore, the iris is connected to all organs and tissues through the brain and nervous system, and thus can serve as a direct diagnostic indicator of systemic health.
  • iris science we immediately see the benefits and from all the changes on the iris diagnose the disease state of the tissues involved and figure out what the body needs.
  • the iris is the most complex fibrous structure in our body and is connected to the cerebrum and parts of the body through nerves, information about chemical and physical changes occurring in each tissue and organ in the body is transmitted to the vibration. It changes the shape of the fibrous tissue. It can be used as a basis for diagnosing dementia through iris because it can be used to read and diagnose the status of personal health, response to treatment, the human skeleton, recovery and progression of disease.
  • the conventional methods for diagnosing dementia are divided into a paper test and a laboratory test, which include an MRI or CT brain imaging test, a blood test, and a cerebrospinal fluid test.
  • the neural network can be divided into a convolutional layer and a fully-connected layer (hereinafter referred to as an FC layer).
  • FC layer loses spatial information that was originally a three-dimensional image by converting features extracted from the convolution layer into a one-dimensional vector, and most computations of the deep neural network are heavily focused on the FC layer.
  • the processing speed is very slow.
  • the object of the present invention is that the present invention compensates for the very slow processing speed, which is a problem of the conventional dementia diagnosis apparatus, and ultimately reduces the weight to focus on the processing speed that enables real-time diagnosis even in a mobile device having lower hardware performance than the desktop. Not only does it provide a neural network, but it is also able to accurately diagnose with high accuracy.
  • Another object of the present invention is to provide a confidence in a patient by showing a statistical result for the diagnosis of dementia and visualizing the location of the lesion.
  • Still another object of the present invention is to diagnose the likelihood of dementia and the degree of dementia progression according to the detection and analysis result, based on the big data indicating the dementia potential and the degree of dementia progression according to the location and shape of the lesion area, and adding as necessary. It is to notify in real time that inspection is necessary.
  • a method of analyzing an iris image by artificial intelligence receives an input image photographing the user's eyes from the user terminal Doing; Extracting a region of interest to extract an iris from the input image; Resizing the extracted region of interest into a square shape and scaling the size of the region of interest; Applying a deep neural network to the resized and scaled region of interest; Detecting a lesion area by applying detection and segmentation to an image obtained by applying the deep neural network; Diagnosing dementia by determining the location of the lesion area through the detection and determining the shape of the lesion area through the segmentation, and extracting the region of interest from the input image.
  • the method may further include extracting the region of interest, which is a minimum region necessary for extracting the iris by excluding an region not used for, and applying the deep neural network to the extracted image of the region of interest in a square form. Resizing and normalizing and converting the pixel information values into values between 0 and 1, compressing and optimizing the data into a single data, and diagnosing the dementia may include: And diagnosing the type of dementia based on the shape.
  • the extracting the region of interest may include: using the virtual axis preset in advance when the input image is inclined with respect to a vertical direction.
  • the method may further include extracting the region of interest after aligning by an inclination angle with respect to the vertical direction.
  • the resizing and scaling may include: resizing the ROI in a square shape, normalizing pixel information values to values between 0 and 1, and The method may further include optimizing data of the iris image by converting the pixel information value into a byte and compressing the ROI into one data.
  • a method of artificially analyzing an iris image includes artificial convolutional neural networks (CNNs), thereby preventing loss of spatial information of the iris image. It features.
  • CNNs convolutional neural networks
  • a method of analyzing an iris image by artificial intelligence includes: a user terminal including a camera unit, and the camera unit includes a general mobile camera and an iris recognition dedicated camera, or the camera unit uses only iris recognition. A lens is attached.
  • a method of artificially analyzing an iris image may include: applying the deep neural network, using separable and expanded convolution. It is characterized by.
  • the method of artificially analyzing an iris image may further include generating a visualized image based on a diagnosis of dementia based on the location and shape of the lesion area. .
  • the method of artificially analyzing an iris image according to an embodiment of the present invention may further include performing a prognostic diagnosis of dementia based on the location and shape of the lesion area.
  • a method of analyzing an iris image by artificial intelligence includes: accumulating big data indicating a dementia potential and a degree of dementia progression according to the location and shape of the lesion area; Determining the likelihood of dementia and the degree of dementia progression according to the location and shape of the lesion area based on the big data; In accordance with the possibility of dementia and the degree of dementia, further comprising the step of real-time notification through the user terminal that further testing, including a paper test and laboratory tests, the type of dementia Alzheimer's dementia, vascular dementia, Lewy body It includes dementia and frontal lobe dementia, the likelihood of dementia is divided by a percentage, the degree of dementia progression is characterized by early, middle and late stages.
  • an activation function and a focal loss method are used for the multiplicative neural network.
  • the diagnosis according to the prognostic diagnosis and classification of dementia focuses not only on accuracy but also on processing speed, and shows the statistical result of the diagnosis and visualizes the location of the lesion to give the patient confidence.
  • the lightweight neural network focuses on processing speed, ultimately enabling diagnosis on mobile devices with low hardware in real time.
  • the present invention based on the big data indicating the dementia potential and the degree of dementia progression according to the location and shape of the lesion area, the possibility of dementia and the degree of dementia progression according to the detection and analysis results, and if necessary further examination Allows notification in real time, such as a push alarm.
  • FIG. 1 is a conceptual diagram showing an entire system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of artificially analyzing an iris image for diagnosing dementia according to an embodiment of the present invention.
  • FIG. 4 is a detailed block diagram of a deep neural network learning portion according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating general convolution and atrous convolution according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating normal and separable convolutions according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view showing a lesion location diagnosed by a neural network according to an embodiment of the present invention by a heat map method.
  • FIG. 8 is a block diagram that detects features that have undergone convolution according to an embodiment of the present invention.
  • FIG. 9 is a graph of an activation function of a deep neural network according to an embodiment of the present invention.
  • ... unit described in the specification means a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software.
  • “a” or “an”, “one”, and the like shall be, in the context of describing the present invention, both singular and plural unless the context clearly dictates otherwise or is clearly contradicted by the context. It can be used as a meaning including.
  • FIG. 1 is a conceptual diagram showing an entire system according to an embodiment of the present invention.
  • the user terminal may be an electronic device including a smartphone, a tablet PC, a laptop, and the like.
  • the user terminal may include a camera, and the camera may include an iris recognition dedicated camera or an iris recognition lens may be attached to the camera. Therefore, when the user's eyes are photographed using the user terminal, a screen or an image having a high resolution for a specific part including an iris can be secured.
  • An image obtained by photographing an eye of a user through the user terminal may be input to a server and used for diagnosing dementia.
  • FIG. 2 is a block diagram showing the configuration of a system according to an embodiment of the present invention.
  • the system includes an extractor 110 that extracts a region of interest (RoI) to extract an iris from an input image, and polygons the extracted region of interest. That is, a resizing in a square shape having various sizes, a preprocessor 120 for scaling the size of the ROI, a learning unit 130 for applying a deep neural network to the resized and scaled ROI, and the deep neural network are applied.
  • the detection unit 140 detects the lesion area by applying detection and segmentation to the obtained image and determines the position of the lesion area through the detection, and the shape of the lesion area through the segmentation. By determining this, it may include a diagnostic unit 150 for diagnosing dementia.
  • the extraction unit 110 may acquire an image even from a low performance mobile device.
  • the extraction unit 110 may remove an unnecessary image part in diagnosis for fast processing speed after obtaining images to be used to diagnose dementia.
  • the iris images may not exclude tilted images, the iris images may be extracted using the preset virtual axis and extracted only from the eye image.
  • the region of interest refers to a minimum region for extracting the iris necessary for diagnosing dementia except for an unnecessary region.
  • the reason to extract the region of interest is to reduce the amount of computation as much as possible by eliminating unnecessary regions for diagnosis of dementia in order to reduce the weight.
  • the unnecessary region may be processed in gray and transferred to the preprocessor 120.
  • the preprocessor 120 may resize the iris image obtained by the extractor 110 to a square size (NxN).
  • NxN square size
  • the learner 130 may include a convolutional neural network (CNN) capable of learning while maintaining spatial information of the iris image.
  • CNN convolutional neural network
  • the learner 130 and the detector 140 will be described in detail with reference to FIGS. 4 and 8, respectively.
  • the diagnosis unit 150 finds the location and shape of the lesion area in detail in the detection unit 140 and extracts the segmentation and detection of the lesions from the learning unit 130.
  • the type of dementia can be diagnosed by analyzing and classifying the diagnosis of dementia based on.
  • FIG. 3 is a flowchart illustrating a method of artificially analyzing an iris image for diagnosing dementia according to an embodiment of the present invention.
  • an input image capturing an eye of a user may be received from a user terminal (S11), and a region of interest may be extracted to extract an iris from the input image (S12). Since the user terminal includes a camera dedicated to iris recognition or uses a camera equipped with an iris recognition dedicated lens, the user terminal may easily extract an ROI including an iris at a higher resolution than a general camera.
  • the extracted ROI may be resized in a polygonal shape, the size of the ROI may be scaled (S13), and a deep neural network may be applied to the ROG that has been resized and scaled (S14).
  • the 'various sizes' may include enlarging and reducing the size of an image while maintaining a square shape.
  • an area that is not extracted as the region of interest is an unnecessary region so that only the region of interest may be extracted by gray processing. Accordingly, since unnecessary computation amount of the neural network can be reduced, it can be the basis of a lightweight neural network focusing on processing speed.
  • detection and segmentation are applied to an image obtained by applying the deep neural network (S15) to detect a lesion area, and the position of the lesion area is determined through the detection, and the segmentation is performed.
  • the type of dementia can be determined, and the type of dementia includes, for example, Alzheimer's dementia, vascular dementia, Lewy body dementia, and frontal lobe dementia.
  • the dementia potential is determined based on the position and shape of the lesion area. For example, as the color concentration of the lesion area increases, the likelihood of dementia increases as a percentage.
  • the degree of dementia progression can be indicated, and can be expressed, for example, in the early, middle and late stages of dementia.
  • Figure 4 shows a block diagram of a learning unit 130 for diagnosing dementia according to an embodiment of the present invention.
  • the iris image which has undergone the preprocessing unit 120, may be modified to various sizes such as 500x500 and 400x400 as well as 300x300.
  • the biggest feature of the deep neural network is first, feature maps are generated by applying various filters to the input image in the convolutional layer. That is, it serves as a kind of template for extracting features of the high-dimensional input image.
  • down sampling refers to a neuron layer having reduced spatial resolution with respect to a generated feature map.
  • ReLU rectified linear unit
  • the factoring method is, for example, a 5x5 filter, which reduces the computation by about 2 to 3 times with a 25:10 ratio in terms of 1x5 + 5x1 filters. Furthermore, assuming that the input video is 7x7, using a 7x7 filter will output 1x1. However, if you use the 3x3 filter, the value of 5x5 is output, and if you use the 3x3 filter, the value of 3x3 is output, and if you use the 3x3 filter, the value of 1x1 is output.
  • the present invention utilizes this concept to utilize a combination of a separable convolution method and a factorization method.
  • the lesion area has smaller pixel information than the entire iris image during the operation of the learner 130, the more the layers are overlapped, the more the layers are overlapped. There may be limitations in extracting features of lesion areas that have features.
  • the present invention can be changed to a specific loss function that is excellent in extracting features of a local area, that is, lesion area, by placing more weight on local features than global features when learning a deep neural network.
  • the loss function refers to the deep neural network obtaining the error between the correct answer and the original correct answer with the features extracted from the last convolutional layer, and back-propagating to update the weight by the change amount of the error. It is said to learn.
  • the loss function generally used for learning neural networks uses many cross-entropy (CE) loss methods, and the present invention uses a specific loss function as described above. I use it.
  • the present invention uses a focal loss method for this purpose because the feature of the lesion area that is much smaller than the feature of the entire iris image should be well learned.
  • CE Cross Entropy
  • the focus loss method can be used to compensate.
  • the size of the lesion to be searched in the iris image is very small compared to the entire image. Therefore, when performing classification on the extracted lesion area, the training is performed with a relatively smaller number of data than the entire image. Because the learning is not performed well, the accuracy is low.
  • the size of the image of the feature map extracted from the last convolution layer is up sampled to x2 and combined with the feature map of the layer of m_conv (see FIG. 4). Reinforce.
  • a feature map with enhanced detail is received as an input to the detection unit 140 for detecting detection and segmentation, which will be described in detail with reference to FIG. 8.
  • the location and shape of the lesion area are determined to generate a visualized image of whether the dementia is diagnosed.
  • an atrous convolution is receptive that is grayed out without loss of resolution.
  • the size of the field can be extended, the number of points in the circle that performs the convolution is the same, so that information on various scales can be extracted.
  • the pooling layer is extracted by extracting a high resolution image similar to the original image. It can be replaced.
  • the 3D image is composed of red green blue (RGB), and when a neural network is trained, a general convolution is calculated by overlapping values of R, G, and B in one kernel (hereinafter referred to as a filter). To extract the feature.
  • RGB red green blue
  • a filter one kernel
  • the separable convolution is a bit more color because each of R, G, and B values is separated into one filter, one filter for one value, one for R, one for G, and one for B. It is possible to extract features of the partial part more precisely, and thus to extract more various features instead of extracting duplicated features.
  • the general convolution in computational amount has a computational amount of F2NK2M because it calculates and extracts features at the same time, while Separable convolution calculates the values of R, G, and B and generates a filter that extracts the features. By separating these, the calculation amount becomes F2NK2 + F2MN, which can increase the processing speed by 8 to 9 times than the conventional one.
  • the neural network extracts the feature of the neural network in the Class Activation Map (CAM), and shows where the region is viewed and diagnosed.
  • CAM Class Activation Map
  • the FC layer is replaced with a global average pooling (GAP).
  • GAP global average pooling
  • each feature map becomes a number of neurons through GAP, and the neurons are classified by giving appropriate weights to the neurons.
  • the weight map generates a class activation map (CAM) by overlapping with the original iris image.
  • CAM class activation map
  • FIG. 8 is a diagram illustrating the detection unit 140 of FIG. 2 and a diagram illustrating detection and segmentation region detection of FIG. 4.
  • the location and shape of the lesion area are detected by using a feature map of the layer of the last stage of FIG. 4.
  • RPN Region Proposal Network
  • ROI Region of Interest
  • ROI pooling layers convert ROIs of different sizes into the same size.
  • Segmentation is performed on a pixel-by-pixel basis of the size of the region of interest that detects the transformed object, but the conventional method has not considered alignment.
  • the pixel unit is calculated through the FC layer.
  • the FC layer loses the spatial information that was the original three-dimensional image by converting the features extracted from the convolutional layer into a one-dimensional vector, thereby reducing accuracy.
  • the present invention keeps the decimal point intact and accurately aligns using bilinear interpolation. Therefore, the present invention can know which lesion location and shape was found and detected.
  • the present invention changes to the 1x1 convolutional layer instead of the FC layer to compensate for the shortcomings of the FC layer, because the FC layer connects all neuronal layers to calculate correlations and is called Fully-connected (FC). Calling 1x1 convolution is also convolved through a 1x1 filter, which can improve correlation by computing correlations between pixels and maintaining spatial information.
  • FC Fully-connected
  • FIG. 9 it is a schematic of an activation function as mentioned in the description of the great features of the deep neural network above.
  • an activation function is a function of receiving an input signal and satisfying a certain threshold to produce an output signal and delivering it to the next layer.
  • a ReLU rectified linear unit
  • ReLU rectified linear unit
  • the neural network calculates the error due to the loss function and back propagates the learning. Done. If the backpropagation is calculated by multiplying the derivatives in each layer, the change amount becomes very small toward the first layer, and convergence occurs without transmitting the change amount of the error. If this part is applied to ReLU (rectified linear unit), all values below 0 are treated as 0, so that 0 is undecomposed to 0, which is not easy to learn due to the deep neural network learning by updating the weight.
  • the present invention can set the values below 0 to learn as shown in FIG. 7 so that smooth learning can be achieved and thus accuracy can be increased.
  • the present invention accumulates big data indicating the dementia potential and the degree of dementia progression according to the position and shape of the lesion area, and based on the big data, the dementia according to the position and shape of the lesion area.
  • Learning and determining the likelihood and the degree of dementia progression and can be notified in real time that the additional test, including a questionnaire test and laboratory test is required in accordance with the likelihood of dementia and the degree of dementia progression.
  • the progress of the dementia may be notified in real time through the user terminal.
  • the real time notification through the user terminal may be configured as a pop-up or push alarm.
  • the above-described method may be written as a program executable on a computer, and may be implemented in a general-purpose digital computer which operates the program using a computer readable medium.
  • the structure of the data used in the above-described method can be recorded on the computer-readable medium through various means.
  • Computer-readable media that store executable computer code for carrying out the various methods of the present invention include, but are not limited to, magnetic storage media (eg, ROM, floppy disks, hard disks, etc.), optical reading media (eg, CD-ROMs, DVDs). Storage media).

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일실시예에 따른 스마트폰 상에서 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법은, 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest)을 추출하는 단계; 추출된 상기 관심 영역을 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 단계; 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 단계; 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 단계; 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 단계를 포함하고, 상기 관심 영역을 추출하는 단계는, 상기 입력 영상으로부터 치매 진단에 이용되지 않는 영역을 배제함으로써 홍채를 추출하기 위해 필요한 최소 영역인 상기 관심 영역을 추출하는 단계를 더 포함하고, 상기 심층 신경망을 적용하는 단계는, 상기 입력 영상 중 상기 관심 영역으로 추출되지 않은 영역과 비교하여, 상기 관심 영역에 가중치를 부여하는 방식으로 심층 신경망을 적용하는 단계를 더 포함하고, 상기 치매를 진단하는 단계는 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계를 더 포함할 수 있다.

Description

치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
본 발명은 치매를 진단하기 위해 홍채 영상을 인공지능으로 분석하는 방법에 관한 것으로서, 보다 자세하게는 치매의 종류 및 전조 진단까지 예측하고, 저성능의 모바일 기기로도 진단을 받을 수 있는 경량화된 신경망을 설계하며, 치매 환자의 신뢰성을 높이기 위해 해당하는 병변 영역 위치까지 보여주는 방법 제공하는 것에 관한 것이다.
치매란 인간이 가진 여러 가지 인지기능인 기억력, 주의력, 언어기능, 시공간능력을 포함한 측두엽 및 전두엽 집행기능 등에 장애가 발생하여 일상생활이나 사회생활을 하는데 어려움을 초래하는 상태를 말한다. 치매는 그 발생 원인에 따라 알츠하이머 치매, 혈관성 치매, 루이소체 치매, 전두엽 치매 등으로 구분된다. 알츠하이머 치매는 오늘날 치매 환자의 70%가 이 부분에 해당한다.
알츠하이머 치매는 인식 능력을 점차적으로 저하시키며 종종 기억력을 상실하는데서부터 시작된다. 원인으로는 아밀로이드반이라는 비정상적인 단백질 덩어리와 신경섬유매듭이라는 단백질로 구성된 덩어리가 서로 얽혀 신경세포들과의 커뮤니케이션을 막아 세포를 죽임으로써 알츠하이머가 온다.
혈관성 치매는 뇌의 혈관 손상이 초래한 인식 장애이다. 그래서 뇌졸중환자가 치매를 걸릴 가능성이 있다. 게다가 알츠하이머 질환과 유사하게 나타날 수 있어, 혈관성 치매와 같이 병행되어 발생하는 일이 매우 흔하다.
루이소체 치매는 알파시투클레인이라는 비정상적인 단백질 덩어리가 뇌의 특정 부위에 발생한다. 그래서 움직임과 사고 그리고 행동의 변화를 초래한다. 또한 주의력과 사고력에도 많은 변동이 일어나는데, 움직임 증세가 먼저 나타나면 흔히 파킨슨 병으로 진단하고 인식적 증세가 먼저 나타나면 루이소체 치매라고 진단한다.
전두엽 치매는 전측두엽성 치매라고도 하며 뇌의 전두엽 및 측두엽에 점진적인 손상이 있을 때 발생한다. 전두엽은 행동 증세 및 인격 변화, 측두엽은 언어 장애 현상이 오는데 이 두 가지가 병행되기도 한다.
그리고 홍채는 뇌의 연장으로서 수십만 가닥의 신경말단(자율신경, 동안신경, 감각신경)과모세혈관 및 근섬섬유 조직을 가지고 있다. 그러므로 홍채는 뇌와 신경계를 통하여 모든 장기와 조직에 연결 되어 있어서 전신건강에 대한 직접적인 진단지표로서의 역할을 수행할 수가 있다.
홍채학에서는 바로 이점에 착안하여 홍채상에 나타난 모든 변화로부터 연관된 조직의 질병 상태를 진단하고 신체의 요구가 무엇인가를 알아내게 된다. 다시 말해 홍채는 우리 몸에서 가장 복잡한 섬유막 구조로 되어있고 신경을 통하여 대뇌와 신체 각 부위에 연결되어 있기 때문에 신체내의 각 조직, 장기에서 일어나는 화학적, 물리적 변화에 따른 정보가 바이브레이션(Vibration)으로 전달되어 섬유조직의 형태를 변화시키게 된다. 이를 이용하여 개인적 건강의 수준이나 치료에 대한 반응, 인체골격, 질병의 회복 및 진행에 관한 상태를 판독하고 진단할 수가 있기 때문에 홍채를 통한 치매 진단하는 데에 근거가 될 수 있다.
한편, 종래의 치매 진단에 있어 일반적인 방법은 문진 검사와 검사실 검사로 구분하는데 검사실 검사에서 MRI 또는 CT 뇌 촬영검사와 혈액검사 그리고 뇌척수액 검사가 있다. 여기서 종래의 치매 진단 인공지능은 MRI 혹은 CT 영상을 활용해 합성곱 신경망(Convolutional Neural Network: CNN)을 이용하여 치매를 진단하였다. 여기서 신경망은 컨볼루션 계층과 Fully-connected 계층(이하 FC 계층)으로 나눌 수 있는데, 종래의 기술은 컨볼루션 계층의 연산량이 F2NK2M(F = feature-map, N = input channels, K = kernel, M = output channels)이므로 컴퓨터의 CPU 발전과 더불어 graphics processing units(GPU) 기술의 엄청난 발전으로 인해 빠른 병렬처리 지원이 가능해졌더라도 영상의 크기가 크면 클수록 연산량은 기하급수적으로 늘어나게 되고, 이는 심층 신경망인 CNN을 학습하는데 오랜 시간이 걸린다.
또한, 종래의 기술의 심층 신경망에서 많은 연산량이 치중되어 있는 계층이 FC 계층이다. FC 계층은 컨볼루션 계층에서 추출된 특징들을 1차원 벡터로 변환함으로써 원래의 3차원 이미지였던 공간적 정보를 손실하고 심층 신경망의 대부분의 연산량이 FC 계층에 치중되어 있어 과적합될 수 있는 단점이 있고, 처리 속도가 매우 느리다.
게다가 종래의 치매 진단 인공지능은 애초에 고가의 장비 그리고 특정한 장소에서 촬영을 해서 얻은 데이터를 기반으로 한다. 이는 결국 이용자가 고비용과 불편함을 느끼고 나아가 침습적 방법을 거쳐야만 했다.
따라서 치매를 저비용이면서 비침습적이고 시공간의 제약이 없어도 진단할 수 있는 기술에 대한 필요성이 요구되고 있고 더불어 환자가 빠르게 진단결과를 알 수 있고 정확도 또한 높여 신뢰감을 줄 수 있는 기술이 요구되고 있다.
본 발명의 목적은, 본 발명은 종래의 치매 진단 장치의 문제점인 처리 속도가 매우 느리다는 점을 보완하여 궁극적으로는 데스크탑보다 하드웨어 성능이 낮은 모바일기기에서도 실시간 진단이 가능한 처리 속도에 중점을 둔 경량화된 신경망을 제공하는 것 뿐만 아니라 이에 못지 않은 높은 정확도로 정확하게 진단하는데 있다.
본 발명의 다른 목적은, 치매 진단에 대한 통계적 결과를 보여줌과 동시에 병변 위치를 가시화해주어 환자에게 신뢰감을 주는데 있다.
본 발명의 또 다른 목적은, 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터에 기초하여, 검출 및 분석 결과에 따라 치매 가능성 및 상기 치매 진행 정도를 진단하며, 필요시 추가 검사가 필요함을 실시간으로 통지하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 스마트폰 상에서 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 은, 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest)을 추출하는 단계; 추출된 상기 관심 영역을 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 단계; 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 단계; 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 단계; 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 단계를 포함하고, 상기 관심 영역을 추출하는 단계는, 상기 입력 영상으로부터 치매 진단에 이용되지 않는 영역을 배제함으로써 홍채를 추출하기 위해 필요한 최소 영역인 상기 관심 영역을 추출하는 단계를 더 포함하고, 상기 심층 신경망을 적용하는 단계는, 상기 입력 영상 중 상기 추출한 관심 영역을 정사각형 형태로 리사이징하고 픽셀 정보값을 0과 1사이의 값들로 정규화 및 바이트(byte) 형태로 변환하여 하나의 데이터로 압축 및 최적화하는 단계를 더 포함하고, 상기 치매를 진단하는 단계는 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 관심 영역을 추출하는 단계가, 상기 입력 영상이 수직 방향에 대해 기울어져 있는 경우, 미리 설정한 가상의 축을 이용하여 상기 수직 방향에 대해 기울어진 각도만큼 정렬시킨 후 상기 관심 영역을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 리사이징 및 스케일링하는 단계가, 상기 관심 영역을 정사각형 형태로 리사이징하고, 픽셀 정보값을 0과 1 사이의 값들로 정규화하며, 상기 픽셀 정보값을 바이트(byte) 형태로 변환하고 상기 관심 영역을 하나의 데이터로 압축함으로써 상기 홍채 영상의 데이터를 최적화하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 심층 신경망이 합성곱 신경망(Convolutional Neural Network: CNN)을 포함함으로써, 상기 홍채 영상의 공간 정보가 손실되는 것을 방지하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 사용자 단말이 카메라부를 포함하고, 상기 카메라부는 일반 모바일 카메라 및 홍채 인식 전용 카메라를 포함하거나, 상기 카메라부에 홍채 인식 전용 렌즈가 부착되는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 심층 신경망을 적용하는 단계가, 분리 가능한(Separable) 컨볼루션 및 팽창된(atrous) 컨볼루션을 이용하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 병변 영역의 위치 및 형상에 기초하여, 치매 진단에 근거가 되는 가시화 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 병변 영역의 위치 및 형상에 기초하여, 치매를 전조 진단하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터를 축적하는 단계; 상기 빅데이터에 기초하여, 상기 병변 영역의 위치 및 형상에 따른 상기 치매 가능성 및 치매 진행 정도를 결정하는 단계; 상기 치매 가능성 및 상기 치매 진행 정도에 따라, 문진 검사 및 검사실 검사를 포함한 추가 검사가 필요함을 상기 사용자 단말을 통해 실시간으로 통지하는 단계를 더 포함하고, 상기 치매 종류는 알츠하이머 치매, 혈관성 치매, 루이소체 치매 및 전두엽 치매를 포함하고, 상기 치매 가능성은 백분율로 구분되며, 상기 치매 진행 정도는 초기, 중기 및 말기로 구분되는 것을 특징으로 한다.
본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 합성곱 신경망에 대해 활성화 함수(activation function) 및 초점(Focal) 손실 방법이 이용되는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.
첫째, 본 발명에 따르면, 치매의 전조 진단 및 분류에 따른 진단에 대해 정확도뿐만 아니라 처리 속도에 중점을 두고, 진단에 대한 통계적 결과를 보여줌과 동시에 병변 위치를 가시화해주어 환자에게 신뢰감을 주게끔 한다. 게다가 처리 속도에 중점을 둔 경량화 신경망을 통해, 궁극적으로 실시간으로 하드웨어 환경이 낮은 모바일기기에서도 진단을 받을 수 있게 한다.
둘째, 본 발명에 따르면, 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터에 기초하여, 검출 및 분석 결과에 따라 치매 가능성 및 상기 치매 진행 정도를 진단하며, 필요시 추가 검사가 필요함을 실시간으로 푸쉬 알람 등의 방식으로 통지할 수 있게 한다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 전체 시스템을 나타내는 개념도이다.
도 2는 본 발명의 일실시예에 따른 시스템의 구성을 나타내는 구성도이다.
도 3은 본 발명의 일실시예에 따른 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법을 나타내는 순서도이다.
도 4는 본 발명의 일실시예에 따른 심층 신경망 학습 부분 상세 블록도이다.
도 5는 본 발명의 일실시예에 따른 일반 컨볼루션과 팽창된(atrous) 컨볼루션을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 일반 컨볼루션과 분리 가능한(Separable) 컨볼루션을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 신경망이 진단한 병변 위치를 히트 맵 방식으로 보여주는 예시도이다.
도 8은 본 발명의 일실시예에 따른 컨볼루션을 거친 특징들로 하여금 디텍션(detection) 해주는 블록도이다.
도 9는 본 발명의 일실시예에 따른 심층 신경망의 활성화 함수(activation function)의 그래프이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이고, 다양한 실시형태의 변형 및 변환이 가능하며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도 1은 본 발명의 일실시예에 따른 전체 시스템을 나타내는 개념도이다.
도 1을 참조하면, 사용자 단말은 스마트폰, 테블릿 PC, 랩탑 등을 포함하는 전자 기기일 수 있다. 사용자 단말은 카메라를 포함하고, 상기 카메라는 홍채 인식 전용 카메라를 포함하거나, 상기 카메라에 홍채 인식 전용 렌즈가 부착될 수 있다. 따라서, 사용자 단말을 이용하여 사용자의 눈을 촬영하였을 때, 홍채를 포함한 특정 부위에 대해 해상도 높은 화면 또는 영상을 확보할 수 있다. 사용자 단말을 통해 사용자의 눈을 촬영하여 획득된 영상은 서버에 입력되어, 치매 진단 등에 사용될 수 있다. 이하, 치매 진단과 관련하여, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 보다 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 시스템의 구성을 나타내는 구성도이다.
도 2를 참조하면, 본 발명의 일 실시에에 따른 시스템은, 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest; RoI)을 추출하는 추출부(110), 추출된 상기 관심 영역을 다각형, 즉 다양한 크기의 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 전처리부(120), 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 학습부(130), 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 검출부(140) 및 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 진단부(150)를 포함할 수 있다.
추출부(110)는 저성능의 모바일기기로부터도 영상을 획득할 수 있다.
추출부(110)는 치매를 진단하는데 사용될 영상들을 획득 후 빠른 처리 속도를 위하여 진단에 있어서 불필요한 영상 부분을 제거할 수 있다. 일 실시예에 따라, 상기 홍채 영상들은 기울어져 찍힌 영상들도 배제할 수 없으므로 미리 설정한 가상의 축을 이용하여 똑바로 정렬시킨 후 눈 영상으로부터 관심 영역만 추출할 수 있다. 여기서 관심 영역이란 불필요한 영역을 제외한 치매 진단에 필요한 홍채를 추출하기 위한 최소한의 영역을 말한다.
관심 영역을 추출해야 하는 이유는 경량화를 위해 치매 진단에 불필요한 영역을 제거함으로써 연산량을 최대한 줄이기 위해서이다. 관심 영역을 추출한 후 불필요한 영역은 그레이로 처리하고 전처리부(120)로 전달할 수 있다.
전처리부(120)는 추출부(110)에서 얻은 홍채 영상의 크기를 정사각형(NxN) 크기로 리사이징할 수 있다. 영상의 크기가 크면 클수록 그만큼 연산량은 배가 되므로 경량화 인공지능을 위해서 적절한 크기로 조절하고, 픽셀 정보값(0~255)들을 0과 1사이의 값들로 정규화하여 오류나 예상치에서 벗어나는 값이 없도록 할 수 있다.
일반적인 신경망의 경우, 3차원 데이터인 홍채 영상을 1차원으로 평면화시켜야 하므로, 이 과정에서 영상의 공간 정보가 손실될 수밖에 없다. 따라서, 학습부(130)는 홍채 영상의 공간 정보를 유지한 상태로 학습이 가능한 합성곱 신경망(Convolutional Neural Network: CNN)을 포함할 수 있다.
학습부(130) 및 검출부(140)에 대해서는 도 4 및 도 8에서 각각 구체적으로 설명한다.
진단부(150)는 상기 학습부(130)를 통해 추출된 전반적인 홍채 특징들을 검출부(140)에서 세부적으로 병변 영역의 위치와 형상을 찾아주고 그 병변에 대해 각각 세그먼테이션(segmentation) 및 디텍션(detection)에 기초하여 치매 진단을 분석 및 분류함으로써 치매의 종류를 진단할 수 있다.
도 3은 본 발명의 일실시예에 따른 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법을 나타내는 순서도이다.
도 3을 참조하면, 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하고(S11), 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역을 추출할 수 있다(S12). 사용자 단말은 홍채 인식 전용 카메라를 포함하거나, 홍채 인식 전용 렌즈가 장착된 카메라를 사용하므로, 일반 카메라에 비해, 보다 높은 해상도로 용이하게 홍채를 포함한 관심 영역을 추출할 수 있다.
또한, 추출된 상기 관심 영역을 다각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하며(S13), 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용할 수 있다(S14). 상기 ‘다양한 크기’ 는 정사각형 형태를 유지한 채 영상의 크기를 확대 및 축소 등을 포함할 수 있다. 심층 신경망을 적용할 때, 상기 관심 영역으로 추출되지 않은 영역은 불필요한 영역이므로 그레이(Gray)처리해서 관심 영역만 추출할 수 있다. 이에 따라, 신경망의 불필요한 연산량을 줄일 수 있으므로 처리 속도를 중점으로 하는 경량화 신경망의 근거가 될 수 있다.
게다가, 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하고(S15), 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단할 수 있다(S16). 병변 영역의 위치 및 형상에 기초하여, 치매 종류를 결정할 수 있고, 치매 종류는, 예를 들어 알츠하이머 치매, 혈관성 치매, 루이소체 치매 및 전두엽 치매를 포함한다. 또한, 병변 영역의 위치 및 형상에 기초하여, 치매 가능성을 결정하되, 예를 들어 병변 영역의 색농도가 진해질수록 치매 가능성이 높아짐을 백분율 등으로 나타낼 수도 있다. 게다가, 병변 영역의 위치 및 형상에 기초하여, 치매 진행 정도를 나타낼 수 있고, 예를 들어 치매 초기, 중기 및 말기로 구분하여 나타낼 수 있다.
도 4는 본 발명의 일실시예에 따른 치매 진단을 위한 학습부(130)에 대한 블록도를 도시한다.
도 4를 참조하면, 전처리부(120)를 거친 홍채 이미지를 입력으로 받는데 300x300 크기뿐 만 아니라 500x500, 400x400 등 다양한 크기로 수정될 수 있다.
심층 신경망의 가장 큰 특징은 첫째, 컨볼루션 계층에서 입력 영상에 다양한 필터를 적용하여 특징맵(feature map)들을 생성한다. 즉, 고차원의 입력 영상에 대해 특징을 추출하는 일종의 템플릿 역할을 한다. 둘째, 다운 샘플링(down sampling)은 만들어진 특징맵(feature map)에 대해서 공간적 해상도를 줄인 뉴런층을 말한다. 셋째, 활성화 함수(activation function)는 입력 신호를 받고 특정 임계치를 만족하면 이에 반응하여 출력 신호를 만들어 다음 계층에 전달 해주는 역할을 말한다. 이는 뉴런이 다음 뉴런에게 신호를 전달할 때 강한 자극(= 특정 임계치)을 받을 경우에 신호를 전달한다는 뇌신경학에서 영감을 얻은 것으로 일반적으로는 ReLU(Rectified linear unit)함수를 사용하고 계산식은 y = max(0,x) 이다.
그러나, ReLU(rectified linear unit)의 단점은 입력 신호의 x 가 0 이하일 경우 전부 0으로 신호를 전달하기 때문에 즉, 음수에 대한 신호는 전부 무시하게 된다. 이를 보완하여 본 발명은 0 이하의 신호도 어느 정도의 자극으로 신호를 전달하고자 계산식을 y = 1/(1-exp?(x) )* x 로 수정하고, softX 라는 이름으로 명명하고 도 9에서 조금 더 설명을 보강한다.
결국 상기의 계층들을 연속해서 쌓으면 결국 앞단의 계층에서부터 영상의 지역적인 특징들을 추출해서 뒷단의 계층에 다다르면 전체 영상을 대표하는 글로벌적인 특징만 남게 된다.
여기서 각 일반적인 컨볼루션 계층의 연산량은 F2NK2M(F = feature-map, N = input channels, K = kernel, M = output channels)이지만, 그러나 본 발명의 컨볼루션 계층의 연산량은 F2NK2 + F2MN로 분리함으로써 연산량을 줄였는데, 도 6을 통해 자세한 설명을 보강한다.
한편, 이에 관하여 상기와 같이 연산량을 줄일 수 있는 방법은 인수분해 방법들이 있다. 인수분해 방법은 예를 들어, 5x5 필터라면 1x5 + 5x1 필터로 바꾸어 연산하는 데 있어 25:10 비율로 약 2~3배의 계산을 줄일 수 있다. 게다가 입력 영상이 7x7이라고 가정한다면 7x7 필터를 쓰면 1x1의 값이 출력이 된다. 하지만 여기서 3x3 필터를 쓰면 5x5의 값이 출력되고, 여기서 또 3x3 필터를 쓰면 3x3의 값이 출력, 또 다시 3x3 필터를 쓰면 1x1 값이 출력이 된다. 결국 1x1의 값이 출력으로 나오는 데 있어 7x7 필터 하나는 3x3 필터 3개를 사용하는 것과 같은 의미이고, 계산에 있어서 결국 49:9+9+9 = 49:27 이므로 약 45%의 계산 절감이 가능해진다. 본 발명은 이러한 착안을 활용하여 분리 가능한(Separable) 컨볼루션 방법과 인수분해 방법을 조합하여 활용한다.
한편, 상기 학습부(130)의 동작 과정에서 병변 영역은 전체 홍채 영상에 비하면 조그마한 픽셀 정보를 가지고 있기 때문에 레이어가 많이 중첩될수록 전체 영상을 대표하는 글로벌적인 특징을 갖고 있는 일반적인 심층 신경망의 특성상 지역적인 특징을 가지고 있는 병변 영역의 특징을 추출하기에는 한계가 있을 수 있다.
그러나, 본 발명은 심층 신경망의 학습 시 글로벌적인 특징보다 지역적인 특징에 더 많은 가중치 비중을 두어 지역적인 영역 즉, 병변 영역의 특징을 추출하는데 탁월한 특정 손실 함수로 변경할 수 있다.
여기서 손실 함수는 심층 신경망이 마지막 컨볼루션 계층에서 추출한 특징을 가지고 예측한 정답과 본래의 정답의 오차를 구하고 그 오차의 변화량만큼 다시 역전파하여 가중치를 갱신하는 것을 말하고, 이러한 과정을 반복하는 것을 신경망을 학습 시킨다고 한다.
이러한 점에서 일반적으로 신경망을 학습하는 데 있어 사용되는 손실 함수는 크로스-엔트로피(Cross Entropy; CE) 손실 방법을 많이 이용하는데, 본 발명은 상기에 제시한 특정 손실 함수로 초점(Focal) 손실 방법을 이용한다.
자세히 설명하자면, 상기 설명한 것처럼 심층 신경망에서 특징 맵(feature map)을 추출할 때 지역적인 특징보다 글로벌적인 특징을 추출하는 것이 더 탁월하므로 심층 신경망 학습 시 내가 찾고자 하는 병변 영역(지역적인 특징)보다 그 외의 영역(글로벌적인 특징)을 더 많이 학습하게 된다.
그러나, 본 발명은 전체 홍채 영상에 대한 특징보다 아주 작은 병변 영역의 특징에 대해 학습이 잘 되어야 하므로 이를 위해 초점(Focal) 손실 방법을 이용한다.
일반적으로 사용하는 손실 함수인 크로스-엔트로피(Cross Entropy; CE)의 식은 CE( ) = -log( ) 이고, 본 발명에서 사용하는 초점(Focal) 손실 방법은 F( ) = - log( ) ( =정답일 확률)로 정의 된다.
본 발명에서 사용하는 초점(Focal) 손실 방법에 대해 간략하게 설명하자면, 식에서 는 정답일 확률을 뜻하므로 (1- ) 는 정답이 아닐 확률을 뜻한다.
따라서, (정답일 확률)가 높을수록 전체적인 손실 함수의 값이 작아지고, 낮을수록 값이 커지므로 학습 시 정답이 아닌 값에 대해 더 많은 페널티를 부여하게 된다.
또한, 학습 시 데이터가 특정 클래스에 편향되어 있는 경우 데이터 수가 적은 클래스에 대해 특징을 학습하기 어려워 정답률이 낮을 수밖에 없으므로, 이런 경우에도 초점(Focal) 손실 방법을 사용해 보완이 가능하다.
이를 홍채 영상에 비교하면, 홍채 영상에서 찾고자 하는 병변의 크기는 전체 영상에 비해 매우 작으므로 추출된 병변 영역에 대해 분류(classification) 수행 시 전체 영상에 비해 상대적으로 적은 수의 데이터를 가지고 학습을 수행하게 되므로 학습이 잘 수행되지 않아 낮은 정확도를 보이게 된다.
이에 본 발명에서 제시한 초점(Focal) 손실 방법을 사용해 더 높은 정확도를 얻을 수 있다.
한편, 마지막 컨볼루션 계층에서 추출된 특징맵(feature map)의 영상의 크기를 x2로 업 샘플링(Up sampling)하고 m_conv(도 4 참조)의 계층의 특징맵(feature map)과 결합하여 특징의 디테일을 보강한다.
디테일을 보강한 특징맵(feature map)을 디텍션(detection) 및 세그먼테이션(segmentation)을 검출하는 검출부(140)에 입력으로 받는데, 도 8에서 자세한 설명한다.
최종적으로 검출부(140)에서 검출한 병변 영역의 위치와 형상을 바탕으로 학습한 가중치를 불러와 계산하여( ; = Class Activation Map(CAM), w = 가중치, = 활성화 함수의 단위) 심층 신경망이 어디 병변 영역의 위치와 형상을 판단하여 치매를 진단하였는지 가시화 이미지를 생성한다.
도 5를 참조하면 일반적인 컨볼루션과 유사하지만 원 형태의 점의 위치에 있는 픽셀들만 이용하여 컨볼루션을 수행하는 것과 다르게 팽창된(atrous) 컨볼루션은 해상도의 손실 없이 그레이 처리되어 있는 수용 영역(receptive field)의 크기를 확장할 수 있음에도 불구하고 컨볼루션을 수행하는 원 형태의 점의 개수는 그대로이므로 다양한 scale에서의 정보를 끄집어낼 수 있다.
다시 말해서, 풀링 계층으로 다운 샘플링하게 되면 공간 해상도가 줄어들어 원본 영상보다는 흐릿한 영상이 나오기 마련인데 상기 팽창된(atrous) 컨볼루션의 방법을 사용하게 되면 원본 영상과 비슷한 고해상도의 영상을 추출하여 풀링 계층을 대신할 수 있다.
도 6을 참조하면, 3차원 영상은 RGB(Red Green Blue)로 이루어져 있어, 신경망을 학습할 시 일반적인 컨볼루션은 하나의 커널(이하 필터라고도 부른다)에 R, G, B의 값들이 중복되어 계산을 해서 특징을 추출한다.
결국 필터를 통해 특징을 추출하고 이를 여러 개를 생성하는 컨볼루션의 특성상 각기 다른 필터라고 해도 똑같은 R, G, B의 값들을 계산하게 되어 중복된 특징을 추출할 수 있어 다양한 특징을 추출하는 데 한정적일 수 있다.
그러나, 분리가능한(separable) 컨볼루션은 R, G, B의 값들을 각각 분리적으로 하나의 필터에는 하나의 값 즉 R값 따로, G값 따로 그리고 B값 따로 필터를 생성해내기 때문에 조금 더 컬러적인 부분의 특징을 좀 더 세밀하게 추출할 수 있고, 이렇게 되면 중복된 특징을 추출하는 것이 아니라 좀 더 다양한 특징을 추출할 수 있다.
또한, 계산량에 있어서 일반적인 컨볼루션은 이를 한꺼번에 연산하고 특징을 추출하기 때문에 F2NK2M의 계산량을 가지는 한편, Separable 컨볼루션은 R, G, B의 값들을 계산하는 것과 이를 통한 특징을 추출하는 필터를 생성하는 것을 분리하여 계산량이 F2NK2 + F2MN이 되어 기존보다 8 ~ 9배의 처리속도를 높일 수 있다.
도 7을 참조하면, 그레이 색이 짙어질수록 Class Activation Map(CAM)에 있어서 신경망이 어디를 중점으로 특징을 추출했고, 어디 영역을 보고 진단했는지 나타내준다.
자세히 설명하자면, FC 계층을 Global Average Pooling(GAP)으로 대신하여 예를 들어, 16x16의 크기인 특징맵(feature map)이 2개 있다고 가정하면(=16x16x2) 1x1x256와 같은 벡터로 맵핑한다. 즉, 특징맵(feature map)을 전부 다 풀링하여 여러 개의 뉴런으로 맵핑 시키는데 위의 예시로 가정하면 결국 256개의 뉴런이 맵핑된 것이다.
따라서 각 특징맵(feature map)은 GAP을 통해 여러 개의 뉴런이 되고 이 뉴런들에 적절한 가중치를 주어 분류하게 되는데, 이 가중치를 통해 원본 홍채 영상과 겹쳐서 class activation map(CAM)을 생성한다. 결국 큰 가중치일수록 class activation map(CAM)에서 그레이 색이 짙게 나타나고 이는 치매를 분류하는 데 있어 큰 비중을 차지한다는 근거의 바탕이 된다.
도 8은 도 2의 검출부(140)에 대한 도면이자, 도 4의 디텍션(detection) 및 세그먼테이션(segmentation) 영역 검출에 대한 도면도이다.
도 8을 참조하면, 상기 도 4의 마지막 단의 계층의 특징맵(feature map)을 이용하여 병변 영역 위치 및 형상을 검출한다.
특징맵(feature map) 상에서 치매 진단을 위한 병변 영역 부분을 추출하기 위해 Region Proposal Network(이하 RPN)을 거치게 되는데 이 네트워크는 오브젝트가 있을 것 같은 후보(Region of Interest: RoI) 관심 영역을 미리 설정해 놓은 Anchor box를 통해 먼저 디텍션(detection)하고, 후보에 뽑힌 관심 영역들은 분류기에 의해 오브젝트 분류가 이루어진다.
이때 추출한 관심 영역들의 크기가 제각각 다르므로 고정된 크기에서의 수행을 요구하는 일반적인 심층 신경망에서는 제한적이기에 RoI Pooling 계층을 거쳐 서로 다른 크기의 관심 영역을 같은 크기로 변환해준다.
변환해서 나온 오브젝트를 디텍션(detection)한 관심 영역의 크기의 픽셀 단위로 세그먼테이션(segmentation)을 수행하는데, 기존의 방법은 정렬에 대한 고려가 없었다.
즉, RoI Pooling에서 같은 크기로 변환해서 나온, 다시 말해 오브젝트를 디텍션(detection)한 크기가 소수점이 있더라도 반올림으로 소수점을 제거되기 때문에 정확한 정렬 상태가 불량하다.
또한, FC 계층을 통해 픽셀 단위를 계산한다. 상기 FC 계층에 대한 설명처럼, FC 계층은 컨볼루션 계층에서 추출된 특징들을 1차원 벡터로 변환함으로써 원래의 3차원 이미지였던 공간적 정보를 손실하게 되므로 정확도가 떨어진다.
그러나, 본 발명은 소수점을 그대로 유지하고 선형 보간법(bilinear interpolation)을 이용하여 정확하게 정렬해준다. 그러므로 본 발명은 어떤 병변 위치와 형상을 찾고 검출하였는지 알 수 있다.
게다가 본 발명은 FC 계층의 단점을 보완하고자 FC 계층 대신 1x1 컨볼루션 계층으로 변경하는데, 그 이유는 FC 계층은 모든 뉴런층을 연결하여 상관관계를 연산한다는 의미로써 명칭을 Fully-connected(FC)라고 부르는데 1x1 컨볼루션 또한 1x1 필터를 통해 컨볼루션하기 때문에 하나의 픽셀마다의 상관관계를 연산하고 공간적 정보 또한 유지할 수 있어 정확도를 높일 수 있다.
최종적으로 세그먼테이션(segmentation) 및 디텍션(detection)을 통해 추출한 병변 영역의 위치와 형상을 토대로 심층 신경망에서 학습해서 나온 가중치에 대해 치매에 걸릴 확률이 얼마인 지 예측한다.
도 9를 참조하면, 상기의 심층 신경망의 큰 특징들에 대한 설명에 언급한 것처럼 활성화 함수(activation function)에 대한 도식화이다.
상기 언급한 설명처럼 활성화 함수(activation function)는 입력 신호를 받고 특정 임계치를 만족하면 이에 반응하여 출력 신호를 만들어 다음 계층에 전달 해주는 역할을 말하는데 일반적으로는 ReLU(Rectified linear unit)함수를 사용한다.
그러나, ReLU(rectified linear unit)의 단점은 입력 신호의 x 가 0 이하일 경우 전부 0으로 신호를 전달하기 때문에 심층 신경망 학습부(130)에서 원활한 학습이 이루어지지 않는다. 그 이유는 심층 신경망의 층이 깊을수록 세밀한 특징을 추출할 수 있다는 장점이 있지만 단점은 신경망이 손실 함수로 인해 오차를 계산하고 이를 역전파하여 학습하게 되는데, 오차를 계산할 때 미분 값 즉 변화량으로 계산하게 된다. 각 계층마다 미분을 곱하여 계산하면서 역전파 시키면 결국 맨 앞단의 계층으로 갈수록 변화량이 매우 작아지면서 오차의 변화량을 미처 다 전달하지 못한 채 수렴이 되는 현상이 일어난다. 이 부분을 ReLU(rectified linear unit)에 적용시키면 0 이하의 값은 다 0으로 처리함으로써 결국 0을 미분해도 0이게 되고, 이는 가중치를 새로 갱신하면서 학습하는 심층 신경망 특성상 학습이 원활히 되지 않는다.
이런 단점을 보완하고자 본 발명은 도 7과 같이 0 이하의 값들도 학습이 되게끔 설정하여 원활한 학습이 이루어지고 이에 따라 정확도를 높일 수 있다.
상술한 실시형태에 더하여, 본 발명은 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터를 축적하고, 상기 빅데이터에 기초하여, 상기 병변 영역의 위치 및 형상에 따른 상기 치매 가능성 및 치매 진행 정도를 학습 및 결정하며, 상기 치매 가능성 및 상기 치매 진행 정도에 따라, 문진 검사 및 검사실 검사를 포함한 추가 검사가 필요함을 상기 사용자 단말을 통해 실시간으로 통지할 수 있다. 또한, 시간 경과에 따른 치매 진행 정도가 최근 기하급수적으로 증가한 경우에도, 이러한 진행 경과를 사용자 단말을 통해 실시간으로 통지할 수 있다. 사용자 단말을 통한 실시간 통지는 팝업 또는 푸쉬 알람 등으로 구성될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 스마트폰 상에서 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법으로서,
    사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하는 단계;
    상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest)을 추출하는 단계;
    추출된 상기 관심 영역을 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 단계;
    리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 단계;
    상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 단계;
    상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 단계를 포함하고,
    상기 관심 영역을 추출하는 단계는, 상기 입력 영상으로부터 치매 진단에 이용되지 않는 영역을 배제함으로써 홍채를 추출하기 위해 필요한 최소 영역인 상기 관심 영역을 추출하는 단계를 더 포함하고,
    상기 심층 신경망을 적용하는 단계는, 상기 입력 영상 중 상기 추출한 관심 영역을 정사각형 형태로 리사이징하고 픽셀 정보값을 0과 1사이의 값들로 정규화 및 바이트(byte) 형태로 변환하여 하나의 데이터로 압축 및 최적화하는 단계를 더 포함하고,
    상기 치매를 진단하는 단계는 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계를 더 포함하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  2. 제1항에 있어서,
    상기 관심 영역을 추출하는 단계는, 상기 입력 영상이 수직 방향에 대해 기울어져 있는 경우, 미리 설정한 가상의 축을 이용하여 상기 수직 방향에 대해 기울어진 각도만큼 정렬시킨 후 상기 관심 영역을 추출하는 단계를 더 포함하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  3. 제1항에 있어서,
    상기 리사이징 및 스케일링하는 단계는, 상기 관심 영역을 정사각형 형태로 리사이징하고, 픽셀 정보값을 0과 1 사이의 값들로 정규화하며, 상기 픽셀 정보값을 바이트(byte) 형태로 변환하고 상기 관심 영역을 하나의 데이터로 압축함으로써 상기 홍채 영상의 데이터를 최적화하는 단계를 더 포함하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  4. 제1항에 있어서,
    상기 심층 신경망은 합성곱 신경망(Convolutional Neural Network: CNN)을 포함함으로써, 상기 홍채 영상의 공간 정보가 손실되는 것을 방지하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  5. 제1항에 있어서,
    상기 사용자 단말은 카메라부를 포함하고,
    상기 카메라부는 일반 모바일 카메라 및 홍채 인식 전용 카메라를 포함하거나, 상기 카메라부에 홍채 인식 전용 렌즈가 부착되는,
    홍채 영상을 인공지능으로 분석하는 방법.
  6. 제4항에 있어서,
    상기 심층 신경망을 적용하는 단계는, 분리 가능한(Separable) 컨볼루션 및 팽창된(atrous) 컨볼루션을 이용하는 단계를 더 포함하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  7. 제1항에 있어서,
    상기 병변 영역의 위치 및 형상에 기초하여, 치매 진단에 근거가 되는 가시화 이미지를 생성하는 단계를 더 포함하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  8. 제1항에 있어서,
    상기 병변 영역의 위치 및 형상에 기초하여, 치매를 전조 진단하는 단계를 더 포함하는,
    홍채 영상을 인공지능으로 분석하는 방법.
  9. 제1항에 있어서,
    상기 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터를 축적하는 단계;
    상기 빅데이터에 기초하여, 상기 병변 영역의 위치 및 형상에 따른 상기 치매 가능성 및 치매 진행 정도를 결정하는 단계;
    상기 치매 가능성 및 상기 치매 진행 정도에 따라, 문진 검사 및 검사실 검사를 포함한 추가 검사가 필요함을 상기 사용자 단말을 통해 실시간으로 통지하는 단계를 더 포함하고,
    상기 치매 종류는 알츠하이머 치매, 혈관성 치매, 루이소체 치매 및 전두엽 치매를 포함하고, 상기 치매 가능성은 백분율로 구분되며, 상기 치매 진행 정도는 초기, 중기 및 말기로 구분되는,
    홍채 영상을 인공지능으로 분석하는 방법.
  10. 제4항에 있어서,
    상기 합성곱 신경망은 활성화 함수(activation function) 및 초점(Focal) 손실 방법이 이용되는,
    홍채 영상을 인공지능으로 분석하는 방법.
PCT/KR2018/003813 2018-03-30 2018-03-30 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 WO2019189972A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/003813 WO2019189972A1 (ko) 2018-03-30 2018-03-30 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/003813 WO2019189972A1 (ko) 2018-03-30 2018-03-30 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법

Publications (1)

Publication Number Publication Date
WO2019189972A1 true WO2019189972A1 (ko) 2019-10-03

Family

ID=68059519

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003813 WO2019189972A1 (ko) 2018-03-30 2018-03-30 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법

Country Status (1)

Country Link
WO (1) WO2019189972A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126279A (zh) * 2019-12-24 2020-05-08 深圳市优必选科技股份有限公司 一种手势互动方法及手势互动装置
CN111369528A (zh) * 2020-03-03 2020-07-03 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN113435267A (zh) * 2021-06-09 2021-09-24 江苏第二师范学院 一种基于改进的卷积神经网络的在线教育学生专注力判别方法
CN113505655A (zh) * 2021-06-17 2021-10-15 电子科技大学 面向数字孪生***的轴承故障智能诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030075614A (ko) * 2002-03-20 2003-09-26 김종성 홍채 영상의 자동 분석을 통한 병소 진단 방법
KR20040017924A (ko) * 2002-08-22 2004-03-02 조승호 동공 변환율을 이용한 건강체크 시스템 및 방법과 그방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체 및이를 이용한 홍채를 이용한 신원 확인 시스템 및 방법과그 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체
JP3855025B2 (ja) * 2004-08-30 2006-12-06 富山県 個人認証装置
KR20140141917A (ko) * 2013-06-03 2014-12-11 남궁용주 홍채 병소 영상의 자동분석을 위한 효율적인 동공 및 홍채 열공 데이터 획득, 홍채 열공 특징추출, 데이터 분석(학습), 그리고 판단(분류) 방법
KR20160097786A (ko) * 2015-02-10 2016-08-18 삼성전자주식회사 사용자 단말 및 이의 제공 방법
KR20160118508A (ko) * 2015-04-02 2016-10-12 삼성에스디에스 주식회사 사용자 인증 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030075614A (ko) * 2002-03-20 2003-09-26 김종성 홍채 영상의 자동 분석을 통한 병소 진단 방법
KR20040017924A (ko) * 2002-08-22 2004-03-02 조승호 동공 변환율을 이용한 건강체크 시스템 및 방법과 그방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체 및이를 이용한 홍채를 이용한 신원 확인 시스템 및 방법과그 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체
JP3855025B2 (ja) * 2004-08-30 2006-12-06 富山県 個人認証装置
KR20140141917A (ko) * 2013-06-03 2014-12-11 남궁용주 홍채 병소 영상의 자동분석을 위한 효율적인 동공 및 홍채 열공 데이터 획득, 홍채 열공 특징추출, 데이터 분석(학습), 그리고 판단(분류) 방법
KR20160097786A (ko) * 2015-02-10 2016-08-18 삼성전자주식회사 사용자 단말 및 이의 제공 방법
KR20160118508A (ko) * 2015-04-02 2016-10-12 삼성에스디에스 주식회사 사용자 인증 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126279A (zh) * 2019-12-24 2020-05-08 深圳市优必选科技股份有限公司 一种手势互动方法及手势互动装置
CN111126279B (zh) * 2019-12-24 2024-04-16 深圳市优必选科技股份有限公司 一种手势互动方法及手势互动装置
CN111369528A (zh) * 2020-03-03 2020-07-03 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN111369528B (zh) * 2020-03-03 2022-09-09 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN113435267A (zh) * 2021-06-09 2021-09-24 江苏第二师范学院 一种基于改进的卷积神经网络的在线教育学生专注力判别方法
CN113435267B (zh) * 2021-06-09 2023-06-23 江苏第二师范学院 一种基于改进的卷积神经网络的在线教育学生专注力判别方法
CN113505655A (zh) * 2021-06-17 2021-10-15 电子科技大学 面向数字孪生***的轴承故障智能诊断方法
CN113505655B (zh) * 2021-06-17 2023-10-13 电子科技大学 面向数字孪生***的轴承故障智能诊断方法

Similar Documents

Publication Publication Date Title
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
TWI823897B (zh) 用於診斷腸胃腫瘤的系統和方法
Pires et al. A data-driven approach to referable diabetic retinopathy detection
Rathod et al. Diagnosis of skin diseases using Convolutional Neural Networks
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
Kou et al. An enhanced residual U-Net for microaneurysms and exudates segmentation in fundus images
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2021212715A1 (zh) 精神***症分类识别方法、运行控制装置及医疗设备
WO2021045507A2 (ko) Ct 영상 기반 부위별 대뇌 피질 수축율 예측 방법 및 장치
WO2019132588A1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
Islam et al. Understanding 3D CNN behavior for Alzheimer's disease diagnosis from brain PET scan
Vamsi et al. Early Detection of Hemorrhagic Stroke Using a Lightweight Deep Learning Neural Network Model.
WO2020179950A1 (ko) 딥러닝 기반 뇌 질환 진행 예측 방법 및 장치
Viscaino et al. Computer-aided ear diagnosis system based on CNN-LSTM hybrid learning framework for video otoscopy examination
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
Valenzuela et al. A spatio-temporal hypomimic deep descriptor to discriminate parkinsonian patients
Hussein et al. Myositis Detection From Muscle Ultrasound Images Using a Proposed YOLO-CSE Model
Xu et al. A Tuberculosis Detection Method Using Attention and Sparse R-CNN.
CN117115444B (zh) 一种多任务图像分割方法、***、计算机设备和存储介质
WO2021241830A1 (ko) 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
WO2024072067A1 (ko) 멀티모달 딥 러닝 모델을 이용한 녹내장 환자의 미래 시야 예측 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912811

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18912811

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21/04/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18912811

Country of ref document: EP

Kind code of ref document: A1