WO2023017875A1 - 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 - Google Patents
안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 Download PDFInfo
- Publication number
- WO2023017875A1 WO2023017875A1 PCT/KR2021/010766 KR2021010766W WO2023017875A1 WO 2023017875 A1 WO2023017875 A1 WO 2023017875A1 KR 2021010766 W KR2021010766 W KR 2021010766W WO 2023017875 A1 WO2023017875 A1 WO 2023017875A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- fundus
- fundus image
- measurement value
- predicted
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005259 measurement Methods 0.000 claims description 122
- 230000004323 axial length Effects 0.000 claims description 47
- 210000004204 blood vessel Anatomy 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000012800 visualization Methods 0.000 claims description 9
- 210000003733 optic disk Anatomy 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 208000014644 Brain disease Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000009885 systemic effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 2
- 210000003161 choroid Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000003367 Hypopigmentation Diseases 0.000 description 1
- 208000010415 Low Vision Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003425 hypopigmentation Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 208000004644 retinal vein occlusion Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Definitions
- the present disclosure relates to an apparatus and method for predicting biological measurement values based on fundus images.
- the present application relates to an apparatus and method for predicting biological measurements of high importance in early diagnosis of ophthalmic diseases and brain diseases, such as axial length and fundus age, using big data on fundus images and deep neural networks.
- fundus images are highly utilized in that they are non-invasive and can be easily obtained through basic examinations.
- the fundus image can be taken with little effort and time even for patients who are relatively uncooperative or patients with reduced vision, and it is advantageous that it can be easily taken even when the subject's pupil is not dilated (non-dilated).
- fundus imaging can be used to detect various retinal diseases.
- various eye diseases such as diabetic retinopathy, retinal vein occlusion, and macular degeneration
- a specialist's opinion based on fundus images is essential.
- the axial length among biomeasurement values related to the patient's fundus state is an important factor in evaluating the patient's condition, such as determining myopia or retinal disease.
- the blood vessels of the retina and choroid, the color of the background fundus, etc. change according to the axial length, but there is no known technique for performing accurate numerical prediction of the axial length using this.
- the dedicated measuring equipment developed to measure the length of the axial length is expensive and cutting-edge equipment, so in developing countries that do not have such expensive axial length measuring equipment or in countries where the medical industry infrastructure is not properly equipped, it is recommended for elderly patients.
- the need to manufacture an intraocular lens of appropriate specifications for the treatment of eye diseases such as cataracts there is a limitation in that it is difficult to obtain detailed information on the patient's axial length.
- the present invention is intended to solve the problems of the prior art described above, and is based on a fundus image that can predict important biometric measurements of a subject such as axial length and fundus age by utilizing fundus images that can be easily obtained without expensive axial length measurement equipment.
- An object of the present invention is to provide a device and method for predicting measured values.
- a method for predicting biological measurement values based on fundus images includes preparing a plurality of learning fundus images, Generating a learning model that predicts a predetermined biometric value for a person to be photographed for a fundus image based on at least one local characteristic, receiving a fundus image to be predicted, and using the generated learning model to predict the target fundus
- the method may include deriving the biometric measurement value of the subject of the image.
- the biometric measurement value may include the axial length.
- the at least one local feature may include the shape of the choroidal blood vessels and the optic nerve head.
- the method of predicting biological measurement values based on a fundus image may include deriving an evidence region having a degree of influence on the prediction of the biological measurement value of a predetermined level or higher in the fundus image to be predicted.
- the method of predicting a biological measurement value based on a fundus image may include outputting the prediction target fundus image so that the basis region is emphasized.
- the preparing of the learning fundus image may include obtaining age information of the person to be photographed in each of the plurality of learning fundus images.
- the generating of the learning model may include generating a learning model for predicting the biological measurement value based on the at least one local characteristic and the age information of the person to be photographed in each of the plurality of training fundus images.
- the receiving of the fundus image to be predicted may include obtaining age information of a person to be photographed in the fundus image to be predicted.
- the axial length may be derived in consideration of age information of a person to be photographed in the fundus image to be predicted.
- the biological measurement value may include fundus age.
- the at least one local characteristic may include a state of at least one blood vessel included in the fundus image.
- an apparatus for predicting biological measurement values based on a fundus image prepares a plurality of learning fundus images, and prepares a plurality of learning fundus images, and produces an image of a fundus image based on at least one local characteristic reflected in the plurality of learning fundus images.
- the apparatus for predicting biological measurement values based on a fundus image derives an evidence area having a degree of influence on the prediction of the biological measurement value of a predetermined level or higher in the fundus image to be predicted, and the basis area It may include a visualization unit that outputs the fundus image to be predicted so that the image is emphasized.
- the learning unit may obtain age information of a person to be photographed in each of the plurality of learning fundus images.
- the learning unit may generate a learning model for predicting the biometric measurement value based on the at least one local characteristic and age information of the person to be photographed in each of the plurality of training fundus images.
- the reasoning unit may obtain age information of a person to be photographed in the fundus image to be predicted.
- the inference unit may derive the axial length in consideration of age information of a person to be photographed in the fundus image to be predicted.
- predicting biometric measurements based on fundus images that can predict important biometric measurements of a subject such as axial length and fundus age by using fundus images that can be easily obtained without expensive axial length measurement equipment Devices and methods can be provided.
- FIG. 1 is a schematic configuration diagram of a biometric system including a device for predicting a biometric measurement value based on a fundus image according to an embodiment of the present disclosure.
- FIG. 2 is a conceptual diagram for explaining the axial length.
- FIG. 3 is a conceptual diagram for explaining the shapes of choroidal vessels and optic nerve head, which are local characteristics of fundus images considered to predict biometric values.
- FIG. 4 is a conceptual diagram for explaining a deep neural network-based learning model according to an embodiment of the present disclosure.
- FIG. 5 is a diagram showing an example of a prediction target fundus image that is output so that an evidence area having a degree of influence on prediction of biological measurement values equal to or greater than a predetermined level is emphasized.
- FIG. 6 is a schematic configuration diagram of an apparatus for predicting a biological measurement value based on a fundus image according to an embodiment of the present disclosure.
- FIG. 7 is an operational flowchart of a method for predicting a biological measurement value based on a fundus image according to an embodiment of the present disclosure.
- the present disclosure relates to an apparatus and method for predicting biological measurement values based on fundus images.
- the present application relates to an apparatus and method for predicting biological measurements of high importance in early diagnosis of ophthalmic diseases and brain diseases, such as axial length and fundus age, using big data on fundus images and deep neural networks.
- FIG. 1 is a schematic configuration diagram of a biometric system including a device for predicting a biometric measurement value based on a fundus image according to an embodiment of the present disclosure.
- a biometric measurement system 10 is an apparatus 100 for predicting biological measurement values based on a fundus image according to an embodiment of the present invention (hereinafter, referred to as 'biological measurement value prediction apparatus 100'). ), a fundus image DB 200, and a fundus image capturing device 30.
- the biometric measurement value prediction device 100 , the fundus image DB 200 , and the fundus image capture device 30 may communicate with each other through the network 20 .
- the network 20 refers to a connection structure capable of exchanging information between nodes such as terminals and servers, and examples of such a network 20 include a 3rd Generation Partnership Project (3GPP) network and a Long LTE (LTE) network.
- 3GPP 3rd Generation Partnership Project
- LTE Long LTE
- Term Evolution Long Evolution
- 5G Fifth Generation
- WIMAX Worldwide Interoperability for Microwave Access
- Internet Internet
- LAN Local Area Network
- Wireless LAN Wireless Local Area Network
- WAN Wide Area Network
- PAN Personal Area Network
- wifi network Bluetooth network
- satellite broadcasting network analog broadcasting network
- DMB Digital Multimedia Broadcasting
- the fundus imaging device 30 may include a user terminal 31 .
- the user terminal 31 is, for example, a smart phone (Smartphone), a smart pad (SmartPad), a tablet PC, etc. and PCS (Personal Communication System), GSM (Global System for Mobile communication), PDC (Personal Digital Cellular), PHS ( Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminal It may be any kind of wireless communication device, such as
- the fundus image capture device 30 may include a fundus camera 32 that is a dedicated imaging device provided in an ophthalmology clinic, a university hospital, or the like to acquire a fundus image of a patient.
- the fundus image DB 200 may be a database including a plurality of training fundus images 2 .
- the learning fundus image 2 is a fundus image in which the axial length information and age information of the person to be photographed are secured as ground truth
- the biometric measurement value prediction apparatus 100 of the present application is Image data used in the process of implementing a learning model built to derive a predictive value for a biometric measurement value for a fundus image (in other words, 'fundus image to be predicted (2)') for which information on biometric measurement values is unknown. it could be
- the biological measurement value prediction apparatus 100 may prepare a plurality of learning fundus images 2 . Specifically, the biological measurement value prediction apparatus 100 may receive a plurality of training fundus images 2 from the fundus image DB 200 .
- the biological measurement value prediction apparatus 100 may adjust the data distribution of the received plurality of training fundus images 2 in order to prevent overfitting when implementing a learning model described later.
- the biometric measurement value prediction apparatus 100 may select some images from among the plurality of received training fundus images 2 based on a predetermined criterion, and allow the selected training fundus images 2 to be used for learning.
- each of the plurality of learning fundus images 2 may be pre-stored in the fundus image DB 200 by being matched with age information and axial length information of the person to be photographed.
- the biometric measurement value prediction apparatus 100 when receiving a plurality of learning fundus images 2, the biometric measurement value prediction apparatus 100, among the biometric measurements of each of the plurality of learning fundus images 2, the age information of the person to be photographed, which is the answer information of the fundus age, and the biometric Among the measured values, information on the actual axial length of the person to be photographed, which is correct information on the axial length, may be obtained.
- the biological measurement value predicting apparatus 100 arranges the plurality of training fundus images 2 based on the age of the person to be photographed or the plurality of training fundus images 2 based on the axial length information of the person to be photographed. By arranging , it is possible to operate to select a group of training fundus images 2 belonging to a range similar to the prior prediction value of the fundus image 2 to be predicted and at least a predetermined level, and to proceed with learning.
- the biometric measurement value prediction apparatus 100 may generate a learning model for predicting a predetermined biometric measurement value of a person to be photographed in a fundus image based on at least one local characteristic reflected in a plurality of training fundus images.
- the biological measurement value predicting apparatus 100 predicts the biological measurement value based on at least one local characteristic reflected in the plurality of learning fundus images and the age information of the subject of each of the plurality of learning fundus images 2 according to the embodiment.
- a learning model can be created.
- the biological measurement value may include an axial length (AL).
- the biometric measurement prediction apparatus 100 may generate a learning model for predicting the axial length of a person to be photographed from a fundus image.
- the biological measurement value prediction apparatus 100 may receive the fundus image 2 to be predicted.
- the biological measurement value predicting apparatus 100 may receive a fundus image 2 to be predicted from the fundus image capturing apparatus 30, but is not limited thereto.
- the biometric measurement value predicting device 100 may be mounted (installed) in the user terminal 31 in the form of an application. The user terminal (31 ), it is possible to operate to output predicted values for biological measurements by itself.
- the apparatus 100 for predicting biological measurement values may obtain age information of a person to be photographed in the prediction target fundus image 2.
- the biometric measurement value prediction apparatus 100 may derive the axial length in consideration of age information of a person to be photographed in the acquired fundus image 2 to be predicted. In this way, when the age information of the subject of the fundus image (2) to be predicted is secured, the correlation between age and axial length can be additionally considered, so that the prediction result of the axial length, which is a biometric value, will be more accurate.
- FIG. 2 is a conceptual diagram for explaining the axial length.
- the axial length may mean a distance from the cornea of a person to be photographed to the center of the macula (fovea).
- the biometric measurement value predictor 100 uses the biometric measurement value to predict the axial length
- the learning model generated by the biometric measurement value predictor 100 is specifically a local characteristic reflected in the plurality of learning fundus images 2. It can be constructed to predict the axial length based on the shape of the choroidal blood vessels and the optic disc.
- FIG. 3 is a conceptual diagram for explaining the shapes of choroidal vessels and optic nerve head, which are local characteristics of fundus images considered to predict biometric values.
- a in FIG. 3 represents choroidal blood vessels, which is one of the local characteristics that can be considered in fundus imaging
- B in FIG. 3 represents the shape of the optic disc, which is one of the local characteristics that can be considered in fundus imaging.
- the choroidal blood vessels may mean the visibility of the choroidal blood vessels included in the fundus image.
- the choroidal blood vessel region may appear remarkably in the fundus image, and the age of the subject increases.
- Large choroidal vascular regions in the deep layer may appear conspicuously on fundus images, as they are associated with hypopigmentation of the choroid.
- the choroidal blood vessels are well revealed (or illuminated) on the fundus image, it can be determined that the age of the person to be photographed is high or the axial length of the person to be photographed is relatively long.
- the thickness of the choroidal vessels included in the target fundus image 2 is thick or the choroidal vessel region. It can be operated to derive a predicted value for the axial length, which is a biological measurement value, as it appears more prominently in the fundus image.
- the shape of the optic disc which is a local characteristic related to the optic disc, which is the area where the optic nerves of the retina converge and the axons of ganglion cells in the retina exit the eyeball, is the degree of tilt (inclination) of the optic disc identified from the fundus image.
- Optic disc tilt position of the optic disc (coordinates in the image), distance from the fovea, size information such as radius, diameter, and frame length of the optic disc area, thickness of the optic disc (Lamina Cribrosa Thickness) ), prelaminar tissue thickness, and anterior laminar displacement.
- the biological measurement value may include fundus age.
- the biometric measurement prediction apparatus 100 may generate a learning model predicting the fundus age of a person to be photographed as a biometric measurement value from the fundus image.
- fundus age means the age of a person to be photographed predicted through a fundus image, which is obtained by synthesizing the eye health state of the person to be photographed, the state of fundus blood vessels, etc. identified from the fundus image. Since it can be used as a reflected value, as will be described later, the actual age (age) of the person to be photographed and the predicted fundus age are mutually compared to evaluate the health status of the person to be photographed or to diagnose the presence or absence of a disease of the person to be photographed ( judgment) can be used.
- the fundus age of the subject predicted based on the prediction target fundus image 2 received by the biometric value predicting apparatus 100 is derived lower than the actual age (age) of the subject
- the eye health condition or systemic vascular condition of the subject is good, but otherwise, if the predicted fundus age is derived higher than the actual age (age) of the subject, the eye of the subject A health condition or systemic vascular condition may be inferred to be abnormal.
- the learning model generated by the biometric measurement value predicting device 100 specifically includes a plurality of learning fundus images (2). It can be built to predict the fundus age based on the state of at least one blood vessel, which is a local characteristic reflected in .
- the state of at least one blood vessel may include distribution information, thickness information, color information, and color and contrast information of the fundus background of each blood vessel expressed in the fundus image.
- the biometric measurement value predicting apparatus 100 may build a deep neural network (DNN)-based learning model as a learning model for predicting biological measurement values.
- the biological measurement value predictor 100 may build a learning model based on a deep neural network model for image processing, such as LeNet, AlexNet, GoogleNet, VGGNet, or ResNet, but is not limited thereto.
- a deep neural network model for image processing such as LeNet, AlexNet, GoogleNet, VGGNet, or ResNet, but is not limited thereto.
- the type of learning model disclosed herein may be ResNet-18.
- FIG. 4 is a conceptual diagram for explaining a deep neural network-based learning model according to an embodiment of the present disclosure.
- the deep neural network-based learning model means a multi-layer network, and includes input layers, convolution layers, and fully connected layers. ) and an output layer.
- the number of nodes in the input layer may be the dimension of an input fundus image
- the number of nodes in the output layer may be the dimension of a vector to be predicted. That is, the number of input nodes for the learning model constructed by the biometric measurement value prediction apparatus 100 disclosed herein corresponds to the number of pixels of the fundus image, and the number of output nodes is a scalar value such as axial axial length and fundus age. so it can be one.
- the convolution layer is a layer that calculates the correlation between the local characteristics (local area characteristics) of the input image and a specific pattern.
- the convolution layer is characterized by the number of layers and the number of filters for each convolution layer. can lose In this way, the level of abstraction of a convolution layer composed of multiple layers is determined by the number of layers, and as the number of layers increases (in other words, as the layers become deeper), detailed features can be extracted from the input image. .
- a module for calculating a plurality of convolution layers in parallel or a module for arbitrarily changing the number of parameters may be additionally provided in order to improve efficiency and accuracy of extracting local features.
- the effect of noise or unnecessary information in the previous step can be reduced by applying pooling or nonlinear filters that extract only necessary values between each convolution layer.
- the biometric measurement value prediction apparatus 100 determines the basis region having a degree of influence on the prediction of the biometric measurement values (eg, axial length, fundus age, etc.) derived from the fundus image 2 to be predicted, at a predetermined level or higher. can be derived from image (2).
- the biometric measurement values eg, axial length, fundus age, etc.
- the biological measurement value prediction apparatus 100 may output (display) the prediction target fundus image 2 so that the derived basis region is emphasized.
- the biological measurement value prediction apparatus 100 is a subject (medical staff, etc.) who visually checks the output result by contrasting the color, contrast, sharpness, etc. This basis area can be intuitively recognized.
- the highlighted basis area has elements such as color, contrast, and sharpness that contrast with areas other than the ground area as the influence (contribution) value calculated for each position (pixel) increases. can be output (displayed) so that is greatly changed.
- FIG. 5 is a diagram showing an example of a prediction target fundus image that is output so that an evidence area having a degree of influence on prediction of biological measurement values equal to or greater than a predetermined level is emphasized.
- the biometric measurement value prediction apparatus 100 applies a differential operation for each node in a layer in an input layer of a learning model or a last layer among a plurality of convolution layers to obtain a biometric measurement value prediction value for each node.
- the degree of influence (contribution) can be calculated.
- FIG. 5(a) shows the input prediction target fundus image 2
- FIG. 5(b) highlights the evidence area derived through differential application to the input layer of the learning model.
- Image (2), and FIG. 5(c) is an example of a prediction target fundus image (2) in which the evidence area derived through differential application to the last convolution layer among the plurality of convolution layers of the learning model is highlighted. it is shown negatively.
- (c) of FIG. 5 in which the basis region is highlighted in the fundus image (2) to be predicted according to the embodiment of the present application, Saliency map, CAM (Class activation map), Grad-CAM (gradient-class activation map) and so on.
- the deep neural network-based learning model described above with reference to FIG. 4 operates to learn the parameters of each layer using a backpropagation algorithm, and the final learned learning model is the differential value of the input layer or the last layer among the plurality of convolutional layers.
- the learning model it is possible to visually obtain a basis for an output value (eg, an axial length prediction value, an fundus age prediction value, etc.) finally derived as a prediction result for the biological measurement value.
- the learning model when the learning model is a deep neural network composed of n fully connected layers and m convolutional layers, the learning model may be defined as a function in a specific domain as shown in Equation 1 below.
- the differential value of a specific node X' i, j of a specific filter among K filters of X' for the output value Y can be obtained, and when multiplied by the pixel value of the corresponding node with this as a weight, in the last convolution layer It is possible to check how much influence (contribution) a node has on the output value.
- the contribution of each node (pixel) can be calculated numerically as shown in Equation 3 below.
- the apparatus 100 for predicting biometric measurements disclosed herein derives a ground region that has an important effect on predicting biometric measurements and highlights and provides it, thereby providing reliability for predicted biometric measurements (axial length, ocular fundus age, etc.) can be secured, and there is an effect of assisting the accurate judgment of the medical staff who checks it with the naked eye.
- FIG. 6 is a schematic configuration diagram of an apparatus for predicting a biological measurement value based on a fundus image according to an embodiment of the present disclosure.
- the biological measurement value predicting device 100 may include a learning unit 110 , an inference unit 120 and a visualization unit 130 .
- the learning unit 110 may prepare a plurality of training fundus images 1 .
- the learning unit 110 may obtain age information of a person to be photographed in each of the plurality of learning fundus images 1 .
- the learning unit 110 may generate a learning model for predicting a predetermined biological measurement value of a person to be photographed in the fundus image based on at least one local characteristic reflected in the prepared plurality of training fundus images 1 .
- the learning unit 110 may generate a learning model for predicting biometric measurements based on at least one local characteristic and age information of each subject of the plurality of learning fundus images 1 .
- the learning unit 110 may perform learning for building a learning model by further considering the age information of the subject of the plurality of learning fundus images 1 as needed.
- the biological measurements may include axial length and fundus age.
- the at least one local characteristic may include the shape of the choroidal blood vessel, the optic nerve head, and the state of at least one blood vessel included in the fundus image.
- the inference unit 120 may receive the fundus image 2 to be predicted. In addition, the inference unit 120 may obtain age information of a person to be photographed in the fundus image 2 to be predicted.
- the inference unit 120 may derive the biometric measurement value of the person to be photographed in the fundus image 2 to be predicted using the learning model generated by the learning unit 110 . In addition, the inference unit 120 may derive the axial length in consideration of the age information of the subject of the fundus image 2 to be predicted.
- the visualization unit 130 may derive an evidence area in which the degree of influence (contribution) of the prediction target fundus image 2 to the prediction of the biological measurement value is equal to or greater than a predetermined level.
- the visualization unit 130 may output a fundus image to be predicted so that the derived ground region is emphasized.
- the visualization unit 130 is an image representing the derived basis area (eg, a saliency map, a class activation map (CAM), and a Grad- Display CAM (gradient-class activation map, etc.) together so that the original fundus image (2) to be predicted is distinguished (for example, displayed in parallel horizontally or vertically) or based on the original fundus image (2) to be predicted
- An image representing may be displayed as an overlay, but is not limited thereto.
- the visualization unit 130 displays a mode in which the original fundus image 2 to be predicted is displayed as it is, and the basis region is output to be highlighted. Modes may be provided variably, but each mode may be switched according to a user input applied to the biometric measurement value prediction apparatus 100 .
- FIG. 7 is an operational flowchart of a method for predicting a biological measurement value based on a fundus image according to an embodiment of the present disclosure.
- the method of predicting biological measurement values based on the fundus image shown in FIG. 7 may be performed by the biometric measurement value predicting apparatus 100 described above. Therefore, even if omitted below, the description of the biological measurement value prediction apparatus 100 can be equally applied to the description of the method of predicting the biological measurement value based on the fundus image.
- the learning unit 110 may prepare a plurality of training fundus images 1.
- the learner 110 may acquire age information of a person to be photographed in each of the plurality of learning fundus images 1.
- step S12 the learning unit 110 generates a learning model that predicts a predetermined biological measurement value for a person to be photographed in the fundus image based on at least one local characteristic reflected in the prepared plurality of training fundus images 1. can do.
- the learning unit 110 may generate a learning model for predicting biometric measurements based on at least one local characteristic and age information of each subject of the plurality of training fundus images 1.
- the reasoning unit 120 may receive the fundus image 2 to be predicted.
- the reasoning unit 120 may obtain age information of a person to be photographed in the fundus image 2 to be predicted.
- the reasoning unit 120 may derive biometric measurements of the subject of the fundus image 2 to be predicted using the learning model generated in step S12.
- the inference unit 120 may derive the axial length, which is a biological measurement value, in consideration of the age information of the person to be photographed in the fundus image 2 to be predicted obtained in step S11.
- the visualization unit 130 may derive an evidence area in which the degree of influence (contribution) of the prediction target fundus image 2 to the prediction of the biological measurement value is equal to or greater than a predetermined level.
- step S16 the visualization unit 130 may output the prediction target fundus image 2 so that the basis region derived in step S15 is emphasized.
- steps S11 to S16 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present application. Also, some steps may be omitted if necessary, and the order of steps may be changed.
- a method of predicting a biological measurement value based on a fundus image may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
- the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
- Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software.
- Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
- - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
- program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
- the hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.
- the above-described method of predicting biological measurement values based on fundus images may be implemented in the form of a computer program or application stored in a recording medium and executed by a computer.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 복수의 학습 안저영상을 준비하는 단계, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 단계, 예측 대상 안저영상을 수신하는 단계 및 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 단계를 포함할 수 있다.
Description
본원은 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법에 관한 것이다. 특히, 본원은 안저영상에 대한 빅데이터와 심층신경망을 이용하여 안축장 길이, 안저 나이 등 안과 질환, 뇌 질환 등에 대한 조기 진단에 있어서 중요도가 높은 생체 계측치를 예측하는 장치 및 방법에 관한 것이다.
안과에서의 검사 과정에서 안저영상(안저사진)은 비침습적이며 기본적인 검사로 쉽게 획득 가능하다는 점에서 활용도가 높다. 특히, 안저영상은 비교적 협조가 안되는 환자 또는 시력이 저하된 환자에 대하여도 적은 노력과 시간으로 촬영될 수 있으며, 피촬영자의 동공이 확대되지 않은 상태(산동되지 않은 상태)에서도 쉽게 촬영할 수 있다는 이점이 있다.
다만, 종래에는 안저영상을 획득하기 위하여 고가의 안저 촬영 기기가 구비될 것이 요구되었으나, 최근 들어 안저 촬영을 위한 고가의 기기 없이도 스마트폰에 탑재되는 렌즈를 이용하여 쉽게 안저영상을 얻을 수 있는 기술이 마련되고 있다.
또한, 안저영상은 다양한 망막 질환을 발견하는데 활용될 수 있다. 예를 들어, 당뇨망막병증, 망막정맥폐쇄, 황반변성 등의 다양한 안과 질환의 진단에 있어서는 안저영상을 기초로 한 전문의의 소견이 필수적이다.
특히, 환자의 안저 상태와 관련된 생체 계측치 중 안축장 길이(Axial Length)는 근시 여부를 파악하거나 망막의 질환 여부를 파악하는 등의 환자 상태 평가에 중요한 요소이다. 구체적으로 안축장 길이에 따라 망막 및 맥락막의 혈관, 배경 안저의 색 등이 변화한다는 사실은 기존에도 알려져 있었지만, 구체적으로 이를 이용하여 안축장 길이에 대한 정확한 수치 예측을 수행할 수 있는 기법은 알려진바 없다.
또한, 현재까지 안축장 길이를 측정하기 위해 개발되어 있는 전용 측정장비는 고가의 첨단 장비에 해당하여 이러한 고가의 안축장 측정장비를 구비하지 못한 개발도상국이나 의료산업 인프라가 제대로 갖춰지지 못한 국가에서는 고령 환자에게 발생하는 백내장 등의 안구 질환의 치료를 위해 적절한 규격의 인공수정체를 제조하여야 함에도 불구하고 환자의 안축장 길이에 대한 정보를 세밀하게 획득하기 어렵다는 한계가 있었다.
또한, 안저의 상태로부터 망막의 혈관 상태와 나아가 심혈관 질환 및 뇌의 질환들과 관련된 발병 가능성을 판단할 수 있는 것으로 알려져 있어, 환자의 안저 상태를 종합적으로 반영한 안저 나이를 수치적으로 산출하면 환자 실제 나이와 산출된 안저 나이와의 비교를 통해 환자의 전신 혈관 상태 및 뇌 노화 위험 등을 유추하여 환자 건강 상태에 대한 지표로 활용할 수 있을 것으로 기대된다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2019-0087272호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 고가의 안축장 측정 장비 없이도 쉽게 획득 가능한 안저영상을 활용하여 안축장 길이, 안저 나이 등 피촬영자의 중요 생체 계측치들을 예측할 수 있는 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 복수의 학습 안저영상을 준비하는 단계, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 단계, 예측 대상 안저영상을 수신하는 단계 및 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 단계를 포함할 수 있다.
또한, 상기 생체 계측치는 안축장 길이를 포함할 수 있다.
또한, 상기 적어도 하나의 국부적 특성은 맥락막 혈관 및 시신경 유두의 형상을 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 단계를 포함할 수 있다.
또한, 상기 학습 안저영상을 준비하는 단계는, 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 학습 모델을 생성하는 단계는, 상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
또한, 상기 예측 대상 안저영상을 수신하는 단계는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 생체 계측치를 도출하는 단계는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출할 수 있다.
또한, 상기 생체 계측치는 안저 나이를 포함할 수 있다.
또한, 상기 적어도 하나의 국부적 특성은 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치는, 복수의 학습 안저영상을 준비하고, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 학습부 및 예측 대상 안저영상을 수신하고, 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 추론부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치는, 상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하고, 상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 시각화부를 포함할 수 있다.
또한, 상기 학습부는, 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 상기 학습부는, 상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
또한, 상기 추론부는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 상기 추론부는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 고가의 안축장 측정 장비 없이도 쉽게 획득 가능한 안저영상을 활용하여 안축장 길이, 안저 나이 등 피촬영자의 중요 생체 계측치들을 예측할 수 있는 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 고가의 안축장 측정장비를 구비하기 어렵거나 의료산업 인프라가 낙후된 개발도상국에서도 안축장 길이, 안저 나이 등의 중요 생체 계측치를 간편하면서도 신뢰성 있게 획득할 수 있도록 지원할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 생체 계측치 예측에 중요한 영향을 미친 근거 영역을 강조되게 표시함으로써, 예측된 생체 계측치에 대한 신뢰성을 확보할 수 있고, 이를 육안으로 확인하는 의료진의 정확한 판단을 보조할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치를 포함하는 생체 계측 시스템의 개략적인 구성도이다.
도 2는 안축장 길이를 설명하기 위한 개념도이다.
도 3은 생체 계측치를 예측하기 위해 고려되는 안저영상의 국부적 특성인 맥락막 혈관 및 시신경 유두의 형상을 설명하기 위한 개념도이다.
도 4는 본원의 일 실시예에 따른 심층신경망 기반 학습 모델을 설명하기 위한 개념도이다.
도 5는 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역이 강조되도록 출력된 예측 대상 안저영상을 예시적으로 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법에 관한 것이다. 특히, 본원은 안저영상에 대한 빅데이터와 심층신경망을 이용하여 안축장 길이, 안저 나이 등 안과 질환, 뇌 질환 등에 대한 조기 진단에 있어서 중요도가 높은 생체 계측치를 예측하는 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치를 포함하는 생체 계측 시스템의 개략적인 구성도이다.
도 1을 참조하면, 생체 계측 시스템(10)은, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치(100)(이하, '생체 계측치 예측 장치(100)'라 한다.), 안저영상 DB(200) 및 안저영상 촬영 장치(30)를 포함할 수 있다.
생체 계측치 예측 장치(100), 안저영상 DB(200) 및 안저영상 촬영 장치(30) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
본원의 일 실시예에 따르면, 안저영상 촬영 장치(30)는 사용자 단말(31)을 포함할 수 있다. 사용자 단말(31)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 다른 예로, 안저영상 촬영 장치(30)는 안과, 대학 병원 등에 구비되어 환자의 안저영상을 획득하기 위한 전용 촬영기기인 안저 카메라(32)를 포함할 수 있다.
또한, 본원의 일 실시예에 따르면, 안저영상 DB(200)는 복수의 학습 안저영상(2)을 포함하는 데이터베이스일 수 있다. 본원의 실시예에 관한 설명에서 학습 안저영상(2)은 피촬영자의 안축장 길이 정보 및 연령 정보가 정답 데이터(ground truth)로써 확보된 안저영상으로써, 본원의 생체 계측치 예측 장치(100)가 피촬영자의 생체 계측치에 대한 정보가 알려지지 않은 안저영상(달리 말해, '예측 대상 안저영상(2)')에 대한 생체 계측치 예측값을 도출하기 위해 구축되는 학습 모델을 구현하는 과정에서 활용되는 이미지 데이터를 의미하는 것일 수 있다.
먼저, 생체 계측치 예측 장치(100)는 복수의 학습 안저영상(2)을 준비할 수 있다. 구체적으로, 생체 계측치 예측 장치(100)는 안저영상 DB(200)로부터 복수의 학습 안저영상(2)을 수신할 수 있다.
또한, 생체 계측치 예측 장치(100)는 후술하는 학습 모델 구현시 과적합을 방지하기 위해, 수신된 복수의 학습 안저영상(2)의 데이터 분포를 조정할 수 있다. 달리 말해, 생체 계측치 예측 장치(100)는 수신된 복수의 학습 안저영상(2) 중 일부 영상을 소정의 기준으로 선별하고, 선별된 학습 안저영상(2)이 학습에 활용되도록 할 수 있다.
본원의 일 실시예에 따르면, 복수의 학습 안저영상(2) 각각은 피촬영자의 연령 정보 및 안축장 길이 정보와 매칭되어 안저영상 DB(200)에 기 저장된 것일 수 있다. 달리 말해, 생체 계측치 예측 장치(100)는 복수의 학습 안저영상(2)을 수신할 때, 복수의 학습 안저영상(2) 각각의 생체 계측치 중 안저 나이의 정답 정보인 피촬영자의 연령 정보 및 생체 계측치 중 안축장 길이의 정답 정보인 피촬영자의 실제 안축장 길이 정보를 획득할 수 있다.
이와 관련하여, 생체 계측치 예측 장치(100)는 피촬영자의 나이(연령)를 기준으로 복수의 학습 안저영상(2)을 정렬하거나 피촬영자의 안축장 길이 정보를 기준으로 복수의 학습 안저영상(2)을 정렬하여 예측 대상 안저영상(2)의 사전 예측수치와 소정 수준 이상 유사한 범위에 속하는 학습 안저영상(2)의 그룹을 선택하여 학습을 진행하도록 동작할 수 있다.
또한, 생체 계측치 예측 장치(100)는 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성할 수 있다. 또한, 생체 계측치 예측 장치(100)는 실시예에 따라 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성 및 복수의 학습 안저영상(2) 각각의 피촬영자의 연령 정보를 기초로 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
여기서, 생체 계측치는 안축장 길이(Axial Length, AL)를 포함할 수 있다. 달리 말해, 생체 계측 예측 장치(100)는 안저영상으로부터 피촬영자의 안축장 길이를 예측하는 학습 모델을 생성할 수 있다.
또한, 생체 계측치 예측 장치(100)는 예측 대상 안저영상(2)을 수신할 수 있다. 본원의 일 실시예에 따르면, 생체 계측치 예측 장치(100)는 도 1을 참조하면, 안저영상 촬영 장치(30)로부터 예측 대상 안저영상(2)을 수신하는 것일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 생체 계측치 예측 장치(100)는 어플리케이션 형태로 사용자 단말(31)에 탑재(설치)되는 것일 수 있으며, 이 때, 생체 계측치 예측 장치(100)는 엣지 디바이스인 사용자 단말(31) 내에서 자체적인 Edge Learning을 통해 본원에서 개시하는 학습 모델을 보유하고, 사용자 단말(31)을 통해 촬영된 예측 대상 안저영상(2)을 네트워크를 통해 별도의 서버나 연산 장치로 송신받지 않더라도 사용자 단말(31) 내에서 자체적으로 생체 계측치에 대한 예측값을 출력하도록 동작할 수 있다.
또한, 생체 계측치 예측 장치(100)는 예측 대상 안저영상(2)을 수신할 때, 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 획득할 수 있다. 또한, 생체 계측치 예측 장치(100)는 획득된 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 고려하여 안축장 길이를 도출할 수 있다. 이렇듯, 예측 대상 안저영상(2)의 피촬영자의 연령 정보가 확보되는 경우에는 나이와 안축장 길이와의 상관관계(correlation)를 추가적으로 더 고려할 수 있어 생체 계측치인 안축장 길이의 예측 결과가 보다 정확해 질 수 있다.
도 2는 안축장 길이를 설명하기 위한 개념도이다.
도 2를 참조하면, 안축장 길이는 피촬영자의 각막으로부터 황반 중심(중심와)에 이르는 거리를 의미하는 것일 수 있다.
이와 관련하여, 생체 계측치 예측 장치(100)가 안축장 길이를 예측하려는 생체 계측치로 하는 경우, 구체적으로 생체 계측치 예측 장치(100)가 생성하는 학습 모델은 복수의 학습 안저영상(2)에 반영된 국부적 특성인 맥락막 혈관 및 시신경 유두(Optic disc)의 형상을 기초로 안축장 길이를 예측하도록 구축될 수 있다.
도 3은 생체 계측치를 예측하기 위해 고려되는 안저영상의 국부적 특성인 맥락막 혈관 및 시신경 유두의 형상을 설명하기 위한 개념도이다
특히, 도 3의 A는 안저영상에서 고려될 수 있는 국부적 특성 중 하나인 맥락막 혈관을 나타내고, 도 3의 B는 안저영상에서 고려될 수 있는 국부적 특성 중 하나인 시신경 유두의 형상을 나타낸 것일 수 있다.
구체적으로, 맥락막 혈관은 안저영상에 포함된 맥락막 혈관의 시인성을 의미하는 것일 수 있으며, 이와 관련하여 일반적으로 안축장이 길어질수록 맥락막 혈관 영역이 안저영상에서 현저하게 나타날 수 있고, 피촬영자의 연령이 높을수록 맥락막의 색소감소와 연관되어 깊은 층의 큰 맥락막 혈관 영역이 안저영상에 현저하게 나타날 수 있다. 달리 말해, 맥락막 혈관이 안저영상에서 잘 드러나면(비춰지면), 피촬영자의 연령이 높거나 피촬영자의 안축장 길이가 비교적 긴 것으로 판단될 수 있다.
즉, 복수의 학습 안저영상(1)을 기초로 구축된 학습 모델은 예측 대상 안저영상(2)을 새로이 수신하면, 예측 대상 안저영상(2)에 포함된 맥락막 혈관의 두께가 두껍거나 맥락막 혈관 영역이 안저영상에 현저하게 나타날수록 생체 계측치인 안축장 길이에 대한 예측값을 크게 도출하도록 동작할 수 있다.
또한, 망막의 시신경이 모이고, 망막에서 신경절 세포의 축색이 안구를 빠져나가는 영역인 시신경 유두와 관련한 국부적 특성인 시신경 유두(Optic disc)의 형상이란 안저영상으로부터 파악되는 시신경 유두의 틸트(기울임) 정도(Optic disc tilt), 시신경 유두의 위치(영상 내 좌표), 안와(fovea)로부터의 이격 거리, 시신경 유두 영역의 반지름, 직경, 테두리 길이 등의 크기 정보, 시신경 유두의 사상판 두께(Lamina Cribrosa Thickness), 전사상판 두께(Prelaminar Tissue Thickness), 사상판 앞길이(Anterior Laminar Displacement) 등을 폭넓게 포함하는 개념일 수 있다.
또한, 본원의 일 실시예에 따르면, 생체 계측치는 안저 나이(fundus age)를 포함할 수 있다. 달리 말해, 생체 계측 예측 장치(100)는 안저영상으로부터 피촬영자의 안저 나이를 생체 계측치로 하여 이를 예측하는 학습 모델을 생성할 수 있다.
본원의 실시예에 관한 설명에서, 안저 나이(fundus age)는 안저영상을 통해 예측되는 피촬영자의 연령을 의미하며, 이는 안저영상으로부터 파악되는 피촬영자의 안구 건강 상태, 안저 혈관 상태 등을 종합하여 반영한 수치로 활용될 수 있으므로, 후술하는 바와 같이 피촬영자의 실제 나이(연령)와 예측된 안저 나이(fundus age)와의 상호 비교를 통해 피촬영자의 건강 상태를 평가하거나 피촬영자의 질환 유무를 진단(판단)하는데 활용될 수 있다.
구체적으로 예시하면, 생체 계측치 예측 장치(100)가 수신된 예측 대상 안저영상(2)을 기초로 예측한 피촬영자의 안저 나이(fundus age)가 해당 피촬영자의 실제 나이(연령)보다 낮게 도출된 경우, 해당 피촬영자의 안구 건강 상태 또는 전신 혈관 상태가 양호한 것으로 판단되나, 이와 달리 예측된 안저 나이(fundus age)가 해당 피촬영자의 실제 나이(연령)보다 높게 도출된 경우, 해당 피촬영자의 안구 건강 상태 또는 전신 혈관 상태가 비정상적인 것으로 추론될 수 있다.
이와 관련하여, 생체 계측치 예측 장치(100)가 안저 나이(fundus age)를 예측하려는 생체 계측치로 하는 경우, 구체적으로 생체 계측치 예측 장치(100)가 생성하는 학습 모델은 복수의 학습 안저영상(2)에 반영된 국부적 특성인 적어도 하나의 혈관의 상태를 기초로 안저 나이(fundus age)를 예측하도록 구축될 수 있다. 여기서, 적어도 하나의 혈관의 상태란 안저영상에 표출된 혈관 각각의 분포 정보, 굵기 정보, 색상 정보, 안저 배경의 색상 및 명암 정보 등을 포함할 수 있다.
본원의 일 실시예에 따르면, 생체 계측치 예측 장치(100)는 생체 계측치 예측을 위한 학습 모델로써, 심층신경망(Deep Neural Network, DNN) 기반 학습 모델을 구축할 수 있다. 생체 계측치 예측 장치(100)는 이미지 처리를 위한 심층신경망 모델인 LeNet, AlexNet, GoogleNet, VGGNet, ResNet 등을 기반으로 한 학습 모델을 구축할 수 있으나, 이에만 한정되는 것은 아니다. 예시적으로, 본원에서 개시하는 학습 모델의 유형은 ResNet-18일 수 있다.
도 4는 본원의 일 실시예에 따른 심층신경망 기반 학습 모델을 설명하기 위한 개념도이다.
도 4를 참조하면, 본원의 일 실시예에 따른 심층신경망 기반 학습 모델은 다중 레이어로 된 네트워크를 의미하며, 입력 레이어(input layer), 컨볼루션 레이어(convolution layers), 완전연결 레이어(fully connected layers) 및 출력 레이어(output layer)로 구분될 수 있다.
이 때, 입력 레이어에서의 노드의 수는 입력되는 안저영상의 차원이고, 출력 레이어에서의 노드의 수는 예측하고자 하는 벡터의 차원일 수 있다. 즉, 본원에서 개시하는 생체 계측치 예측 장치(100)가 구축하는 학습 모델에 대한 입력 노드의 수는 안저영상의 픽셀 수에 해당하고, 출력 노드의 수는 예측값이 안축장 길이, 안저 나이 등의 스칼라 값이므로 한 개일 수 있다.
컨볼루션 레이어는 입력된 영상의 국부적 특성(국지적 영역의 특성)과 특정 패턴과의 상관관계(correlation)를 계산하는 층으로, 컨볼루션 레이어는 레이어의 수와 각 컨볼루션 레이어 마다의 필터 수로 특징 지어질 수 있다. 이렇듯 여러 층으로 이루어진 컨볼루션 레이어는 레이어의 수에 따라 추상화의 수준이 결정되고, 레이어의 수가 많아질수록(달리 말해, 층이 깊어질수록) 입력된 영상으로부터 세부적인 특징을 추출할 수 있게 된다. 본원의 구현예에 따라 국부적 특성을 추출하는 효율성과 정확성을 제고하기 위해 복수의 컨볼루션 레이어를 병렬로 계산하는 모듈 또는 파라미터의 수를 임의로 바꿀 수 있는 모듈 등이 추가로 구비될 수 있다. 다른 예로, 각 컨볼루션 레이어들 사이에서 필요한 값만 추출하는 Pooling, 비선형필터 등을 적용하여 이전 단계에서의 노이즈나 불필요한 정보의 영향을 줄일 수 있다.
이렇게 컨볼루션 레이어로부터 추출된 특징 벡터들을 기반으로 완전연결 레이어에서는 다수의 완전연결 레이어를 차례로 연결하여 최종적으로 예측값(결과값 또는 결과벡터)을 출력하는 노드에 연결하여 결과적으로 분류를 수행하거나 소정의 생체 계측치에 대한 예측값을 도출할 수 있다.
또한, 생체 계측치 예측 장치(100)는 예측 대상 안저영상(2)으로부터 도출된 생체 계측치(예를 들면, 안축장 길이, 안저 나이 등)의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 예측 대상 안저영상(2) 내에서 도출할 수 있다.
또한, 생체 계측치 예측 장치(100)는 도출된 근거 영역이 강조되도록 예측 대상 안저영상(2)을 출력(표시)할 수 있다. 예를 들어, 생체 계측치 예측 장치(100)는 도출된 근거 영역의 색상, 명암, 선명도 등이 예측 대상 안저영상(2)의 다른 영역과 대비되도록 하여 출력 결과를 육안으로 확인하는 대상자(의료진 등)이 근거 영역을 직관적으로 인식할 수 있도록 할 수 있다.
또한, 본원의 일 실시예에 따르면, 강조 표시되는 근거 영역은 각각의 위치(픽셀)에 대하여 계산된 영향도(기여도) 값이 클수록 근거 영역이 아닌 영역과 대비되는 색상, 명암, 선명도 등의 요소가 크게 변화되도록 출력(표시)될 수 있다.
도 5는 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역이 강조되도록 출력된 예측 대상 안저영상을 예시적으로 나타낸 도면이다.
본원의 일 실시예에 따르면, 생체 계측치 예측 장치(100)는 학습 모델의 입력 레이어 또는 복수의 컨볼루션 레이어 중 마지막 레이어에서 레이어 내의 각각의 노드에 대한 미분 연산을 적용하여 노드마다의 생체 계측치 예측값에 대한 영향도(기여도)를 산출할 수 있다.
특히, 도 5의 (a)는 입력된 예측 대상 안저영상(2)이고, 도 5의 (b)는 학습 모델의 입력 레이어에 대한 미분 적용을 통해 도출된 근거 영역을 강조되게 표시한 예측 대상 안저영상(2)이고, 도 5의 (c)는 학습 모델의 복수의 컨볼루션 레이어 중 마지막 컨볼루션 레이어에 대한 미분 적용을 통해 도출된 근거 영역을 강조되게 표시한 예측 대상 안저영상(2)을 예시적으로 나타낸 것이다. 또한, 본원의 구현예에 따라 예측 대상 안저영상(2)에 근거 영역이 강조되도록 표시한 도 5의 (c)는 Saliency map, CAM(Class activation map), Grad-CAM(gradient-class activation map) 등으로 지칭될 수 있다.
이하에서는, 식 1내지 식 4를 참조하여, 생체 계측치 예측 장치(100)가 예측 대상 안저영상(2)으로부터 근거 영역을 도출하는 실시예에 관하여 상세히 설명하도록 한다.
도 4를 통해 상술한 심층신경망 기반의 학습 모델은 역전파 알고리즘을 이용하여 각 레이어의 파라미터들을 학습시키도록 동작하며, 최종 학습된 학습 모델은 입력 레이어 또는 복수의 컨볼루션 레이어 중 마지막 레이어의 미분값에 의해 학습 모델이 생체 계측치에 대한 예측 결과로 최종 도출한 출력값(예를 들면, 안축장 길이 예측값, 안저 나이 예측값 등)의 근거를 시각적으로 획득할 수 있다.
구체적으로, 학습 모델이 n개의 완전연결 레이어와 m개의 컨볼루션 레이어로 이루어진 심층신경망인 경우, 학습 모델은 하기 식 1과 같이 특정 도메인에서의 함수로 정의될 수 있다.
[식 1]
또한, 특징 추출이 끝난 마지막 컨볼루션 레이어의 각 노드(픽셀)에 미세한 변화를 추어 출력 레이어의 출력값의 변화를 관찰하면, 어떤 노드(픽셀)들이 출력값 변화에 예민한지 알 수 있으며, 이를 통해 최종 예측값의 근거가 되는 부분인 근거 영역을 구할 수 있으며, 이를 식으로 표현하면 하기 식 2 내지 식 4와 같다.
[식 2]
또한, 출력값 Y에 대한 X'의 K개의 필터 중 특정 필터의 특정 노드 X'i, j의 미분값을 구할 수 있으며, 이를 가중치로 하여 해당하는 노드의 픽셀 값에 곱하면, 마지막 컨볼루션 레이어에서 어떤 노드가 출력값에 대하여 얼만큼의 영향도(기여도)를 갖는지 확인할 수 있다. 또한, 각 필터의 같은 위치에 위치하는 픽셀값과 미분값을 곱한 후 모두 더하면 각각의 노드(픽셀)마다의 기여도를 하기 식 3과 같이 수치적으로 산출할 수 있다.
[식 3]
또한, 입력 레이어를 활용한 근거 영역의 도출과 관련하여서는, 학습 모델의 층이 깊지 않아 컨볼루션 레이어의 마지막 층을 활용하는 경우, 미분 연산량 및 곱셈 연산량이 적은 경우 입력 레이어의 각각의 노드에 대한 미분값을 가중치로 하여 기여도를 산출하면, 하기 식 4와 같이 각각의 위치의 더욱 정확한 기여도를 산출할 수 있다.
[식 4]
이렇듯, 본원에서 개시하는 생체 계측치 예측 장치(100)는 생체 계측치 예측에 중요한 영향을 미친 근거 영역을 도출하고 이를 강조되게 표시하여 제공함으로써, 예측된 생체 계측치(안축장 길이, 안저 나이 등)에 대한 신뢰성을 확보할 수 있으며, 이를 육안으로 확인하는 의료진의 정확한 판단을 보조할 수 있는 효과가 있다.
도 6은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치의 개략적인 구성도이다.
도 6을 참조하면, 생체 계측치 예측 장치(100)는, 학습부(110), 추론부(120) 및 시각화부(130)를 포함할 수 있다.
학습부(110)는, 복수의 학습 안저영상(1)을 준비할 수 있다. 또한, 학습부(110)는 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 학습부(110)는, 준비된 복수의 학습 안저영상(1)에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성할 수 있다. 또한, 학습부(110)는 적어도 하나의 국부적 특성 및 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 기초로 생체 계측치를 예측하는 학습 모델을 생성할 수 있다. 달리 말해, 학습부(110)는 필요에 따라 복수의 학습 안저영상(1)의 피촬영자의 연령 정보를 더 고려하여 학습 모델 구축을 위한 학습을 수행할 수 있다.
여기서, 생체 계측치는 안축장 길이 및 안저 나이를 포함할 수 있다. 또한, 적어도 하나의 국부적 특성은 맥락막 혈관, 시신경 유두의 형상 및 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함할 수 있다.
추론부(120)는, 예측 대상 안저영상(2)을 수신할 수 있다. 또한, 추론부(120)는 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 추론부(120)는 학습부(110)에 의해 생성된 학습 모델을 이용하여 예측 대상 안저영상(2)의 피촬영자의 생체 계측치를 도출할 수 있다. 또한, 추론부(120)는 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 고려하여 안축장 길이를 도출할 수 있다.
시각화부(130)는, 예측 대상 안저영상(2)에서 생체 계측치의 예측에 미친 영향도(기여도)가 소정 수준 이상인 근거 영역을 도출할 수 있다. 또한, 시각화부(130)는 도출된 근거 영역이 강조되도록 예측 대상 안저영상을 출력할 수 있다.
본원의 일 실시예에 따르면, 시각화부(130)는 도출된 근거 영역을 나타내는 화상(예를 들면, 도 5의 (c)를 통해 이해될 수 있는 Saliency map, CAM(Class activation map), Grad-CAM(gradient-class activation map 등)을 원본 예측 대상 안저영상(2)이 구분되도록 함께 표시(예를 들면, 수평 또는 수직으로 나란하게 배치하여 표시)하거나 원본 예측 대상 안저영상(2)에 근거 영역을 나타내는 화상을 오버래이하여 표시할 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 시각화부(130)는 원본 예측 대상 안저영상(2)을 그대로 표시하는 모드와 근거 영역이 강조 표시되도록 출력되는 모드를 가변적으로 제공하되, 생체 계측치 예측 장치(100)에 인가된 사용자 입력에 따라 각각의 모드를 전환하도록 동작할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법에 대한 동작 흐름도이다.
도 7에 도시된 안저영상을 기초로 생체 계측치를 예측하는 방법은 앞서 설명된 생체 계측치 예측 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 생체 계측치 예측 장치(100)에 대하여 설명된 내용은 안저영상을 기초로 생체 계측치를 예측하는 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S11에서 학습부(110)는, 복수의 학습 안저영상(1)을 준비할 수 있다.
또한, 단계 S11에서 학습부(110)는, 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 획득할 수 있다.
다음으로, 단계 S12에서 학습부(110)는, 준비된 복수의 학습 안저영상(1)에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
또한, 단계 S12에서 학습부(110)는, 적어도 하나의 국부적 특성 및 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 기초로 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
다음으로, 단계 S13에서 추론부(120)는, 예측 대상 안저영상(2)을 수신할 수 있다.
또한, 단계 S13에서 추론부(120)는, 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 획득할 수 있다.
다음으로, 단계 S14에서 추론부(120)는, 단계 S12에서 생성된 학습 모델을 이용하여 예측 대상 안저영상(2)의 피촬영자의 생체 계측치를 도출할 수 있다.
또한, 단계 S14에서 추론부(120)는, 단계 S11에서 획득된 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 고려하여 생체 계측치인 안축장 길이를 도출할 수 있다.
다음으로, 단계 S15에서 시각화부(130)는, 예측 대상 안저영상(2)에서 생체 계측치의 예측에 미친 영향도(기여도)가 소정 수준 이상인 근거 영역을 도출할 수 있다.
다음으로, 단계 S16에서 시각화부(130)는, 단계 S15에서 도출된 근거 영역이 강조되도록 예측 대상 안저영상(2)을 출력할 수 있다.
상술한 설명에서, 단계 S11 내지 S16은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 안저영상을 기초로 생체 계측치를 예측하는 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
Claims (14)
- 안저영상을 기초로 생체 계측치를 예측하는 방법에 있어서,복수의 학습 안저영상을 준비하는 단계;상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 단계;예측 대상 안저영상을 수신하는 단계; 및상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 단계,를 포함하는, 생체 계측치 예측 방법.
- 제1항에 있어서,상기 생체 계측치는 안축장 길이를 포함하고,상기 적어도 하나의 국부적 특성은 맥락막 혈관 및 시신경 유두의 형상을 포함하는 것인, 생체 계측치 예측 방법.
- 제2항에 있어서,상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하는 단계,를 더 포함하는 것인, 생체 계측치 예측 방법.
- 제3항에 있어서,상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 단계,를 더 포함하는 것인, 생체 계측치 예측 방법.
- 제2항에 있어서,상기 학습 안저영상을 준비하는 단계는,상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 획득하는 단계를 포함하고,상기 학습 모델을 생성하는 단계는,상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성하는 것인, 생체 계측치 예측 방법.
- 제5항에 있어서,상기 예측 대상 안저영상을 수신하는 단계는,상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득하는 단계를 포함하고,상기 생체 계측치를 도출하는 단계는,상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출하는 것인, 생체 계측치 예측 방법.
- 제1항에 있어서,상기 생체 계측치는 안저 나이를 포함하고,상기 적어도 하나의 국부적 특성은 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함하는 것인, 생체 계측치 예측 방법.
- 안저영상을 기초로 생체 계측치를 예측하는 장치에 있어서,복수의 학습 안저영상을 준비하고, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 학습부; 및예측 대상 안저영상을 수신하고, 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 추론부,를 포함하는, 생체 계측치 예측 장치.
- 제8항에 있어서,상기 생체 계측치는 안축장 길이를 포함하고,상기 적어도 하나의 국부적 특성은 맥락막 혈관 및 시신경 유두의 형상을 포함하는 것인, 생체 계측치 예측 장치.
- 제9항에 있어서,상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하고, 상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 시각화부,를 더 포함하는 것인, 생체 계측치 예측 장치.
- 제9항에 있어서,상기 학습부는,상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 획득하고, 상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성하는 것인, 생체 계측치 예측 장치.
- 제11항에 있어서,상기 추론부는,상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득하고, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출하는 것인, 생체 계측치 예측 장치.
- 제8항에 있어서,상기 생체 계측치는 안저 나이를 포함하고,상기 적어도 하나의 국부적 특성은 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함하는 것인, 생체 계측치 예측 장치.
- 제1항 내지 제7항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2021/010766 WO2023017875A1 (ko) | 2021-08-12 | 2021-08-12 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
US17/903,787 US20230047199A1 (en) | 2021-08-12 | 2022-09-06 | Apparatus and method for predicting biometrics based on fundus image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2021/010766 WO2023017875A1 (ko) | 2021-08-12 | 2021-08-12 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/903,787 Continuation US20230047199A1 (en) | 2021-08-12 | 2022-09-06 | Apparatus and method for predicting biometrics based on fundus image |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023017875A1 true WO2023017875A1 (ko) | 2023-02-16 |
Family
ID=85178102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2021/010766 WO2023017875A1 (ko) | 2021-08-12 | 2021-08-12 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230047199A1 (ko) |
WO (1) | WO2023017875A1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11532147B2 (en) * | 2020-09-25 | 2022-12-20 | Microsoft Technology Licensing, Llc | Diagnostic tool for deep learning similarity models |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170112372A1 (en) * | 2015-10-23 | 2017-04-27 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
JP2019005319A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社トプコン | 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体 |
KR20190089471A (ko) * | 2018-01-23 | 2019-07-31 | 홍석우 | 안축장 산출을 위한 시신경 유두의 형태학적 변화 추출 시스템 및 방법 |
CN110415245A (zh) * | 2019-08-05 | 2019-11-05 | 上海鹰瞳医疗科技有限公司 | 眼部数据确定方法、模型训练方法及设备 |
KR20200005407A (ko) * | 2018-07-06 | 2020-01-15 | 주식회사 메디웨일 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
KR20210150065A (ko) * | 2020-06-03 | 2021-12-10 | 고려대학교 산학협력단 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
-
2021
- 2021-08-12 WO PCT/KR2021/010766 patent/WO2023017875A1/ko unknown
-
2022
- 2022-09-06 US US17/903,787 patent/US20230047199A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170112372A1 (en) * | 2015-10-23 | 2017-04-27 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
JP2019005319A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社トプコン | 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体 |
KR20190089471A (ko) * | 2018-01-23 | 2019-07-31 | 홍석우 | 안축장 산출을 위한 시신경 유두의 형태학적 변화 추출 시스템 및 방법 |
KR20200005407A (ko) * | 2018-07-06 | 2020-01-15 | 주식회사 메디웨일 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
CN110415245A (zh) * | 2019-08-05 | 2019-11-05 | 上海鹰瞳医疗科技有限公司 | 眼部数据确定方法、模型训练方法及设备 |
KR20210150065A (ko) * | 2020-06-03 | 2021-12-10 | 고려대학교 산학협력단 | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20230047199A1 (en) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiwani et al. | A convolutional neural network approach for diabetic retinopathy classification | |
Pao et al. | Detection of diabetic retinopathy using bichannel convolutional neural network | |
KR102198395B1 (ko) | 녹내장 조기진단과 의심영역 표시 방법 및 이를 위한 시스템 | |
Xiong et al. | Multimodal machine learning using visual fields and peripapillary circular OCT scans in detection of glaucomatous optic neuropathy | |
KR102354980B1 (ko) | 전안부 질환 진단 시스템 및 이를 이용한 진단 방법 | |
CN111481166A (zh) | 基于眼底筛查的自动识别*** | |
Elsawy et al. | Multidisease deep learning neural network for the diagnosis of corneal diseases | |
JP7270686B2 (ja) | 画像処理システムおよび画像処理方法 | |
CN109998477A (zh) | 一种高度近视白内障手术预后智能预判*** | |
WO2023017875A1 (ko) | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 | |
CN111179258A (zh) | 一种识别视网膜出血图像的人工智能方法及*** | |
Bakır et al. | Using transfer learning technique as a feature extraction phase for diagnosis of cataract disease in the eye | |
Saranya et al. | Detection of diabetic retinopathy in retinal fundus images using densenet based deep learning model | |
CN114445666A (zh) | 基于深度学习眼底图像左右眼及视野位置分类方法及*** | |
KR102482680B1 (ko) | 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 | |
US20220036552A1 (en) | Eye care device and method for assessing and predicting dementia | |
US20230360204A1 (en) | Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same | |
KR20240002668A (ko) | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 | |
Trivino et al. | Deep learning on retina images as screening tool for diagnostic decision support | |
KR102418399B1 (ko) | 인공지능 기반 치매 조기 진단 플랫폼 | |
Jolly et al. | Eye Disease Detection using MobiNet | |
Paul et al. | Fundus Imaging Based Affordable Eye Care. | |
CN110974151A (zh) | 一种识别视网膜脱离的人工智能***和方法 | |
Sabina et al. | Convolutional Neural Network Analysis of Fundus for Glaucoma Diagnosis | |
CN111340778A (zh) | 一种青光眼图像处理方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21953522 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |