KR20230111318A - 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 - Google Patents
인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230111318A KR20230111318A KR1020220006991A KR20220006991A KR20230111318A KR 20230111318 A KR20230111318 A KR 20230111318A KR 1020220006991 A KR1020220006991 A KR 1020220006991A KR 20220006991 A KR20220006991 A KR 20220006991A KR 20230111318 A KR20230111318 A KR 20230111318A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- disease
- finger
- data set
- artificial intelligence
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 118
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 118
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 230000033001 locomotion Effects 0.000 title abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 230000005057 finger movement Effects 0.000 claims abstract description 15
- 210000001145 finger joint Anatomy 0.000 claims description 25
- 210000001503 joint Anatomy 0.000 claims description 20
- 238000013075 data extraction Methods 0.000 claims description 11
- 230000008685 targeting Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 14
- 210000003811 finger Anatomy 0.000 description 94
- 210000000988 bone and bone Anatomy 0.000 description 43
- 210000003813 thumb Anatomy 0.000 description 17
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 208000018737 Parkinson disease Diseases 0.000 description 9
- 208000024891 symptom Diseases 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000004932 little finger Anatomy 0.000 description 8
- 210000004247 hand Anatomy 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 6
- 206010044565 Tremor Diseases 0.000 description 5
- 230000004770 neurodegeneration Effects 0.000 description 5
- 208000015122 neurodegenerative disease Diseases 0.000 description 5
- 241000238421 Arthropoda Species 0.000 description 4
- 208000012902 Nervous system disease Diseases 0.000 description 4
- 208000025966 Neurological disease Diseases 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 231100000862 numbness Toxicity 0.000 description 4
- 206010000372 Accident at work Diseases 0.000 description 3
- 206010010356 Congenital anomaly Diseases 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 208000021856 Constriction rings syndrome Diseases 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 2
- 208000029578 Muscle disease Diseases 0.000 description 2
- 238000002266 amputation Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 208000002065 congenital amputation Diseases 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000005224 forefinger Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000000453 second toe Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000002435 tendon Anatomy 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 208000034819 Mobility Limitation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Neurology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Developmental Disabilities (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Fuzzy Systems (AREA)
Abstract
본 발명은 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법에 관한 것으로, 보다 구체적으로, 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋을 획득하는 데이터 셋 획득부, 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출하는 특징 추출부, 질병별 상기 특징을 학습함으로써 질병예측모델을 생성하는 모델 생성부, 질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터를 획득하는 영상 데이터 획득부 및 상기 특징 추출부로부터 추출된 상기 영상 데이터에 대한 특징을 상기 질병예측모델에 입력함으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과를 출력하는 예측결과 출력부를 포함하는 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법에 관한 것이다.
Description
본 발명은 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법에 관한 것으로, 보다 구체적으로 데이터 셋을 이용하게 인공지능 모델을 학습하고, 피검사자의 수부가 촬영된 영상으로부터 특징을 추출한 후 학습된 인공지능 모델에 입력함으로써 질병의 여부 및 종류를 예측하는 인공지능 기술기반 수부 동작 분석 시스템 및 방법에 관한 것이다.
신경퇴행성 질환은 신경 세포들이 어떤 원인에 의해 소멸함에 따라, 뇌 기능의 이상을 일으키는 질병을 지칭한다. 대표적인 신경퇴행성 질환으로는 흔히 알츠하이머병, 파킨슨병, 루게릭병 등을 예로들 수 있다. 신경퇴행성 질환 중에서 파킨슨병은 신경세포가 파괴되는 대표적인 신경퇴행성 질환으로 몸이 굳어가고 손과 발이 떨리며 잘 걷지 못하는 증상과 함께 우울, 불안감이 함께 동반되어 삶의 질을 크게 떨어뜨린다. 이러한 신경퇴행성 질환을 진단하는 방법으로는 점막과의 접촉, 피부 파괴, 천연 또는 인공 체구 이외에 내부 체강 없이 진단하는 비침습적 방법이 있다.
이와 관련하여, 관련문헌 1은 파킨슨병의 진단장치에 관한 것으로, 파킨슨병의 유무를 진단 받고자 하는 환자에 의해 발화된 문장을 진단예측모델을 통해서 분석함으로써 파킨슨병을 진단 및 예측할 수 있다. 또한, 관련문헌 2는 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법에 관한 것으로, 뇌의 축상면을 단층으로 촬영한 PET영상으로 구한 축상면 영상으로부터 시상면 및 관상면을 자동 생성한 후 치매여부 및 경과를 진단할 수 있다.
다만, 이러한 비침습적 방법은 동위 원소를 이용한 양전자 방출 단층촬영(PET)과 같은 매우 고가의 촬영을 진행해야하고, 피검사자의 방사능 노출의 위험이 있다. 따라서 검사방법이 간단하고 피검사자를 보호함과 동시에 정확하게 질병을 진단 및 예측할 수 있는 기술이 필요한 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 피검사자가 검사실이외의 공간으로 이동 없이 검사를 진행하고 종래 보다 객관적이고 일관성 및 정확성이 향상된 진단 및 예측결과를 제공할 수 있도록 데이터 셋을 이용하게 인공지능 모델을 학습하고, 피검사자의 수부가 촬영된 영상으로부터 특징을 추출한 후 학습된 인공지능 모델에 입력함으로써 질병의 여부 및 종류를 예측하는 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법을 얻고자 하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
상기 목적을 달성하기 위하여, 본 발명의 인공지능 기술기반 수부 학습 시스템은 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋을 획득하는 데이터 셋 획득부; 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출하는 특징 추출부; 및 질병별 상기 특징을 학습함으로써 질병예측모델을 생성하는 모델 생성부;를 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 인공지능 기술기반 수부 학습 방법은 데이터 셋 획득부에 의하여, 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋이 획득되는 데이터 셋 획득단계; 특징 추출부에 의하여, 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징이 추출되는 데이터 셋 특징 추출단계; 및 모델 생성부에 의하여, 질병별 상기 특징이 학습됨으로써 질병예측모델이 생성되는 모델 생성단계;를 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 인공지능 모델을 이용한 질병 예측 시스템은 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋을 획득하는 데이터 셋 획득부; 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출하는 특징 추출부; 질병별 상기 특징을 학습함으로써 질병예측모델을 생성하는 모델 생성부; 질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터를 획득하는 영상 데이터 획득부; 및 상기 특징 추출부로부터 추출된 상기 영상 데이터에 대한 특징을 상기 질병예측모델에 입력함으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과를 출력하는 예측결과 출력부;를 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 인공지능 모델을 이용한 질병 예측 방법은 데이터 셋 획득부에 의하여, 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋이 획득되는 데이터 셋 획득단계; 특징 추출부에 의하여, 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징이 추출되는 데이터 셋 특징 추출단계;모델 생성부에 의하여, 질병별 상기 특징이 학습됨으로써, 질병예측모델이 생성되는 모델 생성단계; 영상 데이터 획득부에 의하여, 질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터가 획득되는 영상 데이터 획득단계; 상기 특징 추출부에 의하여, 상기 영상 데이터 획득단계로부터 획득된 상기 영상 데이터에 대한 특징이 추출되는 영상 데이터 특징 추출단계; 및 예측결과 출력부에 의하여, 상기 영상 데이터에 대한 특징을 상기 질병예측모델에 입력함으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과가 출력되는 예측결과 출력단계;를 제공한다.
이상과 같이 본 발명에 의하면 데이터 셋을 이용하게 인공지능 모델을 학습하고, 피검사자의 수부가 촬영된 영상으로부터 특징을 추출한 후 학습된 인공지능 모델에 입력함으로써 질병의 여부 및 종류를 예측함으로써, 피검사자가 검사실이외의 공간으로 이동 없이 검사를 진행하고 종래 보다 객관적이고 일관성 및 정확성이 향상된 진단 및 예측결과를 제공할 수 있다.
또한, 본 발명은 고가의 촬영 장비를 이용한 검사가 요구되지 않으므로 피검사자가 검사기간마다 의료기관에 방문하여 비용부담 없이 검사를 받을 수 있는 효과가 있다.
또한, 본 발명은 클라우드 서버와 연동된 사용자 단말을 통해서 타 의료기관의 의료진 및 피검사자가 용이하게 예측결과를 확인할 수 있도록 함으로써, 부득이한 사정으로 타 의료기관에서 진료를 받아야하는 경우에 추가적인 검사를 받지 않아도 되고 의료기관에 방문하지 않아도 피검사자는 사용자 단말을 통해서 본인의 기간별 예측결과를 언제 어디서든지 확인할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 상세한 설명 및 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 인공지능 기술기반 수부 동작 학습 시스템 그리고 인공지능 모델을 이용한 질병 예측 시스템 구성도이다.
도 2는 본 발명의 일실시예에 따라 피검사자의 수부 움직임을 촬영한 영상 데이터를 표시한 도면이다.
도 3은 본 발명의 일실시예에 따라 영상 데이터로부터 손가락 움직임별로 추출된 특징을 표시한 도면이다.
도 4는 본 발명의 일실시예에 따라 다섯손가락에 대한 시계열 데이터를 각각 표시한 도면이다.
도 5는 본 발명의 일실시예에 따라 지관절을 구분하는 기준을 표시한 도면이다.
도 6은 본 발명의 인공지능 기술기반 수부 동작 학습 방법 흐름도이다.
도 7은 본 발명의 인공지능 모델을 이용한 질병 예측 방법 흐름도이다.
도 2는 본 발명의 일실시예에 따라 피검사자의 수부 움직임을 촬영한 영상 데이터를 표시한 도면이다.
도 3은 본 발명의 일실시예에 따라 영상 데이터로부터 손가락 움직임별로 추출된 특징을 표시한 도면이다.
도 4는 본 발명의 일실시예에 따라 다섯손가락에 대한 시계열 데이터를 각각 표시한 도면이다.
도 5는 본 발명의 일실시예에 따라 지관절을 구분하는 기준을 표시한 도면이다.
도 6은 본 발명의 인공지능 기술기반 수부 동작 학습 방법 흐름도이다.
도 7은 본 발명의 인공지능 모델을 이용한 질병 예측 방법 흐름도이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
인공지능 기술기반 수부 동작 학습 시스템 그리고 인공지능 모델을 이용한 질병 예측 시스템
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 인공지능 기술기반 수부 동작 학습 시스템 그리고 인공지능 모델을 이용한 질병 예측 시스템 구성도이다. 도 2는 본 발명의 일실시예에 따라 피검사자의 수부 움직임을 촬영한 영상 데이터를 표시한 도면이다. 도 3은 본 발명의 일실시예에 따라 영상 데이터로부터 손가락 움직임별로 추출된 특징을 표시한 도면이다. 도 4는 본 발명의 일실시예에 따라 다섯손가락에 대한 시계열 데이터를 각각 표시한 도면이다. 도 5는 본 발명의 일실시예에 따라 지관절을 구분하는 기준을 표시한 도면이다.
우선 도 1을 보면, 본 발명의 인공지능 기술기반 수부 동작 학습 시스템 그리고 인공지능 모델을 이용한 질병 예측 시스템은 해당 시스템을 구현하는 서버(100), 인터넷 네트워크상에서 상기 서버(100)에 접근이 가능하고, 상기 서버(100)로부터 전송받은 예측결과를 표시하는 모니터링부(200)와 사용자 단말(400)을 포함할 수 있다. 가장 바람직하게, 상기 서버(100)는 클라우드 기술기반 형성됨으로, 상기 모니터링부(200) 및 사용자 단말(400)이 인터넷 네트워크에 접속하기만 하면 언제, 어디서든지 상기 서버(100)가 제공하는 데이터를 다운로드 방식 또는 미리보기 방식을 통해서 확인할 수 있다.
다음으로, 본 발명의 인공지능 기술기반 수부 학습 시스템 내 상기 서버(100)는 데이터 셋 획득부(110), 특징 추출부(120) 및 모델 생성부(130)를 포함한다. 보다 구체적으로, 상기 데이터 셋 획득부(110)는 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋을 획득한다.
상기 데이터 셋은 질병예측모델을 생성하기 위해서 불특정 다수의 피검사자를 대상으로 수부를 포함하여 촬영된 영상 데이터의 집합이다. 즉, 가장 바람직하게 상기 영상 데이터는 사용자의 전신, 상반신 등 다양하게 촬영될 수 있으나, 임의의 피검사자의 손가락, 손바닥 또는 손등, 손목은 반드시 촬영되어야한다. 또한, 상기 데이터 셋 내 다수 개의 영상 데이터는 다수 개의 프레임을 갖는 동영상 형식인 것이 가장 바람직하다. 이는, 상기 특징 추출부(120)가 시간의 흐름에 따른 수부의 움직임 변화로부터 특징을 추출하게 됨으로, 하나의 프레임만을 갖는 이미지 형식은 바람직하지 않다.
예컨대, 도 2를 보면 검사실 내에서 한 피검사자가 의자에 앉아 손을 뻗은 상태에서 손을 가이드에 맞게 움직인다. 도 2의 (a)는 양손을 뻗은 상태이고, 도 2의 (b)는 엄지와 검지를 맞닿게 움직이는 상태이고, 도 2의 (c)는 손을 주먹을 쥔 것처럼 오므리는 상태이고, 도 2의 (d)는 손바닥을 아랫방향에서 윗방향으로 회전시키는 상태이다. 이 밖에도 가이드에 맞게 피검사자의 수부 움직임이 촬영된 다양한 영상 데이터가 데이터 셋으로 획득될 수 있다.
다음으로, 상기 특징 추출부(120)는 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출한다.
상기 특징 추출부(120)는 특징을 추출하기 위해서 스켈레톤 영상 획득부(121) 및 시계열 데이터 추출부(122)를 더 포함할 수 있다. 우선, 상기 스켈레톤 영상 획득부(121)는 상기 다수 개의 영상 데이터 각각에서 지관절과 상기 지관절을 연결하는 뼈대를 3차원으로 인식한 스켈레톤 영상을 획득할 수 있다.
일반적으로, 도 5를 보면 수부는 손목부터 손바닥, 손가락을 포함하고, 엄지손가락을 제외한 나머지 네 손가락은 중수지관절, 제1 지관절 및 제2 지관절로 구성되어 있고, 엄지손가락은 중수지관절과 지관절로 구성되어 있다. 즉, 상기 스켈레톤 영상 획득부(121)는 손목과 손바닥이 연결된 한 지점을 중심점으로 하고, 엄지손가락의 경우 상기 중심점부터 중수지관절까지 제1 엄지뼈대, 중수지관절, 중수지관절부터 지관절까지 제2 엄지뼈대, 지관절, 지관절부터 말단까지 제3 엄지뼈대로 인식할 수 있다. 그리고 상기 스켈레톤 영상 획득부(121)는 엄지손가락 외 나머지 손가락의 경우 상기 중심점부터 중수지관절까지 제1 검지뼈대, 제1 중지뼈대, 제1 약지뼈대, 제1 새끼뼈대, 각 손가락의 중수지관절, 중수지관절부터 제1 지관절까지 제2 검지뼈대, 제2 중지뼈대, 제2 약지뼈대, 제2 새끼뼈대, 각 손가락의 제1 지관절, 제1 지관절부터 제2 지관절까지 제3 검지뼈대, 제3 중지뼈대, 제3 약지뼈대, 제3 새끼뼈대, 각 손가락의 제2 지관절, 제2 지관절부터 말단까지 제4 검지뼈대, 제4 중지뼈대, 제4 약지뼈대, 제4 새끼뼈대로 구분하여 인식할 수 있다. 따라서 도 3의 (a) 내지 (d)와 같이 상기 데이터 셋 내 다수 개의 영상 데이터와 동기화되어 움직임이 동일한 스켈레톤 영상을 획득할 수 있다.
한편, 상기 스켈레톤 영상 획득부(121)는 산업재해 등 후천적 원인으로 절지된 피검사자 또는 선천적으로 절지된 피검사자와 정상 피검사자를 구분할 수 있다.
만약, 질병이 없고 약지손가락의 제2 지관절과 연결된 제3 약지뼈대가 없는 절지 피검사자와 질병이 없는 정상 피검사자를 구분하지 않고 상기 시계열 데이터 추출부(122)로부터 시계열 데이터가 추출된다면, 상기 시계열 데이터 추출부(122)는 절지 피검사자의 제2 지관절 부분과 정상 피검사자의 약지손가락 말단부분을 같은 부분으로 보고 특징을 추출할 수 있고, 상기 모델 생성부(130)는 잘못된 특징을 학습하여 부정확한 질병예측모델을 생성할 수 있다.
이러한 문제를 해결하기 위해서 상기 스켈레톤 영상 획득부(121)는 부정확하게 추출된 특징을 통해서 상기 질병예측모델의 학습에 오류가 발생하지 않도록 산업재해 등 후천적 원인으로 절지된 피검사자 또는 선천적으로 절지된 피검사자의 절지된 피검사자의 손가락에서 절지된 부분을 인식할 수 있다.
다음으로, 상기 시계열 데이터 추출부(122)는 상기 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화를 시계열 데이터로 추출할 수 있다. 상기 시계열 데이터 추출부(122)는 상기 스켈레톤 영상 획득부(121)로부터 각 지관절을 기준으로 분할된 임의의 지점의 움직임에 대한 시계열 데이터를 추출할 수 있다. 가장 바람직하게, 상기 시계열 데이터 추출부(122)는 피검사자가 갖는 모든 손가락에서 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 각 손가락에 대한 최말단 시계열 데이터를 추출할 수 있다. 그리고 상기 특징 추출부(120)는 상기 최말단 시계열 데이터를 이용하여 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출할 수 있다.
예컨대, 도 4를 보면, 다섯 손가락에 대학 각각의 시계열 데이터를 확인할 수 있다. 시계열 데이터에서 x축은 시간이고, y축은 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 획득한 위치정보이다. 여기서, 상기 시계열 데이터 추출부(122)가 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 하는 이유는 다음과 같다. 일반적으로 손가락은 신경, 혈관 및 힘줄이 상호 연결되어 있고, 사람의 신체의 중심으로부터 가장 멀리 위치한 곳이기 때문에 손가락 자체에 문제가 있거나 근육질환 및 신경질환을 가진 경우 가장 빨리 증상이 발현되는 곳이다. 이러한 손가락의 최말단지점은 더욱 그 증상이 빨리 발현되는 곳임으로, 이를 대상으로 특징을 추출하게 되면 보다 신속 정확한 수부질환 및 타 신경질환의 예측이 가능한 현저한 효과가 있다. 또한, 도 4의 각 손가락의 시계열 데이터에서 파란색과 주황색 그래프는 환자군과 정상군을 표시한 것이다, 환자군의 종류는 예측하고자 하는 질병의 종류에 따라 상이할 수 있고, 상기 정상군의 시계열 데이터가 레퍼런스(reference)가 될 수 있다.
다음으로, 상기 모델 생성부(130)는 질병별 상기 특징을 학습함으로써 질병예측모델을 생성한다. 상기 모델 생성부(130)는 상기 데이터 셋으로부터 추출된 상기 특징을 질병별로 기계학습모델 또는 딥러닝 모델에 학습시킬 수 있다. 상기 모델 생성부(130)는 일실시예로 장단기 기억 신경망(Long-Short term Memory; LSTM)을 기반으로 상기 시계열 데이터, 가장 바람직하게 상기 최말단 시계열 데이터로부터 추출된 상기 특징을 학습할 수 있다.
또한, 상기 모델 생성부(130)는 상기 데이터 셋으로부터 추출된 다수 개의 특징 중 일부를 이용하여 상기 질병예측모델의 학습정도를 검증할 수 있다. 그리고 기 설정된 예측정확도 이상이 될 때까지 반복적으로 학습할 수 있다. 즉, 학습된 상기 질병예측모델이 기 설정된 예측정확도 이상이면 학습을 종료하고 상기 질병예측모델을 최종적으로 생성할 수 있다.
다시 도 1을 보면, 본 발명의 인공지능 모델을 이용한 질병 예측 시스템은 상기 질병예측모델을 생성할 수 있도록 앞서 언급한 상기 데이터 셋 획득부(110), 특징 추출부(120) 및 모델 생성부(130)를 포함할 수 있다. 추가적으로, 본 발명의 인공지능 모델을 이용한 질병 예측 시스템은 검사실 내에서 피검사자의 영상 데이터를 획득한 후 상기 질병예측모델을 이용하여 곧바로 예측결과를 제공하기 위해서 영상 데이터 획득부(140) 및 예측결과 출력부(150)를 더 포함한다.
보다 구체적으로, 상기 영상 데이터 획득부(140)는 질병을 예측하고자 하는 피검사자의 수부를 촬영하고 영상 데이터를 획득한다. 상기 영상 데이터 획득부(140)는 피검사자가 가이드에 따라서 수부를 움직이면 카메라(200)를 통해서 실시간으로 영상 데이터를 획득하거나, 피검사자가 가이드에 따라서 수부를 움직이면 카메라(200)를 통해서 녹화한 후 생성된 영상 데이터를 획득할 수 있다. 한편, 상기 카메라(200)는 상기 디스플레이부(300) 및 사용자 단말(400)의 일측에 부착될거나 내장될 수 있고, 상기 디스플레이부(300) 및 사용자 단말(400)을 통해서 실시간 또는 녹화한 영상 데이터를 상기 서버(100)에 전송할 수 있다. 또는 디스플레이부(300) 및 사용자 단말(400)과 별도로 구비될 수 있고, 상기 카메라(200)는 상기 서버(100)와 인터넷 네트워크상에서 연결되어 실시간 또는 녹화한 영상 데이터를 상기 서버(100)에 전송할 수 있다.
즉, 상기 영상 데이터 획득부(140)로부터 획득된 피검사자의 영상 데이터는 예측하고자 하는 질병의 여부 및 종류가 라벨링(Labeling)되지 않은 데이터이다. 다만, 상기 영상 데이터 획득부(140)는 피검사자의 일부 손가락의 존재여부에 대한 서지정보를 상기 영상 데이터와 함께 획득할 수 있다.
그리고 상기 특징 추출부(120)는 상기 데이터 셋 내 다수 개의 영상 데이터에 대한 특징을 추출할 뿐만 아니라, 상기 영상 데이터 획득부(140)로부터 획득된 질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터에 대한 특징을 추출할 수 있다. 한편, 상기 특징 추출부(120) 내 상기 스켈레톤 영상 획득부(121)는 상기 영상 데이터 획득부(140)로부터 획득된 상기 영상 데이터에 대한 스켈레톤 영상을 획득할 수 있고, 상기 특징 추출부(120) 내 상기 시계열 데이터 추출부(122)는 상기 영상 데이터에 대한 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화를 시계열 데이터로 추출할 수 있다. 가장 바람직하게, 상기 시계열 데이터 추출부(122)는 질병을 예측하고자 하는 피검사자가 갖는 모든 손가락에서 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 각 손가락에 대한 최말단 시계열 데이터를 추출할 수 있다. 즉, 상기 데이터 셋 획득부(110)로부터 획득한 상기 데이터 셋 내 다수 개의 영상 데이터와 동일한 방식으로 특징을 추출할 수 있는 것이다.
다음으로, 상기 예측결과 출력부(150)는 상기 특징 추출부(120)로부터 추출된 상기 영상 데이터에 대한 특징을 상기 질병예측모델에 입력함으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과를 출력한다.
가장 바람직하게, 상기 예측결과 출력부(150)는 피검사자의 수부 재활경과, 파킨슨병의 여부와 진행정도 및 선천적 또는 후천적 원인으로 인한 장애여부와 진행정도 중 적어도 하나를 상기 예측결과로 출력할 수 있다. 상기 피검사자는 다섯 손가락 중 적어도 하나의 손가락이 다쳐서 치료 및 수술을 진행하고 손가락 운동을 통해서 정상의 상태로 회복하고자 하는 환자일 수 있고, 신경세포가 파괴되어 몸이 굳고 손이 저리고 떨리는 증상을 갖고 파킨슨병 여부를 확인하고자 하는 환자일 수 있다. 또는 그러한 증상을 가지고 있어 질병을 진단받고자 하는 환자일 수 있고, 선천적 후천적 영향으로 질병을 예측하고자 하는 환자일 수 있다. 즉, 상기 예측결과 출력부(150)는 질병의 여부 및 종류를 모르고 단순히 몸이 굳고 손이 저린 증상을 갖거나 수부 재활을 진행해오던 피검사자의 질병여부와 질병이 있다면 질병의 종류를 예측할 수 있다.
종래에는 피검사자가 가이드에 따라 수부를 움직이면 임상 의료진의 육안을 통해서 재활경과 및 질병여부를 판단하였으므로, 피검사자는 객관적인 진단결과를 얻을 수 없고 일관성이 떨어지는 진단결과를 얻어야하는 문제점이 있다. 그리고 종래에는 고가의 장비를 통해서 촬영된 영상을 통해서만 진단할 수 있으므로 피검사자가 검사실 및 진료실외 촬영실로 이동해야하는 번거로움이 있고, 빈번한 검사를 받기에 비용적 부담이 큰 문제점이 있다.
그러나 본 발명은 학습된 질환예측모델을 통해서 보다 객관적이고 일관성 및 정확성이 향상된 진단 및 예측결과를 제공할 수 있고, 예컨대, 수부 구부림 및 펴짐의 각도 및 속도, 수부의 미세한 떨림 등을 보다 정확히 파악할 수 있다, 그리고 검사실에서 피검사자가 가이드에 따라 수부를 움직이면 의료진과 피검사자가 곧바로 진단 및 예측결과를 확인할 수 있고 피검사자가 검사기간마다 의료기관에 방문하여 비용부담 없이 검사를 받을 수 있는 현저한 효과가 있다.
앞서 언급한 것과 같이 상기 디스플레이부(300)는 인터넷 네트워크상에서 상기 서버(100)와 통신 가능하도록 연결되어 검사실 내에서 피검사자와 의료진이 함께 시각적으로 상기 예측결과 출력부(150)로부터 출력된 예측결과를 확인할 수 있고, 의료진의 질병진단에 보조적인 역할이 가능하도록 하는 현저한 효과가 있다.
그리고 상기 사용자 단말(400)은 타 의료기관의 의료진 및 피검사자가 용이하게 상기 예측결과를 확인할 수 있도록 한다. 여기서 상기 사용자 단말(400)을 사용하는 사용자는 타 의료기관의 의료진, 피검사자 자신, 해당 의료기관의 의료진 등일 수 있다. 따라서 부득이한 사정으로 타 의료기관에서 진료를 받아야하는 경우에 추가적인 검사를 받지 않아도 되고, 의료기관에 방문하지 않아도 피검사자는 본인의 기간별 예측결과를 확인할 수 있는 현저한 효과가 있다.
인공지능 기술기반 수부 동작 학습 방법 그리고 인공지능 모델을 이용한 질병 예측 방법
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 6은 본 발명의 인공지능 기술기반 수부 동작 학습 방법 흐름도이다. 도 7은 본 발명의 인공지능 모델을 이용한 질병 예측 방법 흐름도이다.
우선, 도 6을 보면 본 발명의 인공지능 기술기반 수부 동작 학습 방법은 상기 서버(100) 내 각 구성에 의하여 구현될 수 있고, 데이터 셋 획득단계(S100), 데이터 셋 특징 추출단계(S200) 및 모델 생성단계(S300)를 포함한다. 보다 구체적으로, 상기 데이터 셋 획득단계(S100)는 데이터 셋 획득부(110)에 의하여, 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋이 획득된다.
상기 데이터 셋은 질병예측모델을 생성하기 위해서 불특정 다수의 피검사자를 대상으로 수부를 포함하여 촬영된 영상 데이터의 집합이다. 즉, 가장 바람직하게 상기 영상 데이터는 사용자의 전신, 상반신 등 다양하게 촬영될 수 있으나, 임의의 피검사자의 손가락, 손바닥 또는 손등, 손목은 반드시 촬영되어야한다. 또한, 상기 데이터 셋 내 다수 개의 영상 데이터는 다수 개의 프레임을 갖는 동영상 형식인 것이 가장 바람직하다. 이는, 상기 데이터 셋 특징 추출단계(S200)가 시간의 흐름에 따른 수부의 움직임 변화로부터 특징이 추출됨으로, 하나의 프레임만을 갖는 이미지 형식은 바람직하지 않다.
예컨대, 도 2를 보면 검사실 내에서 한 피검사자가 의자에 앉아 손을 뻗은 상태에서 손을 가이드에 맞게 움직인다. 도 2의 (a)는 양손을 뻗은 상태이고, 도 2의 (b)는 엄지와 검지를 맞닿게 움직이는 상태이고, 도 2의 (c)는 손을 주먹을 쥔 것처럼 오므리는 상태이고, 도 2의 (d)는 손바닥을 아랫방향에서 윗방향으로 회전시키는 상태이다. 이 밖에도 가이드에 맞게 피검사자의 수부 움직임이 촬영된 다양한 영상 데이터가 데이터 셋으로 획득될 수 있다.
다음으로, 상기 데이터 셋 특징 추출단계(S200)는 특징 추출부(120)에 의하여, 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징이 추출된다.
상기 데이터 셋 특징 추출단계(S200)는 특징이 추출되기 위해서 스켈레톤 영상 획득단계(S210) 및 시계열 데이터 추출단계(S220)를 더 포함할 수 있다. 우선, 상기 스켈레톤 영상 획득단계(S210)는 상기 스켈레톤 영상 획득부(121)에 의하여, 상기 다수 개의 영상 데이터 각각에서 지관절과 상기 지관절을 연결하는 뼈대를 3차원으로 인식한 스켈레톤 영상이 획득될 수 있다.
일반적으로, 도 5를 보면 수부는 손목부터 손바닥, 손가락을 포함하고, 엄지손가락을 제외한 나머지 네 손가락은 중수지관절, 제1 지관절 및 제2 지관절로 구성되어 있고, 엄지손가락은 중수지관절과 지관절로 구성되어 있다. 즉, 상기 스켈레톤 영상 획득단계(S210)는 손목과 손바닥이 연결된 한 지점을 중심점으로 하고, 엄지손가락의 경우 상기 중심점부터 중수지관절까지 제1 엄지뼈대, 중수지관절, 중수지관절부터 지관절까지 제2 엄지뼈대, 지관절, 지관절부터 말단까지 제3 엄지뼈대로 인식될 수 있다. 그리고 상기 스켈레톤 영상 획득단계(S210)는 엄지손가락 외 나머지 손가락의 경우 상기 중심점부터 중수지관절까지 제1 검지뼈대, 제1 중지뼈대, 제1 약지뼈대, 제1 새끼뼈대, 각 손가락의 중수지관절, 중수지관절부터 제1 지관절까지 제2 검지뼈대, 제2 중지뼈대, 제2 약지뼈대, 제2 새끼뼈대, 각 손가락의 제1 지관절, 제1 지관절부터 제2 지관절까지 제3 검지뼈대, 제3 중지뼈대, 제3 약지뼈대, 제3 새끼뼈대, 각 손가락의 제2 지관절, 제2 지관절부터 말단까지 제4 검지뼈대, 제4 중지뼈대, 제4 약지뼈대, 제4 새끼뼈대로 구분되어 인식될 수 있다. 따라서 도 3의 (a) 내지 (d)와 같이 상기 데이터 셋 내 다수 개의 영상 데이터와 동기화되어 움직임이 동일한 스켈레톤 영상이 획득될 수 있다.
한편, 상기 스켈레톤 영상 획득단계(S210)는 산업재해 등 후천적 원인으로 절지된 피검사자 또는 선천적으로 절지된 피검사자와 정상 피검사자가 구분될 수 있다.
만약, 질병이 없고 약지손가락의 제2 지관절과 연결된 제3 약지뼈대가 없는 절지 피검사자와 질병이 없는 정상 피검사자를 구분하지 않고 상기 시계열 데이터 추출단계(S220)로부터 시계열 데이터가 추출된다면, 상기 시계열 데이터 추출단계(S220)는 절지 피검사자의 제2 지관절 부분과 정상 피검사자의 약지손가락 말단부분을 같은 부분으로 보고 특징이 추출될 수 있고, 상기 모델 생성단계(S300)는 잘못된 특징이 학습되어 부정확한 질병예측모델이 생성될 수 있다.
이러한 문제를 해결하기 위해서 상기 스켈레톤 영상 획득단계(S210)는 부정확하게 추출된 특징을 통해서 상기 질병예측모델의 학습에 오류가 발생하지 않도록 산업재해 등 후천적 원인으로 절지된 피검사자 또는 선천적으로 절지된 피검사자의 절지된 피검사자의 손가락에서 절지된 부분이 인식될 수 있다.
다음으로, 상기 시계열 데이터 추출단계(S220)는 상기 시계열 데이터 추출부(122)에 의하여, 상기 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화가 시계열 데이터로 추출될 수 있다. 상기 시계열 데이터 추출단계(S220)는 상기 스켈레톤 영상 획득단계(S210)로부터 각 지관절을 기준으로 분할된 임의의 지점의 움직임에 대한 시계열 데이터가 추출될 수 있다. 가장 바람직하게, 상기 시계열 데이터 추출단계(S220)는 피검사자가 갖는 모든 손가락에서 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 각 손가락에 대한 최말단 시계열 데이터가 추출될 수 있다. 따라서 상기 특징 추출단계(S200)는 상기 최말단 시계열 데이터를 이용하여 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징이 추출될 수 있다.
예컨대, 도 4를 보면, 다섯 손가락에 대학 각각의 시계열 데이터를 확인할 수 있다. 시계열 데이터에서 x축은 시간이고, y축은 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 획득한 위치정보이다. 여기서, 상기 시계열 데이터 추출단계(S220)가 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 시계열 데이터가 추출되는 이유는 다음과 같다. 일반적으로 손가락은 신경, 혈관 및 힘줄이 상호 연결되어 있고, 사람의 신체의 중심으로부터 가장 멀리 위치한 곳이기 때문에 손가락 자체에 문제가 있거나 근육질환 및 신경질환을 가진 경우 가장 빨리 증상이 발현되는 곳이다. 이러한 손가락의 최말단지점은 더욱 그 증상이 빨리 발현되는 곳임으로, 이를 대상으로 특징을 추출하게 되면 보다 신속 정확한 수부질환 및 타 신경질환의 예측이 가능한 현저한 효과가 있다. 또한, 도 4의 각 손가락의 시계열 데이터에서 파란색과 주황색 그래프는 환자군과 정상군을 표시한 것이다, 환자군의 종류는 예측하고자 하는 질병의 종류에 따라 상이할 수 있고, 상기 정상군의 시계열 데이터가 레퍼런스(reference)가 될 수 있다.
다음으로, 상기 모델 생성단계(S300)는 모델 생성부(130)에 의하여, 질병별 상기 특징이 학습됨으로써 질병예측모델이 생성된다. 상기 모델 생성단계(S300)는 상기 데이터 셋으로부터 추출된 상기 특징이 질병별로 기계학습모델 또는 딥러닝 모델에 학습될 수 있다. 상기 모델 생성단계(S300)는 일실시예로 장단기 기억 신경망(Long-Short term Memory; LSTM)이 기반이 되어 상기 시계열 데이터, 가장 바람직하게 상기 최말단 시계열 데이터로부터 추출된 상기 특징이 학습될 수 있다.
한편, 상기 모델 생성단계(S300)는 상기 데이터 셋으로부터 추출된 다수 개의 특징 중 일부가 이용되어 상기 질병예측모델의 학습정도가 검증될 수 있다. 그리고 기 설정된 예측정확도 이상이 될 때까지 반복적으로 학습될 수 있다. 즉, 학습된 상기 질병예측모델이 기 설정된 예측정확도 이상이면 학습이 종료되고 상기 질병예측모델이 최종적으로 생성될 수 있다.
다음으로, 도 7을 보면, 본 발명의 인공지능 모델을 이용한 질병 예측 방법은 우선 상기 질병예측모델이 생성될 수 있도록 앞서 언급한 상기 데이터 셋 획득단계(S100), 데이터 셋 특징 추출단계(S200) 및 모델 생성단계(S300)를 포함할 수 있다. 추가적으로, 본 발명의 인공지능 모델을 이용한 질병 예측 방법은 검사실 내에서 피검사자의 영상 데이터가 획득된 후 상기 질병예측모델이 이용되어 곧바로 예측결과가 제공되기 위해서 영상 데이터 획득단계(S400), 영상 데이터 특징 추출단계(S500) 및 예측결과 출력단계(S600)를 더 포함한다.
보다 구체적으로, 상기 영상 데이터 획득단계(S400)는 영상 데이터 획득부(140)에 의하여, 질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터가 획득된다. 상기 영상 데이터 획득단계(S400)는 피검사자가 가이드에 따라서 수부를 움직이면 카메라(200)를 통해서 실시간으로 촬영된 영상 데이터가 획득되거나, 피검사자가 가이드에 따라서 수부를 움직이면 카메라(200)를 통해서 과거에 녹화된 후 생성된 영상 데이터가 획득될 수 있다.
이때, 영상 데이터 획득단계(S400)로부터 획득된 피검사자의 영상 데이터는 라벨링(Labeling)되지 않은 데이터이다. 다만, 상기 영상 데이터 획득단계(S400)는 피검사자의 일부 손가락의 존재여부에 대한 서지정보가 상기 영상 데이터와 함께 획득될 수 있다.
다음으로, 상기 영상 데이터 특징 추출단계(S500)는 상기 특징 추출부(120)에 의하여, 상기 영상 데이터 획득단계(S400)로부터 획득된 영상 데이터에 대한 특징이 추출된다. 즉, 상기 질병예측모델에 입력되기 위해서 상기 영상 데이터 획득단계(S400)로부터 획득된 질병을 예측하고자 하는 피검사자의 영상 데이터에 대한 특징이 추출될 수 있다.
한편, 특징이 추출되는데 있어서 상기 영상 데이터 특징 추출단계(S500)는 상기 특징 추출부(120) 내 상기 스켈레톤 영상 획득부(121)에 의하여, 상기 영상 데이터 획득단계(S400)로부터 획득된 영상 데이터에 대한 스켈레톤 영상이 획득될 수 있다. 그리고 상기 영상 데이터 특징 추출단계(S500)는 상기 특징 추출부(120) 내 상기 시계열 데이터 추출부(122)에 의하여, 상기 영상 데이터에 대한 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화가 시계열 데이터로 추출될 수 있다.
가장 바람직하게, 상기 영상 데이터 특징 추출단계(S500)는 상기 시계열 데이터가 추출됨에 있어서, 질병을 예측하고자 하는 피검사자가 갖는 모든 손가락에서 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 각 손가락에 대한 최말단 시계열 데이터가 추출될 수 있다. 이는, 상기 데이터 셋 획득단계(S100)로부터 획득한 상기 데이터 셋 내 다수 개의 영상 데이터와 동일한 방식으로 특징이 추출될 수 있는 것이다.
다음으로, 상기 예측결과 출력단계(S600)는 예측결과 출력부(150)에 의하여, 상기 영상 데이터에 대한 특징이 상기 질병예측모델에 입력됨으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과가 출력된다.
이때, 상기 예측결과 출력단계(S600)는 피검사자의 수부 재활경과, 파킨슨병의 여부와 진행정도 및 선천적 또는 후천적 원인으로 인한 장애여부와 진행정도 중 적어도 하나를 상기 예측결과로 출력될 수 있다. 상기 피검사자는 다섯 손가락 중 적어도 하나의 손가락이 다쳐서 치료 및 수술을 진행하고 손가락 운동을 통해서 정상의 상태로 회복하고자 하는 환자일 수 있고, 신경세포가 파괴되어 몸이 굳고 손이 저리고 떨리는 증상을 갖고 파킨슨병 여부를 확인하고자 하는 환자일 수 있다. 즉, 상기 예측결과 출력단계(S600)는 질병의 여부 및 종류를 모르고 단순히 몸이 굳고 손이 저린 증상을 갖거나 수부 재활을 진행해오던 피검사자의 질병여부와 질병이 있다면 질병의 종류가 예측될 수 있다.
종래에는 피검사자가 가이드에 따라 수부를 움직이면 임상 의료진의 육안을 통해서 재활경과 및 질병여부를 판단하였으므로, 피검사자는 객관적인 진단결과를 얻을 수 없고 일관성이 떨어지는 진단결과를 얻어야하는 문제점이 있다. 그리고 종래에는 고가의 장비를 통해서 촬영된 영상을 통해서만 진단할 수 있으므로 피검사자가 검사실 및 진료실외 촬영실로 이동해야하는 번거로움이 있고, 빈번한 검사를 받기에 비용적 부담이 큰 문제점이 있다.
그러나 본 발명에 의하면 학습된 질환예측모델을 통해서 보다 객관적이고 일관성 및 정확성이 향상된 진단 및 예측결과가 제공될 수 있고, 예컨대 수부 구부림 및 펴짐의 각도 및 속도, 수부의 미세한 떨림 등을 보다 정확히 파악할 수 있다. 그리고 검사실에서 피검사자가 가이드에 따라 수부를 움직이면 의료진과 피검사자가 곧바로 진단 및 예측결과를 확인할 수 있고 피검사자가 검사기간마다 의료기관에 방문하여 비용부담 없이 검사를 받을 수 있는 현저한 효과가 있다.
실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현되는 경우, 필요한 작업을 수행하는 프로그램 코드 또는 코드 세그먼트들은 컴퓨터 판독 가능 저장 매체에 저장되고 하나 이상의 프로세서에 의해 실행될 수 있다.
그리고 본 명세서에 설명된 주제의 양태들은 컴퓨터에 의해 실행되는 프로그램 모듈 또는 컴포넌트와 같은 컴퓨터 실행 가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈 또는 컴포넌트들은 특정 작업을 수행하거나 특정 데이터 형식을 구현하는 루틴, 프로그램, 객체, 데이터 구조를 포함한다. 본 명세서에 설명된 주제의 양태들은 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체에 둘 다에 위치할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 으로 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100.. 서버
110.. 데이터 셋 획득부
120.. 특징 추출부
121.. 스켈레톤 영상 획득부
122.. 시계열 데이터 추출부
130.. 모델 생성부
140.. 영상 데이터 획득부
150.. 예측결과 출력부
200.. 카메라
300.. 디스플레이부
400.. 사용자 단말
110.. 데이터 셋 획득부
120.. 특징 추출부
121.. 스켈레톤 영상 획득부
122.. 시계열 데이터 추출부
130.. 모델 생성부
140.. 영상 데이터 획득부
150.. 예측결과 출력부
200.. 카메라
300.. 디스플레이부
400.. 사용자 단말
Claims (9)
- 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋을 획득하는 데이터 셋 획득부;
상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출하는 특징 추출부; 및
질병별 상기 특징을 학습함으로써 질병예측모델을 생성하는 모델 생성부;를 포함하는 인공지능 기술기반 수부 학습 시스템. - 제 1항에 있어서,
상기 특징 추출부는,
상기 다수 개의 영상 데이터 각각에서 지관절과 상기 지관절을 연결하는 뼈대를 3차원으로 인식한 스켈레톤 영상을 획득하는 스켈레톤 영상 획득부; 및
상기 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화를 시계열 데이터로 추출하는 시계열 데이터 추출부;를 포함하는 것을 특징으로 하는 인공지능 기술기반 수부 학습 시스템. - 제 2항에 있어서,
상기 시계열 데이터 추출부는,
피검사자가 갖는 모든 손가락에서 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 각 손가락에 대한 최말단 시계열 데이터를 추출하는 것을 특징으로 하는 인공지능 기술기반 수부 학습 시스템. - 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋을 획득하는 데이터 셋 획득부;
상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징을 추출하는 특징 추출부;
질병별 상기 특징을 학습함으로써 질병예측모델을 생성하는 모델 생성부;
질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터를 획득하는 영상 데이터 획득부; 및
상기 특징 추출부로부터 추출된 상기 영상 데이터에 대한 특징을 상기 질병예측모델에 입력함으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과를 출력하는 예측결과 출력부;를 포함하는 인공지능 모델을 이용한 질병 예측 시스템. - 제 4항에 있어서,
상기 특징 추출부는,
상기 데이터 셋 내 상기 다수 개의 영상 데이터 각각에서 지관절과 상기 지관절을 연결하는 뼈대를 3차원으로 인식한 스켈레톤 영상을 획득하는 스켈레톤 영상 획득부;를 포함하고,
상기 스켈레톤 영상 획득부는,
상기 영상 데이터 획득부로부터 획득된 상기 영상 데이터에 대한 스켈레톤 영상을 획득하는 것을 특징으로 하는 인공지능 모델을 이용한 질병 예측 시스템. - 제 5항에 있어서,
상기 특징 추출부는,
상기 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화를 시계열 데이터로 추출하는 시계열 데이터 추출부;를 포함하고,
상기 시계열 데이터 추출부는,
상기 영상 데이터에 대한 스켈레톤 영상에서 상기 지관절의 시간에 대한 상기 위치정보의 변화를 시계열 데이터로 추출하는 것을 특징으로 하는 인공지능 모델을 이용한 질병 예측 시스템. - 제 5항에 있어서,
상기 시계열 데이터 추출부는,
질병을 예측하고자 하는 피검사자가 갖는 모든 손가락에서 최말단지관절 또는 상기 최말단지관절에 연결된 뼈대의 임의의 지점을 대상으로 각 손가락에 대한 최말단 시계열 데이터를 추출하는 것을 특징으로 하는 인공지능 모델을 이용한 질병 예측 시스템. - 데이터 셋 획득부에 의하여, 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋이 획득되는 데이터 셋 획득단계;
특징 추출부에 의하여, 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징이 추출되는 데이터 셋 특징 추출단계; 및
모델 생성부에 의하여, 질병별 상기 특징이 학습됨으로써 질병예측모델이 생성되는 모델 생성단계;를 포함하는 인공지능 기술기반 수부 학습 방법. - 데이터 셋 획득부에 의하여, 피검사자의 수부가 촬영된 다수 개의 영상 데이터를 포함하는 데이터 셋이 획득되는 데이터 셋 획득단계;
특징 추출부에 의하여, 상기 데이터 셋 내 다수 개의 영상 데이터 각각에서 수부의 위치정보에 따라 손가락이 접히는 패턴, 손가락이 접히는 각도, 손가락 움직임의 동시성 중 적어도 하나를 포함하는 특징이 추출되는 데이터 셋 특징 추출단계;
모델 생성부에 의하여, 질병별 상기 특징이 학습됨으로써, 질병예측모델이 생성되는 모델 생성단계;
영상 데이터 획득부에 의하여, 질병을 예측하고자 하는 피검사자의 수부가 촬영된 영상 데이터가 획득되는 영상 데이터 획득단계;
상기 특징 추출부에 의하여, 상기 영상 데이터 획득단계로부터 획득된 상기 영상 데이터에 대한 특징이 추출되는 영상 데이터 특징 추출단계; 및
예측결과 출력부에 의하여, 상기 영상 데이터에 대한 특징을 상기 질병예측모델에 입력함으로써, 질병의 여부와 종류 중 적어도 하나를 포함하는 예측결과가 출력되는 예측결과 출력단계;를 포함하는 인공지능 모델을 이용한 질병 예측 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220006991A KR102658995B1 (ko) | 2022-01-18 | 2022-01-18 | 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220006991A KR102658995B1 (ko) | 2022-01-18 | 2022-01-18 | 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230111318A true KR20230111318A (ko) | 2023-07-25 |
| KR102658995B1 KR102658995B1 (ko) | 2024-04-19 |
Family
ID=87428918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220006991A KR102658995B1 (ko) | 2022-01-18 | 2022-01-18 | 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102658995B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102164091B1 (ko) | 2019-01-30 | 2020-10-12 | 동아대학교 산학협력단 | 치매 진단 및 예측을 위한 심층학습 기반 pet 영상 분석 방법 |
| KR20210017616A (ko) | 2019-08-09 | 2021-02-17 | 주식회사 인포쉐어 | 파킨슨병의 진단장치 |
-
2022
- 2022-01-18 KR KR1020220006991A patent/KR102658995B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102164091B1 (ko) | 2019-01-30 | 2020-10-12 | 동아대학교 산학협력단 | 치매 진단 및 예측을 위한 심층학습 기반 pet 영상 분석 방법 |
| KR20210017616A (ko) | 2019-08-09 | 2021-02-17 | 주식회사 인포쉐어 | 파킨슨병의 진단장치 |
Non-Patent Citations (2)
| Title |
|---|
| Anastasia Moshkova et al., Parkinson’s Disease Detection by Using Machine Learning Algorithms and Hand Movement Signal from LeapMotion Sensor, 2020 26th Conference of Open Innovations Association, 2020.05.07. <DOI: 10.23919/FRUCT48808.2020.9087433> 1부.* * |
| Oliver Y Chen et al., Building a Machine-Learning Framework to Remotely Assess Parkinson's Disease Using Smartphones, IEEE Trans Biomed Eng. Vol. 67, No. 12, December 2020. pp 3491-3500. 2020 Nov 19. <DOI: 10.1109/TBME.2020.2988942> 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102658995B1 (ko) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Slade et al. | An open-source and wearable system for measuring 3D human motion in real-time | |
| WO2020257777A1 (en) | Wearable joint tracking device with muscle activity and methods thereof | |
| US10004455B2 (en) | Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof | |
| Bleser et al. | A personalized exercise trainer for the elderly | |
| Chen | Human motion analysis with wearable inertial sensors | |
| US20150327794A1 (en) | System and method for detecting and visualizing live kinetic and kinematic data for the musculoskeletal system | |
| JP7057589B2 (ja) | 医療情報処理システム、歩行状態定量化方法およびプログラム | |
| Zhang et al. | Fuzzy inference system based automatic Brunnstrom stage classification for upper-extremity rehabilitation | |
| Steffen et al. | A personalized exercise trainer for elderly | |
| Bumacod et al. | Image-processing-based digital goniometer using OpenCV | |
| Rojas-Muñoz et al. | DAISI: database for AI surgical instruction | |
| Liu et al. | A new IMMU-based data glove for hand motion capture with optimized sensor layout | |
| Zhu et al. | Dual-channel cascade pose estimation network trained on infrared thermal image and groundtruth annotation for real-time gait measurement | |
| Zhang et al. | Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos | |
| Ahmed et al. | Kalman filter-based noise reduction framework for posture estimation using depth sensor | |
| JP6598422B2 (ja) | 医用情報処理装置、システム及びプログラム | |
| KR102658995B1 (ko) | 인공지능 기술기반 수부 동작 학습 시스템 및 방법, 그리고 인공지능 모델을 이용한 질병 예측 시스템 및 방법 | |
| Cejnog et al. | Hand range of motion evaluation for Rheumatoid Arthritis patients | |
| Gritsenko et al. | Current state and prospects for the development of digital medicine | |
| CN114743664A (zh) | 基于步态分析和确定学习的脊髓型颈椎病辅助诊断*** | |
| CN113869217A (zh) | 一种用于获取图像识别数据的方法和*** | |
| Gegenbauer | An interdisciplinary clinically-oriented evaluation framework for gait analysis after stroke | |
| Martínez-Zarzuela et al. | Multimodal video and IMU kinematic dataset on daily life activities using affordable devices | |
| Rueda-Gaitán et al. | ASPEBI: A MATLAB Tool for Motion Analysis of Non-Specific Low Back Pain Patients. | |
| Saalfeld et al. | Semi-Automatically Measuring Shoulders' Range of Motion–Objective Measurements with Good Reliability and Accuracy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |