KR20220106026A - 질병 진단 장치 및 방법 - Google Patents
질병 진단 장치 및 방법 Download PDFInfo
- Publication number
- KR20220106026A KR20220106026A KR1020210142543A KR20210142543A KR20220106026A KR 20220106026 A KR20220106026 A KR 20220106026A KR 1020210142543 A KR1020210142543 A KR 1020210142543A KR 20210142543 A KR20210142543 A KR 20210142543A KR 20220106026 A KR20220106026 A KR 20220106026A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- disease
- landmark
- frame
- diagnosing
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 155
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003745 diagnosis Methods 0.000 claims abstract description 88
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 description 32
- 238000012360 testing method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000018737 Parkinson disease Diseases 0.000 description 3
- 206010062519 Poor quality sleep Diseases 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002478 hand joint Anatomy 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 208000015122 neurodegenerative disease Diseases 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Fuzzy Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Geometry (AREA)
Abstract
본 개시는 질병 진단 장치 및 방법에 관한 것으로서, 특히 시각적으로 판별 가능한 질병의 진단 시, 진단 프로토콜 영상이 촬영된 복수의 영상 데이터로부터 종합적으로 질병을 진단할 수 있는 질병 진단 장치 및 방법을 제공할 수 있다. 구체적으로, 복수의 영상데이터로부터 분석 모듈을 통해 추출된 각각의 특징 정보를 통합하여 질병을 진단할 수 있는 질병 진단 장치 및 방법을 제공할 수 있다.
Description
본 실시예들은 질병 진단 장치 및 방법을 제공한다.
전 세계적으로 고령화가 급속히 진행됨에 따라, 고령자의 부양 문제가 세계적인 과제가 되고 있다. 유엔(United Nations, UN)에서는 고령화의 기준으로 65세 이상의 고령자를 정의하고 있다. 한편, 우리나라의 인구 고령화는 더욱 빠른 속도로 진행되고 있다. 통계청에서 발표한 자료에 따르면, 우리나라는 2018년 총인구의 약 14.3%(약 707만 명)가 고령자에 해당되며, 2026년에는 약 20.8%(약 1022만 명)가 고령자에 해당될 것으로 전망되고 있다. 이와 같이, 고령화로 인한 알츠하이머병, 파킨슨병, 뇌졸중 등의 뇌의 인지능력이 저하되는 퇴행성 질환 환자가 증가함에 따라 퇴행성 질환의 사전 진단, 경과 진단 및 치료는 사회적으로 중요한 문제가 되고 있다.
또한, 최근 빅데이터, 기계학습, 인공 지능 분야의 급격한 기술 발전으로 인해, 헬스 케어 기술 분야에서도 인공 지능과 연계한 진단 기술에 대한 연구 개발이 증가하고 있다. 예를 들면 스마트폰, 인공 지능과 헬스 케어 기술과의 연계를 통해, 의사의 처방 없이 일반 소비자가 직접 사용할 수 있는 자가 진단 서비스에 대한 관심이 증가하고 있는바, 퇴행성 질환 분야에서도 스마트 홈 헬스 케어, 실버 헬스 케어 등과 같은 접근이 요구된다. 예를 들어, 노인성 질병은 의사-환자 간의 직접적인 진단을 통해서 판별할 수 있다. 구체적으로 노인성 질병의 진단은 의사가 환자에게 다양한 프로토콜의 검사를 지시하며, 이때 해당 검사를 수행하는 환자의 동공이나, 손떨림, 혹은 얼굴의 찡그림 등의 시각적 정보를 바탕으로 판별함에 따라 의사와 환자가 대면해야 하는 물리적 한계 및 의료 공급 불균형 현상이 발생한다는 문제점이 있다.
따라서, 원활한 의료서비스를 제공하기 위해 시각적으로 판별 가능한 질병의 진단 시, 진단 프로토콜 영상이 촬영된 복수의 영상 데이터로부터 종합적으로 질병을 진단할 수 있는 기술을 필요로 하고 있다.
이러한 배경에서, 본 실시예들 시각적으로 판별 가능한 질병의 진단 시, 진단 프로토콜 영상이 촬영된 복수의 영상 데이터로부터 종합적으로 질병을 진단할 수 있는 질병 진단 장치 및 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시예는 질병 진단 장치에 있어서, 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득하는 기준 정보 획득부, 각각의 영상 데이터로부터 추출된 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출하는 특징 정보 추출부 및 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 통합 특징 정보에 기초하여 질병을 진단하는 질병 진단부를 포함하는 것을 특징으로 하는 질병 진단 장치를 제공한다.
다른 측면에서, 본 실시예는 질병 진단 방법에 있어서, 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득하는 기준 정보 획득 단계, 각각의 영상 데이터로부터 추출된 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출하는 특징 정보 추출 단계 및 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 통합 특징 정보에 기초하여 질병을 진단하는 질병 진단 단계를 포함하는 것을 특징으로 하는 질병 진단 방법을 제공한다.
본 실시예들에 의하면, 시각적으로 판별 가능한 질병의 진단 시, 진단 프로토콜 영상이 촬영된 복수의 동영상 데이터로부터 종합적으로 질병을 진단할 수 있는 질병 진단 장치 및 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 질병 진단 장치의 구성을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 질병 진단 장치의 질병을 진단하는 동작을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 질병 진단 장치의 분석 모듈을 적용하는 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 질병 진단 장치의 프레임 자율화 모듈을 설명하기 위한 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 질병 진단 장치의 특징 정보를 추출하는 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 질병 진단 장치에서 통합 특징 정보를 생성하는 예시를 도시한 도면이다.
도 7은 본 개시의 다른 실시예에 따른 질병 진단 장치에서 통합 특징 정보를 생성하는 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 질병 진단 방법의 흐름도이다
도 9는 본 개시의 일 실시예에 따른 질병 진단 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 질병 진단 장치의 질병을 진단하는 동작을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 질병 진단 장치의 분석 모듈을 적용하는 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 질병 진단 장치의 프레임 자율화 모듈을 설명하기 위한 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 질병 진단 장치의 특징 정보를 추출하는 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 질병 진단 장치에서 통합 특징 정보를 생성하는 예시를 도시한 도면이다.
도 7은 본 개시의 다른 실시예에 따른 질병 진단 장치에서 통합 특징 정보를 생성하는 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 질병 진단 방법의 흐름도이다
도 9는 본 개시의 일 실시예에 따른 질병 진단 장치의 블록도이다.
본 개시는 질병 진단 장치 및 방법에 관한 것이다.
이하, 본 개시의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 명세서에서의 질병은 알츠하이머병, 파킨슨병, 뇌졸중 등과 같이 뇌의 인지능력이 저하되는 노인성 질병을 일 예로 설명하나, 시각적으로 판별 가능한 질병이면 이에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 질병 진단 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 질병 진단 장치(100)는, 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득하는 기준 정보 획득부(110), 각각의 영상 데이터로부터 추출된 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출하는 특징 정보 추출부(120) 및 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 통합 특징 정보에 기초하여 질병을 진단하는 질병 진단부(130)를 포함하는 질병 진단 장치(100)를 제공한다.
일 실시예에 따른 기준 정보 획득부(110)는 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득할 수 있다. 일 예로, 기준 정보 획득부(110)는 질병 검사를 위한 프로토콜에 따라 사용자가 수행하는 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집할 수 있다. 예를 들어, 기준 정보 획득부(110)는 정지 자세 테스트, 눈 움직임 테스트, 엄지ㆍ검지 반복 운동 테스트, 단순 걷기 테스트 또는 일자 걸음 테스트 등을 수행하는 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집할 수 있다.
또한, 일 예로, 기준 정보 획득부(110)는 진단 목적 또는 진단 상황에 따라 사용자의 얼굴, 동공, 몸 및 손 중 적어도 하나를 포함하여 특정 신체 부위를 설정할 수 있다. 그리고, 기준 정보 획득부(110)는 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득할 수 있다. 즉, 미리 설정되는 특정 신체 부위는 다양하게 변경될 수 있다. 예를 들어, 기준 정보 획득부(110)는 정지 자세 테스트를 수행한 사용자의 영상 데이터로부터 얼굴에 관한 기준 정보와 몸에 관한 기준 정보를 각각 획득할 수 있다. 또한, 기준 정보 획득부(110)는 눈 움직임 테스트를 수행한 사용자의 영상 데이터로부터 얼굴에 관한 기준 정보와 동공에 관한 기준 정보를 획득할 수 있다.
일 실시예에 따른 특징 정보 추출부(120)는 각각의 영상 데이터로부터 추출된 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 일 예로, 특징 정보 추출부(120)는 프로토콜에 따른 각각의 영상 데이터로부터 좌표 추출기를 통해 기준 정보에 대한 랜드마크 좌표 정보를 추출할 수 있다. 예를 들어, 좌표 추출기는 얼굴 랜드마크 좌표 추출기, 동공 랜드마크 추출기, 몸 랜드마크 추출기 또는 손 랜드마크 추출기 등으로 특정 신체 부위에 적합하게 구현될 수 있다. 또한, 랜드마크 좌표 정보는 face joint, pupil joint, TUG(Time Up and Go) joint, MWT (Maintenance of Wakefulness Test) joint, hand joint 등에 대한 좌표 정보일 수 있다.
또한, 일 예로, 특징 정보 추출부(120)는 추출된 각각의 랜드마크 좌표 정보를 독립적으로 분석 모듈에 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 예를 들어, 분석 모듈은 랜드마크 좌표 정보를 기반으로 관절점 정보를 생성하는 제 1 신경망 모듈과 동일 프레임 내 관절점 정보를 기반으로 시간 축 정보를 결합하는 제 2 신경망 모듈을 포함하여 구성될 수 있다. 구체적인 예를 들면, 제 1 신경망 모듈은 그래프 합성곱 신경망(Graph Convolution Network, GCN)을 기반으로 하고, 제 2 신경망 모듈은 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 할 수 있다. 분석 모듈에 관한 상세한 내용은 도 3을 참조하여 후술한다.
다른 예를 들어, 분석 모듈은 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절하는 프레임 자율화 모듈을 더 포함할 수 있다. 구체적인 예를 들면, 프레임 자율화 모듈은 미리 설정된 프레임 개수에 기초하여 중심 프레임을 선택하고, 선택된 중심 프레임을 기준으로 복수의 주변 프레임을 결합하여 중심 프레임 세트를 생성할 수 있다. 그리고, 프레임 자율화 모듈은 생성한 복수의 중심 프레임 세트를 연결(Concatenate)하여 랜드마크 좌표 정보의 프레임 크기를 조절할 수 있다. 이에 따라, 분석 모듈은 추출된 랜드마크 좌표 정보를 프레임 자율화 모듈을 통해 동일한 프레임 크기로 조절하여 동일한 크기의 입력 데이터를 사용할 수 있다. 프레임 자율화 모듈에 관한 상세한 내용은 도 4를 참조하여 후술한다.
일 실시예에 따른 질병 진단부(130)는 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 통합 특징 정보에 기초하여 질병을 진단할 수 있다. 예를 들어, 질병 진단부(130)는 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합 특징 정보를 생성하고, 완전 연결 계층(Fully-connected layer)에 입력하여 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단할 수 있다. 또한, 질병 진단부(130)는 랜드마크 별 특징 정보의 평균값과 랜드마크 별 특징 정보의 최대값을 산출하고, 산출된 평균값과 최대값을 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성할 수도 있다. 통합 특징 정보의 생성에 관한 상세한 내용은 도 6 및 도 7을 참조하여 후술한다.
일 실시예에 따른 질병 진단부(130)는 미리 라벨링된 노인성 질병의 종류와 중증도 값을 활용하여 질병 진단 장치(100)의 정확도를 측정할 수 있다. 일 예로, 질병 진단부(130)는 학습에 사용되지 않은 영상 데이터에 대하여 진단한 결과와 실제 결과 값을 비교하여 질병 진단 장치(100)의 정확도를 측정할 수 있다.
도 2는 본 개시의 일 실시예에 따른 질병 진단 장치의 질병을 진단하는 동작을 설명하기 위한 흐름도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 질병 진단 장치의 기준 정보 획득부(110)는 복수의 영상 데이터를 수집할 수 있다(S210). 일 예로, 기준 정보 획득부(110)는 사용자에 대한 질병 검사를 위한 프로토콜에 따라 사용자가 수행하는 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집할 수 있다. 예를 들어, 기준 정보 획득부(110)는 음성 테스트를 제외한 12가지 진단 프토로콜에 따른 사용자의 자세를 촬영한 복수의 영상 데이터를 수집할 수 있다. 이 때, 영상 데이터는 다양한 각도에서 개별적으로 촬영될 수 있고, 각각의 영상 데이터에 대응하는 영상 번호 및 종류가 라벨링되어 사용될 수 있다. 구체적으로, 복수의 영상 데이터는 정지 자세 테스트, 눈 움직임 테스트, 엄지ㆍ검지 반복 운동 테스트, 단순 걷기 테스트, 일자 걸음 테스트, 이마 주름지기 테스트, 눈 찡그림 테스트, 웃기 테스트, 입 벌리기 테스트, 혀 내밀기 테스트, 팔 모이기 테스트 및 손가락ㆍ코 반복 운동 테스트 등을 수행하는 사용자의 자세를 4방향(상하좌우) 각도에서 계속적으로 촬영한 복수의 영상 데이터를 수집할 수 있다. 이는 영상 데이터 종류의 일 예를 설명한 것으로, 진단 목적에 적합하면 이에 한정되지 않는다.
일 실시예에 따른 질병 진단 장치의 기준 정보 획득부(110)는 영상 데이터 별 기준 정보를 획득할 수 있다(S220). 일 예로, 기준 정보 획득부(110)는 수집된 영상 데이터 별로 진단 목적 또는 진단 상황에 따라 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득할 수 있다. 예를 들어, 기준 정보 획득부(110)는 진단 목적 또는 진단 상황에 따라 사용자의 얼굴, 동공, 몸 및 손 중 적어도 하나를 포함하여 특정 신체 부위를 설정할 수 있다. 그리고, 기준 정보 획득부(110)는 12가지 진단 프토로콜에 따른 복수의 영상 데이터에서 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득할 수 있다. 구체적인 예를 들면, 기준 정보 획득부(110)는 사용자가 수행한 웃기 테스트를 촬영한 영상 데이터로부터 얼굴에 관한 기준 정보를 획득할 수 있다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 기준 정보에 대한 랜드마크 좌표 정보를 추출할 수 있다(S230). 일 예로, 특징 정보 추출부(120)는 프로토콜에 따른 각각의 영상 데이터로부터 좌표 추출기를 통해 기준 정보에 대한 랜드마크 좌표 정보를 추출할 수 있다. 예를 들어, 좌표 추출기는 합성곱 신경망 (Convolutional Neural Networks, CNN)을 활용하여 이미지 내에서 랜드마크를 감지하기 위해 히트맵을 학습시켜 랜드마크 좌표를 추출할 수 있다. 다만, 영상 데이터로부터 랜드마크의 좌표를 추출할 수 있으면, 좌표 추출기는 이에 한정되지는 않는다. 구체적인 예를 들면, 특징 정보 추출부(120)는 웃기 테스트를 촬영한 영상 데이터로부터 코끝, 눈썹, 눈꼬리 및 입과 같은 얼굴의 핵심 포인트를 감지하여 얼굴에 대한 랜드마크 좌표 정보를 추출할 수 있다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 랜드마크 별 특징 정보를 추출할 수 있다(S240). 일 예로, 특징 정보 추출부(120)는 추출된 기준 정보에 대한 랜드마크 좌표 정보를 분석 모듈에 적용하여 랜드 마크 별 특징 정보를 추출할 수 있다. 예를 들어, 특징 정보 추출부(120)는 각각의 랜드마크 좌표 정보를 특징 벡터를 추출하는 분석 모듈에 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 여기서, 특징 정보는 특징 벡터를 의미할 수 있다. 또한, 특징 정보 추출부(120)는 분석 모듈의 적용 전, 프레임 길이에 따라 데이터 크기가 다른 랜드마크 좌표 정보를 프레임 자율화 모듈에 적용하여 데이터 크기를 동일하게 조절할 수 있다. 즉, 프레임 크기가 조절된 랜드마크 좌표 정보는 분석 모듈의 입력 데이터로 사용될 수 있다. 구체적인 예를 들면, 특징 정보 추출부(120)는 face joint, pupil joint, TUG(Time Up and Go) joint, MWT (Maintenance of Wakefulness Test) joint, hand joint 등에 대한 좌표 정보를 분석 모듈에 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 랜드마크 별 특징 정보는 각각의 좌표 정보로부터 추출된 얼굴 특징 정보, 몸 특징 정보, 동공 특징 정보 또는 손 특징 정보 등을 포함할 수 있다. 분석 모듈에 관한 상세한 내용은 도 3을 참조하여 후술한다.
일 실시예에 따라 질병 진단 장치의 질병 진단부(130)는 통합 특징 정보를 생성할 수 있다(S250). 일 예로, 질병 진단부(130)는 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성할 수 있다. 예를 들어, 질병 진단부(130)는 추출된 랜드마크 별 특징 정보를 채널 별로 특징 정보의 평균값과 최대값을 산출하고, 산출된 평균값과 최대값을 연결하여 통합 특징 정보를 생성할 수 있다. 즉, 질병 진단부(130)는 복수의 랜드마크 별 특징 정보를 통합하여 하나의 통합 특징 정보를 생성할 수 있다.
일 실시예에 따라 질병 진단 장치의 질병 진단부(130)는 통합 특징 정보에 기초하여 질병을 진단할 수 있다(S260). 일 예로, 질병 진단부(130)는 통합 특징 정보를 완전 연결 계층(Fully-connected layer)에 입력하여 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단할 수 있다. 예를 들어, 질병 진단부(130)는 통합 특징 정보를 객체의 분류 목적으로 사용되는 완전 연결 계층에 입력하여 노인성 질병의 발생 유무, 종류(ex, 치매, 파킨스, 뇌혈관 질환 등) 및 중증도(경증, 중증, 위중)를 진단할 수 있다.
도 3은 본 개시의 일 실시예에 따른 질병 진단 장치의 분석 모듈을 적용하는 동작을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 기준 정보에 대한 랜드마크 좌표 정보를 추출할 수 있다(S230). 그리고, 특징 정보 추출부(120)는 추출된 기준 정보에 대한 각각의 랜드마크 좌표 정보를 분석 모듈에 적용할 수 있다(S300). 일 예로, 특징 정보 추출부(120)는 제 1 신경망 모듈과 제 2 신경망 모듈을 기초로 프레임 자율화 모듈 또는 완전 연결 계층을 더 포함하여 구성되는 분석 모듈을 통해 랜드마크 별 특징 정보를 추출할 수 있다. 예를 들어, 분석 모듈은 Joint-Frame 기반의 딥러닝 네트워크 모듈로 관절 수준 및 프레임 수준의 종속성이 순차적으로 연결된 계층적 네트워크 모듈일 수 있다. 즉, 분석 모듈은 의미론 유도 신경망(Sematic Guided Neural Network, SGN)일 수 있으나 이에 한정되지는 않는다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 프레임 자율화 모듈을 통해 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절할 수 있다(S310). 일 예로, 특징 정보 추출부(120)는 프레임 자율화 모듈을 통해 동일한 크기의 랜드마크 좌표 정보를 분석 모듈에 입력할 수 있다. 예를 들어, 프레임 자율화 모듈은 미리 설정된 프레임 개수에 기초하여 중심 프레임을 선택하고, 중심 프레임을 기준으로 복수의 주변 프레임을 결합하여 중심 프레임 세트를 생성할 수 있다. 그리고, 프레임 자율화 모듈은 생성된 중심 프레임 세트를 연결하여 랜드마크 좌표 정보의 프레임 크기를 조절할 수 있다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 제 1 신경망 모듈을 통해 랜드마크 좌표 정보를 기반으로 관절점 정보를 생성할 수 있다(S320). 일 예로, 특징 정보 추출부(120)는 그래프 합성곱 신경망(Graph Convolution Network, GCN)을 기반으로 하는 제 1 신경망 모듈을 통해 관절점 정보를 생성할 수 있다. 예를 들어, 제 1 신경망 모듈은 관절의 상관 관계를 활용하기 위한 joint-level 모듈로 관절 수준(joint level)의 특징 정보를 추출할 수 있다. 구체적으로, 제 1 신경망 모듈은 그래프 합성곱 신경망을 기반으로 관절 유형의 의미(ex, 연결 가중치 측면)와 역학에 기초하여 프레임 내 노드(관절)간의 그래프 연결을 학습하여 관절 수준의 특징 정보를 추출할 수 있다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 제 2 신경망 모듈을 통해 관절점 정보를 기반으로 시간 축 정보를 결합하여 특징 정보를 추출할 수 있다(S330). 일 예로, 특징 정보 추출부(120)는 제 1 신경망 뒤에 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 하는 제 2 신경망 모듈을 연결하여 시간 축 정보를 결합한 특징 정보를 추출할 수 있다. 예를 들어, 제 2 신경망 모듈은 프레임 간의 상관 관계를 활용하기 위한 frame-level 모듈로 프레임 수준(frame level)의 특징 정보를 추출할 수 있다. 구체적으로, 제 2 신경망 모듈은 동일 프레임 내 관절의 모든 특징에 대해 SMP(Spatial MaxPooling) 연산을 수행하여 프레임 수준의 특징 정보를 추출할 수 있다. 그리고, 추출된 프레임 수준의 특징 정보는 내장된 프레임 인덱스 정보와 결합하여 두 개의 시간적 컨볼루션 신경망 계층을 통해 분류를 위한 특징 정보를 학습할 수 있다. 즉, 제 2 신경망 모듈은 추출된 관절 수준의 특징 정보를 spatial pooling, temporal pooling, convolution layer 등에 적용하여 프레임 수준의 특징 정보를 추출할 수 있다. 여기서, 프레임 수준의 특징 정보는 관절점 정보를 기반으로 프레임 인덱스에 포함된 시간 축 정보를 결합한 특징 정보일 수 있다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 완전 연결 계층(Fully-connected layer)을 통해 원하는 크기로 조절된 랜드마크 별 특징 정보를 추출할 수 있다(S340). 예를 들어, 특징 정보 추출부(120)는 softmax 또는 sigmoid 등의 활성화 함수를 포함하는 완전 연결 계층(Fully-connected layer)에 적용하여 랜드마크 별로 추출된 특징 벡터의 행렬을 원하는 크기로 변환할 수 있다.
일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)는 랜드마크 별 특징 정보를 추출할 수 있다(S240). 일 예로, 특징 정보 추출부(120)는 랜드마크 좌표 정보 별로 분석 모듈을 각각 적용하여 랜드마크 별로 특징 정보를 추출할 수 있다.
도 4는 본 개시의 일 실시예에 따른 질병 진단 장치의 프레임 자율화 모듈을 설명하기 위한 예시를 도시한 도면이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 질병 진단 장치의 프레임 자율화 모듈이 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절하는 내용을 설명할 수 있다. 일 예로, 프레임 자율화 모듈은 미리 설정된 프레임 개수에 기초하여 선택한 중심 프레임을 기준으로 복수의 주변 프레임을 결합하여 중심 프레임 세트를 생성할 수 있다. 그리고, 프레임 자율화 모듈은 생성된 중심 프레임 세트를 연결하여 랜드마크 좌표 정보의 프레임 크기를 조절할 수 있다.
예를 들어, 프레임 자율화 모듈은 각각의 영상 데이터로부터 추출된 기준 정보에 대한 랜드마크 좌표 정보(410)에서 미리 설정된 프레임 개수(C)에 기초하여 중심 프레임(420)을 선택할 수 있다. 구체적으로, 추출된 기준 정보에 대한 랜드마크 좌표 정보(410)의 전체 크기는 2NХF일 수 있다. 여기서, N은 관절점(joint) 개수로 2N은 2차원 공간에 있는 관절점의 개수를 의미하고, F는 영상 데이터의 전체 프레임 개수를 의미할 수 있다.
예를 들어, 프레임 자율화 모듈은 선택된 중심 프레임(420)을 기준으로 복수의 주변 프레임(430)을 결합하여 중심 프레임 세트(440)를 생성할 수 있다. 구체적으로, 생성된 각각의 중심 프레임 세트의 크기는 2NХF'일 수 있다. 여기서, F'는 중심 프레임(420)을 기준으로 결합된 주변 프레임(430)의 개수를 의미할 수 있다.
예를 들어, 프레임 자율화 모듈은 생성된 중심 프레임 세트(440)를 순차로 연결(Concatenate)하여 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절할 수 있다. 이에 따라, 크기가 조절된 랜드마크 좌표 정보(450)는 특징 정보를 추출하기 위한 분석 모듈의 입력으로 사용될 수 있다. 구체적으로, 크기가 조절된 랜드마크 좌표 정보(450)의 크기는 2NХF'C 일 수 있다. 여기서, C는 미리 설정된 프레임 개수로 선택된 중심 프레임(420)의 개수를 의미할 수 있다. 따라서, 질병 진단 장치의 특징 정보 추출부(120)는 복수의 영상 데이터가 서로 다른 프레임 개수로 구성되더라도 프레임 자율화 모듈을 통해 동일한 프레임 개수로 조절할 수 있다.
도 5는 본 개시의 일 실시예에 따른 질병 진단 장치의 특징 정보를 추출하는 예시를 도시한 도면이다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 질병 진단 장치의 특징 정보 추출부(120)가 특징 정보를 추출하는 내용을 설명할 수 있다. 일 예로, 기준 정보 획득부(110)는 진단 프로토콜에 따라 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터 별로 미리 설정된 특정 신체 분위에 관한 기준 정보를 획득할 수 있다. 예를 들어, 기준 정보 획득부(110)는 진단 프로토콜에 따라 테스트를 수행한 사용자의 영상 데이터 1로부터 제 1 신체 부위에 관한 기준 정보와 제 2 신체 부위에 관한 기준 정보를 획득할 수 있다. 또한, 표 1은 영상 데이터에 따른 테스트 내용과 각각의 기준 정보에 관한 일 예를 설명한 것으로 이에 한정되는 것은 아니다.
일 예로, 특징 정보 추출부(120)는 좌표 추출 모듈을 통해 기준 정보에 대한 랜드마크 좌표 정보를 추출할 수 있다. 예를 들어, 특징 정보 추출부(120)는 영상 데이터 1로부터 획득한 제 1 신체 부위에 관한 기준 정보와 제 2 신체 부위에 관한 기준 정보를 이용하여 각각의 신체 부위에 대한 랜드마크 좌표 정보를 추출할 수 있다. 즉, 특징 정보 추출부(120)는 좌표 추출 모듈을 통해 영상 데이터 1 로부터 미리 설정된 특정 신체 부위의 랜드마크 좌표 정보를 적어도 하나 이상 추출할 수 있다. 따라서, 영상 데이터가 다르면 랜드마크 좌표 정보를 추출하는 특정 신체 부위의 종류와 개수는 변경될 수 있다.
일 예로, 특징 정보 추출부(120)는 추출된 각각의 랜드마크 좌표 정보를 분석 모듈에 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 예를 들어, 특징 정보 추출부(120)는 제 1 신체 부위 랜드마크 좌표 정보와 제 2 신체 부위 랜드마크 좌표 정보를 분석 모듈에 각각 적용하여 제 1 신체 부위 특징 정보와 제 2 신체 부위 특징 정보를 추출할 수 있다. 또한, 예를 들어, 특징 정보 추출부(120)는 각각의 랜드마크 좌표 정보를 프레임 자율화 모듈을 통해 동일한 크기로 조절하고, 이에 joint-level인 제 1 신경망 모듈을 적용하여 랜드마크에 대한 관절점 정보를 생성할 수 있다. 그리고, 특징 정보 추출부(120)는 랜드마크에 대한 관절점 정보에 frame-level인 제 2 신경망 모듈을 적용하여 시간 축 정보를 결합하고 마지막으로 완전 연결 계층을 통해 원하는 크기의 특징 정보를 추출할 수 있다. 즉, 특징 정보 추출부(120)는 분석 모듈을 통해 각각의 랜드마크 좌표 정보로부터 각각의 랜드마크 별 특징 정보를 추출할 수 있다.
또한, 일 예로, 질병 진단부(130)는 복수의 영상 데이터로부터 추출된 복수의 랜드마크 별 특징 정보를 연결하여 최종적으로 하나의 통합 특징 정보를 생성할 수 있다. 통합 특징 정보의 생성에 관한 상세한 내용은 도 6 및 도 7을 참조하여 후술한다.
도 6은 본 개시의 일 실시예에 따른 질병 진단 장치에서 통합 특징 정보를 생성하는 예시를 도시한 도면이다.
도 6를 참조하면, 본 개시의 일 실시예에 따른 질병 진단 장치의 질병 진단부(130)가 통합 특징 정보를 생성하는 내용을 설명할 수 있다. 일 예로, 질병 진단부(130)는 각각의 영상 데이터로부터 추출된 랜드마크 별 특징 정보(610)를 연결(Concatenate)하여 통합 특징 정보(620)를 생성할 수 있다. 예를 들어, 질병 진단부(130)는 각각의 영상 데이터로부터 추출된 랜드마크 별 특징 정보(610)를 일렬로 배치하는 방식으로 연결하여 통합 특징 정보(620)를 생성할 수 있다. 구체적인 예를 들면, 각각의 랜드마크 별 특징 정보(610)가 CХ1 형태의 특징 벡터이고, 랜드마크가 총 N개인 경우, 질병 진단부(130)는 NCХ1 형태의 특징 벡터인 통합 특징 정보(620)를 생성할 수 있다.
또한, 일 예로, 질병 진단부(130)는 생성된 통합 특징 정보(620)를 완전 연결 계층(630)에 입력하여 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단할 수 있다. 예를 들어, 완전 연결 계층(630)은 복수의 노드를 포함하며, 복수의 노드 각각은 입력에 대해 소정의 연산을 수행할 수 있다. 또한, 완전 연결 계층(630)은 연산에 가중치(weight)를 적용하여 결과를 출력할 수 있다. 구체적으로, 질병 진단부(130)의 출력은 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터에 포함된 정보가 해당 질병의 발생 확률, 질병 종류 별 발생 확률 또는 중증도 별 발생 확률 중 적어도 하나일 수 있다.
도 7은 본 개시의 다른 실시예에 따른 질병 진단 장치에서 통합 특징 정보를 생성하는 예시를 도시한 도면이다.
도 7을 참조하면, 본 개시의 다른 실시예에 따른 질병 진단 장치의 질병 진단부(130)가 통합 특징 정보를 생성하는 내용을 설명할 수 있다. 일 예로, 질병 진단부(130)는 각각의 영상 데이터로부터 추출된 랜드마크 별 특징 정보(610)를 이용하여 평균값(710)과 최대값(720)을 산출할 수 있다. 그리고, 질병 진단부(130)는 평균값(710)과 최대값(720)을 연결(Concatenate)하여 통합 특징 정보(730)를 생성할 수 있다. 예를 들어, 질병 진단부(130)는 산출된 각각의 평균값(710)과 최대값(720)을 일렬로 배치하는 방식으로 연결하여 통합 특징 정보(730)를 생성할 수 있다. 구체적인 예를 들면, 각각의 랜드마크 별 특징 정보(610)가 CХ1 형태의 특징 벡터이고, 랜드마크가 총 N개인 경우, 질병 진단부(130)는 CХ1 형태의 특징 벡터인 평균값(710)과 최대값(720)을 각각 산출할 수 있다. 따라서, 질병 진단부는 2CХ1 형태의 특징 벡터인 통합 특징 정보(730)를 생성할 수 있다.
또한, 일 예로, 질병 진단부(130)는 생성된 통합 특징 정보(730)를 완전 연결 계층(630)에 입력하여 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단할 수 있다. 완전 연결 계층(630)에 관한 내용은 도 6을 참조하여 전술한 바와 같다. 다만, 완전 연결 계층(630)은 입력되는 특징 벡터의 형태가 달라짐에 따라 완전 연결 계층(630)의 가중치(weight) 사이즈는 다르게 적용될 수 있다.
이하에서는 도 1 내지 도 7을 참조하여 설명한 질병 진단 장치가 수행할 수 있는 질병 진단 방법에 대해서 설명한다.
도 8은 본 개시의 일 실시예에 따른 질병 진단 방법의 흐름도이다.
도 8을 참조하면, 본 개시의 질병 진단 방법은 기준 정보 획득 단계를 포함할 수 있다(S810). 일 예로, 질병 진단 장치는 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득할 수 있다. 예를 들어, 질병 진단 장치는 질병 검사를 위한 프로토콜에 따라 수행하는 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집할 수 있다.
또한, 일 예로, 질병 진단 장치는 진단 목적 또는 진단 상황에 따라 사용자의 얼굴, 동공, 몸 및 손 중 적어도 하나를 포함하여 특정 신체 부위를 설정할 수 있다. 그리고, 질병 진단 장치는 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득할 수 있다. 즉, 미리 설정되는 특정 신체 부위는 다양하게 변경될 수 있다.
본 개시의 질병 진단 방법은 특징 정보 추출 단계를 포함할 수 있다(S820). 일 예로, 질병 진단 장치는 각각의 영상 데이터로부터 추출된 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 예를 들어, 질병 진단 장치는 프로토콜에 따른 각각의 영상 데이터로부터 좌표 추출기를 통해 기준 정보에 대한 랜드마크 좌표 정보를 추출할 수 있다. 구체적으로, 좌표 추출기는 얼굴 랜드마크 좌표 추출기, 동공 랜드마크 추출기, 몸 랜드마크 추출기 또는 손 랜드마크 추출기 등일 수 있다. 또한, 랜드마크 좌표 정보는 face joint, pupil joint, TUG(Time Up and Go) joint, MWT (Maintenance of Wakefulness Test) joint, hand joint 등에 대한 좌표 정보일 수 있다.
또한, 일 예로, 질병 진단 장치는 추출된 각각의 랜드마크 좌표 정보를 독립적으로 분석 모듈에 적용하여 랜드마크 별 특징 정보를 추출할 수 있다. 예를 들어, 분석 모듈은 랜드마크 좌표 정보를 기반으로 관절점 정보를 생성하는 제 1 신경망 모듈과 동일 프레임 내 관절점 정보를 기반으로 시간 축 정보를 결합하는 제 2 신경망 모듈을 포함하여 구성될 수 있다. 구체적으로, 제 1 신경망 모듈은 그래프 합성곱 신경망(Graph Convolution Network, GCN)을 기반으로 하고, 제 2 신경망 모듈은 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 할 수 있다.
다른 예를 들어, 분석 모듈은 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절하는 프레임 자율화 모듈을 더 포함할 수 있다. 구체적으로, 프레임 자율화 모듈은 미리 설정된 프레임 개수에 기초하여 중심 프레임을 선택하고, 선택된 중심 프레임을 기준으로 복수의 주변 프레임을 결합하여 중심 프레임 세트를 생성할 수 있다. 그리고, 프레임 자율화 모듈은 생성한 복수의 중심 프레임 세트를 연결(Concatenate)하여 랜드마크 좌표 정보의 프레임 크기를 조절할 수 있다. 이에 따라, 분석 모듈은 추출된 랜드마크 좌표 정보를 프레임 자율화 모듈을 통해 동일한 프레임 크기로 조절하여 입력 데이터로 사용할 수 있다.
본 개시의 질병 진단 방법은 질병 진단 단계를 포함할 수 있다(S830). 일 예로, 질병 진단 장치는 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 통합 특징 정보에 기초하여 질병을 진단할 수 있다. 예를 들어, 질병 진단 장치는 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합 특징 정보를 생성하고, 완전 연결 계층(Fully-connected layer)에 입력하여 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단할 수 있다. 또한, 질병 진단 장치는 랜드마크 별 특징 정보의 평균값과 랜드마크 별 특징 정보의 최대값을 산출하고, 산출된 평균값과 최대값을 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성할 수도 있다.
도 9는 일 실시예에 따른 질병 진단 장치의 블록도이다.
도 9를 참조하면, 일 실시예에 따른 질병 진단 장치(100)는 통신 인터페이스(910) 및 프로세서(920)를 포함한다. 질병 진단 장치(1100)는 메모리(930)를 더 포함할 수 있다. 각 구성 요소, 통신 인터페이스(910), 프로세서(920) 및 메모리(930)는 통신 버스를 통해 서로 연결될 수 있다. 예를 들면, 통신 버스는 구성요소들을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
통신 인터페이스(910)는 사용자의 자세를 촬영한 복수의 영상을 획득할 수 있다. 또한, 통신 인터페이스(1110)는 무선 통신 또는 유선 통신을 통해서 외부 장치의 통신을 수행할 수 있다.
프로세서(920)는 도 1 내지 도 8을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(920)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), NPU(Neural Processing Unit), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
또한, 프로세서(920)는 프로그램을 실행하고, 질병 진단 장치(100)를 제어할 수 있다. 프로세서(920)에 의하여 실행되는 프로그램 코드는 메모리(930)에 저장될 수 있다.
본 개시의 실시예에 따른 신경망을 포함하는 인공 지능 모델에 관한 정보는 프로세서(920) 내부 메모리에 저장되거나, 외부 메모리, 즉 메모리(930)에 저장될 수 있다. 예를 들어, 메모리(930)는 통신 인터페이스(910)를 통해 획득한 사용자의 자세를 촬영한 복수의 영상을 저장할 수 있다. 메모리(930)는 신경망을 포함하는 인공 지능 모델을 저장할 수 있다. 또한, 메모리(930)는 프로세서(920)의 처리 과정에서 생성되는 다양한 정보 및 프로세서(920)에 의해 추출된 출력 정보들을 저장할 수 있다. 출력 정보는 신경망 연산 결과 또는 신경망 테스트 결과일 수 있다. 메모리(930)는 신경망 학습 결과를 저장할 수 있다. 신경망 학습 결과는, 질병 진단 장치(100)에서 획득한 것일 수도 있고, 외부 장치로부터 획득한 것일 수도 있다. 신경망 학습 결과는, 가중치 및 바이어스 값을 포함할 수 있다. 이밖에도, 메모리(930)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(930)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(930)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종데이터를 저장할 수 있다.
이상에서, 본 개시의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시 예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (16)
- 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득하는 기준 정보 획득부;
각각의 영상 데이터로부터 추출된 상기 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출하는 특징 정보 추출부; 및
상기 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 상기 통합 특징 정보에 기초하여 질병을 진단하는 질병 진단부를 포함하는 것을 특징으로 하는 질병 진단 장치. - 제 1 항에 있어서,
상기 기준 정보 획득부는,
진단 목적 또는 진단 상황에 따라 상기 사용자의 얼굴, 동공, 몸 및 손 중 적어도 하나를 포함하여 상기 특정 신체 부위를 설정하는 것을 특징으로 하는 질병 진단 장치. - 제 1 항에 있어서,
상기 분석 모듈은,
상기 랜드마크 좌표 정보를 기반으로 관절점 정보를 생성하는 제 1 신경망 모듈과 동일 프레임 내 상기 관절점 정보를 기반으로 시간 축 정보를 결합하는 제 2 신경망 모듈을 포함하여 구성되는 것을 특징으로 하는 질병 진단 장치. - 제 3 항에 있어서,
상기 제 1 신경망 모듈은,
그래프 합성곱 신경망(Graph Convolution Network, GCN)을 기반으로 하고,
상기 제 2 신경망 모듈은,
합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 하는 것을 특징으로 하는 질병 진단 장치. - 제 1 항에 있어서,
상기 분석 모듈은,
상기 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절하는 프레임 자율화 모듈을 더 포함하는 것을 특징으로 하는 질병 진단 장치. - 제 5 항에 있어서,
상기 프레임 자율화 모듈은,
미리 설정된 프레임 개수에 기초하여 중심 프레임을 선택하고, 상기 중심 프레임을 기준으로 복수의 주변 프레임을 결합하여 중심 프레임 세트를 생성하고, 상기 중심 프레임 세트를 연결(Concatenate)하여 상기 랜드마크 좌표 정보의 프레임 크기를 조절하는 것을 특징으로 하는 질병 진단 장치. - 제 1 항에 있어서,
상기 질병 진단부는,
상기 통합 특징 정보를 완전 연결 계층(Fully-connected layer)에 입력하여 상기 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단하는 것을 특징으로 하는 질병 진단 장치. - 제 7 항에 있어서,
상기 질병 진단부는,
상기 랜드마크 별 특징 정보의 평균값과 상기 랜드마크 별 특징 정보의 최대값을 산출하고, 상기 평균값과 상기 최대값을 연결(Concatenate)하여 상기 통합(Fusion) 특징 정보를 생성하는 것을 특징으로 하는 질병 진단 장치. - 사용자의 자세를 계속적으로 촬영한 복수의 영상 데이터를 수집하고, 수집된 영상 데이터 별로 미리 설정된 특정 신체 부위에 관한 기준 정보를 획득하는 기준 정보 획득 단계;
각각의 영상 데이터로부터 추출된 상기 기준 정보에 대한 랜드마크 좌표 정보에 분석 모듈을 적용하여 랜드마크 별 특징 정보를 추출하는 특징 정보 추출 단계; 및
상기 랜드마크 별 특징 정보를 연결(Concatenate)하여 통합(Fusion) 특징 정보를 생성하고, 상기 통합 특징 정보에 기초하여 질병을 진단하는 질병 진단 단계를 포함하는 것을 특징으로 하는 질병 진단 방법. - 제 9 항에 있어서,
상기 기준 정보 획득 단계는,
진단 목적 또는 진단 상황에 따라 상기 사용자의 얼굴, 동공, 몸 및 손 중 적어도 하나를 포함하여 상기 특정 신체 부위를 설정하는 것을 특징으로 하는 질병 진단 방법. - 제 9 항에 있어서,
상기 분석 모듈은,
상기 랜드마크 좌표 정보를 기반으로 관절점 정보를 생성하는 제 1 신경망 모듈과 동일 프레임 내 상기 관절점 정보를 기반으로 시간 축 정보를 결합하는 제 2 신경망 모듈을 포함하여 구성되는 것을 특징으로 하는 질병 진단 방법. - 제 11 항에 있어서,
상기 제 1 신경망 모듈은,
그래프 합성곱 신경망(Graph Convolution Network, GCN)을 기반으로 하고,
상기 제 2 신경망 모듈은.
합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 하는 것을 특징으로 하는 질병 진단 방법. - 제 9 항에 있어서,
상기 분석 모듈은,
상기 랜드마크 좌표 정보의 프레임 크기를 동일하게 조절하는 프레임 자율화 모듈을 더 포함하는 것을 특징으로 하는 질병 진단 방법. - 제 13 항에 있어서,
상기 프레임 자율화 모듈은,
미리 설정된 프레임 개수에 기초하여 중심 프레임을 선택하고, 상기 중심 프레임을 기준으로 복수의 주변 프레임을 결합하여 중심 프레임 세트를 생성하고, 상기 중심 프레임 세트를 연결(Concatenate)하여 상기 랜드마크 좌표 정보의 프레임 크기를 조절하는 것을 특징으로 하는 질병 진단 방법. - 제 9 항에 있어서,
상기 질병 진단 단계는,
상기 통합 특징 정보를 완전 연결 계층(Fully-connected layer)에 입력하여 상기 질병의 발생 유무, 종류 및 중증도 중 적어도 하나를 진단하는 것을 특징으로 하는 질병 진단 방법. - 제 15 항에 있어서,
상기 질병 진단 단계는,
상기 랜드마크 별 특징 정보의 평균값과 상기 랜드마크 별 특징 정보의 최대값을 산출하고, 상기 평균값과 상기 최대값을 연결(Concatenate)하여 상기 통합(Fusion) 특징 정보를 생성하는 것을 특징으로 하는 질병 진단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2021/019901 WO2022158737A1 (ko) | 2021-01-21 | 2021-12-27 | 질병 진단 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210008800 | 2021-01-21 | ||
| KR1020210008800 | 2021-01-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220106026A true KR20220106026A (ko) | 2022-07-28 |
Family
ID=82607581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210142543A KR20220106026A (ko) | 2021-01-21 | 2021-10-25 | 질병 진단 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220106026A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102620129B1 (ko) * | 2023-08-24 | 2024-01-03 | (주)블라우비트 | 인공지능 기반의 뇌졸중 초기 예측 진단 시스템 및 방법 |
| KR102631427B1 (ko) * | 2022-10-31 | 2024-01-30 | (주)케어마인드 | 환부의 회복 정보를 예측하기 위해 이미지를 전처리하는 방법 |
-
2021
- 2021-10-25 KR KR1020210142543A patent/KR20220106026A/ko not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102631427B1 (ko) * | 2022-10-31 | 2024-01-30 | (주)케어마인드 | 환부의 회복 정보를 예측하기 위해 이미지를 전처리하는 방법 |
| KR102620129B1 (ko) * | 2023-08-24 | 2024-01-03 | (주)블라우비트 | 인공지능 기반의 뇌졸중 초기 예측 진단 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| Ar et al. | A computerized recognition system for the home-based physiotherapy exercises using an RGBD camera | |
| Liu et al. | Vision-based method for automatic quantification of parkinsonian bradykinesia | |
| Gu et al. | Cross-subject and cross-modal transfer for generalized abnormal gait pattern recognition | |
| US20190323895A1 (en) | System and method for human temperature regression using multiple structures | |
| KR20190070432A (ko) | 영상 데이터를 분석하는 인공 지능을 이용한 질병 진단 방법 및 진단 시스템 | |
| KR20220106026A (ko) | 질병 진단 장치 및 방법 | |
| Verlekar et al. | Using transfer learning for classification of gait pathologies | |
| US10610109B2 (en) | Emotion representative image to derive health rating | |
| WO2021186655A1 (ja) | 転倒リスク評価システム | |
| CN112101424B (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| JP2022549051A (ja) | ディープラーニングモデルを用いた画像診断装置及びその方法 | |
| Loureiro et al. | Using a skeleton gait energy image for pathological gait classification | |
| CN112382384A (zh) | 特纳综合征诊断模型训练方法、诊断***及相关设备 | |
| Bassi et al. | Deep learning diagnosis of pigmented skin lesions | |
| CN117690583B (zh) | 基于物联网的康复护理交互式管理***及方法 | |
| Zhang et al. | Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos | |
| Hanisch et al. | Understanding person identification through gait | |
| Pham et al. | Lad: A hybrid deep learning system for benign paroxysmal positional vertigo disorders diagnostic | |
| Ilyas et al. | Rehabilitation of traumatic brain injured patients: Patient mood analysis from multimodal video | |
| JP2021030050A (ja) | 認知機能評価方法、認知機能評価装置及び認知機能評価プログラム | |
| KR20210122560A (ko) | 피부 병변의 원인 분석 방법 및 장치 | |
| Iarlori et al. | Rgbd camera monitoring system for Alzheimer's disease assessment using recurrent neural networks with parametric bias action recognition | |
| Athavale et al. | One eye is all you need: Lightweight ensembles for gaze estimation with single encoders | |
| WO2022158737A1 (ko) | 질병 진단 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |