KR102377046B1 - Method for predicting frailty index based on human motion, and apparatus and system therefor - Google Patents

Method for predicting frailty index based on human motion, and apparatus and system therefor Download PDF

Info

Publication number
KR102377046B1
KR102377046B1 KR1020200135721A KR20200135721A KR102377046B1 KR 102377046 B1 KR102377046 B1 KR 102377046B1 KR 1020200135721 A KR1020200135721 A KR 1020200135721A KR 20200135721 A KR20200135721 A KR 20200135721A KR 102377046 B1 KR102377046 B1 KR 102377046B1
Authority
KR
South Korea
Prior art keywords
subject
motion
senility
information
degree
Prior art date
Application number
KR1020200135721A
Other languages
Korean (ko)
Other versions
KR20210146199A (en
Inventor
윤성준
노현철
정희원
Original Assignee
주식회사 디파이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디파이 filed Critical 주식회사 디파이
Priority to US17/757,971 priority Critical patent/US20230031995A1/en
Priority to PCT/KR2020/014342 priority patent/WO2021132862A1/en
Publication of KR20210146199A publication Critical patent/KR20210146199A/en
Priority to KR1020220032909A priority patent/KR20220041795A/en
Application granted granted Critical
Publication of KR102377046B1 publication Critical patent/KR102377046B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/083—Measuring rate of metabolism by using breath test, e.g. measuring rate of oxygen consumption
    • A61B5/0833—Measuring rate of oxygen consumption
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224—Measuring muscular strength
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Emergency Medicine (AREA)
  • Obesity (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되는 모션 기반 노쇠 정도 예측 방법으로서, 상기 노쇠 정도 예측 방법은, 상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계, 상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하는 단계, 상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계, 및 상기 프로세서에 의하여, 상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하고, 상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서를 포함하는 모션 기반 노쇠 정도 예측 방법이 제공된다.A motion-based degree of senescence prediction method performed by an apparatus for predicting the degree of senility including a sensor and a processor, wherein the method for predicting the degree of senility includes, by the sensor, obtaining distance information and image information of a subject, by the processor , estimating motion information of the subject by using the distance information and the image information, extracting, by the processor, a body function parameter of the subject from the motion information, and by the processor, the extracted estimating the degree of senility of the subject based on a body function parameter, wherein the sensor includes a single distance sensor for acquiring the distance information and a single image sensor for acquiring the image information A method for predicting the degree of senility based is provided.

Description

모션 기반 노쇠 정도 예측 방법, 장치 및 시스템{METHOD FOR PREDICTING FRAILTY INDEX BASED ON HUMAN MOTION, AND APPARATUS AND SYSTEM THEREFOR}Method, apparatus and system for predicting degree of motion-based senescence

본 발명은 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 단일의 거리 센서 및 단일의 이미지 센서를 이용하여 피험자의 거리 정보 및 영상 정보를 획득하고, 상기 거리 정보 및 상기 영상 정보로부터 추정되는 모션 정보에 기반하여 피험자의 노쇠 정도를 예측하는 방법, 장치 및 시스템에 관한 것이다.The present invention relates to a motion-based senescence prediction method, apparatus and system, and more particularly, by using a single distance sensor and a single image sensor to obtain distance information and image information of a subject, and the distance information and the image A method, apparatus, and system for predicting the degree of senility of a subject based on motion information estimated from the information.

대다수의 임상 현장에서는 초시계나 줄자 등 고전적인 도구를 이용한 목측 방식에 기반하여 피험자의 신체 기능을 평가하고 있다. 목측 방식은 비교적 저렴하고 익히기 쉽다는 장점은 있으나, 획득할 수 있는 정보가 제한적이고, 노동 집약적이며, 검사 결과의 편차가 크다는 문제가 있다.In most clinical settings, the physical function of a subject is evaluated based on a visual method using a classical instrument such as a stopwatch or a tape measure. The observation method has the advantages of being relatively inexpensive and easy to learn, but there are problems in that the information that can be obtained is limited, labor-intensive, and there is a large variation in test results.

이와 같은 문제를 해결하기 위하여, 보행 분석계 또는 마커(marker) 기반의 모션 캡처 기기 등을 이용한 신체 기능 평가 방식이 제안되었다. 하지만, 신체 기능 평가는 피험자의 보행, 균형, 근력 등 신체 전반에 대한 복합적인 기능 테스트(functional test)가 필수적인데 반하여, 기존의 기기들은 여전히 단편적인 정보만을 획득할 수 밖에 없다는 문제가 있다. 예를 들어, 보행 분석계는 피험자의 보행 정보만을 획득할 수 있을 뿐이다. 또한, 모션 캡처 기기는, 피험자의 신체 전반의 움직임 정보를 획득할 수는 있지만, 측정 환경이 제한적이고(다수의 적외선 카메라가 설치된 실험실이 필수적임), 피험자의 신체 부위에 마커를 부착해야 하며(불편함과 더불어 피험자의 자연스러운 움직임 유도를 방해함), 측정 전후 별도의 실험 환경을 셋팅해야 하고, 별도의 데이터 분석 과정이 필요하므로 실시간성을 확보할 수 없고 무엇보다 일반적인 임상 환경에서 사용하기 어려운 문제가 있다. 또한, 기존의 신체 기능 평가 기기 및 방법은 정확도나 신뢰성이 담보되지 않는다는 문제가 있다(특허문헌 1 및 비특허문헌 1 참조).In order to solve such a problem, a body function evaluation method using a gait analyzer or a marker-based motion capture device has been proposed. However, while a complex functional test for the entire body such as a subject's walking, balance, and strength is essential for body function evaluation, existing devices have a problem in that only fragmentary information can still be obtained. For example, the gait analyzer can only acquire gait information of the subject. In addition, although the motion capture device can acquire movement information of the subject's body, the measurement environment is limited (a laboratory equipped with a large number of infrared cameras is essential), and a marker must be attached to the subject's body part ( In addition to inconvenience, it interferes with the induction of the subject's natural movement), a separate experimental environment must be set before and after measurement, and a separate data analysis process is required, so real-time cannot be secured and, above all, it is difficult to use in a general clinical environment. there is In addition, the existing apparatus and method for evaluating body functions have a problem that accuracy or reliability is not guaranteed (see Patent Document 1 and Non-Patent Document 1).

이에 따라, 수동 측정의 한계를 극복하고 정밀하고 정량적인 분석이 가능한, 자동화된 신체 기능 평가 기기 및 방법이 요구된다.
[선행기술문헌]
(특허문헌 1) 한국 공개특허공보 제10-2019-0115978호
(비특허문헌 1) Azure Kinect DK, http://eventmarketing.blob.core.windows.net/decode2019-after/decode19_PDF_CM04.pdfAccordingly, there is a need for an automated body function evaluation device and method capable of overcoming the limitations of manual measurement and capable of precise and quantitative analysis.
[Prior art literature]
(Patent Document 1) Korean Patent Publication No. 10-2019-0115978
(Non-patent document 1) Azure Kinect DK, http://eventmarketing.blob.core.windows.net/decode2019-after/decode19_PDF_CM04.pdf

본 명세서에서는, 거리 센서 및 이미지 센서를 이용하여 피험자의 모션 정보를 추정하고 이에 기반한 모션 기반 노쇠 정도 예측 방법 및 장치가 제공된다. 또한, 피험자의 노쇠 정도를 예측하기 위한 시스템이 제공된다. 또한, 노쇠 정도 예측 방법을 실행하기 위한 프로그램, 및 상기 프로그램이 기록된 저장 매체가 제공된다.In the present specification, a method and apparatus for estimating motion information of a subject using a distance sensor and an image sensor and predicting the degree of senescence based on the motion information are provided. Also provided is a system for predicting the degree of senescence in a subject. In addition, a program for executing the method of predicting the degree of senility, and a storage medium in which the program is recorded are provided.

본 발명의 실시예들에 따른 모션 기반 노쇠 정도 예측 방법은, 센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되고, 상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계; 상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하는 단계; 상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계; 및 상기 프로세서에 의하여, 상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하고, 상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서를 포함할 수 있다.A motion-based degree of senescence prediction method according to embodiments of the present invention is performed by an apparatus for predicting the degree of senility including a sensor and a processor, and by the sensor, obtaining distance information and image information of a subject; estimating, by the processor, motion information of the subject using the distance information and the image information; extracting, by the processor, a body function parameter of the subject from the motion information; and predicting, by the processor, the degree of senescence of the subject based on the extracted body function parameter, wherein the sensor is configured to obtain a single distance sensor for obtaining the distance information and the image information It may include a single image sensor for

일 실시예에서, 상기 거리 정보는 상기 영상 정보를 이용하여 업샘플링될 수 있다.In an embodiment, the distance information may be up-sampled using the image information.

일 실시예에서, 상기 거리 정보는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링될 수 있다.In an embodiment, the distance information may be up-sampled by executing an artificial neural network with the distance information and the image information as inputs.

일 실시예에서, 상기 인공신경망에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.In an embodiment, a super-resolution artificial neural network technique may be applied to the artificial neural network.

일 실시예에서, 상기 모션 정보는 상기 피험자의 신체에 대한 절대적 거리 정보를 포함할 수 있다.In an embodiment, the motion information may include absolute distance information with respect to the subject's body.

일 실시예에서, 상기 모션 정보를 추정하는 단계는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network)을 실행함으로써 수행될 수 있다.In an embodiment, the estimating of the motion information may be performed by executing a deep neural network by receiving the distance information and the image information as inputs.

일 실시예에서, 상기 신체 기능 파라미터를 추출하는 단계는, 상기 피험자의 동작 상황을 분류하는 단계; 및 상기 분류된 피험자의 동작 상황에 기초하여, 상기 모션 정보로부터 상기 신체 기능 파라미터를 추출하는 단계를 포함할 수 있다.In an embodiment, the extracting of the body function parameter may include: classifying an operation situation of the subject; and extracting the body function parameter from the motion information based on the classified motion situation of the subject.

일 실시예에서, 상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함할 수 있다.In one embodiment, the body function parameter is the subject's gait speed, balance time, sit-to-stand time, timed-up-and-TUG (TUG). go) time.

일 실시예에서, 상기 피험자의 동작 상황을 분류하는 단계는, 사용자 입력 또는 액션 인지(action recognition) 인공신경망에 기반하여 수행될 수 있다.In an embodiment, the classifying the operation situation of the subject may be performed based on a user input or an action recognition artificial neural network.

일 실시예에서, 상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함할 수 있다.In one embodiment, the single distance sensor may include a Time of Flight Sensor (ToF) sensor or a LiDAR sensor.

일 실시예에서, 상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함할 수 있다.In an embodiment, the motion information may include information about at least one of a pose and a shape of the subject.

일 실시예에서, 상기 신체 기능 파라미터의 종류는, 상기 피험자의 동작 상황에 따라 달라질 수 있다.In an embodiment, the type of the body function parameter may vary according to an operation situation of the subject.

일 실시예에서, 상기 노쇠 정도 예측 방법의 각 단계가 컴퓨터에 의하여 수행되도록 하는 명령들을 포함하는 컴퓨터 프로그램 제품이 제공된다.In one embodiment, there is provided a computer program product comprising instructions for causing each step of the method for predicting the degree of senility to be performed by a computer.

또한, 본 발명의 실시예들에 따른 노쇠 정도 예측 장치는, 피험자의 거리 정보를 검출하는 단일의 거리 센서; 상기 피험자의 영상 정보를 검출하는 단일의 이미지 센서; 및 상기 피험자의 노쇠 정도를 예측하는 프로세서를 포함하고, 상기 프로세서는, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하고, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하며, 상기 추출된 신체 기능 파라미터에 기반하여 상기 피험자의 노쇠 정도를 예측할 수 있다.In addition, the apparatus for predicting the degree of senility according to embodiments of the present invention, a single distance sensor for detecting the subject's distance information; a single image sensor detecting image information of the subject; and a processor for estimating the degree of senescence of the subject, wherein the processor estimates motion information of the subject using the distance information and the image information, and extracts a body function parameter of the subject from the motion information, , the degree of senility of the subject may be predicted based on the extracted body function parameters.

일 실시예에서, 상기 프로세서는, 상기 영상 정보를 이용하여 상기 거리 정보를 업샘플링할 수 있다.In an embodiment, the processor may upsample the distance information using the image information.

일 실시예에서, 상기 거리 정보는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링될 수 있다.In an embodiment, the distance information may be up-sampled by executing an artificial neural network with the distance information and the image information as inputs.

일 실시예에서, 인공신경망에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.In an embodiment, a super-resolution artificial neural network technique may be applied to the artificial neural network.

일 실시예에서, 상기 모션 정보는 상기 피험자의 신체에 대한 절대적 거리 정보를 포함할 수 있다.In an embodiment, the motion information may include absolute distance information with respect to the subject's body.

일 실시예에서, 상기 프로세서는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network)을 실행함으로써 상기 모션 정보를 추정할 수 있다.In an embodiment, the processor may estimate the motion information by executing a deep neural network by receiving the distance information and the image information as inputs.

일 실시예에서, 상기 프로세서는, 상기 피험자의 동작 상황을 분류하고, 상기 분류된 피험자의 동작 상황에 기초하여 상기 모션 정보를 추정할 수 있다.In an embodiment, the processor may classify the motion condition of the subject, and estimate the motion information based on the classified motion condition of the subject.

일 실시예에서, 상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함할 수 있다.In one embodiment, the body function parameter is the subject's gait speed, balance time, sit-to-stand time, timed-up-and-TUG (TUG). go) time.

일 실시예에서, 상기 피험자의 동작 상황은, 사용자 입력 또는 액션 인지(action recognition) 인공신경망에 기반하여 분류될 수 있다.In an embodiment, the operation situation of the subject may be classified based on a user input or an action recognition artificial neural network.

일 실시예에서, 상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함할 수 있다.In one embodiment, the single distance sensor may include a Time of Flight Sensor (ToF) sensor or a LiDAR sensor.

일 실시예에서, 상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함할 수 있다.In an embodiment, the motion information may include information about at least one of a pose and a shape of the subject.

일 실시예에서, 상기 신체 기능 파라미터의 종류는, 상기 피험자의 동작 상황에 따라 달라질 수 있다.In an embodiment, the type of the body function parameter may vary according to an operation situation of the subject.

본 개시에서 제공되는 노쇠 정도 예측 방법에 따라, 피험자의 노쇠 정도가 간편하고 효율적으로 예측될 수 있다.According to the method for predicting the degree of senility provided in the present disclosure, the degree of senility of a subject can be predicted simply and efficiently.

도 1은 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치 내의 프로세서를 나타내는 도면이다.
도 3은 신체 기능 파라미터들을 추출하는 구체적인 일 실시예를 나타낸다.
도 4a 및 도 4b는 각각 실제 나이와 보행 속도, 보행 속도와 노쇠 정도의 관계를 나타낸 2차원 그래프이다.
도 5는 카플란-마이어 분석(Kaplan-Meier analysis)에 의한 특정 보행 속도 그룹의 생존 확률 그래프를 나타낸다.
도 6은 한국 지역사회 거주 노인에서 성별에 따른 보행 속도의 분포도를 나타낸다.
도 7은 보행 속도와 다른 측정 값을 같이 이용하여, 노쇠 정도를 예측하는 그래프를 나타낸다.
도 8은 신체 기능 파라미터에 의한 노쇠 정도 예측 민감도와 특이도를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 노쇠 정도 예측 방법을 나타내는 흐름도이다.
이하의 설명에 있어서, 다른 도면에 기재되어 있지 않은 한, 동일한 요소에는 동일한 도면 부호가 사용되고, 중복되는 설명은 생략된다.1 is a view showing an apparatus for predicting the degree of senility according to an embodiment of the present invention.
2 is a diagram illustrating a processor in an apparatus for predicting the degree of senility according to an embodiment of the present invention.
3 shows a specific embodiment of extracting body function parameters.
4A and 4B are two-dimensional graphs showing the relationship between actual age and walking speed, walking speed and senility, respectively.
5 shows a graph of survival probability of a specific walking speed group by Kaplan-Meier analysis.
6 shows the distribution of walking speed according to gender in the elderly living in the Korean community.
7 shows a graph for predicting the degree of senility by using walking speed and other measurement values together.
8 shows the sensitivity and specificity of predicting the degree of senescence by the body function parameters.
9 is a flowchart illustrating a method for predicting the degree of senility according to an embodiment of the present invention.
In the following description, the same reference numerals are used for the same elements, and overlapping descriptions are omitted unless described in other drawings.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은, 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.Advantages and features of the disclosed embodiments, and methods of achieving them, will become apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and are common in the art to which the present invention pertains. It is only provided to fully inform those with knowledge of the scope of the invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예들에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and disclosed embodiments will be described in detail.

본 명세서에서, 노쇠 정도(frailty index)는 피험자의 노쇠 상태를 나타내는 지표를 의미할 수 있다. 노쇠 정도는 개인이 가지고 있는 노쇠와 관련된 증상을 노쇠와 관련된 증상들의 총 수로 나눈 비율을 나타낼 수 있다. 따라서, 노쇠와 관련된 증상이 전혀 없을 경우, 노쇠 정도는 0 일 수 있고, 반대로 노쇠와 관련된 증상이 전부 나타날 경우, 노쇠 정도는 1 일 수 있다. 즉, 노쇠 정도가 높을수록 피험자의 신체 기능이 나쁜 상태라는 것을 의미할 수 있다. 노쇠 정도를 예측하기 위해 사용되는 노쇠와 관련된 증상들의 수 및 종류는 사용자에 의해 조절될 수 있다. 실시 예에 따라, 노쇠 정도는 상기 비율에 따라 0부터 N 사이의 값으로 결정될 수 있다. 여기서 N은 자연수일 수 있다.In the present specification, the degree of frailty (frailty index) may refer to an index indicating the frailty state of the subject. The degree of senility may represent the ratio of the symptoms associated with senility that an individual has divided by the total number of symptoms associated with senescence. Therefore, when there are no symptoms related to senescence, the degree of senescence may be 0, and conversely, when all the symptoms related to senescence appear, the degree of senescence may be 1. That is, as the degree of senescence increases, it may mean that the subject's physical function is in a poor state. The number and type of symptoms associated with senescence used to predict the degree of senescence may be controlled by the user. According to an embodiment, the degree of senility may be determined as a value between 0 and N according to the ratio. Here, N may be a natural number.

본 명세서에서, 코호트(cohort)는 통계상의 특정 인자를 공유하는 집단을 의미할 수 있다. 코호트 연구를 이용하여, 특정 인자에 노출된 집단과 노출되지 않은 집단을 비교함으로써, 특정 인자에 따른 연구 대상 질병의 발생률 등을 추적할 수 있다. 예를 들어, 코호트 연구를 이용하여, 보행 속도 또는 노쇠 정도에 따라 분류된 집단의 생존률 등을 추적할 수 있다.As used herein, a cohort may refer to a group sharing a specific statistical factor. Using a cohort study, by comparing a group exposed to a specific factor with a group not exposed to it, it is possible to track the incidence rate of a disease to be studied according to a specific factor. For example, a cohort study can be used to track the survival rate of groups classified according to walking speed or the degree of senility.

이하, 첨부된 도면을 참조하여, 본 발명의 실시예들에 따른 노쇠 정도 예측 장치에 대하여 상세하게 설명하기로 한다.Hereinafter, an apparatus for predicting the degree of senility according to embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치를 나타내는 도면이다.1 is a view showing an apparatus for predicting the degree of senility according to an embodiment of the present invention.

도 1을 참조하면, 노쇠 정도 예측 장치(100)는, 디스플레이(110), 메모리(130), 센서(150), 프로세서(170) 및 통신 인터페이스(190)를 포함할 수 있다. 실시예에 따라, 노쇠 정도 예측 장치(100)는 피험자(OBJ)의 신체 기능(physical performance)을 평가하고 노쇠 정도를 예측하는데 필요한 추가적인 구성을 더 포함할 수 있다.Referring to FIG. 1 , the apparatus 100 for predicting the degree of senility may include a display 110 , a memory 130 , a sensor 150 , a processor 170 , and a communication interface 190 . According to an embodiment, the apparatus 100 for predicting the degree of senility may further include an additional component necessary for evaluating the physical performance of the subject OBJ and predicting the degree of senility.

디스플레이(110)는 피험자(OBJ)의 모션 정보, 신체 기능 평가 결과, 노쇠 정도 예측 결과 등을 표시하는 출력 인터페이스 기능을 수행할 수 있다. 여기서, 모션 정보는 피험자(OBJ)의 자세(pose)나 형상(shape)에 관한 신체 정보를 포함할 수 있다. 일 예에서, 모션 정보는 센서(150)를 통해 획득되는 피험자(OBJ)의 거리 정보 및 영상 정보를 입력으로 하여 인공신경망(Artificial Neural Network: ANN)을 실행함으로써 추정될 수 있다. 신체 기능 평가 결과는, 피험자(OBJ)의 모션 정보로부터 추출되는 적어도 하나의 신체 기능 파라미터(physical performance parameter)를 포함할 수 있다. 예를 들어, 신체 기능 평가 결과는, 피험자(OBJ)의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), 및 TUG(timed-up-and-go) 시간 중 적어도 하나를 포함할 수 있다. 노쇠 정도 예측 결과는, 피험자(OBJ)의 신체 기능 파라미터로부터 예측되는 노쇠 정도(frailty index), 생체 나이(physiological age), 근감소증(sarcopenia), 및 낙상 위험도(fall-risk) 중 적어도 하나를 포함할 수 있다.The display 110 may perform an output interface function of displaying motion information of the subject OBJ, a body function evaluation result, a senescence degree prediction result, and the like. Here, the motion information may include body information regarding the pose or shape of the subject OBJ. In one example, motion information may be estimated by executing an artificial neural network (ANN) by inputting distance information and image information of the subject OBJ obtained through the sensor 150 . The body function evaluation result may include at least one physical performance parameter extracted from motion information of the subject OBJ. For example, the physical function evaluation result is a subject's (OBJ) gait speed, balance time, sit-to-stand time, and timed-up-TUG (TUG). and-go) time. The senility prediction result includes at least one of a frailty index, a physical age, sarcopenia, and a fall-risk predicted from a physical function parameter of the subject (OBJ). can do.

일 예에서, 디스플레이(110)는 터치스크린 패널로 구현되어 입력 인터페이스 기능을 수행할 수도 있다. 예를 들어, 사용자는 디스플레이(110)를 통해 피험자(OBJ)의 나이, 성별, 질병 유무 등의 인적 사항을 입력할 수 있다. 또한, 사용자는 디스플레이(110)를 통해 신체 기능 평가 및 노쇠 정도 예측을 위한 장치 설정 정보를 입력할 수 있다.In one example, the display 110 may be implemented as a touch screen panel to perform an input interface function. For example, the user may input personal information such as age, gender, and presence or absence of a disease of the subject OBJ through the display 110 . In addition, the user may input device setting information for evaluating a body function and predicting a degree of senility through the display 110 .

메모리(130)는 노쇠 정도 예측 장치(100)의 동작에 필요한 각종 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는 노쇠 정도 예측 장치(100)를 구동하기 위한 동작 프로그램을 저장할 수 있다. 또한, 메모리(130)는 피험자(OBJ)의 신체 정보를 나타내는 센싱 데이터와 피험자(OBJ)의 신체 정보에 기초하여 획득되는 신체 기능 평가 결과 및 노쇠 정도 예측 결과에 관한 데이터를 저장할 수 있다. 일 예에서, 메모리(130)는 NAND 플래시 메모리 등과 같은 비휘발성 메모리 및 DRAM 등과 같은 휘발성 메모리 중 적어도 하나를 포함할 수 있다.The memory 130 may store various data necessary for the operation of the apparatus 100 for predicting the degree of senility. For example, the memory 130 may store an operation program for driving the senility prediction apparatus 100 . In addition, the memory 130 may store sensing data representing body information of the subject OBJ and data regarding a result of a body function evaluation obtained based on the body information of the subject OBJ and a result of predicting the degree of senility. In one example, the memory 130 may include at least one of a non-volatile memory, such as a NAND flash memory, and a volatile memory, such as a DRAM.

센서(150)는 피험자(OBJ)의 거리 정보 및 영상 정보를 획득할 수 있다. 일 예에서, 센서(150)에 대하여 소정의 유효 검출 영역(EDA)이 설정될 수 있다. 이 경우, 센서(150)는 유효 검출 영역(EDA) 내에서 피험자(OBJ)의 거리 정보 및 영상 정보를 획득할 수 있다. 유효 검출 영역(EDA)은 센서(150)의 사양(specification)에 따라 결정되는 소정의 범위 내에서 사용자에 의해 조절될 수 있다.The sensor 150 may acquire distance information and image information of the subject OBJ. In one example, a predetermined effective detection area EDA may be set for the sensor 150 . In this case, the sensor 150 may acquire distance information and image information of the subject OBJ within the effective detection area EDA. The effective detection area EDA may be adjusted by a user within a predetermined range determined according to a specification of the sensor 150 .

센서(150)는 거리 센서(151) 및 이미지 센서(152)를 포함할 수 있다.The sensor 150 may include a distance sensor 151 and an image sensor 152 .

거리 센서(151)는, 초음파, 적외선, 레이저 등과 같은 다양한 파형의 검사파를 출력하고, 피험자(OBJ)에 의해 반사된 검사파를 감지함으로써, 관측점으로부터 피험자(OBJ)까지의 거리 및 방향에 관한 거리 정보를 획득할 수 있다. 일 예에서, 거리 센서(151)는 ToF 센서(Time of Flight Sensor), 초음파 센서, 구조형 광 센서(Structured Light Sensor), 적외선 센서 및 라이다(LiDAR) 센서 중 적어도 하나를 포함할 수 있다.The distance sensor 151 outputs inspection waves of various waveforms, such as ultrasonic waves, infrared rays, lasers, etc., and detects the inspection waves reflected by the subject OBJ, so as to relate to the distance and direction from the observation point to the subject OBJ Distance information can be obtained. In one example, the distance sensor 151 may include at least one of a time of flight sensor (ToF) sensor, an ultrasonic sensor, a structured light sensor, an infrared sensor, and a LiDAR sensor.

이미지 센서(152)는 광원으로부터 출력되어 피험자(OBJ)에 의해 반사된 광 신호를 감지함으로써, 피험자(OBJ)의 영상 정보를 획득할 수 있다. 본 명세서에서, 이미지 센서(152)는 컬러 카메라라고 지칭될 수도 있다. 일 예에서, 이미지 센서(152)는 광원, 픽셀 어레이 및 광 감지 회로를 포함할 수 있다. 광원은 특정 대역 파장의 광 신호를 출력하는 복수의 발광 소자들(예를 들어, VCSEL(Vertical Cavity Surface Emitting Laser), LED 등)을 포함할 수 있다. 픽셀 어레이는 복수의 픽셀들을 포함하며, 각각의 픽셀은 복수의 광 감지 소자들(예를 들어, 포토 다이오드 등) 및 컬러 필터(예를 들어, RGB 필터)를 포함할 수 있다.The image sensor 152 may acquire image information of the subject OBJ by sensing an optical signal output from the light source and reflected by the subject OBJ. In this specification, the image sensor 152 may be referred to as a color camera. In one example, the image sensor 152 may include a light source, a pixel array, and light sensing circuitry. The light source may include a plurality of light emitting devices (eg, a vertical cavity surface emitting laser (VCSEL), an LED, etc.) that output an optical signal of a specific band wavelength. The pixel array may include a plurality of pixels, and each pixel may include a plurality of photo-sensing elements (eg, a photodiode, etc.) and a color filter (eg, an RGB filter).

일 예에서, 센서(150)는 단일의 거리 센서 및 단일의 이미지 센서를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 거리 센서(151) 및 이미지 센서(152)는 하나의 모듈로서 통합적으로 구현될 수 있으므로, 센서 설치를 위한 별도의 시험 공간을 확보할 필요가 없고, 컴팩트 폼 팩터(compact form factor)를 달성할 수 있다는 이점이 있다.In one example, sensor 150 may have a single camera structure including a single distance sensor and a single image sensor. In addition, since the distance sensor 151 and the image sensor 152 can be integrally implemented as one module, there is no need to secure a separate test space for sensor installation, and a compact form factor is achieved. There are advantages to being able to

프로세서(170)는 노쇠 정도 예측 장치(100)의 전반적인 동작을 제어할 수 있다. 또한, 프로세서(170)는 센서(150)에 의해 획득되는 피험자(OBJ)의 신체 정보에 기초하여 피험자(OBJ)의 신체 기능을 평가하고 노쇠 정도를 예측할 수 있다. 예를 들어, 프로세서(170)는 센서(150)에 의해 획득되는 피험자(OBJ)의 거리 정보 및 영상 정보에 기초하여, 피험자(OBJ)의 자세나 형상 등과 같은 모션 정보를 획득할 수 있다. 프로세서(170)는 획득된 모션 정보로부터 피험자(OBJ)의 신체 기능 파라미터를 추출하고, 추출된 신체 기능 파라미터에 기초하여 피험자(OBJ)의 노쇠 정도를 예측할 수 있다.The processor 170 may control the overall operation of the apparatus 100 for predicting the degree of senility. In addition, the processor 170 may evaluate the physical function of the subject OBJ based on the body information of the subject OBJ obtained by the sensor 150 and predict the degree of senility. For example, the processor 170 may acquire motion information such as a posture or shape of the subject OBJ based on distance information and image information of the subject OBJ obtained by the sensor 150 . The processor 170 may extract a body function parameter of the subject OBJ from the obtained motion information, and predict the degree of senescence of the subject OBJ based on the extracted body function parameter.

한편, 거리 센서(151)에 의해 획득되는 거리 정보는 피험자(OBJ)의 모션 정보를 추출하기에는 부족한 데이터량을 가질 수 있다. 따라서, 일 실시예에서, 프로세서(170)는, 거리 센서(151)에 의해 획득되는 거리 정보와 이미지 센서(152)에 의해 획득되는 영상 정보를 인공신경망(ANN)을 이용하여 융합(fusion)함으로써, 피험자(OBJ)의 거리 정보를 업샘플링할 수 있다. 여기서, 인공신경망(ANN)은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 또는 GAN(Generative Adversarial Network)을 포함할 수 있고, 프로세서(170) 내부에 구현되거나, 또는 프로세서(170) 외부에 별도의 프로세서로서 구현될 수 있다.Meanwhile, distance information obtained by the distance sensor 151 may have an insufficient amount of data to extract motion information of the subject OBJ. Accordingly, in one embodiment, the processor 170 fusion (fusion) the distance information obtained by the distance sensor 151 and the image information obtained by the image sensor 152 using an artificial neural network (ANN), , it is possible to upsample the distance information of the subject OBJ. Here, the artificial neural network (ANN) may include a Deep Neural Network (DNN), a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), or a Generative Adversarial Network (GAN), and is implemented inside the processor 170 or , or may be implemented as a separate processor outside the processor 170 .

통신 인터페이스(190)는 외부 장치와 데이터를 송수신하는 통신 기능을 수행할 수 있다. 예를 들어, 피험자(OBJ)의 거리 정보 및 영상 정보는 통신 인터페이스(190)를 통해 외부 장치로 송수신될 수 있다. 또한, 거리 정보 및 영상 정보에 기반하여 획득되는, 피험자(OBJ)의 신체 기능 파라미터 추출 결과 또는 노쇠 정도 예측 결과는 통신 인터페이스(190)를 통해 외부 장치로 송수신될 수 있다. 또한, 노쇠 정도 예측 장치(100)의 사용자 정보 및 각종 기기 설정 값들은 통신 인터페이스(190)를 통해 외부 장치로 송수신될 수 있다.The communication interface 190 may perform a communication function of transmitting and receiving data with an external device. For example, distance information and image information of the subject OBJ may be transmitted/received to and from an external device through the communication interface 190 . In addition, a result of extracting a body function parameter or a result of predicting the degree of senility of the subject OBJ, which is obtained based on distance information and image information, may be transmitted/received to an external device through the communication interface 190 . In addition, user information and various device setting values of the senility prediction apparatus 100 may be transmitted/received to and from an external device through the communication interface 190 .

이상, 노쇠 정도 예측 장치(100)는 센서(150)에 의해 획득되는 피험자(OBJ)의 거리 정보 및 영상 정보로부터 피험자(OBJ)의 신체 기능 파라미터를 추출하고, 추출된 신체 기능 파라미터에 기초하여 노쇠 정도를 예측할 수 있다. 일 예에서, 센서(150)는 단일의 거리 센서(151) 및 단일의 이미지 센서(152)를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 일 예에서, 프로세서(170)는 거리 센서(151)에 의해 획득되는 피험자(OBJ)의 거리 정보를 이미지 센서(152)에 의해 획득되는 영상 정보를 이용하여 업샘플링할 수 있다.Above, the senescence degree prediction apparatus 100 extracts the body function parameters of the subject OBJ from distance information and image information of the subject OBJ obtained by the sensor 150, and based on the extracted body function parameters, senility extent can be predicted. In one example, the sensor 150 may have a single camera structure including a single distance sensor 151 and a single image sensor 152 . Also, in an example, the processor 170 may up-sample distance information of the subject OBJ obtained by the distance sensor 151 using image information obtained by the image sensor 152 .

도 2는 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치 내의 프로세스의 구성을 나타내는 도면이다.2 is a diagram showing the configuration of a process in the device for predicting the degree of senility according to an embodiment of the present invention.

도 2를 참조하면, 프로세서(200)는 모션 정보 추정부(210), 신체 기능 파라미터 추출부(230) 및 노쇠 정도 예측부(250)를 포함할 수 있다.Referring to FIG. 2 , the processor 200 may include a motion information estimator 210 , a body function parameter extractor 230 , and a degree of senility predictor 250 .

모션 정보 추정부(210)는 거리 센서에 의해 획득되는 거리 정보 및 이미지 센서에 의해 획득되는 영상 정보에 기반하여, 피험자의 자세(pose)나 형상(shape)에 관한 모션 정보를 추정할 수 있다.The motion information estimator 210 may estimate motion information regarding a pose or shape of the subject based on distance information acquired by the distance sensor and image information acquired by the image sensor.

도 1을 참조하여 전술한 바와 같이, 거리 센서에 의해 획득되는 거리 정보는 피험자의 모션 정보를 추출하기에는 부족한 데이터량을 가질 수 있다. 예를 들어 ToF 카메라나 라이다 센서에 의해 획득되는 거리 정보는 데이터가 희소(sparse)하다는 특징을 갖는다. 따라서, 거리 센서에 의해 획득되는 거리 정보만으로는, 피험자의 자세나 형상과 같은 모션 정보를 정확하게 추정하는 것은 매우 어려울 수 있다. 이에 반해, 이미지 센서에 의해 획득되는 영상 정보는, 거리 정보를 포함하지는 않지만, 거리 센서에 의해 획득되는 거리 정보에 비하여 데이터가 밀집(dense)하다는 특징을 갖는다. 따라서, 일 실시예에서, 프로세서(200)는 피험자의 영상 정보를 이용하여 피험자의 거리 정보를 업샘플링할 수 있다. 예를 들어, 프로세서(200)는 인공신경망을 기반으로 거리 정보 및 영상 정보를 융합(fusion)함으로써, 거리 정보를 업샘플링할 수 있다. 이 경우, 저해상도의 거리 정보 및 고해상도 영상 정보를 입력으로 하여 고해상도의 거리 정보를 출력하기 위하여, 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.As described above with reference to FIG. 1 , distance information obtained by the distance sensor may have an insufficient amount of data to extract motion information of a subject. For example, distance information obtained by a ToF camera or a lidar sensor has a characteristic that data is sparse. Accordingly, it may be very difficult to accurately estimate motion information such as a posture or shape of a subject using only distance information obtained by the distance sensor. On the other hand, image information acquired by the image sensor does not include distance information, but data is denser than distance information acquired by the distance sensor. Accordingly, in an embodiment, the processor 200 may upsample the subject's distance information by using the subject's image information. For example, the processor 200 may upsample the distance information by fusion of distance information and image information based on an artificial neural network. In this case, in order to output high-resolution distance information by inputting low-resolution distance information and high-resolution image information, a super-resolution artificial neural network technique may be applied.

모션 정보 추정부(210)는 인공신경망을 이용하여 피험자의 모션 정보를 추정할 수 있다. 예를 들어, 모션 정보 추정부(210)는 피험자의 거리 정보 및 영상 정보를 입력으로 하여 DNN(Deep Neural Network)을 실행함으로써, 피험자의 모션 정보를 추정할 수 있다.The motion information estimator 210 may estimate motion information of a subject using an artificial neural network. For example, the motion information estimator 210 may estimate the motion information of the subject by executing a deep neural network (DNN) with distance information and image information of the subject as inputs.

모션 정보 추정부(210)는 기존의 경우와 달리 피험자의 영상 정보에 더하여 거리 정보까지 함께 이용하여 피험자의 모션 정보를 추정함으로써, 추정 결과의 정확도 및 신뢰도를 보다 향상시킬 수 있다.Unlike the conventional case, the motion information estimator 210 estimates the subject's motion information by using distance information in addition to the subject's image information, thereby further improving the accuracy and reliability of the estimation result.

또한, 기존의 경우 상대적 거리 정보를 포함하는 모션 정보를 추정할 수 있는 데 반하여, 모션 정보 추정부(210)는 절대적 거리 정보를 포함하는 모션 정보를 추정할 수 있다. 이에 따라, 다양한 신체 기능 파라미터들 중에서 피험자의 절대적 거리 정보가 필수적으로 요구되는 파라미터, 예를 들어, 보행 속도 등에 기반하여 피험자의 노쇠 정도를 예측할 수 있게 된다. 구체적으로, 모션 정보 추정부(210)는 피험자의 자세 및 형상 추정에 특화된 심층신경망(DNN) 모델을 이용하여 피험자의 거리 정보 및 영상 정보로부터 피험자의 신체 키포인트를 검출하고, 검출된 신체 키포인트에 대한 절대 좌표를 추정할 수 있다. 즉, 기존의 2D/3D 자세 추정기들이 피험자의 상대 좌표만을 출력할 수 있는 것과 달리, 모션 정보 추정부(210)는 심층신경망(DNN) 모델을 이용하여 피험자의 절대 좌표를 출력할 수 있으므로, 피험자의 보행 속도 등과 같은 모션 정보가 필요한 신체 기능 파라미터들에 대해서도 본 발명의 실시예들이 적용될 수 있다.Also, in the conventional case, motion information including relative distance information may be estimated, whereas the motion information estimator 210 may estimate motion information including absolute distance information. Accordingly, it is possible to predict the degree of senescence of the subject based on a parameter that requires absolute distance information of the subject, for example, walking speed, among various body function parameters. Specifically, the motion information estimator 210 detects the subject's body key points from the subject's distance information and image information using a deep neural network (DNN) model specialized in estimating the subject's posture and shape, and Absolute coordinates can be estimated. That is, unlike the existing 2D/3D posture estimators that can output only the relative coordinates of the subject, the motion information estimator 210 can output the absolute coordinates of the subject using a deep neural network (DNN) model. Embodiments of the present invention may also be applied to body function parameters requiring motion information, such as walking speed.

한편, 일 예에서, 모션 정보를 추정하기 위한 인공신경망은 거리 정보를 업샘플링하기 위한 인공신경망과 서로 다른 네트워크를 구성할 수 있다.Meanwhile, in an example, an artificial neural network for estimating motion information may configure a different network from an artificial neural network for upsampling distance information.

신체 기능 파라미터 추출부(230)는 모션 정보 추정부(210)에 의해 획득되는 모션 정보로부터 피험자의 다양한 신체기능 파라미터들(physical performance parameters)을 추출할 수 있다. 예를 들어, 신체 기능 파라미터 추출부(230)는 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) time 등을 추출할 수 있다.The body function parameter extractor 230 may extract various physical performance parameters of the subject from the motion information obtained by the motion information estimator 210 . For example, the body function parameter extractor 230 may include a gait speed, a balance time, a sit-to-stand time, and a timed-up-and (TUG) of the subject. -go) time, etc. can be extracted.

피험자의 신체기능 파라미터를 추출하기 위하여, 신체 기능 파라미터 추출부(230)는 일차적으로 검사 상황을 인지하고 분류하는 작업을 수행할 수 있다. 예를 들어, 신체 기능 파라미터 추출부(230)는 현재 검사 상황이 피험자의 보행 상황인지, 앉았다 일어서기 상황인지 또는 균형 유지 상황인지 여부 등을 인지하고 분류할 수 있다. 검사 상황 인지 및 분류 작업은 사용자 입력 또는 액션 인지(action recognition) 인공신경망을 이용하여 수행될 수 있다. 여기서, 액션 인지 인공신경망이란 입력된 영상(즉, 피험자의 모션 정보) 내에서, 서로 다른 액션들을 식별할 수 있는 네트워크를 의미할 수 있다. 액션 인지 인공신경망의 경우, 입력된 영상으로부터 공간적인 특성과 시간적인 특성을 각각 추출한 후, 공간적인 특성과 시간적인 특성을 융합(fusion)한 결과값을 출력할 수 있다. In order to extract the body function parameter of the subject, the body function parameter extractor 230 may first recognize and classify the examination situation. For example, the body function parameter extractor 230 may recognize and classify whether the current test situation is a walking situation of the subject, a sitting and standing situation, or a balance maintenance situation. The inspection situation recognition and classification task may be performed using a user input or an action recognition artificial neural network. Here, the action-aware artificial neural network may refer to a network capable of identifying different actions within an input image (ie, motion information of a subject). In the case of an action-aware artificial neural network, after extracting spatial and temporal characteristics from an input image, respectively, a result of fusion of spatial and temporal characteristics may be output.

신체 기능 파라미터 추출부(230)는, 검사 상황을 인지한 이후, 현재 검사 상황에서 획득하고자 하는 피험자의 신체 기능 파라미터를 모션 정보로부터 추출할 수 있다. 모션 정보로부터 신체 기능 파라미터를 추출하는 방법은 검사 상황이나 획득하고자 하는 파라미터의 종류에 따라 다양하게 결정될 수 있다. 예를 들어, 도 3을 참조하면, 피험자의 보행 검사 상황에서 보행 파라미터를 추출하기 위하여, 신체 기능 파라미터 추출부(230)는, 모션 정보 내의 좌/우 발목 키포인트 시공간 정보로부터 피험자의 보행 궤적을 실시간 모사하고, 상기 보행 궤적에 기반하여 피험자의 보행 속도, 분속수 등을 추출할 수 있다. After recognizing the examination situation, the body function parameter extractor 230 may extract a body function parameter of the subject to be acquired in the current examination situation from the motion information. A method of extracting a body function parameter from the motion information may be variously determined according to an examination situation or a type of a parameter to be acquired. For example, referring to FIG. 3 , in order to extract a gait parameter in a gait test situation of a subject, the body function parameter extractor 230 may obtain a gait trajectory of the subject from the spatiotemporal information of the left and right ankle key points in the motion information in real time. It is simulated, and based on the walking trajectory, the subject's walking speed, speed, etc. may be extracted.

노쇠 정도 예측부(250)는 신체 기능 파라미터 추출부(230)로부터 획득되는 피험자의 신체 기능 파라미터들에 기반하여 피험자의 노쇠 정도를 예측할 수 있다. 또한, 노쇠 정도 예측부(250)는 노쇠 정도(frailty index) 이외에도, 피험자의 생체 나이(physiological age), 근감소증(sarcopenia) 정도, 또는 낙상 위험도(fall-risk) 등을 정량적으로 예측할 수 있다.The degree of senility predicting unit 250 may predict the degree of senility of the subject based on the subject's body function parameters obtained from the body function parameter extracting unit 230 . In addition, the degree of senility predicting unit 250 may quantitatively predict, in addition to a frailty index, a physiological age, a degree of sarcopenia, or a fall-risk of a subject.

일 예에서, 노쇠 정도 예측부(250)는, 임상 연구 등을 통해 획득되는 소정의 회기식을 이용하여 피험자의 노쇠 정도를 예측할 수 있다. 다른 예에서, 노쇠 정도 예측부(250)는, 임상 연구 결과 데이터에 기반하여 기계 학습(machine learning)을 수행함으로써 획득되는 소정의 학습 모델을 이용하여 피험자의 노쇠 정도를 예측할 수 있다.In one example, the degree of senility predicting unit 250 may predict the degree of senility of the subject using a predetermined regression equation obtained through clinical research or the like. In another example, the degree of senility predicting unit 250 may predict the degree of senility of the subject using a predetermined learning model obtained by performing machine learning based on clinical research result data.

도 4a 및 도 4b는 각각 실제 나이와 보행 속도, 보행 속도와 노쇠 정도의 관계를 나타낸 2차원 그래프이다. 도 4a와 도 4b의 그래프는 통계적 데이터의 선형 회귀 분석을 통해 획득된 것으로, 보행 속도와 피험자의 생리학적 나이 및 노쇠 정도 간의 관계가 선형 함수의 형태로 표현되어 있다.4A and 4B are two-dimensional graphs showing the relationship between actual age and walking speed, walking speed and senility, respectively. The graphs of FIGS. 4A and 4B are obtained through linear regression analysis of statistical data, and the relationship between the walking speed and the physiological age and degree of senility of the subject is expressed in the form of a linear function.

도 4a의 x축은 평균 보행 속도를 m/s 단위로 나타낸다. 그리고 도 4a의 y축은 실제 나이를 나타낸다. 도 4a에 따르면, 피험자의 실제 나이가 증가할수록 평균 보행 속도가 감소함을 알 수 있다. 따라서, 보행 속도가 노쇠와 연관성이 있음을 알 수 있다.The x-axis of FIG. 4A represents the average walking speed in m/s. And the y-axis of FIG. 4A represents the actual age. Referring to FIG. 4A , it can be seen that the average walking speed decreases as the actual age of the subject increases. Therefore, it can be seen that walking speed is correlated with senility.

도 4b의 x축은 평균 보행 속도를 m/s 단위로 나타낸다. 그리고 도 4b의 y축은 노쇠 정도를 나타낸다. 도 4b에 따르면, 피험자의 노쇠 정도가 증가할수록 평균 보행 속도가 감소함을 알 수 있다. 따라서 보행 속도가 노쇠와 연관성이 있음을 알 수 있다.The x-axis of FIG. 4B represents the average walking speed in m/s. And the y-axis of Figure 4b represents the degree of senility. According to FIG. 4B , it can be seen that the average walking speed decreases as the degree of senescence of the subject increases. Therefore, it can be seen that walking speed is correlated with senility.

결과적으로, 도 4a와 도 4b를 참조하면, 보행 속도의 측정을 통해, 피험자의 생리학적 나이 및 노쇠 정도를 추정할 수 있다.As a result, referring to FIGS. 4A and 4B , the physiological age and degree of senility of the subject can be estimated by measuring the walking speed.

도 5는 카플란-마이어 분석(Kaplan-Meier analysis)에 의한 특정 보행 속도 그룹의 생존 확률 그래프를 나타낸다. 카플란-마이어 분석이란, 특정 조건을 가진 사람들의 시간에 따른 생존 확률을 나타내며, 충분히 큰 샘플 크기의 인구집단을 긴 시간 동안 관측함으로써 획득될 수 있다.5 shows a graph of survival probability of a specific walking speed group by Kaplan-Meier analysis. The Kaplan-Meier analysis indicates the survival probability over time of people with a specific condition, and can be obtained by observing a population of a sufficiently large sample size over a long period of time.

도 5의 x축은 총 코호트 참가자 중 생존자의 비율을 나타내고, y축은 측정 기간을 나타낸다. 도 5에 의하면, 코흐트 참가자들을 보행 속도에 따라 4가지 그룹(510, 520, 530, 540)으로 나누고, 각 그룹마다 기간에 따른 사망자를 관측한 결과가 표시되어 있다. 보행속도 최하위 그룹(540)의 생존자 비율의 하락폭이 가장 크며, 보행 속도 최상위 그룹(510)의 생존자 비율의 하락폭이 제일 작다. 즉, 보행 속도가 빠른 그룹일수록 시계열 관찰에서 생존률이 높음을 알 수 있다.5, the x-axis represents the proportion of survivors among the total cohort participants, and the y-axis represents the measurement period. Referring to FIG. 5 , the cocht participants are divided into four groups ( 510 , 520 , 530 , 540 ) according to their walking speed, and the results of observing the number of deaths according to the period for each group are displayed. The decrease in the proportion of survivors in the group with the lowest walking speed 540 is the largest, and the decrease in the proportion of survivors in the group 510 with the highest walking speed is the smallest. That is, it can be seen that the faster the walking speed group, the higher the survival rate in time series observation.

결과적으로, 도 5를 참조하면, 보행 속도의 측정을 통해, 피험자의 생존 확률을 예측할 수 있다.As a result, referring to FIG. 5 , the survival probability of the subject can be predicted through the measurement of the walking speed.

이하 표 1에 따르면, 보행 속도과 강한 연관성이 있는 항목들이 나열되어 있다. 인구집단 전체를 중앙값보다 빠르게 걷는 참여자(고속도 보행자)와 중앙값보다 느리게 걷는 참여자(저속도 보행자)로 구분하는 경우, 통계적으로 유의하게 다중이환(multimorbidity), 악력(grip strength), 신체기능(SPPB), 노쇠 정도(K-FRAIL 및 CHS frailty score), 일상생활 및 도구적 일상생활 수행력(ADL, IADL), 우울, 인지, 다약제 사용(polypharmacy) 낙상력 등에서 차이가 관찰됨을 알 수 있다. 즉, 노쇠 진단 대상자의 보행 속도를 측정함으로써 피험자의 건강 상태를 유추할 수 있다.According to Table 1 below, items strongly correlated with walking speed are listed. When the entire population group was divided into participants walking faster than the median (high-speed pedestrians) and participants walking slower than the median (slow-speed pedestrians), multimorbidity, grip strength, physical function (SPPB), It can be seen that differences were observed in the degree of frailty (K-FRAIL and CHS frailty scores), performance of daily living and instrumental activities (ADL, IADL), depression, cognition, and polypharmacy and falling history. That is, by measuring the walking speed of a subject diagnosed with senility, the health condition of the subject can be inferred.

항목Item 저속도 보행자low speed pedestrian 고속도 보행자highway pedestrian P 값P value multimorbidity (n)multimorbidity (n) 310.00310.00 221.00221.00 < 0.001< 0.001 Dominant grip strength (mean, sd)Dominant grip strength (mean, sd) 19.9219.92 24.9024.90 < 0.001< 0.001 SPPB score (mean, sd)SPPB score (mean, sd) 6.616.61 9.379.37 < 0.001< 0.001 K-FRAIL score (mean, sd)K-FRAIL score (mean, sd) 1.631.63 0.930.93 < 0.001< 0.001 CHS score (mean, sd)CHS score (mean, sd) 2.392.39 1.251.25 < 0.001< 0.001 ADL disability (n, %)ADL disability (n, %) 125.00125.00 56.0056.00 < 0.001< 0.001 IADL disability (n, %)IADL disability (n, %) 294.00294.00 150.00150.00 < 0.001< 0.001 Depression (n, %)Depression (n, %) 102.00102.00 34.0034.00 < 0.001< 0.001 Cognitive dysfunction (n, %)Cognitive dysfunction (n, %) 270.00270.00 125.00125.00 < 0.001< 0.001 Polypharmacy (n, %)Polypharmacy (n, %) 193.00193.00 113.00113.00 < 0.001< 0.001 Fall history for previous 1 year (mean, sd)Fall history for previous 1 year (mean, sd) 0.330.33 0.160.16 0.0010.001

도 6은 한국 지역사회 거주 노인에서 성별에 따른 보행 속도의 분포도를 나타낸다. 도 6의 좌측 그래프는 남성의 보행속도 분포도를 나타낸다. 그리고 도 6의 우측 그래프는 여성의 보행속도 분포도를 나타낸다. 남성과 여성은 보행 속도 분포에서 차이가 있기 때문에, 피험자의 생리적 나이를 측정함에 있어서, 보행속도와 더불어 피험자의 성별이 고려될 필요가 있다.6 shows the distribution of walking speed according to gender in the elderly living in the Korean community. The left graph of FIG. 6 shows the male walking speed distribution. And the graph on the right of FIG. 6 shows the female walking speed distribution. Since there is a difference in the distribution of walking speed between men and women, in measuring the physiological age of a subject, it is necessary to consider the subject's gender as well as the walking speed.

도 7은 보행 속도와 다른 측정 값을 같이 이용하여, 노쇠 정도를 예측하는 그래프를 나타낸다. 도 7에서는 보행 속도와 상완근 둘레를 측정하여 보행 속도 파라미터와 상완근 둘레 파라미터를 더한 값과 노쇠 정도의 연관성을 나타낸다. 상완근 둘레 파라미터는 피험자의 근육량과 관계가 있어 노쇠 정도와 밀접한 관련을 가지는 바, 보행 속도와 함께 노쇠 정도를 예측함에 있어서, 중요한 요인이 된다.7 shows a graph for predicting the degree of senility by using walking speed and other measurement values together. In FIG. 7 , the gait speed and the girth of the brachial muscle are measured, and the correlation between the gait speed parameter and the brachial girth parameter is added and the degree of senescence is shown. The brachial muscle girth parameter is closely related to the degree of senility because it is related to the muscle mass of the subject, and is an important factor in predicting the degree of senility along with the walking speed.

도 7의 좌측 그래프에서는 보행 속도 파라미터와 노쇠 정도의 관계를 나타낸다. 상기 좌측 그래프에 의하면, 보행 속도 파라미터가 감소할수록 노쇠 정도가 증가함을 알 수 있다.The graph on the left of FIG. 7 shows the relationship between the walking speed parameter and the degree of senility. According to the graph on the left, it can be seen that the degree of senility increases as the walking speed parameter decreases.

도 7의 중간 그래프에서는 상완근 둘레 파라미터와 노쇠 정도의 관계를 나타낸다. 상기 중간 그래프에 의하면, 상완근 둘레 파라미터가 감소할수록 노쇠 정도가 증가함을 알 수 있다.The middle graph of FIG. 7 shows the relationship between the brachial muscle circumference parameter and the degree of senility. According to the intermediate graph, it can be seen that the degree of senility increases as the brachial muscle circumference parameter decreases.

도 7의 우측 그래프에서는 도 7의 좌측 그래프 및 중간 그래프의 결과에 따라, 보행 속도 파라미터와 상완근 둘레 파라미터에 기초하여 획득된 평가 값과 노쇠 정도의 관계를 나타낸다. 상기 우측 그래프에 의하면 평가 값이 증가할수록 노쇠 정도가 증가함을 알 수 있다. 2가지 이상의 요인을 조합하여 노쇠 정도를 예측할 때, 예측 정확성이 증가할 수 있다. 도 7에서는 보행 속도와 상완근 둘레를 조합하여 획득된 평가 값이 사용되었지만, 다른 요인을 상완근 둘레 대신 사용하거나, 더 추가하여 사용함으로써 노쇠 정도를 예측할 수 있다.The graph on the right of FIG. 7 shows the relationship between the degree of senility and the evaluation value obtained based on the walking speed parameter and the brachial muscle circumference parameter according to the results of the left graph and the middle graph of FIG. 7 . According to the graph on the right, it can be seen that the degree of senescence increases as the evaluation value increases. When two or more factors are combined to predict the degree of senescence, predictive accuracy can be increased. In FIG. 7 , an evaluation value obtained by combining the walking speed and the brachial muscle circumference is used, but the degree of senility can be predicted by using other factors instead of or in addition to the brachial muscle circumference.

도 8은 신체 기능 파라미터에 의한 노쇠 정도 예측 민감도와 특이도를 나타낸다. 도 8을 참조하면, 그래프 하단 영역의 넓이(AUC)가 0.9보다 큰 것을 통해 신체 기능 파라미터가 노쇠 정도를 매우 효과적으로 예측할 수 있음을 알 수 있다. 8 shows the sensitivity and specificity of predicting the degree of senescence by the body function parameters. Referring to FIG. 8 , it can be seen that the body function parameter can very effectively predict the degree of senescence when the area (AUC) of the lower region of the graph is greater than 0.9.

도 9는 본 발명의 일 실시예에 따른 노쇠 정도 예측 방법을 나타내는 흐름도이다. 도 9의 노쇠 정도 예측 방법은 도 1을 참조하여 전술한 노쇠 정도 예측 장치(100)에 의하여 수행될 수 있다.9 is a flowchart illustrating a method for predicting the degree of senility according to an embodiment of the present invention. The method of predicting the degree of senility of FIG. 9 may be performed by the apparatus 100 for predicting the degree of senility described above with reference to FIG. 1 .

도 9를 참조하면, 노쇠 정도 예측 장치는 센서를 통해 피험자의 거리 정보 및 영상 정보를 획득할 수 있다(S910). 센서는 단일의 거리 센서 및 단일의 이미지 센서를 포함할 수 있다. 거리 센서는, 초음파, 적외선, 레이저 등과 같은 다양한 파형의 검사파를 출력하고, 피험자에 의해 반사된 검사파를 감지함으로써, 관측점으로부터 피험자까지의 거리 및 방향에 관한 거리 정보를 획득할 수 있다. 일 예에서, 거리 센서는 ToF 센서(Time of Flight Sensor), 초음파 센서, 구조형 광 센서(Structured Light Sensor), 적외선 센서 및 라이다(LiDAR) 센서 중 적어도 하나를 포함할 수 있다. 이미지 센서는 광원으로부터 출력되어 피험자에 의해 반사된 광 신호를 감지함으로써, 피험자의 영상 정보를 획득할 수 있다. 본 명세서에서, 이미지 센서는 컬러 카메라라고 지칭될 수도 있다. 일 예에서, 이미지 센서는 광원, 픽셀 어레이 및 광 감지 회로를 포함할 수 있다.Referring to FIG. 9 , the apparatus for predicting the degree of senility may acquire distance information and image information of a subject through a sensor ( S910 ). The sensor may include a single distance sensor and a single image sensor. The distance sensor may obtain distance information regarding a distance and direction from an observation point to a subject by outputting inspection waves of various waveforms, such as ultrasonic waves, infrared rays, and lasers, and sensing the inspection waves reflected by the subject. In an example, the distance sensor may include at least one of a time of flight sensor (ToF) sensor, an ultrasonic sensor, a structured light sensor, an infrared sensor, and a LiDAR sensor. The image sensor may acquire image information of the subject by detecting a light signal output from the light source and reflected by the subject. In this specification, the image sensor may be referred to as a color camera. In one example, the image sensor may include a light source, a pixel array, and light sensing circuitry.

센서는 단일의 거리 센서 및 단일의 이미지 센서를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 거리 센서 및 이미지 센서를 하나의 모듈로서 통합적으로 구현할 수 있으므로, 센서 설치를 위한 별도의 시험 공간을 확보할 필요가 없고, 컴팩트 폼 팩터(compact form factor)를 달성할 수 있다는 이점이 있다.The sensor may have a single camera structure comprising a single distance sensor and a single image sensor. In addition, since the distance sensor and the image sensor can be integrated as one module, there is no need to secure a separate test space for installing the sensor, and there is an advantage that a compact form factor can be achieved.

노쇠 정도 예측 장치는 피험자의 거리 정보 및 영상 정보를 이용하여 피험자의 자세(pose)나 형상(shape)에 관한 모션 정보를 추정할 수 있다(S920). 예를 들어, 노쇠 정도 예측 장치는 DNN(Deep Neural Network)에 업샘플링된 피험자의 거리 정보 및 영상 정보를 입력하고, DNN을 실행하여 획득되는 출력 값을 피험자의 모션 정보로 추정할 수 있다. 일 실시예에서, 피험자의 거리 정보는, 상기 거리 정보 및 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링될 수 있다. 이 경우, 인공신경망에는 거리 정보의 해상도를 높이기 위한 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.The apparatus for predicting the degree of senility may estimate motion information regarding the subject's pose or shape by using the subject's distance information and image information (S920). For example, the apparatus for predicting the degree of senility may input up-sampled distance information and image information of a subject to a deep neural network (DNN), and estimate an output value obtained by executing the DNN as motion information of the subject. In an embodiment, the subject's distance information may be up-sampled by executing an artificial neural network with the distance information and image information as inputs. In this case, a super-resolution artificial neural network technique for increasing the resolution of distance information may be applied to the artificial neural network.

노쇠 정도 예측 장치는 피험자의 모션 정보로부터 피험자의 다양한 신체 기능 파라미터(physical performance parameter)를 추출할 수 있다(S930). 신체 기능 파라미터는 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) time 등을 포함할 수 있다. 피험자의 모션 정보로부터 추출되는 신체 기능 파라미터의 종류는 사용자 입력 또는 액션 인지(action recognition) 인공신경망을 이용하여 인지되는 검사 상황에 따라 달라질 수 있다. 예를 들어, 피험자의 보행 검사 상황에서, 모션 정보 내의 좌/우 발목 키포인트 시공간 정보로부터 피험자의 보행 궤적을 실시간 모사하고, 상기 보행 궤적에 기반하여 피험자의 보행 속도, 분속수 등과 같은 보행 파라미터가 추출될 수 있다.The apparatus for predicting the degree of senility may extract various physical performance parameters of the subject from motion information of the subject ( S930 ). The body function parameters may include the subject's gait speed, balance time, sit-to-stand time, timed-up-and-go (TUG) time, etc. there is. The type of the body function parameter extracted from the motion information of the subject may vary according to a user input or an examination situation recognized using an action recognition artificial neural network. For example, in the subject's gait examination situation, the subject's gait trajectory is simulated in real time from the left/right ankle keypoint spatiotemporal information in the motion information, and based on the gait trajectory, walking parameters such as the subject's gait speed and speed are extracted can be

일 예에서, 피험자의 신체 기능 파라미터들을 추출하기 위하여, 상기 모션 정보가 이용될 수도 있다.In one example, the motion information may be used to extract the subject's body function parameters.

노쇠 정도 예측 장치는 피험자의 신체 기능 파라미터들에 기반하여 피험자의 노쇠 정도(frailty index)를 예측할 수 있다(S940). 또한, 노쇠 정도 예측 장치는 노쇠 정도 이외에도, 피험자의 생체 나이(physiological age), 근감소증(sarcopenia), 또는 낙상 위험도(fall-risk) 등을 예측할 수도 있다.The apparatus for predicting the degree of frailty may predict the degree of frailty of the subject based on the body function parameters of the subject ( S940 ). In addition, the device for predicting the degree of senility may predict a physiological age, sarcopenia, or fall risk of a subject, in addition to the degree of senility.

상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.The above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present specification have been selected as currently widely used general terms as possible while considering the functions in the present invention, but may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.References in the singular herein include plural expressions unless the context clearly dictates the singular. In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

본 발명은 특정한 최상의 실시 예와 관련하여 설명되었지만, 이외에 본 발명에 대체, 변형 및 수정이 적용된 발명들은 전술한 설명에 비추어 당업자에게 명백할 것이다. 즉, 청구범위는 이러한 모든 대체, 변형 및 수정된 발명을 포함하도록 해석한다. 그러므로 이 명세서 및 도면에서 설명한 모든 내용은 예시적이고 비제한적인 의미로 해석해야 한다.While the present invention has been described with reference to a specific preferred embodiment, other inventions in which alternatives, modifications and variations are applied will be apparent to those skilled in the art in light of the foregoing description. That is, the claims are to be construed to cover all such alternatives, modifications and modified inventions. Therefore, all contents described in this specification and drawings should be interpreted in an illustrative and non-limiting sense.

Claims (27)

센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되는 모션 기반 노쇠 정도 예측 방법으로서, 상기 모션 기반 노쇠 정도 예측 방법은,
상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계;
상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 제1 신경망 연산 및 제2 신경망 연산을 수행함으로써, 상기 피험자의 모션 정보를 추정하는 단계;
상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계; 및
상기 프로세서에 의하여, 상기 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하되,
상기 센서는, 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서가 통합된 단일의 카메라 구조를 갖고,
상기 거리 정보는 상기 제1 신경망 연산에 의해 업샘플링되고,
상기 제2 신경망 연산은 상기 업샘플링된 거리 정보에 기반하여 수행되는
모션 기반 노쇠 정도 예측 방법.A motion-based degree of senescence prediction method performed by a device for predicting the degree of senility comprising a sensor and a processor, the motion-based degree of senescence prediction method comprising:
obtaining, by the sensor, distance information and image information of the subject;
estimating, by the processor, motion information of the subject by performing a first neural network operation and a second neural network operation using the distance information and the image information;
extracting, by the processor, a body function parameter of the subject from the motion information; and
estimating, by the processor, the degree of senescence of the subject based on the physical function parameter,
The sensor has a single camera structure in which a single distance sensor for obtaining the distance information and a single image sensor for obtaining the image information are integrated,
The distance information is up-sampled by the first neural network operation,
The second neural network operation is performed based on the up-sampled distance information.
A motion-based method for predicting the degree of senility. 삭제delete 삭제delete 제1항에 있어서,
상기 제1 신경망 연산에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용되는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
In the first neural network operation, a super-resolution artificial neural network technique is applied.
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 모션 정보는 상기 피험자의 신체에 관한 절대적 거리 정보를 포함하는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The motion information includes absolute distance information about the subject's body.
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 모션 정보를 추정하는 단계는,
상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network: DNN)을 실행함으로써 수행되는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The step of estimating the motion information,
This is performed by executing a deep neural network (DNN) with the distance information and the image information as inputs.
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함하는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The body function parameter may include at least one of a gait speed, a balance time, a sit-to-stand time, and a timed-up-and-go (TUG) time of the subject. containing one
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 신체 기능 파라미터를 추출하는 단계는,
상기 피험자의 동작 상황을 분류하는 단계; 및
상기 분류된 피험자의 동작 상황에 기초하여, 상기 모션 정보로부터 상기 신체 기능 파라미터를 추출하는 단계를 포함하는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The step of extracting the body function parameter comprises:
classifying the operation situation of the subject; and
extracting the body function parameter from the motion information based on the classified motion condition of the subject
A motion-based method for predicting the degree of senility. 삭제delete 제1항에 있어서,
상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함하는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The single distance sensor includes a ToF sensor (Time of Flight Sensor) or LiDAR (LiDAR) sensor.
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함하는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The motion information includes information about at least one of a pose and a shape of the subject
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 노쇠 정도 예측 단계에서 도출되는 결과는 노쇠 정도(frailty index) 및 생체 나이(physiological age) 중 적어도 하나를 포함하는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The result derived from the senescence degree prediction step includes at least one of a frailty index and a biological age.
A motion-based method for predicting the degree of senility. 제1항에 있어서,
상기 신체 기능 파라미터의 종류는 상기 피험자의 동작 상황에 따라 달라지는
모션 기반 노쇠 정도 예측 방법.According to claim 1,
The type of the body function parameter varies according to the operation situation of the subject.
A motion-based method for predicting the degree of senility. 모션 기반 노쇠 정도 예측 방법의 각 단계가 컴퓨터에 의하여 수행되도록 하는 명령들을 포함하는, 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 모션 기반 노쇠 정도 예측 방법은, 센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되고,
상기 모션 기반 노쇠 정도 예측 방법은,
상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계;
상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 제1 신경망 연산 및 제2 신경망 연산을 수행함으로써, 상기 피험자의 모션 정보를 추정하는 단계;
상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계; 및
상기 프로세서에 의하여, 상기 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하되,
상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서가 통합된 단일의 카메라 구조를 갖고,
상기 거리 정보는 상기 제1 신경망 연산에 의해 업샘플링되고,
상기 제2 신경망 연산은 상기 업샘플링된 거리 정보에 기반하여 수행되는
컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.A computer program stored on a computer-readable medium comprising instructions for causing each step of the motion-based senescence prediction method to be performed by a computer,
The motion-based degree of senility prediction method is performed by a device for predicting the degree of senility including a sensor and a processor,
The motion-based senility prediction method is,
obtaining, by the sensor, distance information and image information of a subject;
estimating, by the processor, motion information of the subject by performing a first neural network operation and a second neural network operation using the distance information and the image information;
extracting, by the processor, a body function parameter of the subject from the motion information; and
estimating, by the processor, the degree of senescence of the subject based on the physical function parameter,
The sensor has a single camera structure in which a single distance sensor for obtaining the distance information and a single image sensor for obtaining the image information are integrated,
The distance information is up-sampled by the first neural network operation,
The second neural network operation is performed based on the up-sampled distance information.
A computer program stored on a computer readable medium. 피험자의 거리 정보를 검출하는 단일의 거리 센서 및 상기 피험자의 영상 정보를 검출하는 단일의 이미지 센서가 통합된 단일 카메라 구조의 센서; 및
상기 피험자의 노쇠 정도를 예측하는 프로세서를 포함하고,
상기 프로세서는,
상기 거리 정보 및 상기 영상 정보를 이용하여 제1 신경망 연산 및 제2 신경망 연산을 수행함으로써, 상기 피험자의 모션 정보를 추정하고,
상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하며,
상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하되,
상기 거리 정보는 상기 제1 신경망 연산에 의해 업샘플링되고,
상기 제2 신경망 연산은 상기 업샘플링된 거리 정보에 기반하여 수행되는
모션 기반 노쇠 정도 예측 장치.a sensor having a single camera structure in which a single distance sensor detecting distance information of a subject and a single image sensor detecting image information of the subject are integrated; and
A processor for predicting the degree of senility of the subject,
The processor is
The motion information of the subject is estimated by performing a first neural network operation and a second neural network operation using the distance information and the image information,
extracting a body function parameter of the subject from the motion information,
Based on the extracted body function parameters, predicting the degree of senility of the subject,
The distance information is up-sampled by the first neural network operation,
The second neural network operation is performed based on the up-sampled distance information.
A motion-based predictor of senility. 삭제delete 삭제delete 제15항에 있어서,
상기 제1 신경망 연산에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용되는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
In the first neural network operation, a super-resolution artificial neural network technique is applied.
A motion-based predictor of senility. 제15항에 있어서,
상기 모션 정보는 상기 피험자의 신체에 대한 절대적 거리 정보를 포함하는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The motion information includes absolute distance information with respect to the subject's body.
A motion-based predictor of senility. 제15항에 있어서,
상기 프로세서는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network: DNN)을 실행함으로써, 상기 모션 정보를 추정하는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The processor is configured to estimate the motion information by executing a deep neural network (DNN) by receiving the distance information and the image information as inputs.
A motion-based predictor of senility. 제15항에 있어서,
상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함하는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The body function parameter may include at least one of a gait speed, a balance time, a sit-to-stand time, and a timed-up-and-go (TUG) time of the subject. containing one
A motion-based predictor of senility. 제15항에 있어서,
상기 신체 기능 파라미터는,
상기 피험자의 동작 상황을 분류하고,
상기 분류된 피험자의 동작 상황에 기초하여, 상기 모션 정보로부터 추정되는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The body function parameter is
classifying the motion situation of the subject,
Based on the classified motion condition of the subject, estimated from the motion information
A motion-based predictor of senility. 삭제delete 제15항에 있어서,
상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함하는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The single distance sensor includes a ToF sensor (Time of Flight Sensor) or LiDAR (LiDAR) sensor.
A motion-based predictor of senility. 제15항에 있어서,
상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함하는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The motion information includes information about at least one of a pose and a shape of the subject
A motion-based predictor of senility. 제15항에 있어서,
상기 프로세서는, 상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도 및 생체 나이 중 적어도 하나를 예측하는 것을 특징으로 하는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
wherein the processor predicts at least one of a degree of senescence and a biological age of the subject based on the extracted body function parameter
A motion-based predictor of senility. 제15항에 있어서,
상기 신체 기능 파라미터의 종류는 상기 피험자의 동작 상황에 따라 달라지는
모션 기반 노쇠 정도 예측 장치.16. The method of claim 15,
The type of the body function parameter varies according to the operation situation of the subject.
A motion-based predictor of senility.
KR1020200135721A 2019-12-26 2020-10-20 Method for predicting frailty index based on human motion, and apparatus and system therefor KR102377046B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/757,971 US20230031995A1 (en) 2019-12-26 2020-10-20 Motion-Based Cardiopulmonary Function Index Measuring Device, and Senescence Degree Prediction Apparatus and Method
PCT/KR2020/014342 WO2021132862A1 (en) 2019-12-26 2020-10-20 Motion-based cardiopulmonary function index measuring device, and senescence degree prediction apparatus and method
KR1020220032909A KR20220041795A (en) 2020-05-26 2022-03-16 Method for predicting frailty index based on human motion, and apparatus and system therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200063186 2020-05-26
KR20200063186 2020-05-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032909A Division KR20220041795A (en) 2020-05-26 2022-03-16 Method for predicting frailty index based on human motion, and apparatus and system therefor

Publications (2)

Publication Number Publication Date
KR20210146199A KR20210146199A (en) 2021-12-03
KR102377046B1 true KR102377046B1 (en) 2022-03-21

Family

ID=78866585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200135721A KR102377046B1 (en) 2019-12-26 2020-10-20 Method for predicting frailty index based on human motion, and apparatus and system therefor

Country Status (1)

Country Link
KR (1) KR102377046B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097033B1 (en) 2019-10-16 2020-04-03 주식회사 코탁스 System for estimating motion by sensing interaction of point body
KR102107379B1 (en) 2018-03-13 2020-05-07 서울대학교병원 Method for Prediction Frailty Using Triple Axis Motion Meter, Prediction Frailty System using Triple Axis Motion Meter and Wearable Prediction Frailty Device
KR102108405B1 (en) 2019-08-23 2020-05-08 박하연 System for measuring body information, posture information and range of motion and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190115978A (en) * 2018-04-04 2019-10-14 노현철 Method and Apparatus for measuring frailty index based on physical ability parameters
KR102668240B1 (en) * 2018-07-25 2024-05-22 삼성전자주식회사 Method and device for estimating physical state of a user

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102107379B1 (en) 2018-03-13 2020-05-07 서울대학교병원 Method for Prediction Frailty Using Triple Axis Motion Meter, Prediction Frailty System using Triple Axis Motion Meter and Wearable Prediction Frailty Device
KR102108405B1 (en) 2019-08-23 2020-05-08 박하연 System for measuring body information, posture information and range of motion and method thereof
KR102097033B1 (en) 2019-10-16 2020-04-03 주식회사 코탁스 System for estimating motion by sensing interaction of point body

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
인터넷공지 서유림, 강석주. 딥러닝 기반 Super Resolution 기술의 현황 및 최신 동향. 방송과 미디어, 제25권 2호, pp.7-16(2020.04.)*
인터넷공지 千葉 ?二, Azure Kinect DK 徹底解?, de:code 2019,Microsoft Corp(2019.05.30.)*

Also Published As

Publication number Publication date
KR20210146199A (en) 2021-12-03

Similar Documents

Publication Publication Date Title
JP7470203B2 (en) Analysis and selection in aquaculture
US10776423B2 (en) Motor task analysis system and method
JP6521845B2 (en) Device and method for measuring periodic fluctuation linked to heart beat
CN103717124B (en) For obtaining and process the apparatus and method for of the survey measurements of biology
KR20190030151A (en) Apparatus, method and computer program for analyzing image
Le et al. Robust hand detection in vehicles
US20210368748A1 (en) Analysis and sorting in aquaculture
KR102174345B1 (en) Method and Apparatus for Measuring Degree of Immersion
US20230031995A1 (en) Motion-Based Cardiopulmonary Function Index Measuring Device, and Senescence Degree Prediction Apparatus and Method
KR102377046B1 (en) Method for predicting frailty index based on human motion, and apparatus and system therefor
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
TW202228150A (en) Method and system for mental index prediction
KR20220041795A (en) Method for predicting frailty index based on human motion, and apparatus and system therefor
KR101575100B1 (en) User group activity sensing in service area and behavior semantic analysis system
Lyons et al. A Kinect-based system for automatic recording of some pigeon behaviors
KR102493242B1 (en) Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning
CN112649955A (en) Optical imaging system and related apparatus, method and computer program
Forczmański et al. Supporting driver physical state estimation by means of thermal image processing
Euprazia et al. A novel action recognition system for smart monitoring of elderly people using action pattern image and series cnn with transfer learning
Ahmed et al. Automatic Region of Interest Extraction from Finger Nail Images for Measuring Blood Hemoglobin Level
ZHANG et al. Emotion Discrimination of Amusement Based on Three-Dimensional Data of Body Movements
Muheidat Deriving information from spatial sampling floor-based personnel detection system
Leng et al. Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data
Henry et al. AUTOMATED ANAEMIA DETECTION FROM CONJUNCTIVA IMAGES: A MACHINE LEARNING APPROACH FOR ANDROID APPLICATION
Ilesanmi et al. An ensemble statistical evaluation of medical image embedding with SqueezeNet neural network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant