KR20210092446A - A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals - Google Patents

A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals Download PDF

Info

Publication number
KR20210092446A
KR20210092446A KR1020200005844A KR20200005844A KR20210092446A KR 20210092446 A KR20210092446 A KR 20210092446A KR 1020200005844 A KR1020200005844 A KR 1020200005844A KR 20200005844 A KR20200005844 A KR 20200005844A KR 20210092446 A KR20210092446 A KR 20210092446A
Authority
KR
South Korea
Prior art keywords
participation
signal data
physiological signal
patient
rehabilitation treatment
Prior art date
Application number
KR1020200005844A
Other languages
Korean (ko)
Other versions
KR102355127B1 (en
Inventor
이성아
정봉근
김중연
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020200005844A priority Critical patent/KR102355127B1/en
Publication of KR20210092446A publication Critical patent/KR20210092446A/en
Application granted granted Critical
Publication of KR102355127B1 publication Critical patent/KR102355127B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Psychology (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Rehabilitation Tools (AREA)

Abstract

The present invention discloses a device and a method for evaluation of participation in rehabilitation treatment based on machine learning using physiological signals. According to an aspect of the present invention, the method for evaluation of participation in rehabilitation treatment based on machine learning using physiological signals includes the steps of: collecting patient's physiological signal data generated as the rehabilitation treatment is performed from a wearable device worn by a patient performing rehabilitation training using VR content; sampling and processing the collected physiological signal data of the patient; and evaluating a degree of participation of the patient performing rehabilitation treatment based on the sampling-processed physiological signal data.

Description

생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법{A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals}A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals

본 발명은 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법에 관한 것으로, 더욱 상세하게는 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 평가할 수 있는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for evaluating participation in rehabilitation treatment based on machine learning using physiological signals, and more particularly, to a machine using physiological signals that can more objectively evaluate the participation of patients participating in rehabilitation treatment. It relates to a learning-based rehabilitation treatment participation evaluation apparatus and method.

재활치료는, 노인과 장애가 있는 사람들이 신체적, 인지적 능력을 유지, 회복 또는 향상시키는 것을 돕는 과정이다. 넓은 의미의 재활치료란, 장애를 가진 사람이 가질 수 있는 최적의 신체적, 감각적, 지능적, 심리적, 사회적 수준을 성취하고 유지하려는 노력으로 수행하는 모든 치료를 말하며, 또한 장애가 없더라도 통증이나 일시적 질환, 외상 등으로 인해 환자가 영위하는 삶의 질이 떨어질 때, 이를 회복시키기 위한 모든 치료를 뜻한다. Rehabilitation is the process of helping the elderly and people with disabilities to maintain, recover, or improve their physical and cognitive abilities. Rehabilitation therapy in a broad sense refers to any treatment performed in an effort to achieve and maintain the optimal physical, sensory, intellectual, psychological, and social level that a person with a disability can have. When a patient's quality of life deteriorates due to such reasons, it means any treatment to restore it.

이러한 재활치료는 환자와 재활치료를 돕는 전문가인 재활 치료사가 서로 의사소통을 통해 재활치료의 방향을 설정할 수 있다. 또한, 상기 재활 치료사는 재활치료 훈련의 방향에 대한 정보를 얻기 위한 프레임워크를 참조한 다음, 신체적 또는 인지적 능력을 향상, 유지 또는 회복하기 위한 개별화된 전략의 정도를 결정하거나, 재활치료를 수행하는 환자를 직접 관찰하면서 재활치료의 효과 여부를 평가한다. In this type of rehabilitation treatment, the patient and the rehabilitation therapist who help the rehabilitation treatment can communicate with each other to set the direction of the rehabilitation treatment. In addition, the rehabilitation therapist refers to the framework for obtaining information on the direction of rehabilitation training, and then determines the degree of an individualized strategy for improving, maintaining or recovering physical or cognitive abilities, or performing rehabilitation treatment. Evaluate the effectiveness of rehabilitation treatment by directly observing the patient.

하지만, 상술한 바에 따르면, 재활 치료사가 재활치료를 수행하는 환자를 직접 관찰하여 참여도를 평가하여 참여도에 따른 재활치료의 효율을 평가하므로, 객관적이지 못해 정확한 평가를 할 수 없다는 문제점이 발생한다. However, according to the above-mentioned bar, since the rehabilitation therapist directly observes the patient performing the rehabilitation treatment and evaluates the participation degree to evaluate the efficiency of the rehabilitation treatment according to the participation degree, there is a problem that an accurate evaluation cannot be made because it is not objective. .

한국등록특허 제10-1911179호(2018.10.23 공고)Korean Patent Registration No. 10-1911179 (Notice on Oct. 23, 2018)

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 재활치료에 참여하는 환자의 생리적 신호를 이용해 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 평가할 수 있는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and is based on a machine learning using physiological signals that can more objectively evaluate the participation of patients participating in rehabilitation treatment using physiological signals of patients participating in rehabilitation treatment. The purpose of this is to provide a device and method for evaluating participation in rehabilitation treatment.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention may be understood by the following description, and will be more clearly understood by an embodiment of the present invention. Further, it will be readily apparent that the objects and advantages of the present invention can be realized by the means and combinations thereof indicated in the claims.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법은, VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집하는 단계; 상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계; 및 상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계;를 포함한다. A method for evaluating participation in rehabilitation treatment based on machine learning using a physiological signal according to an aspect of the present invention for achieving the above object is a wearable device worn by a patient performing rehabilitation training using VR contents, collecting patient's physiological signal data generated as the rehabilitation training is performed; sampling the collected physiological signal data of the patient; and evaluating the degree of participation of a patient performing rehabilitation treatment based on the sampling-processed physiological signal data.

상기 생리적 신호 데이터는, 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 한다. The physiological signal data may be autonomic response record information generated as the patient performs rehabilitation training, at least one of photoplethysmography (PPG), skin electrical activity (EDA), and skin temperature (ST) information. characterized by including.

상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계는, 상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출하는 것을 특징으로 한다. In the step of sampling and processing the collected physiological signal data of the patient, when the physiological signal data is skin electrical activity (EDA) information, the skin electrical activity (EDA) information is decomposed using a cvxEDA algorithm, and Z score is converted It is normalized by applying , and additional statistical features are derived from the decomposed components using the following equation.

Figure pat00001
Figure pat00001

여기서, μx는 평균이고 σx는 x의 표준 편차임.where μ x is the mean and σ x is the standard deviation of x.

상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계는, 상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(NN 간격)을 추정하고, 아래의 수학식 1 내지 3을 이용하여 평균 인터 비트 간격과 평균 심박수를 계산하는 것을 특징으로 한다. The sampling and processing of the collected physiological signal data of the patient may include: when the physiological signal data is PPG information, the PPG information is used to identify individual intervals between adjacent bits to determine the inter-bit interval (NN). interval), and calculating the average interbeat interval and average heart rate using Equations 1 to 3 below.

[수학식 1][Equation 1]

Figure pat00002
Figure pat00002

[수학식 2][Equation 2]

Figure pat00003
Figure pat00003

[수학식 3][Equation 3]

Figure pat00004
Figure pat00004

여기서, t는 N 비트 시간이고 N은 전체 심장 박동임.where t is N beat times and N is the total heart rate.

상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계는, 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 기계 학습 알고리즘을 적용하여 재활치료를 수행하는 환자의 참여도를 평가하는 것을 특징으로 한다.The step of evaluating the participation of the patient performing rehabilitation treatment based on the sampling-processed physiological signal data is the participation of the patient performing rehabilitation treatment by applying a machine learning algorithm to the features derived from the sampling-processed physiological signal data. It is characterized by evaluating the degree.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치는, VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집하는 생리적 신호 데이터 수집부; 상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 데이터 처리부; 및 상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 참여도 평가부;를 포함한다. In order to achieve the above object, an apparatus for evaluating participation in rehabilitation treatment based on machine learning using physiological signals according to another aspect of the present invention for achieving the above object is a wearable device worn by a patient performing rehabilitation training using VR contents, a physiological signal data collection unit for collecting physiological signal data of a patient generated by performing the rehabilitation training; a data processing unit for sampling and processing the collected physiological signal data of the patient; and a participation evaluation unit for evaluating a patient's participation in rehabilitation treatment based on the sampling-processed physiological signal data.

상기 생리적 신호 데이터는, 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 한다. The physiological signal data may be autonomic response record information generated as the patient performs rehabilitation training, at least one of photoplethysmography (PPG), skin electrical activity (EDA), and skin temperature (ST) information. characterized by including.

상기 데이터 처리부는, 상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출하는 것을 특징으로 한다.The data processing unit, when the physiological signal data is electrical skin activity (EDA) information, decomposes the electrical skin activity (EDA) information using a cvxEDA algorithm, and normalizes it by applying a Z-score transformation, and the equation below It is characterized by deriving additional statistical features from the decomposed components using

Figure pat00005
Figure pat00005

여기서, μx는 평균이고 σx는 x의 표준 편차임.where μ x is the mean and σ x is the standard deviation of x.

상기 데이터 처리부는, 상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(NN 간격)을 추정하고, 아래의 수학식을 이용하여 평균 인터 비트 간격과 평균 심박수를 계산하는 것을 특징으로 한다. The data processing unit, when the physiological signal data is PPG information, uses the PPG information to identify individual intervals between adjacent bits to estimate an inter-bit interval (NN interval), using the following equation is used to calculate the average interbeat interval and average heart rate.

[수학식 1][Equation 1]

Figure pat00006
Figure pat00006

[수학식 2][Equation 2]

Figure pat00007
Figure pat00007

[수학식 3][Equation 3]

Figure pat00008
Figure pat00008

여기서, t는 N 비트 시간이고 N은 전체 심장 박동임.where t is N beat times and N is the total heart rate.

상기 참여도 평가부는, 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 기계 학습 알고리즘을 적용하여 재활치료를 수행하는 환자의 참여도를 평가하는 것을 특징으로 한다.The participation evaluation unit is characterized in that it evaluates the participation of a patient performing rehabilitation treatment by applying a machine learning algorithm to the features derived from the sampling-processed physiological signal data.

본 발명의 일 측면에 따르면, 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 판단할 수 있어, 참여도에 따른 재활치료의 방법 등을 선택적으로 조정하여 재활치료의 효율을 높일 수 있는 효과가 있다.According to one aspect of the present invention, it is possible to more objectively determine the degree of participation of a patient participating in rehabilitation treatment, and the effect of increasing the efficiency of rehabilitation treatment by selectively adjusting the method of rehabilitation treatment according to the degree of participation there is.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. .

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 재활치료 참여도 평가 시스템의 개략적인 구성도,
도 2는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 장치의 개략적인 구성도,
도 3은 본 발명의 일 실시예에 따른 피부 전기 활동(EDA) 정보의 분해된 성분의 그래프,
도 4는 본 발명의 일 실시예에 따른 광용적맥파(PPG) 신호의 피크와 간격을 나타낸 그래프,
도 5는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 방법의 개략적인 흐름도이다. The following drawings attached to this specification illustrate preferred embodiments of the present invention, and serve to further understand the technical spirit of the present invention together with specific contents for carrying out the invention, so the present invention is in such drawings It should not be construed as being limited only to the items listed.
1 is a schematic configuration diagram of a rehabilitation treatment participation evaluation system according to an embodiment of the present invention;
2 is a schematic configuration diagram of an apparatus for evaluating participation in rehabilitation treatment according to an embodiment of the present invention;
3 is a graph of decomposed components of skin electrical activity (EDA) information according to an embodiment of the present invention;
4 is a graph showing a peak and an interval of a photoplethysmography (PPG) signal according to an embodiment of the present invention;
5 is a schematic flowchart of a method for evaluating participation in rehabilitation treatment according to an embodiment of the present invention.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.The above-described objects, features and advantages will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in the description of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, the “… The term “unit” means a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 재활치료 참여도 평가 시스템의 개략적인 구성도, 도 2는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 장치의 개략적인 구성도, 도 3은 본 발명의 일 실시예에 따른 피부 전기 활동(EDA) 정보의 분해된 성분의 그래프, 도 4는 본 발명의 일 실시예에 따른 광용적맥파(PPG) 신호의 피크와 간격을 나타낸 그래프이다.1 is a schematic configuration diagram of a rehabilitation treatment participation evaluation system according to an embodiment of the present invention, FIG. 2 is a schematic configuration diagram of a rehabilitation treatment participation evaluation apparatus according to an embodiment of the present invention, and FIG. 3 is this view 4 is a graph showing the decomposed components of skin electrical activity (EDA) information according to an embodiment of the present invention. FIG. 4 is a graph showing peaks and intervals of a photoplethysmogram (PPG) signal according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 재활치료 참여도 평가 시스템은 재활훈련 환자가 신체의 일부에 착용하는 웨어러블 디바이스(100) 및 재활치료 참여도 평가 장치(200)를 포함한다. Referring to FIG. 1 , the rehabilitation treatment participation evaluation system according to the present embodiment includes a wearable device 100 worn by a rehabilitation patient on a part of the body and a rehabilitation treatment participation evaluation apparatus 200 .

본 실시예에 따른 웨어러블 디바이스(100)와 재활치료 참여도 평가 장치(200)는 무선통신을 이용해 연결되어 정보를 송수신할 수 있다. 본 실시예에 따른 무선통신은 블루투스(Bluetooth)를 사용할 수 있다. 하지만, 이에 한하지 않으며, 웨어러블 디바이스(100)와 재활치료 참여도 평가 장치(200)는 다양한 근거리 통신 및/또는 원거리 통신 중 적어도 어느 하나를 이용하여 통신할 수 있다. 이때, 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wi-Fi (Wireless Fidelity) 기술을 포함하며, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.The wearable device 100 and the apparatus 200 for evaluating participation in rehabilitation treatment according to the present embodiment may be connected using wireless communication to transmit/receive information. Wireless communication according to the present embodiment may use Bluetooth (Bluetooth). However, the present invention is not limited thereto, and the wearable device 100 and the rehabilitation treatment participation evaluation apparatus 200 may communicate using at least one of various short-distance communication and/or long-distance communication. In this case, the short-range communication includes Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Wireless Fidelity (Wi-Fi) technologies, and the long-distance communication may include code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), orthogonal frequency division multiple access (OFDMA), single carrier frequency division multiple access (SC-FDMA) technologies. there is.

웨어러블 디바이스(100)는 재활훈련을 수행하는 환자가 신체의 일부에 착용하는 장치일 수 있으며, 재활훈련을 수행하는 동안 발생하는 환자의 생리적 신호를 수집한다. 웨어러블 디바이스(100)는 환자의 생리적 신호를 측정하기 위한 센서를 포함할 수 있다. 웨어러블 디바이스(100)는 장갑 및/또는 밴드 형태일 수 있다. 한편, 웨어러블 디바이스(100)는 PPG 측정 센서, 전극 센서, 맥파 측정 센서, 피부 온도 측정 센서, 관성측정 센서, 벤딩 센서 등을 포함할 수 있다. 본 실시예에 따른 웨어러블 디바이스(100)는 환자의 손목 및/또는 발에 착용할 수 있으며, 재활훈련을 수행하는 환자의 자율신경 응답기록 정보 즉, 생리적 신호를 수집할 수 있다. 예컨대, 자율신경 응답기록 정보 즉, 생리적 신호는 광용적맥파(photoplethysmogram : PPG), 피부 전기 활동(electrodermal activity : EDA), 피부 온도(skin temperature : ST) 정보, 혈액 부피 압력(blood volume pressure :BVP) 정보 등일 수 있다. 이와 같은 자율신경 응답기록 정보 즉, 생리적 신호는 조작이 어려워 재활치료를 수행하는 환자를 보다 객관적으로 관찰할 수 있다. 본 실시예에 따른 웨어러블 디바이스(100)는 스마트 글러브일 수 있다. 스마트 글러브에는 사용자의 원위부 상지의 움직임과 자세를 추적하는 관성측정장치 센서(IMU)와 벤딩 센서 등 복수의 센서가 장착될 수 있다. 스마트 글러브에 내장된 IMU 센서는 환자의 원위부 사지의 3차원 방향을 인식할 수 있다. 가변 저항기의 일종인 굽힘센서는, 원위부 사지가 구부러지면서 변한다. 저항값은 손가락의 굽힘 정도를 추정하는 데 사용될 수 있다. 스마트 글러브의 기능은 기능적 이동을 위한 능동적 및 수동적 동작 범위를 평가하고 VR 기반 재활훈련을 수행하는 데 사용될 수 있다. The wearable device 100 may be a device worn by a patient performing rehabilitation training on a part of the body, and collects physiological signals of the patient generated during rehabilitation training. The wearable device 100 may include a sensor for measuring a physiological signal of a patient. The wearable device 100 may be in the form of a glove and/or a band. Meanwhile, the wearable device 100 may include a PPG measuring sensor, an electrode sensor, a pulse wave measuring sensor, a skin temperature measuring sensor, an inertial measuring sensor, a bending sensor, and the like. The wearable device 100 according to the present embodiment may be worn on a patient's wrist and/or foot, and may collect autonomic response record information, ie, physiological signals, of a patient performing rehabilitation training. For example, autonomic response record information, that is, physiological signals, includes photoplethysmogram (PPG), electrodermal activity (EDA), skin temperature (ST) information, and blood volume pressure (BVP). ) information, etc. Such autonomic response record information, that is, physiological signals, is difficult to manipulate, so that a patient undergoing rehabilitation treatment can be observed more objectively. The wearable device 100 according to the present embodiment may be a smart glove. The smart glove may be equipped with a plurality of sensors such as an inertial measurement unit sensor (IMU) and a bending sensor that track the movement and posture of the user's distal upper extremity. The IMU sensor embedded in the smart glove can recognize the three-dimensional orientation of the patient's distal limb. The bending sensor, which is a type of variable resistor, changes as the distal limb flexes. The resistance value can be used to estimate the degree of bending of the finger. The function of the smart glove can be used to evaluate active and passive range of motion for functional movement and to perform VR-based rehabilitation.

한편, 본 실시예에 따른 웨어러블 디바이스(100)는 재활치료를 위한 가상현실(virtual reality : VR) 교육을 제공하는 소프트웨어 장치(어플리케이션)와 동기화될 수 있으며, 소프트웨어 장치로부터 제공되는 가상현실 교육을 수행하는 환자의 생리적 신호를 수집할 수 있다. Meanwhile, the wearable device 100 according to the present embodiment may be synchronized with a software device (application) that provides virtual reality (VR) education for rehabilitation treatment, and performs virtual reality education provided from the software device. It is possible to collect physiological signals from the patient.

재활치료 참여도 평가 장치(200)는 웨어러블 디바이스(100)로부터 VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자의 생리적 신호 데이터를 수신하고, 수신한 생리적 신호 데이터를 기초로 재활치료를 수행하는 환자의 참여도를 평가할 수 있다. The rehabilitation treatment participation evaluation apparatus 200 receives physiological signal data of a patient performing rehabilitation training using VR content from the wearable device 100, and receives physiological signal data of a patient performing rehabilitation treatment based on the received physiological signal data. Participation can be assessed.

도 2를 참조하면, 본 실시예에 따른 재활치료 참여도 평가 장치(200)는 생리적 신호 데이터 수집부(210), 데이터 처리부(230) 및 참여도 평가부(250)를 포함한다. Referring to FIG. 2 , the apparatus 200 for evaluating participation in rehabilitation treatment according to the present embodiment includes a physiological signal data collection unit 210 , a data processing unit 230 , and a participation evaluation unit 250 .

생리적 신호 데이터 수집부(210)는 VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집한다. 이때, 생리적 신호 데이터는, 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있다. 예컨대, 생리적 신호 데이터는 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 등을 포함할 수 있다. The physiological signal data collection unit 210 collects physiological signal data of a patient generated as rehabilitation is performed from a wearable device worn by a patient performing rehabilitation using VR contents. In this case, the physiological signal data may be autonomic response record information generated as the patient performs rehabilitation training. For example, the physiological signal data may include photoplethysmography (PPG), skin electrical activity (EDA), skin temperature (ST) information, and the like.

생리적 신호 데이터 수집부(210)는 수집한 생리적 신호 데이터를 후술하는 참여도 평가 분석에 사용될 수 있도록 분류하여 하나의 데이터 셋으로 형성할 수 있다. The physiological signal data collection unit 210 may classify the collected physiological signal data to be used in a participation evaluation analysis described later to form a single data set.

데이터 처리부(230)는 수집된 환자의 생리적 신호 데이터를 샘플링 처리한다. 모든 생리적 신호는 512Hz에서 샘플링될 수 있다. 피부 전기 활동(EDA) 정보는 cvxEDA 알고리즘을 사용하여 피부전도반응(Skin Conductance Response : SCR) 및 피부 전도도 수준(Skin Conductance Level : SCL) 구성 요소를 유도하기 위해 분해될 수 있다. 피부 전기 활동(EDA) 정보(y)는 cvxEDA 알고리즘을 사용하여 피부전도반응(r), 피부 전도도 수준(t) 및 독립적이고 동일하게 분포된 가우시안 잡음(ε)의 합으로 구해질 수 있다(수학식 1).The data processing unit 230 samples the collected physiological signal data of the patient. All physiological signals can be sampled at 512Hz. Skin electrical activity (EDA) information can be decomposed to derive Skin Conductance Response (SCR) and Skin Conductance Level (SCL) components using the cvxEDA algorithm. The skin electrical activity (EDA) information (y) can be obtained using the cvxEDA algorithm as the sum of the skin conductance response (r), the skin conductance level (t), and an independent and equally distributed Gaussian noise (ε) (mathematics Equation 1).

[수학식 1][Equation 1]

Figure pat00009
Figure pat00009

알고리즘에는 모든 측정 및 모델링 오류가 포함되기 때문에 사전 처리 단계가 필요하지 않다. No pre-processing steps are required as the algorithm includes all measurement and modeling errors.

한편, 피부 전기 활동(EDA) 정보의 분해된 성분은 도 3에 도시된 바와 같다. 피크는 5초의 시간 범위 내에서 중요한 피부전도반응(SCR)의 수에 의해 결정될 수 있다. 한편, 아래의 수학식 2를 사용하여 분해된 성분으로부터 부가적인 통계적 특징을 도출할 수 있다. 는 평균 및 단위 분산이 0 인 정규화 된 피부전도반응(SCR) 또는 피부 전도도 수준(SCL) 신호를 나타낼 수 있다. Meanwhile, the decomposed components of the skin electrical activity (EDA) information are as shown in FIG. 3 . The peak can be determined by the number of significant skin conduction responses (SCRs) within a time range of 5 seconds. Meanwhile, additional statistical features can be derived from the decomposed components using Equation 2 below. may represent a normalized skin conductance response (SCR) or skin conductance level (SCL) signal with mean and unit variance of zero.

[수학식 2][Equation 2]

Figure pat00010
Figure pat00010

여기서, μx는 평균이고 σx는 x의 표준 편차일 수 있다. Here, μx may be the mean and σx may be the standard deviation of x.

다시 말해, 데이터 처리부(230)는 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 상술한 수학식 2를 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출할 수 있다. In other words, when the physiological signal data is electrical skin activity (EDA) information, the data processing unit 230 decomposes the electrical skin activity (EDA) information using the cvxEDA algorithm, applies a Z-score transformation to normalize it, and Equation 2 can be used to derive additional statistical features from the decomposed components.

한편, SCR(피부 전도도 응답) 및 SCL(피부 전도도 수준)에서 파생된 정규화 된 신호의 첫 번째 및 두 번째 미분의 평균 진폭, 표준 편차 및 평균 절대 값과 같은 다섯 가지 통계적 특징은 아래의 수학식 3 내지 6과 같을 수 있다. On the other hand, five statistical features such as mean amplitude, standard deviation, and mean absolute value of the first and second derivatives of the normalized signal derived from SCR (Skin Conductivity Response) and SCL (Skin Conductivity Level) are expressed in Equation 3 below to 6 may be the same.

[수학식 3][Equation 3]

Figure pat00011
Figure pat00011

[수학식 4][Equation 4]

Figure pat00012
Figure pat00012

[수학식 5][Equation 5]

Figure pat00013
Figure pat00013

[수학식 6][Equation 6]

Figure pat00014
Figure pat00014

다음으로, 곡선 아래의 면적(ACU)는 아래의 수학식 7과 같이 산출할 수 있다.Next, the area under the curve (ACU) can be calculated as in Equation 7 below.

[수학식 7][Equation 7]

Figure pat00015
Figure pat00015

여기서, t는 시간을 나타내며 s는 신호의 값을 나타낸다. 또한, 신호의 최소 진폭과 최대 진폭의 상대적 위치와 신호의 최대 진폭과 최소 진폭 사이의 시간차는 피부 전기 활동(EDA) 기록에서 파생된 다양한 특징을 나타낼 수 있다. Here, t represents time and s represents the value of the signal. In addition, the relative positions of the minimum and maximum amplitudes of the signal and the time difference between the maximum and minimum amplitudes of the signal may represent various features derived from skin electrical activity (EDA) recordings.

한편, 광용적맥파(PPG) 신호는 0.8에서 60 Hz까지 대역 통과 필터링될 수 있다. 수집된 광용적맥파(PPG) 신호는 도 4에 도시된 바와 같은 피크와 간격으로 표시될 수 있다. 인터 비트 간격(NN 간격)은 인접한 비트 사이의 개별 간격을 식별하여 기록된 광용적맥파(PPG) 신호로부터 추정될 수 있다. Meanwhile, the photoplethysmography (PPG) signal may be band-pass filtered from 0.8 to 60 Hz. The collected photoplethysmography (PPG) signal may be displayed with a peak and an interval as shown in FIG. 4 . The inter-bit interval (NN interval) can be estimated from the recorded photoplethysmography (PPG) signal by identifying individual intervals between adjacent bits.

다시 말해, 데이터 처리부(230)는 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(NN 간격)을 추정하고, 수학식 8 내지 10을 이용하여 평균 인터 비트 간격과 평균 심박수를 계산In other words, when the physiological signal data is PPG information, the data processing unit 230 identifies individual intervals between adjacent bits of the PPG information to estimate the inter-bit interval (NN interval), and the equation Calculate the average interbeat interval and average heart rate using 8 to 10

[수학식 8][Equation 8]

Figure pat00016
Figure pat00016

[수학식 9][Equation 9]

Figure pat00017
Figure pat00017

[수학식 10][Equation 10]

Figure pat00018
Figure pat00018

여기서, t는 N 비트 시간이고 N은 전체 심장 박동이다. where t is the N beat time and N is the total heart rate.

참여도 평가부(250)는 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가한다. 참여도 평가부(250)는 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 기계 학습 알고리즘을 적용하여 재활치료를 수행하는 환자의 참여도를 평가할 수 있다. 다시 말해, 참여도 평가부(250)는 신경망이 적용된 기계 학습 알고리즘을 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 등과 같은 자율신경 응답기록 정보로부터 유도된 특징을 적용하여 재활치료를 수행하는 환자의 참여도를 평가할 수 있다. The participation evaluation unit 250 evaluates the participation level of the patient performing rehabilitation treatment based on the sampling-processed physiological signal data. The participation evaluation unit 250 may evaluate a patient's participation in rehabilitation treatment by applying a machine learning algorithm to features derived from sampling-processed physiological signal data. In other words, the participation evaluation unit 250 uses the neural network-applied machine learning algorithm to evaluate features derived from autonomic nerve response record information such as photoplethysmography (PPG), skin electrical activity (EDA), and skin temperature (ST) information. It can be applied to evaluate the participation of patients performing rehabilitation treatment.

도 5는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 방법의 개략적인 흐름도이다. 5 is a schematic flowchart of a method for evaluating participation in rehabilitation treatment according to an embodiment of the present invention.

도 5를 참조하면, 재활치료 참여도 평가 장치(200)는 VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집한다(S510). 이때, 생리적 신호 데이터는, 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 중 적어도 어느 하나를 포함할 수 있다. Referring to FIG. 5 , the rehabilitation treatment participation evaluation apparatus 200 collects physiological signal data of the patient generated as rehabilitation is performed from a wearable device worn by a patient performing rehabilitation training using VR contents. (S510). In this case, the physiological signal data may be autonomic response record information generated as the patient performs rehabilitation training, and at least one of photoplethysmography (PPG), skin electrical activity (EDA), and skin temperature (ST) information. may include.

다음으로, 재활치료 참여도 평가 장치(200)는 수집된 환자의 생리적 신호 데이터를 샘플링 처리한다(S520). 재활치료 참여도 평가 장치(200)는 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 상술한 수학식 2를 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출할 수 있다. 또한, 재활치료 참여도 평가 장치(200)는 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(NN 간격)을 추정하고, 상술한 수학식 8 내지 10을 이용하여 평균 인터 비트 간격과 평균 심박수를 계산할 수 있다. Next, the rehabilitation treatment participation evaluation apparatus 200 samples the collected physiological signal data of the patient (S520). The rehabilitation treatment participation evaluation device 200 decomposes the skin electrical activity (EDA) information using the cvxEDA algorithm when the physiological signal data is the skin electrical activity (EDA) information, and normalizes it by applying the Z score transformation, Additional statistical features can be derived from the decomposed components using Equation 2 described above. In addition, when the physiological signal data is PPG information, the rehabilitation treatment participation evaluation apparatus 200 identifies individual intervals between adjacent bits of the PPG information to estimate the inter-bit interval (NN interval). Then, the average interbeat interval and the average heart rate may be calculated using Equations 8 to 10 described above.

다음으로, 재활치료 참여도 평가 장치(200)는 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가한다(S530). 재활치료 참여도 평가 장치(200)는 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 기계 학습 알고리즘을 적용하여 재활치료를 수행하는 환자의 참여도를 평가할 수 있다. Next, the rehabilitation treatment participation evaluation apparatus 200 evaluates the patient's participation in rehabilitation treatment based on the sampling-processed physiological signal data (S530). The apparatus 200 for evaluating participation in rehabilitation treatment may evaluate the participation of a patient performing rehabilitation treatment by applying a machine learning algorithm to features derived from sampling-processed physiological signal data.

상술한 바와 같은 본 발명에 따르면, 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 판단할 수 있어, 참여도에 따른 재활치료의 방법 등을 선택적으로 조정하여 재활치료의 효율을 높일 수 있는 효과가 있다. According to the present invention as described above, it is possible to more objectively determine the degree of participation of a patient participating in rehabilitation treatment, and the effect of increasing the efficiency of rehabilitation treatment by selectively adjusting the method of rehabilitation treatment according to the degree of participation there is

본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Methods according to an embodiment of the present invention may be implemented as an application or implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and used by those skilled in the art of computer software. Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM, a DVD, and a magneto-optical medium such as a floppy disk. media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.While this specification contains many features, such features should not be construed as limiting the scope of the invention or the claims. Also, features described in individual embodiments herein may be implemented in combination in a single embodiment. Conversely, various features described in a single embodiment herein may be implemented in various embodiments individually, or may be implemented in appropriate combination.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although operations have been described in a particular order in the drawings, it should not be understood that such operations are performed in the specific order as illustrated, or that all described operations are performed in a continuous sequence, or to obtain a desired result. Multitasking and parallel processing can be advantageous in certain circumstances. In addition, it should be understood that the division of various system components in the above-described embodiments does not require such division in all embodiments. The app components and systems described above may generally be implemented as a package in a single software product or multiple software products.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.The present invention described above, for those of ordinary skill in the art to which the present invention pertains, various substitutions, modifications and changes are possible without departing from the technical spirit of the present invention. It is not limited by the drawings.

100 : 웨어러블 디바이스
200 : 재활치료 참여도 평가 장치
210 : 생리적 신호 데이터 수집부
230 : 데이터 처리부
250 : 참여도 평가부100: wearable device
200: Rehabilitation treatment participation evaluation device
210: physiological signal data collection unit
230: data processing unit
250: Participation evaluation unit

Claims (10)

VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집하는 단계;
상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계; 및
상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계;를 포함하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법.collecting, from a wearable device worn by a patient performing rehabilitation training using VR contents, data of a patient's physiological signal generated as the rehabilitation training is performed;
sampling the collected physiological signal data of the patient; and
Evaluating the participation degree of a patient performing rehabilitation treatment based on the sampling-processed physiological signal data; Machine learning-based rehabilitation treatment participation evaluation method using physiological signals comprising a. 제 1 항에 있어서,
상기 생리적 신호 데이터는,
환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법.The method of claim 1,
The physiological signal data is
It may be autonomic response record information generated as the patient performs rehabilitation training, characterized in that it includes at least one of photoplethysmography (PPG), skin electrical activity (EDA), and skin temperature (ST) information. A method for evaluating participation in rehabilitation treatment based on machine learning using physiological signals. 제 2 항에 있어서,
상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계는,
상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법.
Figure pat00019

여기서, μx는 평균이고 σx는 x의 표준 편차임.3. The method of claim 2,
The step of sampling and processing the collected physiological signal data of the patient,
When the physiological signal data is skin electrical activity (EDA) information, the skin electrical activity (EDA) information is decomposed using the cvxEDA algorithm, normalized by applying Z-score transformation, and the component decomposed using the following equation A method for evaluating participation in rehabilitation treatment based on machine learning using physiological signals, characterized in that additional statistical features are derived from
Figure pat00019

where μ x is the mean and σ x is the standard deviation of x. 제 2 항에 있어서,
상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계는,
상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(NN 간격)을 추정하고, 아래의 수학식 1 내지 3을 이용하여 평균 인터 비트 간격과 평균 심박수를 계산하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법.
[수학식 1]
Figure pat00020

[수학식 2]
Figure pat00021

[수학식 3]
Figure pat00022

여기서, t는 N 비트 시간이고 N은 전체 심장 박동임.3. The method of claim 2,
The step of sampling and processing the collected physiological signal data of the patient,
When the physiological signal data is PPG information, the inter-bit interval (NN interval) is estimated by identifying individual intervals between adjacent bits of the PPG information, and Equations 1 to 3 below are used. A method for evaluating participation in rehabilitation treatment based on machine learning using physiological signals, characterized in that the average interbeat interval and average heart rate are calculated.
[Equation 1]
Figure pat00020

[Equation 2]
Figure pat00021

[Equation 3]
Figure pat00022

where t is N beat times and N is the total heart rate. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계는,
샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 기계 학습 알고리즘을 적용하여 재활치료를 수행하는 환자의 참여도를 평가하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법.5. The method according to any one of claims 2 to 4,
The step of evaluating the participation of the patient performing rehabilitation treatment based on the sampling-processed physiological signal data,
A method for evaluating participation in rehabilitation treatment based on machine learning using physiological signals, characterized in that by applying a machine learning algorithm to features derived from sampling-processed physiological signal data to evaluate the participation of patients performing rehabilitation treatment. VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집하는 생리적 신호 데이터 수집부;
상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 데이터 처리부; 및
상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 참여도 평가부;를 포함하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치.a physiological signal data collection unit that collects physiological signal data of a patient generated as the rehabilitation is performed from a wearable device worn by a patient performing rehabilitation using VR contents;
a data processing unit for sampling and processing the collected physiological signal data of the patient; and
A machine learning-based rehabilitation treatment participation evaluation device using physiological signals comprising a; a participation evaluation unit for evaluating the participation degree of a patient performing rehabilitation treatment based on the sampling-processed physiological signal data. 제 6 항에 있어서,
상기 생리적 신호 데이터는,
환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치.7. The method of claim 6,
The physiological signal data is
It may be autonomic response record information generated as the patient performs rehabilitation training, characterized in that it includes at least one of photoplethysmography (PPG), skin electrical activity (EDA), and skin temperature (ST) information. A device for evaluating participation in rehabilitation treatment based on machine learning using physiological signals. 제 7 항에 있어서,
상기 데이터 처리부는,
상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치.
Figure pat00023

여기서, μx는 평균이고 σx는 x의 표준 편차임.8. The method of claim 7,
The data processing unit,
When the physiological signal data is skin electrical activity (EDA) information, the skin electrical activity (EDA) information is decomposed using the cvxEDA algorithm, normalized by applying Z-score transformation, and the component decomposed using the following equation A device for evaluating participation in rehabilitation treatment based on machine learning using physiological signals, characterized in that additional statistical features are derived from
Figure pat00023

where μ x is the mean and σ x is the standard deviation of x. 제 7 항에 있어서,
상기 데이터 처리부는,
상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(NN 간격)을 추정하고, 아래의 수학식을 이용하여 평균 인터 비트 간격과 평균 심박수를 계산하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치.
[수학식 1]
Figure pat00024

[수학식 2]
Figure pat00025

[수학식 3]
Figure pat00026

여기서, t는 N 비트 시간이고 N은 전체 심장 박동임.8. The method of claim 7,
The data processing unit,
When the physiological signal data is PPG information, the inter-bit interval (NN interval) is estimated by identifying individual intervals between adjacent bits of the PPG information, and the average inter-bit interval is calculated using the following equation. A device for evaluating participation in rehabilitation treatment based on machine learning using physiological signals, characterized in that it calculates the beat interval and average heart rate.
[Equation 1]
Figure pat00024

[Equation 2]
Figure pat00025

[Equation 3]
Figure pat00026

where t is N beat times and N is the total heart rate. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 참여도 평가부는,
샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 기계 학습 알고리즘을 적용하여 재활치료를 수행하는 환자의 참여도를 평가하는 것을 특징으로 하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치.

10. The method according to any one of claims 7 to 9,
The participation evaluation unit,
A machine learning-based rehabilitation treatment participation evaluation device using physiological signals, characterized in that the patient's participation in rehabilitation is evaluated by applying a machine learning algorithm to the features derived from the sampling-processed physiological signal data.
KR1020200005844A 2020-01-16 2020-01-16 A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals KR102355127B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200005844A KR102355127B1 (en) 2020-01-16 2020-01-16 A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200005844A KR102355127B1 (en) 2020-01-16 2020-01-16 A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals

Publications (2)

Publication Number Publication Date
KR20210092446A true KR20210092446A (en) 2021-07-26
KR102355127B1 KR102355127B1 (en) 2022-01-25

Family

ID=77124880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200005844A KR102355127B1 (en) 2020-01-16 2020-01-16 A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals

Country Status (1)

Country Link
KR (1) KR102355127B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114403877A (en) * 2022-01-21 2022-04-29 中山大学 Multi-physiological-signal emotion quantitative evaluation method based on two-dimensional continuous model

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419731B1 (en) 2022-02-18 2022-07-12 신화건설㈜ Mobile Motion-Sensitive Digital Therapy Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140073348A (en) * 2012-12-06 2014-06-16 주식회사 솔미테크 Apparatus and method for measuring emotions
KR101911179B1 (en) 2017-06-07 2018-10-23 건양대학교산학협력단 Virtual reality and emg feedback-based rehabilitation training system
KR102050917B1 (en) * 2019-06-03 2019-12-02 (주)인스파이어팩토리 System and device for dementia rehabilitation training using virtual reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140073348A (en) * 2012-12-06 2014-06-16 주식회사 솔미테크 Apparatus and method for measuring emotions
KR101911179B1 (en) 2017-06-07 2018-10-23 건양대학교산학협력단 Virtual reality and emg feedback-based rehabilitation training system
KR102050917B1 (en) * 2019-06-03 2019-12-02 (주)인스파이어팩토리 System and device for dementia rehabilitation training using virtual reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114403877A (en) * 2022-01-21 2022-04-29 中山大学 Multi-physiological-signal emotion quantitative evaluation method based on two-dimensional continuous model

Also Published As

Publication number Publication date
KR102355127B1 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
Biswas et al. Heart rate estimation from wrist-worn photoplethysmography: A review
Fernández et al. Mental stress detection using bioradar respiratory signals
Novak et al. Psychophysiological measurements in a biocooperative feedback loop for upper extremity rehabilitation
Sun et al. Activity-aware mental stress detection using physiological sensors
Moniri et al. Real-time forecasting of sEMG features for trunk muscle fatigue using machine learning
Best et al. Overview of movement analysis and gait features
WO2017019184A2 (en) Method and apparatus for removing motion artifacts from biomedical signals
Iqbal et al. A sensitivity analysis of biophysiological responses of stress for wearable sensors in connected health
Djamal et al. Identification of post-stroke EEG signal using wavelet and convolutional neural networks
Lim et al. Adaptive template matching of photoplethysmogram pulses to detect motion artefact
KR102355127B1 (en) A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals
Salazar-Ramirez et al. An enhanced fuzzy algorithm based on advanced signal processing for identification of stress
KR20170004914A (en) Method and system for extracting heart information of time domain
Carbonaro et al. Wearable biomonitoring system for stress management: A preliminary study on robust ECG signal processing
Sihem et al. A body area network for ubiquitous driver stress monitoring based on ECG signal
Mesin A neural algorithm for the non-uniform and adaptive sampling of biomedical data
Cao et al. Guard your heart silently: Continuous electrocardiogram waveform monitoring with wrist-worn motion sensor
Pombo et al. Big data reduction using RBFNN: A predictive model for ECG waveform for eHealth platform integration
US20220183611A1 (en) Identifying and extracting electroencephalogram signals
Chu et al. Physiological signals based quantitative evaluation method of the pain
Chan et al. Estimating heart rate from seismocardiogram signal using a novel deep dominant frequency regressor and domain adversarial training
KR20170004549A (en) Method and system for extracting Heart Information of Frequency domain
Candelieri et al. Automated rehabilitation exercises assessment in wearable sensor data streams
Belle et al. Frustration detection with electrocardiograph signal using wavelet transform
Němcová et al. Recommendations for ECG acquisition using BITalino

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right