KR101118654B1 - rehabilitation device using motion analysis based on motion capture and method thereof - Google Patents

rehabilitation device using motion analysis based on motion capture and method thereof Download PDF

Info

Publication number
KR101118654B1
KR101118654B1 KR1020100080918A KR20100080918A KR101118654B1 KR 101118654 B1 KR101118654 B1 KR 101118654B1 KR 1020100080918 A KR1020100080918 A KR 1020100080918A KR 20100080918 A KR20100080918 A KR 20100080918A KR 101118654 B1 KR101118654 B1 KR 101118654B1
Authority
KR
South Korea
Prior art keywords
rehabilitation
camera
reflector
markers
target
Prior art date
Application number
KR1020100080918A
Other languages
Korean (ko)
Other versions
KR20120017948A (en
Inventor
정순기
이양수
이석준
이성수
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020100080918A priority Critical patent/KR101118654B1/en
Publication of KR20120017948A publication Critical patent/KR20120017948A/en
Application granted granted Critical
Publication of KR101118654B1 publication Critical patent/KR101118654B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Rehabilitation Tools (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

재활 장치 및 그에 따른 재활 방법이 제공된다.
반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법은 반사체에 복수 개의 제1 마커가 부착된 상태에서 카메라가 반사체를 촬영하여, 카메라의 위치 및 자세를 추정하는 단계, 복수 개의 제2 마커가 부착된 재활 대상이 압력 센서 보드 상에 위치하면, 카메라를 이용하여 재활 대상을 촬영하는 단계, 재활 대상을 촬영한 이미지 및 압력 센서 보드의 출력 신호를 이용하여 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계 및 분석 결과를 출력하는 단계를 포함한다.A rehabilitation device and a rehabilitation method accordingly are provided.
A rehabilitation method of a rehabilitation system including a reflector, a pressure sensor board, and a camera includes a step of estimating a position and a posture of a camera by photographing a reflector while a plurality of first markers are attached to the reflector, and a plurality of second markers When the rehabilitation target is attached on the pressure sensor board, the step of photographing the rehabilitation target using a camera, the image of the rehabilitation target and the output signal of the pressure sensor board to estimate the posture of the rehabilitation target, walking Analyzing the operation and outputting an analysis result.

Description

모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법{rehabilitation device using motion analysis based on motion capture and method thereof}Rehabilitation device using motion analysis based on motion capture and method etc.

본 발명은 재활 장치 및 재활 방법에 관한 것으로, 더욱 상세하게는 모션캡쳐를 기반으로 자세를 분석하는 재활 장치 및 재활 방법에 관한 것이다.The present invention relates to a rehabilitation apparatus and a rehabilitation method, and more particularly, to a rehabilitation apparatus and a rehabilitation method for analyzing postures based on motion capture.

하지운동은 인간이 이동을 위한 가장 효율적인 방법이며, 또한 가장 많이 사용되는 방법이다. 이러한 하지운동에 어려움이 있는 사람을 치료하기 위해 하지 자세를 분석하는 것이 연구되고 있다.Lower extremity exercise is the most efficient way for humans to move and is also the most used method. Analyzing lower extremity posture has been studied to treat those who have difficulty with such lower extremity movements.

하지자세분석은 주로 인체 여러 부분의 동작을 운동 형상학적 정보, 운동역학적 정보, 동적 근전도 정보와 같은 방법을 이용하여 수행한다. 과거 임상에서는 신경 근 골격계 질환 환자의 보행을 의사가 육안으로 반복 관찰하는 것이 사실상 유일한 보행분석 방법이었으나, 이는 비정상적인 보행양상을 초래할 수 있는 많은 요인들과 보행양상의 변화를 객관적으로 밝혀내기가 불가능하다는 한계가 존재했다. Lower extremity posture analysis mainly performs the movement of various parts of the human body using methods such as motor morphology information, kinematic information, and dynamic EMG information. In the past clinical practice, it was virtually the only pedestrian analysis method to observe the gait of patients with neuromuscular skeletal disease, but it is impossible to objectively identify the change of gait and many factors that can cause abnormal gait pattern. There was a limit.

이에 따라, 비정상적인 보행에 관련된 객관적인 정보를 얻어내어 정확한 치료가 가능하도록 하기 위한 시스템의 도입이 요구된다.Accordingly, it is required to introduce a system for obtaining objective information related to abnormal gait and enabling accurate treatment.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 재활 대상이 운동을 수행할 때, 양 하지의 무릎 각도, 위치등의 데이터를 3차원 공간상에서 실시간으로 측정하여 피드백해줌으로서, 훈련과 분석이 가능한 재활 장치 및 그에 따른 방법을 제공하기 위함이다.The present invention has been made in order to solve the above problems, an object of the present invention is to measure the feedback, such as knee angle, position of the lower limbs in real time in a three-dimensional space when the rehabilitation subject performs the exercise in real time In order to provide a rehabilitation device and a method thereof that can be trained and analyzed.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법은 상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여, 상기 카메라의 위치 및 자세를 추정하는 단계, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계 및, 상기 분석 결과를 출력하는 단계를 포함한다.According to an embodiment of the present invention for achieving the above object, a rehabilitation method of a rehabilitation system including a reflector, a pressure sensor board and a camera, the camera is attached to the reflector with a plurality of first markers attached to the reflector Photographing, estimating the position and attitude of the camera; photographing the rehabilitation target using the camera when the rehabilitation target having a plurality of second markers is positioned on the pressure sensor board; Estimating the posture of the rehabilitation target by using the captured image and the output signal of the pressure sensor board, analyzing a walking motion, and outputting the analysis result.

여기서, 상기 카메라의 위치 및 자세를 추정하는 단계는 상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하는 단계, 상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하는 단계, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계 및 상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계를 포함할 수 있다.The estimating of the position and posture of the camera may include photographing the reflector using the camera to generate a reference image while the plurality of first markers do not operate on the reflector. Photographing the reflector using the camera while the plurality of first markers are attached, generating a comparison image, excluding the reference image from the comparison image, and detecting the first marker portion And estimating the position and attitude of the camera based on the detected position of the first marker portion.

한편, 상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고, 상기 재활 대상을 촬영하는 단계는 상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계를 포함할 수 있다.Meanwhile, the plurality of second markers are attached to the lower part of the rehabilitation target, and the photographing of the rehabilitation target includes removing the first marker from the reflector and attaching the plurality of second markers to the rehabilitation target. When positioned on the pressure sensor board, it may include the step of photographing the rehabilitation target using the camera.

여기서, 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는 상기 재활 대상을 촬영한 이미지로부터 상기 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하는 단계, 상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하는 단계 및 상기 추정된 배치 상태 및 배치 간격에 기초하여, 상기 재활 대상의 자세를 추정하는 단계를 포함할 수 있다.Here, estimating the posture of the rehabilitation target and analyzing the walking motion may include detecting the plurality of second marker portions by excluding the reference image from the image of the rehabilitation target, and the detected second marker. Estimating the placement state of the lower portion of the rehabilitation target using the portion, and estimating the placement interval between the lower portions of the rehabilitation target based on the output signal of the pressure sensor board, and the estimated placement state and placement interval. And estimating a posture of the rehabilitation target.

한편, 상기 분석된 결과를 상기 재활 시스템에 등록하는 단계를 더 포함하고, 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는 상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석할 수 있다.The method may further include registering the analyzed result in the rehabilitation system, and estimating the posture of the rehabilitation target and analyzing the walking motion may analyze cumulative data about an operation state of the rehabilitation target. .

한편, 본 발명의 다른 실시 예에 따르면, 재활 시스템의 재활 방법은 반사체에 복수 개의 제1 마커가 부착된 상태에서 카메라로 상기 반사체를 촬영하여, 상기 제1 마커 부분을 검출하는 전처리 단계 및 상기 검출된 제1 마커 부분에 의해 훈련 공간이 초기화되어, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라로 상기 재활 대상을 촬영하여 상기 재활 대상의 보행 동작을 분석하는 후처리 단계를 포함한다. On the other hand, according to another embodiment of the present invention, the rehabilitation method of the rehabilitation system is a pre-processing step of detecting the first marker portion by photographing the reflector with a camera with a plurality of first markers attached to the reflector and the detection When the training space is initialized by the first marker portion, and the rehabilitation target having a plurality of second markers is positioned on the pressure sensor board, the gait motion of the rehabilitation target is analyzed by photographing the rehabilitation target with the camera. And a post-processing step.

여기서, 상기 전처리 단계는 상기 반사체를 촬영하여, 기준 영상 및 비교 영상을 생성하는 단계, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계 및 상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계를 포함할 수 있다.The preprocessing may include photographing the reflector to generate a reference image and a comparison image, excluding the reference image from the comparison image, detecting the first marker portion, and the detected first marker. And based on the position of the portion, estimating the position and attitude of the camera.

한편, 상기 후처리 단계는, 상기 제2 마커 부분을 검출하는 영상 처리 단계, 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계 및 상기 분석 결과를 출력하는 단계를 포함할 수 있다.In the post-processing step, an image processing step of detecting the second marker portion, an image of a rehabilitation target image, and an output signal of the pressure sensor board are used to estimate a posture of the rehabilitation target and analyze a walking motion. And outputting the analysis result.

한편, 본 발명의 또 다른 실시 예에 따르면, 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 장치는 상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부, 상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부, 상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부 및 상기 분석 결과를 출력하는 디스플레이부를 포함한다.According to another embodiment of the present invention, a rehabilitation apparatus of a rehabilitation system including a reflector, a pressure sensor board, and a camera photographs the reflector with a plurality of first markers attached thereto by using the camera. An image processing unit for recognizing first markers, the camera photographing the reflector while the plurality of first markers are attached to the reflector, and estimating the position and posture of the camera, and rehabilitation having a plurality of second markers attached thereto A space controller configured to position a subject on the pressure sensor board to initialize a training space, photographing the rehabilitation target using the camera, and using the image of the rehabilitation target and the output signal of the pressure sensor board; A posture estimator for estimating a subject's posture, analyzing a walking motion, and a display unit for outputting the analysis result It includes.

여기서, 상기 영상 처리부는 상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하고, 상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하고, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출할 수 있다.Here, the image processing unit photographs the reflector using the camera while the plurality of first markers do not operate on the reflector, generates a reference image, and attaches the plurality of first markers to the reflector. In this state, the first marker portion may be detected by capturing the reflector by using the camera to generate a comparison image and excluding the reference image from the comparison image.

여기서, 상기 공간 제어부는 상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정할 수 있다.Here, the space controller may estimate the position and attitude of the camera based on the detected position of the first marker portion.

한편, 상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고, 상기 자세 추정부는 상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영할 수 있다.Meanwhile, the plurality of second markers are attached to a lower portion of the rehabilitation target, the posture estimating unit removes the first marker from the reflector, and the rehabilitation target having the plurality of second markers attached to the pressure sensor board. When positioned on the image, the camera may photograph the rehabilitation target.

여기서, 상기 자세 추정부는 상기 재활 대상을 촬영한 이미지로부터 상기 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하고, 상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하여, 상기 재활 대상의 자세를 추정할 수 있다.Here, the posture estimator detects the plurality of second marker portions by excluding the reference image from the image photographing the rehabilitation target, and uses the detected second marker portion to place the lower portion of the rehabilitation target. The posture of the rehabilitation target can be estimated by estimating, and estimating an interval between the lower portions of the rehabilitation target based on the output signal of the pressure sensor board.

한편, 상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부를 더 포함하고, 상기 자세 추정부는 상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석할 수 있다.The apparatus may further include a storage configured to register the analyzed result in the rehabilitation system, and the posture estimator may analyze cumulative data regarding an operation state of the rehabilitation target.

한편, 본 발명의 또 다른 실시 예에 따른, 재활 시스템은 재활 대상의 옆에 배치되어 훈련 공간을 제공하는 반사체, 상기 반사체에 부착된 복수 대의 제1 마커 및 상기 재활 대상에 부착된 복수 개의 제2 마커를 촬상하는 카메라, 상기 재활 대상이 위치하여 상기 재활 대상 하지들 사이의 거리를 측정하는 압력 센서 보드, 상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부, 상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부, 상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부, 상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부 및 상기 분석된 결과를 출력하는 디스플레이부를 포함한다.On the other hand, according to another embodiment of the present invention, the rehabilitation system is disposed next to the rehabilitation target to provide a training space, a plurality of first markers attached to the reflector and a plurality of second attached to the rehabilitation target A camera for photographing a marker, a pressure sensor board on which the rehabilitation target is positioned to measure the distance between the lower limbs of the rehabilitation target, and the reflector to which the plurality of first markers are attached are photographed using the camera. An image processing unit for recognizing a first marker, the camera photographing the reflector in a state where a plurality of first markers are attached to the reflector to estimate the position and posture of the camera, and a rehabilitation target having a plurality of second markers attached thereto A space control unit positioned on the pressure sensor board to initialize a training space, and photographing the rehabilitation target using the camera; A posture estimator configured to estimate a posture of the rehabilitation target by using the photographed image of the rehabilitation target and the output signal of the pressure sensor board, and to analyze a walking motion, and to register the analyzed result in the rehabilitation system; And a display unit for outputting the analyzed result.

본 발명의 다양한 실시 예에 따른 재활 장치 및 재활 방법은 반사체와 하나의 카메라만으로 3차원 기하분석을 통해 재활 대상의 3차원 상태와 움직임을 측정할 수 있다. 이에 따라, 훈련 상황을 자유롭게 관찰할 수 있으며, 운동 상태를 실시간으로 측정할 수 있다. According to various embodiments of the present disclosure, a rehabilitation apparatus and a rehabilitation method may measure a three-dimensional state and movement of a rehabilitation target through three-dimensional geometric analysis using only a reflector and one camera. Accordingly, the training situation can be freely observed, and the exercise state can be measured in real time.

도 1은 본 발명의 일 실시예에 따른 재활 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 재활 장치의 구성을 도시한 블록도,
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 재활 장치가 기준 영상을 생성하는 일 예를 나타내는 도면,
도 4는 본 발명의 일 실시 예에 따른 재활 시스템의 훈련 공간을 나타낸 도면,
도 5는 본 발명의 일 실시 예에 따른 재활 장치에서, 재활 대상의 하지 위치를 추정하기 위한 구조도,
도 6은 본 발명의 일 실시 예에 따른 재활 장치의 블록도,
도 7a는 본 발명의 일 실시 예에 따른 재활 장치에서 재활 대상의 자세를 추정하여 소프트웨어를 이용해 3차원 상에 표현한 도면,
도 7b는 본 발명의 일 실시 예에 따른 재활 장치에서 카메라를 통해 얻은 실제 훈련 영상을 나타낸 도면,
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 훈련 과정에서의 자세를 추정한 결과를 나타낸 도면, 그리고
도 9는 본 발명의 일 실시 예에 따른 재활 방법을 설명하기 위한 흐름도이다.1 is a view showing a rehabilitation system according to an embodiment of the present invention,
2 is a block diagram showing the configuration of a rehabilitation apparatus according to an embodiment of the present invention;
3A and 3B illustrate an example in which a rehabilitation apparatus generates a reference image according to an embodiment of the present invention;
4 is a view showing the training space of the rehabilitation system according to an embodiment of the present invention,
5 is a structural diagram for estimating the position of the lower limb of the rehabilitation target in the rehabilitation apparatus according to an embodiment of the present invention;
6 is a block diagram of a rehabilitation apparatus according to an embodiment of the present invention;
FIG. 7A is a view illustrating a posture of a rehabilitation target in a rehabilitation apparatus according to an embodiment of the present invention and expressing it in three dimensions using software; FIG.
7B is a view showing an actual training image obtained through a camera in the rehabilitation apparatus according to an embodiment of the present invention,
8a to 8c are views showing the result of estimating the posture in the training process according to an embodiment of the present invention, and
9 is a flowchart illustrating a rehabilitation method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.

도 1은 본 발명의 일 실시 예에 따른 재활 시스템을 나타내는 도면이다.1 is a view showing a rehabilitation system according to an embodiment of the present invention.

도 1에서와 같이, 본 재활 시스템(100)은 복수 개의 제1 마커(미도시), 복수 개의 제2 마커(50, 51), 카메라(110), 반사체(130), 압력 센서 보드(150) 및 재활 장치(200)로 구현될 수 있다. As shown in FIG. 1, the rehabilitation system 100 includes a plurality of first markers (not shown), a plurality of second markers 50 and 51, a camera 110, a reflector 130, and a pressure sensor board 150. And the rehabilitation device 200.

복수 개의 제1 마커(미도시)는 반사체(130)에 부착되고, 복수 개의 제2 마커(50, 51)는 재활 대상에 부착되어, 부착된 곳의 위치 정보를 카메라(110)에 전송할 수 있다. The plurality of first markers (not shown) may be attached to the reflector 130, and the plurality of second markers 50 and 51 may be attached to the rehabilitation target, and may transmit location information of the attached location to the camera 110. .

여기서, 복수 개의 제1 마커 및 제2 마커(50, 51)는 부착된 곳의 위치 정보를 전송하기 위해 적외선을 이용할 수 있다. 적외선을 직접 발산하거나 적외선을 반사하여, 카메라(110)에 적외선 신호를 전송하여 마커들이 부착된 곳의 위치 정보를 전송하는 적외선 마커들로 구현될 수 있다.Here, the plurality of first markers and the second markers 50 and 51 may use infrared rays to transmit location information of the attached places. By directly emitting infrared rays or reflecting infrared rays, infrared rays may be implemented by transmitting infrared signals to the camera 110 to transmit positional information on where the markers are attached.

여기서, 반사체(130)에 부착된 복수 개의 제1 마커(미도시)는 재활 대상이 없는 경우 자동적으로 턴온(turn-on)되고, 재활 대상이 재활 시스템(100) 내로 입장하면 자동적으로 턴오프(turn-off)되는 방식으로 동작하여, 재활 시스템에 카메라의 자세추정에 이용될 수 있다. 이러한, 카메라의 자세 추정에 대해서는 첨부된 도 4와 함께 상세히 후술한다. 또한, 재활 대상의 하지에 부착된 복수 개의 제2 마커(50, 51)는 재활 대상이 재활 시스템(100)에 입장하면 자동적으로 턴온(turn-on)되어, 재활 대상의 자세를 추정하는 데 이용될 수 있다. 재활 대상의 자세를 추정하는 과정에 대해서는 첨부된 도 5와 함께 상세히 후술하기로 한다.Here, the plurality of first markers (not shown) attached to the reflector 130 are automatically turned on when there is no rehabilitation target, and automatically turns off when the rehabilitation target enters the rehabilitation system 100. operating in a turn-off manner, the rehabilitation system can be used to estimate the camera position. The posture estimation of the camera will be described later in detail with reference to FIG. 4. In addition, the plurality of second markers 50 and 51 attached to the lower limb of the rehabilitation target are automatically turned on when the rehabilitation target enters the rehabilitation system 100, and used to estimate the posture of the rehabilitation target. Can be. The process of estimating the posture of the rehabilitation target will be described later in detail with reference to FIG. 5.

카메라(110)는 재활 대상을 촬상하는 역할을 한다. 구체적으로는, 반사체(130)에 부착된 복수의 제1 마커(미도시) 및 재활 대상에 부착된 복수의 제2 마커(50, 51)를 촬상한다. The camera 110 serves to photograph a rehabilitation target. Specifically, the plurality of first markers (not shown) attached to the reflector 130 and the plurality of second markers 50 and 51 attached to the rehabilitation target are captured.

한편, 복수의 제1 마커(미도시) 및 재활 대상에 부착된 복수의 제2 마커(50, 51)가 적외선을 이용하여 위치 정보를 전송하기 때문에, 카메라(110)는 가시광선 영역 외에 적외선 영역도 함께 촬상할 수 있다.On the other hand, since the plurality of first markers (not shown) and the plurality of second markers 50 and 51 attached to the rehabilitation target transmit infrared position information by using infrared rays, the camera 110 includes an infrared region in addition to the visible ray region. It can also image together.

반사체(130)는 재활 대상에 부착된 복수의 제2 마커(50, 51) 중 일부를 반사시켜 상을 맺는 역할을 한다. 도 1을 참조하면, 재활 대상의 왼쪽 하지에 부착된 마커(51)는 왼쪽 하지의 바깥쪽에 부착되므로, 카메라(110)에 의해 직접 촬상될 수 없다. 이에 따라, 반사체(130)는 카메라(110)에 의해 직접 촬상될 수 없는 마커(51)들의 상을 맺어, 카메라(110)에 의해 촬상될 수 있도록 한다. 때문에, 반사체(130)는 카메라(110)의 반대편에 위치할 수 있다.The reflector 130 reflects a portion of the plurality of second markers 50 and 51 attached to the rehabilitation object to form an image. Referring to FIG. 1, the marker 51 attached to the left lower leg of the rehabilitation object is attached to the outside of the left lower leg, and thus cannot be directly photographed by the camera 110. Accordingly, the reflector 130 forms an image of the markers 51 that cannot be directly imaged by the camera 110, so that the reflector 130 can be imaged by the camera 110. As such, the reflector 130 may be located opposite the camera 110.

압력 센서 보드(150)는 재활 대상을 감지하는 역할을 한다. 구체적으로, 압력 센서 보드(150)는 재활 대상을 감지하여, 복수 개의 제2 마커(50, 51)들이 부착된 재활 대상의 하지 사이의 거리 정보를 제공할 수 있다. 이하에서, 수학식 1 및 2를 이용해 압력 센서 보드(150)가 하지 사이의 거리를 추정하는 방법을 구체적으로 살펴본다.The pressure sensor board 150 serves to detect a rehabilitation target. In detail, the pressure sensor board 150 may detect the rehabilitation target and provide distance information between the lower extremities of the rehabilitation target to which the plurality of second markers 50 and 51 are attached. Hereinafter, a method of estimating the distance between the lower legs by the pressure sensor board 150 using Equations 1 and 2 will be described in detail.

압력 센서 보드(150)는 각 모서리에 부착된 압력 센서를 이용하여, 재활 대상의 하지 사이의 거리를 측정할 수 있다. 이때 사용된 압력 센서는 압력 센서 보드(150)의 각 모서리에 부착되어 있으며, 각 센서에서 측정되는 압력 값은 무게 중심과 거리에 반비례하는 값을 가진다는 점을 이용하여 아래 수학식 1에 의해 한쪽 발을 올렸을 때 무게 중심 좌표

Figure 112010053829507-pat00001
를 먼저 구한다. The pressure sensor board 150 may measure the distance between the lower limbs of the rehabilitation target by using a pressure sensor attached to each corner. At this time, the pressure sensor used is attached to each corner of the pressure sensor board 150, the pressure value measured by each sensor has a value inversely proportional to the center of gravity and distance by one side by the following equation (1) Center of gravity coordinates when raised foot
Figure 112010053829507-pat00001
Find first.

그 후에 다음 발을 올려 위치를 계산한 후 양 발 사이의 거리를 계산하여 이를 하지 사이의 거리로 사용한다.After that, raise the next foot to calculate the position, then calculate the distance between the feet and use it as the distance between the lower legs.

Figure 112010053829507-pat00002
Figure 112010053829507-pat00002

여기서,

Figure 112010053829507-pat00003
는 오른쪽 압력 센서로부터 얻은 값이고,
Figure 112010053829507-pat00004
은 왼쪽 압력 센서로부터 얻은 값이다.
Figure 112010053829507-pat00005
는 양쪽 압력 센서 간의 거리를 나타낸다.here,
Figure 112010053829507-pat00003
Is the value obtained from the right pressure sensor,
Figure 112010053829507-pat00004
Is the value obtained from the left pressure sensor.
Figure 112010053829507-pat00005
Denotes the distance between both pressure sensors.

다음 발을 압력 센서 보드(150)에 올려놓으면, 양쪽 발에 가해지는 무게 비율이 동일하다는 가정 하에 양 발을 모두 올린 상태의 무게 중심을 구한 후 수학식 2에 의해 한 발을 올렸을 때 얻은 값과 양 발을 올렸을 때 얻을 값의 차이에 의하여 양 발의 좌표를 구한다.When the next foot is placed on the pressure sensor board 150, assuming that the center of gravity of both feet is raised under the assumption that the weight ratio applied to both feet is the same, the value obtained when one foot is raised by Equation 2 and The coordinates of both feet are obtained by the difference of the values obtained when the feet are raised.

Figure 112010053829507-pat00006
Figure 112010053829507-pat00006

여기서,

Figure 112010053829507-pat00007
는 나중에 올린 발의 좌표이고,
Figure 112010053829507-pat00008
는 처음 한 발을 올렸을 때 무게 중심이며,
Figure 112010053829507-pat00009
는 양 발을 올렸을 때의 무게 중심을 나타낸다.here,
Figure 112010053829507-pat00007
Is the coordinate of the foot later raised,
Figure 112010053829507-pat00008
Is the center of gravity when the first foot is raised,
Figure 112010053829507-pat00009
Indicates the center of gravity when both feet are raised.

상술한 바와 같이, 압력 센서 보드(150)는 재활 대상의 하지 사이의 거리를 측정할 수 있으며, 압력 센서 보드(150)는 반사체(130)에서 일정한 거리에 떨어진 위치에 배치될 수 있다.As described above, the pressure sensor board 150 may measure the distance between the lower limbs of the rehabilitation target, and the pressure sensor board 150 may be disposed at a position away from the reflector 130 by a predetermined distance.

도 2는 도 1의 재활 장치의 구체적인 구성을 도시한 블록도 이다. FIG. 2 is a block diagram showing a specific configuration of the rehabilitation apparatus of FIG. 1.

본 발명의 일 실시 예에 따른 재활 장치는 카메라에 입력된 영상을 이용해 재활 대상의 자세를 추정하여 보행 동작을 분석하는 기능을 수행한다.According to an embodiment of the present invention, a rehabilitation apparatus performs a function of analyzing a walking motion by estimating a posture of a rehabilitation target using an image input to a camera.

도 2에 도시된 바와 같이, 이러한, 재활 장치(200)는 영상 처리부(210), 공간 제어부(230), 자세 추정부(250) 및 디스플레이부(270)를 포함한다. 또한, 본 재활 장치(200)는 도 1에서와 같이, 카메라, 반사체, 압력 센서 보드, 복수 개의 제1 마커 복수 개의 제2 마커와 함께 재활 시스템을 구현할 수 있다.As shown in FIG. 2, the rehabilitation apparatus 200 includes an image processor 210, a spatial controller 230, an attitude estimator 250, and a display 270. Also, as shown in FIG. 1, the rehabilitation apparatus 200 may implement a rehabilitation system together with a camera, a reflector, a pressure sensor board, and a plurality of first markers.

영상 처리부(210)는 재활 시스템의 기준 영상을 생성한다. 구체적으로, 영상 처리부(210)는 재활 대상 없이 카메라에 의해 재활 시스템을 촬상한 영상을 이진화(binarize)하여 기준 영상을 생성할 수 있다. 이러한 기준 영상을 생성하는 과정은 첨부된 도 3a 및 도 3b를 참조하여 상세히 설명한다.The image processor 210 generates a reference image of the rehabilitation system. In detail, the image processor 210 may generate a reference image by binarizing an image photographed by the camera without a rehabilitation target. A process of generating the reference image will be described in detail with reference to FIGS. 3A and 3B.

도 3a 및 도 3b는 본 재활 장치(200)가 기준 영상을 생성하는 일 예를 나타낸다. 본 발명의 일 실시 예에 따른 영상 처리부는 재활 대상 없이 재활 시스템을 촬상한 영상에서, 각 픽셀 별로 밝기 분포를 계산하고, 계산된 밝기 분포를 기 설정된 값과 비교하여 기준영상을 생성할 수 있다. 여기서 기 설정된 값이란 촬영된 영상을 이진화(binarize)하여 0, 1로 이루어진 흑백 이미지를 생성할 때, 흰색과 검은색을 구분하는 경계가 되는 값을 의미한다. 일 예로, 기 설정된 값이 200이라면, 밝기가 200이 이상인 픽셀은 흰색으로, 밝기가 200이 미만인 픽셀에서는 검은색으로 처리되어 배경 영상을 흑백 이미지로 생성할 수 있다. 도 3a과 같이, 영상 처리부(210)는 n개의 배경 영상을 입력받아, 도 3b와 같이, 배경 영상을 이진화하여 흑백 이미지를 생성할 수 있다.3A and 3B illustrate an example in which the rehabilitation apparatus 200 generates a reference image. An image processor according to an embodiment of the present invention may calculate a brightness distribution for each pixel in an image of a rehabilitation system without a rehabilitation target, and generate a reference image by comparing the calculated brightness distribution with a preset value. Here, the preset value means a value that is a boundary separating white and black when generating a black and white image composed of 0 and 1 by binarizing the photographed image. For example, if the preset value is 200, a pixel having a brightness greater than 200 may be processed as white, and a pixel having a brightness less than 200 may be processed as black to generate a background image as a black and white image. As illustrated in FIG. 3A, the image processor 210 may receive n background images, and generate a black and white image by binarizing the background image as illustrated in FIG. 3B.

이러한 기준 영상을 생성하는 것은 적외선 마커는 카메라에 의해 촬상된 영상에서 하얗게 인식되기 때문에, 적외선 마커 외에 흰색으로 촬영된 영역은 노이즈로 작용할 수 있어 이들을 제외하기 위함이다. Since the infrared marker is recognized as white in the image photographed by the camera, the reference image is generated to exclude these areas because the infrared imager is photographed as white in addition to the infrared marker.

도 2로 돌아가서, 영상 처리부(210)는 복수 개의 제1 마커가 부착된 반사체가 포함된 영상이 들어오면, 반사체에 부착된 복수 개의 제1 마커를 인식하는 역할을 한다. 구체적으로, 영상 처리부(210)는 기준 영상을 이용하여, 복수 개의 제1 마커를 부착한 반사체가 포함된 영상에서 배경 영상을 분리하여 복수 개의 제1 마커를 검출할 수 있다. 2, when an image including a reflector with a plurality of first markers is input, the image processor 210 recognizes a plurality of first markers attached to the reflector. In detail, the image processor 210 may detect the plurality of first markers by separating the background image from the image including the reflector to which the plurality of first markers are attached using the reference image.

공간 제어부(230)는 카메라의 자세를 추정하는 역할을 한다. 여기서, 카메라의 자세를 추정한다는 것은 거울과 카메라 사이의 상대적인 위치 정보를 산출하는 것을 의미한다. 즉, 카메라가 거울에서부터 떨어진 거리를 포함하는 거리 정보 및 카메라와 거울 사이의 각도를 포함하는 회전 정보를 산출하는 것을 의미한다. 이를 통해 거울과 카메라와의 상대적인 위치 관계를 정의할 수 있다. 이러한, 공간 제어부(230)의 역할을 도 4를 이용하여 보다 상세히 설명한다.The space controller 230 estimates the pose of the camera. Here, estimating the pose of the camera means calculating relative position information between the mirror and the camera. That is, it means that the camera calculates distance information including a distance away from the mirror and rotation information including an angle between the camera and the mirror. This allows you to define the relative positional relationship between the mirror and the camera. The role of the space controller 230 will be described in more detail with reference to FIG. 4.

도 4는 본 발명의 일 실시 예에 따른 재활 시스템의 훈련 공간을 나타낸다.Figure 4 shows a training space of the rehabilitation system according to an embodiment of the present invention.

도 4에서, 공간 제어부는 영상 처리부에 의해 검출된 복수 개의 제1 마커를 이용하여, 카메라의 자세를 추정할 수 있다. 구체적으로, 공간 제어부는 검출된 복수 개의 제1 마커에 네 점 기반 카메라 자세 추정 기법(4-point algorithm for camera pose determination)을 적용하여 카메라(410)의 자세를 추정할 수 있다. 네 점 기반 카메라 자세 추정 기법은 반사체의 네 꼭지점 간의 실제 길이 비율과 카메라에 의해 촬상된 영상에서 반사체의 네 꼭지점 간의 길이 비율을 이용하여 카메라의 자세를 추정하는 기법이다. 때문에, 복수 개의 제1 마커(52)는 4개로 구현될 수 있다. 이에 따라, 카메라(410)과 반사체(430)의 상대적인 위치 관계가 결정될 수 있다.In FIG. 4, the spatial controller may estimate the pose of the camera using the plurality of first markers detected by the image processor. In detail, the spatial controller may estimate a pose of the camera 410 by applying a four-point algorithm for camera pose determination to the detected plurality of first markers. The four point-based camera pose estimation technique is a technique for estimating the pose of a camera using the actual length ratio between four vertices of the reflector and the length ratio between four vertices of the reflector in the image captured by the camera. Therefore, the plurality of first markers 52 may be implemented in four. Accordingly, the relative positional relationship between the camera 410 and the reflector 430 may be determined.

한편, 압력 센서 보드(450)는 반사체(430)에 기 정의된 또는 사용자에 의해 임의로 설정될 수 있으므로, 카메라(410)과 반사체(430)의 상대적인 위치 관계에 따라, 카메라(410)와 압력 센서 보드(450)의 위치 관계까지 결정될 수 있다.On the other hand, since the pressure sensor board 450 may be predefined in the reflector 430 or arbitrarily set by the user, the camera 410 and the pressure sensor according to the relative positional relationship between the camera 410 and the reflector 430. The positional relationship of the board 450 may be determined.

도 2로 돌아가서, 한편, 공간 제어부(230)는 재활 시스템의 훈련 공간을 초기화하는 역할을 한다. 여기서, 훈련 공간을 초기화하는 것은 재활 시스템이 재활 대상의 자세를 추정하기 위한 준비가 완료되었다는 것을 의미한다. 따라서, 재활 시스템의 압력 센서 보드 상에 재활 대상이 위치하면, 공간 제어부(230)는 재활 대상의 하지들 사이의 거리 정보를 수신하여 재활 대상의 하지 위치 추정을 위한 준비를 완료할 수 있다. 하지 사이의 거리 정보를 산출하는 방법은 압력 센서 보드와 함께 상술한 바 있으므로, 여기서는 이에 대한 설명은 생략한다.2, on the other hand, the space control unit 230 serves to initialize the training space of the rehabilitation system. Here, initializing the training space means that the rehabilitation system is ready for estimating the posture of the rehabilitation target. Therefore, when the rehabilitation target is located on the pressure sensor board of the rehabilitation system, the space controller 230 may receive distance information between the lower legs of the rehabilitation target to complete preparation for estimating the lower limb position of the rehabilitation target. Since the method for calculating the distance information between the lower legs has been described above together with the pressure sensor board, the description thereof will be omitted here.

자세 추정부(250)는 재활 대상에 부착된 복수 개의 제2 마커들을 인식하는 역할을 한다. 구체적으로, 자세 추정부(250)는 기준 영상을 이용하여, 복수 개의 제2 마커를 부착한 재활 대상이 포함된 영상에서 배경을 분리하여 복수 개의 제2 마커를 검출할 수 있다. The posture estimator 250 recognizes a plurality of second markers attached to the rehabilitation target. In detail, the posture estimator 250 may detect a plurality of second markers by separating a background from an image including a rehabilitation target having a plurality of second markers attached thereto using the reference image.

또한, 자세 추정부(250)는 재활 대상의 자세를 추정하는 역할을 한다. 구체적으로, 자세 추정부(250)는 검출된 복수 개의 제2 마커와 압력 센서 보드의 출력 신호를 이용하여 재활 대상의 자세 및 위치를 추정할 수 있다. 도 5를 통해 이하에서 상술한다.In addition, the posture estimating unit 250 serves to estimate the posture of the rehabilitation target. In detail, the posture estimator 250 may estimate the posture and the position of the rehabilitation target by using the detected plurality of second markers and the output signals of the pressure sensor board. It will be described in detail below with reference to FIG.

도 5는 본 발명의 일 실시 예에 따른 재활 장치에서, 재활 대상의 하지 위치를 추정하기 위한 구조도를 나타낸다.5 is a structural diagram for estimating the position of the lower limb of the rehabilitation target in the rehabilitation apparatus according to an embodiment of the present invention.

도 5에서, 자세 추정부에 의해 검출된 복수 개의 제2 마커는 3차원 공간 상에서 두 선

Figure 112010053829507-pat00010
및
Figure 112010053829507-pat00011
에 놓일 것이다. 카메라(510)에 보이는 점
Figure 112010053829507-pat00012
은
Figure 112010053829507-pat00013
이 반사체(530)에 반사되어 보이는 점이다. 따라서,
Figure 112010053829507-pat00014
은 실제로
Figure 112010053829507-pat00015
선상에 존재하는 점이 아니라, 반사체(530)에 반사되어 나타나는
Figure 112010053829507-pat00016
선상에 존재하게 된다. 이는 반사체(530) 뒷면에 있는 가상 카메라(550)가
Figure 112010053829507-pat00017
을 바라보는 시선과 일치한다.
Figure 112010053829507-pat00018
과
Figure 112010053829507-pat00019
는 반사체(530) 면에 수직인 선 위에 존재하므로,
Figure 112010053829507-pat00020
과
Figure 112010053829507-pat00021
선 위의 점 중 압력 센서 보드(570)에 의해 추정된 하지 사이의 거리
Figure 112010053829507-pat00022
와 일치하는 거리에 있는 두 점이 실제 3차원 상의 하지 위치가 되며, 이를 통해, 자세 추정부는 하지에 부착된 복수 개의 제2 마커들의 3차원 상 위치를 파악하고, 이를 통해 재활 대상의 위치 및 자세를 추정할 수 있다.In FIG. 5, the plurality of second markers detected by the posture estimator are two lines on the three-dimensional space.
Figure 112010053829507-pat00010
And
Figure 112010053829507-pat00011
Will be set to. Point visible on camera 510
Figure 112010053829507-pat00012
silver
Figure 112010053829507-pat00013
This is a point reflected by the reflector 530. therefore,
Figure 112010053829507-pat00014
Is actually
Figure 112010053829507-pat00015
It is not a point on the line but appears reflected by the reflector 530
Figure 112010053829507-pat00016
It exists on board. This is because the virtual camera 550 on the back of the reflector 530
Figure 112010053829507-pat00017
Coincides with the gaze of the eyes.
Figure 112010053829507-pat00018
and
Figure 112010053829507-pat00019
Is on a line perpendicular to the reflector 530 plane,
Figure 112010053829507-pat00020
and
Figure 112010053829507-pat00021
The distance between the lower limbs estimated by the pressure sensor board 570 of the points on the line
Figure 112010053829507-pat00022
The two points at a distance coinciding with each other become the lower limb position on the actual three-dimensional image, and through this, the posture estimator detects the three-dimensional position of the plurality of second markers attached to the lower limb, thereby determining the position and posture of the rehabilitation target. It can be estimated.

도 2로 돌아가서, 자세 추정부(250)는 소실되거나 잘못 검출된 마커를 추적하는 역할을 한다. 구체적으로, 자세 추정부(250)는 두 마커 사이의 거리가 일정하고 마커의 움직임이 급격하게 변하지 않는다는 가정하에, 소실된 마커가 포함되는 부분의 두 마커 거리와 그 마커의 움직임 변화를 나타내는 백터에 의해 마커가 있는 위치를 예측할 수 있다. 예를 들어, 반대편 하지에 가려져 마커가 보이지 않는 상황이 발생하면, 자세 추정부(250)는 마커 간의 거리와 움직임 변화를 나타내는 백터에 의해 소실된 마커의 위치를 예측하게 된다. 2, the posture estimator 250 tracks a marker that is lost or incorrectly detected. In detail, the posture estimator 250 includes a vector indicating a distance between two markers and a change in the movement of the markers on the assumption that the distance between the two markers is constant and the movement of the markers does not change abruptly. The position where the marker is located can be predicted by. For example, when a situation occurs where the marker is not visible due to the opposite lower limb, the posture estimator 250 predicts the position of the marker lost by the vector indicating the distance and the movement change between the markers.

또한, 자세 추정부(250)는 재활 대상의 자세를 분석하는 역할을 할 수 있다. 구체적으로, 자세 추정부(250)는 추정된 재활 대상의 자세(재활 대상의 하지에 부착된 복수 개의 제2 마커들의 3차원 상 위치)를 이용하여 재활 대상이 움직이면서 생기는 관절의 각도를 측정할 수 있다. 자세 추정부(250)는 하지에 부착된 마커들을 좌측 하지에 부착된 4개의 마커와 우측 하지에 부착된 4개의 마커로 분류하고, 무릎을 기준으로 4개의 마커는 상부 2개, 하부 2개로 다시 분류할 수 있다. 이 후, 자세 추정부(250)는 마커 사이에서 백터를 정의하고 아래 수학식 3을 이용하여 상부 백터와 하부 백터가 이루는 각을 무릎의 각도

Figure 112010053829507-pat00023
로 정의할 수 있다.In addition, the posture estimator 250 may serve to analyze the posture of the rehabilitation target. In detail, the posture estimator 250 may measure an angle of a joint generated as the rehabilitation target moves by using the estimated posture of the rehabilitation target (three-dimensional image position of the plurality of second markers attached to the lower surface of the rehabilitation target). have. The posture estimator 250 classifies the markers attached to the lower limb into four markers attached to the left lower limb and four markers attached to the right lower limb, and the four markers based on the knee are divided into two upper and lower two. Can be classified. After that, the posture estimator 250 defines a vector between the markers, and uses the following Equation 3 to determine the angle between the upper vector and the lower vector by the angle of the knee.
Figure 112010053829507-pat00023
Can be defined as

Figure 112010053829507-pat00024
Figure 112010053829507-pat00024

Figure 112010053829507-pat00025
Figure 112010053829507-pat00025

여기서, ㆍ 내적 기호를 의미하며,

Figure 112010053829507-pat00026
는 무릎 하부의 2개 마커에 의해 정의된 백터로
Figure 112010053829507-pat00027
이며,
Figure 112010053829507-pat00028
는 무릎 상부의 2개 마커에 의해 정의된 백터로
Figure 112010053829507-pat00029
이다.Here, means the internal symbol,
Figure 112010053829507-pat00026
Is the vector defined by the two markers at the bottom of the knee.
Figure 112010053829507-pat00027
,
Figure 112010053829507-pat00028
Is a vector defined by two markers at the top of the knee
Figure 112010053829507-pat00029
to be.

이처럼, 자세 추정부(250)는 추정된 재활 대상의 위치와 자세를 통하여, 재활 대상의 무릎 각도를 산출하고, 이를 통해 하지의 운동 상태를 분석할 수 있다. 또한, 훈련자의 굽혀진 무릎 각도의 크기와 3차원 상의 위치를 분석하여 현재 재활 대상이 취하는 자세를 알 수 있다. As such, the posture estimator 250 calculates the knee angle of the rehabilitation target through the estimated position and posture of the rehabilitation target, and analyzes the motion state of the lower limb through this. In addition, the posture of the current rehabilitation subject can be determined by analyzing the size and the three-dimensional position of the bent knee angle of the trainer.

디스플레이부(270)는 재활 대상의 운동 상태를 표시한다. 구체적으로, 디스플레이부(270)는 자세 추정부(250)에서 산출된 재활 대상의 자세, 위치 및 무릎 각도에 대한 정보를 실시간으로 표시할 수 있다. The display unit 270 displays the exercise state of the rehabilitation target. In detail, the display unit 270 may display information on the posture, the position, and the knee angle of the rehabilitation target calculated by the posture estimator 250 in real time.

도 6은 본 발명의 다른 실시 예에 따른 재활 장치의 블록도이다.6 is a block diagram of a rehabilitation apparatus according to another embodiment of the present invention.

도 6에서와 같이, 재활 장치(600)는 영상 처리부(610), 공간 제어부(630), 자세 추정부(650), 저장부(670) 및 디스플레이부(690)를 포함한다. 도 6에 도시된 구성요소들 중 도 2에 도시된 실시 예와 중복되는 부분에 대해서는 구체적인 세부 설명은 생략한다.As shown in FIG. 6, the rehabilitation apparatus 600 includes an image processor 610, a spatial controller 630, an attitude estimation unit 650, a storage unit 670, and a display unit 690. Detailed descriptions of components overlapping with those of the exemplary embodiment illustrated in FIG. 2 among the components illustrated in FIG. 6 will be omitted.

저장부(670)는 재활 대상의 운동 상태에 대한 데이터를 저장한다. 구체적으로, 저장부(670)는 재활 장치에 의해 측정된 재활 대상의 자세, 위치 및 무릎 각도에 대한 데이터를 날짜별로 저장할 수 있다. The storage unit 670 stores data on the exercise state of the rehabilitation target. In detail, the storage unit 670 may store data about a posture, a position, and a knee angle of the rehabilitation target measured by the rehabilitation device for each date.

또한, 저장부(670)는 정상인의 운동 상태에 대한 데이터를 저장한다. 구체적으로, 저장부(670)는 연령별, 성별 등으로 정상인의 자세, 위치 및 무릎 각도에 대한 데이터를 저장할 수 있다. In addition, the storage unit 670 stores data on the exercise state of the normal person. In detail, the storage unit 670 may store data regarding a posture, a position, and a knee angle of a normal person by age and gender.

이에 따라, 본 재활 장치(600)는 자세 추정부(650)에서 산출된 재활 대상의 자세, 위치 및 무릎 각도의 변화량을 정상인과 비교하여, 재활 상대의 하지 운동 능력을 분석하는데 도움을 줄 수 있다.Accordingly, the rehabilitation apparatus 600 may help to analyze the lower extremity exercise ability of the rehabilitation opponent by comparing the amount of change in the posture, position and knee angle of the rehabilitation target calculated by the posture estimator 650 with the normal person. .

도 7a 및 도 7b은 본 발명에 따른 재활 대상의 자세를 추정한 결과를 나타낸다.7A and 7B show the results of estimating the posture of the rehabilitation target according to the present invention.

도 7a는 재활 대상의 자세를 추정하여 소프트웨어를 이용해 3차원 상에 표현한 것이고, 도 7b는 카메라를 통해 얻은 실제 훈련 영상을 나타낸다. 카메라를 통해 얻은 실제 훈련 영상과 추정된 자세를 동시에 한 화면에 나타낼 수 있으므로, 재활 대상은 자신의 훈련 상황을 확인할 수 있다.FIG. 7A shows a posture of a rehabilitation subject and is represented on a three-dimensional image using software, and FIG. 7B shows an actual training image obtained through a camera. Since the actual training image obtained through the camera and the estimated posture can be simultaneously displayed on one screen, the rehabilitation target can check his or her training situation.

도 8a 내지 도 8c는 본 발명에 따른 훈련 과정에서의 자세를 추정한 결과를 나타낸다.8a to 8c show the results of estimating the posture in the training process according to the present invention.

도 8a 내지 도 8c에서, 위에서 아래 방향으로 시간 변화에 따른 훈련자의 자세 변화를 나타낸 것으로, 도 8a는 재활 대상의 앞쪽에서 바라본 모습이고, 도 8b는 재활 대상 왼편에서 바라본 모습이고, 도 8c는 훈련자의 뒤편에서 바라본 모습이다. 이처럼, 복수 개의 제2 마커를 인식하여 3차원 상으로 표현할 수 있기 때문에, 카메라가 바라보는 방향과 다른 방향에서 재활 대상의 움직임을 관찰할 수 있다. 이에 따라, 카메라 영상에서 잘 보이지 않는 움직임을 관찰하는 경우에 유용하다.8A to 8C, the change in the posture of the trainer according to the time change from the top to the downward direction, FIG. 8A is a view from the front of the rehabilitation target, FIG. 8B is a view from the left of the rehabilitation target, and FIG. 8C is a trainer Seen from behind. As described above, since the plurality of second markers can be recognized and expressed in a three-dimensional image, the movement of the rehabilitation target can be observed in a direction different from that viewed by the camera. Accordingly, this is useful when observing motion that is hard to see in the camera image.

도 9는 본 재활 장치에 따른 재활 방법을 설명하기 위한 흐름도이다. 도 9에 따르면, 재활 장치는 재활 시스템의 기준 영상을 생성한다(S910). 생성된 기준 영상은 반사체에 부착된 복수 개의 제1 마커 및 재활 대상에 부착된 제2 마커를 검출하기 위해 이용된다.9 is a flowchart illustrating a rehabilitation method according to the present rehabilitation apparatus. According to FIG. 9, the rehabilitation apparatus generates a reference image of the rehabilitation system (S910). The generated reference image is used to detect the plurality of first markers attached to the reflector and the second markers attached to the rehabilitation object.

이 후, 재활 장치는 반사체에 부착된 복수 개의 제1 마커를 검출하여, 카메라의 자세를 추정하고, 재활 시스템의 훈련 공간을 초기화한다(S930). Thereafter, the rehabilitation apparatus detects the plurality of first markers attached to the reflector, estimates the pose of the camera, and initializes the training space of the rehabilitation system (S930).

이 후, 재활 장치는 재활 대상에 부착된 제2 마커를 검출하고, 재활 대상의 하지 사이의 거리를 이용해 재활 대상의 자세, 위치를 추정하고(S950), 재활 대상의 무릎 각도를 계산하여 재활 대상의 운동 상태를 분석한다(S970). 이 경우, 분석된 운동 상태를 정상인 또는 누적된 데이터와 함께 표시하여, 재활 대상의 운동 능력 상태를 분석할 수도 있다.Thereafter, the rehabilitation apparatus detects the second marker attached to the rehabilitation target, estimates the posture and position of the rehabilitation target using the distance between the lower legs of the rehabilitation target (S950), calculates the knee angle of the rehabilitation target, and calculates the rehabilitation target. Analyze the state of movement (S970). In this case, the analyzed exercise state may be displayed along with normal or accumulated data to analyze the exercise ability state of the rehabilitation target.

한편, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.On the other hand, while the above has been shown and described with respect to preferred embodiments of the present invention, the present invention is not limited to the specific embodiments described above, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

100 : 재활 시스템 52 : 복수 개의 제1 마커
50, 51 : 복수 개의 제2 마커 110, 410, 510 : 카메라
130, 430, 530 : 반사체 150, 450, 570 : 압력 센서 보드
200 : 재활 장치 210 : 영상 처리부
230 : 공간 제어부 250 : 자세 추정부
270, 690 : 디스플레이부 670 : 저장부
550 : 가상 카메라100: rehabilitation system 52: a plurality of first markers
50, 51: a plurality of second markers 110, 410, 510: camera
130, 430, 530: reflector 150, 450, 570: pressure sensor board
200: rehabilitation device 210: image processing unit
230: space control unit 250: attitude estimation unit
270, 690: display unit 670: storage unit
550: virtual camera

Claims (15)

삭제delete 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법에 있어서,
상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여, 상기 카메라의 위치 및 자세를 추정하는 단계;
복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계;
상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계; 및
상기 분석 결과를 출력하는 단계;를 포함하되,
상기 카메라의 위치 및 자세를 추정하는 단계는,
상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하는 단계;
상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하는 단계;
상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계; 및,
상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.In the rehabilitation method of the rehabilitation system comprising a reflector, a pressure sensor board and a camera,
Estimating the position and attitude of the camera by photographing the reflector by the camera while a plurality of first markers are attached to the reflector;
Photographing the rehabilitation object using the camera when a rehabilitation object having a plurality of second markers is positioned on the pressure sensor board;
Estimating the posture of the rehabilitation target by using the image of the rehabilitation target and the output signal of the pressure sensor board, and analyzing a walking motion; And
Outputting the analysis result; including;
Estimating the position and attitude of the camera,
Generating a reference image by photographing the reflector using the camera while the plurality of first markers do not operate on the reflector;
Generating a comparison image by photographing the reflector using the camera while the plurality of first markers are attached to the reflector;
Detecting the first marker portion by excluding the reference image from the comparison image; And,
Estimating the position and attitude of the camera based on the detected position of the first marker portion. 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법에 있어서,
상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여, 상기 카메라의 위치 및 자세를 추정하는 단계;
복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계;
상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계; 및
상기 분석 결과를 출력하는 단계;를 포함하되,
상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고,
상기 재활 대상을 촬영하는 단계는,
상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.In the rehabilitation method of the rehabilitation system comprising a reflector, a pressure sensor board and a camera,
Estimating the position and attitude of the camera by photographing the reflector by the camera while a plurality of first markers are attached to the reflector;
Photographing the rehabilitation object using the camera when a rehabilitation object having a plurality of second markers is positioned on the pressure sensor board;
Estimating the posture of the rehabilitation target by using the image of the rehabilitation target and the output signal of the pressure sensor board, and analyzing a walking motion; And
Outputting the analysis result; including;
The plurality of second markers are attached to the lower portion of the rehabilitation target,
Photographing the rehabilitation target,
Photographing the rehabilitation target using the camera when the first marker is removed from the reflector and the rehabilitation target having the plurality of second markers is positioned on the pressure sensor board. Rehabilitation method of rehabilitation system to assume. 제3항에 있어서,
상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는,
상기 재활 대상을 촬영한 이미지로부터 상기 재활 대상이 없이 촬영된 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하는 단계;
상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하는 단계; 및,
상기 추정된 배치 상태 및 배치 간격에 기초하여, 상기 재활 대상의 자세를 추정하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.The method of claim 3,
Estimating the posture of the rehabilitation target, and analyzing the walking motion,
Detecting the plurality of second marker portions by excluding a reference image photographed without the rehabilitation object from the image of the rehabilitation object;
Estimating an arrangement state of a lower portion of the rehabilitation target using the detected second marker portion, and estimating an arrangement interval between the lower portions of the rehabilitation target based on an output signal of the pressure sensor board; And,
Estimating a posture of the rehabilitation target based on the estimated placement state and the interval of placement. 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법에 있어서,
상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여, 상기 카메라의 위치 및 자세를 추정하는 단계;
복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계;
상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계; 및
상기 분석 결과를 출력하는 단계; 및
상기 분석된 결과를 상기 재활 시스템에 등록하는 단계;를 포함하고,
상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는,
상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석하는 것을 특징으로 하는 재활 시스템의 재활 방법.In the rehabilitation method of the rehabilitation system comprising a reflector, a pressure sensor board and a camera,
Estimating the position and attitude of the camera by photographing the reflector by the camera while a plurality of first markers are attached to the reflector;
Photographing the rehabilitation object using the camera when a rehabilitation object having a plurality of second markers is positioned on the pressure sensor board;
Estimating the posture of the rehabilitation target by using the image of the rehabilitation target and the output signal of the pressure sensor board, and analyzing a walking motion; And
Outputting the analysis result; And
Registering the analyzed result with the rehabilitation system;
Estimating the posture of the rehabilitation target, and analyzing the walking motion,
Rehabilitation method of the rehabilitation system, characterized in that for analyzing the cumulative data on the operating state of the rehabilitation target. 삭제delete 삭제delete 삭제delete 삭제delete 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 장치에 있어서,
상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부;
상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부;
상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부; 및,
상기 분석 결과를 출력하는 디스플레이부;를 포함하되,
상기 영상 처리부는,
상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하고, 상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하고, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 것을 특징으로 하는 재활 시스템의 재활 장치.In the rehabilitation apparatus of the rehabilitation system comprising a reflector, a pressure sensor board and a camera,
An image processor which photographs the reflector to which the plurality of first markers are attached by using the camera and recognizes the plurality of first markers;
The camera photographs the reflector in a state where a plurality of first markers are attached to the reflector to estimate the position and posture of the camera, and a rehabilitation object having a plurality of second markers is positioned on the pressure sensor board. A space controller for initializing a training space;
A posture estimator configured to photograph the rehabilitation target by using the camera, estimate a posture of the rehabilitation target by using the image of the rehabilitation target and the output signal of the pressure sensor board, and analyze a walking motion; And,
And a display unit for outputting the analysis result.
Wherein the image processing unit comprises:
In the state where the plurality of first markers do not operate on the reflector, the reflector is photographed by using the camera to generate a reference image, and in the state where the plurality of first markers are attached to the reflector, the camera Photographing the reflector to generate a comparison image and excluding the reference image from the comparison image to detect the first marker portion. 제10항에 있어서,
상기 공간 제어부는,
상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 것을 특징으로 하는 재활 시스템의 재활 장치.The method of claim 10,
The space control unit,
And a position and an attitude of the camera are estimated based on the detected position of the first marker portion. 제10항에 있어서,
상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고,
상기 자세 추정부는,
상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 것을 특징으로 하는 재활 시스템의 재활 장치.The method of claim 10,
The plurality of second markers are attached to the lower portion of the rehabilitation target,
The posture estimating unit,
When the first marker is removed from the reflector and the rehabilitation target having the plurality of second markers is positioned on the pressure sensor board, the rehabilitation target is photographed using the camera. Rehabilitation unit. 제12항에 있어서,
상기 자세 추정부는,
상기 재활 대상을 촬영한 이미지로부터 상기 재활 대상이 없이 촬영된 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하고, 상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하여, 상기 재활 대상의 자세를 추정하는 것을 특징으로 하는 재활 시스템의 재활 장치.The method of claim 12,
The posture estimating unit,
The plurality of second marker portions are detected by excluding a reference image photographed without the rehabilitation target from the image of the rehabilitation target, and the arrangement state of the lower limb portion of the rehabilitation target using the detected second marker portion And a position interval between the lower portions of the rehabilitation target based on the output signal of the pressure sensor board to estimate the posture of the rehabilitation target. 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 장치에 있어서,
상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부;
상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부;
상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부;
상기 분석 결과를 출력하는 디스플레이부; 및
상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부;를 포함하고,
상기 자세 추정부는,
상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석하는 것을 특징으로 하는 재활 장치.In the rehabilitation apparatus of the rehabilitation system comprising a reflector, a pressure sensor board and a camera,
An image processor which photographs the reflector to which the plurality of first markers are attached by using the camera and recognizes the plurality of first markers;
The camera photographs the reflector in a state where a plurality of first markers are attached to the reflector to estimate the position and posture of the camera, and a rehabilitation object having a plurality of second markers is positioned on the pressure sensor board. A space controller for initializing a training space;
A posture estimator configured to photograph the rehabilitation target by using the camera, estimate a posture of the rehabilitation target by using the image of the rehabilitation target and the output signal of the pressure sensor board, and analyze a walking motion;
A display unit for outputting the analysis result; And
And a storage unit for registering the analyzed result in the rehabilitation system.
The posture estimating unit,
Rehabilitation apparatus characterized in that for analyzing the cumulative data on the operating state of the rehabilitation target. 재활 대상의 옆에 배치되어 훈련 공간을 제공하는 반사체;
상기 반사체에 부착된 복수 대의 제1 마커 및 상기 재활 대상에 부착된 복수 개의 제2 마커를 촬상하는 카메라;
상기 재활 대상이 위치하여 상기 재활 대상 하지들 사이의 거리를 측정하는 압력 센서 보드;
상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부;
상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부;
상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부;
상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부; 및,
상기 분석된 결과를 출력하는 디스플레이부;를 포함하되,
상기 자세 추정부는,
상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석하는 것을 특징으로 하는 재활 시스템.A reflector disposed next to the rehabilitation target to provide a training space;
A camera for photographing a plurality of first markers attached to the reflector and a plurality of second markers attached to the rehabilitation target;
A pressure sensor board on which the rehabilitation target is positioned to measure a distance between the lower limbs of the rehabilitation target;
An image processor which photographs the reflector to which the plurality of first markers are attached by using the camera and recognizes the plurality of first markers;
The camera photographs the reflector in a state where a plurality of first markers are attached to the reflector to estimate the position and posture of the camera, and a rehabilitation object having a plurality of second markers is positioned on the pressure sensor board. A space controller for initializing a training space;
A posture estimator configured to photograph the rehabilitation target by using the camera, estimate a posture of the rehabilitation target by using the image of the rehabilitation target and the output signal of the pressure sensor board, and analyze a walking motion;
A storage unit for registering the analyzed result in the rehabilitation system; And,
And a display unit for outputting the analyzed result.
The posture estimating unit,
Rehabilitation system characterized in that for analyzing the cumulative data on the operating state of the rehabilitation target.
KR1020100080918A 2010-08-20 2010-08-20 rehabilitation device using motion analysis based on motion capture and method thereof KR101118654B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100080918A KR101118654B1 (en) 2010-08-20 2010-08-20 rehabilitation device using motion analysis based on motion capture and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100080918A KR101118654B1 (en) 2010-08-20 2010-08-20 rehabilitation device using motion analysis based on motion capture and method thereof

Publications (2)

Publication Number Publication Date
KR20120017948A KR20120017948A (en) 2012-02-29
KR101118654B1 true KR101118654B1 (en) 2012-03-06

Family

ID=45839773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080918A KR101118654B1 (en) 2010-08-20 2010-08-20 rehabilitation device using motion analysis based on motion capture and method thereof

Country Status (1)

Country Link
KR (1) KR101118654B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880522B1 (en) * 2016-12-29 2018-07-23 재단법인대구경북과학기술원 Apparatus of detecting treadmill based image analysis and method of detecting emergency using the same
WO2023068832A1 (en) * 2021-10-20 2023-04-27 재단법인대구경북과학기술원 Electronic device for providing evaluation information about posture of user, and control method therefor

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373628B1 (en) * 2012-09-28 2014-03-12 주식회사 자세과학 Gait analysis apparatus
KR101253101B1 (en) * 2012-10-16 2013-04-10 엘아이지넥스원 주식회사 Method for measuring pressure based on vision
KR20150107783A (en) 2013-01-11 2015-09-23 코닌클리케 필립스 엔.브이. A system and method for evaluating range of motion of a subject
US10517522B2 (en) 2013-12-18 2019-12-31 Yang Soo Lee System for measuring lower extremity muscle strength
KR101679285B1 (en) 2015-05-12 2016-11-24 사단법인 캠틱종합기술원 System for analysing poses and motions using images
USD806048S1 (en) 2015-12-23 2017-12-26 Samsung Electronics Co., Ltd. Television receiver
KR102035919B1 (en) * 2018-01-11 2019-10-23 인제대학교 산학협력단 posture analysis application providing method for correct posture management
CN108211318B (en) * 2018-01-23 2019-08-23 北京易智能科技有限公司 Based on the race walking posture analysis method perceived in many ways
WO2020105760A1 (en) * 2018-11-23 2020-05-28 수상에스티(주) Three-dimensional video motion recognition-based method and system for measuring region of interest
KR102285632B1 (en) * 2019-01-03 2021-08-04 한국전자기술연구원 Health abnormality detection system and method using gait pattern
KR20210120148A (en) 2020-03-24 2021-10-07 주식회사 에스에스티컴퍼니 (SSTC Co., Ltd.) Method for analysis of exercising posture
CN112998700B (en) * 2021-05-26 2021-09-24 北京欧应信息技术有限公司 Apparatus, system and method for assisting assessment of a motor function of an object
KR102517554B1 (en) * 2021-07-30 2023-04-03 순천향대학교 산학협력단 Knee joint angle estimating apparatus and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008220580A (en) * 2007-03-12 2008-09-25 Univ Of Tsukuba Immersive sense of walk presentation device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008220580A (en) * 2007-03-12 2008-09-25 Univ Of Tsukuba Immersive sense of walk presentation device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880522B1 (en) * 2016-12-29 2018-07-23 재단법인대구경북과학기술원 Apparatus of detecting treadmill based image analysis and method of detecting emergency using the same
WO2023068832A1 (en) * 2021-10-20 2023-04-27 재단법인대구경북과학기술원 Electronic device for providing evaluation information about posture of user, and control method therefor
KR20230056850A (en) * 2021-10-20 2023-04-28 재단법인대구경북과학기술원 Electronic device for providing evaluation information on user posture and controlling method thereof
KR102608404B1 (en) * 2021-10-20 2023-12-01 재단법인 대구경북과학기술원 Electronic device for providing evaluation information on user posture and controlling method thereof

Also Published As

Publication number Publication date
KR20120017948A (en) 2012-02-29

Similar Documents

Publication Publication Date Title
KR101118654B1 (en) rehabilitation device using motion analysis based on motion capture and method thereof
US9996739B2 (en) System and method for automatic gait cycle segmentation
Prakash et al. Passive marker based optical system for gait kinematics for lower extremity
US9898651B2 (en) Upper-body skeleton extraction from depth maps
JP6334925B2 (en) Motion information processing apparatus and method
US8565479B2 (en) Extraction of skeletons from 3D maps
JP5898199B2 (en) Posture estimation apparatus, posture estimation method, and posture estimation program
JP6143469B2 (en) Information processing apparatus, information processing method, and program
JP6369811B2 (en) Gait analysis system and gait analysis program
EP3437557B1 (en) Gait analyzing device, gait analyzing method, and computer-readable recording medium
WO2016031313A1 (en) Physical condition-detecting apparatus, physical condition-detecting method, and physical condition-detecting program
JP7266599B2 (en) Devices, systems and methods for sensing patient body movement
Nouredanesh et al. Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool
Yeasin et al. Development of an automated image processing system for kinematic analysis of human gait
KR20160035497A (en) Body analysis system based on motion analysis using skeleton information
CN112438723A (en) Cognitive function evaluation method, cognitive function evaluation device, and storage medium
Mahyuddin et al. Development of an affordable system for 2D kinematics and dynamics analysis of human gait
JP7463792B2 (en) Information processing system, information processing device, and information processing method
EP3438601B1 (en) Measurement device, measurement method, and computer program
EP3653120A1 (en) A rehabilitation device and a method of monitoring hand positions
JP6482102B2 (en) Measuring apparatus and measuring method
KR20100060622A (en) Human pose estimation technology
KR102222059B1 (en) Object position recognition diagnostic device that outputs the object position and the diagnosis result using a diagnostic device with marker
JP6750193B2 (en) Walking cycle detection method and detection apparatus
JP6869205B2 (en) Biological information detection device, program and method for detecting the beating of a living body

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160126

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180109

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 9