KR101507700B1 - 손 동작 인식에 의한 컴퓨터 재활 치료 방법 - Google Patents

손 동작 인식에 의한 컴퓨터 재활 치료 방법 Download PDF

Info

Publication number
KR101507700B1
KR101507700B1 KR20150012468A KR20150012468A KR101507700B1 KR 101507700 B1 KR101507700 B1 KR 101507700B1 KR 20150012468 A KR20150012468 A KR 20150012468A KR 20150012468 A KR20150012468 A KR 20150012468A KR 101507700 B1 KR101507700 B1 KR 101507700B1
Authority
KR
South Korea
Prior art keywords
rehabilitation
patient
rehabilitation treatment
hand
terminal
Prior art date
Application number
KR20150012468A
Other languages
English (en)
Inventor
박찬흠
Original Assignee
박찬흠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박찬흠 filed Critical 박찬흠
Priority to KR20150012468A priority Critical patent/KR101507700B1/ko
Application granted granted Critical
Publication of KR101507700B1 publication Critical patent/KR101507700B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/00181Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices comprising additional means assisting the user to overcome part of the resisting force, i.e. assisted-active exercising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285Hand
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/0001Games specially adapted for handicapped, blind or bed-ridden persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012Control means thereof computer controlled connected to external computer devices or networks using the internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5025Activation means
    • A61H2201/503Inertia activation, i.e. activated by movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5038Interfaces to the user freely programmable by the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B2022/0094Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements for active rehabilitation, e.g. slow motion devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/0001Games specially adapted for handicapped, blind or bed-ridden persons
    • A63F2009/0007Games with therapeutic effects

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 손 동작 인식에 의한 컴퓨터 재활 치료 방법에 관한 것으로, 재활 치료 환자 단말기에 설치된 재활 치료 게임 프로그램이 실행되고 재활 치료 환자 단말기가 3차원 공간 센서를 이용하여 3차원 공간에서 재활 치료 환자의 손 좌표와 손 각도를 파악하는 단계와, 재활 치료 환자 단말기가 3차원 공간 센서에 의해 감지된 재활 치료 환자의 손 동작에 의해 조작되는 가상 객체를 생성하고 상기 가상 객체에 의해 재활 치료 환자 게임 프로그램이 진행되도록 하는 단계, 상기 재활 치료 환자 단말기가 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 게임 정보를 서버로 전송하는 단계, 상기 서버는 재활 치료 환자에 관한 정보와 재활 치료 환자가 수행한 재활 치료 게임 프로그램의 게임 정보와 재활 치료 전문의에 대한 정보를 저장하고 재활 치료 전문의 단말기에 저장된 정보를 제공하는 단계, 및 상기 재활 치료 전문의 단말기는 서버에 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하여 확인 및 진단하고 진단한 내용을 전자 문서를 통해 재활 치료 환자에게 전송하는 단계로 이루어진다. 이러한 절차로 이루어진 본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 3차원 공간 센서를 이용하여 재활 치료 환자의 손 동작을 감지한 다음 손의 움직임에 따라 모니터상에 표시된 가상 객체를 이동시킴으로써 재활 치료 게임 프로그램을 진행할 수 있도록 하였다. 또한, 정해진 게임 플레이 시간 동안 재활 치료 환자에 의해 취득된 재활 치료 게임 프로그램의 점수를 파악하여 재활 치료 환자의 재활 치료 상태를 파악할 수 있다.

Description

손 동작 인식에 의한 컴퓨터 재활 치료 방법{COMPUTER REHABILITATION METHOD BY HAND MOTION RECOGNITION}
본 발명은 손 동작 인식에 의한 컴퓨터 재활 치료 방법에 관한 것으로, 보다 상세하게는, 손 동작을 인식할 수 있는 3차원 공간 센서와, 상기 3차원 공간 센서에 의해 감지된 손 동작에 의해 진행될 수 있는 재활 치료 게임 프로그램을 통해 재활 치료 환자가 자택에서 재활 치료를 받을 수 있도록 한 손 동작 인식에 의한 컴퓨터 재활 치료 방법에 관한 것이다.
일반적으로 뇌졸증 환자나 교통 사고 등에 의한 외상성 뇌손상 환자, 류마티스 환자 또는 말초신경 손상 환자 등은 수부의 운동성이 소실되거나 저하되는 경우가 일반적이다.
이러한 환자들의 경우에는 손의 운동 능력 결여로 많은 문제점을 가지는데, 구체적으로는 관절 수축과 근육의 짧아짐, 및 근육의 탄력성 저하 등의 문제가 발생될 수 있다.
또한, 이와 같은 환자들의 경우에는 손목 관절과 중수지질 관절 중 목적하는 관절에 대한 인위적인 운동과 같은 재활 치료가 반드시 필요하다.
하지만, 수부 운동과 같은 재활 치료는 전문적인 지식을 가진 전문가와 재활 전문 의료 장비에 의해 수행되기 때문에 장소 및 시간의 제약을 받게 되며, 환자나 보호자에게 많은 경제적 부담을 발생시키는 요인으로 작용한다.
따라서, 재활 치료 환자는 재활 치료를 위해 직접 재활 치료 병원을 방문해야 한다는 문제점이 있었고, 몸이 불편한 재활 치료 환자를 재활 치료 병원으로 인솔하기 위해 가족 구성원 중 일부가 자신의 일을 제쳐두고 재활 치료 환자를 돌봐야 한다는 문제점이 있었다.
한편, 본 발명의 선행 기술로는 특허등록번호 "10-1323105"호의 "손 재활 치료 장치"가 출원되어 등록 되었는데, 상기 손 재활 치료 장치는 손이나 글러브에 부착하여 재활 치료를 위한 손 재활 치료 장치에 있어서, 손의 움직임과 생체 신호를 감지하는 센서부와, 상기 센서부에서 감지한 데이터를 취합 및 전송하는 메인 프로세서, 상기 메인 프로세서의 데이터를 유무선으로 전송하는 데이터 전송부, 및 상기 데이터 전송부를 통해 전송된 데이터를 수신하여 아바타를 구현하고 검사 자료를 비교 및 분석하는 서버를 포함한다.
하지만, 상기 손 재활 치료 장치는 재활 치료 환자가 재활 치료에 임하기 전 양손 또는 한 손에 센서부가 장착된 글러브를 껴야 한다는 번거로운 문제점이 있었다.
또한, 본 발명의 선행 기술로는 특허등록번호 "10-1446653"호의 "네츄럴 인터렉션 기반의 건강 및 재활 게임 장치 및 방법"이 출원되어 등록 되었는데, 상기 네츄럴 인터렉션 기반의 건강 및 재활 게임 장치 및 방법은 건강 및 재활을 위한 가이드 영상을 모니터에 출력시키고, 모니터를 보고 운동을 하는 환자에 대해 실시간으로 비전 촬영 및 재활 움직임 분석을 수행한 다음, 환자의 현재 상태에 적합한 재활 게임을 선택함으로써, 환자의 정확한 재활 상태 판단 및 이에 따른 재활 게임을 진행할 수 있다.
대한민국 특허등록번호 10-1323105 (2013.08.27) 대한민국 특허등록번호 10-1446653 (2014.09.23)
이에 본 발명은 상기 문제점을 해결하기 위하여 재활 치료 환자가 재활 병원으로 이동할 필요없이 각 가정에 설치된 개인 컴퓨터를 이용하여 재활 치료를 받을 수 있도록 한 손 동작 인식에 의한 컴퓨터 재활 치료 방법을 제공하는데 본 발명의 목적이 있다.
또, 본 발명은 재활 치료 환자의 재활 치료 상태를 유·무선 통신을 통해 재활 치료 전문의에게 전달할 수 있고, 재활 의학 전문의는 전달받은 재활 치료 상태를 확인하여 전문의 소견이나 업데이트된 치료 프로그램을 재활 치료 환자에게 피드백해 줄 수 있도록 한 손 동작 인식에 의한 컴퓨터 재활 치료 방법을 제공하는데 본 발명의 또 다른 목적이 있다.
또, 본 발명은 재활 치료 환자가 재활 병원을 방문할 필요없이 가정에서 재활 치료할 수 있도록 함으로써 가족 구성원들이 재활 치료 환자에게 매진할 필요없이 가족 구성원들 각자의 일을 할 수 있도록 한 손 동작 인식에 의한 컴퓨터 재활 치료 방법을 제공하는데 본 발명의 또 다른 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 재활 치료 환자 단말기에 설치된 재활 치료 게임 프로그램이 실행되고 재활 치료 환자 단말기가 3차원 공간 센서를 이용하여 3차원 공간에서 재활 치료 환자의 손 좌표와 손 각도를 파악하는 단계와, 재활 치료 환자 단말기가 3차원 공간 센서에 의해 감지된 재활 치료 환자의 손 동작에 의해 조작되는 가상 객체를 생성하고 상기 가상 객체에 의해 재활 치료 환자 게임 프로그램이 진행되도록 하는 단계, 상기 재활 치료 환자 단말기가 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 게임 정보를 서버로 전송하는 단계, 상기 서버는 재활 치료 환자에 관한 정보와 재활 치료 환자가 수행한 재활 치료 게임 프로그램의 게임 정보와 재활 치료 전문의에 대한 정보를 저장하고 재활 치료 전문의 단말기에 저장된 정보를 제공하는 단계, 및 상기 재활 치료 전문의 단말기는 서버에 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하여 확인 및 진단하고 진단한 내용을 전자 문서를 통해 재활 치료 환자에게 전송하는 단계로 이루어진다.
이러한 절차로 이루어진 본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 3차원 공간 센서를 이용하여 재활 치료 환자의 손 동작을 감지한 다음 손의 움직임에 따라 모니터상에 표시된 가상 객체를 이동시킴으로써 재활 치료 게임 프로그램을 진행할 수 있도록 하였다.
또한, 정해진 게임 플레이 시간 동안 재활 치료 환자에 의해 취득된 재활 치료 게임 프로그램의 점수를 파악하여 재활 치료 환자의 재활 치료 상태를 파악할 수 있다.
따라서, 본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 재활 치료 환자가 재활 병원으로 이동할 필요없이 각 가정에 설치된 개인 컴퓨터를 이용하여 재활 치료를 받을 수 있다.
또, 본 발명은 재활 치료 환자의 재활 치료 상태를 유·무선 통신을 통해 재활 의학 전문의에게 전달할 수 있고, 재활 의학 전문의는 전달받은 재활 치료 상태를 확인하여 전문의 소견이나 업데이트된 치료 프로그램을 재활 치료 환자에게 피드백(FeedBack)해 줄 수 있다.
또, 본 발명은 재활 치료 환자가 재활 병원을 방문할 필요없이 가정에서 재활 치료할 수 있도록 함으로써 가족 구성원들이 재활 치료 환자에게 매진할 필요없이 가족 구성원들 각자의 시간을 보낼 수 있다.
도면 1과 도면 2는 본 발명의 개념도,
도면 3과 도면 5 내지 도면 7은 본 발명의 제어 흐름도,
도면 4는 모니터상에 표시된 실로폰 건반 형태의 객체와 막대형 가상 객체를 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.
본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 도면 1 내지 도면 3에 도시한 바와 같이, 재활 치료 환자 단말기(3)에 설치된 재활 치료 게임 프로그램이 실행되고 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 3차원 공간에서 재활 치료 환자의 손 좌표와 손 각도를 파악하는 단계(S1)와, 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)에 의해 감지된 재활 치료 환자의 손 동작에 의해 조작되는 가상 객체를 생성하고 상기 가상 객체에 의해 재활 치료 환자 게임 프로그램이 진행되도록 하는 단계(S2), 상기 재활 치료 환자 단말기(3)가 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 게임 정보를 서버로 전송하는 단계(S3), 상기 서버(5)는 재활 치료 환자에 관한 정보와 재활 치료 환자가 수행한 재활 치료 게임 프로그램의 게임 정보와 재활 치료 전문의에 대한 정보를 저장하고 재활 치료 전문의 단말기(7)에 저장된 정보를 제공하는 단계(S4), 및 상기 재활 치료 전문의 단말기(7)는 서버(5)에 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하여 확인 및 진단하고 진단한 내용을 전자 문서를 통해 재활 치료 환자에게 전송하는 단계(S5)로 이루어진다.
상기 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)에 의해 감지된 재활 치료 환자의 손 동작에 의해 조작되는 가상 객체를 생성하고 상기 가상 객체에 의해 재활 치료 환자 게임 프로그램이 진행되도록 하는 단계(S2)는 도면 4 내지 도면 5에 도시한 바와 같이, 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 재활 치료 환자의 손에 재활 치료 환자의 손가락 굵기보다 작은 도구가 있는지 판단하는 단계(S2-1)와, 만약 재활 치료 환자의 손에 손가락 굵기보다 작은 막대형 도구가 있다면 재활 치료 환자 단말기(3)는 모니터상에 막대형 가상 객체(9)를 표시하는 단계(S2-2), 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 3차원 공간에서 막대형 도구의 좌표와 각도를 모니터상에 표시된 막대형 가상 객체(9)에 매핑(Mapping)시켜 막대형 가상 객체(9)가 막대형 도구를 따라 이동하도록 하는 단계(S2-3), 상기 재활 치료 환자 단말기(3)는 막대형 가상 객체(9)의 끝부분이 모니터 상에 표시된 실로폰 건반(11) 형태의 객체와 충돌하면 실로폰 건반(11)과 맞대응되는 소리를 출력하는 단계(S2-4), 및 상기 재활 치료 환자 단말기(3)는 막대형 가상 객체(9)와 건반 형태의 객체의 충돌 횟수를 카운트하여 게임 점수를 계산하는 단계(S2-5)를 더 포함한다.
상기 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 3차원 공간에서 재활 치료 환자의 손 좌표와 손 각도를 파악하는 단계(S1)는 도면 6a와 도면 6b에 도시한 바와 같이, 재활 치료 환자의 왼손 또는 오른손을 구분하여 손의 모델을 선택하고 이미 생성된 핸드 모델(Hand Model)인지 판별하는 단계(S1-1)와, 매 프레임마다 핸드 모델(Hand Model)의 정보를 갱신하여 손바닥과, 팔, 손목, 팔꿈치의 정보를 받기 위한 변수를 생성하는 단계(S1-2), 손의 뼈를 이루는 손가락 관절과 손가락 뼈의 정보를 받을 변수를 만든 다음 손가락 개수 정보를 3차원 공간 센서(1)로부터 받아들이는 단계(S1-3), 3차원 공간 센서(1)로부터 받아들여진 손가락 관절과 손가락 뼈의 좌표 및 각도 정보를 만들어진 손가락 관절과 손가락 뼈의 변수에 세팅하는 단계(S1-4), 3차원 공간 센서(1)로부터 받아들여진 좌표와 각도 정보를 손바닥과, 팔, 손목, 팔꿈치의 변수에 입력하는 단계(S1-5), 및 매 프레임마다 3차원 공간 센서(1)로부터 받아들여진 좌표와 각도 정보를 갱신하여 재활 치료 환자의 손 동작을 감지하는 단계(S1-6)를 포함한다.
또, 본 발명은 도면 7에 도시한 바와 같이, 상기 재활 치료 환자 단말기(3)가 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 이용 시간을 체크하여 서버(5)로 전송하는 단계(S7)와, 상기 서버(5)가 재활 치료 환자 단말기(3)로부터 전송된 재활 치료 환자 별 재활 치료 게임 프로그램을 이용한 시간을 이용하여 재활 치료 비용을 산출하는 단계(S9), 및 상기 재활 치료 전문의 단말기(7)가 서버(5)에게 산출된 재활 치료 비용을 요청하고 재활 치료 환자에게 재활 치료 비용과 재활 치료 전문의의 진단 비용을 청구하는 단계(S11)를 더 포함한다.
상기 재활 치료 게임 프로그램의 게임 정보는 재활 치료 환자의 고유 번호와, 재활 치료 환자가 재활 치료 게임 프로그램을 시작한 일시, 재활 치료 환자가 재활 치료 게임 프로그램을 종료한 일시, 재활 치료 환자가 1개 재활 치료 게임 프로그램을 완료하는데 소요된 시간, 재활 치료 환자가 진행한 게임의 이름, 재활 치료 환자가 취득한 재활 치료 게임 프로그램의 게임 점수, 및 재활 치료 환자의 이메일 주소를 포함한다.
또한, 상기 재활 치료 환자에 관한 정보는 재활 치료 환자의 고유 번호와, 재활 치료 환자의 이름, 재활 치료 환자의 생년월일, 재활 치료 환자의 전화 번호, 재활 치료 환자의 이메일 주소, 및 재활 치료 환자를 담당하는 재활 치료 전문의의 고유 번호를 포함한다.
상기 3차원 공간 센서(1)는 립 모션(Leap Motion)으로 이루어짐이 바람직하다.
상기 립 모션(Leap Motion)은 매우 정교한 손동작 인식 센서를 지닌 유저 인터페이스를 제공해주는 장치로서, 작은 아이팟 크기의 장치로 8입방 피트의 3차원 공간을 매우 정확하게 읽어낼 수 있다.
상기 립 모션 기술은 MS의 키넥트와 비슷한 원리를 지니는데, 상기 키넥트는 색사를 구분하는 RGB 카메라와 깊이를 구분하는 IR 카메라로 구성되지만, 립 모션은 키넥트보다 200배 높은 감도를 가지며, 약 100분의 1밀리미터의 움직임까지도 감지할 수 있다.
또한, 상기 립 모션은 초광각 150도 시야와 깊이 Z축 좌표로 현실의 손 움직임 궤적을 인식하여 3차원으로 나타낸다.
상기 립 모션 컨트롤러는 200 FPS(초당 프레임)로 움직임을 추적하기 때문에, 사용자가 움직이는 대로 화면의 대상도 정밀하게 따라서 작동한다.
상기 재활 치료 환자 단말기(3)는 재활 치료 게임 프로그램에 접속하기 위한 접속부와, 상기 재활 치료 게임 프로그램으로부터 빠져나오기 위한 접속 종료부, 어느 한 개의 재활 치료 게임 프로그램을 선택하는 게임 선택부와, 립 모션에 의해 감지된 재활 치료 환자의 손 동작과 도구를 신호 처리하는 신호 처리부, 상기 신호 처리부에 의해 감지된 도구와 재활 치료 게임 프로그램에 표시된 영상을 연결하는 영상 연결부, 재활 치료 환자 단말기(3)에서 진행된 재활 치료 게임 프로그램의 점수를 계산하는 점수 계산부, 및 상기 서버(5)로부터 업그레이된 재활 치료 게임 프로그램을 다운받거나 서버(5)로부터 재활 치료 게임 프로그램의 접속에 대한 승낙 또는 거절 메시지를 수신하는 제1 데이터 수신부를 구비한다.
또한, 상기 재활 치료 환자 단말기(3)는 재활 치료 게임 프로그램을 시작한 시간을 연산하는 게임 시작 시간 연산부와, 재활 치료 게임 프로그램을 종료한 시간을 연산하는 게임 종료 시간 연산부, 재활 치료 게임 프로그램을 처음부터 끝까지 완료하는데 소요된 게임 소요 시간 연산부, 및 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 게임 정보와 재활 치료 환자의 고유 번호 및 접속 요청 메시지를 서버(5)로 전송하는 제1 데이터 송신부를 더 포함한다.
상기 서버(5)는 재활 치료 환자 단말기(3)로부터 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 게임 정보와 재활 치료 환자의 고유 번호를 수신하고 재활 치료 전문의 단말기(7)로부터 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하는 메시지를 수신하며 재활 치료 전문의 단말기(7)로부터 재활 치료 환자 단말기(3)에게 업그레이드 된 재활 치료 게임 프로그램을 제공하도록 요청하는 메시지를 수신하고 재활 치료 환자 단말기(3)의 접속 요청 메시지나 재활 치료 전문의 단말기(7)로부터 전송된 회원 가입 요청 메시지 또는 접속 요청 메시지를 수신하는 제2 데이터 수신부와, 상기 재활 치료 환자 단말기(3)에게 업그레이드된 재활 치료 게임 프로그램을 제공하고 재활 치료 환자 단말기(3)의 접속 요청에 대한 승낙 또는 거절 메시지를 전송하며 재활 치료 전문의 단말기(7)에게 회원 가입 요청이나 접속 요청에 대한 승낙 또는 거절 메시지를 전송하고 재활 치료 전문의 단말기(7)에게 재활 치료 환자에 관한 정보와 개개인의 재활 치료 환자가 수행한 재활 치료 게임 프로그램의 게임 정보를 제공하는 제2 데이터 송신부, 재활 치료 환자에 관한 정보를 저장하는 재활 환자 데이터 저장부, 재활 전문의의 정보를 저장하는 재활 전문의 데이터 저장부, 재활 치료 환자에 대한 재활 치료 게임 프로그램의 게임 정보를 저장하는 재활 환자 게임 정보 저장부, 상기 재활 치료 전문의 단말기(7)로부터 재활 치료 환자 추가 요청이 들어왔을 때 추가된 재활 치료 환자에 관한 정보를 저장하는 환자 추가 요청 처리부, 및 상기 재활 치료 전문의 단말기(7)로부터 재활 치료 환자 삭제 요청이 들어왔을 때 저장된 재활 치료 환자에 관한 정보를 삭제하는 환자 삭제 요청 처리부를 포함한다.
또한, 서버(5)는 재활 치료 환자 단말기(3)에게 업그레이드 된 재활 치료 게임 프로그램을 제공하는 게임 프로그램 제공부와, 재활 치료 환자 단말기(3) 또는 재활 치료 전문의 단말기(7)로부터 서버(5)에 접속 요청이 들어왔을 때 접속을 승낙하거나 거절하는 접속 요청 처리부, 재활 치료 전문의 단말기(7)로부터 서버(5)에 회원 가입 요청이 들어왔을 때 회원 가입을 승낙하거나 거절하는 회원 가입 요청 처리부, 상기 재활 치료 전문의 단말기(7)로부터 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하는 메시지가 입력되거나 재활 치료 환자 단말기(3)로 업그레이드 된 재활 치료 게임 프로그램을 제공하도록 하는 요청 메시지가 입력되었을 때 요청 메시지를 처리하는 데이터 요청 처리부, 및 재활 치료 환자가 재활 치료 게임 프로그램에 접속하여 재활 치료를 수행한 시간을 계산하여 재활 치료 비용을 산출하는 제1 과금 처리부를 포함한다.
상기 재활 치료 전문의 단말기(7)는 서버(5)에 회원 가입을 요청하는 회원 가입 요청부와, 서버(5)에 접속을 요청하는 접속 요청부, 서버(5)에 저장된 재활 환자를 검색하는 재활 환자 검색부, 서버(5)로부터 검색된 재활 치료 환자에 관한 정보를 표시하는 재활 환자 정보 표시부, 및 서버(5)로부터 검색된 재활 치료 게임 프로그램의 게임 정보를 표시하는 재활 환자 게임 정보 표시부를 포함한다.
또한, 상기 재활 치료 전문의 단말기(7)는 서버(5)에 재활 치료 환자를 등록하기 위한 환자 추가 요청부와, 서버(5)에 등록된 재활 치료 환자를 삭제하기 위한 환자 삭제 요청부, 상기 서버(5)에게 서버(5)로부터 산출된 재활 치료 비용을 요청하고 재활 치료 환자에게 재활 치료 비용과 재활 치료 전문의의 진단 비용을 청구하는 제2 과금 처리부, 상기 서버(5)로부터 재활 치료 환자에 관한 정보와 개개인의 재활 치료 환자가 수행한 재활 치료 게임 프로그램의 게임 정보를 수신하고 서버(5)에 전송한 회원 가입 요청에 대한 승낙 또는 거절 메시지 또는 서버(5)에 전송한 접속 요청에 대한 승낙 또는 거절 메시지를 수신받는 제3 데이터 수신부, 상기 서버(5)에 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하는 메시지를 전송하고 진단한 내용을 전자 문서를 통해 재활 치료 환자에게 전송하며 재활 치료가 호전된 환자에게는 서버(5)를 통해 업그레이드 된 재활 치료 게임 프로그램을 제공하도록 요청하는 메시지를 전송하고 서버(5)에 회원 가입 요청 메시지나 접속 요청 메시지를 전송하는 제3 데이터 송신부, 및 재활 치료 환자의 상태가 호전되어 서버(5)에 재활 치료 환자 단말기(3)에게 업그레이드된 재활 치료 게임 프로그램을 제공하도록 요청하는 게임 프로그램 업그레이드 요청부를 포함한다.
이러한 절차로 이루어진 본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 3차원 공간 센서를 이용하여 재활 치료 환자의 손 동작을 감지한 다음 손의 움직임에 따라 모니터상에 표시된 가상 객체를 이동시킴으로써 재활 치료 게임 프로그램을 진행할 수 있도록 하였다.
또한, 정해진 게임 플레이 시간 동안 재활 치료 환자에 의해 취득된 재활 치료 게임 프로그램의 점수를 파악하여 재활 치료 환자의 재활 치료 상태를 파악할 수 있다.
따라서, 본 발명에 따른 손 동작 인식에 의한 컴퓨터 재활 치료 방법은 재활 치료 환자가 재활 병원으로 이동할 필요없이 각 가정에 설치된 개인 컴퓨터를 이용하여 재활 치료를 받을 수 있다.
또, 본 발명은 재활 치료 환자의 재활 치료 상태를 유·무선 통신을 통해 재활 의학 전문의에게 전달할 수 있고, 재활 의학 전문의는 전달받은 재활 치료 상태를 확인하여 전문의 소견이나 업데이트된 치료 프로그램을 재활 치료 환자에게 피드백해 줄 수 있다.
또, 본 발명은 재활 치료 환자가 재활 병원을 방문할 필요없이 가정에서 재활 치료할 수 있도록 함으로써 가족 구성원들이 재활 치료 환자에게 매진할 필요없이 가족 구성원들 각자의 시간을 보낼 수 있다.
1. 3차원 공간 센서 3. 재활 치료 환자 단말기
5. 서버 7. 재활 치료 전문의 단말기
9. 막대형 가상 객체 11. 실로폰 건반

Claims (4)

  1. 재활 치료 환자 단말기(3)에 설치된 재활 치료 게임 프로그램이 실행되고 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 3차원 공간에서 재활 치료 환자의 손 좌표와 손 각도를 파악하는 단계(S1)와;
    재활 치료 환자 단말기(3)가 3차원 공간 센서(1)에 의해 감지된 재활 치료 환자의 손 동작에 의해 조작되는 가상 객체를 생성하고 상기 가상 객체에 의해 재활 치료 환자 게임 프로그램이 진행되도록 하는 단계(S2);
    상기 재활 치료 환자 단말기(3)가 재활 치료 환자에 의해 진행된 재활 치료 게임 프로그램의 게임 정보를 서버로 전송하는 단계(S3);
    상기 서버(5)는 재활 치료 환자에 관한 정보와 재활 치료 환자가 수행한 재활 치료 게임 프로그램의 게임 정보와 재활 치료 전문의에 대한 정보를 저장하고 재활 치료 전문의 단말기(7)에 저장된 정보를 제공하는 단계(S4);
    및 상기 재활 치료 전문의 단말기(7)는 서버(5)에 재활 치료 환자와 맞대응되는 재활 치료 게임 프로그램의 게임 정보를 요청하여 확인 및 진단하고 진단한 내용을 전자 문서를 통해 재활 치료 환자에게 전송하는 단계(S5)로 이루어지고,
    재활 치료 환자 단말기(3)가 3차원 공간 센서(1)에 의해 감지된 재활 치료 환자의 손 동작에 의해 조작되는 가상 객체를 생성하고 상기 가상 객체에 의해 재활 치료 환자 게임 프로그램이 진행되도록 하는 단계(S2)는
    재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 재활 치료 환자의 손에 재활 치료 환자의 손가락 굵기보다 작은 도구가 있는지 판단하는 단계(S2-1)와,
    만약 재활 치료 환자의 손에 손가락 굵기보다 작은 막대형 도구가 있다면 재활 치료 환자 단말기(3)는 모니터상에 막대형 가상 객체(9)를 표시하는 단계(S2-2);
    재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 3차원 공간에서 막대형 도구의 좌표와 각도를 모니터상에 표시된 막대형 가상 객체(9)에 매핑(Mapping)시켜 막대형 가상 객체(9)가 막대형 도구를 따라 이동하도록 하는 단계(S2-3);
    상기 재활 치료 환자 단말기(3)는 막대형 가상 객체(9)의 끝부분이 모니터 상에 표시된 실로폰 건반(11) 형태의 객체와 충돌하면 실로폰 건반(11)과 맞대응되는 소리를 출력하는 단계(S2-4);
    및 상기 재활 치료 환자 단말기(3)는 막대형 가상 객체(9)와 건반 형태의 객체의 충돌 횟수 카운트하여 게임 점수를 계산하는 단계(S2-5)로 이루어진 것을 특징으로 하는 손 동작 인식에 의한 컴퓨터 재활 치료 방법.
  2. 삭제
  3. 제1 항에 있어서,
    재활 치료 환자 단말기(3)에 설치된 재활 치료 게임 프로그램이 실행되고 재활 치료 환자 단말기(3)가 3차원 공간 센서(1)를 이용하여 3차원 공간에서 재활 치료 환자의 손 좌표와 손 각도를 파악하는 단계(S1)는
    재활 치료 환자의 왼손 또는 오른손을 구분하여 손의 모델을 선택하고 이미 생성된 핸드 모델(Hand Model)인지 판별하는 단계(S1-1)와,
    매 프레임마다 핸드 모델(Hand Model)의 정보를 갱신하여 손바닥과, 팔, 손목, 팔꿈치의 정보를 받기 위한 변수를 생성하는 단계(S1-2),
    손의 뼈를 이루는 손가락 관절과 손가락 뼈의 정보를 받을 변수를 만든 다음 손가락 개수 정보를 3차원 공간 센서(1)로부터 받아들이는 단계(S1-3),
    3차원 공간 센서(1)로부터 받아들여진 손가락 관절과 손가락 뼈의 좌표 및 각도 정보를 만들어진 손가락 관절과 손가락 뼈의 변수에 세팅하는 단계(S1-4),
    3차원 공간 센서(1)로부터 받아들여진 좌표와 각도 정보를 손바닥과, 팔, 손목, 팔꿈치의 변수에 입력하는 단계(S1-5),
    및 매 프레임마다 3차원 공간 센서(1)로부터 받아들여진 좌표와 각도 정보를 갱신하여 재활 치료 환자의 손 동작을 감지하는 단계(S1-6)를 포함하는 것을 특징으로 하는 손 동작 인식에 의한 컴퓨터 재활 치료 방법.
  4. 제1 항에 있어서,
    상기 재활 치료 환자 단말기(3)는 재활 치료 환자가 재활 치료 게임 프로그램을 이용한 시간을 체크하여 서버(5)로 전송하는 단계(S7)와,
    상기 서버(5)는 재활 치료 환자 단말기(3)로부터 전송된 재활 치료 환자 별 재활 치료 게임 프로그램을 이용한 시간을 이용하여 재활 치료 비용을 산출하는 단계(S9),
    상기 재활 치료 전문의 단말기(7)는 서버(5)에게 산출된 재활 치료 비용을 요청하고 재활 치료 환자에게 재활 치료 비용과 재활 치료 전문의의 진단 비용을 청구하는 단계(S11)를 더 포함하는 것을 특징으로 하는 손 동작 인식에 의한 컴퓨터 재활 치료 방법.
KR20150012468A 2015-01-27 2015-01-27 손 동작 인식에 의한 컴퓨터 재활 치료 방법 KR101507700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20150012468A KR101507700B1 (ko) 2015-01-27 2015-01-27 손 동작 인식에 의한 컴퓨터 재활 치료 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20150012468A KR101507700B1 (ko) 2015-01-27 2015-01-27 손 동작 인식에 의한 컴퓨터 재활 치료 방법

Publications (1)

Publication Number Publication Date
KR101507700B1 true KR101507700B1 (ko) 2015-04-07

Family

ID=53032191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20150012468A KR101507700B1 (ko) 2015-01-27 2015-01-27 손 동작 인식에 의한 컴퓨터 재활 치료 방법

Country Status (1)

Country Link
KR (1) KR101507700B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950603B1 (ko) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 가상현실과 모션인식 기반의 원격 기기 제어 장치 및 이를 이용한 재활 치료 방법
KR20210085336A (ko) * 2019-12-30 2021-07-08 제이에스씨(주) Vr 기반 장애 아동을 위한 콘텐츠 제공 시스템
US11324995B2 (en) 2016-12-21 2022-05-10 E2L Products Limited Rehabilitation aid
KR20220165456A (ko) * 2021-06-08 2022-12-15 (주)디지털팜 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치, 방법 및 프로그램
CN116431004A (zh) * 2023-06-01 2023-07-14 山东协和学院 康复机器人交互行为的控制方法及***
WO2024096173A1 (ko) * 2022-11-02 2024-05-10 조은정 손떨림 완화를 위한 치료 게임 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197612A (ja) * 1999-01-06 2000-07-18 Nec Software Ltd 遠隔診療システム
KR20130094895A (ko) * 2012-02-17 2013-08-27 디게이트 주식회사 손 재활치료 장치 및 방법
KR101317906B1 (ko) 2012-09-14 2013-10-16 경북대학교 산학협력단 상지 재활 훈련용 마우스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197612A (ja) * 1999-01-06 2000-07-18 Nec Software Ltd 遠隔診療システム
KR20130094895A (ko) * 2012-02-17 2013-08-27 디게이트 주식회사 손 재활치료 장치 및 방법
KR101317906B1 (ko) 2012-09-14 2013-10-16 경북대학교 산학협력단 상지 재활 훈련용 마우스

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11324995B2 (en) 2016-12-21 2022-05-10 E2L Products Limited Rehabilitation aid
KR101950603B1 (ko) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 가상현실과 모션인식 기반의 원격 기기 제어 장치 및 이를 이용한 재활 치료 방법
KR20210085336A (ko) * 2019-12-30 2021-07-08 제이에스씨(주) Vr 기반 장애 아동을 위한 콘텐츠 제공 시스템
KR102346682B1 (ko) * 2019-12-30 2022-01-03 제이에스씨(주) Vr 기반 장애 아동을 위한 콘텐츠 제공 시스템
KR102545185B1 (ko) * 2021-06-08 2023-06-20 (주)디지털팜 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치, 방법 및 프로그램
KR20230088882A (ko) * 2021-06-08 2023-06-20 (주)디지털팜 음악기반 다중작업 훈련, 가창 훈련 및 악기변별 훈련을 이용한 인지 기능 훈련 및 검사 장치
KR20220165456A (ko) * 2021-06-08 2022-12-15 (주)디지털팜 센서를 통해 감지되는 입력을 통해 인지 기능을 훈련 및 검사하는 장치, 방법 및 프로그램
KR20230088667A (ko) * 2021-06-08 2023-06-20 (주)디지털팜 훈련 수행 정확도에 따라 훈련 난이도를 변경하는 인지 기능 훈련 및 검사 장치
KR20230092849A (ko) * 2021-06-08 2023-06-26 (주)디지털팜 사용자와의 인터랙션을 이용한 인지 기능 훈련 및 검사 장치
KR102634347B1 (ko) 2021-06-08 2024-02-06 (주)디지털팜 사용자와의 인터랙션을 이용한 인지 기능 훈련 및 검사 장치
KR102634346B1 (ko) 2021-06-08 2024-02-06 (주)디지털팜 훈련 수행 정확도에 따라 훈련 난이도를 변경하는 인지 기능 훈련 및 검사 장치
KR102634345B1 (ko) 2021-06-08 2024-02-06 (주)디지털팜 음악기반 다중작업 훈련, 가창 훈련 및 악기변별 훈련을 이용한 인지 기능 훈련 및 검사 장치
WO2024096173A1 (ko) * 2022-11-02 2024-05-10 조은정 손떨림 완화를 위한 치료 게임 장치
CN116431004A (zh) * 2023-06-01 2023-07-14 山东协和学院 康复机器人交互行为的控制方法及***
CN116431004B (zh) * 2023-06-01 2023-08-29 山东协和学院 康复机器人交互行为的控制方法及***

Similar Documents

Publication Publication Date Title
KR101507700B1 (ko) 손 동작 인식에 의한 컴퓨터 재활 치료 방법
Da Gama et al. Motor rehabilitation using Kinect: a systematic review
Zhao et al. Rule-based human motion tracking for rehabilitation exercises: realtime assessment, feedback, and guidance
Vonach et al. VRRobot: Robot actuated props in an infinite virtual environment
Lockery et al. Store-and-feedforward adaptive gaming system for hand-finger motion tracking in telerehabilitation
KR101519808B1 (ko) 3차원 공간 센서를 활용한 재활 치료 시스템
US20150018722A1 (en) Determination, communication, and presentation of user body position information
KR20170083429A (ko) 가상 현실 재활 치료 시스템 및 그 방법
KR101563298B1 (ko) 수부 모션인식 기반의 수부 재활치료 시스템
Rechy-Ramirez et al. A human–computer interface for wrist rehabilitation: a pilot study using commercial sensors to detect wrist movements
Sheng et al. Commercial device-based hand rehabilitation systems for stroke patients: State of the art and future prospects
Cha et al. A novel upper-limb tracking system in a virtual environment for stroke rehabilitation
KR20170140705A (ko) 연상카드 맞추기 게임을 이용한 인지능력 재활훈련 시스템 및 그 방법
Aguilar-Lazcano et al. Performance analysis of Leap motion controller for finger rehabilitation using serious games in two lighting environments
RU176318U1 (ru) Перчатка виртуальной реальности
Alamri et al. Evaluating the post-stroke patients progress using an augmented reality rehabilitation system
TW201530478A (zh) 復健動作編輯與圖形化評量系統
Lubos et al. Influence of comfort on 3d selection task performance in immersive desktop setups
Zhao et al. Tangible games for stroke rehabilitation with digital box and blocks test
GB2575299A (en) Method and system for directing and monitoring exercise
TWI598135B (zh) 利用擴增實境輔助肢體訓練之方法
Durve et al. Machine learning approach for physiotherapy assessment
Kolsanov et al. Augmented Reality application for hand motor skills rehabilitation
Valdivia et al. Development and evaluation of two posture-tracking user interfaces for occupational health care
Tada et al. Quantifying motor and cognitive function of the upper limb using mixed reality smartglasses

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200209

Year of fee payment: 6