KR102542641B1 - 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법 - Google Patents

핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법 Download PDF

Info

Publication number
KR102542641B1
KR102542641B1 KR1020200167847A KR20200167847A KR102542641B1 KR 102542641 B1 KR102542641 B1 KR 102542641B1 KR 1020200167847 A KR1020200167847 A KR 1020200167847A KR 20200167847 A KR20200167847 A KR 20200167847A KR 102542641 B1 KR102542641 B1 KR 102542641B1
Authority
KR
South Korea
Prior art keywords
hand
unit
user
tracking
virtual space
Prior art date
Application number
KR1020200167847A
Other languages
English (en)
Other versions
KR20220078366A (ko
Inventor
김도현
임지윤
천해광
Original Assignee
경일대학교산학협력단
주식회사 지엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단, 주식회사 지엘 filed Critical 경일대학교산학협력단
Priority to KR1020200167847A priority Critical patent/KR102542641B1/ko
Publication of KR20220078366A publication Critical patent/KR20220078366A/ko
Application granted granted Critical
Publication of KR102542641B1 publication Critical patent/KR102542641B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Neurosurgery (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

훈련 장치가 제공된다. 상기 훈련 장치는 사용자의 손을 감지하는 센싱부; 상기 센싱부의 감지 결과를 이용해서 상기 손의 제1 위치를 추적하는 트래킹부;를 포함할 수 있다.

Description

핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법{Apparatus and operation method for rehabilitation training using hand tracking}
본 발명은 XR(eXtended Reality) 기술을 이용하여 가상 현실(Virtual Reality) 또는 증강 현실(Augmented Reality) 상에 표현되는 사용자의 실제 손을 이용하여 인지 재활 훈련 콘텐츠를 통해 제공되는 미션을 수행할 수 있는 재활 훈련 장치 및 작동 방법에 관한 것이다.
가상현실(Virtual Reality)을 이용한 운동 및 인지기능 훈련의 효과는 다양한 연구결과를 통해 입증이 되었다.
그러나, 인지기능이 저하된 사람과 고령자가 사용하기에는 불편하고 어려운 점이 많아 인지기능 평가 및 훈련을 위한 진일보한 시스템임에도 불구하고 사용되지 못하고 있다.
한국등록특허공보 제1881986호에는 경도인지장애 노인의 인지능력 향상을 위한 VR 인지재활훈련 시스템 및 방법이 나타나 있다.
한국등록특허공보 제1881986호
본 발명은 사용자가 자신의 실제 손을 이용해서 가상 공간 상에서 인지 재활 훈련을 수행할 수 있는 훈련 장치 및 훈련 장치의 작동 방법을 제공하기 위한 것이다.
본 발명의 훈련 장치는 사용자의 손을 감지하는 센싱부; 상기 센싱부의 감지 결과를 이용해서 상기 손의 제1 위치를 추적하는 트래킹부;를 포함하고, 상기 트래킹부는 상기 사용자가 시청하는 화면에 표시되는 오브젝트의 제2 위치를 입수하며, 상기 트래킹부는 상기 제1 위치와 상기 제2 위치를 이용해서 상기 손과 상기 오브젝트의 상호작용 가능 여부를 판별할 수 있다.
본 발명의 훈련 장치의 작동 방법은 사용자의 손의 위치에 해당하는 제1 위치, 가상 공간에 표시되는 오브젝트의 위치에 해당하는 제2 위치 및 상기 가상 공간의 기준 위치를 입수하는 입수 단계; 상기 기준 위치를 이용해서 상기 제1 위치를 상기 가상 공간 상에 배치하고, 상기 제1 위치와 상기 제2 위치의 상호작용 여부를 판별하는 판별 단계; 상기 가상 공간을 생성하는 미디어부에 상기 상호작용 여부의 판별 결과를 제공하는 제공 단계;를 포함할 수 있다.
본 발명은 자신의 손이 가상 현실 상에 직접 투영되어 별도의 도구를 사용하지 않고도 가상 현실 상의 오브젝트와 상호작용할 수 있는 기술로, VR의 단점인 컨트롤러 조작법에 대한 문제를 해소하고, VR의 장점인 다양하고 유연한 체험이 가능하도록 하여 효과적인 인지 재활 훈련 환경을 제공할 수 있다.
본 발명의 훈련 장치는 사용자의 실제 손을 가상 공간 상에 투영시킬 수 있다. 현실 세계의 손과 가상 공간 상의 이질적인 좌표를 동기화할 수 있다. 서로 다른 차원 간의 좌표 동기화 과정에서 발생되는 오류를 해소하기 위해, 본 발명은 사용자의 눈의 실제 위치를 추가로 이용할 수 있다.
본 발명에 따르면, 현실 세계에서 실제의 오브젝트를 터치하는 것과 유사한 재활 훈련 환경을 가상 공간 상에서 체험할 수 있다.
도 1은 본 발명의 훈련 장치를 나타낸 블록도이다.
도 2는 트래킹부를 나타낸 개략도이다.
도 3은 본 발명의 훈련 장치를 나타낸 개략도이다.
도 4는 본 발명의 다른 훈련 장치를 나타낸 개략도이다.
도 5는 본 발명의 훈련 장치에서 사용자에게 표시되는 화면을 나타낸 개략도이다.
도 6은 본 발명의 훈련 장치의 작동 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 훈련 장치를 나타낸 블록도이다. 도 2는 트래킹부(130)를 나타낸 개략도이다. 도 3은 본 발명의 훈련 장치를 나타낸 개략도이다. 도 4는 본 발명의 다른 훈련 장치를 나타낸 개략도이다.
크로마키 환경 부스(30)의 상단 또는 HMD 전면에 부착된 깊이 센서에 촬영된 깊이 정보가 트래킹 모듈(100)로 전송될 수 있다.
VR을 이용할 경우 HMD 전면에 부착된 Stereoscopic Camera에서 촬영된 이미지에서 손과 팔의 이미지를 추출하여 가상 현실(가상 공간(99)) 상의 이미지와 합성하여 사용자(10)의 손(11)이 가상 공간(99)에 투영될 수 있다. VR의 경우, 사용자(10)의 실제 손이 화면(90)에 표시되기 어려우므로, 별도의 스테레오스코픽 카메라, 비전 등을 이용해서 사용자(10)의 손을 촬영하고, 촬영된 사용자(10)의 손을 모의적으로 구현한 그래픽이 가상 공간(99)에 투영될 수 있다.
실물이 화면(90)에 표시되는 See-through Type의 AR을 이용할 경우 훈련 콘텐츠의 일부 오브젝트(91)가 HMD에 투영되어 표시될 수 있다.
미디어부(210)는 가상 공간(99) 상의 상호작용 가능한 오브젝트(91)의 좌표(제2 위치) 및 크기 정보를 트래킹 모듈(100)로 전송할 수 있다.
트래킹 모듈(100)에서는 깊이 정보로부터 손과 팔의 좌표(제1 위치)를 검출하고 가상 공간(99) 상의 상호작용 가능한 오브젝트(91)와 상호작용이 가능한지 여부를 판별할 수 있다. 트래킹 모듈(100)은 판별 결과는 미디어부(210)로 다시 전송할 수 있다.
사용자(10)는 일련의 동작으로 구현된 핸드 트래킹 기술을 이용하여 미디어부(210)에서 제공하는 미션을 자신의 손으로 직접 수행하며 이를 지속적이고 반복적으로 수행하여 인지 기능의 재활 훈련을 수행할 수 있다.
본 발명의 가상 공간(99)은 XR, VR, MR, AR 등으로 구현될 수 있다.
XR(eXtended Reality, 확장 현실)은 VR(Virtual Reality, 가상 현실), MR (Mixed Reality, 혼합 현실), AR(Augmented Reality, 증강 현실) 등을 아우르는 개념으로, 가상과 현실이 밀접하게 연결된 환경을 의미할 수 있다.
본 특허에서 제시하는 인지재활훈련 콘텐츠는 VR, MR, AR 등에서 모두 구현이 가능하기에 XR을 이용한 재활 훈련으로 표현될 수 있다.
도면에 도시된 훈련 장치는 트래킹 모듈(100), 미디어부(210), 표시부(230)를 포함할 수 있다.
트래킹 모듈(100)은 현실 세계에 존재하는 사용자(10)의 실제 손을 추적할 수 있다. 또한, 트래킹 모듈(100)은 가상 공간(99)에 배치된 오브젝트(91)와 사용자(10)의 실제 손 간의 상호작용 여부를 판별할 수 있다.
트래킹 모듈(100)에는 센싱부(110), 트래킹부(130)가 마련될 수 있다.
센싱부(110)는 사용자(10)의 손을 감지할 수 있다. 일 예로, 센싱부(110)는 사용자(10)의 손의 깊이(depth) 정보를 획득하는 거리 센서 등을 포함할 수 있다. 센싱부(110)는 크로마키 환경 부스(30)(Chromakey booth)에 설치되거나, 사용자(10)가 착용하는 HMD에 설치될 수 있다. HMD(Head Mount Display, 머리 착용 디스플레이)는 가상 오브젝트(91)와 현실을 함께 보기 위한 디스플레이 장치로 사용자(10)의 머리에 안경과 유사하게 착용될 수 있다.
트래킹부(130)는 센싱부(110)의 감지 결과를 이용해서 현실 세계에 존재하는 사용자(10)의 손의 위치에 해당하는 제1 위치를 추적할 수 있다.
트래킹부(130)는 사용자(10)가 시청하는 화면(90)에 표시되는 오브젝트(91)의 제2 위치를 미디어부(210)로부터 입수할 수 있다.
트래킹부(130)는 제1 위치와 제2 위치를 이용해서 손과 오브젝트(91)의 상호작용 가능 여부를 판별할 수 있다.
미디어부(210)는 화면(90)에 오브젝트(91)가 포함된 재활 콘텐츠를 표시할 수 있다.
미디어부(210)는 3D Engine을 통해 개발된 인지기능 개선용 훈련 콘텐츠를 제공할 수 있다. 미디어부(210)는 HMD를 통해 3차원 가상 현실(가상 공간(99))을 표현하고 트래킹 모듈(100)에 의해 이루어지는 핸드 트래킹 또는 컨트롤러를 통해 가상 현실과의 상호작용을 통해 반응형 콘텐츠를 제공할 수 있다.
구동되는 환경에 따라 100% 가상 현실인 VR, 일부 현실 정보를 포함한 MR, 현실 환경을 기반으로 동작하는 AR로 구분되어 각 환경에 맞는 콘텐츠, 미션이 HMD를 통해 표시되고 사용자(10)는 이를 수행할 수 있다.
미디어부(210)는 트래킹부(130)로부터 상호작용 가능 여부에 대한 판별 결과를 입수할 수 있다. 미디어부(210)는 판별 결과에 따라 오브젝트(91)를 변화시킬 수 있다. 예를 들어, 오브젝트(91)가 밸브인 경우, 상호작용이 존재하는 것으로 판별되면, 미디어부(210)는 밸브를 회전시킬 수 있다.
화면(90)은 표시부(230)에 의해 제공되는 LCD(Liquid Crystal Display) 화면(90), OLED(Organic Light Emitting Diode) 화면(90) 등을 포함할 수 있다. 다시 말해, 미디어부(210)는 각종 디스플레이가 구비된 표시부(230)를 통해 재활 콘텐츠를 표시할 수 있다. 오브젝트(91)가 포함된 재활 콘텐츠는 미디어부(210)에 의해 생성된 가상 공간(99)에 배치될 수 있다.
표시부(230)는 LCD, OLED, HMD(Head mounted Display) 등을 포함할 수 있다.
센싱부(110)에는 제1 통신 수단(131), 제1 추적 수단(132), 제2 통신 수단(137), 제2 추적 수단(137), 판별 수단(135)이 마련될 수 있다.
제1 통신 수단(131)은 센싱부(110)로부터 깊이 정보를 유무선 통신망을 통해 수신할 수 있다.
제1 추적 수단(132)은 깊이 정보를 이용해서 제1 위치를 추적할 수 있다. 제1 추적 수단(132)에 의해 추적되는 제1 위치는 현실 세계에서의 위치를 나타낼 수 있다.
제2 통신 수단(137)은 오브젝트(91)를 획득할 수 있다. 일 예로, 제2 통신 수단(137)은 오브젝트(91)를 제공하는 미디어부(210)와 각종 유무선 통신망을 통해 통신하고, 미디어부(210)로부터 오브젝트(91)를 수신할 수 있다.
제2 추적 수단(137)은 오브젝트(91)의 위치에 해당하는 제2 위치를 추적할 수 있다. 이때, 제2 위치는 가상 공간(99)에서의 위치를 나타낼 수 있다.
판별 수단(135)는 제1 위치와 제2 위치를 이용해서 상호작용 가능 여부를 판별할 수 있다.
제1 위치는 손의 위치를 나타내고, 제2 위치는 오브젝트(91)의 위치를 나타낼 수 있다.
손의 위치는 현실 세계의 위치이고, 오브젝트(91)의 위치는 가상 공간(99)의 위치일 수 있다. 차원을 달리하는 2개의 위치를 이용해 상호작용 여부를 판별하기 위한 방안이 추가로 마련될 수 있다.
본 발명의 인지 재활 훈련은 손으로 조작하는 오브젝트(91)가 실제로는 손으로 조작할 수 없는 가상 공간(99)에 마련될 수 있다. 따라서, 본 발명의 인지 재활 훈련은 손의 촉각보다는 눈의 시각에 의존해서 이루어질 수 있다.
따라서, 가상 공간(99)에 배치된 오브젝트(91)는 눈에 의해 인식되며, 이때, 사용자(10)에게 인식되는 오브젝트(91)의 형상 등은 사용자(10)의 실제 눈의 위치와 관련이 있다.
따라서, 정상적인 상호 작용을 위해서는 사용자(10)가 자신의 손을 직접 화면(90)을 통해서 바라보는 것이 좋다.
사용자(10)의 실제 손이 화면(90)에 표시되는 증강 현실 등과 달리 사용자(10)의 실제 손이 화면(90)에 투영되기 어려운 VR 환경에서는 사용자(10)의 실제 손을 가상 공간(99) 상에 렌더링하는 별도의 수단이 마련될 필요가 있다.
일 예로, 센싱부(110)는 사용자(10)의 손을 3차원 촬영하는 비전(vision) 센서, 스테레오스코픽 카메라(Stereoscopic Camera)를 포함할 수 있다.
정리하면, 판별 수단(135)는 XR 콘텐츠와 상호작용하기 위한 방법으로 핸드 트래킹을 사용하여 XR 콘텐츠의 오브젝트(91)와 상호작용을 판별할 수 있다.
트래킹 모듈(100)에 의해 수행되는 핸드 트래킹은 사용자(10)의 손의 위치를 감지하여 XR 콘텐츠의 오브젝트(91)와 상호작용하는 방식을 포함할 수 있다.
실제의 주변 환경을 볼 수 없는 VR의 경우 Stereoscopic Camera를 HMD 전면에 부착하여 사용자(10)의 손을 2차원 또는 3차원으로 촬영하고, 가상 현실에 2차원 또는 3차원으로 투영할 수 있다.
구체적으로, 트래킹부(130)는 센싱부(110)로부터 손을 촬영한 영상 데이터를 입수할 수 있다.
트래킹부(130)는 화면(90)에 오브젝트(91)가 포함된 재활 콘텐츠를 표시하는 미디어부(210)에 제1 위치와 함께 손을 나타내는 영상 데이터를 제공할 수 있다.
가상 공간(99)에서 바라보는 오브젝트(91)의 제2 위치는 오브젝트(91)의 표면에 걸쳐 정상적으로 설정될 수 있다.
반면, 사용자(10)의 손 좌표를 나타내는 제1 위치는 깊이 센서 등의 센싱부(110)를 통해 측정된 값에 기반하며, 해당 값에는 일부 오류가 존재할 수 있으며, 시각적인 착시 현상을 수반할 수 있다. 예를 들어, 사용자(10)는 이 정도 위치이로 손을 가져가면 오브젝트(91)를 터치할 수 있을 것으로 기대할 수 있다. 하지만, 각종 빛 효과가 무시되기 쉬운 오브젝트(91)의 경우, 사용자(10)의 착시 현상을 쉽게 유발할 수 있으며, 이러한 착시 효과는 사용자(10)의 인지 재활 훈련의 성과에 부정적일 수 있다.
착시 효과는 사용자(10)의 시각 위치에 따라 큰 차이를 보이며, 해당 시각 위치로 인한 오차를 줄이기 위한 방안이 추가로 마련될 수 있다.
일 예로, 트래킹부(130)는 화면(90)에 형성된 가상 공간(99)에서 기준 좌표를 추가로 입수할 수 있다.
트래킹부(130)는 기준 좌표를 이용해서 가상 공간(99)에서 제1 위치를 특정할 수 있다. 또한, 트래킹부(130)는 기준 좌표를 기준으로 제1 위치와 제2 위치 간의 거리를 이용해서 상호작용 가능 여부를 판별할 수 있다.
트래킹부(130)는 센싱부(110)로부터 사용자(10)의 눈의 위치에 해당하는 제3 위치를 추가로 입수할 수 있다.
트래킹부(130)는 제3 위치를 이용해서 상호 가능 여부의 판별 결과를 보정할 수 있다. 일 예로, 트래킹부(130)는 제3 위치를 이용해서 제2 위치를 사용자(10)의 손 영역 범위 내에서 조정할 수 있다. 손의 표면 위치는 각종 오류로 인해 일부 달라질 수 있으며, 실제로 정확한 위치를 지정하고 있는 상태라 하더라도 각종 음영이 정상적으로 반영되기 어려운 오브젝트(91)의 경우, 사용자(10)에게 각종 착시를 유발할 수 있다. 해당 오류 및 착시로 인해 사용자(10)의 눈으로 인지한 상호작용 기대값과 트래킹부(130)에 의해 판별된 상호작용 결과값이 서로 다를 수 있다. 본 실시예에 따르면, 오브젝트(91) 및 손을 바라보는 사용자(10)의 눈을 기준으로 상호작용 결과값이 보정되므로, 사용자(10)가 기대한 기대값과 트래킹부(130)의 판별값의 차이가 감소될 수 있다. 해당 보정값은 눈 위치에 대한 실험적인 데이터를 통해 획득될 수 있다.
도 5는 본 발명의 훈련 장치에서 사용자(10)에게 표시되는 화면(90)을 나타낸 개략도이다.
도 5는 VR 환경을 나타낼 수 있다. VR에서는 사용자(10)의 실제 손이 가상 공간(99)에 직접 투영되지 않는다. 이 경우, 사용자(10)의 손을 모의한 가상 손(93)이 해당 가상 공간(99)에 렌더링될 수 있다.
도 6은 본 발명의 훈련 장치의 작동 방법을 나타낸 흐름도이다.
도 6의 훈련 장치의 작동 방법은 도 1에 도시된 훈련 장치에 의해 수행될 수 있다.
훈련 장치의 작동 방법은 입수 단계(S 510), 판별 단계(S 520), 제공 단계(S 530)를 포함할 수 있다.
입수 단계(S 510)는 사용자(10)의 손의 위치에 해당하는 제1 위치, 가상 공간(99)에 표시되는 오브젝트(91)의 위치에 해당하는 제2 위치 및 상기 가상 공간(99)의 기준 위치(97)를 입수할 수 있다. 트래킹부(130)에 의해 수행되는 동작으로, 트래킹부(130)는 센싱부(110)로부터 제1 위치를 입수할 수 있다. 트래킹부(130)는 미디어부(210)로부터 제2 위치 및 기준 위치(97)를 입수할 수 있다.
판별 단계(S 520)는 기준 위치(97)를 이용해서 제1 위치를 가상 공간(99) 상에 배치하고, 제1 위치와 제2 위치의 상호작용 여부를 판별할 수 있다. 판별 단계(S 520)는 트래킹부(130)에 의해 수행될 수 있다.
제공 단계(S 530)는 가상 공간(99)을 생성하는 미디어부(210)에 상호작용 여부의 판별 결과를 제공할 수 있다. 제공 단계(S 520)는 트래킹부(130)에 의해 수행될 수 있다.
입수 단계(S 510)는 사용자(10)의 눈의 위치에 해당하는 제3 위치를 추가로 획득할 수 있다.
판별 단계(S 520)는 제3 위치를 이용해서 제2 위치를 보정하며, 보정된 제2 위치를 이용해서 상호작용 여부를 판별할 수 있다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 훈련 장치, 트래킹부(130) 등) 일 수 있다.
도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10...사용자 11...손
30...크로마키 환경 부스 90...화면
91...오브젝트 93...가상 손
97...기준 위치 99...가상 공간
100...트래킹 모듈 110...센싱부
130...트래킹부 131...제1 통신 수단
132...제1 추적 수단 135...판별 수단
137...제2 통신 수단 138...제2 추적 수단
210...미디어부 230...표시부

Claims (7)

  1. 사용자의 손을 감지하는 센싱부;
    상기 센싱부의 감지 결과를 이용해서 상기 손의 제1 위치를 추적하는 트래킹부;를 포함하고,
    상기 트래킹부는 상기 사용자가 시청하는 화면에 표시되는 오브젝트의 제2 위치를 입수하며,
    상기 트래킹부는 상기 제1 위치와 상기 제2 위치를 이용해서 상기 손과 상기 오브젝트의 상호작용 가능 여부를 판별하고,
    상기 트래킹부는 상기 센싱부로부터 상기 손을 촬영한 영상 데이터를 입수하고,
    상기 트래킹부는 상기 화면에 상기 오브젝트가 포함된 재활 콘텐츠를 표시하는 미디어부에 상기 제1 위치와 함께 상기 영상 데이터를 제공하며,
    상기 트래킹부는 상기 화면에 형성된 가상 공간에서 기준 좌표를 추가로 입수하고,
    상기 트래킹부는 상기 기준 좌표를 이용해서 상기 가상 공간에서 상기 제1 위치를 특정하며,
    상기 트래킹부는 상기 기준 좌표를 기준으로 상기 제1 위치와 상기 제2 위치 간의 거리를 이용해서 상기 상호작용 가능 여부를 판별하고,
    상기 트래킹부는 상기 센싱부로부터 상기 사용자의 눈의 위치에 해당하는 제3 위치를 추가로 입수하고,
    상기 트래킹부는 상기 제3 위치를 이용해서 상기 상호작용 가능 여부의 판별 결과를 보정하며,
    상기 트래킹부는 상기 제3 위치를 이용해서 상기 제2 위치를 상기 사용자의 손 영역 범위 내에서 조정하고,
    상기 화면에 형성된 상기 가상 공간에는 상기 사용자의 손을 모의한 가상 손이 렌더링되는 훈련 장치.
  2. 제1항에 있어서,
    상기 화면에 상기 오브젝트가 포함된 재활 콘텐츠를 표시하는 상기 미디어부가 마련되고,
    상기 미디어부는 상기 트래킹부로부터 상기 상호작용 가능 여부에 대한 판별 결과를 입수하며,
    상기 미디어부는 상기 판별 결과에 따라 상기 오브젝트를 변화시키는 훈련 장치.
  3. 제1항에 있어서,
    제1 통신 수단, 제1 추적 수단, 제2 통신 수단, 제2 추적 수단, 판별 수단이 마련되고,
    상기 제1 통신 수단은 상기 센싱부로부터 깊이 정보를 수신하며,
    상기 제1 추적 수단은 상기 깊이 정보를 이용해서 상기 제1 위치를 추적하고,
    상기 제2 통신 수단은 상기 오브젝트를 획득하고,
    상기 제2 추적 수단은 상기 제2 위치를 추적하며,
    상기 판별 수단은 상기 제1 위치와 상기 제2 위치를 이용해서 상기 상호작용 가능 여부를 판별하는 훈련 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 훈련 장치에 의해 수행되는 작동 방법에 있어서,
    사용자의 손의 위치에 해당하는 제1 위치, 가상 공간에 표시되는 오브젝트의 위치에 해당하는 제2 위치 및 상기 가상 공간의 기준 위치를 입수하는 입수 단계;
    상기 기준 위치를 이용해서 상기 제1 위치를 상기 가상 공간 상에 배치하고, 상기 제1 위치와 상기 제2 위치의 상호작용 여부를 판별하는 판별 단계;
    상기 가상 공간을 생성하는 미디어부에 상기 상호작용 여부의 판별 결과를 제공하는 제공 단계;를 포함하고,
    상기 사용자의 손을 촬영한 영상 데이터를 입수하고,
    상기 사용자가 시청하는 화면에 상기 오브젝트가 포함된 재활 콘텐츠를 표시하는 미디어부에 상기 제1 위치와 함께 상기 영상 데이터를 제공하며,
    상기 사용자의 눈의 위치에 해당하는 제3 위치를 추가로 입수하고,
    상기 제3 위치를 이용해서 상기 상호작용 가능 여부의 판별 결과를 보정하며,
    상기 제3 위치를 이용해서 상기 제2 위치를 상기 사용자의 손 영역 범위 내에서 조정하고,
    상기 화면에 형성된 상기 가상 공간에는 상기 사용자의 손을 모의한 가상 손이 렌더링되는 작동 방법.
KR1020200167847A 2020-12-03 2020-12-03 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법 KR102542641B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200167847A KR102542641B1 (ko) 2020-12-03 2020-12-03 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200167847A KR102542641B1 (ko) 2020-12-03 2020-12-03 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법

Publications (2)

Publication Number Publication Date
KR20220078366A KR20220078366A (ko) 2022-06-10
KR102542641B1 true KR102542641B1 (ko) 2023-06-14

Family

ID=81986750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167847A KR102542641B1 (ko) 2020-12-03 2020-12-03 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법

Country Status (1)

Country Link
KR (1) KR102542641B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018129A (ja) * 2009-07-07 2011-01-27 Ritsumeikan ヒューマンインターフェイス装置
KR101890459B1 (ko) * 2011-12-06 2018-08-21 톰슨 라이센싱 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
KR102058458B1 (ko) * 2018-11-14 2019-12-23 주식회사 드림한스 다중 사용자 간 상호작용이 가능한 가상현실 콘텐츠 제공 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881986B1 (ko) 2016-11-29 2018-07-26 주식회사 에스와이이노테크 경도인지장애 노인의 인지능력 향상을 위한 vr 인지재활훈련 시스템 및 방법
KR20190036864A (ko) * 2017-09-28 2019-04-05 주식회사 아인픽춰스 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 매체에 기록된 어플리케이션

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011018129A (ja) * 2009-07-07 2011-01-27 Ritsumeikan ヒューマンインターフェイス装置
KR101890459B1 (ko) * 2011-12-06 2018-08-21 톰슨 라이센싱 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
KR102058458B1 (ko) * 2018-11-14 2019-12-23 주식회사 드림한스 다중 사용자 간 상호작용이 가능한 가상현실 콘텐츠 제공 시스템

Also Published As

Publication number Publication date
KR20220078366A (ko) 2022-06-10

Similar Documents

Publication Publication Date Title
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
US9829989B2 (en) Three-dimensional user input
US10739936B2 (en) Zero parallax drawing within a three dimensional display
US20240037880A1 (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
EP3000020B1 (en) Hologram anchoring and dynamic positioning
US9165381B2 (en) Augmented books in a mixed reality environment
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
EP3248045A1 (en) Augmented reality field of view object follower
CN113050802A (zh) 用于在虚拟现实环境中导航的方法、***及设备
WO2014128747A1 (ja) 入出力装置、入出力プログラム、および入出力方法
JP2018526716A (ja) 媒介現実
US12010288B2 (en) Information processing device, information processing method, and program
EP3688985A1 (en) Head-mountable display system
US11682138B2 (en) Localization and mapping using images from multiple devices
US20170300121A1 (en) Input/output device, input/output program, and input/output method
KR102542641B1 (ko) 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법
WO2021182124A1 (ja) 情報処理装置、及び情報処理方法
JPH0628452A (ja) ３次元画像処理装置
US20170302904A1 (en) Input/output device, input/output program, and input/output method
CN114253389B (zh) 整合动作感测器的增强现实***与增强现实显示方法
EP3891584B1 (en) Mixed reality presentation
Faaborg et al. METHODS AND APPARATUS TO SCALE ANNOTATIONS FOR DESIRABLE VIEWING IN AUGMENTED REALITY ENVIRONMENTS

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right