KR101686585B1 - 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템 - Google Patents

비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템 Download PDF

Info

Publication number
KR101686585B1
KR101686585B1 KR1020160070561A KR20160070561A KR101686585B1 KR 101686585 B1 KR101686585 B1 KR 101686585B1 KR 1020160070561 A KR1020160070561 A KR 1020160070561A KR 20160070561 A KR20160070561 A KR 20160070561A KR 101686585 B1 KR101686585 B1 KR 101686585B1
Authority
KR
South Korea
Prior art keywords
hand
tracker
user
finger
tap handle
Prior art date
Application number
KR1020160070561A
Other languages
English (en)
Inventor
박익서
김봉구
심승보
서범석
김강경
Original Assignee
연합정밀주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연합정밀주식회사 filed Critical 연합정밀주식회사
Priority to KR1020160070561A priority Critical patent/KR101686585B1/ko
Application granted granted Critical
Publication of KR101686585B1 publication Critical patent/KR101686585B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에 관한 것으로서, 보다 구체적으로는 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템으로서, 비행 가상 시뮬레이터 표시화면에서 제공되는 회전형 꼭지 손잡이를 운용하기 위해 사용자가 표시화면을 통해 제공되는 가상의 회전형 꼭지 손잡이를 잡아 접촉한 상태에서 회전시킴에 따라 발생되는 사용자 손의 3차원 위치인식과, 사용자 손의 회전을 측정하기 위한 자세인식 및 손가락 마디의 움직임을 측정할 수 있는 각도 측정 인식을 통합하여 수행하는 핸드 모션 트래커(Hand Motion Tracker)를 포함하여 구성하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에 따르면, 사용자의 엄지손가락과 검지손가락의 접촉점을 통해 3차원 위치를 측정하는 핑거 팁 위치 트래커와, 사용자 손의 회전을 측정할 수 있는 핸드 방향 트래커, 및 손가락 마디의 움직임에 따른 움직임 각도를 측정할 수 있는 핑거관절 각도 트래커를 통합하여 핸드 모션 트래커를 구성함으로써, 가상환경 기반의 비행시뮬레이터에서 사용자 손가락의 움직임의 정밀한 추적을 통한 회전형 꼭지 손잡이의 운용이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 3차원 위치인식과 자세 인식 및 손가락 마디의 움직임의 통합 측정을 통해 가상환경 기반의 비행시뮬레이터의 버튼, 스위치, 레버, 및 회전형 꼭지 손잡이 조작 등의 다양한 손 움직임의 정밀 시뮬레이션이 가능하도록 할 수 있다.

Description

비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템{A HAND MOTION TRACKING SYSTEM FOR A OPERATING OF ROTARY KNOB IN VIRTUAL REALITY FLIGHTING SIMULATOR}
본 발명은 손 움직임 추적 시스템에 관한 것으로서, 보다 구체적으로는 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에 관한 것이다.
컴퓨팅 환경이 향상되고, 다양한 단말 장치들의 전기적 연결이 가능해지면서 사용자 친화적인 입출력 장치들에 대한 연구들이 증가하고 있다. 예를 들면, 통상적인 컴퓨터 모니터, TV 스크린과 달리, 최근에는 사용자의 손목, 안경 등에 착용되어 데이터를 표시하는 갤럭시 기어, 애플 워치, 구글 글래스 등과 같은 입출력 장치들이 개발되었다. 또한, 종래의 대표적인 입력 장치인 키보드, 마우스와 다르게 표시 화면을 손가락으로 터치하여 직감적인 입력을 제공하는 터치스크린도 널리 보급되고 있다. 이러한 추세에서, 닌텐도 위(Wii), 마이크로소프트의 Xbox 키넥트(Kinect) 등과 같이 사용자의 신체 움직임에 기초하여 입력을 제공받는 입력 장치들이 개발 및 보급되고 있다. 이러한 입력 장치들은 사용자의 움직임을 감지하는 모션 트래커(motion tracker)를 포함할 수 있다.
종래의 모션 트래커의 경우, 사용자의 전신을 감지 대상으로 하여 인체의 골반, 무릎 등 큰 관절의 움직임을 감지하거나, 팔 전체의 동작을 감지함으로써 입력 신호를 제공받을 수 있다. 그러나 종래의 모션 트래커는 사용자의 손에 포함된 각각의 손가락들의 움직임을 감지하거나, 손가락들이 굽혀져서 사라지거나, 두 손가락이 겹쳐졌다가 떨어지는 등의 손에 의해 표현되는 정밀한 움직임들은 감지할 수 없는 한계가 있었다. 한편, 가상환경기반 비행 시뮬레이터에서 사용자는 버튼, 스위치, 터치스크린, 회전형 꼭지 손잡이를 운용하여 비행기를 운용하게 된다. 이러한 3차원 가상공간에서 가상의 화면에 구성된 비행 시뮬레이터의 버튼, 스위치, 레버 등을 운용하기 위해서는 사용자의 손가락이 버튼에 접촉되는 3차원 위치인식을 통하여 시뮬레이터가 운용되지만, 종래의 모션 트래커에서는 회전형 꼭지 손잡이를 운용하는 경우에 발생되는 3차원 위치인식과 동시에 손의 회전 및 손가락 마디의 움직임을 통합하여 측정하기 어려운 문제가 있어, 비행 시뮬레이터에서의 회전형 꼭지 손잡이의 운용에 제한이 따르는 문제가 있었다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자의 엄지손가락과 검지손가락의 접촉점을 통해 3차원 위치를 측정하는 핑거 팁 위치 트래커와, 사용자 손의 회전을 측정할 수 있는 핸드 방향 트래커, 및 손가락 마디의 움직임에 따른 움직임 각도를 측정할 수 있는 핑거관절 각도 트래커를 통합하여 핸드 모션 트래커를 구성함으로써, 가상환경 기반의 비행시뮬레이터에서 사용자 손가락의 움직임의 정밀한 추적을 통한 회전형 꼭지 손잡이의 운용이 가능하도록 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 3차원 위치인식과 자세 인식 및 손가락 마디의 움직임의 통합 측정을 통해 가상환경 기반의 비행시뮬레이터의 버튼, 스위치, 레버, 및 회전형 꼭지 손잡이 조작 등의 다양한 손 움직임의 정밀 시뮬레이션이 가능하도록 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템은,
비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템으로서,
비행 가상 시뮬레이터 표시화면에서 제공되는 회전형 꼭지 손잡이를 운용하기 위해 사용자가 표시화면을 통해 제공되는 가상의 회전형 꼭지 손잡이를 잡아 접촉한 상태에서 회전시킴에 따라 발생되는 사용자 손의 3차원 위치인식과, 사용자 손의 회전을 측정하기 위한 자세인식 및 손가락 마디의 움직임을 측정할 수 있는 각도 측정 인식을 통합하여 수행하는 핸드 모션 트래커(Hand Motion Tracker)를 포함하여 구성하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 핸드 모션 트래커는,
상기 회전형 꼭지 손잡이를 운용하기 위해 엄지손가락과 검지손가락 접촉점의 3차원 위치를 측정하기 위한 핑거 팁 위치 트래커(Finger Tip Position Tracker);
상기 회전형 꼭지 손잡이를 회전시키는 동작을 인식하기 위해 사용자 손의 회전에 따른 손의 자세인식(손의 위치 정보)을 측정하기 위한 핸드 방향 트래커(Hand Orientation Tracker); 및
상기 회전형 꼭지 손잡이를 만지는 동작 구현을 위해 엄지손가락과 검지손가락 마디의 움직임 각도를 측정하기 위한 핑거관절 각도 트래커(Finger Joint Angle Tracker)를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 핑거 팁 위치 트래커는,
사용자의 엄지손가락과 검지손가락의 손끝에 각각 장착되는 반사 볼;
상기 사용자의 엄지손가락과 검지손가락의 손끝에 장착되는 반사 볼들에 대해 적외선을 조사하여 반사되는 적외선을 감지하고, 서로 다른 각도로 상기 반사 볼을 감지하기 위한 2이상의 적외선(IR) 카메라; 및
상기 적외선 카메라로부터 감지된 적외선을 이용하여 사용자의 엄지손가락과 검지손가락의 3차원 위치 정보를 획득하는 핑거 팁 트래커 제어부를 포함하여 구성할 수 있다.
더욱 더 바람직하게는, 상기 핑거 팁 위치 트래커는,
상기 적외선 카메라가 1m(H) × 1m(W) × 0.5m(D)의 가상공간에서 상기 반사 볼들의 3차원 위치를 5㎜ 이내의 오차로 감지할 수 있다.
더욱 바람직하게는, 상기 핸드 방향 트래커는,
사용자 손의 요(yaw)축과, 롤(roll)축 및 피치(pitch)축에 따른 손의 회전 변화를 감지하기 위한 3축 가속도센서, 3축 각속도센서, 3축 지자기센서, 및 신호처리 임베디드 프로세서를 포함하는 소형 AHRS(Attitude Heading Reference System)로 구성할 수 있다.
더욱 더 바람직하게는, 상기 핸드 방향 트래커는,
상기 롤(roll)축은 ±7°, 피치(pitch)축은 ±7°, 요(yaw)축은 ±10°의 정밀도를 갖도록 구성될 수 있다.
더욱 바람직하게는, 상기 핑거관절 각도 트래커는,
상기 엄지손가락과 검지손가락의 손가락 마디의 굽힘 정도를 측정할 수 있도록 PIP(Proximal InterPhalangeal) 관절과 MCP(MetaCarpoPhalangeal) 관절에 각도센서를 구비하고, 상기 각도센서들을 사용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임을 추적할 수 있다.
바람직하게는,
상기 핸드 모션 트래커의 핑거 팁 위치 트래커의 3차원 위치 정보와, 핸드 방향 트래커의 사용자 손의 회전에 따른 손의 위치 정보, 및 핑거관절 각도 트래커의 손가락 마디의 움직임 각도 정보를 제공받아 비행 시뮬레이터 가상 환경에서의 손 자세를 검출하고, 그에 따른 손 움직임의 분석을 수행하여 표시화면에 제공하는 시스템 제어부를 더 포함하여 구성할 수 있다.
본 발명에서 제안하고 있는 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에 따르면, 사용자의 엄지손가락과 검지손가락의 접촉점을 통해 3차원 위치를 측정하는 핑거 팁 위치 트래커와, 사용자 손의 회전을 측정할 수 있는 핸드 방향 트래커, 및 손가락 마디의 움직임에 따른 움직임 각도를 측정할 수 있는 핑거관절 각도 트래커를 통합하여 핸드 모션 트래커를 구성함으로써, 가상환경 기반의 비행시뮬레이터에서 사용자 손가락의 움직임의 정밀한 추적을 통한 회전형 꼭지 손잡이의 운용이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 3차원 위치인식과 자세 인식 및 손가락 마디의 움직임의 통합 측정을 통해 가상환경 기반의 비행시뮬레이터의 버튼, 스위치, 레버, 및 회전형 꼭지 손잡이 조작 등의 다양한 손 움직임의 정밀 시뮬레이션이 가능하도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템의 기능블록의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핑거 팁 위치 트래커의 기능블록의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핸드 방향 트래커의 기능블록의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핸드 모션 트래커의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 회전형 꼭지 손잡이의 접촉점의 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핑거 팁 위치 트래커의 설치 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핸드 모션 트래커의 작동 구성 및 측정값을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핑거관절 각도 트래커의 작동 구성을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템의 전체 운용 구성을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 가상현실 기반 비행 시뮬레이터 표시화면에서의 회전형 꼭지 손잡이의 운용을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템의 기능블록의 구성을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핑거 팁 위치 트래커의 기능블록의 구성을 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핸드 방향 트래커의 기능블록의 구성을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핸드 모션 트래커의 구성을 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 회전형 꼭지 손잡이의 접촉점의 구성을 도시한 도면이다. 도 1 내지 도 5에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템은, 핸드 모션 트래커(100), 및 시스템 제어부(200)를 포함하여 구성될 수 있다.
핸드 모션 트래커(Hand Motion Tracker)(100)는, 비행 가상 시뮬레이터 표시화면에서 제공되는 회전형 꼭지 손잡이(10)를 운용하기 위해 사용자가 표시화면을 통해 제공되는 가상의 회전형 꼭지 손잡이(10)를 잡아 접촉한 상태에서 회전시킴에 따라 발생되는 사용자 손의 3차원 위치인식과, 사용자 손의 회전을 측정하기 위한 자세인식 및 손가락 마디의 움직임을 측정할 수 있는 각도 측정 인식을 통합하여 수행하는 구성이다. 이러한 핸드 모션 트래커(100)는 핑거 팁 위치 트래커(110)와, 핸드 방향 트래커(120), 및 핑거관절 각도 트래커(130)를 통합하여 사용자 손의 적어도 일부에 착용되는 장갑 형태로 구현될 수 있다. 즉, 장갑 형태로 손등과 엄지손가락 및 검지손가락의 손끝과 손가락 마디의 굽힘을 측정할 수 있도록 구성될 수 있다.
핸드 모션 트래커(100)의 핑거 팁 위치 트래커(110)는 회전형 꼭지 손잡이(10)를 운용하기 위해 엄지손가락과 검지손가락 접촉점의 3차원 위치를 측정하기 위한 구성이다. 이러한 핑거 팁 위치 트래커(Finger Tip Position Tracker)(110)는 사용자의 엄지손가락과 검지손가락의 손끝에 각각 장착되는 반사 볼(111)과, 사용자의 엄지손가락과 검지손가락의 손끝에 장착되는 반사 볼(111)들에 대해 적외선을 조사하여 반사되는 적외선을 감지하고, 서로 다른 각도로 상기 반사 볼(111)을 감지하기 위한 2이상의 적외선(IR) 카메라(112)와, 적외선 카메라(112)로부터 감지된 적외선을 이용하여 사용자의 엄지손가락과 검지손가락의 3차원 위치 정보를 획득하는 핑거 팁 트래커 제어부(113)를 포함하여 구성될 수 있다. 여기서, 핑거 팁 위치 트래커(110)는 적외선 카메라(112)가 1m(H) × 1m(W) × 0.5m(D)의 가상공간에서 반사 볼(111)들의 3차원 위치를 5㎜ 이내의 오차로 감지할 수 있도록 구현될 수 있다.
핸드 모션 트래커(100)의 핸드 방향 트래커(120)는 회전형 꼭지 손잡이(10)를 회전시키는 동작을 인식하기 위해 사용자 손의 회전에 따른 손의 자세인식(손의 위치 정보)을 측정하기 위한 구성이다. 이러한 핸드 방향 트래커(Hand Orientation Tracker)(120)는 사용자의 손 등에 배치되어, 가상의 회전형 꼭지 손잡이(10)를 잡아 회전시키는 경우의 손의 회전을 측정하게 된다. 여기서, 핸드 방향 트래커(120)는 사용자 손의 요(yaw)축과, 롤(roll)축 및 피치(pitch)축에 따른 손의 회전 변화를 감지하기 위한 3축 가속도센서(121), 3축 각속도센서(122), 3축 지자기센서(123), 및 신호처리 임베디드 프로세서(124)를 포함하는 소형 AHRS(Attitude Heading Reference System)로 구성될 수 있다. 또한, 핸드 방향 트래커(120)는 롤(roll)축은 ±7°, 피치(pitch)축은 ±7°, 요(yaw)축은 ±10°의 정밀도를 갖도록 구성될 수 있다.
핸드 모션 트래커(100)의 핑거관절 각도 트래커(130)는 회전형 꼭지 손잡이(10)를 만지는 동작 구현을 위해 엄지손가락과 검지손가락 마디의 움직임 각도를 측정하기 위한 구성이다. 이러한 핑거관절 각도 트래커(Finger Joint Angle Tracker)(130)는 엄지손가락과 검지손가락의 손가락 마디의 굽힘 정도를 측정할 수 있도록 PIP(Proximal InterPhalangeal) 관절과 MCP(MetaCarpoPhalangeal) 관절에 각도센서(131)를 구비하고, 각도센서(131)들을 사용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임을 추적할 수 있도록 구성된다.
시스템 제어부(200)는, 핸드 모션 트래커(100)의 핑거 팁 위치 트래커(110)의 3차원 위치 정보와, 핸드 방향 트래커(120)의 사용자 손의 회전에 따른 손의 위치 정보, 및 핑거관절 각도 트래커(130)의 손가락 마디의 움직임 각도 정보를 제공받아 비행 시뮬레이터 가상 환경에서의 손 자세를 검출하고, 그에 따른 손 움직임의 분석을 수행하여 표시화면에 제공하는 구성이다. 이러한 시스템 제어부(200)는 도 9에 도시된 바와 같이, 모션 디텍터(201)와 모션 분석부(202)와 표시부(203)를 포함하여 구성될 수 있다.
도 6은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핑거 팁 위치 트래커의 설치 구성을 도시한 도면이다. 도 6의 (a)는 핸드 모션 트래커(100)에 통합 구성된 핑거 팁 위치 트래커(110)의 설치 구성을 나타내고, 도 6의 (b)는 핑거 팁 위치 트래커(110)의 측정결과를 나타내고 있다. 즉, 핑거 팁 위치 트래커(110)는 사용자의 착용된 엄지손가락과 검지손가락의 손끝에 각각 장착되는 반사 볼(111)들에 대해 2이상의 적외선 카메라에서 적외선을 조사하여 반사되는 적외선을 감지하고, 감지된 적외선은 핑거 팁 트래커 제어부(113)에 제공되어 사용자의 엄지손가락과 검지손가락의 3차원 위치 정보가 도 6의 (b)와 같이 측정 결과로 나타나게 된다. 여기서, 핑거 팁 위치 트래커(110)의 적외선 카메라(112)는 높이와 가로와 세로의 가상공간, 즉 1m(H) × 1m(W) × 0.5m(D)의 가상공간에서 반사 볼(111)들의 3차원 위치를 5㎜ 이내의 오차로 감지할 수 있도록 구현되고 있다.
도 7은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핸드 모션 트래커의 작동 구성 및 측정값을 도시한 도면이다. 도 7에 도시된 바와 같이, 핸드 모션 트래커(120)는 회전형 꼭지 손잡이(10)를 회전시키는 동작을 인식하기 위해 사용자의 손 등에 배치되며, 사용자 손의 요(yaw)축과, 롤(roll)축 및 피치(pitch)축에 따른 손의 회전 변화를 감지하기 위한 3축 가속도센서(121), 3축 각속도센서(122), 3축 지자기센서(123), 및 신호처리 임베디드 프로세서(124)를 포함하는 소형 AHRS(Attitude Heading Reference System)로 구성되고, 롤(roll)축은 ±7°, 피치(pitch)축은 ±7°, 요(yaw)축은 ±10°의 정밀도를 갖도록 구성된다.
도 8은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 핑거관절 각도 트래커의 작동 구성을 도시한 도면이다. 도 8에 도시된 바와 같이, 핑거관절 각도 트래커(130)는 사용자의 엄지손가락과 검지손가락의 손가락 마디의 굽힘 정도를 측정할 수 있도록 PIP(Proximal InterPhalangeal) 관절과 MCP(MetaCarpoPhalangeal) 관절에 설치되는 각도센서(131)들을 사용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임 각도를 추적하게 된다. 여기서, 핑거관절 각도 트래커(130)는 사용자 손가락 마디에 설치된 각도센서(131)들의 위치에 토크 구동기가 설치되고, 토크 구동기의 구동 굽힘을 각도센서(131)들에서 움직임 각도로 측정하게 된다.
도 9는 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템의 전체 운용 구성을 도시한 도면이고, 도 10은 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템에서, 가상현실 기반 비행 시뮬레이터 표시화면에서의 회전형 꼭지 손잡이의 운용을 도시한 도면이다. 도 9는 사용자가 핸드 모션 트래커(100)를 착용한 상태에서 표시부(203)의 비행 가상 시뮬레이터 표시화면에서 제공되는 회전형 꼭지 손잡이를 잡아 접촉한 상태에서, 핑거 팁 위치 트래커(110)와 핸드 방향 트래커(120) 및 핑거관절 각도 트래커(130)를 통합한 핸드 모션 트래커(100)에서 손 움직임 정보를 시스템 제어부(200)로 제공하면, 시스템 제어부(200)의 모션 디텍터(201)에서 가상 환경에서의 손 자세를 모션 분석부(202)로 제공하고, 모션 분석부(202)에서는 모션 분석 처리를 통해 손 자세, 방향, 속도, 가속 정보를 표시부(203)로 제공하고, 표시부(203)에서는 시각적 환경에서 시각 렌더링 처리를 통해 사용자 손 움직임의 그래픽 객체를 시각적으로 렌더링 하여 비행 가상 시뮬레이터 표시화면에 제공하게 된다. 도 10의 (a)는 가상현실 기반의 비행 시뮬레이터에서 회전형 꼭지 손잡이(10)를 접촉하는 과정을 나타내고, 도 10의 (b)는 가상현실 기반의 비행 시뮬레이터에서 회전형 꼭지 손잡이(10)를 잡아 접촉한 상태에서 회전시키는 운용 상태를 나타내고 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템은, 사용자의 엄지손가락과 검지손가락의 접촉점을 통해 3차원 위치를 측정하는 핑거 팁 위치 트래커와, 사용자 손의 회전을 측정할 수 있는 핸드 방향 트래커, 및 손가락 마디의 움직임에 따른 움직임 각도를 측정할 수 있는 핑거관절 각도 트래커를 통합하여 핸드 모션 트래커를 구성함으로써, 가상환경 기반의 비행시뮬레이터에서 사용자 손가락의 움직임의 정밀한 추적을 통한 회전형 꼭지 손잡이의 운용이 가능하도록 할 수 있으며, 또한 3차원 위치인식과 자세 인식 및 손가락 마디의 움직임의 통합 측정을 통해 가상환경 기반의 비행시뮬레이터의 버튼, 스위치, 레버, 및 회전형 꼭지 손잡이 조작 등의 다양한 손 움직임의 정밀 시뮬레이션이 가능하도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 핸드 모션 트래커 110: 핑거 팁 위치 트래커
111: 반사 볼 112: 적외선 카메라
113: 핑거 팁 트래커 제어부 120: 핸드 방향 트래커
121: 3축 가속도센서 122: 3축 각속도센서
123: 3축 지자기센서 124: 신호처리 임베디드 프로세서
130: 핑거관절 각도 트래커 131: 각도센서
200: 시스템 제어부 201: 모션 디텍터
202: 모션 분석부 203: 표시부

Claims (8)

  1. 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템으로서,
    비행 가상 시뮬레이터 표시화면에서 제공되는 회전형 꼭지 손잡이(10)를 운용하기 위해 사용자가 표시화면을 통해 제공되는 가상의 회전형 꼭지 손잡이(10)를 잡아 접촉한 상태에서 회전시킴에 따라 발생되는 사용자 손의 3차원 위치인식과, 사용자 손의 회전을 측정하기 위한 자세인식 및 손가락 마디의 움직임을 측정할 수 있는 각도 측정 인식을 통합하여 수행하는 핸드 모션 트래커(Hand Motion Tracker)(100)를 포함하여 구성하되,
    상기 핸드 모션 트래커(100)는,
    상기 회전형 꼭지 손잡이(10)를 운용하기 위해 엄지손가락과 검지손가락 접촉점의 3차원 위치를 측정하기 위한 핑거 팁 위치 트래커(Finger Tip Position Tracker)(110);
    상기 회전형 꼭지 손잡이(10)를 회전시키는 동작을 인식하기 위해 사용자 손의 회전에 따른 손의 자세인식(손의 위치 정보)을 측정하기 위한 핸드 방향 트래커(Hand Orientation Tracker)(120); 및
    상기 회전형 꼭지 손잡이(10)를 만지는 동작 구현을 위해 엄지손가락과 검지손가락 마디의 움직임 각도를 측정하기 위한 핑거관절 각도 트래커(Finger Joint Angle Tracker)(130)를 포함하여 구성하고,
    상기 핸드 방향 트래커(120)는,
    사용자 손의 요(yaw)축과, 롤(roll)축 및 피치(pitch)축에 따른 손의 회전 변화를 감지하기 위한 3축 가속도센서(121), 3축 각속도센서(122), 3축 지자기센서(123), 및 신호처리 임베디드 프로세서(124)를 포함하는 소형 AHRS(Attitude Heading Reference System)로 구성하며,
    상기 핸드 방향 트래커(120)는,
    상기 롤(roll)축은 ±7°, 피치(pitch)축은 ±7°, 요(yaw)축은 ±10°의 정밀도를 갖도록 구성되는 것을 특징으로 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 핑거 팁 위치 트래커(110)는,
    사용자의 엄지손가락과 검지손가락의 손끝에 각각 장착되는 반사 볼(111);
    상기 사용자의 엄지손가락과 검지손가락의 손끝에 장착되는 반사 볼(111)들에 대해 적외선을 조사하여 반사되는 적외선을 감지하고, 서로 다른 각도로 상기 반사 볼(111)을 감지하기 위한 2이상의 적외선(IR) 카메라(112); 및
    상기 적외선 카메라(112)로부터 감지된 적외선을 이용하여 사용자의 엄지손가락과 검지손가락의 3차원 위치 정보를 획득하는 핑거 팁 트래커 제어부(113)를 포함하여 구성하는 것을 특징으로 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템.
  4. 제3항에 있어서, 상기 핑거 팁 위치 트래커(110)는,
    상기 적외선 카메라(112)가 1m(H) × 1m(W) × 0.5m(D)의 가상공간에서 상기 반사 볼(111)들의 3차원 위치를 5mm 이내의 오차로 감지하는 것을 특징으로 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 핑거관절 각도 트래커(130)는,
    상기 엄지손가락과 검지손가락의 손가락 마디의 굽힘 정도를 측정할 수 있도록 PIP(Proximal InterPhalangeal) 관절과 MCP(MetaCarpoPhalangeal) 관절에 각도센서(131)를 구비하고, 상기 각도센서(131)들을 사용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임을 추적하는 것을 특징으로 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템.
  8. 제1항, 제3항, 제4항, 및 제7항 중 어느 한 항에 있어서,
    상기 핸드 모션 트래커(100)의 핑거 팁 위치 트래커(110)의 3차원 위치 정보와, 핸드 방향 트래커(120)의 사용자 손의 회전에 따른 손의 위치 정보, 및 핑거관절 각도 트래커(130)의 손가락 마디의 움직임 각도 정보를 제공받아 비행 시뮬레이터 가상 환경에서의 손 자세를 검출하고, 그에 따른 손 움직임의 분석을 수행하여 표시화면에 제공하는 시스템 제어부(200)를 더 포함하여 구성하는 것을 특징으로 하는, 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템.
KR1020160070561A 2016-06-07 2016-06-07 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템 KR101686585B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160070561A KR101686585B1 (ko) 2016-06-07 2016-06-07 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070561A KR101686585B1 (ko) 2016-06-07 2016-06-07 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템

Publications (1)

Publication Number Publication Date
KR101686585B1 true KR101686585B1 (ko) 2016-12-14

Family

ID=57575876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070561A KR101686585B1 (ko) 2016-06-07 2016-06-07 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템

Country Status (1)

Country Link
KR (1) KR101686585B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、***、程序和存储介质
CN114327042A (zh) * 2021-11-29 2022-04-12 京东方科技集团股份有限公司 检测手套、手势追踪方法、ar设备及按键方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101530340B1 (ko) * 2014-12-05 2015-06-22 연합정밀주식회사 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템
KR20150129919A (ko) * 2014-05-12 2015-11-23 국립대학법인 울산과학기술대학교 산학협력단 손가락 움직임 측정 시스템 및 측정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129919A (ko) * 2014-05-12 2015-11-23 국립대학법인 울산과학기술대학교 산학협력단 손가락 움직임 측정 시스템 및 측정 방법
KR101530340B1 (ko) * 2014-12-05 2015-06-22 연합정밀주식회사 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、***、程序和存储介质
CN114327042A (zh) * 2021-11-29 2022-04-12 京东方科技集团股份有限公司 检测手套、手势追踪方法、ar设备及按键方法
CN114327042B (zh) * 2021-11-29 2023-12-22 京东方科技集团股份有限公司 检测手套、手势追踪方法、ar设备及按键方法

Similar Documents

Publication Publication Date Title
US11099655B2 (en) System and method for gesture based data and command input via a wearable device
EP2157498B1 (en) Information processing apparatus with pointer control
US6677927B1 (en) X-Y navigation input device
US8830189B2 (en) Device and method for monitoring the object's behavior
US9367651B2 (en) 3D wearable glove scanner
US20120127070A1 (en) Control signal input device and method using posture recognition
CN105824431A (zh) 信息输入装置与方法
WO2017041433A1 (zh) 可穿戴设备的触控响应方法、装置及可穿戴设备
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
KR20110040165A (ko) 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
RU179301U1 (ru) Перчатка виртуальной реальности
US20050264522A1 (en) Data input device
KR102184243B1 (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
CN205050078U (zh) 一种可穿戴设备
KR101686585B1 (ko) 비행 가상 시뮬레이터 환경에서 회전형 꼭지 손잡이를 구동하기 위한 손 움직임 추적 시스템
CN109960404B (zh) 一种数据处理方法及装置
KR101530340B1 (ko) 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
EP3242190B1 (en) System, method and computer program for detecting an object approaching and touching a capacitive touch device
KR101588021B1 (ko) 헤드 마우스
WO2009093027A1 (en) Wrist-mounted computer periferal
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
JPH1131047A (ja) 記号信号生成装置
Prabhakar et al. Comparison of three hand movement tracking sensors as cursor controllers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191209

Year of fee payment: 4