KR20190065806A

KR20190065806A - 롤러 기반의 트레드밀 시스템을 이용한 vr 환경에서의 걷기 추적 시스템 및 그 방법

Info

Publication number: KR20190065806A
Application number: KR1020170165336A
Authority: KR
Inventors: 조인성; 소영준
Original assignee: 주식회사 인터보이드
Priority date: 2017-12-04
Filing date: 2017-12-04
Publication date: 2019-06-12
Also published as: KR102053501B1

Abstract

본 발명은 롤러 기반의 트레드밀 시스템을 이용한 VR(virtual reality) 환경에서의 걷기 추적 시스템 및 그 방법에 관한 것이다.
본 발명의 시스템은 통신부(40A)(50A), 속도 측정부(40B)(50B), 마이크로 마그네트 브레이크 제어부(40C)(50C) 및 움직임 인식부(40D)(50D)를 포함하여 신발(10)의 움직임 제어를 위한 VR 롤러부(40)(50)와; 화면 전송부(91), 화면 렌더링(92), 걸음걸이 분석/인식부(93) 및 위치정보 수신부(93)를 포함하여 영상처리 서버(60)의 제어를 수행하는 서버 PC(90)와; 출력부(31), 화면 조정부(32) 및 화면 수신부(33)를 포함하여 VR 출력 표시부를 구성하는 HMD(30);를 포함하여 구성하되, 좌, 우 신발(10) 바닥부(11)에 체험자의 발을 올려놓고, 의자(20)에 체험자가 착석한 다음 HMD(30)를 착용하여 가상공간에서 동일한 실제보행과 매핑되는 현실감을 충족할 수 있도록 함을 특징으로 한다.

Description

롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 시스템 및 그 방법{VR haptic Tracking System and VR haptic tracking method of walking with Roller based Treadmill system}

본 발명은 롤러 기반의 트레드밀 시스템을 이용한 VR(virtual reality) 환경에서의 걷기 추적 시스템 및 그 방법에 관한 것으로, 가상공간에서 동일한 실제 보행과 매핑되는 현실감을 충족하면서 부조화(sickness)에 의한 두통 등 부작용을 해소할 수 있는 전자기 브레이크(電磁氣 brake) 신발을 이용한 가상현실 환경에서의 걷기 추적 시스템 및 그 방법을 제공하는 것이다.

최근 다양한 분야에 가상현실 컨텐츠가 활용되면서, 둘러만 보던 정적 공간 체험을 지나 직접 주위 환경 및 다른 사용자와 인터렉션 하는 동적 공간 체험 사례가 증가하고 있으며, 향후 동일한 장소가 아닌 각각 서로 다른 공간 기반의 멀티 공간 체험 서비스도 가능하다.

이러한 VR 서비스를 가능하게 하기 위해 실제 물리적 공간을 확보하여 HMD(Head Mounted Display)나 컨트롤러에 센서를 장착하여 공간 외부에 위치한 카메라 및 센싱 장치로 움직임을 인식하여 이를 가상공간으로 매핑 하는 룸 스케일(Room-scaled) 방식의 모션 인식 시스템이 등장하였다.

그러나, 상기 Room-scaled 모션 인식 방식은 최소한 가로x세로 3m 이상 5m 이하 정도의 넓은 공간이 필요하게 되어 공간당 효율성이 떨어지는 문제가 있다.

이를 해결하기 위해 트레드밀(Treadmill) 위에서 사용자의 걸음걸이 및 동작을 인식하여 가상공간으로 연결한 솔루션이 서비스 되고 있다.

이러한 VR 트레드밀 기반의 모션 추적 시스템은 가로x세로 약 1.3m 가량의 공간만 준비되면 충분한 장점이 있어, 현재 FPS(First-person shooter) 등의 격렬한 움직임이 필요한 VR 게임 등의 콘텐츠와 널리 연동 되고 있다.

특히 급격히 증가하고 있는 VR 체험방에서는 가상공간의 크기만큼 실제 공간을 확보하기 어렵기 때문에 이러한 VR 트레드밀 시스템에 대한 필요성이 증가하고 있다.

그러나 이러한 VR 트레드밀 시스템 중 밑판 자체가 사람의 동작에 맞춰 능동적으로 움직이는 active 트레드밀의 경우 동작 인식의 정확도는 높으나 고가의 가격으로 인해 시장에 널리 활용되고 있지 못하며, 마찰력이 적은 신발 및 발판의 재질을 통해 미끄러지는 동작으로 인식하는 passive 트레드밀의 경우 active 트레드밀 보다는 가격이 낮으나 미끄러지듯이 발을 끌거나 제자리 걷기 등 인식 정확도가 높지 않아 부자연스러운 걷기 동작을 나타내는 단점이 있다.

또한, 실제 공간에서 움직이는 것보다도 인식의 부정확성으로 인한 추가 동작이 요구되어, VR 트레드밀을 장시간 이용하는데 체력적인 부담이 발생하게 된다.

이러한 부자연스러운 걷기 동작과 체력적 부담은 VR 컨텐츠를 사용하는 사용자에게 기대 위치와 출력 위치의 차이가 커질 경우에는 실체감이 떨어지게 되며, 인지부조화로 인한 VR 부조화(sickness)를 유발하여 멀미감이나 두통 등의 부작용을 일으키는 등 VR 콘텐츠 사용에 큰 불편함을 제공하게 되어 이에 대한 해결책이 필요하다.

이를 해소하기 위한 보행 모사 신발이 공개특허 제10-2015-0118776호에 제시되고 있으나, 구성이 복잡하고, 체험자의 부자연스러운 움직임으로 인해 멀미감 이나 두통 등의 부작용을 해소할 수 없는 단점이 제기된다.

본 발명자는 이를 해소하기 위하여 새로운 타입의 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 시스템 및 그 방법을 제시하고자 한다.

대한민국 공개특허 제10-2015-0118776호

본 발명은 VR 롤러를 구성하는 무부하 바퀴에 전자기 브레이크를 통한 제어로 체험자의 안전성을 향상시키는 것을 기술적 과제로 삼는다.

또한, 본 발명은 앞, 뒷바퀴 및 좌우바퀴의 브레이크 정도를 동적으로 변동되도록 하여 바닥 면의 진동 및 재질을 느낄 수 있게 함을 기술적 과제로 삼는다.

또한, 본 발명은 앞바퀴와 뒷바퀴의 직경 크기를 다르게 함으로써 생성되는 경사도와 꺾임 설계 혹은 앞뒤 바퀴의 분리를 통해 자연스러운 걷기 구현을 실현하도록 함을 기술적 과제로 삼는다.

또한, 본 발명은 바퀴에 장착된 인코더와 IMU(관성 측정장치 : Inertial Measurement Unit) 학습 데이터를 연동한 발의 위치 및 걷기 방향 그리고 걷기 속도를 인지할 수 있도록 함을 기술적 과제로 삼는다.

본 발명은 좁은 공간에서 신발을 신은 체험자가 신발에 설치한 VR 롤러를 구동시키되, 장력이 부여된 브레이크의 장력을 감소시키면서 VR 롤러를 전, 후, 좌, 우로 구동시키도록 하여 실제 장거리를 걷는 느낌을 받을 수 있도록 하는 것이다.

본 발명은 콘텐츠와 연동한 정밀 제어 기반의 VR 롤러부와 IMU 모듈 간의 통합 추적 방식을 통하여 이루어짐을 특징으로 한다.

또한, 신발의 앞, 뒷바퀴를 스스로 움직이게 하지 않고, 콘텐츠에 따라 전자기 브레이크를 통해 안정성을 높였으며, 서로 다른 브레이크 율(rate)을 설정하여 바닥면이 흔들리는 느낌을 제공함을 특징을 한다.

또한, 본 발명은 바퀴에 연결된 인코더를 통해 사용자의 걷기 모션을 추적할 수 있으며, 신발 윗부분에 설치된 IMU 모듈의 센싱 좌표가 통합되어 최종 좌표를 인식, 가상공간에 실제 걸음걸이에 가까운 움직임을 표시되도록 함을 특징으로 한다.

또한, 실제로도 신발 중간의 꺾임을 통해 자연스러운 발바닥의 움직임을 방해하지 않도록 설계한다. 이를 통해 실제 걷는 동작과 동일한 움직임이 가상공간에도 매핑 되도록 하여 실감형 VR 서비스 체험을 제공받을 수 있도록 함을 특징으로 한다.

본 발명은 기존의 VR 트레드밀 시스템을 구성하는 VR 신발에서 단순한 미끄러짐으로 표현했던 부정확한 걷기 인식을 롤러 회전 센싱 인코더와 IMU 간의 통합 처리 및 앞, 뒷바퀴 및 좌, 우 바퀴의 서로 다른 장력 조절을 통해 경사도와 재질을 표현할 수 있는 VR 롤러 기반 걷기 인식 방식을 통해 롤러의 회전 데이터와 IMU 데이터의 기계학습을 통한 모델과의 통합 처리로, 걷기 동작의 패턴을 인식하여 더욱 자연스러운 걷기 동작의 인식 정확도를 향상시키는 효과와 인지부조화를 해소하여 멀미감이나 두통 등의 부작용을 해소하여 VR 콘텐츠 사용의 편의성을 크게 증진시킴과 동시에 실제 걷는 동작과 유사하게 가상공간에서도 동일하게 걸음걸이가 매핑되는 현실감을 제공 받게 되는 효과를 가진다.

특히, 본 발명은 체험자가 의자에 착석한 상태에서 신발을 신고 VR 롤러부를 구성하는 앞바퀴 및 뒷바퀴를 구동시키되, 장력이 강하게 부여된 브레이크의 장력을 감소시키면서 전, 후, 좌, 우로 신발을 움직이게 하여 체험자가 원하는 방향 또는 근거리 혹은 원거리를 실제 걸을 수 있는 체험을 가상공간에서 느낄 수 있으므로 인식의 정확성을 높일 수 있음은 물론 체험자의 체력 소모를 줄이고, 좁은 공간에서 체험을 수행할 수 있어 설치장소에 따른 제반 비용의 절감을 도모할 수 있는 효과를 가진다.

도 1은 본 발명을 구현하는 전체 시스템 구성도
도 2는 본 발명을 구현하기 위한 신발의 사시도
도 3은 본 발명을 구현하기 위한 신발의 저면 사시도
도 4는 본 발명에서 걷기 인식 동작의 세부 프로세스를 나타낸 개념도
도 5는 본 발명의 전체 회로 구성 블럭도
도 6은 본 발명의 흐름도

본 발명의 실시예를 구체적으로 설명하기 전에 먼저 짚고 넘어가야 할 내용은 아래와 같다.

즉, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명의 설명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

전체 내용에서 “가상현실”이라 함은, 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사용자가 마치 실제 상황과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 포함할 수 있다.

가상현실은 인공현실, 사이버 공간, 가상 세계, 가상 환경, 합성 환경, 인공 환경 등을 포함하는 개념이라고 할 수 있다.

이러한 개념을 응용한 가상현실 시스템은, 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주는 시스템을 포함할 수 있다.

전체 내용에서 “디바이스”라 함은, 가상현실 시스템에 포함되어 사용자의 시점이나 동작의 변화를 감지하여 그에 대응하는 적절한 변화를 가상 환경으로 디스플레이 하는 장치를 포함할 수 있으며, 사용자의 현장감을 높여 주기 위해 입체 표시 장치나 헤드 마운트 디스플레이(HMD: head mount display) 등을 포함할 수 있다.

특히 헤드 마운트 디스플레이는 기존에 단순히 눈앞에 모니터를 붙여놓았던 수준에 불과했으나, 최근에는 다양한 센서 기술과 무선 기술을 통해 한 차원 높은 기기로 발전하고 있다.

예를 들어 사용자가 고개를 왼쪽으로 돌리면 화면에 표시되는 장면도 왼쪽으로 움직일 수 있다. 즉 사용자의 머리 움직임을 컨텐트 조작에 반영할 수 있다. 즉 헤드 마운트 디스플레이가 출력장치임과 동시에 사용자의 동작(즉, 머리, 손가락, 몸의 움직임 등)을 인식해 반영하는 것이다.

더구나 이제는 디스플레이조차 필요 없는 HMD가 등장하기 시작했다. 즉, 디스플레이를 탑재하는 대신에 사용자의 스마트폰을 디스플레이로 활용하는 것이다. 상기 스마트폰은 고해상도 디스플레이, 무선 통신 장치, 각종 센서(예를 들면, 자이로스코프, 가속도계 등)를 갖춘 장치이며, 컨텐트를 보관하기 위한 저장장치를 포함하고 있으며, 컨텐츠를 구매할 수 있는 앱 장터도 존재하므로, 사실상 헤드 마운트 디스플레이에 필요한 부품과 기능을 대부분 갖췄다고 볼 수 있다.

헤드 마운트 디스플레이는 머리에 장착되는 것이 아닐지라도, 가상현실을 데이터로 체험할 수 있도록 하는 모든 장치를 일컫는 용어로 정의한다.

따라서, 헤드 마운트 디스플레이는 가상현실 데이터를 출력 및 사용자에게 가상 현실 또는 증강 현실을 체험할 수 있는 장치라면 어떠한 것이라도 대체 가능하다.

전체 내용에서 “컨텐츠”라 함은, 가상현실 체험을 위해 디바이스 상에서 재생하는 영상 또는 애니메이션 등과 같은 저작물로써, 게임, 사이버 쇼핑몰, 사이버 관광지, 사이버 학습 현장 등을 포함할 수 있으며, 사용자의 시점이나 동작의 변화를 감지하여 그에 대응하는 적절한 변화를 가상 환경으로 출력할 수 있는 어떠한 저작물이라도 대체 가능하다.

이하 본 발명의 실시예를 첨부 도면에 의하여 구체적으로 설명한다.

제시하는 도 1은 본 발명을 구현하는 전체 시스템 구성도로서, 좌, 우 신발(10) 바닥부(11)에 체험자의 발을 올려놓고, 의자(20)에 체험자가 착석한 다음 HMD(30)를 착용하여 가상공간에서 동일한 실제보행과 매핑되는 현실감을 충족할 수 있도록 함으로써 인식의 정확성을 높일 수 있음은 물론 체험자의 체력 소모를 줄이고, 좁은 공간에서 체험을 수행할 수 있어 설치장소에 따른 제반 비용의 절감을 도모할 수 있도록 하는 것이다.

상기에서, 신발(10)은 도 2 및 도 3에 제시한 신발(10)의 사시도 및 저면 사시도와 같이 바닥부(11) 저면 전, 후 각각에 설치한 전방 및 후방 VR 롤러부(40)(50)를 구비하여 구성한 것으로, 상기 VR HMD(30)를 영상처리 서버(60) 및 상기 VR 롤러부(40)(50)를 유선 및 무선으로 연결하여 가상공간 화면으로 출력되도록 하는 것이다.

상기 전방 및 후방 VR 롤러부(40)(50)는 회전축(41)(51)에 삽입된 무부하 앞바퀴(42), 뒷바퀴(52)와; 상기 앞바퀴(42), 뒷바퀴(52) 각각의 내측에 설치한 전자기 브레이크(43)(53) 및 회전센서인 인코더(44)(54)를 포함하여 구성하고, 상기 전방 및 후방 VR 롤러부(40)(50)는 헵틱 롤러로 지칭할 수 있다.

그리고, 상기 신발(10)의 바닥부(11)는 전면부(11A)와 후면부(11B)로 구분하되, 전면부(11A)와 후면부(11B)를 경첩부(11C)에 의하여 연결하여 신발(10)이 꺽어질 수 있도록 구성할 수 있다.

즉, 신발(10)은 전자기 브레이크(43)(53) 기반의 전, 후방 VR 롤러부(40)(50)와 회전 정도를 측정하는 인코더(44)(55)를 포함하여 구성하고, 앞바퀴(42)와 뒷바퀴(52)를 분리하되, 경첩부(11C)에 의하여 앞바퀴(42)와 뒷바퀴(52)를 연결하여 걷기 동작 시 꺾임을 표현해줄 수 있도록 하고, 정확한 걷기 동작을 인식하기 위한 IMU 모듈(70)을 포함한다.

그리고, 본 발명은 앞바퀴(42)와 뒷바퀴(52)의 직경을 다르게 함으로써 생성되는 경사도와 꺾임 설계 혹은 앞, 뒷 바퀴(42)(52)의 분리를 통해 자연스러운 걷기 구현을 실현하도록 제시할 수 있고, 서로 다른 브레이크 율(rate)을 설정하여 바닥면이 흔들리는 느낌을 제공할 수 있다.

그리고, 앞바퀴(42)와 뒷바퀴(52) 및 좌우 바퀴 각각의 장력을 다르게 조정하여 흔들림 효과를 크게 증진시킬 수 있다.

또한, 상기 전면부(11A)의 상부에 설치한 프레임(12)에는 마이크로 콘트롤 유니트(80) 및 6-DOF(6 Degrees Of Freedom) 측정이 가능한 IMU 모듈(70)이 배치되도록 구성할 수 있고, 이에 따라 IMU 모듈(70)의 센싱 좌표가 통합되어 최종 좌표를 인식, 가상공간에 실제 걸음걸이에 가까운 움직임을 표시하게 할 수 있다.

특히, 본 발명은 무부하 앞바퀴(42), 뒷바퀴(52)에 설치한 마이크로 마그네트 브레이크(43)(53)의 제어를 통하여 체험자의 안전성을 향상시키고, 앞, 뒷바퀴(42)(52)의 브레이크 장력을 동적으로 변동 즉, 서로 다른 브레이크 율(rate)을 설정하여 바닥면의 진동 및 재질을 느낄 수 있도록 함으로써 바닥면이 흔들리는 느낌을 통하여 실체감을 증진시킬 수 있다.

즉, 앞바퀴(42)와 뒷바퀴(52)를 빠른 시간에 반복적으로 서로 다른 시점에 장력을 설정 및 해제를 수행하게 되면, 사용자가 미끄러지는 동작을 하는 동안 신발(10)이 흔들리게 되고, 이에 따라 VR HMD(30)를 착용한 사용자는 이를 더욱 극대화하여 느끼게 되고, 흔들리는 체감은 커지게 된다.

상기에서 바닥면의 진동 및 재질을 체험자가 느끼게 하는 요인은 가상환경 콘텐츠 내의 바닥 재질을 마찰력이 높은 재질 또는 낮은 재질로 채택할 경우 이에 대한 바닥을 걷는 사용자에게 브레이크의 장력 조절을 통해 바닥 재질을 경험하게 할 수 있는 것으로, 예컨대 얼음바닥, 모래바닥, 등등의 재질의 바닥면을 제공하여 실체감을 느낄 수 있도록 하는 것이다.

또한, 본 발명은 앞바퀴(42), 뒷바퀴(52)에 장착된 인코더(44)(54)와 IMU 모듈(70) 학습 데이터를 연동하여 발의 위치 및 걷기 방향 그리고 걷기 속도를 인지할 수 있도록 한다.

이와 같은 구성의 본 발명은 HMD(30)를 영상처리 서버(60) 및 VR 롤러부(40)(50)와 유선 및 무선으로 연결 후 가상공간 화면이 출력되면, VR 롤러부(40)(50)의 앞바퀴(42), 뒷바퀴(52)를 움직이게 하고, 이를 IMU 모듈(70)이 인식하여 앞바퀴(42), 뒷바퀴(52)의 장력을 풀어주어 굴러갈 수 있게 하되, 앞바퀴(42), 뒷바퀴(52)의 속도를 인코더(44)(54)가 측정하여, 영상처리 서버(60)에 전송하고, IMU 모듈(70)도 움직여진 데이터를 영상처리 서버(60)에 전송하여 데이터를 분석하게 함으로써 걸음 패턴을 인식, 이에 맞는 화면을 변환하여 HMD(30)에 출력하도록 한다.

제시하는 도 4는 본 발명에서 걷기 인식 동작의 세부 프로세스를 나타낸 개념도로서, IMU 모듈부(70)와 VR 롤러부(40)(50)를 서버 PC(90)의 프로그램에 의하여 동작하도록 구성하되, 전자기 브레이크(43)(53)를 풀어주면서 발생하는 회전율에 의한 걷기 동작과 IMU 모듈(70)에서 위치 인식 및 추적을 통한 걷기 동작의 2가지로 구분되는 프로세스를 가질 수 있다.

상기 전자의 경우 초기에는 VR 롤러부(40)(50)의 앞바퀴(42), 뒷바퀴(52)가 움직이지 않도록 전자기 브레이크(43)(53)가 걸린 상태에서 시작하여, IMU 모듈(70)에서 걷는 동작을 시작하는 것으로 인식하게 되면, 전자기 브레이크(43)(53)에 걸린 장력을 서서히 풀어주게 되며, 신발(10)이 지면 바닥에 닿는 지점에서 앞바퀴(42), 뒷바퀴(52)가 후방 방향으로 구동될 수 있도록 제어된다. 이후 앞바퀴(42), 뒷바퀴(52)에 장착된 인코더(44)(54)가 회전율을 측정하여 이동한 거리와 속도를 계산하게 된다. 후자의 경우에는 반대쪽 신발(좌측 또는 우측)(10)은 전방으로 내딛고, 신발(10) 상단에 위치한 IMU 모듈(70)을 통한 걷기 동작 인식과정을 처리하게 된다.

도 5는 본 발명의 전체 회로 구성 블럭도 로서, 본 발명의 시스템은 통신부(40A)(50A), 속도 측정부(40B)(50B), 전자기 브레이크 제어부(40C)(50C) 및 움직임 인식부(40D)(50D)를 포함하여 신발(10)의 움직임 제어를 위한 VR 롤러부(40)(50)와; 화면 전송부(91), 화면 렌더링(92), 걸음걸이 분석/인식부(93) 및 위치정보 수신부(93)를 포함하여 영상처리 서버(60)의 제어를 수행하는 서버 PC(90)와; 출력부(31), 화면 조정부(32) 및 화면 수신부(33)를 포함하여 VR 출력 표시부를 구성하는 HMD(30);를 포함하여 구성할 수 있고, 상기 VR 롤러부(40)(50)와 서버 PC(90)는 무선인터넷으로 송/수신 제어 통신이 가능하게 하고, 서버 PC(90)와 HMD(30)는 유/무선으로 연결되도록 구성할 수 있다.

도 6은 본 발명의 흐름도이다.

본 발명은 본 발명의 시스템 구동 스위칭을 수행하고, VR 롤러부(40)(50)와 HMD(30)에 입력신호를 수신하는 제1 단계(S1)와; 가상공간 데이터를 로딩하는 제2 단계(S2)와; VR 롤러부(40)(50)의 IMU 모듈(70)에서 센서 수신이 되었는지를 판단하는 제3 단계(S3)와; 상기 제3 단계(S3)에서 IMU 모듈(70)에 센서 수신신호가 있으면 걸음걸이 패턴을 분석하는 제4 단계(S4)와; 상기 제4 단계(S4)에서 걸음걸이 패턴으로 인식하는 여부를 판단하는 제5 단계(S5)와; 제4 단계(S4)에서 걸음걸이 패턴으로 인식하면 전자기 브레이크(43)(53) 장력 변경 및 화면을 이동시키는 제6 단계(S6); 및 상기 제3 단계(S3)에서 IMU 모듈(70)에 센서 수신신호가 없거나 상기 제6 단계(S6)를 거치면 시스템 구동 스위칭 입력 신호를 재수신되었는지를 판단하는 제7 단계(S7)를 포함하고, 상기 제7 단계(S7)에서 시스템 구동 스위칭 입력 신호가 재수신되면 가상공간 데이터 출력을 종료하는 제8 단계(S8);를 포함하여 롤러 기반의 VR 모션 추적 방법이 이루어진다.

본 발명에서 제안하는 롤러 기반의 VR 모션 추적 방법은 기존의 이동 인식 위주의 바퀴 시스템과 달리 앞바퀴(42)와 뒷바퀴(52) 및 좌우 바퀴 각각의 브레이크 장력을 다르게 설정하여 콘텐츠의 바닥 재질과 흔들림을 표현할 수 있게 하고, IMU 모듈(70)의 데이터를 학습하여 걷기 동작 시작 시점을 인식한 후 전자기 브레이크(43)(53)를 풀어 자연스러운 걸음걸이를 추적하여 가상공간에 표시하도록 하는 것으로, 본 발명에서는 평소에는 전자기 브레이크(43)(53)로 앞바퀴(42), 뒷바퀴(52)가 움직이지 않게 하여 체험자의 안전성을 높였으며, 신발(10)을 분리하여 자연스러운 움직임이 가능하게 했으며, 움직이기 시작하면 전자기 브레이크(43)(53)의 장력을 풀어 움직임이 극대화되는 지면 착지 시점에 각 속도와 콘텐츠 상의 지면 재질에 매핑되는 장력으로 앞바퀴(42), 뒷바퀴(52)를 굴러가게 한다.

즉, 예를 들어 초기 시점에 전자기 브레이크(43)(53)가 설정되어 있는 신발(10)을 걷는 동작을 위해 들어올리게 되면, IMU 모듈(70)로 데이터 분석으로 걷는 행동이 시작됐다고 인지하게 되며 걷기 패턴의 마지막 동작인 지면 착지 시점에 전자기 브레이크(43)(53) 장력을 풀어주기 시작하여 앞바퀴(42), 뒷바퀴(52)가 굴러가게 하는 것이다.

이 경우 콘텐츠의 경사도와 재질에 따라 장력을 설정하게 되는데, 예컨대 얼음바닥인 경우에는 장력 해제 브레이크 율을 높이고, 고무판인 경우에는 장력 해제 브레이크 율을 낮추게 하여 제공할 수 있다.

이를 통해 사용자는 실제 걷는 동작과 유사하게 가상공간에서도 동일하게 걸음걸이가 매핑되는 현실감을 제공받게 되는 것이다.

특히, 본 발명에서는 신발(10)의 바퀴(42)(52)가 굴러가지 않아, 이동 여부를 인지하기 힘든 발이 공중에 체류하는 시간 동안의 동작 인식 정확도를 향상시키기 위하여, 신발(10)의 상단에 장착한 6-DOF 측정이 가능한 IMU 모듈(70)에서 생성되는 x,y,z 축의 전환(ansformation) 데이터와 피치(pitch), 롤(roll), 요(yaw) 방향의 회전(rotation) 데이터를 수집하고, 이를 학습하여 걷기 동작에 대한 모델을 구축한 다음 이를 기반으로 체험자가 걷기 동작 모델에 유사한 패턴으로 동작을 시작하면, 앞바퀴(42), 뒷바퀴(52)가 구르지 않아 인코더(44)(54)에 회전 정보가 전달되지 못할 때에도, 걷기 동작을 인지하여 걷기 모델에 해당하는 속도와 방향 및 거리를 계산하여 가상공간의 좌표로 전달하게 된다. 이를 통해 기존의 타 VR 트레드밀 솔루션에서 보여지는 걷기 동작 부조화 문제를 해결할 수 있게 되는 것이다.

즉, 본 발명은 기본적으로 전자기 브레이크(43)(53) 내측 인코더(44)(54)는 롤러가 굴러가고 있을 경우에만 동작을 인식하게 되므로, 실제 걷기 동작의 시작인 발을 내딛는 동작에서 나타나는 신발(10)이 공중에 체류하는 시간 내에는, 걷기 동작에 대한 콘텐츠 표현이 어려운 점을 해결하기 위해 IMU 모듈(70)기반의 걷기 동작 인식을 넣어 해결한 것이다.

이상과 같이 본 발명은 기존의 VR 트레드밀 시스템을 구성하는 VR 신발에서 단순한 미끄러짐으로 표현했던 부정확한 걷기 인식을 롤러 회전 센싱 인코더(44)(54)와 IMU 모듈(70)간의 통합 처리 및 앞, 뒤 바퀴(42)(52)의 서로 다른 장력 조절을 통해 경사도와 재질을 표현할 수 있는 VR 롤러 기반 걷기 인식 방식을 통해 VR 롤러부(40)(50)의 회전 데이터와 IMU 모듈(70) 데이터의 기계학습을 통한 모델과의 통합 처리로, 걷기 동작의 패턴을 인식하여 더욱 자연스러운 걷기 동작의 인식 정확도를 향상시킴은 물론 인지부조화를 해소하여 멀미감이나 두통 등의 부작용을 을 방지하고, 서로 다른 브레이크 율(rate)을 설정하여 바닥면이 흔들리는 느낌을 제공함으로써 VR 콘텐츠 사용의 편의성 및 실체감을 크게 증진시킬 수 있고, 가상환경 콘텐츠 내의 바닥 재질을 마찰력이 높은 재질 또는 낮은 재질이 존재할 경우 이에 대한 바닥을 걷는 사용자에게 브레이크의 장력 조절을 통해 바닥 재질을 실체적으로 경험하게 할 수 있게 된다.

이상에서 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다.

그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 신발 11 : 바닥부
11A, 11B : 전, 후면부 11C : 경첩부
12 : 프레임 20 : 의자
30 : HMD 31 : 출력부
32 : 화면 조정부 33 : 화면 수신부
40, 50 : VR 롤러부 40A, 50A : 통신부
40B, 50B : 속도 측정부
40C, 50C : 전자기 브레이크 제어부
40D, 50D : 움직임 인식부 51 : 회전축
42, 52 : 앞, 뒷바퀴 43, 53 : 전자기 브레이크
44, 54 : 인코더 60 : 영상처리 서버
70 : IMU 모듈 80 : 마이크로 콘트롤 유니트
90 : 서버 PC 91 : 화면 전송부
92 : 화면 렌더링 93 : 걸음걸이 분석/인식부
94 : 위치정보 수신부

Claims

통신부(40A)(50A), 속도 측정부(40B)(50B), 전자기 브레이크 제어부(40C)(50C) 및 움직임 인식부(40D)(50D)를 포함하여 신발(10)의 움직임 제어를 위한 전방 및 후방 VR 롤러부(40)(50)와; 화면 전송부(91), 화면 렌더링(92), 걸음걸이 분석/인식부(93) 및 위치정보 수신부(93)를 포함하여 영상처리 서버(60)의 제어를 수행하는 서버 PC(90)와; 출력부(31), 화면 조정부(32) 및 화면 수신부(33)를 포함하여 VR 출력 표시부를 구성하는 HMD(30);를 포함하여 구성하되, 전방 및 후방 VR 롤러부(40)(50)는 신발(10) 저면에 설치한 회전축(41)(51)에 삽입된 앞바퀴(42), 뒷바퀴(52)와; 상기 앞바퀴(42), 뒷바퀴(52) 각각의 내측에 설치한 전자기 브레이크(43)(53) 및 회전센서인 인코더(44)(54)를 포함하여 구성하고, 상기 신발(10)의 바닥부(11)는 전면부(11A)와 후면부(11B)로 구분하되, 전면부(11A)와 후면부(11B)를 경첩부(11C)에 의하여 연결하여 신발(10)이 꺽어질 수 있도록 하며, 상기 신발(10)의 바닥부(11)를 구성하는 전면부(11A)의 상부에 설치한 프레임(12)에는 마이크로 콘트롤 유니트(80) 및 6-DOF 측정이 가능한 IMU 모듈(70)이 배치되도록 구성함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 시스템.
제1항에 있어서, 상기 앞바퀴, 뒷바퀴(42)(52) 및 좌우바퀴의 브레이크 정도를 동적으로 변동시킴과 동시에 앞 바퀴(42)와 뒷바퀴(52)의 직경을 다르게 하여 바닥면의 진동 및 재질을 느낄 수 있도록 함과 동시에 생성되는 경사도와 꺾임 동작을 유발하도록 구성함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 시스템.
제1항에 있어서, 상기 IMU 모듈부(70)와 VR 롤러부(40)(50)를 서버 PC(90)의 프로그램에 의하여 동작하도록 구성하되, 상기 앞바퀴, 뒷바퀴(42)(52) 및 좌우바퀴의 브레이크 정도를 동적으로 변동시킴과 동시에 전자기 브레이크(43)(53)를 풀어주면서 발생하는 회전율에 의한 걷기 동작과 IMU 모듈(70)에서 위치 인식 및 추적을 통한 걷기 동작으로 구분되는 프로세스를 가지는 것을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 시스템.
시스템 구동 스위칭을 수행하고, VR 롤러부(40)(50)와 HMD(30)에 입력신호를 수신하는 제1 단계(S1)와; 가상공간 데이터를 로딩하는 제2 단계(S2)와; VR 롤러부(40)(50)의 6-DOF 측정이 가능한 IMU 모듈(70)에서 센서 수신이 되었는지를 판단하는 제3 단계(S3)와; 상기 제3 단계(S3)에서 IMU 모듈(70)에 센서 수신신호가 있으면 걸음걸이 패턴을 분석하는 제4 단계(S4)와; 상기 제4 단계(S4)에서 걸음걸이 패턴으로 인식하는 여부를 판단하는 제5 단계(S5)와; 제4 단계(S4)에서 걸음걸이 패턴으로 인식하면 전자기 브레이크(43)(53) 장력 변경 및 화면을 이동시키는 제6 단계(S6); 및 상기 제3 단계(S3)에서 IMU 모듈(70)에 센서 수신신호가 없거나 상기 제6 단계(S6)를 거치면 시스템 구동 스위칭 입력 신호를 재수신되었는지를 판단하는 제7 단계(S7)를 포함하고, 상기 제7 단계(S7)에서 시스템 구동 스위칭 입력 신호가 재수신되면 가상공간 데이터 출력을 종료하는 제8 단계(S8);를 포함하여 수행함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 방법.
제4항에 있어서, 제3 단계(S3) ~ 제5 단계(S5)는 6-DOF 측정이 가능한 IMU 모듈(70)에서 생성되는 x,y,z의 전환 데이터와 피치, 롤, 요 방향의 회전 데이터를 수집하고, 이를 학습하여 걷기 동작에 대한 모델을 구축한 다음 이를 기반으로 체험자가 걷기 동작 모델에 유사한 패턴으로 동작을 시작하도록 수행함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 방법.
제4항에 있어서, 상기 제6 단계(S6)는 VR 롤러부(40)(50)의 앞바퀴(42), 뒷바퀴(52)가 움직이지 않도록 전자기 브레이크(43)(53)가 걸린 상태에서 시작하여, IMU 모듈(70)에서 걷는 동작을 시작하는 것으로 인식하게 되면, 전자기 브레이크(43)(53)에 걸린 장력을 서서히 풀어주고, 신발(10)이 지면 바닥에 닿는 지점에서 앞바퀴(42), 뒷바퀴(52)가 후방 방향으로 구동될 수 있도록 제어하되, 앞바퀴(42), 뒷바퀴(52)에 장착된 인코더(44)(54)가 회전율을 측정하여 이동한 거리와 속도를 계산하고, 반대쪽 신발(좌측 또는 우측)(10)은 전방으로 내딛어 신발(10) 상단에 위치한 IMU 모듈(70)을 통하여 걷기 동작 인식과정을 처리하도록 수행함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 방법.
제6항에 있어서, 앞바퀴(42)와 뒷바퀴(52) 및 좌우 바퀴 각각의 브레이크 장력을 다르게 설정하여 바닥 면의 진동 및 재질을 느낄 수 있도록 수행함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 방법.
제6항에 있어서, 신발(10) 윗부분에 설치된 IMU 모듈(70)의 센싱 좌표가 통합되어 최종 좌표를 인식하게 함으로써 실제 걷는 동작과 동일한 움직임이 가상공간에도 매핑 되도록 하여 실감형 VR 서비스 체험을 제공 받을 수 있도록 함을 특징으로 하는 롤러 기반의 트레드밀 시스템을 이용한 VR 환경에서의 걷기 추적 방법.