KR20180080848A - 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템 및 방법 - Google Patents

Abstract

본 발명은 환자를 주인공으로 한 모범재활운동이 게임엔진(110)에 의하여 생성되어 영상장치(300)(300')에 가상현실로서 구현된다. 환자(9)는 이러한 모범재활운동을 따라하고 이는 깊이카메라(80)가 촬상하여 컴퓨터(100)로 전달하여 영상장치(300)(300')에 모범재활운동과 중첩되어 표시된다. 컴퓨터(100)는 모범재활운동과 환자의 추종운동을 비교분석하여 현재의 환자의 상태를 진단하고, 개선의 정도를 평가하여 이를 표시한다.

Description

게임엔진으로 구현된 가상현실을 이용한 재활치료시스템 및 방법{Rehabilitation system and the method for the same which use virtual reality provided by game engine}

본 발명은 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템 및 그 방법에 관한 것으로서, 더욱 상세히는, 게임엔진을 통하여 환자가 모범재활운동을 행하는 가상현실을 구현하고, 환자가 모범재활운동을 따라하면 이를 깊이 카메라로 인식하여 모범재활운동과 중첩하여 보이고 환자의 추종정도를 분석하여 환자의 상태 및 개선의 정도를 분석하여 이를 알리는 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템 및 방법에 관한 것이다.

게임엔진은 본래 게임을 개발하기 위한 소프트웨어로서, 3D 그래픽을 표현하는 랜더링(rendering)엔진, 물리적인 효과를 내는 물리엔진, 애니메이션, 인공 지능, 네트워크 등의 다양한 기능을 제공한다.

이러한 게임엔진의 그래픽은 에셋(asset)이라 불리는 모델링 등을 통하여 구현된 데이터를 받아 이를 랜더링(rendering)하여 표현하게 된다. 이러한 에셋은 영상의 배경이나 캐릭터를 이루게 되는데, 캐릭터의 연기는 실제 연기자의 연기를 모션 캡처 시스템(motion capture system)과 얼굴표정감지 시스템(face recognition system)을 통하여 받아 들여 이를 캐릭터에 맵핑하여 캐릭터의 연기로 구현하여 화면을 구성할 수 있다.

이러한 게임엔진은 영화의 제작도구로서도 활용되는데, 실제 영화의 촬영 전에 사전시각화(pre-visualization)를 위하여 활용될 수 있으며 모델링된 에셋이 실사와 차이를 못 느낄 정도가 되면 실제 영화제작도구로 활용될 수도 있다.

사람의 움직임(motion)을 감지하여 이를 데이터화하기 위한 수단으로는 여러 가지가 개발되어 있는데, 그 중의 하나가 깊이 카메라이다. 예를 들어, Kinect Depth Sensor는 반사된 레이저 빔 포인트로 각 픽셀간 거리를 측정하여 그 앞의 사용자를 인식하고, 인체를 구성하는 주요 골격 20개에 대한 위치 데이터를 제공해주며 해당 관절 포인트를 이용해 골격에 해당하는 신체 부위의 정보를 얻어내도록 한다.

이와 같은 깊이 카메라는 단지 환자의 촬상을 통하여 환자의 움직임을 파악할 수 있어 마커 등을 사용하는 다른 움직임 감지보다 재활환자들에게 적합하다. 즉 환자들에게 번거롭게 장비를 착용하게 하지 않고 그 움직임을 파악할 수 있도록 하는 것이다.

재활치료와 관련되어, 환자들은 꾸준히 재활운동을 하여야 할 필요가 있는데, 이러한 재활운동은 제대로 된 동작으로 지속적으로 이루어지고, 또한 단계적으로 난이도가 높아지도록 할 필요가 있다.

본 발명은 게임엔진과 깊이 카메라를 활용하여 현실감 있는 모범재활운동을 시연하고 이를 환자가 따라하면 그 차이에 따라 환자의 상태를 평가하고 개선의 정도를 진단할 수 있도록 하며, 모범재활운동을 난이도를 높여감으로써 환자가 점차적으로 개선되어 나갈 수 있도록 하는 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템 및 방법을 제공한다.

본 발명의 목적은 현실감 있는 모범재활운동을 시연하고 이를 환자가 따라하면 그 차이에 따라 환자의 상태를 평가하고 개선의 정도를 진단할 수 있도록 하며, 모범재활운동을 난이도를 높여감으로써 환자가 점차적으로 개선되어 나갈 수 있도록 하는 재활치료시스템 및 그 방법을 제공하는 것이다.

본 발명은 환자를 주인공으로 한 모범재활운동 콘텐츠가 탑재된 게임엔진과; 상기 게임엔진의 모범재활운동 콘텐츠를 디스플레이하는 영상수단과; 상기 영상수단에서 디스플레이 되는 모범재활운동을 따라하는 환자의 움직임을 감지하는 깊이카메라와; 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 중첩되는 영상을 생성하여 이를 상기 영상수단에 디스플레이하는 영상중첩수단과; 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 비교하여 상기 환자의 상태를 진단하는 환자의 상태평가수단과; 상기 환자의 상태평가수단이 평가한 정도가 개선된 정도를 분석하여 이를 상기 영상수단에 표시하는 환자의 개선정도분석수단을 포함하여 이루어진 것을 특징으로 하는 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템을 제공한다.

본 발명에 따를 경우, 상기 모범재활운동 콘텐츠는 상기 환자의 개선정도분석수단이 분석한 환자의 상태가 개선될 경우 난이도가 높은 모범재활운동을 출력하는 것이 바람직하다.

본 발명은 또한 환자를 주인공으로 한 모범재활운동 콘텐츠가 탑재된 게임엔진으로부터 상기 모범재활운동정보를 받아 상기 환자가 행하는 모범재활운동을 영상수단을 통하여 시연하는 모범재활운동시연단계와; 상기 환자가 상기 영상수단에 시연되는 모범재활운동을 따라하면 이를 깊이카메라가 감지하는 환자의 추종운동감지단계와; 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 중첩되는 영상을 생성하여 이를 상기 영상수단에 디스플레이하는 중첩영상표시단계와; 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 비교하여 상기 환자의 상태를 진단하는 환자의 상태평가단계와; 상기 환자의 상태평가단계에서 평가한 환자의 상태가 개선된 정도를 분석하여 이를 상기 영상수단에 표시하는 환자의 개선정도 표시단계를 포함하여 이루어진 것을 특징으로 하는 게임엔진으로 구현된 가상현실을 이용한 재활치료 방법을 제공한다.

본 발명은 게임엔진에 저장된 모범재활운동을 시연하고 이를 따라하는 환자의 운동을 깊이카메라로 인식하고 이를 시연되는 모범재활운동과 중첩하여 표시한다. 이에 따라 환자는 시각적으로 자신의 운동상태를 모범적 상태와 비교하여 알 수 있게 되고 또한 객관적으로 그 상태가 표시되며 개선의 정도가 또한 표시되어 적극적으로 재활운동에 임할 수 있게 된다.

또한 이러한 재활운동 자료는 병원서버로 전달되어 진료를 위한 자료로 활용될 수 있게 된다.

도 1과 도 2는 본 발명에 따른 재활치료시스템을 보이는 도면;
도 3은 본 발명에서 환자의 에셋을 구성하고 이를 컴퓨터의 에셋라이브러리에 탑재하는 것을 보이는 도면;
도 4는 본 발명에 따른 컴퓨터의 동작을 보이는 순서도;
도 5는 본 발명에 따른 영상장치에 디스플레이되는 화면의 예를 보이는 도면.

이제 본 발명의 바람직한 실시예를 첨부한 도면을 참고로 하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 재활치료시스템(1000)을 보이는 도면이다.

우선 도시된 바와 같이, 컴퓨터(100)가 제공되는데, 이것은 게임엔진(110)을 탑재한 것인데, 게임엔진(110)의 에셋(asset)을 저장하는 에셋라이브러리(asset library)(114)도 같이 탑재되어 있다.

본 발명에 따를 경우, 상기 게임엔진(110)의 에셋라이브러리(114)는 환자(9)를 촬상하여 모델링하여 환자(9)의 얼굴과 몸을 에셋으로 저장하고 있다.

또한 환자(9)를 에셋으로 하여 모범재활운동 콘텐츠를 저장하고 있다.

이러한 게임엔진(110)에 저장된 환자(9)를 에셋으로 한 모범재활운동 콘텐츠는 영상장치(300)를 통하여 디스플레이된다.

본 발명에 따를 경우, 환자(9)는 상기 영상장치(300)에 시연되는 자신을 주인공으로 한 모범재활운동을 보고 이를 따라하게 되는데, 이러한 환자(9)의 모션은 깊이카메라(80)가 촬상하여 상기 컴퓨터(100)로 전달한다.

상기 컴퓨터(100)는 환자(9)가 모범재활운동을 추종한 움직임을, 후술하는 바와 같이, 모범재활운동과 중첩하여 표시하고, 그 차이를 분석하여 환자의 상태를 평가하고, 환자의 상태의 개선정도를 평가하게 된다.

도 2는 본 발명의 일 실시예에 따른 재활치료시스템(1000')의 다른 예로서, 이 경우, 게임엔진(110)에 저장된 환자(9)를 에셋으로 한 모범재활운동 콘텐츠는 HMD를 통하여 환자에게 시연되고 있다.

본 발명에 따를 경우, 상기 컴퓨터(100)는 재활치료를 담당하는 병원의 서버(600)와 연결되어 있어, 상기 병원의 서버(600)는 상기 컴퓨터(100)로부터 환자의 추종운동과 모범재활운동과의 차이 및 분석, 평가 정보를 전달받는다.

본 발명에 따를 경우, 상기 컴퓨터(100)는 개개의 환자의 집에 설치되는 컴퓨터이거나 또는 재활치료용 서버컴퓨터일 수 있다. 즉 재활치료용 서버컴퓨터(100)를 제공하고 이러한 재활치료용 서버컴퓨터(100)는 각각의 환자의 단말기(300)(300')와 연결되어 가상현실을 구현하는 것이다.

도 3은 상기 컴퓨터(100)에 환자를 모델링하여 에셋라이브러리(114)에 올리는 경우를 보이는 순서도이다.

우선 깊이 카메라(80)로 환자를 촬상하고 이를 컴퓨터(100)로 전송하면 상기 컴퓨터(100)는 깊이 카메라가 촬상한 데이터를 기반으로 모델링을 하여 환자를 에셋으로 구성한다. (단계 S301)

이런 환자의 에셋은 컴퓨터(100)의 에셋라이브러리(114)에 탑재된다. (단계 S302)

도 4는 본 발명에 따른 컴퓨터(100)의 동작을 보이는 순서도이다.

우선 상기 컴퓨터(100)는 게임엔진(110)에 탑재된 환자를 주인공으로 하는 모범재활운동을 상기 영상장치(300)(300')로 시연한다. (단계 S401)

다음, 환자(9)는 영상장치(300)(300')로 시연되는 모범재활운동을 추종하고 이를 깊이카메라(80)가 촬상하여 컴퓨터(100)로 전송하면 상기 컴퓨터(100)는 이를 인식한다. (단계 S402)

다음, 상기 컴퓨터(100)는 환자의 추종운동을 모범재활운동과 중첩하여 상기 영상장치(300)(300')에 디스플레이한다. (단계 S403)

또한 상기 컴퓨터(100)는 환자의 추종운동과 모범재활운동을 비교하여 그 차이를 분석하고 환자의 상태를 진단한다. (단계 S404)

예를 들어 관절운동의 각의 차이, 각각의 관절의 위치 등을 분석하여 모범재활운동과 일치하는 정도를 분석하고 그 정도를 분석하여 환자의 상태를 진단할 수 있으며 이를 점수화하여 표시할 수 있다.

또한 이렇게 비교분석된 정보는 병원서버(600)로 전송되어 병원의 의사가 차후 진료자료로 활용할 수 있도록 할 수 있다.

다음, 상기 컴퓨터(100)는 환자의 추종운동과 모범재활운동을 비교하고 분석하여 진단된 환자의 상태를 이전의 것과 비교하여 개선의 정도를 추출하고 이를 표시한다. (단계 S405)

도 5는 상기 영상장치(300)(300')에 디스플레이되는 화면을 보이는 예이다.

우선 도 5의 (a)는 상기 영상장치(300)(300')에 디스플레이되는 모범재활운동을 보인다.

어깨에 대한 모범재활운동으로서 환자(9)가 가상의 도르레(56)를 당기는 동작(91)을 행하고 있다.

도 5의 (b)는 환자(9)의 추종운동을 상기 모범재활운동과 중첩하여 보이는 화면이다.

모범재활운동(91)에 대하여, 환자(9)가 실제로 따라서 행한 운동을 깊이 카메라로 인식하여 표시된 것(92)이 보이고 있다.

이때, 어깨와 팔의 상태에 대하여 진단된 점수가 63점으로 표시되고, 또한 그간의 점수의 변화를 그래프로 표시하고 있다. 이 환자의 경우 점차적으로 개선되고 있음을 알 수 있다.

한편 본 발명에 따를 경우, 환자의 개선정도를 체크하여 개선이 일정수준이상에 도달하면 모범재활운동을 난이도 높은 것으로 제공하는 것이 바람직하다.

이와 같이 본 발명은 게임엔진에 저장된 모범재활운동을 시연하고 이를 따라하는 환자의 운동을 깊이카메라로 인식하고 이를 시연되는 모범재활운동과 중첩하여 표시한다. 이에 따라 환자는 시각적으로 자신의 운동상태를 모범적 상태와 비교하여 알 수 있게 되고 또한 객관적으로 그 상태가 표시되며 개선의 정도가 또한 표시되어 적극적으로 재활운동에 임할 수 있게 된다.

또한 이러한 재활운동 자료는 병원서버로 전달되어 진료를 위한 자료로 활용될 수 있게 된다.

특별히 본 발명에 따를 경우, 재활운동의 디스플레이는 가상의 현실로서 몰입감을 가질 수 있도록 구성하는 것이 바람직하다.

1000, 1000': 재활치료시스템
300, 300': 영상장치
80: 깊이카메라
100: 컴퓨터
110: 게임엔진

Claims (3)

1. (a) 환자를 주인공으로 한 모범재활운동 콘텐츠가 탑재된 게임엔진과;
   (b) 상기 게임엔진의 모범재활운동 콘텐츠를 디스플레이하는 영상수단과;
   (c) 상기 영상수단에서 디스플레이 되는 모범재활운동을 따라하는 환자의 움직임을 감지하는 깊이카메라와;
   (d) 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 중첩되는 영상을 생성하여 이를 상기 영상수단에 디스플레이하는 영상중첩수단과;
   (e) 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 비교하여 상기 환자의 상태를 진단하는 환자의 상태평가수단과;
   (f) 상기 환자의 상태평가수단이 평가한 정도가 개선된 정도를 분석하여 이를 상기 영상수단에 표시하는 환자의 개선정도분석수단을 포함하여 이루어진 것을 특징으로 하는 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템.
2. 제1항에 있어서,
   상기 모범재활운동 콘텐츠는 상기 환자의 개선정도분석수단이 분석한 환자의 상태가 개선될 경우 난이도가 높은 모범재활운동을 출력하도록 되어 있는 것을 특징으로 하는 게임엔진으로 구현된 가상현실을 이용한 재활치료시스템.
3. (a) 환자를 주인공으로 한 모범재활운동 콘텐츠가 탑재된 게임엔진으로부터 상기 모범재활운동정보를 받아 상기 환자가 행하는 모범재활운동을 영상수단을 통하여 시연하는 모범재활운동시연단계와;
   (b) 상기 환자가 상기 영상수단에 시연되는 모범재활운동을 따라하면 이를 깊이카메라가 감지하는 환자의 추종운동감지단계와;
   (c) 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 중첩되는 영상을 생성하여 이를 상기 영상수단에 디스플레이하는 중첩영상표시단계와
   (d) 상기 깊이카메라가 감지한 상기 환자의 움직임 데이터를 받아 상기 모범재활운동의 움직임과 비교하여 상기 환자의 상태를 진단하는 환자의 상태평가단계와;
   (e) 상기 환자의 상태평가단계에서 평가한 환자의 상태가 개선된 정도를 분석하여 이를 상기 영상수단에 표시하는 환자의 개선정도 표시단계를 포함하여 이루어진 것을 특징으로 하는 게임엔진으로 구현된 가상현실을 이용한 재활치료 방법.

Images