KR101717375B1 - 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템 - Google Patents

Abstract

가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템이 개시된다. 컴퓨터로 구현되는 방법은, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환함으로써 게임 인터페이스를 위한 마우스 이벤트를 발생시키는 단계를 포함한다.

Description

가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템{GAME INTERFACE USING HAND-MOUSE BASED ON VIRTUAL MONITOR}

아래의 설명은 게임 인터페이스 기술에 관한 것이다.

행복감은 인간의 삶의 질을 높여주는 중요한 요소이다. 삶의 질을 높일 수 있는 방법 중의 하나가 바로 게임이다. 오래 전에 시작된 카드 게임부터 현재의 컴퓨터 게임, 비디오게임 등을 하면서 사람들은 즐거움을 느끼고, 이를 통하여 삶의 질을 높여왔다.

최근에는 게임을 통하여 즐거움만을 추구하는 것이 아니라 교육, 의료 등에도 적용을 하면서 많은 효과를 기대할 수 있다. 인간공학적, 인상적 측면, 경제적 측면 등을 고려한 언어치료를 위한 게임을 개발하여 언어치료사와 언어장애인 모두에게 긍정적인 영향을 주고 있다. 또한, 학생들에게 이론만으로 전략경영을 교육하던 것에 문제점을 인식하고, 온라인 게임을 활용하여 전략경영법을 교육한 사례를 분석하여 뛰어난 효력을 발휘하기도 한다. 이러한 사례들로 보아 본래 즐기기만 했던 게임에서 여러 가지 효과를 기대할 수 있는 컨텐츠로 발전하는 중이다.

게임을 즐기고 활용하기 위해서는 여러 가지 도구나 디바이스가 필요하다. 전통적인 카드게임이나 장기, 바둑과 같은 게임들은 각 게임에 알맞은 카드나 장기판, 바둑판 등과 같은 도구가 필요하고, 비교적 최근에 개발되고 있는 컴퓨터 게임의 경우에는 마우스, 키보드뿐만 아니라 매우 다양한 디바이스들을 사용하고 있다. 그 중 하나가 Microsoft사의 Kinect이다. Kinect는 별도의 컨트롤러 없이 몸의 동작이나 음성을 인식하여 게임을 즐길 수 있도록 도와주는 장치이다. 또한, 제공되는 SDK(Software Development Kit)를 이용하여 개발자나 일반인들이 비교적 수월하게 소프트웨어를 개발할 수 있다.

게임의 잠재적 기능과 같이 Kinect는 게임 디바이스의 역할 뿐만 아니라 여러 가지 분야로 활용할 수 있는 잠재적인 가치가 높은 디바이스이다. 최근에 높은 정확도를 가진 고가의 모션 캡쳐 시스템인 OptiTrack과 비교하여 저가의 Kinect를 이용하여 가정 환경에서 재활 치료의 가능성을 확인한 사례도 있다. 또한, Kinect가 교육적인 면에서 잠재적인 능력을 가지고 있다는 연구결과도 발표되고 있다. 이외에도 Kinect를 이용하여 특별한 영상처리 알고리즘 없이 제스쳐 인식이나 실내환경에서 3차원으로 모델링을 하는 연구가 활발하게 이루어지고 있다.

하지만, Kinect를 이용한 상호작용을 통한 게임, 교육, 의료 등의 소프트웨어를 사용자가 잘 다루기 위해서는 인터페이스 또한 매우 중요하다.

모션 센싱 입력기기(motion sensing input devices)를 이용하여 사용자의 신체적 특징을 파악하고 이를 이용하여 가상 모니터라는 새로운 개념을 도입하여 손으로 정확하게 마우스를 제어할 수 있는 게임 인터페이스를 제공한다.

컴퓨터로 구현되는 방법에 있어서, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및 상기 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환함으로써 게임 인터페이스를 위한 마우스 이벤트를 발생시키는 단계를 포함하는 컴퓨터로 구현되는 방법을 제공한다.

일 측면에 따르면, 상기 추출하는 단계는, 모션 센싱 입력기기를 이용하여 상기 신체적 특징 정보를 추출할 수 있다.

다른 측면에 따르면, 상기 추출하는 단계는, 모션 센싱 입력기기를 이용하여 상기 사용자의 골격과 관련된 스켈레톤 데이터(skeleton data)를 얻어 상기 스켈레톤 데이터에 따른 스켈레톤 이미지를 구성하는 단계; 및 상기 스켈레톤 이미지와 깊이 정보를 이용하여 상기 신체적 특징 정보를 추출하는 단계를 포함한다.

또 다른 측면에 따르면, 상기 추출하는 단계는, 상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 머리 위치를 포함하는 특징 정보를 추출할 수 있다.

또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 신체적 특징 정보를 이용하여 상기 가상 모니터의 크기와 위치를 설정할 수 있다.

또 다른 측면에 따르면, 상기 추출하는 단계는, 상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 얼굴 위치를 포함하는 특징 정보를 추출하고, 상기 생성하는 단계는, 상기 팔 길이, 상기 어깨 너비, 상기 척추 위치, 상기 얼굴 위치를 이용하여 상기 가상 모니터의 크기와 위치를 설정할 수 있다.

또 다른 측면에 따르면, 상기 생성하는 단계는, 상기 어깨 너비를 이용하여 상기 가상 모니터의 가로 길이를 설정하고 상기 척추 위치와 상기 얼굴 위치 사이의 거리를 이용하여 상기 가상 모니터의 세로 길이를 설정하고, 상기 팔 길이를 이용하여 상기 사용자와 상기 가상 모니터 사이의 거리를 설정할 수 있다.

또 다른 측면에 따르면, 상기 발생시키는 단계는, 상기 가상 모니터 상의 좌표에 상기 가상 모니터의 상기 실제 모니터의 크기 비율을 곱함으로써 상기 가상 모니터 상의 좌표를 상기 실제 모니터 상의 좌표로 변환할 수 있다.

또 다른 측면에 따르면, 상기 발생시키는 단계는, 상기 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 상기 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어할 수 있다.

또 다른 측면에 따르면, 상기 발생시키는 단계는, 상기 z축 방향에 대한 움직임 거리가 상기 사용자와 상기 가상 모니터 사이의 거리 이내이면 클릭 이벤트를 발생시킬 수 있다.

또 다른 측면에 따르면, 상기 발생시키는 단계는, 상기 클릭 이벤트가 일정 시간 이내에 연속적으로 복수 회 발생되면 더블 클릭 이벤트로 인식할 수 있다.

또 다른 측면에 따르면, 상기 발생시키는 단계는, 상기 가상 모니터를 둘 이상의 공간으로 분할하여 상기 분할된 공간 각각에 대해 상기 게임 인터페이스를 위한 방향키 기능을 제어할 수 있다.

적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 과정; 상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 과정; 및 상기 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환함으로써 게임 인터페이스를 위한 마우스 이벤트를 발생시키는 과정을 처리하는 것을 특징으로 하는 시스템을 제공한다.

본 발명의 실시예에 따르면, 모션 센싱 입력기기를 이용하여 사용자의 신체적 특징을 파악하고 이를 이용하여 가상 모니터라는 새로운 개념을 도입하여 손으로 정확하게 마우스를 제어할 수 있는 게임 인터페이스를 구현할 수 있다.

도 1과 도 2는 본 발명의 일실시예에 있어서 가상 모니터 기반의 핸드 마우스 인터페이스 방법을 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서 모션 센싱 입력기기를 이용하여 얻을 수 있는 스켈레톤의 관절 요소를 도시한 것이다.
도 4는 본 발명의 일실시예에 있어서 가상 모니터 생성을 위해 사용된 신체적 특징과 기능을 도시한 것이다.
도 5는 본 발명의 일실시예에 있어서 핸드 마우스 인터페이스를 사용하는 모습을 예시적으로 도시한 것이다.
도 6은 본 발명의 일실시예에 있어서 사용자의 신체적 특징을 이용하여 생성된 가상 모니터의 크기를 설명하기 위한 예시 도면이다.
도 7과 도 8은 본 발명의 일실시예에 있어서 사용자의 신체적 특징을 이용하여 생성된 가상 모니터와 사용자의 거리를 설명하기 위한 예시 도면이다.
도 9는 본 발명의 일실시예에 있어서 왼손의 움직임에 따라 실제 모니터 상에 구현된 마우스의 이동을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 일실시예에 있어서 오른손의 움직임을 이용하여 구현된 마우스의 클릭 기능을 설명하기 위한 예시 도면이다.
도 11은 본 발명의 일실시예에 있어서 좌표 변환 알고리즘을 설명하기 위한 예시 도면이다.
도 12는 본 발명의 일실시예에 있어서 가상 모니터 기반의 핸드 마우스 인터페이스의 의사코드를 도시한 것이다.
도 13은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

게임은 삶의 질을 높일 수 있는 방법 중의 하나이다. 게임은 즐거움의 수단일 뿐만 아니라 교육, 의료 등 다양한 분야에 적용되어 많은 효과를 창출하고 있다. 게임이 발달하면서 인터페이스에 대한 연구도 활발해지고 있는 가운데, 본 발명에서는 가상 모니터라는 새로운 개념을 도입하여 손으로 마우스를 제어할 수 있는 게임 인터페이스 시스템을 구현한다.

먼저, 본 발명과 관련된 배경 연구에 대해 설명하기로 한다.

UI(User Interface)

UI(User Interface)는 사용자가 시스템 또는 프로그램에서 데이터 입력이나 동작을 제어하기 위한 명령어를 의미하고, 사용자와 컴퓨터, 프로그램 사이의 원활한 의사소통을 하는 것에 그 목적을 두고 있다. 이러한 목적을 두고 많은 컴퓨터 공학자들은 사용자에게 더 편리한 UI를 연구하고 있다. 단순한 명령어로 컴퓨터와 의사소통을 하는 CLI(Command Line Interface)부터 그래픽을 이용한 GUI(Graphical User Interface), 사용자의 자연스러운 몸동작이나 음성을 이용한 NUI(Natural User Interface)까지 많은 연구와 발전이 있었다. 비교적 최근에 나온 NUI의 경우, 사용자의 자연스러운 몸짓이나 음성을 이용하기 때문에 굉장히 직관적이라는 장점이 있다.

제스처 인식(Gesture Recognition)

제스쳐 인식을 하기 위해서는 오브젝트(object)를 인식해야 한다. 이러한 오브젝트를 인식하기 위해 영상처리 알고리즘이나 마커와 같은 물리적인 센서 등을 이용해서 오브젝트를 인식하여야 한다. 영상처리를 통한 방법은 정규화, 특징 추출, 전처리, 트레이닝 등과 같은 여러 단계를 거쳐 인식하게 된다. 인식을 하고 난 뒤, HMM(Hidden Markov Model) 등과 같은 알고리즘을 통하여 제스쳐 인식을 하게 된다. 그러나, 이러한 제스쳐 인식의 문제는 매우 복잡하고 어려우며 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 사용자 신체에 마커를 붙이는 방식은 정확한 사용자의 몸짓을 인식할 수 있지만, 매번 몸에 센서를 붙여야 한다는 번거로움이 있다.

반면에, 모션 센싱 입력기기를 이용한 제스쳐 인식은 제공되는 SDK를 통해 별도의 영상처리 알고리즘을 적용하지 않아도 된다는 점에서 제스쳐 인식을 위한 기술로 각광받고 있다. 모션 센싱 입력기기(예컨대, Kinect SDK)는 내부적으로 영상처리 알고리즘을 수행하여 개발자가 추가적으로 특징 추출이나 트레이닝과 같은 추가적인 작업을 하지 않아도 되기 때문이다. 제공되는 SDK와 깊이 정보를 이용하여 손가락과 같은 특정 부위에 모양을 인식하여 트래킹 하기도 하고, 깊이 정보를 이용하여 손과 배경을 분리하고 손의 윤곽(contour)을 이용한 손동작 인식을 하기도 한다. 모션 센싱 입력기기를 이용한 제스쳐 인식은 기존 영상처리 알고리즘과는 달리 특별한 트레이닝을 하지 않아도 되기 때문에 트레이닝에 투자하는 시간을 줄일 수 있다는 장점이 있다.

본 명세서에서, 모션 센싱 입력기기는 움직임이나 동작을 감지하기 위한 입력 수단으로, 일례로 Microsoft사의 키넥트 카메라를 이용할 수 있다.

핸드 마우스(Hand-mouse)

핸드 마우스는 손으로 마우스를 제어하는 것을 의미한다. 손으로 시스템을 제어하고자 하는 시도는 오래 전부터 많은 시도가 있었다. 1993년에 Thomas Baudel은 특수한 장갑을 이용하여 제스쳐 인식을 하는 시스템을 구현하였고, 2006년에 Antonis A. Argyros는 카메라를 통해 손의 영역을 찾고, 이를 3차원으로 모델링하여 마우스를 제어하는 시스템을 구현하였다. 또한, OennCV 라이브러리를 이용하여 피부색을 통하여 손 영역을 찾아 이를 이용한 핸드 마우스에 대한 연구도 진행되었다. 그러나, 기존 연구들은 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다.

본 실시예에서는 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 이용한 게임 인터페이스를 제공할 수 있다.

본 발명에서는 이전의 연구에서 설계하고 구현하였던 핸드 마우스 인터페이스를 가상 모니터라는 새로운 개념을 도입하여 설계한다. 가상 모니터는 모션 센싱 입력기기와 사용자 사이의 빈 공간에 가상의 모니터를 생성하여 사용자가 쉽게 마우스를 제어할 수 있도록 해주는 개념으로 사용된다.

본 발명에 따른 게임 인터페이스 시스템은 아래와 같이 단계로 동작할 수 있다(도 1).

단계(110)에서 게임 인터페이스 시스템은 사용자에 대해 모션 센싱 입력기기(예컨대, Kinect SDK(소프트웨어 개발 키트) 등)를 이용하여 RGB 이미지로 입력 받은 영상을 스켈레톤 데이터(skeleton data)로 구성한다.

단계(120)에서 게임 인터페이스 시스템은 단계(110)에서 구성된 스켈레톤 데이터와 깊이 이미지를 이용하여 사용자의 신체적 특징을 추출하고 이를 이용하여 가상 모니터를 생성한다.

단계(130)에서 게임 인터페이스 시스템은 단계(120)에서 생성된 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환하고 변환된 좌표를 기초로 게임 인터페이스를 위한 마우스 이벤트를 발생시킬 수 있다. 게임 인터페이스 시스템은 가상 모니터를 핸드 마우스 제어 영역으로 설정하고 가상 모니터 영역에 대한 사용자의 움직임 좌표를 게임 인터페이스 변수로 인식할 수 있다.

본 발명에 따른 게임 인터페이스 시스템의 동작을 보다 상세히 설명하면 도 2에 도시한 바와 같다.

단계(110)에서 게임 인터페이스 시스템은 RGB 이미지에 대해 모션 센싱 입력기기를 이용하여 RGB 이미지에 포함된 피사체가 사용자인지 여부를 확인한 후 사용자에 해당되는 경우 해당 RGB 이미지를 스켈레톤 이미지로 구성할 수 있다.

단계(120)에서 게임 인터페이스 시스템은 스켈레톤 이미지에서 사용자의 신체적 특징을 추출한 후 추출된 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성한다. 그리고, 게임 인터페이스 시스템은 가상 모니터를 생성한 후 임계치 이내의 사용자의 움직임이 감지되는 경우 실제 모니터에 대한 마우스 기능으로 동작한다.

단계(130)에서 게임 인터페이스 시스템은 게임 인터페이스의 마우스 기능으로 동작하는 경우 좌표 매핑 알고리즘을 통해 가상 모니터에 대한 사용자의 움직임을 실제 모니터 상의 좌표로 변환하여 변환된 좌표에 따라 실제 모니터에 대한 마우스의 이동을 구현할 수 있다. 일례로, 왼손과 오른손이 가상 모니터 공간에 있을 때 왼손은 마우스의 이동을 제어하고 오른손은 클릭의 기능을 제어할 수 있다. 다시 말해, 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능(예컨대, 드래그 등)으로 제어하고 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능(예컨대, 클릭, 더블 클릭 등)으로 제어할 수 있다.

본 발명에 따른 가상 모니터 기반의 게임 인터페이스 시스템의 구체적인 기술 내용은 다음과 같다.

가상 모니터

사용자의 신체적 특징을 기반으로 마우스를 제어할 수 있는 핸드 마우스 인터페이스의 경우, 뛰어난 직관성을 가지는 장점에 반하여 다소 낮은 정확성과 부자연스러운 마우스 움직임을 갖게 된다. 이러한 단점을 갖는 이유는 핸드 마우스를 제어하면서 변하는 사용자의 신체적 특징에 대한 미세한 변화를 실시간으로 추출하기 때문이다. 또한, 더블 클릭의 기능의 경우 처음 손의 위치를 기준으로 움직인 거리와 시간 딜레이(delay)를 두어 인식하였기 때문에 정확히 인식하지 못하는 문제가 있다. 특히, 왼손과 오른손을 같이 사용하면 미세한 변화에도 신체적 특징이 변하기 때문에 실제 모니터 상의 좌표로 정확히 표현하지 못하고, 당연히 클릭이나 더블 클릭에 대하여 낮은 정확성을 보여줄 수밖에 없다.

본 발명에서는 핸드 마우스 기능의 정확성을 높이기 위해 '가상 모니터'라는 새로운 개념을 적용한다. 가상 모니터는 모션 센싱 입력기기와 사용자 사이의 빈 공간에 마우스를 제어하는 가상의 공간으로 정의할 수 있다.

가상 모니터를 생성하기 위하여 사용자의 신체적 특징을 사용한다. 사용자의 신체적 특징을 이용하는 이유는 크게 2가지 이유가 있다. 첫째, 핸드 마우스 인터페이스를 사용하는 사용자의 신체적 특징은 모두 다르기 때문이다. 만약, 가상 모니터의 크기가 모든 사용자에게 동일한 크기로 제공된다면, 몇몇 사용자들은 핸드 마우스 인터페이스 사용에 어려움을 겪을 것이다. 이것은 시스템과 사용자 사이의 의사소통을 담당하는 인터페이스가 가져서는 안 되는 문제이다. 둘째, 가상 모니터라는 기준이 되는 공간이 생기기 때문에 실제 모니터 상으로 정확한 매핑이 가능하다. 이전의 연구에서는 단순히 손과 마우스만을 연결하여 사용하였기 때문에 실제 모니터 상으로의 정확한 매핑이 어려웠다.

신체적 특징 추출(User's Feature Extraction)

키넥트와 같은 모션 센싱 입력기기는 사람의 뼈대를 추적할 수 있는 스켈레톤 트래킹을 지원할 수 있고, 각 사용자에 대해 20개의 관절을 트래킹할 수 있다. 스켈레톤 관절은 관절 유형(JointType)뿐만 아니라 x, y, z의 형태로 좌표 정보를 제공할 뿐만 아니라, 여러 가지 정보를 함께 제공하기 때문에 매우 유용하다.

본 발명에서는 사용자의 신체적 특징 추출을 위하여 스켈레톤 이미지의 데이터를 이용한다. 가상 모니터를 생성할 때 사용하는 신체적 특징으로는 사용자의 팔 길이, 어깨너비, 엉덩이의 위치 등이 있고, 추가적으로 모션 센싱 입력기기와 사용자의 위치를 사용한다.

사용자의 신체적 특징을 사용하는 이유는 각 사용자에게 알맞은 가상 모니터를 생성해주기 위해서이다. 고정된 크기의 가상 모니터를 사용하게 되면 몇몇 사람들은 가상 모니터 기반의 핸드 마우스 인터페이스가 매우 불편할지도 모른다. 성인에게 맞춰진 가상 모니터를 10세 미만의 아이들이 사용한다면 매우 불편하고, 심지어는 사용을 못하게 될 수도 있다. 이러한 문제점을 해결하기 위하여 가상 모니터는 각 사용자에게 알맞은 크기로 제공되어야 한다.

도 3은 모션 센싱 입력기기를 이용하여 얻을 수 있는 관절 요소이고, 도 4에 도시된 표는 가상 모니터를 생성하기 위해 사용된 사용자의 신체적 특징과 각각의 특징을 이용하여 사용되는 기능을 나타낸다.

일례로, 본 발명에 따른 게임 인터페이스 시스템은 가상 모니터의 크기를 결정하기 위하여 사용자의 키와 어깨너비를 이용한다.

도 5는 핸드 마우스 인터페이스를 사용하는 방법의 예시를 보여주는 그림이다. 도 5에 도시한 바와 같이, 핸드 마우스 인터페이스를 사용하기 위해서는 가슴 정도 높이에서 양손을 이용하여 사용하도록 설계되어 있다. 따라서, 가상 모니터의 크기와 위치는 사용자가 양손을 편하게 사용할 수 있는 크기와 위치로 설정해주어야 한다. 도 5을 참조하면, 양손을 편하게 들어 올렸을 때 사용자의 가슴 위치에 오는 것을 확인할 수 있다.

따라서, 가상 모니터의 높이(height)는 스켈레톤의 머리(head)와 척추(spine)의 차이를 이용하여 나타낸다. 또한, 가상 모니터의 너비(width)는 스켈레톤의 어깨너비를 이용하여 나타낸다. 사용자가 움직이지 않고 모니터 전체를 제어할 수 있도록 하기 위해서 어깨너비의 2배를 이용하여 가상 모니터의 크기를 설정할 수 있다.

도 6은 사용자의 신체적 특징에 따른 가상 모니터의 크기를 도식적으로 표현한 것이다. 가상 모니터(601)의 크기와 위치를 지정하기 위해 사용자의 어깨 너비(α)와 얼굴 중심부터 척추까지의 거리(β)를 이용한다. 일례로, 사용자가 핸드 마우스를 제어할 때, 가상 모니터(601)의 크기가 사용자의 몸에 비해 너무 크거나 작지 않도록 어깨 너비의 2배(2α)로 설정하고, 사용자의 키에 비해 너무 높거나 낮지 않도록 얼굴과 척추 사이의 거리(β)로 설정한다. 상기한 방법으로 가상 모니터(601)의 크기를 정해주면, 신체적 특징이 다른 어떠한 사용자가 사용하더라도 자신에게 알맞은 크기의 가상 모니터(601)를 생성할 수 있다.

본 발명에서 가상 모니터는 모션 센싱 입력기기와 사용자 사이의 빈 공간에 생성할 수 있다. 따라서, 가상 모니터의 크기뿐만 아니라 사용자와 가상 모니터 사이의 거리를 설정해주는 것 또한 매우 중요한 작업이다. 일례로, 사용자와 가상 모니터 사이의 거리는 사용자의 팔 길이(γ)를 이용한다. 스켈레톤의 어깨와 머리의 관절 정보를 이용하여 사용자의 팔 길이를 측정할 수 있다. 가상 모니터를 터치스크린처럼 이용하도록 설계하였기 때문에 사용자가 팔을 앞으로 최대한 뻗었을 때 닿을 수 있을 정도의 거리여야 한다. 이를 위해서, 사용자의 팔 길이(γ)를 이용하여 사용자와 가상 모니터 사이의 거리를 설정하는 것이다. 하지만, 사용자의 팔 길이(γ) 전체를 사용할 경우, 사용자가 팔을 다 뻗지 않는다면 정확하게 인식이 되지 않게 된다. 따라서, 이러한 경우를 배제하고자 사용자의 팔 길이(γ)의 5/6를 사용하여 사용자와 가상 모니터 사이의 거리로 설정할 수 있다. 도 7은 사용자의 팔 길이(γ)를 특징으로 잡은 모습을 보여주고, 도 8은 가상 모니터(801)와 사용자, 실제 모니터(803)의 위치를 3차원 좌표축으로 표현한 그림이다.

핸드 마우스 기능

1996년에 발표된 'Toward the Use of Gesture in Traditional User Interfaces'에서 마우스를 놓는 순간부터 카메라가 손을 인식하여 가상으로 모니터에 메뉴가 생기고 메뉴를 손으로 선택하는 등 직관적인 UI에 대해 소개하였다. 그 이후, 다양한 새로운 형식의 UI들이 생겨났지만, 각각의 새로운 인터페이스들은 사용자들에게 각각의 이벤트들을 외우는데 많은 부담이 있다. 또한, 이러한 이벤트들이 전혀 직관적이지 않은 형태였다. 예를 들어, 손가락을 펴고 모은 상태는 마우스 이동, 손가락을 모두 펴면 마우스 왼쪽 버튼 클릭 등과 같이 아무 관련 없는 것들이고, 15가지 이상의 Gesture vocabulary를 갖는 인터페이스도 있다.

본 발명에 따른 핸드 마우스 인터페이스는 직관적인 UI를 위해서 현재 직관적으로 사용하는 마우스 포인터를 이용하는 것이 가장 직관적인 인터페이스가 될 것이라 생각하여 마우스 포인터와 손을 매핑하여 핸드 마우스를 구현한다.

사용자의 손으로 마우스를 제어하는 방법은 매우 간단하다. 왼손으로는 마우스의 움직임을 제어하고, 오른손을 마우스의 클릭 기능을 제어한다. 다시 말해, 본 발명에 따른 게임 인터페이스 시스템에서는 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어할 수 있다. 도 9는 가상 모니터(901)에 대한 왼손의 움직임에 따라 실제 모니터(903) 상에서 마우스의 움직임을 표현한 그림이고, 도 10은 가상 모니터(1001)에 대해 오른손으로 클릭의 기능을 제어하는 것을 표현한다. 도 9에 도시한 바와 같이, 왼손을 가상 모니터(901)의 공간에서 움직이면 실제 모니터(903) 상에서도 사용자의 손이 움직인 방향으로 움직이게 된다. 반면, 도 10을 참조하면 오른손을 가상 모니터(1001)를 만지듯이 ①의 위치에서 ②의 위치로 움직이게 되면 클릭의 기능을 수행한다.

좌표 변환 알고리즘

가상 모니터 상에서 손의 움직임 따라 실제 모니터 상의 마우스 포인터를 이동시키기 위해서, 가상 모니터 상의 좌표를 실제 모니터 상의 좌표로 변환하는 작업이 필요하다. 가상 모니터 좌표를 실제 모니터의 좌표로 맵핑하는 것은 마우스 포인터의 자연스러운 움직임과 정확한 마우스의 기능을 수행할 수 있게 해준다.

일례로, 가상 모니터에서 실제 모니터 상으로 맵핑하는 알고리즘은 가상 모니터와 실제 모니터의 비율을 이용한다. 가상 모니터 상의 왼손 좌표

에 가상 모니터 크기(

)와 실제 모니터 크기(

)의 비율을 곱하면 실제 모니터 상의 좌표

로 변환된다. 도 11은 좌표 변환 알고리즘을 간략하게 보여주는 예시 도면이다.

가상 모니터와 실제 모니터의 비율(ratio)은 수학식 1과 같고, 실제 모니터 상의 좌표(

)는 수학식 2와 같다.

핸드 마우스 인터페이스의 전체적인 흐름

핸드 마우스 인터페이스는 사용자가 매우 직관적으로 사용할 수 있도록 설계된 것이다. 사용자의 왼손은 마우스의 움직임을 제어하고, 오른손은 클릭 이벤트를 제어할 수 있으며, 가상 모니터를 터치스크린처럼 활용할 수 있다. 이러한 결과를 얻기 위하여 오른손의 깊이 정보를 이용한다. 오른손의 깊이와 모션 센싱 입력기기의 위치 차를 이용하는 것이다. 이것을 가상 모니터가 위치하는 깊이 좌표(일례로, 5/6γ) 값과 비교하여 오른손으로 가상 모니터의 터치 여부를 확인할 수 있다.

설명을 위해 가상 모니터 기반의 핸드마우스 인터페이스의 의사코드(Pseudocode)를 도 12로 나타낸다. 도 12의 의사코드를 참조하면, 핸드 마우스는 왼손과 오른손이 가상 모니터 영역에 있을 때, 제어가 가능하다. 소프트웨어가 실행되는 동안 계속적으로 사용자의 양손이 가상 모니터 영역에 존재 여부를 확인한다. 양손이 가상 모니터 영역 안에 있다면 왼손과 오른손을 구분한다. 왼손이라면 가상 모니터 상의 왼손 좌표를 실제 모니터 상의 좌표로 변환한다. 그것과 동시에, 오른손의 깊이와 가상 모니터의 깊이를 비교한다. 오른손의 움직임 깊이(즉, 가상 모니터의 z축 방향에 대한 움직임 거리)가 가상 모니터의 깊이(즉, 사용자와 가상 모니터 사이의 거리) 보다 작거나 같다면 클릭 플래그(click flag)를 on으로 하여 클릭의 기능을 실행하도록 한다. 이때, 클릭의 기능이 일정 시간(예컨대, 0.4초) 이내에 연속적으로 복수 회 발생하게 되면 더블 클릭의 기능을 실행한다.

더 나아가, 가상 모니터를 이용한 핸드 마우스 인터페이스는 가상 모니터 영역을 둘 이상의 공간으로 분할하여 분할된 공간 각각에 대해 게임 인터페이스를 위한 방향키 기능을 구현할 수 있다. 예를 들어, 가상 모니터 공간을 상하좌우의 4등분을 하여 상하좌우의 방향키로 사용하는 것 또한 가능하다.

상기한 게임 인터페이스 방법은 도 1 내지 도 12를 통해 설명한 시스템의 상세 내용을 바탕으로 보다 단축된 동작들 또는 추가의 동작들을 포함할 수 있다. 또한, 둘 이상의 동작이 조합될 수 있고, 동작들의 순서나 위치가 변경될 수 있다.

도 13은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 컴퓨터 시스템(1300)은 적어도 하나의 프로세서(processor)(1310), 메모리(memory)(1320), 주변장치 인터페이스(peripheral interface)(1330), 입/출력 서브시스템(I/O subsystem)(1340), 전력 회로(1350) 및 통신 회로(1360)를 포함할 수 있다. 이때, 컴퓨터 시스템(1300)은 게임 인터페이스 시스템에 해당될 수 있다.

메모리(1320)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1320)는 컴퓨터 시스템(1300)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(1310)나 주변장치 인터페이스(1330) 등의 다른 컴포넌트에서 메모리(1320)에 액세스하는 것은 프로세서(1310)에 의해 제어될 수 있다.

주변장치 인터페이스(1330)는 컴퓨터 시스템(1300)의 입력 및/또는 출력 주변장치를 프로세서(1310) 및 메모리(1320)에 결합시킬 수 있다. 프로세서(1310)는 메모리(1320)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(1300)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(1340)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(1330)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(1340)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(1330)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(1340)을 거치지 않고 주변장치 인터페이스(1330)에 결합될 수도 있다.

전력 회로(1350)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(1350)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(1360)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(1360)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.

이러한 도 13의 실시예는, 컴퓨터 시스템(1300)의 일례일 뿐이고, 컴퓨터 시스템(1300)은 도 13에 도시된 일부 컴포넌트가 생략되거나, 도 13에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 13에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1360)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(1300)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

이와 같이, 본 발명의 실시예들에 따르면, 모션 센싱 입력기기를 이용하여 사용자의 신체적 특징을 파악하고 이를 이용하여 가상 모니터라는 새로운 개념을 도입하여 손으로 정확하게 마우스를 제어할 수 있는 게임 인터페이스를 구현할 수 있다. 따라서, 본 발명에서는 가상 모니터 기반의 핸드 마우스 인터페이스를 설계하고 구현할 수 있으며, 이러한 가상 모니터 기반의 핸드 마우스는 기존 인터페이스에 비해 정확성이 높고, 매우 직관적이고 사용하기 쉽다. 더 나아가, 본 발명에 따른 핸드 마우스 인터페이스는 또 다른 인터페이스를 생성할 수 있으며, 예를 들어 가상 모니터 공간을 상하좌우의 4등분을 하여 방향키로 사용할 수도 있다.

본 발명에서는 사용자의 신체적 특징에 기초하여 생성된 가상 모니터를 적용함으로써 기존 영상처리 알고리즘을 사용하지 않고도 매우 직관적이고 뛰어난 성능의 핸드 마우스를 구현할 수 있고, 이는 매우 간단하고 쉬운 방법이며 더 많은 분야의 인터페이스 기술에 적용될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 컴퓨터로 구현되는 방법에 있어서,
   사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 단계;
   상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 단계; 및
   상기 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환함으로써 게임 인터페이스를 위한 마우스 이벤트를 발생시키는 단계
   를 포함하고,
   상기 발생시키는 단계는,
   상기 사용자에 대해 생성된 상기 가상 모니터를 둘 이상의 공간으로 분할하여 상기 분할된 공간 각각에 대해 상기 게임 인터페이스를 위한 서로 다른 방향키 기능을 제어하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
2. 제1항에 있어서,
   상기 추출하는 단계는,
   모션 센싱 입력기기를 이용하여 상기 신체적 특징 정보를 추출하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
3. 제1항에 있어서,
   상기 추출하는 단계는,
   모션 센싱 입력기기를 이용하여 상기 사용자의 골격과 관련된 스켈레톤 데이터(skeleton data)를 얻어 상기 스켈레톤 데이터에 따른 스켈레톤 이미지를 구성하는 단계; 및
   상기 스켈레톤 이미지와 깊이 정보를 이용하여 상기 신체적 특징 정보를 추출하는 단계
   를 포함하는 컴퓨터로 구현되는 방법.
4. 제1항에 있어서,
   상기 추출하는 단계는,
   상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 머리 위치를 포함하는 특징 정보를 추출하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
5. 제1항에 있어서,
   상기 생성하는 단계는,
   상기 신체적 특징 정보를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
6. 제1항에 있어서,
   상기 추출하는 단계는,
   상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 얼굴 위치를 포함하는 특징 정보를 추출하고,
   상기 생성하는 단계는,
   상기 팔 길이, 상기 어깨 너비, 상기 척추 위치, 상기 얼굴 위치를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
7. 제6항에 있어서,
   상기 생성하는 단계는,
   상기 어깨 너비를 이용하여 상기 가상 모니터의 가로 길이를 설정하고
   상기 척추 위치와 상기 얼굴 위치 사이의 거리를 이용하여 상기 가상 모니터의 세로 길이를 설정하고,
   상기 팔 길이를 이용하여 상기 사용자와 상기 가상 모니터 사이의 거리를 설정하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
8. 제1항에 있어서,
   상기 발생시키는 단계는,
   상기 가상 모니터 상의 좌표에 상기 가상 모니터의 상기 실제 모니터의 크기 비율을 곱함으로써 상기 가상 모니터 상의 좌표를 상기 실제 모니터 상의 좌표로 변환하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
9. 제1항에 있어서,
   상기 발생시키는 단계는,
   상기 가상 모니터의 x축과 y축 방향에 대한 움직임을 마우스의 이동 기능으로 제어하고 상기 가상 모니터의 z축 방향에 대한 움직임을 마우스의 클릭 기능으로 제어하는 것
   을 특징으로 하는 컴퓨터로 구현되는 방법.
10. 제9항에 있어서,
    상기 발생시키는 단계는,
    상기 z축 방향에 대한 움직임 거리가 상기 사용자와 상기 가상 모니터 사이의 거리 이내이면 클릭 이벤트를 발생시키는 것
    을 특징으로 하는 컴퓨터로 구현되는 방법.
11. 제10항에 있어서,
    상기 발생시키는 단계는,
    상기 클릭 이벤트가 일정 시간 이내에 연속적으로 복수 회 발생되면 더블 클릭 이벤트로 인식하는 것
    을 특징으로 하는 컴퓨터로 구현되는 방법.
12. 삭제
13. 적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    사용자에 대해 획득한 영상에서 상기 사용자의 신체적 특징 정보를 추출하는 과정;
    상기 신체적 특징 정보를 이용하여 실제 모니터에 대응되는 가상 모니터를 생성하는 과정; 및
    상기 가상 모니터를 이용하여 실제 모니터 상의 좌표로 변환함으로써 게임 인터페이스를 위한 마우스 이벤트를 발생시키는 과정
    을 처리하고,
    상기 발생시키는 과정은,
    상기 사용자에 대해 생성된 상기 가상 모니터를 둘 이상의 공간으로 분할하여 상기 분할된 공간 각각에 대해 상기 게임 인터페이스를 위한 서로 다른 방향키 기능을 제어하는 것
    을 특징으로 하는 시스템.
14. 제13항에 있어서,
    상기 추출하는 과정은,
    모션 센싱 입력기기를 이용하여 상기 사용자의 골격과 관련된 스켈레톤 데이터(skeleton data)를 얻어 상기 스켈레톤 데이터에 따른 스켈레톤 이미지를 구성한 후, 상기 스켈레톤 이미지와 깊이 정보를 이용하여 상기 신체적 특징 정보를 추출하는 것
    을 특징으로 하는 시스템.
15. 제13항에 있어서,
    상기 추출하는 과정은,
    상기 사용자의 팔 길이, 어깨 너비, 척추 위치, 얼굴 위치를 포함하는 특징 정보를 추출하고,
    상기 생성하는 과정은,
    상기 팔 길이, 상기 어깨 너비, 상기 척추 위치, 상기 얼굴 위치를 이용하여 상기 가상 모니터의 크기와 위치를 설정하는 것
    을 특징으로 하는 시스템.

Images