KR20110013076A - 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치 - Google Patents

Abstract

본 발명은 손동작과 휴대가 간편한 반지형태의 마우스의 입력을 카메라와 무선통신을 통해 전송받아 다양한 멀티미디어 기기의 동작을 사용자가 편리하게 제어할 수 있는 입력장치에 관한 것이다.

반지, 링, 양손, 무선, 카메라, 스테레오 카메라, 멀티미디어 기기, 키오스크, 리모컨, 제스쳐, 터치, 인터페이스

Description

카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치{Ring Input Device for Gestural and Touch Interface use Camera System}

기존 전자제품 및 컴퓨터 시스템의 보조 입력 장치들은 휴대가 불편하고 입력수단 자체만으로 다양한 입력을 하기 어려운 단점이 있었다. 특히 IPTV는 다양한 컨텐츠와 양방향의 서비스를 제공한다는 점에서 기존 TV와는 다른 특징을 가지고 있다. 하지만 IPTV의 보조 입력 장치는 기존 TV와 같은 리모컨을 이용하며 오히려 버튼수가 늘어 사용자들이 손쉽게 사용하기 어려운 단점이 있다.

웹상의 많은 콘텐츠가 텍스트 기반의 콘텐츠에서 UCC와 같은 멀티미디어 콘텐츠로 구성되고 있는데 반해 이러한 멀티미디어 콘텐츠 제작에 있어서 기존의 입력 장치만으로는 한계가 있다. 대표적으로 3차원 그래픽 툴을 이용한 콘텐츠 제작은 마우스를 통해 입력하는 것으로는 사용자가 의도하는 것을 제대로 표출하기 어려운 점이 많다.

또한, 유비쿼터스 네트워크 시대를 맞이하여 언제 어디서나 개인화된 입력장치를 통해 수많은 정보를 제공하는 네트워크 시스템에 접속하여 사용자 자신이 원하는 정보를 손쉽게 입력 및 획득하기 위한 보조 입력 장치가 필요하다.

이러한 필요성에 의해서 언제 어디서나 손쉽게 정보 입력 및 획득이 가능하도록 사람의 손짓(제스쳐)과 손에 착용이 가능하여 휴대성이 높은 반지형태의 입력장치 시스템을 발명하게 되었다.

최근 출시되는 노트북의 경우 웹캠이 장착된 경우가 대다수이며 데스크톱 컴퓨터에서도 외장형 웹캠을 많이 이용하고 있다. 또한 휴대폰과 같은 기기는 카메라가 기본으로 장착되어 나오고 있는 등 대부분의 멀티미디어 기기는 카메라가 하나쯤은 장착이 되어있는 것이 일반적이다. 사람의 손짓을 인식하기 위해서는 3차원 공간상에 있어서 거리정보를 바탕으로 인식물체와 아닌 물체의 구분을 정확하게 해야 하는 것이 가장 핵심이다. 그렇기 때문에 최근에는 사람의 눈과 유사한 2개의 카메라를 통해 3차원 입체 정보를 판독 가능한 스테레오 카메라가 이용되고 있다. 하지만 앞서 말했듯이 2개의 카메라는 흔히 구성될 수 있는 요소는 아니다.

TV와 같이 기본적으로 웹캠이 장착되어 있지 않은 디스플레이 장치는 스테레오 카메라를 이용하여 사용하는 것을 권장하고, 다수의 멀티미디어 기기에 추가적인 비용이나 수고가 들어가지 않도록 기본적으로 단일 카메라를 이용한 인식 시스템을 구성해야 한다. 하나의 카메라를 통해 동작을 인식하는 기존 기술은 카메라가 특별한 색을 머신러닝이라는 학습과정을 통해 계속하여 추적하는 방법이 사용되고 있다. 하지만 보통의 경우 공간감을 위해서 적외선 센서나 거리 센서와 같은 보조 센서를 이용해야 한다.

하지만 적외선 센서와 거리센서는 추가적으로 장치되어야 하는 요소이므로 이러한 요소가 없이도 동작을 정확하게 인식하게 하기 위해서는 두 개의 마커를 통해 두 마커 사이의 거리를 인식하는 방법을 사용해야 할 것으로 생각한다.

손짓을 인식하기 위해서는 손에 부착하는 형태를 생각해야 했다. 또한 휴대성을 고려해 보면 반지형태로 입력장치를 만들어 손에 간편하게 착용이 가능하고, 미착용 시에도 작은 부피이기 때문에 손쉽게 휴대가 가능하다는 장점이 있었다. 또한 카메라의 정확성을 고려하기 위해 두 개의 마커가 필요했기 때문에 양손에 각각 하나씩의 반지를 만들어 어떠한 환경에서도 적용이 가능하게 만들어야 한다.

최근 많은 멀티미디어 기기에 적용되고 있는 쌍방향 데이터 교환 및 실시간 통신 블루투스(Bluetooth)를 적용하며 무선 네트워크 환경(Wi-Fi)을 이용하여 외부에서도 접속할 수 있는 기기를 만들어야 한다.

본 발명의 목적은 언제 어디서나 쉽게 다양한 종류의 멀티미디어 디스플레이 기기에 접속하여 손짓과 반지형태 마우스를 통해 입력 및 다양한 표현이 가능하게끔 하는 것을 목적으로 한다.

무선통신을 이용하여 원격으로 기기에 접속이 가능하기 때문에 언제 어디서나 사용자가 원하는 동작을 할 수 있는 것을 특징으로 하며, 카메라를 통해 손짓을 동시에 인식하게 되면 3D 그래픽 작업을 손짓과 반지형태 마우스를 이용하여 기존의 컴퓨터 보조 입력 장치인 키보드와 마우스로 입체를 표현할 때 보다 더욱 효과적으로 표현할 수 있는 것을 목적으로 한다.

본 발명인 RingMote는 무선통신을 통해 양손에 끼워지는 터치스크린이 장치된 반지형태의 마우스를 이용하여 다양한 멀티미디어 기기(IPTV, 컴퓨터, 핸드폰, 디지털 카메라, 키오스크 등)에 입력 신호를 보낼 수 있고, 멀티미디어에 장착된 한 대 이상의 카메라를 통해 사용자가 손의 동작을 인식하여 멀티미디어 기기를 이용할 때 언제 어디서나 손쉽게 정보의 입력 및 콘텐츠 활용이 용이한 입력장치이다.

카메라가 기본적으로 장착된 핸드폰, 디지털 카메라, 최근 출시되는 웹캠이 장착된 노트북의 경우 Bluetooth 통신을 이용하여 반지형태의 RingMote로 손짓(제스 쳐) 및 다양한 입력이 가능하다. 또한 TV의 경우 하나의 외장형 웹캠을 장착하고 Bluetooth와 Wi-Fi무선통신을 이용하여 입력 정보를 송신 할 수 있다. 게다가 두 대 이상의 카메라로 구성되는 스테레오 카메라를 이용한다면 더욱 손쉽게 손동작을 추적할 수 있다.

공공장소에서 무인화시스템과 정보제공을 위해 설치되어 있는 키오스크의 경우에도 적용이 가능하다. 통상의 관련지식을 가지고 있는 자라면 한 대 이상의 카메라가 손짓을 인식하고, 터치스크린이 적용된 반지형태의 마우스를 통해서 세세한 입력이 가능한 것을 인지할 수 있다.

게다가 카메라가 없는 시스템에서는 터치스크린이 적용된 반지형태의 마우스만을 이용해서 기존 마우스에서 구현되는 대부분의 기능을 사용 가능하기 때문에 범용성이 높다. 반지형태의 마우스의 터치스크린에서는 현재 어떤 기기에 접속되어 있는지를 알려주는 접속정보, 어떤 동작을 하고 있는지 알려주는 상태 정보창으로 사용되며 이외에도 간단한 정보를 받을 수 있는 기능을 수행한다.

유비쿼터스 네트워크 시스템 하에서는 모든 기기들이 네트워크로 연결되어 언제 어디서나 정보를 제공하게 된다. 유비쿼터스 시대에는 사용자들이 언제 어디서나 손쉽게 네트워크에 접속하여 정보를 입력할 수 있는 개인화된 입력장치를 요구할 것이다. 휴대성이 높은 반지형태의 본 발명은 이러한 시대의 흐름에 맞추어 개인 사용자들의 욕구를 충족 시켜줄 수 있는 아이템이다.

본 발명은 손동작과 휴대가 간편한 반지형태의 마우스의 입력을 카메라와 무선통신을 통해 전송받아 다양한 멀티미디어 기기의 동작을 사용자가 편리하게 제어할 수 있는 입력장치에 관한 것이다.

카메라와 반지형태의 마우스, 손짓을 이용하여 기존 컴퓨터의 키보드와 마우스, TV의 리모컨 등의 입력 수단의 불편함을 해소하고 인터넷의 멀티미디어 콘텐츠와 IPTV서비스와 같이 다양한 콘텐츠의 정보를 손쉽게 제어가 가능한 특징이 있다.

또한 기본적으로 3차원 상의 정보를 손쉽게 처리하는 스테레오 카메라를 이용할 수도 있지만 노트북에 장착된 웹캠, 휴대폰에 장착된 카메라와 같이 기존에 널리 보급되어 사용되는 한 대의 카메라 시스템을 이용하는데 초점을 맞추었다. 추가적인 구성이 필요 없이 본 발명품만으로 손짓을 인식하고 입력이 가능하여 많은 사용자들이 사용하기 좋은 시장성을 가지고 있다.

게다가 본 발명은 카메라가 없더라도 무선통신(Bluetooth, Wi-Fi)이 지원되는 장치라면 본 발명품의 터치스크린을 통해 기존 마우스의 기능을 이용할 수 있다. 사용자는 언제 어디서나 휴대가 간편한 입력장치를 일상생활의 전반에 휴대하고 다니면서 공공장소에 설치된 키오스크와 같은 정보를 제공하는 시스템에 접속하여 정보 입력 및 획득을 편리하게 할 수 있는 장점이 생긴다.

도 1은 본 발명의 실시 예를 나타낸 그림이다. 그림과 같이 TV 디스플레이위에 장착된 한 대 이상의 카메라렌즈를 통해 손의 움직임을 포착하여 손짓을 인식하게 된다. 또한 사용자의 양쪽의 검지손가락에 끼워진 터치스크린이 장치된 반지 형태의 마우스를 통해 세부 입력이 가능하다.

특히, 두 개의 반지형태로 구성되는 본 발명품은 한 대의 카메라 렌즈로 구성되는 일반적인 웹캠이 장착된 노트북, 데스크톱 컴퓨터, 휴대폰, 디지털 카메라와 같은 기기의 경우에도 거리인식 및 식별이 가능하다. 왜냐하면 하나의 반지가 기준점이 되어 나머지 반지 위치와의 거리를 인식하여 삼각 측량법에 의한 손짓 표현이 가능하기 때문이다. 그렇기 때문에 별도의 추가 카메라 구성이 필요 없이 본 발명만으로도 손쉽게 기기에 접속하여 자유롭게 입력 및 표현이 가능하다.

더군다나 카메라가 없는 디지털 기기에도 본 발명은 편리한 입력수단이 된다. 기존의 마우스의 기능을 양쪽의 반지형태의 본 발명품만으로 손쉽게 구현할 수 있기 때문에 사용자는 언제 어디서나 무선통신을 통해 기기에 접속하여 입력 또는 표현이 가능한 것이 특징이다.

도 2는 손가락에 끼워지는 반지 형태의 마우스를 모습을 나타내는 것으로 반지의 바깥쪽은 터치스크린으로 구성되어 터치를 통해서 기존 마우스와 같은 클릭, 드래 그 등의 기능을 가진다. 또한 손짓(제스쳐)와 혼합되어 사용하게 되면 입체형태의 표현을 하거나 공중에서 3D물체를 회전시키는 역할을 수행할 수 있게 된다.

예를 들면 왼쪽 반지의 터치스크린을 한번 터치하게 되면 원클릭(선택), 두 번 터치하게 되면 투 클릭(실행), 터치스크린을 눌러 아래 또는 위로 끌어내린다는 느낌을 가지고 움직이면 드래그(끌어서 선택하기)등의 기능을 수행한다. 또한 3D그래픽 화면을 보는 경우 손짓과 마우스를 동시에 이용하여 화면 회전, 확대/축소의 기능을 할 수 있는 것이 특징이다.

또한 터치스크린 부분의 스크린은 연동된 기기와 그에 따른 필요 정보들을 순차적으로 보여주는 기능을 하는 것을 특징으로 한다.

위의 실시 예는 단지 본 발명의 이해를 돕기 위한 방법상의 설명일 뿐 관련분야에 통상의 지식을 가진 자라면 청구의 범위에서 진정한 발명의 범위를 해석 할 수 있을 것이다.

손짓(제스쳐) 인터페이스는 사용자가 입력한 다양한 설정에 의해서 입력이 가능하다. 예를 들면 [도 3]과 같이 화면을 확대하는 기능과 [도 4]와 같이 화면을 축소하는 기능을 두 개의 반지를 통해 설정할 수 있다.

[도 5]는 한 대 이상의 카메라 렌즈를 통해 인식되는 손짓을 통해 공중에서 문자 입력이 가능한 것을 보여주는 실시도 이다. 키보드와 같은 별도의 장치 없이도 문자입력이 가능하다.

[도 6]은 본 발명의 시스템을 통해 3D 작업 및 콘텐츠 대응 시 실시 예를 나타낸 도면이다. 디스플레이 화면상에 3D 그래픽으로 구성된 콘텐츠나 3D 그래픽을 표현할 필요가 있을 때 손의 움직임과 반지의 터치스크린 동작을 통해 기존 마우스와 키보드로 정보를 입력하고 콘텐츠의 정보를 받거나 표현하는 것보다 용이한 특징을 가지고 있다.

도 1은 본 발명의 IPTV 적용 예를 나타낸 도면이다.

도 2는 본 손가락에 끼워지는 반지 형태의 마우스를 나타낸 도안이다.

도 3은 본 발명의 손짓(제스쳐) 인터페이스의 대표적인 예 (화면의 확대 명령을 입력하는 상황)을 보여주는 도면이다.

도 4는 본 발명의 손짓(제스쳐) 인터페이스의 대표적인 예 (화면의 축소 명령을 입력하는 상황)을 보여주는 도면이다.

도 5는 본 발명의 카메라 렌즈를 통해 인식되는 손짓을 통해 공중에서 문자 입력이 가능한 것을 보여주는 실시도이다.

도 6은 본 발명을 통해 3D 작업 및 콘텐츠 대응 시 실시 예를 나타낸 도면이다.

*도면의 주요 부분에 대한 부호의 설명

110 : 터치스크린이 장치된 반지 형태의 본 발명품

111 : 명령 입력의 기능을 하는 터치스크린

120 : 양 손

121 : 왼손

122 : 오른손

130 : TV 디스플레이위에 장착된 한 대 이상의 카메라

140 : 멀티미디어 디스플레이

150 : 3D 콘텐츠

Claims (3)

1. 본 발명은,

   터치스크린을 통해 사용자의 입력정보를 받는 반지형태의 마우스와;

   반지형태의 마우스를 끼고 손짓을 통해 입력정보를 보내는 양쪽 손;

   적어도 하나 이상의 렌즈가 포함된 카메라와;

   카메라를 통해 받은 정보를 출력 가능한 멀티미디어 디스플레이 장치;

   를 통해 실현되는 것을 특징으로 하는 손짓 및 터치형 양손 반지 마우스 입력 장치.
2. 제 1항에 있어서, 터치스크린을 통해 사용자의 입력정보를 받는 반지 형태의 마우스는

   Bluetooth, Wi-Fi 등 기타 무선으로 쌍방의 정보를 송수신이 가능한 장치를 구비하는 것을 특징으로 한다.
3. 제 1항에 있어서, 터치스크린을 통해 사용자의 입력정보를 받는 반지 형태의 마우스는

   양손에 각각 장착될 수 있도록 같은 기능을 하는 반지형태의 마우스가 두 개인 것을 특징으로 한다.

Images