KR101234094B1 - 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법 - Google Patents

Abstract

본 발명은 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법에 관한 것으로서, 사용자의 움직임을 감지하는 동작 감지부와, 상기 사용자에게 촉각 피드백을 제공하기 위한 촉각 출력부를 구비한 포인팅 수단, 및 상기 포인팅 수단에 의해 감지된 상기 사용자의 움직임으로부터 화면에 표시되는 포인터를 조작하고, 상기 포인터의 움직임 및 상기 포인터의 조작에 따른 화면 변화에 따라 대응하는 촉각 정보를 상기 포인팅 수단으로 출력하는 단말 수단을 포함하며, 상기 포인팅 수단은, 상기 단말 수단으로부터 출력된 촉각 정보에 따라 촉각 출력하도록 한다. 본 발명에 따르면, 화면상의 물체, 그래픽 사용자 인터페이스 요소들을 손의 움직임을 통해서 조작할 수 있도록 하는 동시에 촉각적인 느낌을 느끼도록 하여 시각정보에만 의존하던 포인팅 장치의 조작을 사용자 인터페이스에 촉각 피드백 기능을 부여함으로써 사용성 및 사용자의 인식률을 증대시키는 효과가 있다.

Description

촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법{Apparatus for motion based pointing providing haptic feedback and control method thereof}

본 발명은 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법에 관한 것으로, 화면상의 물체, 그래픽 사용자 인터페이스 요소들을 손의 움직임을 통해서 조작할 수 있도록 하는 동시에 촉각적인 느낌을 느낄 수 있도록 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법에 관한 것이다.

일반적으로 이용되는 포인팅 장치의 경우 원격지에서 조작할 수 있도록 하는 리모컨을 예로들 수 있다.

리모컨에 자이로 센서 등을 이용하여 리모콘의 회전 방향 및 움직임에 따라 화면을 제어하는 기능이 구현되고 있다. 또한, 자이로 센서를 복수개 구비하여, 여러방향으로의 움직임을 감지하여, 리모컨의 흔들림에 따라 화면을 제어하는 기능 또한 구현되고 있다.

최근에는 리모컨에 촉각 자극을 함께 주어 사용자가 화면을 제어하면서 촉각 적인 느낌을 함께 느낄 수 있도록 하는 기술이 개발되고 있다.

그러나, 현재는 포인터를 이용하여 화면 조작 시, 미세한 조정에 대해서도 사용자가 이를 인지하도록 하는 촉각 피드백을 제공하는 기술은 구현되고 있지 않다. 즉, 사용자는 포인터를 이용하여 화면을 제어하는 경우 촉각 피드백으로부터 방향성 또는 포인터의 위치 등을 감지하는 것은 쉽지 않았다.

상기한 문제를 해결하기 위한 본 발명의 목적은, 화면상의 물체, 그래픽 사용자 인터페이스 요소들을 손의 움직임을 통해서 조작할 수 있도록 하는 동시에 촉각적인 느낌을 느끼도록 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법을 제공함에 있다.

또한, 본 발명의 다른 목적은, 사용자의 손 또는 손목의 움직임에 따라 측정되는 각도 변화를 이용하여 단말 수단과 연결된 화면상의 포인터를 제어함으로써 기존의 마우스를 대체하는 포인팅 장치로 활용될 수 있으며, TV나 음향 기기등의 제어를 위한 리모콘으로도 활용 가능한 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법을 제공함에 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치는, 사용자의 움직임을 감지하는 동작 감지부와, 상기 사용자에게 장축 방향 또는 좌우 방향으로 촉각 피드백을 제공하기 위한 촉각 출력부를 구비한 포인팅 수단, 및 상기 포인팅 수단에 의해 감지된 상기 사용자의 움직임으로부터 화면에 표시되는 포인터를 조작하고, 상기 포인터의 움직임 및 상기 포인터의 조작에 따른 화면 변화에 따라 대응하는 촉각 정보를 상기 포인팅 수단으로 출력하는 단말 수단을 포함하며, 상기 촉각 출력부는, 상기 단말 수단으로부터 출력된 촉각 정보에 따라 상, 하, 좌, 우, 전, 후 중 적어도 하나의 방향으로 충돌 또는 진동을 발생시키는 하나 이상의 선형 진동기를 포함하는 것을 특징으로 한다.

상기 촉각 출력부는, 상기 선형 진동기의 진동체를 한쪽 방향 또는 양쪽 방향으로 충돌시키거나, 또는 진동을 발생시키는 것을 특징으로 한다.

상기 촉각 출력부는, 진동 발생 시, 짧은 진동 또는 그 세기가 점진적으로 세어지거나 약해지는 진동을 발생시키는 것을 특징으로 한다.

상기 촉각 출력부는, 상기 포인터의 움직임 또는 상기 포인터의 조작에 따른 화면 변화에 따라 대응하는 촉각 정보 출력 시 마다, 상기 선형 진동기의 진동체를 반대 방향으로 충돌 시키거나, 진동을 발생시키는 것을 특징으로 한다.

상기 촉각 출력부는, 상기 포인터의 움직임에 대응하는 방향으로 충돌을 발생시키는 것을 특징으로 한다.

상기 촉각 출력부는, 두 개의 선형 진동기가 2축 방향으로 서로 수직하게 배치되어, 상기 선형 진동기의 진동체를 이용하여 충돌 또는 진동을 발생시키는 것을 특징으로 한다.

상기 촉각 출력부는, 세 개의 선형 진동기가 3축 방향으로 서로 수직하게 배치되어, 상기 선형 진동기의 진동체를 이용하여 충돌 또는 진동을 발생시키는 것을 특징으로 한다.

상기 동작 감지부는, 상기 포인팅 수단의 움직임으로부터 3축 방향의 각속도를 측정하는 각속도 센서와, 상기 포인팅 수단의 움직임으로부터 3축 방향의 가속도를 측정하는 가속도 센서를 포함하는 것을 특징으로 한다.

상기 포인팅 수단은, 사용자로부터 제어 명령을 입력받는 입력부, 및 상기 단말 수단과 신호를 송수신하는 통신부를 더 포함하는 것을 특징으로 한다.

상기 단말 수단은, 상기 포인팅 수단에 의해 감지된 상기 사용자의 움직임에 대응하는 화면 상의 좌표 위치를 인식하여 상기 포인터의 동작을 제어하기 위한 제어신호를 출력하고, 상기 포인터의 움직임 또는 상기 포인터 조작에 따른 화면 변화를 인식하는 동작 인식부, 및 상기 동작 인식부에 의해 인식된 상기 포인터의 움직임 또는 화면 변화에 대응하는 촉각 정보를 추출하는 촉각 정보 추출부를 포함하는 것을 특징으로 한다.

상기 촉각 정보 추출부는, 상기 포인터의 위치, 이동 거리, 이동 속도, 이동 각도, 모양, 및 상기 포인터를 이용한 화면 선택 여부 중 적어도 하나의 변화에 대응하여 촉각 정보를 추출하는 것을 특징으로 한다.

상기 촉각 정보 추출부는, 화면에 표시된 윈도우, 메뉴, 아이콘, 이모티콘, 버튼, 도형, 상기 포인터에 의해 선택된 영역에 대한 모양, 크기, 위치, 각도 중 적어도 하나의 변화에 대응하여 촉각 정보를 추출하는 것을 특징으로 한다.

상기 촉각 정보 추출부는, 화면상에서 상기 포인터가 지시하는 대상의 실행 가능 여부에 따라 촉각 정보를 추출하는 것을 특징으로 한다.

상기 단말 수단은, 화면을 구비한 표시부, 및 상기 포인팅 수단과 신호를 송수신하는 통신부를 더 포함하는 것을 특징으로 한다.

한편, 상기한 목적을 달성하기 위한 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 제어방법은, 사용자의 움직임에 따른 포인팅 수단의 움직임을 감지하는 단계, 상기 포인팅 수단의 움직임에 대응하여 화면에 표시된 포인터 의 동작을 제어하기 위한 제어신호를 출력하는 단계, 화면상에서 상기 포인터의 움직임 또는 상기 포인터 조작에 따른 화면 변화를 인식하는 단계, 상기 인식하는 단계에서 인식된 상기 포인터의 움직임 또는 화면 변화에 대응하여 촉각 정보를 출력하는 단계, 및 상기 출력된 촉각 정보에 따라 상기 포인팅 수단의 선형 진동기를 이용하여 촉각 출력하는 단계를 포함하는 것을 특징으로 한다.

상기 인식하는 단계는, 상기 포인터의 위치, 이동 거리, 이동 속도, 이동 각도, 모양, 상기 포인터를 이용한 화면 선택 여부 중 적어도 하나의 변화를 인식하는 것을 특징으로 한다.

상기 인식하는 단계는, 화면에 표시된 윈도우, 메뉴, 아이콘, 이모티콘, 버튼, 도형, 상기 포인터에 의해 선택된 영역에 대한 모양, 크기, 위치, 각도 중 적어도 하나의 변화를 인식하는 것을 특징으로 한다.

상기 인식하는 단계는, 화면상에서 상기 포인터가 지시하는 대상의 실행 여부를 인식하는 것을 특징으로 한다.

상기 촉각 출력하는 단계는, 선형 진동기의 진동체를 한쪽 방향 또는 양쪽 방향으로 충돌시키거나, 또는 진동을 발생시켜 촉각 출력하는 것을 특징으로 한다.

상기 촉각 출력하는 단계는, 선형 진동기의 진동체를 이용하여 상, 하, 좌, 우, 전, 후 중 적어도 하나의 방향으로 충돌 또는 진동을 발생시키는 것을 특징으로 한다.

본 발명에 따르면, 촉각 피드백을 이용하여 각종 기기의 사용자 인터페이스 의 성능 및 사용성을 향상시킬 수 있는 효과가 있다.

또한, 본 발명은, 시각정보에만 의존하던 포인팅 장치의 조작을 사용자 인터페이스에 촉각 피드백 기능을 부여함으로써 사용성 및 사용자의 인식률을 증대시키는 효과가 있다.

또한, 본 발명은 모션 인식에 기반한 포인팅 장치를 사용할 때 발생하는 모호성을 촉각 피드백을 통해 감소시키며, 정확한 조작이 가능하도록 하는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 구체적인 실시예를 설명한다.

도 1은 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 동작을 나타내는 도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치는, 크게 컴퓨터 등과 같은 제어장치 또는 모니터, TV 등과 같은 단말 수단(200)을 포함하며, 단말 수단(200)에 표시되는 포인터를 제어하는 포인팅 수단(100)을 포함한다.

예를 들어, 사용자가 컴퓨터 모니터의 화면 동작을 제어하고자 하는 경우, 포인팅 수단(100)을 컴퓨터 또는 모니터 등과 같은 단말 수단(200)에 연결하여 특정 모션을 취함으로써, 모니터의 포인터를 조작하여 동작 화면 등을 제어하게 된다.

이때, 포인팅 수단(100)에는 사용자의 손의 움직임을 측정할 수 있는 센서 등이 구비되어 있어, 사용자가 포인팅 수단(100)를 쥐고 각 축방향회전(roll. pitch, yaw) 또는 흔드는 동작(shake) 등을 이용하여 화면에 표시된 윈도우즈 창(102)의 크기, 위치, 스크롤 등을 조작하거나 메뉴를 이동하게 될 때에 촉각을 느끼면서, 촉각 피드백이 없을 때와 비교하여 더 편안하고 정교하게 조작할 수 있게 된다.

이때, 흔드는 동작은 여기서, 일반적으로 손목의 좌우 움직임(yaw)은 화면(101) 포인터(104)의 수평방향 움직임에 대응되고, 상하 움직임(pitch)은 화면(101)상의 포인터(104)의 수직방향 움직임에 대응된다. 도 1에서는 장축 방향으로 흔드는 예를 나타내었으나, 장축 방향뿐만 아니라 좌우, 또는 상하, 대각선 방향으로 흔드는 동작도 모두 해당된다.

도 2는 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 포인팅 수단(100)에 대한 구성을 도시한 블록도이고, 도 3은 포인팅 수단(100)에 대한 구성을 도시한 사시도이다.

도 2 및 도 3을 참조하면, 본 발명에 따른 포인팅 수단(100)은 입력부(110), 동작 감지부(120), 촉각 출력부(130), 제어부(140), 및 통신부(150)를 포함한다.

입력부(110)는 다수의 키 버튼 형태로 구현되어, 마우스의 좌우클릭, 스크롤 등의 기능을 대체하거나, 리모콘 등으로 활용될 때에 각종 명령 입력 버튼으로 이용된다.

동작 감지부(120)는 사용자의 손목의 움직임과 손의 움직임을 측정하는 관성 센서를 포함한다. 여기서, 관성센서는 3축 방향의 각속도를 측정하는 각속도 센서와, 3축 방향의 가속도를 측정하는 가속도 센서를 포함한다.

이때, 각속도 센서는 손목의 상, 하, 좌, 우 움직임만을 이용하여 화면에 표시된 포인터의 위치를 조정하는 경우 2축 만을 활용할 수도 있으며, 가속도 센서는 목적에 따라 1축 내지 3축을 자유롭게 설계할 수 있다.

촉각 출력부(130)는 선형 진동기를 기반으로 하여 사용자에게 촉각 정보를 전달한다. 이때, 촉각 출력부(130)는 복수개 구비될 수 있다.

촉각 출력부(130)는 포인팅 수단(100)의 장축 방향의 움직임에 대한 촉각 정보를 출력하는 제1 촉각 출력부(131)와, 제1 촉각 출력부(131)와 수직 방향으로 배치되어 포인팅 수단(100)의 수형 방향의 움직임에 대한 촉각 정보를 출력하는 제2 촉각 출력부(133)를 포함한다.

제1 촉각 출력부(131)는 선형 진동기가 포인팅 수단(100)의 길이 방향으로 배치되어, 포인팅 수단(100)의 길이 방향으로 양쪽 끝 부분에 충격 또는 진동을 발생시킨다.

바람직하게는, 제1 촉각 출력부(131)의 선형 진동기가 포인팅 수단(100)을 손으로 쥐었을 때 검지와 중지가 닿는 곳에 최대한 가깝게 배치하도록 한다.

제2 촉각 출력부(133)는 선형 진동기가 포인팅 수단(100)의 수평 방향으로 양쪽 끝 부분에 충격 또는 진동을 발생시킨다.

물론, 본 발명의 실시예에서는 촉각 출력부(130)가 제1 촉각 출력부(131)와 제2 촉각 출력부(133)로 구성되는 것을 도시하였으나, 이에 한정되는 것은 아니며, 단일의 촉각 출력부(130) 만으로 구현될 수도 있고, 셋 이상의 촉각 출력부(130)가 구현될 수도 있다.

촉각 출력부(130)의 선형 진동기의 동작원리는 도 5의 설명을 참조한다.

통신부(150)는 제어하고자 하는 단말 수단(200)과 통신을 수행한다.

제어부(140)는 입력부(110), 동작 감지부(120), 촉각 출력부(130), 및 통신부(150)의 동작을 제어한다.

또한, 제어부(140)는 사용자의 손 또는 손목, 팔 등의 움직임에 의해 동작 감지부(120)가 사용자 움직임을 감지하면, 통신부(150)를 통해 연결된 단말 수단(200)으로 감지된 움직임 정보를 출력한다.

또한, 제어부(140)는 통신부(150)를 통해 연결된 단말 수단(200)으로부터 움직임 정보에 대응하는 촉각 정보가 수신되면, 수신된 촉각 정보를 촉각 출력부(130)로 전달한다. 이로써, 촉각 출력부(130)는 제어부(140)로부터의 촉각 정보에 따라 충역 또는 진동을 발생시킨다.

도 4는 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 단말 수단(200)에 대한 구성을 도시한 블록도이다.

도 3에 도시된 바와 같이, 본 발명에 따른 단말 수단(200)은 통신부(210), 단말 제어부(220), 표시부(230), 동작 인식부(240), 및 촉각 정보 추출부(250)를 포함한다.

통신부(210)는 포인팅 수단(100)과 연결되어 포인팅 수단(100)에 의해 감지 된 사용자의 움직임 정보 및 사용자로부터 입력된 제어 명령 등을 수신한다. 또한, 통신부(210)는 수신된 움직임 정보에 대응하여 촉각 정보 추출부(250)로부터의 촉각 정보를 연결된 포인팅 수단(100)으로 제공한다.

표시부(230)는 통신부(210)를 통해 연결된 포인팅 수단(100)으로부터의 제어 신호에 따른 동작 화면, 포인터 등을 표시한다.

동작 인식부(240)는 통신부(210)를 통해 수신된 신호로부터 사용자로부터 입력된 제어명령을 파악한다. 또한, 동작 인식부(240)는 통신부(210)를 통해 수신된 사용자의 움직임 정보에 근거하여 사용자의 동작을 인식한다.

이때, 단말 제어부(220)는 동작 인식부(240)에 의해 인식된 동작에 대응하여 표시부(230)에 표시되는 포인터의 움직임 등을 제어한다.

또한, 단말 제어부(220)는 동작 인식부(240)에 의해 인식된 동작 정보를 촉각 정보 추출부(250)로 전달한다. 촉각 정보 추출부(250)는 단말 제어부(220)로부터 전달된 동작 정보에 대응하는 촉각 정보를 추출한다. 이때, 촉각 정보 추출부(250)는 촉각 출력 엔진을 통해 촉각 정보를 출력한다.

촉각 정보 추출부(250)에 의해 출력된 촉각 정보는 단말 제어부(220)에 의해 통신부(210)로 전달되어, 포인팅 수단(100)으로 송신된다.

도 5는 선형 진동기의 동작 원리를 설명하는데 참조되는 예시도이다.

먼저, 도 5의 (a)는 선형 진동기를 나타낸 것으로, 선형 진동기는 자기장을 이용하여 질량체가 선형 운동을 한다.

이때, 상하 방향으로 배치된 선형 진동기는 질량체의 움직임에 따라 포인팅 수단(100)의 상 또는 하측으로 진동을 발생시키고, 좌우 방향으로 배치된 선형 진동기는 질량체의 움직임에 따라 포인팅 수단(100)의 좌측 또는 우측으로 진동을 발생시킨다.

본 발명에 적용되는 선형 진동기는 기존의 촉각 자극을 발생시킬 때 사용되는 편심형 회전형 진동기에 비하여 반응이 빠를 뿐 아니라, 관성의 영향이 적어 전기신호가 중단된 후에 동작의 멈춤도 빠르므로, 순간적이고 짧은 촉각 정보를 전달하는 데 유리한 장점이 있다.

도 5의 (b)는 디지털 신호를 나타낸 것이고, 도 5의 (c)는 (b)의 디지털 신호에 대응하여 발생하는 선형 진동기의 진동 신호를 나타낸 것이다.

도 5의 (b) 및 (c)를 참조하면, 선형 진동기는 일반적으로 A의 경우와 같이 HIGH, LOW의 디지털 신호를 이용하여 제어할 경우, HIGH의 신호를 공급하면 질량체가 한쪽면으로 이동하고, LOW 신호를 공급하면 질량체가 반대편으로 이동한다.

이때, 선형 진동기는 디지털 신호의 경우 신호의 순간적인 변화가 발생하면서 질량체가 한쪽면에 부딪혀 충격을 발생시킨다.

또한, 선형 진동기는 전기신호가 중단된 후에도 남게 되는 관성의 영향을 적게 받는다. 즉, B의 경우와 같이 신호의 주기가 짧아져도 현재 신호와 이전 신호 사이의 간섭이 상대적으로 적다.

또한, 선형 진동기는 C와 같이 신호 발생의 주기를 매우 짧게 하면 질량체가 벽면에 충돌하지 않고 진동하게 된다.

도 6 내지 도 19는 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 수단(100)의 동작 설명에 참조되는 예시도이다.

도 6은 본 발명에 따른 포인팅 수단(100)을 이용하여 단말 수단(200)의 화면에 표시된 포인터를 움직이는 동안 제1 촉각 출력부(131)의 선형 진동기를 이용하여 촉각 피드백을 제공하는 동작 예를 나타낸 것이다.

도 6의 (a)에 도시한 바와 같이, 단말 수단(200)의 화면에 표시된 포인터가 시작점으로부터 지속적인 움직임을 보이고 있는 경우, 포인터의 움직임, 즉, 포인터의 움직임을 제어하는 포인팅 수단(100)을 움직이기 위해 사용자가 손 또는 손목 등의 움직임에 따라 움직이는 정도를 사용자에게 전달하기 위하여 제1 촉각 출력부(131)를 통해 촉각 정보를 출력한다.

단말 수단(200)의 촉각 정보 추출부(250)는 포인터의 위치가 특정 변화량 이상으로 발생할 때마다 촉각 정보를 출력한다.

따라서, 사용자는 포인터의 위치를 시각적인 정보뿐 아니라, 촉각적인 정보에 근거하여 판단하게 되므로 포인터의 위치를 정밀하고 편안하게 조작할 수 있게 된다.

뿐만 아니라, 단말 수단(200)의 촉각 정보 추출부(250)는 포인터의 이동속도에 비례하여 촉각 출력 발생 빈도를 조절하므로, 사용자가 직관적으로 포인터의 이 동속도를 체험할 수 있게 되는 장점이 있다.

단말 수단(200)의 촉각 정보 추출부(250)는, 도 6의 (b)와 같이 촉각 출력을 발생시키는 시점에 짧은 HIGH/LOW신호를 반복하여 출력할 수 있다. 이때, 포인팅 수단(100)의 선형 진동기는 단말 수단(200)으로부터의 촉각 정보에 따라 진동체를 순간적으로 양방향 왕복 충돌이 일어나도록 한다.

이 경우, 1회 동작 후에도 질량체의 위치가 원래 위치로 복원되는 장점이 있다.

한편, 단말 수단(200)의 촉각 정보 추출부(250)는, 도 6의 (c)와 같이 촉각 출력을 발생시키는 시점에 이전의 상태와 반대가 되는 LOW 또는 HIGH신호를 한번만 발생시키는 신호를 출력할 수 있다. 이 경우, 더 빠른 반응을 일으키는 동시에 에너지 소모를 줄일 수 있는 장점이 있다.

즉, 단말 수단(200)은 포인터의 움직임이 발생할 때마다 이벤트를 발생시키는 경우가 대부분이므로, 포인팅 수단(100)을 이용하여 화면상의 물체를 위치 이동시키거나, 그림을 그리거나 글씨를 쓰는 동안 포인터의 움직임 이벤트가 발생할 때마다, 선형 진동기의 양면 충돌을 발생시킬 수 있다.

또한, 포인터의 움직임뿐만 아니라, 포인팅 수단(100) 자체에서 손목이 단위 각도만큼 회전하거나 손이 단위 위치만큼 위치가 변하였을 때, 촉각 출력을 발생시킴으로써 조작성을 높이는 효과를 기대할 수 있다.

도 7은 본 발명에 따른 포인팅 수단을 이용하여 단말 수단(200)의 화면에 표 시된 포인터를 움직이는 동안 제2 촉각 출력부(133)의 선형 진동기를 이용하여 촉각 피드백을 제공하는 동작 예를 나타낸 것이다.

도 7의 (a)는 포인터가 시작점으로부터 수평방향으로 지속적인 움직임을 보이고 있는 어느 방향으로 어느 정도 움직이는 지를 나타내는 그래프이다.

이와 같이, 포인터가 수형방향으로 지속적인 움직임을 보이는 경우, 단말 수단(200)의 촉각 정보 추출부(250)는 그에 대응하는 촉각 정보를 출력한다. 이때, 단말 수단(200)으로부터의 촉각 정보에 제2 촉각 출력부(133)가 반응하여 선형 진동기의 진동체를 움직여 충돌을 발생시킨다.

제2 촉각 출력부(133)의 선형 진동기는 사용자의 손목의 좌우 회전이나 손의 좌우 움직임에 대응할 수 있도록 배열되어있는데, 포인팅 수단(100)과 연동되는 단말 수단(200)의 화면에 표시된 포인터의 위치가 특정 변화량 이상으로 발생할 때마다, 도 6에서 설명한 바와 마찬가지로, 출동을 발생시킨다.

다시 말해, 제2 촉각 출력부(133)의 선형 진동기는 도 7의 (b)와 같이, 촉각출력을 발생시키는 시점에 짧은 HIGH/LOW신호를 반복함으로써 순간적인 양방향 왕복 충돌이 일어나게 하거나, 도 7의 (c)와 같이 촉각 출력을 발생시키는 시점에 이전의 상태와 반대가 되는 LOW 또는 HIGH신호를 한번만 발생되는 신호에 따라 충돌이 일어나게 한다.

한편, 제2 촉각 출력부(133)의 선형 진동기는 어느 방향으로 움직였는지에 대한 방향성을 전달하기 위해, 도 7의 (d)와 같은 촉각발생신호에 반응하여 충돌을 발생시킬 수도 있다.

즉, 포인터가 오른쪽으로 움직이고 있는 경우, 단말 수단(200)의 촉각 정보 추출부(250)는 제2 촉각 출력부(133)에 순간적인 HIGH를 가한 후 점진적으로 줄어드는 신호를 출력함으로써 질량체가 오른쪽으로는 충돌을 일으키지만 왼쪽으로 복귀할 때에는 서서히 복귀하여 충격이 발생되지 않도록 한다. 한편, 포인터가 왼쪽으로 이동할 경우, 단말 수단(200)의 촉각 정보 추출부(250)는 제2 촉각 출력부(133)에 점진적으로 증가되는 HIGH 신호를 가한 후, 순간적으로 LOW로 변하는 신호를 공급하여 질량체가 오른쪽으로 이동하지만 충격이 없게 하며, 순간적으로 왼쪽으로 충동할 수 있도록 한다.

이 경우, 충격이 발생하지 않도록 점진적으로 이동시키는 제어가 짧은 시간(일반적으로 20msec이내)에 가능해지면, 사용자는 시간차를 느끼지 못하고 즉각적인 왼쪽 혹은 오른쪽 충격만 느끼게 된다. 따라서, 도 7의 (d)와 같은 방법은 사용자에게 촉각적인 정보로 어느 방향으로 움직이고 있는지도 직관적으로 알려주는 장점이 있다.

이와 같은 방법은 본 발명에는 도시하지 않았으나, 촉각 출력부(130)의 선형진동기를 상하 수직으로 배치함으로써 상하 움직임에도 적용할 수 있음은 당연한 것이다.

도 8 내지 도 15는 단말 수단(200)의 화면상에 표시되는 동작 화면에 대응하여 포인터의 움직임에 따른 촉각 피드백을 제공하는 실시예를 나타낸 것이다.

먼저, 도 8은 스크린상에서 화면, 또는 아이콘 등의 위치를 옮기는 과정에서 촉각 피드백을 제공하는 예를 나타낸 것이다.

도 8의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 8의 (b)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

도 8의 (a)에 도시한 바와 같이, 단말 수단(200)과 연결된 화면에는 파일, 단축기, 폴더 등을 상징하는 아이콘이나, 열려있는 창이 표시되어 있어 포인터의 조작을 통해 선택적으로 그 위치를 조정할 수 있다.

포인팅 수단(100)에서 화면에 표시된 창을 선택하기 위한 버튼이 조작되면, 단말 수단(200)의 촉각 정보 추출부(250)는 (A)와 같이 창이 선택되었음을 촉각적으로 알려주기 위하여 포인팅 수단(100)의 촉각 출력부(130)의 선형 진동기를 위쪽 한쪽으로 1회 충돌시키도록 하는 신호를 출력한다. 따라서, 촉각 출력부(130)는 입력된 신호에 따라 선형 진동기의 충돌을 발생시킨다.

또한, 선택된 창을 이동시키기 위해 포인팅 수단(100)을 든 사용자의 손 또는 손목을 움직이면, 단말 수단(200)의 동작 인식부(240)는 포인팅 수단(100)의 움직임을 감지하여 (B)와 같이 화면의 포인터를 이동시킨다. 그에 따라 촉각 정보 추출부(250)는 이동 속도에 비례하는 촉각 정보를 출력하고, 포인팅 수단(100)의 촉각 출력부(130)는 촉각 정보에 따라 선형 진동기를 이용하여 양방향 촉각 피드백을 제공한다.

또한, (C)와 같이 포인팅 수단(100)을 이용하여 창을 원하는 위치에 옮긴 후 에 포인터의 선택을 해제하는 버튼을 조작하면, 단말 수단(200)은 선택된 창이 떨어져 나간다는 느낌을 재현하기 위하여 내장된 선형 진동기를 아래쪽으로 충돌하도록 하는 촉각 정보를 출력한다. 따라서, 촉각 출력부(130)의 선형 진동기는 출력된 촉각 정보에 따라 아래쪽 충돌을 발생시킨다.

이때, 촉각 출력부(130)는 포인터의 이동위치 및 방향 등에 따라 제1 촉각 출력부(131)와 제2 촉각 출력부(133) 중 선택적으로 동작시킬 수 있다.

이와 같이, 본 발명에 따른 포인팅 수단(100)의 촉각 피드백을 이용하면 물체가 선택되었는지, 물체가 이동하고 있는지를 사용자에게 직관적으로 알려주는 것이 가능하다.

도 9는 창의 크기를 조절하는 동안 촉각 피드백을 제공하는 예를 나타낸 것이다. 도 9의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 9의 (b)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

(A)와 같이 창의 크기를 조절하기 위해 포인팅 수단(100)의 버튼을 조작하여 창의 모서리 꼭지점 또는 윈도우의 외곽 경계 위치를 선택하면, 촉각 정보 추출부(250)는 선형 진동기가 위쪽으로 충돌하도록 하는 촉각 정보를 출력한다. 이때, 선형 진동기는 진동체를 위쪽으로 충돌시켜 순간 윈도우가 선택되어 포인팅장치(100)에 붙는듯한 느낌을 재현한다.

또한, (B)와 같이 선택된 윈도우의 크기를 변형시키기 위해 포인팅 수단(100)을 이동시키는 동안에는 단위 크기가 늘어나거나 줄어들 때마다 촉각 자극 을 출력한다.

또한, (C)와 같이 창의 크기를 원하는 만큼 변화시킨 후 창 선택을 해제하는 버튼을 조작하는 경우, 선형 진동의 질량체를 아래쪽으로 충돌시켜 순간 창이 떨어져 나간다는 느낌을 재현한다.

필요에 따라서는 동작이 끝난 후 선형 진동기의 질량체를 위쪽으로 점진적으로 이동시켜서, 사용자가 아무런 촉각적 충돌을 느끼지 않도록 할 수도 있다.

도 10은 윈도우 창의 스크롤 바를 조작하는 동안 촉각 피드백을 제공하는 예를 나타낸 것이다. 도 10의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 10의 (b)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

도 10을 참조하면, (A)와 같이 포인팅 수단(100)을 이용하여 포인터가 스크롤 바를 선택하면, 촉각 출력부(130)의 선형 진동기를 이용하여 위쪽 충돌을 발생시킴으로써, 순간 포인터가 스트롤 바에 붙는듯한 느낌을 재현한다.

또한, (B)와 같이 포인팅 수단(100)을 이동하여 선택된 스크롤 바를 움직이는 동안에는 포인터의 단위 움직임당 촉각 출력부(130)의 선형 진동기를 이용하여 양방향 촉각 피드백을 제공함으로써, 사용자가 촉각 자극을 느끼도록 한다.

한편, (C)와 같이 스크롤 바가 위쪽으로 혹은 아랫쪽으로 움직일 수 있는 한계에 닿은 경우, 선형 진동기를 매우 짧은 신호로 제어하여 순간적으로 짧고 강한 진동을 일으킴으로써 스크롤 바가 최상위 또는 최하위 위치에 도달했음을 알리는 촉각 피드백을 제공한다.

스크롤 바의 위치를 원하는 만큼 변화시킨 후에는, (D)와 같이 촉각 출력부(130)의 선형 진동기를 이용하여 아래쪽 충돌을 발생시킴으로써, 포인터에서 스크롤 바가 떨어져 나가는 느낌을 재현한다.

여기서, 스크롤바는 수직으로 조작되므로, 선형 진동기를 수직방향으로 배치하여, 도 7의 (d)에서 설명한 바와 같이 특정방향으로 움직이고 있음을 알려주는 촉각 피드백을 제공할 수도 있다.

도 11은 창의 크기를 최대화하거나 최소화하는 동작에 따라 촉각 피드백을 제공하는 예를 나타낸 것이다. 도 11의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 11의 (b), (c)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

도 11을 참조하면, (A)와 같이 포인팅 수단(100)을 이용하여 특정 아이콘을 선택하고 실행시키면, 아이콘을 클릭하는 느낌을 재현하기 위해 선형 진동기의 진동체를 사용자의 동작에 맞춰 위로 충돌시킨다.

이후, (B)와 같이 창이 열리면, 촉각 출력부(130)의 선형 진동기를 아랫쪽으로 충돌시킨 후 위쪽으로 충돌시켜 창이 위로 떠오르면서 열리는 느낌을 재현한다.

또한, (C) 또는 (D)와 같이 포인팅 수단(100)을 이용하여 창을 최소화하거나 최대화하는 버튼이 조작되면, 버튼을 누른 느낌을 재현하기 위해 촉각 출력부(130)의 선형 진동기를 이용하여 순간적으로 충돌을 발생시키고, 이어 윈도우가 최소화 또는 최대화되는 느낌을 전달하기 위해 다시 한번 선형 진동기를 이용하여 충돌을 발생시킨다.

또한, (E)와 같이, 포인팅 수단(100)을 이용하여 창을 닫기 위한 버튼이 조작되면, 촉각 출력부(130)의 선형 진동기를 이용하여 아래쪽 충돌을 발생시킴으로써 창이 닫히는 느낌을 재현한다.

이때, 도 11의 (c)와 같이, (B),(C), (D), (E)의 경우마다 순간적으로 진동을 발생시켜 사용자에게 촉각적인 느낌을 전달하는 것 또한 가능하다.

물론, (A), (B), (C), (D), (E)의 경우마다 발생되는 촉각 피드백의 실시예는 이에 한정되는 것이 아니라 다양한 형태로 구현될 수 있음은 당연한 것이다.

도 12는 메뉴 이동과 팝업 메뉴를 조작하는 동안 촉각 피드백을 제공하는 예를 나타낸 것이다. 도 12의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 12의 (b), (c), (d)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

도 12에서는, 포인팅 수단(100)을 이용하여 포인터가 메뉴나 메뉴 리스트를 이동할 경우에, 촉각 피드백을 이용하여 메뉴가 변경되었는지 어떤 메뉴에 있는지를 정확하게 알 수 있도록 한다. 도 12의 실시예는 그래픽 사용자 인터페이스상에서 팝업메뉴 조작이나, 프리젠테이션 시 팝업메뉴를 이용한 페이지이동, 또는 TV 등 미디어를 감상할 때 메뉴를 통한 채널 이동 등에 활용될 수 있다.

도 12의 (b)의 경우, 최초의 시작 메뉴를 선택하면 A와 같이 촉각 출력부(130)의 선형 진동기로 위쪽 충돌을 발생시키고, 새로운 메뉴 리스트 팝업이 실행되면 B와 같이 촉각 출력부(130)의 선형 진동기를 이용하여 왕복 충돌을 발생시킨다. 또한, 새로운 메뉴 리스트 팝업에서 'Menu1' 또는 'Menu2'로 포인터가 이동 하면, C, D와 같이 촉각 출력부(130)의 선형 진동기를 이용하여 왕복 충돌을 발생시킨다.

이후, 'Menu2'를 선택하여 해로운 팝업 메뉴가 실행되고, 새로운 메뉴 'Sub-Menu2'로 포인터가 이동하면, E, F와 같이 촉각 출력부(130)의 선형 진동기를 이용하여 왕복 충돌을 각각 발생시킨다.

도 12의 (b)에서 촉각 출력시마다 양방향으로 왕복 충돌을 발생시켰다면, 도 12의 (c)의 경우에는 A, B, C, D, E, F와 같은 이벤트가 발생했을 경우 촉각 출력부(130)의 선형 진동기를 이용하여 위쪽 방향의 충돌과 아래쪽 충돌을 번갈아가며 발생시킨다.

한편, 도 12의 (d)의 경우에는, A, B, C, D, E, F와 같은 이벤트가 발생했을 경우, 이벤트 발생 시마다 촉각 출력부(130)의 선형 진동기를 이용하여 소정의 진동을 발생시킴으로써 사용자가 이벤트 발생을 쉽게 인지하도록 한다.

도 13은 포인터가 메뉴와 아이콘을 지날 때 촉각 피드백을 제공하는 예를 나타낸 것이다. 도 13의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 13의 (b), (c), (d)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

도 13에 도시된 바와 같이, 포인팅 수단(100)을 잡은 손 또는 손목의 움직임에 따라 포인터를 이동하는 경우, 포인터가 메뉴나 아이콘의 경계를 지날 때 촉각 피드백을 제공하게 된다. 이 경우, 사용자는 자신의 포인터가 어느 위치에 놓여있는지를 직관적으로 알 수 있게 된다.

도 13의 (a)에서 포인터는 'File' 메뉴, 'Edit' 메뉴, '저장' 아이콘, '미리보기' 아이콘 위를 순차적으로 이동한다. 이때, 포인터가 'File' 메뉴, 'Edit' 메뉴, '저장' 아이콘, '미리보기' 아이콘의 경계를 지날 때 촉각 정보 출력부는 A, B, C, D와 같은 이벤트를 발생시킨다.

도 13의 (b)의 경우, A, B, C, D와 같은 이벤트 발생 시, 촉각 출력부(130)의 선형 진동기를 이용하여 양쪽 방향으로 왕복 충돌을 발생시킨다.

한편, 도 13의 (c)의 경우에는 A, B, C, D와 같은 이벤트가 발생했을 경우 촉각 출력부(130)의 선형 진동기를 이용하여 위쪽 방향의 충돌과 아래쪽 충돌을 번갈아가며 발생시킨다.

한편, 도 13의 (d)의 경우에는, A, B, C, D와 같은 이벤트가 발생했을 경우, 이벤트 발생 시마다 촉각 출력부(130)의 선형 진동기를 이용하여 소정의 진동을 발생시킴으로써 사용자가 이벤트 발생을 쉽게 인지하도록 한다.

도 13의 실시예는 포인터가 메뉴 또는 아이콘의 경계 내로 들어가는 경우에만 촉각 피드백을 제공하는 예를 나타낸 것이나, 포인터가 메뉴 또는 아이콘의 경계 내로 들어갈 때와 경계 밖으로 나올 때 모두 촉각 패드백을 제공할 수도 있다.

도 13의 실시예는 웹사이트 등을 탐색할 때 하이퍼링크(hyperlink) 영역 위로 마우스가 위치하게 되는 순간 촉각 피드백을 제공하는 방법으로 활용할 수도 있다.

도 14는 여러 글자를 선택하는 동안 촉각 피드백을 제공하는 예를 나타낸 것 이다. 여기서, 도 14의 (a)는 화면에 표시되는 동작을 나타낸 것이고, 도 14의 (b)는 (a)의 동작에 따른 촉각 출력 신호를 나타낸 것이다.

도 14에 도시된 실시예는 포인터 조작을 이용하여 여러 글자를 선택하고자 하는 경우, 포인터의 위치가 정교하게 조작되지 않으므로 정확한 선택에 어려움을 겪게 되는 문제를 해소하고자, 선택되는 글자의 수가 한 개씩 늘어날 때마다 촉각 출력을 발생시킴으로써 정확한 글자 선택을 가능하게 한다.

다시 말해, 도 14의 (a)와 같은 문장이 화면에 표시된 상태에서, 포인터를 이용하여 'act'를 선택하고자 하는 경우, 선택버튼 조작 후 포인터를 움직여 'a' 글자가 선택되면 촉각 출력부(130)의 선형 진동기를 이용하여 한쪽 방향으로의 충돌을 발생시키고, 다음으로 'c'가 선택되면 촉각 출력부(130)의 선형 진동기를 이용하여 다른쪽 방향으로의 충돌을 발생시킨다. 마찬가지로, 't'가 선택되면 촉각 출력부(130)의 선형 진동기를 이용하여 다시 반대 방향으로의 충돌을 발생시킨다.

이와 같이, 포인터를 이용하여 복수의 글자를 선택하는 경우, 글자가 한 개씩 추가로 선택될 때마다 포인터 장치는 촉각 출력부(130)의 선형 진동기를 이용하여 반대방향으로 충돌을 발생시킨다.

물론, 앞서 설명한 실시예들과 같이, 포인팅 수단(100)은 글자를 선택할 때마다 촉각 출력부(130)의 선형 진동기를 이용하여 양쪽 방향으로 왕복 충돌을 발생시키거나, 소정의 진동을 발생시킴으로써 사용자가 이벤트 발생을 쉽게 인지하도록 할 수도 있다.

따라서, 사용자는 글자가 한글자씩 선택되어 감을 직관적으로 촉각을 통해 느낄 수 있게 된다.

또한, 도 15의 (a)와 같이 소정의 글자 영역을 선택하거나, 도 15의 (b)와 같이 밑줄을 긋는 경우에도 마찬가지로, 포인터의 이동에 따라 선택되는 단위 영역이 변경하거나, 밑줄 그은 단위 길이가 변경될 때마다 앞서 설명한 실시예들과 같이, 포인팅 수단(100)은 글자를 선택할 때마다 촉각 출력부(130)의 선형 진동기를 이용하여 양쪽 방향 또는 한쪽 방향으로 충돌을 발생시키거나, 소정의 진동을 발생시킴으로써 사용자가 이벤트 발생을 쉽게 인지하도록 할 수도 있다.

도 14 및 도 15의 실시예는 포인터로 선택된 글자의 수가 줄들 때마다 촉각 피드백을 제공하는 것 또한 가능하며, 텍스트 뷰어나 웹페이 뷰어 상에서도 동일한 기술을 적용하는 것이 가능하다.

도 16은 본 발명에 따른 포인팅 수단(100)을 이용하여 화면에 표시된 3차원 물체의 자세를 조작하는 동안 촉각 피드백을 제공하는 예를 나타낸 것이다.

도 16의 (a)는 본 발명에 따른 포인팅 수단(100)을 이용하여 화면에 표시된 3차원 물체를 조작하는 동작을 나타낸 것이도, (b)는 포인팅 수단(100)의 움직임에 대응하여 3차원 물체의 움직임에 따른 그래프 및 그에 대응하는 촉각 출력 신호를 나타낸 것이다.

특히, 도 16의 (b)는 포인팅 수단(100)의 움직임에 따라 화면에 표시된 3차원 물체의 각도(orientation) 변화를 나타낸 그래프로서, 단말 수단(200)의 동작 인식부(240)는 포인팅 수단(100)의 3축 각도 변화를 화면에 표시된 3차원 물체의 각도 변화에 매칭시킨다. 이때, 촉각 정보 추출부(250)는 3차원 물체의 각도 변화를 감시하며, 시작점으로부터 각도 변화가 발생하는 경우 단위 각도 이상으로 각도가 변할 때마다, 도 16의 (c)와 같이 촉각 정보를 출력함으로써, 포인팅 수단(100)에서 촉각 출력을 발생시키도록 한다.

이때, 포인팅 수단(100)은, 3개의 촉각 출력부(130)를 이용하여 전후, 상하, 좌우로 배치한 후, 각 방향으로의 단위 각도 변화 시마다 촉각 출력 신호를 발생시키는 것이 가능하다. 물론, 하나의 촉각 출력부(130)만을 이용하여 어느 각도에서든 변화가 일어날 경우 촉각 출력을 하는 간단한 방법을 적용할 수도 있다.

한편, 도 17은 본 발명에 따른 포인팅 수단(100)의 조작 방법을 설명하는데 참조되는 예시도이다.

도 17에 도시한 바와 같이, 본 발명에 따른 포인팅 수단(100)은 장축을 중심으로 회전하는 운동(rolling)을 측정할 수 있을 뿐 아니라, 장축 방향, 상, 하, 좌, 우 방향 및 대각선 방향으로 흔드는 변화를 측정할 수 있다. 장축을 중심으로 하는 회전 운동에서 시계방향으로의 회전은 문서 뷰어 등에서 페이지를 다음 페이지로 넘기는 기능에 대응될 수 있으며, 미디어에서는 다음 채널로 전환하는 것에 대응될 수 있다.

이와 같은 포인팅 수단(100)의 움직임은 단말 수단(200)에 의해 인식되고, 촉각 정보 추출부(250)로부터 추출된 촉각 정보에 따라 제1 촉각 출력부(131)의 선형 진동기를 이용하여 충돌을 발생시킨다.

또한, 제2 촉각 출력부(133)를 이용할 경우에는, 도 7의 실시예에서 설명한 바와 같이, 한쪽 방향(예를 들어, 오른쪽 방향)으로만 충돌만을 일으킴으로써, 다음 페이지 또는 다음 채널로 전환되었음을 보다 직관적으로 알 수 있게 한다.

한편, 반 시계방향으로의 회전은 문서 뷰어 등에서 페이지를 이전 페이지로 넘기는 기능에 대응될 수 있으며, 미디어에서는 이전 채널로 전환하는 것에 대응될 수 있다. 이 경우, 앞서 설명한 실시예와는 반대로, 제1 촉각 출력부(131)의 선형 진동기를 이용하여 반대 면에 충돌을 일으키거나, 제2 촉각 출력부(133)의 왼쪽면 충돌을 발생시킨다. 이때, 90도 이내의 시계방향 회전과 반 시계방향 회전은 각속도 센서가 아닌 중력방향 변화를 감지하는 가속도 센서로 측정하는 것이 가능하다.

또한, 음향 크기를 증가시키거나, 감소시키는 동작에도 마찬가지로 적용될 수 있으며, 이때 선형진동기를 이용하여 진동을 발생시키되 음향의 크기가 커질수록 강한 진동을, 음향이 작아질수록 약한 진동을 발생시킴으로써 소리의 크기 변화를 보다 더 직관적으로 알 수 있도록 한다.

한편, 본 발명에 따른 포인팅 수단(100)을 장축방향으로 흔들 경우에 흔들리는 방향을 인식하여 제1 촉각 출력부(131)를 통하여 흔들리는 방향으로 충돌을 일으킴으로써 실제로 물리적으로 딸깍거리는 느낌과 같은 촉각 피드백을 제공할 수도 있다.

도 18은 본 발명에 따른 포인팅 수단(100)을 이용하여 도형 작업을 수행하는 동안 촉각 피드백을 제공하는 예를 나타낸 것이다.

도 18의 (a)는 포인터를 이용하여 도형의 크기를 변화시키는 동작을 나타낸 것으로서, 이는 도 9의 실시예와 마찬가지로, 촉각 출력부(130)는 선형 진동기를 이용하여 도형이 단위 좌표 이상 커지거나 작아질 때마다 왕복 출동 또는 한쪽 면으로의 충돌을 발생시킬 수 있다.

한편, 도 18의 (b)는 포인터를 이용하여 도형을 회전시키는 동작을 나타낸 것이다. 도 18의 (b)에서는 포인터를 이용하여 도형을 회전시키는 경우, 촉각 출력부(130)는 선형 진동기를 이용하여 단위 각도 이상 회전될 때마다 왕복 출동 또는 한쪽 면으로의 충돌을 발생시킬 수 있다.

도 19는 본 발명에 따른 포인팅 수단(100)을 이용하여 포인터 조작 시, 포인터가 위치한 메뉴 또는 아이콘 등의 가용 상태에 따라 촉각 피드백을 제공하는 예를 나타낸 것이다.

도 19에 도시한 바와 같이, 일반적으로 인터넷이나 각종 프로그램을 사용할 경우 하이퍼링크, 화면전환, 실행 등을 의미하는 각종 링크에 포인터를 가져갈 경우, 포인터가 손 모양으로 변하게 된다. 이는, 해당 링크가 연결 가능한 상태임을 알려주는 것이다.

따라서, 본 발명에서는 포인팅 수단(100)을 이용하여 포인터를 조작할 경우, 포인터가 위치한 지점의 링크가 연결 가능하거나 또는 아이콘 등이 실행 가능한 상태인 경우, 촉각 피드백을 제공하도록 한다.

예를 들어, 도 19의 (a)와 같이 포인터를 HyperLink2에 가져가면, ' HyperLink2 '와 같이 링크의 모양이 변하거나, 포인터의 모양이 변하게 된다. 이때, 단말 수단(200)의 촉각 정보 추출부(250)는 촉각 정보를 추출함으로써, 포인팅 수단(100)에서 대응하는 촉각 신호를 출력하게 된다.

또한, 도 19의 (b)와 같이 'Link2'로 포인터를 가져가 모양 및 색이 바뀌는 경우에도 마찬가지로 단말 수단(200)의 촉각 정보 추출부(250)는 촉각 정보를 추출함으로써, 포인팅 수단(100)에서 대응하는 촉각 신호를 출력하게 된다.

또한, 도 19의 (c)와 같이 포인터를 재생 버튼 아이콘으로 가져가 재생 버튼 아이콘의 모양 또는 색이 변하는 경우에도 마찬가지로 단말 수단(200)의 촉각 정보 추출부(250)는 촉각 정보를 추출함으로써, 포인팅 수단(100)에서 대응하는 촉각 신호를 출력하게 된다.

한편, 도 20은 본 발명에 따른 포인팅 수단(100)을 이용하여 포인터 조작 시, 포인터의움직임에 따라 촉각 피드백을 제공하는 예를 나타낸 것으로, 상세하게는 본 발명에 따른 포인팅 수단(100)을 이용하여 지휘를 하는 모션을 취할 경우 촉각 피드백을 제공하는 예를 나타낸 것이다.

도 20에 도시된 바와 같이, 사용자는 포인팅 수단(100)을 손에 쥐고 공중에서 박자를 지휘하는 것과 동일한 움직임을 할 수 있다. 이때, 단말 수단(200)은 포인팅 수단(100)의 움직임에 따라 화면에 표시되는 포인터의 움직임을 제어하고, 그에 대응하는 촉각 정보를 출력한다. 따라서, 포인팅 수단(100)은 지휘를 하는 움직임에 대응하는 촉각 자극을 발생시킴으로써 지휘 연습을 교육하는 효과를 발생시킬 수 있다.

특히, 지휘하는 움직임을 화면 상의 포인터의 위치에 대응하여 화면상에서도 지휘의 모습을 그림으로 보여주고, 또한 특정 박자가 시작할 때 100msec이내의 순간적인 짧은 진동 혹은 충돌을 발생시킬 수도 있다. 이 경우, 시각적, 촉각적, 팔의 움직임을 모두 동반하여 그에 따른 학습 효과가 매우 높은 박자 및 지휘 교육 시스템을 제공할 수 있다.

본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치는 사용자의 좌우, 상하 손목의 움직임에 따라 측정되는 각도변화를 이용하여 단말기와 연결된 스크린상의 포인터를 제어함으로써 기존의 마우스를 대체하는 포인팅 장치로 활용될 수 있으며, TV나 음향기기 등의 제어를 위한 리모콘으로도 활용될 수 있다.

상기와 같이 구성되는 본 발명의 동작을 설명하면 다음과 같다.

도 21은 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 제어방법에 대한 동작 흐름을 나타낸 순서도이다.

도 21을 참조하면, 사용자가 포인팅 수단(100)을 손에 쥐고 특정 모션을 취하면, 포인팅 수단(100)은 사용자의 움직임에 따른 동작을 감지하여(S1900), 단말 수단(200)으로 동작 감지 신호를 전송한다(S1910).

단말 수단(200)은 'S1910' 과정에서 수신된 동작 감지 신호로부터 포인팅 수단(100)의 동작 또는 제어명령 등을 인식한다(S1920). 이후, 단말 수단(200)은 'S1920' 과정에서 인식된 동작 또는 제어명령에 대응하여 화면에 표시된 포인터의 움직임을 제어하고, 그에 따른 동작 화면을 제어한다(S1930).

또한, 단말 수단(200)은 화면에 표시된 포인터의 움직임 및 그에 따른 화면 변화에 기초하여 촉각 출력 패턴을 감지하고(S1940), 해당되는 촉각 정보를 추출한다(S1950).

단말 수단(200)은'S1950'과정에서 추출된 촉각 정보를 포인팅 수단(100)으로 전송한다(S1960).

한편, 단말 수단(200)으로부터 촉각 정보를 수신한 포인팅 수단(100)은 수신된 촉각 정보에 따라 선형 진동기를 제어하여 촉각을 출력한다(S1970, S1980)

이상에서와 같이 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

도 1 은 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 동작을 나타낸 도이다.

도 2 및 도 3 은 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 포인팅 수단에 대한 구성을 설명하는데 참조되는 도이다.

도 4 는 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 단말 수단에 대한 구성을 설명하는데 참조되는 도이다.

도 5 내지 도 20은 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 동작 설명에 참조되는 도이다.

도 21 은 본 발명에 따른 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 제어 방법에 대한 동작 흐름을 도시한 순서도이다.

Claims (20)

1. 사용자의 움직임을 감지하는 동작 감지부와, 상기 사용자에게 장축 방향 또는 좌우 방향으로 촉각 피드백을 제공하기 위한 촉각 출력부를 구비한 포인팅 수단; 및

   상기 포인팅 수단에 의해 감지된 상기 사용자의 움직임으로부터 화면에 표시되는 포인터를 조작하고, 상기 포인터의 움직임 및 상기 포인터의 조작에 따른 화면 변화에 따라 대응하는 촉각 정보를 상기 포인팅 수단으로 출력하는 단말 수단;을 포함하며,

   상기 촉각 출력부는, 상기 단말 수단으로부터 출력된 촉각 정보에 따라 상, 하, 좌, 우, 전, 후 중 적어도 하나의 방향으로 충돌 또는 진동을 발생시키는 하나 이상의 선형 진동기를 포함하고,

   상기 촉각 정보는 상기 포인터의 위치, 상기 포인터의 이동 거리, 상기 포인터의 이동 속도, 상기 포인터의 이동 각도, 상기 포인터의 모양, 상기 포인터를 이용한 화면 선택 여부, 상기 화면상에서 상기 포인터가 지시하는 대상의 실행 가능 여부, 상기 화면에 표시된 윈도우, 상기 화면에 표시된 메뉴, 상기 화면에 표시된 아이콘, 상기 화면에 표시된 이모티콘, 상기 화면에 표시된 버튼, 상기 화면에 표시된 도형, 상기 포인터에 의해 선택된 영역의 모양, 상기 포인터에 의해 선택된 영역의 크기, 상기 포인터에 의해 선택된 영역의 위치, 상기 포인터에 의해 선택된 영역의 각도 중 적어도 하나의 변화에 대응하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
2. 청구항 1에 있어서,

   상기 촉각 출력부는,

   상기 선형 진동기의 진동체를 한쪽 방향 또는 양쪽 방향으로 충돌시키거나, 또는 진동을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
3. 청구항 2에 있어서,

   상기 촉각 출력부는,

   진동 발생 시, 짧은 진동 또는 그 세기가 점진적으로 세어지거나 약해지는 진동을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
4. 청구항 1에 있어서,

   상기 촉각 출력부는,

   상기 포인터의 움직임 또는 상기 포인터의 조작에 따른 화면 변화에 따라 대응하는 촉각 정보 출력 시 마다, 상기 선형 진동기의 진동체를 반대 방향으로 충돌 시키거나, 진동을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
5. 청구항 1에 있어서,

   상기 촉각 출력부는,

   상기 포인터의 움직임에 대응하는 방향으로 충돌을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
6. 청구항 1에 있어서,

   상기 촉각 출력부는,

   두 개의 선형 진동기가 2축 방향으로 서로 수직하게 배치되어, 상기 선형 진동기의 진동체를 이용하여 충돌 또는 진동을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
7. 청구항 1에 있어서,

   상기 촉각 출력부는,

   세 개의 선형 진동기가 3축 방향으로 서로 수직하게 배치되어, 상기 선형 진동기의 진동체를 이용하여 충돌 또는 진동을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
8. 청구항 1에 있어서,

   상기 동작 감지부는,

   상기 포인팅 수단의 움직임으로부터 3축 방향의 각속도를 측정하는 각속도 센서와, 상기 포인팅 수단의 움직임으로부터 3축 방향의 가속도를 측정하는 가속도 센서를 포함하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
9. 청구항 1에 있어서,

   상기 포인팅 수단은,

   사용자로부터 제어 명령을 입력받는 입력부; 및

   상기 단말 수단과 신호를 송수신하는 통신부;를 더 포함하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
10. 청구항 1에 있어서,

    상기 단말 수단은,

    상기 포인팅 수단에 의해 감지된 상기 사용자의 움직임에 대응하는 화면 상의 좌표 위치를 인식하여 상기 포인터의 동작을 제어하기 위한 제어신호를 출력하고, 상기 포인터의 움직임 또는 상기 포인터 조작에 따른 화면 변화를 인식하는 동작 인식부; 및

    상기 동작 인식부에 의해 인식된 상기 포인터의 움직임 또는 화면 변화에 대응하는 촉각 정보를 추출하는 촉각 정보 추출부;를 포함하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
11. 삭제
12. 삭제
13. 삭제
14. 청구항 1에 있어서,

    상기 단말 수단은,

    화면을 구비한 표시부; 및

    상기 포인팅 수단과 신호를 송수신하는 통신부;를 더 포함하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치.
15. 사용자의 움직임에 따른 포인팅 수단의 움직임을 감지하는 단계;

    상기 포인팅 수단의 움직임에 대응하여 화면에 표시된 포인터의 동작을 제어하기 위한 제어신호를 출력하는 단계;

    화면상에서 상기 포인터의 움직임 또는 상기 포인터 조작에 따른 화면 변화를 인식하는 단계;

    상기 인식하는 단계에서 인식된 상기 포인터의 움직임 또는 화면 변화에 대응하여 촉각 정보를 출력하는 단계; 및

    상기 출력된 촉각 정보에 따라 상기 포인팅 수단의 선형 진동기를 이용하여 촉각 출력하는 단계;를 포함하고,

    상기 인식하는 단계는,

    상기 화면상에서 상기 포인터가 지시하는 대상의 실행 여부, 상기 포인터의 위치, 상기 포인터의 이동 거리, 상기 포인터의 이동 속도, 상기 포인터의 이동 각도, 상기 포인터의 모양, 상기 포인터를 이용한 화면 선택 여부, 상기 화면에 표시된 윈도우, 상기 화면에 표시된 메뉴, 상기 화면에 표시된 아이콘, 상기 화면에 표시된 이모티콘, 상기 화면에 표시된 버튼, 상기 화면에 표시된 도형, 상기 포인터에 의해 선택된 영역의 모양, 상기 포인터에 의해 선택된 영역의 크기, 상기 포인터에 의해 선택된 영역의 위치, 상기 포인터에 의해 선택된 영역의 각도 중 적어도 하나의 변화를 인식하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 제어방법.
16. 삭제
17. 삭제
18. 삭제
19. 청구항 15에 있어서,

    상기 촉각 출력하는 단계는,

    선형 진동기의 진동체를 한쪽 방향 또는 양쪽 방향으로 충돌시키거나, 또는 진동을 발생시켜 촉각 출력하는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 제어방법.
20. 청구항 15에 있어서,

    상기 촉각 출력하는 단계는,

    선형 진동기의 진동체를 이용하여 상, 하, 좌, 우, 전, 후 중 적어도 하나의 방향으로 충돌 또는 진동을 발생시키는 것을 특징으로 하는 촉각 피드백을 제공하는 모션 기반 포인팅 장치의 제어방법.

Images