KR20150101703A

KR20150101703A - 디스플레이 장치 및 제스처 입력 처리 방법

Info

Publication number: KR20150101703A
Application number: KR1020140023322A
Authority: KR
Inventors: 김벽선; 김성국; 김민진; 김용덕; 노창수
Original assignee: 삼성전자주식회사
Priority date: 2014-02-27
Filing date: 2014-02-27
Publication date: 2015-09-04
Also published as: WO2015129995A1; EP3077891A1; US20150241982A1; CN106062667A; EP3077891A4

Abstract

디스플레이 장치의 제스처 입력 처리 방법을 개시한다. 본 발명의 일 실시 예에 따른 디스플레이 장치의 제스처 입력 처리 방법은, 상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 설정하는 단계와, 상기 설정된 제스처 입력 모드에 대한 정보를 화면의 일 영역에 표시하는 단계와, 사용자 제스처 입력을 수신하는 단계와, 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계를 포함한다.

Description

디스플레이 장치 및 제스처 입력 처리 방법{DISPLAY APPARATUS AND METHOD FOR PROCESSING GESTURE INPUT}

본 발명은 디스플레이 장치의 제스처 입력에 대한 것으로 좀더 상세하게는, 다양한 입력 수단을 통해 제스처 입력이 가능한 디스플레이 장치 및 제스처 입력 처리 방법에 대한 것이다.

사용자 입력을 지원하는 디스플레이 장치에서 종래에는 주로 리모콘을 통한 사 방향 입력을 지원하였으나, 최근에는 사 방향 입력뿐 아니라 포인팅입력으로 마우스, 터치패드 등의 입력, 음성입력 등을 지원하게 되었다. 특히, 디스플레이 장치의 기능이 다양해지면서 오브젝트의 확대, 축소, 회전 등의 기능이 자주 이용되게 되었는 바, 이러한 기능을 기존의 버튼 리모콘으로 사용하기에는 사용성이 떨어졌다. 이에 따라 근래에는 사용자가 손으로 제스처를 입력하여 쉽게 오브젝트를 제어할 수 있는 제스처 입력이 도입되고 있다.

도 1은 근래의 디스플레이 장치에서 화면의 오브젝트(11)를 회전하기 위한 사용자 제스처 입력을 나타낸다. 도 1과 같이 사용자가 양 손을 주먹 쥔 상태로 일정 거리 이격 시킨 상태로 동일한 방향(시계 방향 또는 반시계 방향)으로 회전시키면 오브젝트(11)가 회전한다(도 11의 A). 그리고, 양 손을 주먹 쥔 상태로 서로 멀어지는 방향으로 움직이면 오브젝트(11)가 확대된다(도 11의 B).

그러나, 이러한 사용자 제스처 입력도 기존의 다양한 입력 수단에 추가되는 것이고, 디스플레이 장치의 기능도 다양해지면서 어떠한 기능에 어떠한 입력 수단이 최적인지 사용자가 알기 어려운 경우가 많아 지고 있다. 따라서, 디스플레이 장치는 동작 상황에 따라 다양한 입력 수단의 이용 정보를 가이드해주는 기능이 필요하게 되었다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치의 동작 상황에 따라 다양한 입력 수단의 이용 정보를 가이드해 줌으로써, 사용자 편의성을 높이기 위한 디스플레이 장치 및 제스처 입력 처리 방법을 제공하기 위함이다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 제스처 입력 처리 방법은, 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 설정하는 단계, 상기 설정된 제스처 입력 모드에 대한 정보를 화면의 일 영역에 표시하는 단계, 사용자 제스처 입력을 수신하는 단계 및 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계를 포함한다.

이때, 상기 제스처 입력 모드를 설정하는 단계는, 상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 추천하여 상기 화면에 표시하는 단계와, 상기 표시된 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 선택된 제스처 입력 모드를 설정하는 단계를 포함할 수 있다.

또한, 상기 제스처 입력 모드를 설정하는 단계는, 기 설정된 제스처 입력 모드를 통한 사용자 입력이 있는 경우, 이용 가능한 다른 제스처 입력 모드가 존재하면, 상기 다른 제스처 입력 모드에 대한 정보를 화면에 표시하는 단계와, 상기 표시된 다른 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 다른 제스처 입력 모드를 설정하는 단계를 포함할 수 있다.

또한, 상술한 제스처 입력 처리 방법은, 상기 제스처 입력 모드의 변경이 있는 경우, 제스처 입력 모드 변경이 있음을 나타내는 가이드 정보를 화면의 일 영역에 표시하는 단계를 더 포함할 수 있다.

이때, 상기 설정된 제스처 입력 모드와 다른 제스처 입력 모드에 대한 제스처 입력이 수신되는 경우, 상기 다른 제스처 입력 모드에 따른 제스처 입력이 가능하면, 상기 디스플레이 장치의 제스처 입력 모드를 상기 다른 제스처 입력 모드로 변환하는 단계를 더 포함할 수 있다.

또한, 상술한 제스처 입력 처리 방법은, 상기 상기 수신된 사용자 제스처 입력에 따른 제스처 궤적을 상기 화면에 표시하는 단계를 더 포함할 수 있다.

또한, 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계는, 상기 설정된 제스처 입력 모드가 필기 입력 모드인 경우, 상기 수신된 사용자 제스처 입력을 분석하여 캐릭터로 변환하고, 상기 변환된 캐릭터를 상기 화면에 표시할 수 있다.

또한, 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계는, 상기 설정된 제스처 입력 모드가 동작 제어 모드인 경우, 상기 수신된 사용자 제스처 입력을 분석하여 제어 명령으로 변환하고, 상기 변환된 제어 명령에 따라 상기 디스플레이 장치를 제어할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록 매체는, 상술한 제스처 입력 처리 방법을 수행하기 위한 컴퓨터에서 판독 가능한 프로그램을 기록한 비 일시적 기록 매체이다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이부와, 사용자 제스처 입력을 수신하는 입력부와, 상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 설정하고, 상기 설정된 제스처 입력 모드에 대한 정보를 화면의 일 영역에 표시하며, 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하도록 제어하는 제어부를 포함한다.

상기 제어부는, 상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 추천하여 상기 화면에 표시하도록 제어하고, 상기 표시된 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 선택된 제스처 입력 모드를 설정할 수 있다.

상기 제어부는, 기 설정된 제스처 입력 모드를 통한 사용자 입력이 있는 경우, 이용 가능한 다른 제스처 입력 모드가 존재하면, 상기 다른 제스처 입력 모드에 대한 정보를 화면에 표시하도록 제어하고, 상기 표시된 다른 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 다른 제스처 입력 모드를 설정할 수 있다.

상기 제어부는, 상기 제스처 입력 모드의 변경이 있는 경우, 제스처 입력 모드 변경이 있음을 나타내는 가이드 정보를 화면의 일 영역에 표시하도록 제어할 수 있다.

상기 제어부는, 상기 설정된 제스처 입력 모드와 다른 제스처 입력 모드에 대한 제스처 입력이 수신되는 경우, 상기 다른 제스처 입력 모드에 따른 제스처 입력이 가능하면, 상기 디스플레이 장치의 제스처 입력 모드를 상기 다른 제스처 입력 모드로 변환할 수 있다.

상기 제어부는, 상기 상기 수신된 사용자 제스처 입력에 따른 제스처 궤적을 상기 화면에 표시하도록 제어할 수 있다.

상기 제어부는, 상기 설정된 제스처 입력 모드가 필기 입력 모드인 경우, 상기 수신된 사용자 제스처 입력을 분석하여 캐릭터로 변환하고, 상기 변환된 캐릭터를 상기 화면에 표시하도록 제어할 수 있다.

상기 제어부는, 상기 설정된 제스처 입력 모드가 동작 제어 모드인 경우, 상기 수신된 사용자 제스처 입력을 분석하여 제어 명령으로 변환하고, 상기 변환된 제어 명령에 따라 상기 디스플레이 장치를 제어할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 디스플레이 장치의 동작 상황에 따라 다양한 입력 수단의 이용 정보를 가이드해 줌으로써, 사용자 편의성을 높일 수 있게 된다.

도 1은 종래의 오브젝트를 회전하기 위한 사용자 제스처 입력을 나타낸 도면,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 도시한 모식도,
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도,
도 4는 설정된 제스처 입력 모드에 대한 정보를 표시해주는 실시 예를 도시한 모식도,
도 5는 복수의 입력 모드가 지원되는 경우의 디스플레이 화면을 나타낸 모식도,
도 6a는 사용자가 이용할 수 있는 다른 입력 모드를 추천해주는 실시 예를 도시한 모식도,
도 6b는 사용자가 이용할 수 있는 다른 제스처 입력 모드를 추천해주는 다른 실시 예를 도시한 모식도,
도 7은 입력 모드의 변경을 알려주는 실시 예를 도시한 도면,
도 8은 제스처 입력의 방법과 동작에 대한 표를 도시한 도면,
도 9a는 사용자 제스처 입력 모드가 설정된 상태에서 리모콘 입력 모드에 따른 입력이 수신되는 실시 예를 도시한 도면,
도 9b는 사용자 제스처 입력 모드가 설정된 상태에서 리모콘 움직임 제스처 입력 모드에 따른 입력이 수신되는 실시 예를 도시한 도면,
도 10a은 제스처 궤적을 표시하는 실시 예를 도시한 도면,
도 10b는 리모콘 움직임 제스처 궤적을 표시하는 실시 예를 도시한 도면,
도 11은 필기 입력 모드에 따른 디스플레이 장치의 동작을 나타낸 도면,
도 12는 터치 패드를 통한 제스처 입력을 통한 게임을 수행하는 실시 예를 도시한 도면, 그리고,
도 13은 본 발명의 다양한 실시 예에 따른 제스처 입력 처리 방법의 흐름도이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.

도 2는 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 도시한 모식도이다.

도 2에 도시된 것처럼 본 발명의 디스플레이 시스템은 오브젝트를 디스플레이 하는 디스플레이 장치(100)에 다양한 입력 수단(21~29)을 통해 입력을 수행할 수 있다. 입력 수단으로 마우스(21)는 마우스 포인터를 움직이고, 특정 오브젝트를 선택할 수 있는 입력 수단이고, 리모콘(23, 29)은 각종 제어 명령을 생성하여 무선 통신으로 디스플레이 장치(100)에 전달할 수 있다. 특히, 리모콘(23)은 터치 패드를 포함할 수 있고, 터치 패드 상의 사용자 제스처 입력을 감지하여 디스플레이 장치(100)에 전달하는 것이 가능하다. 또한, 리모콘(23, 29)의 버튼 조작에 의해 제어 명령을 생성하여 디스플레이 장치(100)로 전달할 수 있다. 또한, 리모콘이 움직임 센서를 내장하는 경우 리모콘(30)의 움직임을 감지하여 디스플레이 장치(100)로 전달할 수 있다. 마이크(25)는 음향을 감지하여 디스플레이 장치(100)로 전송한다. 디스플레이 장치(100)는 음성을 인식하여 대응되는 제어 명령으로 변환한다. 상기와 같은 입력 장치 없이, 사용자의 손이나 신체를 이용해서 사용자 제스처로 입력을 수행하는 것도 가능하다(27). 이 경우 디스플레이 장치(100)는 사용자의 손이 동작을 촬상하는 수단을 구비하고, 촬상된 영상을 분석하여 손 동작의 변화를 판단함으로써, 제어 명령을 식별한다.

디스플레이 장치(100)는 상기와 같은 수단을 통해 사용자 입력을 수신하고, 대응되는 출력을 수행한다. 특히, 디스플레이 장치(100)는 오브젝트를 출력하고, 오브젝트와 관련된 사용자 입력을 수신하여 대응되는 출력을 수행할 수 있다. 예를 들어, 디스플레이 장치(100)가 동영상을 전체 화면 사이즈로 출력하는 경우, 동영상 출력 사이즈를 조정하기 위한 사용자 입력을 수신할 수 있다. 사용자 제스처를 통해 화면 사이즈를 줄이는 사용자 입력이 수신되면, 디스플레이 장치(100)는 동영상을 전체 화면의 일부 영역에서만 출력한다.

한편, 오브젝트의 종류는 제한이 없다. 즉, 오브젝트는, 영상 콘텐츠, 애플리케이션, 게임 콘텐츠, 썸네일 이미지(thumbnail image), 위젯, 아이템 및 메뉴 중 적어도 하나일 수 있다.

이하에서는 디스플레이 장치(100)의 구성을 설명한다.

도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 도시한 블록도이다.

본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 디스플레이부(110), 제어부(120), 입력부(130)를 포함한다.

디스플레이부(110)는 오브젝트를 화면에 표시하는 구성이다. 그리고, 제어부(120)의 제어에 따라 사용자 입력에 대응되는 화면을 출력하고, 후술하는 입력 모드에 대한 정보를 출력한다.

디스플레이부(110)는 다양한 디스플레이 패널로 설계될 수 있다. 즉, 디스플레이부(110)는 유기발광 다이오드 OLED(Organic Light Emitting Diodes), 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display)등 다양한 디스플레이 기술로 구현될 수 있다. 디스플레이 패널은 주로 발광형으로 이루어질 것이지만, 반사형 디스플레이(E-ink, P-ink, Photonic Crystal)를 배제하는 것은 아니다. 또한, 플렉서블 디스플레이(flexible display), 투명 디스플레이(transparent display) 등으로 구현 가능할 것이다. 또한, 디스플레이 장치(100)는 두 개 이상의 디스플레이 패널을 구비하는 멀티 디스플레이 장치(100)로 구현 가능할 것이다.

입력부(130)는 사용자 입력을 수신하는 구성이다. 입력부(130)는 리모콘, 마이크, 키보드, 마우스 등을 통한 제어 신호를 수신하는 통신 인터페이스가 될 수 있다. 그러나, 사용자 제스처의 경우 디스플레이 장치(110)에 구비된 촬상 수단에 의해 영상을 촬상하므로, 이 경우 촬상 수단이 입력부(130)가 된다.

각 입력 장치에서 필요한 전처리나 데이터 변환 등이 수행될 수 도 있고, 로우 데이터(raw-data)가 직접 디스플레이 장치(100)로 전송되고, 디스플레이 장치(100)에서 필요한 모든 데이터 처리도 가능할 것이다. 이는 구현 방식에 따라 달라질 것이다.

제어부(120)는 디스플레이 장치(100)의 동작 전반을 제어한다.

우선, 제어부(120)는 디스플레이 장치(100)의 동작 상황에 따라 기 설정된 제스처 입력 모드를 설정한다. 여기서 동작 상황이란, 특정한 목적에 따라 디스플레이 장치가 오브젝트를 디스플레이하거나 사용자 입력을 기다리는 상황을 의미한다. 예를 들어, 사용자가 SMS(Short Message Service)를 이용하려는 경우 SMS 애플리케이션이 동작하고, 사용자 인터페이스 GUI가 디스플레이 될 것이다. 이 경우 기 설정된 입력 모드가 설정될 수 있다. 스마트 폰이나 태블릿 PC에서 입력을 수행하는 경우라면, 터치 입력 모드가 설정될 수 있다. 또는 사용자가 드래그 입력을 하는 경우 필기를 인식하여 캐릭터를 식별함으로써, 문자 입력을 수행할 수도 있다. 이 경우는 필기 입력 모드가 설정된다.

입력 모드는 다양할 수 있다. 손과 같은 사용자 객체에 의한 제스처 입력을 수신하는 디스플레이 장치(100)의 입력 모드를 사용자 제스처 입력 모드라고 정의한다. 또한, 리모콘의 터치 패드를 통한 터치 제스처 입력을 수신하는 디스플레이 장치(100)의 입력 모드를 리모콘 터치 제스처 입력 모드라고 정의한다. 또한, 움직임 센서를 구비한 리모콘의 움직임을 통한 제스처 입력을 수신하는 디스플레이 장치(100)의 입력 모드를 리모콘 움직임 제스처 입력 모드라고 정의한다. 또한, 리모콘의 버튼을 조작하여 생성된 제어 명령을 수신하는 디스플레이 장치(100)의 입력 모드를 리모콘 버튼 입력 모드라고 정의한다.

이러한 입력 모드의 설정은 사용자가 입력 모드 변경을 위한 별도의 입력을 수행하지 않는 이상, 디스플레이 장치(100)가 턴-온되는 경우 디폴트로 기 설정된 입력 모드가 설정될 수 있다. 예를 들어, 디스플레이 장치(100)가 DTV로 구현되는 경우 일반적으로 리모콘을 많이 사용하므로 리모콘 버튼 입력 모드가 디폴트 입력 모드로 설정될 수 있다.

다만, 후술하는 것처럼 복수 개의 서로 다른 입력 모드가 동시에 지원되는 것도 가능하다. 예를 들어, 디스플레이 장치(100)가 특정 애플리케이션을 동작시키는 경우 리모콘과 포인터 장치 모두를 통해 사용자 입력을 수행하는 것이 가능할 수 있다. 이러한 실시 예에 대해서 후술할 것이다.

한편, 디스플레이 장치(100)는 다양한 입력 모드를 제공하므로 현재 설정된 입력 모드가 무엇인지 사용자에게 알려주는 기능이 필요하다. 도 4는 이러한 실시 예를 도시한다.

즉, 도 4는 설정된 사용자 제스처 입력 모드에 대한 정보를 표시해주는 실시 예를 도시한 모식도이다.

제어부(120)는 도 4에 도시된 것처럼 설정된 입력 모드에 대한 정보를 화면의 일 영역에 표시하도록 디스플레이부(110)를 제어한다. 즉, 현재 설정된 입력 모드가 리모콘 터치 제스처 입력 모드인 경우 화면의 일 영역(45)에 리모콘의 터치 제스처와 관련된 아이콘을 표시한다. 본 발명에 따른 디스플레이 장치(100)는 리모콘의 터치 패드를 통한 제스처 입력이 가능하므로, 제스처 입력이 필요한 오브젝트(43)가 화면(41)에 디스플레이 되고 입력 모드가 리모콘 터치 제스처 입력 모드로 설정되어 있는 경우 화면의 일 영역(45)에 리모콘을 통한 제스처 입력이 가능함을 표시해준다. 물론, 리모콘 터치 제스처 입력 모드 뿐 아니라, 리모콘 움직임 제스처 입력 모드, 사용자 제스처 입력 모드, 마우스 입력 모드, 키보드 입력 모드, 보이스(VOICE) 입력 모드, 포인터 입력 모드 등 다양한 입력 모드 또는 입력 장치에 의한 입력이 가능하고, 설정된 입력 모드 또는 입력 장치에 대한 정보를 화면의 일 영역에 표시해줄 수 있다. 또한, 도 4의 실시 예에서는 입력 모드에 대한 아이콘을 표시해주었으나, 아이콘이 아닌, 캐릭터, 동영상 등을 표시하는 것도 가능하다. 또한, 입력하는 제스처의 모양을 동영상으로 표시하는 것도 가능할 것이다. 예를 들어, 드래그 방향이나, 모양을 화살표의 움직임으로 표시할 수 있을 것이다.

전술한 것처럼 디스플레이 장치(100)는 복수의 입력 모드를 지원할 수 있으므로, 복수의 입력 모드에 대한 정보를 표시하는 것도 가능하다. 복수의 입력 모드를 지원할 수 있지만, 디스플레이 장치(100)의 동작 상황에 따라 지원되는 입력 모드의 개수나 종류는 달라질 수 있다. 예를 들어, 웹브라우저가 구동되는 경우 마우스 입력 모드, 사용자 제스처 입력 모드, 리모콘 움직임 제스처 입력 모드 등을 통한 입력이 모두 지원될 수 있으나, 이메일을 작성하는 화면에서는 사용자 제스처 입력 모드가 비활성화 될 수 있다.

또한, 지원되는 복수의 입력 모드 사이에 우선순위가 있을 수 있고, 이러한 우선 순위에 대한 정보를 표시해 줄 수 있다.

도 5는 복수의 입력 모드가 지원되는 경우의 디스플레이 화면을 나타낸 모식도이다.

도 5에 도시된 실시 예에서 특정한 오브젝트(43)와 관련하여 사용자 제스처와, 리모콘(45)을 통한 입력이 모두 가능할 수 있다. 또한, 현재 사용자 제스처를 통한 입력에 우선순위가 있음을 표시하기 위해 사용자 제스처 입력 모드에 대응되는 아이콘이 하이라이트 표시되어 있다. 사용자는 리모콘이나, 사용자 제스처 입력을 통해 입력 모드를 전환할 수 있다.

그러나, 상기와 달리 제어부(120)는 상기와 같이 디스플레이 장치(100)의 동작 상황에 따라 이용 가능한 입력 수단에 대한 정보, 즉 입력 모드 정보를 화면의 일 영역에 표시하지 않고, 최적의 입력 수단을 추천해줄 수도 있다. 이 경우 제어부(120)는 화면에 추천되어 표시된 입력 모드에 대한 선택 입력이 있으면, 상기 입력 모드를 설정하도록 제어한다.

즉, 디스플레이 장치(100)의 특정한 동작 상황에서 이용 가능한 입력 모드가 복수 개인 경우라도, 일부 입력 모드의 경우 사용자의 편의성이 떨어진다고 판단되는 경우, 사용자 편의성이 높은 입력 모드를 추천하는 것이 가능하다. 사용자의 편의성에 대한 판단은 디스플레이 장치(100)의 설계자에 의해 정책적으로 결정될 사항이지만, 애플리케이션이나, 펌웨어 제공 업체가 정하는 것도 가능할 것이다. 예를 들어, 특정 게임의 경우 게임 제공 업체는 게임을 수행하기에 가장 적절한 입력 모드를 설정할 것이고, 그에 따라, 입력 모드의 추천이 이루어질 수 있다.

입력 모드의 추천은 다양한 형태로 이루어질 수 있다. 전술한 것처럼 입력 모드 사이에 우선순위를 설정하여 최우선 순위의 입력 모드를 디폴트 모드로 제공하고, 다른 입력 모드에 대한 선택이 가능하도록 인터페이스를 제공할 수 있다. 이와 달리, 디폴트 입력 모드는 미리 정의된 규칙에 따라 제공하고, 디스플레이 장치(100)의 동작 상황에 맞는 입력 모드에 대한 정보를 별도로 제공하는 것도 가능하다. 즉, 디스플레이 장치(100)의 동작 상황에 대한 관습적인 입력 모드를 변경하지 않으면서 사용자에게 편리한 입력 모드를 추천해주는 것이다. 도 6a 및 6b은 후자의 실시 예를 도시한다.

도 6a은 사용자가 이용할 수 있는 다른 입력 모드를 추천해주는 일 실시 예를 도시한 모식도이다.

제어부(120)는 디폴트로 설정되거나 사용자에 의해 미리 설정된 입력 모드에서 사용자 입력이 있는 경우, 이러한 입력에 대한 처리를 수행한다. 도 6a의 실시 예에서 사용자가 오브젝트(43)를 확대하는 입력(60)을 수행하는 경우(도면에 나타난 것처럼 두 주먹을 양쪽으로 펴는 동작을 수행), 오브젝트(43)를 확대하는 출력을 수행한다. 이때, 현재 설정되어 있는 입력 모드가 사용자 제스처 입력 모드임을 나타냄을 화면의 일 영역(47)에 표시한다.

이때, 제어부(120)는 사용자가 이용 가능한 다른 제스처 입력 모드가 존재하면, 상기 다른 제스처 입력 모드에 대한 정보를 화면에 표시하도록 디스플레이부(110)를 제어할 수 있다.

도 6a의 실시 예에서 사용자가 사용자 제스처 입력을 통해 오브젝트(43)의 확대 입력을 수행한 경우 동일한 출력을 위한 다른 입력 모드의 지원이 가능함을 화면의 다른 영역(49)에 표시한다. 즉, 리모콘의 터치 패드를 통해 유사한 제스처 입력이 가능함을 표시해준다. 사용자 제스처는 인식률을 높이기 위해 정확한 동작이 필요하고 사용자가 양손을 이용해서 동작해야 하므로 사용자의 자세나 위치에 따라 동작이 어려워지는 문제가 있다. 무엇보다도 사용자가 신체를 이용해서 크게 동작을 해야 하므로 편의성이 떨어지는 문제가 있다. 리모콘의 터치 패드를 통해 동일한 제스처 입력이 가능한 경우 사용자는 자세나 위치에 관계없이 편리하게 입력을 수행할 수 있으므로, 이러한 경우 화면의 다른 영역(49)에 이용가능한 다른 입력 모드에 대한 정보를 표시해줄 필요가 있다.

도 6a에서 사용자 제스처 입력 모드에 대한 표시가 하이라이트 되어 있는 것은 현재 사용 중인 입력 모드를 강조하기 위한 것이다. 사용자는 사용자 제스처나 리모콘의 간단한 조작을 통해 입력 모드 변경이 가능하다.

전술한 것처럼 본 발명에 따른 디스플레이 장치(100)는 리모콘의 움직임에 의한 제스처 입력이 가능하다.

도 6b는 사용자가 이용할 수 있는 다른 제스처 입력 모드를 추천해주는 다른 실시 예를 도시한 모식도이다.

도 6b의 왼쪽 도면은 사용자가 리모콘의 방향키를 조작하여 디스플레이 화면에서 포인터나 하이라이트 위치를 변경하는 경우(리모콘 버튼 입력 모드)를 나타낸다. 사용자가 디스플레이 화면의 가상 키보드 상의 포인터나 하이라이트 위치를 변경하기 위하여 리모콘의 어느 방향키를 조작하는 입력을 수행한 경우, 디스플레이 장치(100)는 동일한 제어 명령을 위한 다른 입력 모드 지원이 가능함을 화면의 다른 영역(49)에 표시할 수 있다. 즉, 디스플레이 장치(100)는 움직임 센서가 구비된 리모콘을 상기 조작된 방향키에 대응되는 방향으로 움직임으로써, 가상 키보드 상의 포인터나 하이라이트의 위치를 변경할 수 있음을 화면의 일 영역(49)에 표시한다.

또한, 사용자의 의도가 포인터나 하이라이트 위치를 디스플레이 화면의 현재 위치에서 비교적 먼 위치로 이동시키고 싶은 것인 경우, 방향키를 조작해서 상기 작업을 수행하려면, 방향키를 복수회 조작해야 하는 불편이 있다. 디스플레이 장치(100)는 이러한 사용자의 의도를 판단하여, 움직임 센서가 구비된 리모콘을 상기 조작된 방향키에 대응되는 방향으로 움직임으로써, 가상 키보드 상의 포인터나 하이라이트의 위치를 변경할 수 있음을 화면의 일 영역(49)에 표시할 수 있다. 예를 들어, 사용자가 기 설정된 시간 내에 특정 방향키를 5회 이상 입력한 경우, 디스플레이 장치(100)는 사용자의 의도가 포인터나 하이라이트의 위치를 현재의 위치로부터 먼 곳으로 이동시키기 위한 것으로 간주할 수 있다. 이러한 경우, 디스플레이 장치(100)는 화면의 일 영역에 움직임 센서가 구비된 리모콘을 이용할 수 있음(리모콘 제스처 입력 모드)을 표시해 주는 것이다.

상기의 경우, 사용자 스스로 처음부터 리모콘 제스처에 의한 입력을 수행하려 할 수도 있다. 이 경우, 사용자가 리모콘을 지면을 기준으로 기 설정된 각 이상 기울이면, 디스플레이 장치(100)는 리모콘 제스처 입력 모드로 진입할 수 있다. 그리고, 디스플레이 장치(100)는 리모콘 제스처 입력 모드로 진입했음을 화면의 일 영역에 표시한다. 또한, 이 경우, 현재의 입력 모드에서 리모콘 제스처 입력 모드로 변경되었음을 표시해 줄 수 있다(도 7의 실시 예 참조).

한편, 제어부(120)는 입력 모드의 변경이 있는 경우, 사용자에게 입력 모드의 변경을 알려주는 동작을 수행하도록 제어할 수 있다. 도 7은 이러한 실시 예를 도시한다.

즉, 도 7은 입력 모드의 변경을 알려주는 실시 예를 도시한 도면이다.

제어부(120)는 입력 모드의 변경이 있는 경우, 입력 모드 변경이 있음을 나타내는 가이드 정보를 화면의 일 영역에 표시하도록 제어한다. 도 7은 디스플레이 장치(100)가 추천된 입력 모드를 사용자가 선택하는 등으로 인해 입력 모드가 사용자 제스처 입력 모드에서 리모콘 터치 입력 모드로 변경되는 상황을 도시한다. 이때, 화면의 상단 영역(48)에 사용자 제스처 입력 모드에서 리모콘 터치 입력 모드로 입력 모드가 변경됨을 나타냄을 표시한다. 그리고, 화면의 다른 영역에는 변경된 입력 모드 즉, 현재의 입력 모드를 표시한다. 이 경우에는 변경된 후의 입력 모드가 리모콘 터치 입력 모드이므로 이 대한 정보가 표시되고 있다(47).

제어부(120)는 수신된 사용자 입력에 대응되는 출력을 수행하도록 디스플레이부(110)를 제어한다. 또한, 디스플레이 장치(100)가 사운드 출력부(미도시)를 더 포함하는 경우 제어부(120)는 비프음이나, 기타 필요한 사운드를 생성하여 출력하도록 사운드 출력부를 제어할 수 있다.

리모콘의 터치 패드를 통한 제스처 입력과 사용자 제스처 입력은 서로 방식이 상이하므로 동일한 의미의 입력 들 간의 매핑이 필요하다. 도 8은 제스처 입력의 방법과 동작에 대한 표를 도시한다.

도 8에 도시된 것처럼 줌인 명령은 사용자 제스처로 양손을 동일한 지점을 중심으로 모으는 동작으로 할 수 있다. 터치 패드를 통한 줌인 명령은 두 손가락을 터치 패드 상에 터치한 상태에서 터치 지점이 서로 가까워지는 방향으로 드래그하는 동작으로 할 수 있다. 이 경우 두 개의 터치 지점 중 어느 하나는 움직이고 다른 하나는 고정되는 경우와 둘 다 움직이는 경우는 모두 동일하게 취급될 수 있다.

줌 아웃 명령의 경우도 사용자 제스처 입력은 양손을 동일한 지점을 중심으로 서로 멀어지게 움직이는 동작으로 할 수 있다. 터치 패드를 통한 줌 아웃 명령은 두 손가락을 터치 패드 상에 터치한 상태에서 터치 지점이 서로 멀어지는 방향으로 드래그하는 동작으로 할 수 있다. 이 경우도 두 개의 터치 지점 중 어느 하나는 움직이고 다른 하나는 고정되는 경우와 둘 다 움직이는 경우는 모두 동일하게 취급될 수 있다.

회전 명령은 객체를 회전시키기 위한 명령이다. 가로 방향으로 디스플레이 된 사진을 90도 회전 시켜 세로 방향으로 디스플레이 하거나 그 반대로 하는 경우 등에 사용할 수 있는 입력이다. 사용자 제스처를 통한 회전은 양 손 사이의 거리를 유지하면서 거리의 중점을 중심으로 서로 동일한 방향(시계 또는 반시계)으로 회전하는 동작으로 수행한다. 터치 패드를 이용한 제스처 입력의 경우는 두 손가락을 터치 패드 상에서 서로 다른 위치에 터치한 상태에서 터치 지점 사이의 거리를 유지하면서 거리의 중점을 중심으로 서로 동일한 방향으로 회전하는 드래그 입력을 수행한다. 이 경우에도 두 손가락이 모두 이동하는 경우와 어느 하나만 이동하는 경우를 동일하게 취급할 수 있다.

웹 브라우저에서 이전에 방문한 페이지로 돌아가는 경우, 애플리케이션을 실행한 후 실행을 취소하는 경우, 파일 디렉토리에서 상위 디렉토리로 이동하는 경우 등에 백 명령(back command)이 종종 사용된다. 사용자 제스처 입력의 경우 손가락을 전부 편 상태에서 원 궤적을 이루면서 시계 반대 방향으로 회전하는 동작으로 백 명령을 수행할 수 있다. TV에서 이전 채널을 선국하는 명령은 이와 구별하여 정의할 수 있는데, 도 8에서는 손가락 한 개로 시계 반대 방향으로 회전하는 원 궤적을 그리는 제스처 입력을 수행하는 것이 이전 채널 선국 명령으로 정의되고 있다. 도 8에서 정의된 제스처는 본 발명의 일 실시 예를 도시한 것 뿐이므로, 이와 다른 제스처를 정의하고 매핑하는 것도 가능할 것이다.

한편, 전술한 실시 예와 같이 입력 모드를 전환하는 입력 없이 좀더 사용자의 직관을 고려한 실시 예를 고려할 수 있다. 도 9a 및 9b는 그러한 실시 예를 도시한다.

즉, 도 9a는 사용자 제스처 입력 모드가 설정된 상태에서 리모콘 터치 제스처 입력 모드에 따른 입력이 수신되는 실시 예를 도시한 도면이고, 도 9b는 사용자 제스처 입력 모드가 설정된 상태에서 리모콘 움직임 제스처 입력 모드에 따른 입력이 수신되는 실시 예를 도시한 도면이다.

제어부(120)는 디스플레이 장치(100)에 설정된 입력 모드와 다른 입력 모드에 대한 입력이 수신되는 경우, 상기 다른 입력 모드에 따른 사용자 입력이 가능한지를 판단한다. 그리고, 다른 입력이 가능한 경우, 디스플레이 장치(100)의 입력 모드를 상기 다른 입력 모드로 변환하여, 수신된 입력을 처리한다.

도 9a의 실시 예에서 디스플레이 장치(100)는 사용자 제스처 입력 모드가 설정되어 있다. 설명한 것처럼 디스플레이 장치(100)는 현재 설정되어 있는 사용자 제스처 입력 모드에 대한 정보를 표시해 줄 수 있고, 다른 이용 가능한 입력 모드에 대한 정보 즉, 리모콘을 통한 터치 제스처 입력이 가능함을 알려줄 수도 있다. 그러나, 사용자가 다른 입력 모드에 대한 선택 없이, 그대로 다른 입력 모드에 따른 입력을 수행할 수가 있다. 도 9a의 실시 예에서 사용자는 예고 없이 리모콘의 터치 패드 상에 줌아웃 제스처를 입력할 수 있다.

이때, 제어부(120)는 리모콘의 터치 패드를 통한 제스처 입력이 가능한지 판단하고, 입력된 제스처를 분석한다. 그리고, 입력된 제스처에 따라 오브젝트(43)를 확대한다. 그리고, 디스플레이 장치(100)의 입력 모드를 리모콘 터치 제스처 입력모드로 변경한다. 전술한 것처럼 터치 패드 상의 줌아웃 명령은 하나의 터치 지점만 움직이는 경우(61, 62)와 두 터치 지점이 모두 움직이는 경우(63)를 동일하게 취급할 수 있다.

도 9b의 실시 예에서 디스플레이 장치(100)는 사용자 제스처 입력 모드가 설정되어 있다. 설명한 것처럼 디스플레이 장치(100)는 현재 설정되어 있는 사용자 제스처 입력 모드에 대한 정보를 표시해 줄 수 있고, 다른 이용 가능한 입력 모드에 대한 정보 즉, 움직임 센서를 구비한 리모콘(60)을 통한 제스처 입력이 가능함을 알려줄 수도 있다. 그런데, 사용자가 다른 입력 모드에 대한 선택 없이, 리모콘(60)을 움직이는 입력을 수행할 수 있다.

이때, 제어부(120)는 움직임 센서를 구비한 리모콘(60)의 움직임을 통한 제스처 입력이 가능한지 판단하고, 가능하다고 판단되면, 입력된 제스처를 분석한다. 그리고, 입력된 제스처에 따라 화면(41) 상의 하이라이트나 포인터 위치(43)를 움직인다. 그리고, 디스플레이 장치(100)의 입력 모드를 리모콘 움직임 제스처 입력모드로 변경한다(48).

제어부(120)는 상기 수신된 사용자 제스처 입력에 따른 제스처 궤적을 화면의 일 영역에 표시하도록 제어할 수 있다. 이러한 기능은 사용자가 자신이 입력하는 제스처를 확인할 수 있도록 하여 사용자에게 입력 가이드를 제공한다.

도 10a는 제스처 궤적을 표시하는 실시 예를 도시한 도면이다. 도 10a에서 사용자는 리모콘을 통한 터치 제스처 입력을 수행한다(60). 현재 설정된 입력 모드에 대한 정보가 화면의 일 영역(47)에 표시되고, 화면의 다른 영역(46)에는 설정된 입력 모드에서 터치 제스처 입력의 궤적이 표시된다. 사용자는 회전 명령에 대한 제스처 입력을 수행하였으므로, 오브젝트(43)는 오른쪽 도면과 같이 회전하여 표시된다. 제스처 입력이 종료되면, 표시되었던 제스처 입력의 궤적은 사라진다(46).

리모콘 움직임 제스처 입력 모드의 경우, 제어부(120)는 상기 수신된 리모콘 움직임 제스처 입력에 따른 리모콘의 움직임을 화면의 일 영역에 표시하도록 제어할 수 있다. 이러한 기능은 사용자가 자신이 입력하는 리모콘 움직임 제스처의 방향 등을 확인할 수 있도록 하여 사용자에게 입력 가이드를 제공한다.

도 10b는 리모콘 움직임 제스처 궤적을 표시하는 실시 예를 도시한 도면이다. 도 10b에서 사용자는 리모콘(60)을 오른쪽으로 회전시켜, 게임 상의 오브젝트인 총구(43)를 오른쪽으로 돌리는 리모콘 제스처 입력을 수행한다. 현재 설정된 입력 모드에 대한 정보가 화면의 일 영역(47)에 표시되고, 화면의 다른 영역(46)에는 설정된 입력 모드에서 리모콘 움직임 제스처 입력의 궤적이 표시된다. 사용자는 리모콘(60) 회전 제스처 입력을 수행하였으므로, 오브젝트(43)는 오른쪽 도면과 같이 회전하여 표시된다. 제스처 입력이 종료되면, 표시되었던 제스처 입력의 궤적은 사라진다(46).

본 발명에 따른 디스플레이 장치(100)는 다양한 입력 모드를 통해 필기 입력을 지원한다. 즉, 리모콘의 터치 패드나 사용자 제스처 입력을 통한 필기 입력을 지원한다. 필기 입력이 가능한 경우, 필기 입력 모드라고 정의한다. 즉, 사용자 제스처 입력 모드, 리모콘 터치 제스처 입력 모드 등은 각각 필기 입력 모드를 갖는다. 필기 입력 모드에서 제어부(120)는 사용자의 제스처를 분석하여 캐릭터로 변환한다. 그리고, 변환된 캐릭터를 화면에 표시한다. 도 11은 이러한 실시 예를 도시한다.

즉, 도 11은 필기 입력 모드에 따른 디스플레이 장치의 동작을 나타낸 도면이다.

사용자 제스처 입력 모드에서 사용자는 공간 상에 사용자 제스처를 입력한다(47). 이때 입력된 사용자 제스처의 궤적은 대응되는 캐릭터로 해석된다. 도 11에서 사용자는 3차원 공간에서 캐릭터 ‘c’에 대응되는 제스처를 하였고, 제어부(120)는 촬상된 영상을 분석하여 캐릭터 ‘c’로 변환한다. 그리고, 이러한 캐릭터 ‘c’를 화면에 표시한다(46). 화면에 표시된 캐릭터를 최종적으로 입력창에 삽입하려면 별도의 제스처를 요구할 수 있다. 예를 들어, 사용자가 주먹을 쥐게 되면, 표시된 캐릭터 ‘c’가 입력창에 삽입된다.

필기 입력 모드도 문자와 숫자에 따라 구별되는 모드로 구현될 수 있다. 예를 들어 문자 입력 모드의 경우, 제스처는 문자로 해석되며, 숫자 입력 모드의 경우 제스처는 숫자로 해석된다. 일반적으로 숫자의 해석은 훨씬 간단한 알고리즘으로 구현이 가능하고, 문자와 숫자의 구별에는 많은 연산을 요구하기 때문에, 양자를 구별하여 변환하는 경우 계산의 이점이 존재한다. 다만, 문자 입력과 숫자 입력을 사용자 인터페이스 화면에서 구별해주어 처음부터 구별되는 입력을 수행할 수도 있으나, 사용자가 문자 숫자를 구별하지 않고 입력하고, 제어부(120)가 문자/숫자 구별알고리즘에 따라 구별하여 해석하도록 구현하는 것도 가능할 것이다.

필기 입력 모드와 개념상 구별하기 위해 전술한 다양한 입력 모드는 동작 제어 모드라고 명명할 수 있다. 즉, 제어부(120)는 설정된 제스처 입력 모드가 동작 제어 모드인 경우, 수신된 사용자 제스처 입력을 분석하여 제어 명령으로 변환하고, 상기 변환된 제어 명령에 따라 상기 디스플레이 장치를 제어할 수 있다. 이에 대해서는 전술한 바와 같다.

제어부(120)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 포함한다. 제어부(120)는 시스템 클럭에 따라 디스플레이 장치(100)의 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다. 특히, 전술한 입력 처리 방법은 독립적인 애플리케이션으로 구현될 수도 있고, 하나의 DSP나 FPGA에 포함되어 구현될 수도 있다.

이상에서 본 발명의 다양한 실시 예에 따른 디스플레이 장치(100)의 구성과 기능을 설명하였다. 전술한 본 명세서에서 디스플레이 장치(100)는 하나 혹은 그 이상의 디스플레이를 구비하며, 어플리케이션을 실행하거나 컨텐츠를 표시 가능하도록 구성되는 장치로써, 예를 들면, 디지털 텔레비전(Digital television), 태블릿(Tablet) 개인 컴퓨터(Personal Computer: PC), 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 디지털 액자, 디지털 사이니지(Digital Signage) 및 키오스크 중 적어도 하나로 구현될 수 있다

전술한 디스플레이 장치(100)는 일반적인 전자 계산 장치가 갖는 필수적인 구성을 포함한다. 전술한 바와 같은 충분한 제어 및 연산 능력을 갖는 CPU 외에도 하드 디스크나 블루레이 디스크와 같은 대용량 보조 기억 장치, 터치 스크린과 같은 입출력 장치, 근거리 통신 모듈, HDMI를 포함하는 다양한 유무선 통신 모듈, 데이터 버스 등 하드웨어 구성을 포함한다.

상술한 본 발명의 다양한 실시 예는 게임, 교육, 인터넷, TV 등 다양한 서비스에 이용할 수 있다. 도 12는 터치 패드를 통한 제스처 입력을 통한 게임을 수행하는 실시 예를 도시한 도면이다.

도 12의 실시 예에서 리모콘의 터치 패드 또는 사용자 제스처로 비디오 게임을 할 수 있음이 디스플레이 장치(100)의 화면의 상단에 표시된다. 그리고, 사용자는 리모콘의 터치 패드를 선택하고, 게임을 수행한다. 도 12의 실시 예에서 디스플레이 장치(100)의 터치 스크린이 아닌 리모콘의 터치 패드를 통해 터치한 상태에서 가압하여 새총으로 발사할 포탄을 장전한다. 그리고, 드래그 입력을 통해 새총의 고무줄을 어느 정도 늘어나게 할 것인지 결정하고, 터치를 종료시킴으로써, 새총을 발사한다.

이하에서는 본 발명의 다양한 실시 예에 따른 제스처 입력 처리 방법을 설명한다.

도 13은 본 발명의 다양한 실시 예에 따른 제스처 입력 처리 방법의 흐름도이다.

도 13을 참조하면, 본 발명의 일 실시 예에 따른 제스처 입력 처리 방법은, 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 설정하는 단계(S1310), 상기 설정된 제스처 입력 모드에 대한 정보를 화면의 일 영역에 표시하는 단계(S1320), 사용자 제스처 입력을 수신하는 단계(S1330) 및 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계(S1340)를 포함한다.

이때, 상기 제스처 입력 모드를 설정하는 단계(1310)는, 상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 추천하여 상기 화면에 표시하는 단계와, 상기 표시된 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 선택된 제스처 입력 모드를 설정하는 단계를 포함할 수 있다.

한편, 전술한 제스처 입력 처리 방법은 컴퓨터 상에서 판독 가능한 비일시적 기록 매체에 프로그램의 형태로 저장될 수 있다. 여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장이 가능하며, 전자기기에 의해 판독(reading)이 가능한 매체를 의미한다. 예를 들어, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.

또한, 전술한 제스처 입력 처리 방법은 FPGA와 같이 임베디드 소프트웨어 형태로 하드웨어 IC칩에 내장되어 제공될 수 있고, 전술한 디스플레이 장치(100)의 애플리케이션이나, DSP에 포함되어 구현될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 디스플레이 장치
110 : 디스플레이부 120: 제어부
130 : 입력부

Claims

디스플레이 장치의 제스처 입력 처리 방법에 있어서,
상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 설정하는 단계;
상기 설정된 제스처 입력 모드에 대한 정보를 화면의 일 영역에 표시하는 단계;
사용자 제스처 입력을 수신하는 단계; 및
상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계;를 포함하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 제스처 입력 모드를 설정하는 단계는,
상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 추천하여 상기 화면에 표시하는 단계; 및
상기 표시된 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 선택된 제스처 입력 모드를 설정하는 단계;를 포함하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 제스처 입력 모드를 설정하는 단계는,
기 설정된 제스처 입력 모드를 통한 사용자 입력이 있는 경우, 이용 가능한 다른 제스처 입력 모드가 존재하면, 상기 다른 제스처 입력 모드에 대한 정보를 화면에 표시하는 단계; 및
상기 표시된 다른 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 다른 제스처 입력 모드를 설정하는 단계;를 포함하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 제스처 입력 모드의 변경이 있는 경우, 제스처 입력 모드 변경이 있음을 나타내는 가이드 정보를 화면의 일 영역에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 설정된 제스처 입력 모드와 다른 제스처 입력 모드에 대한 제스처 입력이 수신되는 경우, 상기 다른 제스처 입력 모드에 따른 제스처 입력이 가능하면,
상기 디스플레이 장치의 제스처 입력 모드를 상기 다른 제스처 입력 모드로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 상기 수신된 사용자 제스처 입력에 따른 제스처 궤적을 상기 화면에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계는,
상기 설정된 제스처 입력 모드가 필기 입력 모드인 경우,
상기 수신된 사용자 제스처 입력을 분석하여 캐릭터로 변환하고, 상기 변환된 캐릭터를 상기 화면에 표시하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항에 있어서,
상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하는 단계는,
상기 설정된 제스처 입력 모드가 동작 제어 모드인 경우,
상기 수신된 사용자 제스처 입력을 분석하여 제어 명령으로 변환하고, 상기 변환된 제어 명령에 따라 상기 디스플레이 장치를 제어하는 것을 특징으로 하는 제스처 입력 처리 방법.
제1항 내지 제8항에 따른 제스처 입력 처리 방법을 수행하기 위한 컴퓨터에서 판독 가능한 프로그램을 기록한 비 일시적 기록 매체.
디스플레이 장치에 있어서,
디스플레이부;
사용자 제스처 입력을 수신하는 입력부; 및
상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 설정하고, 상기 설정된 제스처 입력 모드에 대한 정보를 화면의 일 영역에 표시하며, 상기 수신된 사용자 제스처 입력에 대응되는 출력을 수행하도록 제어하는 제어부;를 포함하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 디스플레이 장치의 동작 상황에 따라 제스처 입력 모드를 추천하여 상기 화면에 표시하도록 제어하고, 상기 표시된 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 선택된 제스처 입력 모드를 설정하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
기 설정된 제스처 입력 모드를 통한 사용자 입력이 있는 경우, 이용 가능한 다른 제스처 입력 모드가 존재하면, 상기 다른 제스처 입력 모드에 대한 정보를 화면에 표시하도록 제어하고, 상기 표시된 다른 제스처 입력 모드에 대한 선택 입력이 있으면, 상기 다른 제스처 입력 모드를 설정하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 제스처 입력 모드의 변경이 있는 경우, 제스처 입력 모드 변경이 있음을 나타내는 가이드 정보를 화면의 일 영역에 표시하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 설정된 제스처 입력 모드와 다른 제스처 입력 모드에 대한 제스처 입력이 수신되는 경우, 상기 다른 제스처 입력 모드에 따른 제스처 입력이 가능하면,
상기 디스플레이 장치의 제스처 입력 모드를 상기 다른 제스처 입력 모드로 변환하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 상기 수신된 사용자 제스처 입력에 따른 제스처 궤적을 상기 화면에 표시하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 설정된 제스처 입력 모드가 필기 입력 모드인 경우, 상기 수신된 사용자 제스처 입력을 분석하여 캐릭터로 변환하고, 상기 변환된 캐릭터를 상기 화면에 표시하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 설정된 제스처 입력 모드가 동작 제어 모드인 경우, 상기 수신된 사용자 제스처 입력을 분석하여 제어 명령으로 변환하고, 상기 변환된 제어 명령에 따라 상기 디스플레이 장치를 제어하는 것을 특징으로 하는 디스플레이 장치.