KR102325339B1 - 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치 - Google Patents

사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102325339B1
KR102325339B1 KR1020140188998A KR20140188998A KR102325339B1 KR 102325339 B1 KR102325339 B1 KR 102325339B1 KR 1020140188998 A KR1020140188998 A KR 1020140188998A KR 20140188998 A KR20140188998 A KR 20140188998A KR 102325339 B1 KR102325339 B1 KR 102325339B1
Authority
KR
South Korea
Prior art keywords
cursor
touch
coordinates
user
touch screen
Prior art date
Application number
KR1020140188998A
Other languages
English (en)
Other versions
KR20160078160A (ko
Inventor
정동욱
안현진
김기범
마지연
윤재석
정글지
최현빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140188998A priority Critical patent/KR102325339B1/ko
Priority to US14/980,573 priority patent/US10095384B2/en
Publication of KR20160078160A publication Critical patent/KR20160078160A/ko
Application granted granted Critical
Publication of KR102325339B1 publication Critical patent/KR102325339B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03549—Trackballs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/037—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor using the raster scan of a cathode-ray tube [CRT] for detecting the position of the member, e.g. light pens cooperating with CRT monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자가 움직임에 따라, 터치 스크린을 포함하는 디바이스가, 사용자의 움직임에 관한 정보를 획득하는 통신부, 획득된 사용자의 움직임에 관한 정보에 대응하여, 터치 스크린 상에 디스플레이된 커서를 이동시키는 디스플레이부, 및 커서가 이동됨에 따라, 이동된 커서가 위치하는 좌표를 드웰 시작 좌표로써 결정하고, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치함에 따라, 드웰 시작 좌표를 터치 좌표로써 결정하는 제어부를 포함하는, 일 실시예에 따른, 디바이스가 개시된다.

Description

사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치{METHOD FOR RECEVING A USER INPUT BY DETECTING A MOVEMENT OF A USER AND APPARATUS THEREOF}
본 발명은, 사용자의 움직임을 검출하고, 검출된 사용자의 움직임에 기초하여 터치 이벤트를 생성하는 방법 및 이를 위한 장치에 관한 것이다.
그래픽 사용자 인터페이스(Graphic user interface)를 가진 일반적인 디바이스는, 키보드 및 마우스와 같은 포인팅 입력 장치로부터 사용자 입력을 수신할 수 있다. 즉, 사용자는 키보드를 누르거나, 마우스를 클릭하여 화면에 디스플레이된 복수의 객체들 중 하나를 선택할 수 있다.
최근에는 디바이스가 소형화되고, 휴대화됨에 따라, 별도의 입력 장치 없이 터치 스크린만을 구비한 디바이스가 점차 대중화되고 있다. 터치 스크린을 구비한 디바이스가 대중화됨에 따라, 디바이스는 다양한 터치 제스처에 기초하여 동작하는 사용자 인터페이스가 구비되고 있다. 예를 들어, 터치 제스쳐는 화면 전환을 위한 스와이프 동작, 특정 객체를 확대 또는 축소하기 위한 줌 인(Zoom in) 또는 줌 아웃 Zoom out) 동작 및 특정 객체를 이동시키기 위한 드래그 앤 드롭(Drag and Drop) 동작 등을 있을 수 있다.
그러나, 상지 장애를 가진 사용자들은 이러한 터치 제스처를 행하는 것이 어려울 수 있다. 예를 들어, 척수의 손상 등으로 인해 몸을 자유롭게 움직이기 어려운 사용자들 또는 손가락 힘이 부족한 사용자들은 터치 제스처를 정확하게 수행하기 어려울 수 있다.
또한, 상지 장애를 가진 사용자들은 자신의 장애 유형에 맞게 손등, 발, 턱 또는 혀 등으로 커서를 원하는 좌표에 위치시킬 수는 있으나, 클릭과 같은 좌표를 선택하는 동작이 어려울 수 있다. 또한, 상지 장애를 가진 사용자들은 동시에 복수의 터치를 요구하는 터치 제스쳐를 수행하기 어려울 수 있다.
본 발명은, 사용자의 움직임을 검출하고, 검출된 사용자의 움직임에 기초하여 터치 이벤트를 생성하는 다양한 실시예가 제공된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 사용자가 움직임에 따라, 터치 스크린을 포함하는 디바이스가, 사용자의 움직임에 관한 정보를 획득하는 통신부, 획득된 사용자의 움직임에 관한 정보에 대응하여, 터치 스크린 상에 디스플레이된 커서를 이동시키는 디스플레이부, 및 커서가 이동됨에 따라, 이동된 커서가 위치하는 좌표를 드웰 시작 좌표로써 결정하고, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치함에 따라, 드웰 시작 좌표를 터치 좌표로써 결정하는 제어부를 포함하는, 디바이스를 제공할 수 있다.
또한, 제어부는, 드웰 시작 좌표를 터치 좌표로써 결정함에 따라, 터치 좌표 상에 터치 이벤트를 발생시킬 수 있다.
또한, 제어부는, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 커서가 드웰 시작 좌표로부터 기준 거리 이상 떨어짐에 따라, 기준 거리 이상 떨어진 커서의 좌표를 드웰 시작 좌표로써 재결정할 수 있다.
또한, 디스플레이부는, 사용자의 움직임이 감지됨에 따라, 터치 스크린 상에 커서를 디스플레이할 수 있다.
또한, 디스플레이부는, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간이 경과되는 동안에, 시간의 경과를 나타내는 객체를 터치 스크린 상에 디스플레이할 수 있다.
또한, 디스플레이부는, 커서가 터치 스크린 상의 기 결정된 영역 내에 위치함에 따라, 기 결정된 영역을 포함하는 영역 상에 복수의 항목 중 하나를 선택하기 위한 메뉴를 디스플레이할 수 있다.
또한, 제어부는, 획득된 사용자의 움직임에 관한 정보에 기초하여, 기준 거리를 설정할 수 있다.
또한, 디스플레이부는, 기 결정된 크기의 도형을 터치 스크린 상에 디스플레이하고, 제어부는, 기 결정된 크기의 도형 내에 커서가 기준 시간 동안 위치하는지 여부에 기초하여, 기준 거리를 설정할 수 있다.
터치 스크린은 터치 좌표가 위치하더라도 터치 이벤트를 생성하지 않는 비활성 영역을 포함할 수 있다.
또한, 통신부는, 사용자의 움직임에 관한 정보가 획득됨에 따라, 주변 디바이스에게 근거리 무선 통신을 통해 획득된 움직임 부재의 움직임에 관한 정보를 송신할 수 있다.
또한, 본 개시의 제 2 측면은, 사용자가 움직임에 따라, 터치 스크린을 포함하는 디바이스가, 사용자의 움직임에 관한 정보를 획득하는 단계, 획득된 사용자의 움직임에 관한 정보 각각에 대응하여, 터치 스크린 상에 디스플레이된 커서를 이동시키는 단계, 커서가 이동됨에 따라, 이동된 커서가 위치하는 좌표를 드웰 시작 좌표로써 결정하는 단계, 및 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치함에 따라, 드웰 시작 좌표를 터치 좌표로써 결정하는 단계를 포함하는, 사용자 입력을 수신하는 방법을 제공할 수 있다.
또한, 터치 입력 방법은, 드웰 시작 좌표를 터치 좌표로써 결정함에 따라, 터치 좌표에 대한 터치 이벤트를 발생시키는 단계를 더 포함할 수 있다.
또한, 터치 입력 방법은, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 커서가 드웰 시작 좌표로부터 기준 거리 이상 떨어짐에 따라, 기준 거리 이상 떨어진 커서의 좌표를 드웰 시작 좌표로써 재결정하는 단계를 포함할 수 있다.
또한, 사용자의 움직임에 관한 정보를 획득하는 단계는, 사용자의 움직임이 감지됨에 따라, 터치 스크린 상에 커서를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 터치 입력 방법은, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간이 경과되는 동안에, 시간의 경과를 나타내는 객체를 터치 스크린 상에 디스플레이하는 단계를 더 포함할 수 있다.
또한, 터치 입력 방법은, 커서가 터치 스크린 상의 기 결정된 영역 내에 위치함에 따라, 기 결정된 영역을 포함하는 영역 상에 복수의 항목 중 하나를 선택하기 위한 메뉴를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 터치 입력 방법은, 획득된 움직임 부재의 움직임에 관한 정보에 기초하여, 기준 거리를 설정하는 단계를 더 포함할 수 있다.
또한, 사용자의 움직임에 관한 정보에 기초하여, 기준 거리를 설정하는 단계는, 기 결정된 크기의 도형을 터치 스크린 상에 디스플레이하는 단계, 및 기 결정된 크기의 도형 내에 커서가 기준 시간 동안 위치하는지 여부에 기초하여, 기준 거리를 설정하는 단계를 포함할 수 있다.
또한, 터치 입력 방법은, 사용자의 움직임에 관한 정보가 획득됨에 따라, 주변 디바이스에게 근거리 무선 통신을 통해 획득된 움직임 부재의 움직임에 관한 정보를 송신하는 단계를 더 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 디바이스가 사용자의 움직임에 기초하여, 터치 이벤트를 발생시키는 방법을 설명하기 위한 도면이다.
도 2은 본 발명의 일 실시예에 따른, 디바이스가 사용자의 움직임에 기초하여, 터치 이벤트를 발생시키는 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른, 디바이스가 입력 장치로부터 움직임 부재의 움직임에 관한 정보를 수신하는 방법을 나타내는 흐름도이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 디바이스가 입력 장치로부터 움직임 부재의 움직임에 관한 정보를 수신하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른, 디바이스가 사용자의 움직임에 기초하여, 터치 이벤트를 발생시키는 방법을 나타내는 흐름도이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른, 디바이스가 경과 시간을 나타내는 객체를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른, 커서가 메뉴 상에 위치함에 따라, 디바이스가 경과 시간을 나타내는 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른, 커서가 기 결정된 영역 상에 위치함에 따라, 디바이스가 복수의 항목 중 하나를 선택하기 위한 메뉴를 나타내는 방법을 나타내는 도면이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른, 터치 이벤트의 종류를 선택하는 사용자 입력을 수신하고, 디바이스가 선택된 터치 이벤트에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트가 방향을 갖는 터치 이벤트인 경우, 디바이스가 사용자 입력을 수신하는 방법을 나타내는 도면이다.
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트가 복수의 터치 이벤트의 조합으로 이루어진 경우, 디바이스가 터치 이벤트를 발생시키는 방법을 나타내는 도면이다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따른, 디바이스가 디바이스에 구비된 물리적인 터치 버튼의 기능을 제공하기 위한 메뉴를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 13a 및 도 13b는 본 발명의 일 실시예에 따른, 디바이스가 사용자의 움직임에 기초하여, 기준 거리를 설정하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른, 커서가 위치하더라도 터치 이벤트를 발생시키지 않는 비활성 영역을 나타내는 도면이다.
도 15a 내지 도 15b는 본 발명의 일 실시예에 따른, 디바이스가 주변 디바이스에게 사용자의 움직임에 관한 정보를 전송하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예예 따른, 디바이스의 블록도이다.
도 17은 본 발명의 다른 실시예에 따른, 디바이스의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 “드웰 제스쳐”는 화면에 디스플레이된 커서를 이동 시킨 후 이동된 지점의 근방에 머무르도록 커서를 조작하는 동작을 의미할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 움직임에 기초하여, 터치 이벤트를 발생시키는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 사용자가 터치 스크린(50)을 터치하지 않더라도, 디바이스(100)는 사용자의 움직임에 관한 정보에 기초하여 터치 스크린(50) 상의 좌표를 결정하고, 결정된 좌표에 대하여 터치 이벤트를 발생시킬 수 있다.
디바이스(100)는 사용자의 움직임에 관한 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)에 연결된 입력 장치(200)로부터 사용자의 움직임에 관한 정보를 수신할 수 있다. 입력 장치(200)는 트랙볼(200a), 헤드 마우스(200b), 조이스틱(200c), 인테그라 마우스(200d), 아이 마우스, 헤드 마우스 익스트림™, 엔에이블러 트랙볼™, 엔에이블러 조이스틱™, 마우스 무버 스타스위치™, 롤러 트랙볼 플러스™, 빅트랙™, 빅스위치™, 마우스 스틱™, 클리어 뷰 헤드포인터™, 조우스 2™ 및 퀵 글랜서™을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 실시예에 따라, 입력 장치(200)는 장애 보조 기기로 언급될 수 있다. 또한, 입력 장치(200)는 클릭 동작을 하기 위한 버튼이 구비되지 않을 수 있다.
입력 장치(200)는 디바이스(100)와 분리된 장치일 수 있으며, 디바이스(100)에 내장된 장치일 수도 있다. 입력 장치(200)가 디바이스(100)와 분리된 장치인 경우, 디바이스(100)는 움직임에 관한 정보를 입력 장치(200)로부터 수신할 수 있다. 입력 장치(200)가 디바이스(100)에 내장된 장치인 경우, 디바이스(100)는 사용자의 움직임을 감지하여, 사용자의 움직임에 관한 정보를 생성할 수 있다.
디바이스(100)는 사용자의 움직임에 관한 정보 각각에 대응하여, 터치 스크린(50) 상에 디스플레이된 커서(10)를 이동시킬 수 있다. 예를 들어, 입력 장치(200)는 사용자의 움직임을 주기적으로 측정할 수 있다. 또한, 입력 장치(200)는 사용자의 움직임에 관한 정보를 주기적으로 디바이스(100)로 송신할 수 있다.
사용자의 움직임에 관한 정보를 획득함에 따라, 디바이스(100)는 사용자의 움직임에 관한 정보 각각에 대응하여 터치 스크린(50) 상에 좌표를 결정할 수 있다. 좌표를 결정함에 따라, 디바이스(100)는 커서(10)를 결정된 좌표로 이동시킬 수 있다.
커서(10)가 이동 후 이동된 지점의 근방에 머무르는 경우, 디바이스(100)는 커서(10)가 이동된 지점에 대하여 터치 이벤트를 발생시킬 수 있다. 이에 따라, 사용자는 터치 스크린(50)에 직접 터치하지 않고, 입력 장치(200)를 이용하여 커서(10)를 이동 시키는 동작만으로 디바이스(100)를 조작할 수 있다. 실시예에 따라, 커서(10)가 이동 후 이동된 지점의 근방에 머무르도록 커서를 조작하는 동작은 드웰 제스쳐로 언급될 수 있다.
터치 이벤트는 탭, 터치&홀드, 더블 탭, 롱 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 및 핀치 등 터치 스크린에서 발생할 수 있는 모든 터치 이벤트를 포함할 수 있다. 터치 이벤트는 사용자가 직접 터치 스크린을 터치함에 따라 발생되는 이벤트일 수 있다.
예를 들어, "탭(tap)"은 사용자가 손가락이나 전자 펜을 이용하여 터치 스크린을 터치한 후 손가락이나 전자 펜을 다른 영역으로 이동시키지 않은 채 터치 스크린에서 즉시 들어올리는 동작을 의미 할수 있다.
또한, "터치&홀드(touch & hold)"는 사용자가 손가락이나 전자 펜을 이용하여 터치 스크린을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 의미할 수 있다. 즉, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미할 수 있다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 임계 시간은 구현 예에 따라서 변경될 수 있다.
또한, "더블 탭(double tap)"은 사용자가 손가락이나 전자 펜을 이용하여 터치 스크린을 두 번 터치하는 동작을 의미할 수 있다.
또한, "드래그(drag)"는 사용자가 손가락이나 전자 펜을 터치 스크린에 터치한 후 터치를 유지한 상태에서 손가락이나 전자 펜을 터치 스크린 내의 다른 위치로 이동시키는 동작을 의미할 수 있다. 드래그 동작으로 인하여 객체가 이동되거나 후술할 패닝 동작이 수행될 수 있다.
"패닝(panning)"은 사용자가 객체를 선택하지 않고 드래그 동작을 수행하는 동작을 의미할 수 있다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 터치 스크린 내에서 이동하거나, 객체의 그룹이 페이지 내에서 이동될 수 있다.
"플릭(flick)"은 사용자가 손가락이나 전자 펜을 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 의미할 수 있다. 손가락이나 전자 펜의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭이 구별될 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 전자 펜을 이용해 오브젝트를 터치 스크린 내의 임의의 위치에 드래그한 후 놓는 동작을 의미할 수 있다.
“핀치(pinch)”는 사용자가 두 손가락을 터치 스크린 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 의미할 수 있다. “핀치(pinch)”는 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정될 수 있다. 두 손가락을 터치 스크린에 터치한 상태에서 두 손가락이 가까워지도록 움직이는 동작은 “줌 아웃(Zoom out)”으로 언급될 수 있으며, 두 손가락을 터치 스크린에 터치한 상태에서 두 손가락이 멀어지도록 움직이는 동작은 “줌 인(Zoom in)”으로 언급될 수도 있다.
“스와이프(swipe)”는 손가락이나 전자 펜으로 터치 스크린 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작을 의미할 수 있다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
디바이스(100)는 커서(10)가 이동한 시점부터, 기준 시간 동안, 시간의 경과를 나타내는 객체를 디스플레이할 수 있다. 예를 들어, 디바이스(100)는 커서(10)와 함께 시간의 경과를 나타내는 프로그래스바를 디스플레이할 수 있다.
도 2은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 움직임에 기초하여, 터치 이벤트를 발생시키는 방법을 나타내는 흐름도이다.
단계 S210에서, 디바이스(100)는 사용자가 움직임에 따라, 터치 스크린을 포함하는 디바이스(100)가, 사용자의 움직임에 관한 정보를 획득할 수 있다.
디바이스(100)는 디바이스(100)에 연결된 입력 장치로부터 사용자의 움직임에 관한 정보를 수신할 수 있다. 예를 들어, 입력 장치는 움직임 부재의 움직임을 인식할 수 있는 센서를 구비할 수 있다.
움직임 부재는 입력 장치에 따라 상이할 수 있다. 예를 들어, 입력 장치가 트랙볼 장치인 경우, 움직임 부재는, 트랙볼 장치 내의 볼 일 수 있다. 사용자가 움직임 부재를 움직임에 따라, 입력 장치는 움직임 부재의 움직임을 측정할 수 있다. 또한, 입력 장치는 움직임 부재의 움직임에 관한 정보를 디바이스(100)로 송신할 수 있다.
입력 장치는 움직임 부재의 움직임에 관한 정보를 주기적으로 디바이스(100)로 송신할 수 있다. 또한, 입력 장치는 움직임 부재의 움직임이 있는 경우에만, 움직임 부재의 움직임에 관한 정보를 디바이스(100)로 송신할 수 있다.
움직임 부재의 움직임에 관한 정보는 움직임 부재의 이동 방향 및 이동 거리를 포함할 수 있다. 움직임 부재의 이동 방향 및 이동 거리는 X 및 Y 좌표값으로 송신될 수 있다.
디바이스(100)는 입력 장치와 무선 또는 유선으로 연결될 수 있다. 입력 장치로부터 움직임 부재의 움직임에 관한 정보를 수신함에 따라, 디바이스(100)는 터치 스크린 상에 커서를 디스플레이할 수 있다.
실시예예 따라, 디바이스(100)는 센서를 구비하고, 구비된 센서를 통해 사용자의 움직임을 감지할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)에 구비된 카메라를 통해, 사용자의 눈을 촬영하고, 촬영된 눈의 위치를 검출하고, 검출된 눈을 트랙킹하여 사용자의 눈의 이동 방향 및 이동 거리를 검출할 수도 있다.
단계 S220에서, 디바이스(100)는 획득된 사용자의 움직임에 관한 정보 각각에 대응하여, 터치 스크린 상에 디스플레이된 커서를 이동시킬 수 있다.
디바이스(100)는 사용자의 움직임에 관한 정보 각각에 대응하여, 터치 스크린 상의 커서의 위치를 결정할 수 있다. 예를 들어, 디바이스(100)는 입력 장치로부터 수신된 움직임 부재의 이동 방향 및 이동 거리에 기초하여 커서가 이동할 좌표를 결정할 수 있다.
움직임 부재의 이동 거리에 대한 터치 스크린 내의 이동 거리는 디바이스(100)에 기 결정되어 있을 수 있다. 예를 들어, 움직임 부재의 단위 이동 거리 당 터치 스크린 내의 픽셀의 개수가 디바이스(100)에 기 결정되어 있을 수 있다. 이에 따라, 디바이스(100)는 현재 커서의 좌표 및 움직임 부재의 이동 거리 및 이동 방향에 기초하여 커서가 이동될 좌표를 결정할 수 있다.
실시예에 따라, 디바이스(100)가 디바이스(100)에 구비된 센서를 통해 사용자의 움직임을 감지하는 경우, 감지된 사용자의 움직임의 이동 방향 및 이동 거리에 기초하여 커서가 이동될 좌표를 결정할 수도 있다.
커서가 이동될 좌표를 결정함에 따라, 디바이스(100)는 커서를 결정된 좌표로 이동시킬 수 있다.
단계 S230에서, 디바이스(100)는 커서가 이동됨에 따라, 이동된 커서가 위치하는 좌표를 드웰 시작 좌표로써 결정할 수 있다.
드웰 시작 좌표는 사용자의 움직임에 따라 결정된 커서의 좌표들 중 직전 좌표와의 거리가 기준 거리 이상 떨어진 좌표를 의미할 수 있다. 디바이스(100)는 커서가 이동될 좌표를 결정함에 따라, 이동될 좌표가 커서의 현재 좌표와 기준 거리 이상 떨어졌는지 여부를 판단할 수 있다. 이동될 좌표가 커서의 현재 좌표와 기준 거리 이상 떨어진 경우, 디바이스(100)는 이동될 좌표를 드웰 시작 좌표로써 결정할 수 있다.
단계 S240에서, 디바이스(100)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안, 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치함에 따라, 드웰 시작 좌표를 터치 좌표로써 결정할 수 있다.
기준 시간은 드웰 시작 좌표가 터치 좌표로써 결정되기 위해 커서가 드웰 시작 좌표로부터 기준 거리 내에 머물러야 하는 시간을 의미할 수 있다. 실시예에 따라, 기준 시간은 드웰 시간으로 언급될 수 있다.
디바이스(100)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안, 입력 장치로부터 수신된 움직임 부재의 움직임 정보에 기초하여 커서의 좌표를 결정하고, 결정된 좌표로 커서를 이동시킬 수 있다.
이 때, 디바이스(100)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치하는지 여부를 판단할 수 있다.
커서가 드웰 시작 좌표로 이동한 시점부터, 기준 시간 동안, 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치하는 경우, 디바이스(100)는 드웰 시작 좌표를 터치 좌표로써 결정할 수 있다. 드웰 시작 좌표를 터치 좌표로써 결정함에 따라, 디바이스(100)는 터치 좌표에 대하여 터치 이벤트를 발생시킬 수 있다. 이 경우, 터치 이벤트는 복수의 터치 이벤트 중 사용자에 의해 선택된 터치 이벤트일 수 있다.
또한, 디바이스(100)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간이 경과되는 동안에, 시간의 경과를 나타내는 객체를 터치 스크린 상에 디스플레이할 수 있다.
또한, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 커서가 드웰 시작 좌표로부터 기준 거리 이상 떨어짐에 따라, 기준 거리 이상 떨어진 커서의 좌표를 드웰 시작 좌표로써 재결정할 수 있다.
기준 거리는 사용자에 의해 디바이스(100)에 기 설정되어 있을 수 있다. 예를 들어, 디바이스(100)는 사용자의 움직임에 기초하여 기준 거리를 설정하기 위한 사용자 인터페이스를 제공할 수 있다. 기준 거리를 설정하기 위한 메뉴를 선택함에 따라, 디바이스(100)는 기 결정된 크기의 도형을 터치 스크린 상에 디스플레이할 수 있다. 도형 내에 커서가 위치하도록 움직임 부재를 조작하는 사용자 입력을 수신함에 따라, 디바이스(100)는 도형 내에 커서가 기준 시간 동안 위치하는지 여부에 기초하여, 기준 거리를 설정할 수 있다.
또한, 디바이스(100)는 커서가 터치 스크린 상의 기 결정된 영역 내에 위치함에 따라, 기 결정된 영역을 포함하는 영역 상에 복수의 항목 중 하나를 선택하기 위한 메뉴를 디스플레이할 수 있다.
또한, 터치 스크린은 터치 좌표가 위치하더라도 터치 이벤트를 생성하지 않는 비활성 영역을 포함할 수 있다.
또한, 디바이스(100)는 움직임 부재의 움직임에 관한 정보를 획득함에 따라, 주변 디바이스(100)에게 근거리 무선 통신을 통해 획득된 움직임 부재의 움직임에 관한 정보를 송신할 수도 있다.
도 3은 본 발명의 일 실시예에 따른, 디바이스(100)가 입력 장치(200)로부터 움직임 부재의 움직임에 관한 정보를 수신하는 방법을 나타내는 흐름도이다.
단계 S310에서, 사용자가 움직임 부재를 움직임에 따라, 입력 장치(200)는 움직임 부재의 이동 방향 및 이동 거리를 결정할 수 있다.
입력 장치(200)는 움직임 부재의 움직임을 측정할 수 있는 센서를 구비할 수 있다. 움직임 부재는 이동 또는 회전함으로써 사용자의 입력을 수신하는 부재를 의미할 수 있다. 움직임 부재는 입력 장치(200) 내에 구비될 수 있다. 예를 들어, 트랙볼 장치의 경우, 움직임 부재는 트랙볼 내의 볼일 수 있다. 또한, 움직임 부재는 입력 장치(200) 외부에 위치할 수 있다. 예를 들어, 헤드 마우스 장치의 경우, 움직임 부재는 사용자의 신체에 부착되는 스티커 일 수 있다.
사용자가 움직임 부재를 움직임에 따라, 입력 장치(200)는 움직임 부재의 이동 방향 및 이동 거리를 결정할 수 있다.
단계 S320에서, 디바이스(100)는 입력 장치(200)와 연결될 수 있다.
디바이스(100)는 입력 장치(200)와 유선 또는 무선으로 연결될 수 있다. 예를 들어, 디바이스(100)는 입력 장치(200)와 USB 케이블로 연결될 수 있다. 이 경우, 디바이스(100) 또는 입력 장치(200)에 USB 케이블을 연결할 단자가 구비되지 않은 경우, 디바이스(100) 또는 입력 장치(200)가 USB 케이블이 연결된 OTG(On-The-Go) 케이블에 연결됨으로써 디바이스(100)와 입력 장치(200)는 연결될 수 있다.
또한, 예를 들어, 디바이스(100)는 블루투스와 같은 근거리 무선 통신을 통해 입력 장치(200)와 연결될 수도 있다.
실시예에 따라, 디바이스(100)는 입력 장치(200)와 연결됨에 따라, 입력 장치(200)로부터 입력 장치(200)의 식별 정보를 수신할 수도 있다.
단계 S330에서, 입력 장치(200)는 움직임 부재의 이동 방향 및 이동 거리를 디바이스(100)로 전송할 수 있다.
사용자가 움직임 부재를 움직임에 따라, 입력 장치(200)는 결정된 움직임 부재의 이동 방향 및 이동 거리를 디바이스(100)로 전송할 수 있다. 이 경우, 이동 방향 및 이동 거리는 X좌표 및 Y 좌표로써 전송될 수 있다.
단계 S340에서, 디바이스(100)는 터치 스크린 상에 커서를 디스플레이할 수 있다.
일반적으로 터치 스크린을 구비한 디바이스(100)는 별도의 입력 장치(200)로부터 사용자 입력을 수신하지 않으므로, 디바이스(100)는 터치 스크린 상에 커서를 디스플레이하지 않았을 수 있다.
입력 장치(200)로부터 움직임 부재의 이동 방향 및 이동 거리를 수신함에 따라, 디바이스(100)는 터치 스크린 상에 커서를 디스플레이할 수 있다. 또한, 실시예에 따라, 입력 장치(200)로부터 입력 장치(200)의 식별 정보를 수신함에 따라, 디바이스(100)는 터치 스크린 상에 커서를 디스플레이할 수도 있다.
단계 S350에서, 디바이스(100)는 수신된 움직임 부재의 이동 방향 및 이동 거리에 기초하여 터치 스크린 상의 좌표를 결정할 수 있다.
움직임 부재의 이동 거리에 대한 터치 스크린 내의 이동 거리가 디바이스(100)에 기 결정되어 있을 수 있다. 예를 들어, 움직임 부재의 단위 이동 거리 당 터치 스크린 내의 픽셀의 개수가 디바이스(100)에 기 결정되어 있을 수 있다. 이에 따라, 디바이스(100)는 현재 커서의 좌표 및 움직임 부재의 이동 거리 및 이동 방향에 기초하여 커서가 이동될 좌표를 결정할 수 있다.
단계 S360에서, 디바이스(100)는 결정된 좌표로 커서를 이동시킬 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 디바이스(100)가 입력 장치(200)로부터 움직임 부재의 움직임에 관한 정보를 수신하는 방법을 설명하기 위한 도면이다.
도 4a를 참조하면, 디바이스(100)의 터치 스크린(50)에는 전화번호를 선택하기 위한 사용자 인터페이스가 디스플레이될 수 있다. 이 경우, 디바이스(100)는 터치 스크린(50) 상에 커서(10)를 디스플레이하지 않을 수 있다.
도 4b를 참조하면, 디바이스(100)는 사용자의 휠체어에 구비된 디바이스 홀더에 장착되어 있을 수 있다. 입력 장치(200) 또한 휠체어에 구비된 입력장치 홀더에 장착되어 있을 수 있다.
입력 장치(200)는 헤드 마우스(200b) 장치일 수 있다. 헤드 마우스(200b) 장치는 적외선 센서를 이용하여 신체에 부착된 스티커(200b_10)의 위치를 감지하는 장치일 수 있다. 사용자가 스티커(200b_10)를 이마에 부착하고, 머리를 움직임에 따라, 헤드 마우스(200b) 장치는 스티커(200b_10)의 이동 방향 및 이동 거리를 측정할 수 있다.
디바이스(100)는 헤드 마우스(200b) 장치와 연결될 수 있다. 예를 들어, 디바이스(100)는 블루투스 통신을 이용하여 헤드 마우스(200b) 장치와 연결될 수 있다. 헤드 마우스(200b) 장치와 연결됨에 따라, 디바이스(100)는 터치 스크린(50) 상에 커서(10)를 디스플레이 할 수 있다.
또한, 디바이스(100)에 헤드 마우스(200b) 장치가 연결됨에 따라, 디바이스(100)는 헤드 마우스(200b) 장치로부터 스티커(200b_10)의 이동 방향 및 이동 거리를 사용자의 머리의 이동 방향 및 이동 거리로써 수신할 수 있다.
헤드 마우스(200b) 장치로부터 스티커(200b_10)의 이동 방향 및 이동 거리를 수신함에 따라, 디바이스(100)는 수신된 스티커(200b_10)의 이동 방향 및 이동 거리에 기초하여, 커서(10)가 이동될 좌표를 결정할 수 있다.
커서(10)가 이동될 좌표를 결정함에 따라, 디바이스(100)는 결정된 좌표로 커서(10)를 이동시킬 수 있다. 이동된 커서(10)의 좌표가 커서(10)의 직전 좌표와 기준 거리 이상 떨어진 경우, 디바이스(100)는 이동된 커서(10)의 좌표를 드웰 시작 좌표로써 결정할 수 있다. 커서(10)가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서(10)가 드웰 시작 좌표로부터 기준 거리 이상 떨어지지 않은 경우, 디바이스(100)는 드웰 시작 좌표를 터치 좌표로써 결정하고, 터치 좌표에 대하여 터치 이벤트를 발생 시킬 수 있다.
이에 따라, 사용자는 머리를 움직여서 터치 스크린(50)에 디스플레이된 복수의 번호 중 원하는 번호를 선택할 수 있다.
도 4c를 참조하면, 입력 장치(200)는 트랙볼(200a) 장치일 수 있다.
트랙볼(200a) 장치는 센서를 이용하여 트랙볼(200a) 장치 내의 볼(200a_10)의 회전 방향 및 회전 거리를 측정하는 장치일 수 있다. 사용자가 트랙볼(200a) 장치 내의 볼(200a_10)을 회전함에 따라, 트랙볼(200a) 장치는 볼(200a_10)의 이동 방향 및 이동 거리를 측정할 수 있다.
디바이스(100)는 트랙볼(200a) 장치와 USB 케이블(410)을 통해 연결될 수 있다. 디바이스(100)에 USB 케이블(410)을 위한 단자가 구비되지 않은 경우, 디바이스(100)는 OTG 케이블(420) 및 USB 케이블(410)을 통해 트랙볼(200a) 장치와 연결될 수 있다.
디바이스(100)가 트랙볼(200a) 장치와 연결됨에 따라, 디바이스(100)는 터치 스크린(50) 장치에 커서(10)를 디스플레이할 수 있다.
또한, 디바이스(100)에 트랙볼(200a) 장치가 연결됨에 따라, 디바이스(100)는 트랙볼(200a) 장치로부터 볼(200a_10)의 회전 방향 및 회전 거리를 수신할 수 있다.
트랙볼(200a) 장치로부터 볼(200a_10)의 회전 방향 및 회전 거리를 수신함에 따라, 디바이스(100)는 수신된 볼(200a_10)의 회전 방향 및 회전 거리에 기초하여, 터치 좌표를 결정하고, 결정된 터치 좌표에 대하여 터치 이벤트를 발생 시킬 수 있다.
이에 따라, 사용자는 볼(200a_10)을 움직여서 터치 스크린(50)에 디스플레이된 복수의 번호 중 원하는 번호를 선택할 수 있다.
도 5는 본 발명의 다른 실시예에 따른, 디바이스(100)가 사용자의 움직임에 기초하여, 터치 이벤트를 발생시키는 방법을 나타내는 흐름도이다.
단계 S510에서, 사용자가 움직임에 따라, 터치 스크린을 포함하는 디바이스(100)가, 사용자의 움직임에 관한 정보를 획득할 수 있다. 단계 S520에서, 디바이스(100)는 획득된 사용자의 움직임에 관한 정보 각각에 대응하여, 터치 스크린 상에 디스플레이된 커서를 이동시킬 수 있다. 단계 S530에서, 디바이스(100)는 커서가 이동됨에 따라, 이동된 커서가 위치하는 좌표를 드웰 시작 좌표로써 결정할 수 있다. 단계 S510 내지 S530은 도 2의 단계 S210 내지 S230을 참조하여 설명될 수 있다.
단계 S540에서, 디바이스(100)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치하는지 여부를 판단할 수 있다.
단계 S540에서 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치하는 경우, 단계 S550에서, 디바이스(100)는 드웰 시작 좌표를 터치 좌표로써 결정하고, 결정된 터치 좌표에 대하여 터치 이벤트를 발생시킬 수 있다.
커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 커서가 드웰 시작 좌표로부터 기준 거리 이상 떨어짐에 따라, 단계 S560에서, 디바이스(100)는 기준 거리 이상 떨어진 커서의 좌표를 드웰 시작 좌표로써 재결정할 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른, 디바이스(100)가 경과 시간을 나타내는 객체를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 6a를 참조하면, 디바이스(100)는 기준 시간 동안 시간의 경과를 나타내는 프로그래스바(20)를 디스플레이할 수 있다.
커서(10)가 이동함에 따라, 디바이스(100)는 이동될 좌표를 드웰 시작 좌표(610)로써 결정하고, 결정한 드웰 시작 좌표(610)로 커서(10)를 이동시킬 수 있다.
커서(10)가 드웰 시작 좌표(610)로 이동한 시점부터, 기준 시간 동안 커서(10)가 드웰 시작 좌표(610)로부터 기준 거리(620)내에 머무르는 동안, 디바이스(100)는 시간의 경과를 나타내는 프로그래스바(20)를 디스플레이할 수 있다. 예를 들어, 시간이 경과함에 따라, 디바이스(100)는 프로그래스바(20) 내부의 바가 점점 더 커지도록 프로그래스바(20)를 디스플레이할 수 있다.
도 6b를 참조하면, 커서(10)가 기준 시간 내에 드웰 시작 좌표(610)로부터 기준 거리(620)를 벗어나는 경우, 디바이스(100)는 벗어난 지점의 위치를 새로운 드웰 시작 좌표(630)로써 재결정할 수 있다.
예를 들어, 드웰 시작 좌표(610)로 커서(10)를 이동한 후, 입력 장치(200)로부터 움직임 부재의 움직임에 관한 정보를 계속적으로 수신함에 따라, 디바이스(100)는 수신된 움직임에 관한 정보에 기초하여, 커서(10)가 이동될 좌표를 결정할 수 있다.
커서(10)가 이동될 좌표를 결정함에 따라, 디바이스(100)는 커서(10)가 이동될 좌표가 드웰 시작 좌표(610)로부터 기준 거리(620) 이상 떨어졌는지 여부를 판단할 수 있다. 커서(10)가 이동될 좌표가 드웰 시작 좌표(610)로부터 기준 거리(620) 이상 떨어진 경우, 디바이스(100)는 커서(10)가 이동될 좌표를 새로운 드웰 시작 좌표(630)로써 결정할 수 있다. 새로운 드웰 시작 좌표(630)를 결정함에 따라, 디바이스(100)는 새로운 드웰 시작 좌표(630)로 커서(10)를 이동 시킬 수 있다.
또한, 디바이스(100)는 새로운 드웰 시작 좌표(630)로 커서(10)를 이동한 시점부터 기준 시간 동안, 커서(10)가 새로운 드웰 시작 좌표(630)로부터 기준 거리(620) 내에 위치하는 경우, 새로운 드웰 시작 좌표(630)를 터치 좌표로써 결정하고, 터치 좌표에 대하여 터치 이벤트를 발생시킬 수 있다.
실시예에 따라, 사용자의 움직임에 관한 정보에 기초하여 산출한 커서(10)의 좌표가 터치 스크린(50)의 좌표를 벗어나는 경우, 디바이스(100)는 터치 스크린(50)의 좌표 중 산출된 좌표와 가장 가까운 좌표를 커서(10)가 이동될 좌표로써 결정하고, 결정된 좌표로 커서(10)를 이동시킬 수 있다. 이에 따라, 사용자가 움직임을 크게 하더라도, 디바이스(100)는 커서(10)를 터치 스크린(50) 상에 계속 디스플레이할 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른, 커서가 메뉴 상에 위치함에 따라, 디바이스(100)가 경과 시간을 나타내는 방법을 설명하기 위한 도면이다.
도 7a 내지 도 7c를 참조하면, 커서(10)가 복수의 항목 중 하나를 선택하기 위한 메뉴(710)상에 위치하는 경우, 디바이스(100)는 커서(10)가 위치하는 영역에 대응하는 항목이 선택될 수 있음을 메뉴(710) 상에 나타낼 수 있다.
예를 들어, 디바이스(100)는 터치 스크린(50) 상에 복수의 터치 이벤트의 종류 중 하나를 설정하기 위한 메뉴(710)를 디스플레이할 수 있다. 복수의 터치 이벤트의 종류는 탭, 롱 탭, 스크롤 및 스와이프 등 일 수 있다. 복수의 터치 이벤트의 종류 중 하나를 설정하기 위한 메뉴(710)는 각각의 터치 이벤트의 종류에 대응하여 복수의 영역으로 구분될 수 있다.
움직임 부재의 움직임에 관한 정보에 기초하여 결정한 커서(10)의 드웰 시작 좌표가 탭 항목에 대응하는 영역(720) 상에 위치한 경우, 디바이스(100)는 탭 항목을 식별 항목으로 결정할 수 있다.
커서(10)가 탭 항목에 대응하는 영역(720) 상에 위치한 시점부터 기준 시간 동안, 디바이스(100)는 탭 항목에 대응하는 영역(720) 상에 시간의 경과를 나타낼 수 있다. 예를 들어, 도 7a 내지 도 7c에 도시된 바와 같이, 시간이 경과함에 따라, 디바이스(100)는 탭 항목에 대응하는 영역(720)의 색을 위에서 아래로 변경할 수 있다.
커서(10)가 탭 항목에 대응하는 영역(720) 상에 위치한 시점부터 기준 시간 동안, 커서(10)가 탭 항목에 대응하는 영역(720) 상에 머무르는 경우, 디바이스(100)는 터치 이벤트의 종류를 탭으로 결정할 수 있다.
터치 이벤트의 종류를 탭으로 결정함에 따라, 디바이스(100)는 터치 좌표를 결정하였을 때, 터치 좌표에 대하여 탭 이벤트를 발생시킬 수 있다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른, 커서가 기 결정된 영역 상에 위치함에 따라, 디바이스(100)가 복수의 항목 중 하나를 선택하기 위한 메뉴를 나타내는 방법을 나타내는 도면이다.
도 8a를 참조하면, 터치 스크린(50)의 기 결정된 영역(810)에 커서(10)가 위치함에 따라, 디바이스(100)는 메뉴를 디스플레이할 수 있다.
디바이스(100)에는 터치 스크린(50)의 전체 영역 중 커서(10)가 위치함에 따라 메뉴가 디스플레이되는 영역이 기 결정되어 있을 수 있다. 이 경우, 기 결정된 영역(810)은 터치 스크린(50) 상의 다른 영역과 구분되어 표시될 수 있다.
도 8b를 참조하면, 커서(10)가 터치 스크린(50)의 기 결정된 영역(810) 상에 위치함에 따라, 디바이스(100)는 기 결정된 메뉴를 디스플레이할 수 있다. 이 경우, 디바이스(100)는 기 결정된 메뉴를 슬라이드 다운(Slide-down) 형태로 나타낼 수 있다.
예를 들어, 터치 스크린(50)의 상단 영역 중 기 결정된 영역(810) 상에 커서(10)가 위치하는 경우, 디바이스(100)는 복수의 터치 이벤트 중 하나를 선택하기 위한 메뉴(820)를 디스플레이 할 수 있다.
또한, 도 8c 및 도 8d를 참조하면, 커서(10)가 메뉴(820)가 디스플레이된 영역을 벗어남에 따라, 디바이스(100)는 디스플레이된 메뉴(820)를 삭제할 수 있다. 이 경우, 디바이스(100)는 디스플레이된 메뉴(820)를 슬라이드 업(Slide-up) 형태로 삭제할 수 있다.
이에 따라, 디바이스(100)는 사용자가 요청한 경우에만 메뉴를 디스플레이할 수 있다. 따라서, 디바이스(100)는 터치 스크린(50)이 작더라도 터치 스크린(50)에 디스플레이된 객체들을 메뉴로 계속 가리지 않고, 사용자의 요청을 수신한 경우에만 메뉴를 제공할 수 있다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른, 터치 이벤트의 종류를 선택하는 사용자 입력을 수신하고, 디바이스(100)가 선택된 터치 이벤트에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 9a를 참조하면, 디바이스(100)는 복수의 터치 이벤트의 종류 중 드웰 제스쳐가 검출되었을 때 발생될 터치 이벤트를 선택하기 위한 메뉴(910)를 디스플레이할 수 있다
복수의 터치 이벤트는 줌인(912), 줌 아웃(914) 및 드래그 앤드 드랍(916) 등 일 수 있다. 또한, 복수의 터치 이벤트의 종류 중 하나를 선택하기 위한 메뉴(910)는 커서(10)가 기준 거리 내에 기준 시간 동안 머무르더라도 터치 이벤트를 발생시키지 않기 위한 항목(918) 또한 포함할 수 있다.
복수의 터치 이벤트에 대응하는 복수의 영역 중, 줌 인(912)에 대응하는 영역 내에 커서(10)가 위치함에 따라, 디바이스(100)는 줌 인(912)을 식별 항목으로 결정하고, 줌 인(912)에 대응하는 영역 상에 기준 시간 동안 시간이 경과함을 나타낼 수 있다.
커서(10)가 줌 인(912)에 대응하는 영역 상에 기준 시간 동안 위치함에 따라, 디바이스(100)는 터치 이벤트의 종류를 줌 인 이벤트로 결정할 수 있다.
도 9b 및 도 9c를 참조하면, 터치 이벤트의 종류가 줌 인 이벤트로 결정됨에 따라, 디바이스(100)는 커서(10)의 형태를 줌 인 이벤트에 대응하는 형태로 변경할 수 있다. 디바이스(100)에는 각각의 터치 이벤트의 종류에 대응하여 커서(10)의 형태가 결정되어 있을 수 있다. 터치 이벤트의 종류가 선택됨에 따라, 디바이스(100)는 선택된 종류의 터치 이벤트에 대응하는 형태로 커서(10)의 형태를 변경할 수 있다. 이에 따라, 사용자는 현재 선택된 터치 이벤트의 종류를 인식할 수 있다.
터치 이벤트의 종류가 줌 인 이벤트로 결정됨에 따라, 디바이스(100)는 커서(10)가 기준 거리 내에 기준 시간 동안 머무르는 경우, 터치 좌표에 대하여 줌 인 이벤트를 발생시킬 수 있다. 이 때, 디바이스(100)에 사진 뷰어 어플리케이션이 실행 중인 경우, 디바이스(100)는 터치 좌표 및 터치 이벤트의 종류에 기초하여 사진(920)을 디스플레이할 수 있다. 예를 들어, 터치 좌표가 사진(920)이 디스플레이된 영역 상에 위치함에 따라, 디바이스(100)는 사진(920) 전체의 영역 중 터치 좌표가 위치하는 지점의 부근을 확대하고, 확대된 사진 이미지(930)를 터치 스크린(50) 상에 디스플레이할 수 있다.
또한, 디바이스(100)에 지도 뷰어 어플리케이션이 실행 중인 경우, 터치 좌표가 지도가 디스플레이된 영역 상에 위치함에 따라, 디바이스(100)는 지도 전체의 영역 중 터치 좌표가 위치하는 지점의 부근을 확대하고, 확대된 지도 이미지를 터치 스크린(50) 상에 디스플레이할 수 있다.
이에 따라, 손가락을 이용하여 터치 스크린 상에서 다양한 제스쳐를 수행하기 어려운 상지 장애를 가진 사용자 또한 디바이스에서 탭, 롱 탭, 더블 터치, 줌 인 또는 줌 아웃 동작에 따른 이벤트가 발생되도록 디바이스를 제어할 수 있다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트가 방향을 갖는 터치 이벤트인 경우, 디바이스(100)가 사용자 입력을 수신하는 방법을 나타내는 도면이다.
도 10a를 참조하면, 디바이스(100)는 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트로써 스와이프 이벤트를 선택하는 사용자 입력을 수신할 수 있다.
도 10b를 참조하면, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트로써 스와이프 이벤트가 선택됨에 따라, 디바이스(100)는 터치 스크린(50) 상에 오른쪽 방향을 나타내는 화살표(1010) 및 왼쪽 방향을 나타내는 화살표(1020)를 디스플레이할 수 있다. 이 경우, 오른쪽 방향을 나타내는 화살표(1010) 및 왼쪽 방향을 나타내는 화살표(1020)는 터치 스크린(50) 상에 기 디스플레이된 객체가 비춰지도록 반투명하게 디스플레이될 수 있다.
왼쪽 방향을 나타내는 화살표(1020) 상에 커서가 위치됨 시점부터, 기준 시간이 경과함에 따라, 디바이스(100)는 왼쪽 방향의 스와이프 이벤트를 발생시킬 수 있다. 또한, 디바이스(100)는 기준 시간이 경과하는 동안 왼쪽 방향을 나타내는 화살표(1020) 상에 시간의 경과를 나타낼 수 있다.
왼쪽 방향의 스와이프 이벤트가 발생함에 따라, 디바이스(100)는 터치 스크린 상에 디스플레이된 사진의 이전 사진을 디스플레이할 수 있다.
스와이프 이벤트와 유사하게, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트로써 스크롤 이벤트가 선택됨에 따라, 디바이스(100)는 터치 스크린(50) 상에 윗쪽 방향을 나타내는 화살표 및 아래쪽 방향을 나타내는 화살표를 디스플레이할 수 있다.
실시예에 따라, 디바이스(100)는 터치 스크린(50) 상에 화살표를 디스플레이하지 않고, 첫번째 터치 좌표가 결정되었을 때 스와이프할 방향을 설정하는 사용자 입력을 수신하고, 두번째 터치 좌표가 결정되었을 때 설정된 방향의 스와이프 이벤트를 발생시킬 수 있다.
이에 따라, 스와이프 또는 스크롤과 같은 복수개의 방향 중 하나의 방향이 결정되어야 하는 터치 제스쳐 또한 편리하고 간단하게 입력될 수 있다.
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트가 복수의 터치 이벤트의 조합으로 이루어진 경우, 디바이스(100)가 터치 이벤트를 발생시키는 방법을 나타내는 도면이다.
도 11a를 참조하면, 디바이스(100)는 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트로써 드래그 앤드 드랍 이벤트를 선택하는 사용자 입력을 수신할 수 있다.
도 11b를 참조하면, 드웰 제스쳐가 감지되었을 때 발생될 터치 이벤트로써 드래그 앤드 드랍 이벤트가 선택된 후, 객체(1110)가 디스플레이된 영역 상에 터치 좌표가 결정됨에 따라, 디바이스(100)는 터치 좌표에 대하여 롱 탭 이벤트를 발생시킬 수 있다. 이 경우, 디바이스(100)는 기준 시간 동안, 시간의 경과를 나타내는 프로그래스바(20)를 디스플레이할 수 있다.
도 11c를 참조하면, 선택된 객체(1110)가 이동 가능한 객체인 경우, 커서(10)가 이동됨에 따라, 디바이스(100)는 커서(10)와 함께 선택된 객체(110)를 이동시킬 수 있다.
도 11d를 참조하면, 선택된 객체(1110)와 함께 커서(10)가 이동하는 중, 터치 좌표를 결정함에 따라, 디바이스(100)는 터치 좌표에 대하여 드랍 이벤트를 발생시킬 수 있다. 터치 좌표에 대하여 드랍 이벤트가 발생됨에 따라, 디바이스(100)는 선택된 객체(1110)를 터치 좌표에 위치시킬 수 있다. 이 경우, 디바이스(100)는 기준 시간 동안, 시간의 경과를 나타내는 프로그래스바(20)를 디스플레이할 수 있다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따른, 디바이스(100)가 디바이스(100)에 구비된 물리적인 터치 버튼의 기능을 제공하기 위한 메뉴를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 12a를 참조하면, 디바이스(100)는 복수의 물리적인 터치 버튼의 기능 중 하나를 선택하기 위한 메뉴(1210)를 디스플레이할 수 있다.
예를 들어, 디바이스(100)에는 메뉴를 제공하기 위한 버튼(1212), 홈으로 이동하기 위한 버튼(1214) 및 이전 페이지로 이동하기 위한 버튼(1216)이 물리적인 터치 버튼으로 구비되어 있을 수 있다.
커서(10)가 터치 스크린(50)의 기 결정된 영역 상에 위치함에 따라, 디바이스(100)는 메뉴를 제공하기 위한 버튼에 대응하는 항목(1212), 홈으로 이동하기 위한 버튼에 대응하는 항목(1214) 및 이전 페이지로 이동하기 위한 버튼에 대응하는 항목(1216) 중 하나를 선택하기 위한 메뉴(1210)를 디스플레이할 수 있다. 이 경우, 기 결정된 영역은, 물리적인 터치 버튼의 위치와 가까운 영역일 수 있다.
도 12b를 참조하면, 커서(10)가 홈으로 이동하기 위한 버튼에 대응하는 항목(1214)을 나타내는 영역 상에 기준 시간 동안 머무름에 따라, 디바이스(100)는 홈 어플리케이션을 실행하고, 홈 화면을 디스플레이할 수 있다.
이에 따라, 사용자가 디바이스(100)에 구비된 물리적인 터치 버튼을 터치하지 않더라도, 물리적인 터치 버튼의 기능을 하는 메뉴를 디스플레이 함으로써 디바이스(100)는 사용자로 하여금 물리적인 터치 버튼을 선택할 수 있도록 할 수 있다.
도 13a 및 도 13b는 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 움직임에 기초하여, 기준 거리를 설정하는 방법을 설명하기 위한 도면이다.
상지 장애를 가진 사용자들은 몸의 떨림으로 인하여, 기준 시간 동안 커서를 작은 원안에 머무르도록 커서를 조작하기 어려울 수 있다. 또한, 사용자 마다 조절 능력이 상이하므로, 사용자에게 적합한 기준 거리를 설정할 필요가 있다.
도 13a를 참조하면, 디바이스(100)는 기준 거리를 설정하기 위한 캘리브레이션 메뉴를 제공할 수 있다.
캘리브레이션 메뉴를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 터치 스크린(50) 상에 도형을 디스플레이하고, 디스플레이된 도형 내에 커서(10)가 기준 시간 동안 위치하는지 여부에 기초하여, 기준 거리를 설정할 수 있다.
예를 들어, 캘리브레이션 메뉴를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 기 결정된 서로 다른 크기의 복수개의 원(1310, 1315, 1320, 1325, 1330, 1335, 1340) 중 가장 큰 원(1310)을 터치 스크린(50) 상에 디스플레이할 수 있다. 가장 큰 원 내에 커서(10)가 위치한 시점부터, 기준 시간 동안 커서(10)가 디스플레이된 원(1310) 내에 위치하는 경우, 디바이스(100)는 두 번째 큰 원(1315)을 터치 스크린(50) 상에 디스플레이할 수 있다. 두 번째 큰 원(1315) 내에 커서(10)가 위치한 시점부터, 기준 시간 동안 커서(10)가 디스플레이된 원(1315) 내에 위치하는 경우, 디바이스(100)는 세번째 큰 원(1320)을 터치 스크린(50) 상에 디스플레이할 수 있다.
점점 원의 크기를 줄여가는 동안, 커서(10)가 기준 시간 동안 원 내에 머무르지 못하는 원이 N 번째 크기인 것으로 판단한 경우, 디바이스(100)는 커서(10)가 기준 시간 동안 원 내에 머물렸던 원들 중 가장 작은 원인 N-1 번째 원의 반지름을 기준 거리로써 설정할 수 있다.
디바이스(100)는 큰 원에서 점점 작은 원으로 원의 크기를 줄여가면서 터치 스크린(50) 상에 원을 디스플레이할 수 있다. 이 경우, 디바이스(100)는 Z 형태에 기초하여 원을 디스플레이할 위치를 결정할 수 있다.
또한, 도 13b를 참조하면, 디바이스(100)는 작은 원에서 큰 원으로 원의 크기를 늘려가면, 기준 거리를 설정할 수도 있다.
예를 들어, 캘리브레이션 메뉴를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 기 결정된 서로 다른 크기의 복수개의 원(1350, 1355, 1360, 1365, 1370, 1375, 1380) 중 가장 작은 원(1350)을 터치 스크린(50) 상에 디스플레이할 수 있다. 가장 작은 원(1350) 내에 커서(10)가 위치한 시점부터, 기준 시간 동안 커서(10)가 디스플레이된 원(1350) 내에 머무르지 못하는 경우, 디바이스(100)는 두번째로 작은 원(1355)을 터치 스크린(50) 상에 디스플레이할 수 있다.
점점 원의 크기를 늘려가는 동안, 커서(10)가 기준 시간 동안 원 내에 머무르는 원이 N 번째 크기인 것으로 판단한 경우, 디바이스(100)는 N 번째 원의 반지름을 기준 거리로써 설정할 수 있다.
사용자가 캘리브레이션 메뉴를 선택한 경우, 디바이스(100)는 캘리브레이션 기능을 제공할 수 있다. 또한, 드웰 제스쳐에 기초하여 터치 이벤트를 발생시키는 어플리케이션이 디바이스(100)에서 처음 실행될 때, 디바이스(100)는 캘리브레이션 기능을 제공할 수도 있다.
이에 따라, 디바이스(100)는 사용자의 조절 능력에 맞게 사용자에 대응하는 기준 거리를 설정할 수 있다.
또한, 디바이스(100)는 기준 거리뿐만 아니라 사용자에 대응하는 기준 시간을 설정하기 위한 사용자 인터페이스를 제공할 수도 있다. 이에 따라, 사용자는 기준 시간을 설정하기 위한 사용자 인터페이스를 통해 사용자에게 맞는 기준 시간을 설정할 수 있다.
도 14는 본 발명의 일 실시예에 따른, 커서(10)가 위치하더라도 터치 이벤트를 발생시키지 않는 비활성 영역을 나타내는 도면이다.
터치 스크린이 작은 모바일 디바이스의 경우, 터치 스크린의 대부분의 영역에 선택 가능한 객체가 디스플레이 되므로, 커서(10)가 멈춰있는 경우, 사용자가 원하지 않는 터치 이벤트가 계속하여 발생될 수 있다.
움직임 부재에 대한 조작을 멈추거나, 터치 이벤트가 발생되지 않기는 원하는 경우, 사용자는 커서(10)를 비활성화 영역(1410, 1412) 내에 위치시킴으로써 터치 이벤트를 발생시키지 않을 수 있다.
도 14를 참조하면, 터치 스크린(50)의 전체 영역 중 커서(10)가 위치하더라도 터치 이벤트를 발생시키지 않는 비활성 영역(1410, 1412)이 디바이스(100)에 기 결정되어 있을 수 있다. 예를 들어, 비활성 영역(1410, 1412)은 터치 스크린의 좌우 모서리로부터 기 결정된 거리내의 영역일 수 있다.
디바이스(100)는 커서(10)가 비활성화 영역(1410, 1412) 내에 위치하는지 여부를 판단할 수 있다. 커서(10)가 비활성화 영역(1410, 1412) 내에 위치하는 경우, 디바이스(100)는 커서(10)가 위치한 좌표를 드웰 시작 좌표로써 결정하지 않을 수 있다. 또한, 디바이스(100)는 커서(10)가 비활성화 영역(1410, 1412) 내에 기준 시간 이상 머무르더라도 터치 이벤트를 발생시키지 않을 수 있다.
도 15a 내지 도 15b는 본 발명의 일 실시예에 따른, 디바이스(100)가 주변 디바이스에게 사용자의 움직임에 관한 정보를 전송하는 방법을 설명하기 위한 도면이다.
도 15a를 참조하면, 디바이스(100)는 근거리 무선 통신을 통해, 주변 디바이스(300)를 제어하기 위한 메뉴를 제공할 수 있다.
주변 디바이스(300)를 제어하기 위한 메뉴를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 복수개의 주변 디바이스(300) 중 근거리 무선 통신으로 연결 가능한 주변 디바이스(300)의 목록을 디스플레이할 수 있다. 예를 들어, 복수개의 주변 디바이스(300) 중 블루투스 클라이언트 기능을 수행할 수 있는 주변 디바이스(300)의 목록을 디스플레이할 수 있다.
디스플레이된 목록 중 하나를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 주변 디바이스(300)에게 블루투스 통신을 요청할 수 있다. 선택된 주변 디바이스(300)에게 블루투스 통신을 요청함에 따라, 디바이스(100)와 선택된 주변 디바이스(300)는 블루투스 통신에 기초하여 연결될 수 있다. 이 경우, 디바이스(100)와 선택된 주변 디바이스(300)는 가상 시리얼 포트(Serial Port)에 기초하여 연결될 수 있다.
디바이스(100)와 선택된 주변 디바이스(300)가 연결됨에 따라, 디바이스(100)는 드웰 제스쳐를 감지하더라도 터치 스크린(50) 상에 터치 이벤트를 발생시키지 않을 수 있다.
또한, 도 15b를 참조하면, 디바이스(100)와 선택된 주변 디바이스(300)가 연결됨에 따라, 디바이스(100)는 사용자의 움직임에 관한 정보를 선택된 주변 디바이스(300)에게 전송할 수 있다. 예를 들어, 디바이스(100)는 입력 장치(200)로부터 수신된 움직임 부재의 이동 방향 및 이동 거리를 선택된 주변 디바이스(300)에게 전송할 수 있다.
디바이스(100)로부터 사용자의 움직임에 관한 정보를 수신함에 따라, 주변 디바이스(300)는 드웰 제스쳐를 검출하여 클릭 이벤트를 발생시킬 수 있다.
예를 들어, 선택된 주변 디바이스(300)는 디바이스(100)로부터 사용자의 움직임에 관한 정보를 수신함에 따라, 수신된 사용자의 움직임에 관한 정보에 기초하여, 화면에 디스플레이된 커서(15)를 이동시킬 수 있다.
또한, 커서(15)가 기준 거리 내에 기준 시간 동안 머무르는 경우, 선택된 주변 디바이스(300)는 클릭 이벤트를 발생시킬 수 있다.
이에 따라, 사용자는 디바이스(100)를 사용 중, 별도의 기기 연결 없이 디바이스(100)와 근거리 무선 통신으로 연결될 수 있는 주변 디바이스(100)를 제어할 수 있다.
도 16는 본 발명의 일 실시예예 따른, 디바이스(100)의 블록도이다.
도 16를 참조하면, 디바이스(100)는 통신부(130), 디스플레이부(110) 및 제어부(170)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 디바이스(100)는 구현될 수 있다.
통신부(130)는, 입력 장치(200)로부터 사용자의 움직임에 관한 정보를 수신할 수 있다.
디스플레이부(110)는, 디바이스(100) 내의 어플리케이션이 실행됨에 따라 터치 스크린(50) 상에 객체를 디스플레이할 수 있다.
제어부(170)는, 통신부(130) 및 터치 스크린(50)를 포함하는 전반적인 디바이스(100)의 구성을 제어할 수 있다.
통신부(130)는 사용자가 움직임에 따라, 사용자의 움직임에 관한 정보를 획득할 수 있다.
또한, 통신부(130)는 사용자의 움직임에 관한 정보가 획득됨에 따라, 주변 디바이스에게 근거리 무선 통신을 통해 획득된 움직임 부재의 움직임에 관한 정보를 송신할 수 있다.
디스플레이부(110)는, 사용자의 움직임이 감지됨에 따라, 터치 스크린 상에 커서를 디스플레이할 수 있다.
또한, 디스플레이부(110)는 획득된 사용자의 움직임에 관한 정보에 대응하여, 터치 스크린 상에 디스플레이된 커서를 이동시킬 수 있다.
또한, 디스플레이부(110)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간이 경과되는 동안에, 시간의 경과를 나타내는 객체를 터치 스크린 상에 디스플레이할 수 있다.
또한, 디스플레이부(110)는 커서가 터치 스크린 상의 기 결정된 영역 내에 위치함에 따라, 기 결정된 영역을 포함하는 영역 상에 복수의 항목 중 하나를 선택하기 위한 메뉴를 디스플레이할 수 있다.
제어부(170)는 커서가 이동됨에 따라, 이동된 커서가 위치하는 좌표를 드웰 시작 좌표로써 결정하고, 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 커서가 드웰 시작 좌표로부터 기준 거리 내에 위치함에 따라, 드웰 시작 좌표를 터치 좌표로써 결정할 수 있다.
또한, 제어부(170)는 드웰 시작 좌표를 터치 좌표로써 결정함에 따라, 터치 좌표 상에 터치 이벤트를 발생시킬 수 있다.
또한, 제어부(170)는 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 커서가 드웰 시작 좌표로부터 기준 거리 이상 떨어짐에 따라, 기준 거리 이상 떨어진 커서의 좌표를 드웰 시작 좌표로써 재결정할 수 있다.
또한, 제어부(170)는 획득된 사용자의 움직임에 관한 정보에 기초하여, 기준 거리를 설정할 수 있다. 이 경우, 제어부(170)는 기 결정된 크기의 도형 내에 커서가 기준 시간 동안 위치하는지 여부에 기초하여, 기준 거리를 설정할 수 있다.
도 17는 본 발명의 다른 실시예에 따른, 디바이스(100)의 블록도이다.
디바이스(100)의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 스마트 워치(Smart watch), 손목 시계(Wrist watch) 또는 스마크 글래스(Smart Glass), HMD(Head-Mounted Display)와 같은 웨어러블 디바이스(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다.
도 17을 참조하면, 디바이스(100)는 통신부(130), 디스플레이부(110) 및 제어부(170) 이외에, 메모리(120), GPS 칩(125), 비디오 프로세서(135), 오디오 프로세서(140), 사용자 입력부(145), 마이크부(150), 촬상부(155), 스피커부(160), 움직임 감지부(165) 중 적어도 하나를 포함 할 수 있다.
또한, 디스플레이부(110)는 표시패널(111) 및 표시 패널(111)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(111)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(111)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(110)는 사용자 입력부(145)의 터치 패널(147)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(111)과 터치 패널(147)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
메모리(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(170)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(170)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(120)는 모바일 디바이스(100) 의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 메모리(120)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.
제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부가 디스플레이부(110)에 표시되도록 디스플레이부(110)를 제어할 수 있다. 다시 말하자면, 제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부를 디스플레이부(110)에 표시할 수 있다. 또는, 제어부(170)는 디스플레이부(110)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(170)는 RAM(171), ROM(172), CPU(173), GPU(Graphic Processing Unit)(174) 및 버스(175) 중 적어도 하나를 포함 할 수 있다. RAM(171), ROM(172), CPU(173) 및 GPU(174) 등은 버스(175)를 통해 서로 연결될 수 있다.
CPU(173)는 메모리(120)에 액세스하여, 메모리(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(172)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(100)는 턴온 명령이 입력되어 전원이 공급되면, CPU(173)가 ROM(172)에 저장된 명령어에 따라 메모리(120)에 저장된 O/S를 RAM(171)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(173)는 메모리(120)에 저장된 각종 프로그램을 RAM(171)에 복사하고, RAM(171)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(174)는 모바일 디바이스 (100)의 부팅이 완료되면, 디스플레이부(110)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(174)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(174)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(174)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(174)에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이부(110)의 각 영역에 각각 표시될 수 있다.
GPS 칩(125)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 모바일 디바이스(100)의 현재 위치를 산출할 수 있다. 제어부(170)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(125)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 디바이스와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(131), 블루투스 칩(132), 무선 통신 칩(133), NFC 칩(134) 중 적어도 하나를 포함할 수 있다. 제어부(170)는 통신부(130)를 이용하여 각종 외부 디바이스와 통신을 수행할 수 있다.
와이파이 칩(131), 블루투스 칩(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(131)이나 블루투스 칩(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(133)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(135)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(135)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(140)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(140)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(170)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(135) 및 오디오 프로세서(140)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(160)는 오디오 프로세서(140)에서 생성한 오디오 데이터를 출력할 수 있다.
사용자 입력부(145)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(145)는 키(146), 터치 패널(147) 및 펜 인식 패널(148) 중 적어도 하나를 포함할 수 있다.
키(146)는 모바일 디바이스(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(147)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(147)이 표시 패널(111)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(148)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(148)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(148)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(148)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(148)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(148)은 표시 패널(111)의 하부에 일정 면적, 예를 들어, 표시 패널(111)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(170)는 마이크 부(150)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(120)에 저장할 수 있다.
촬상부(155)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(155)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
촬상부(155) 및 마이크부(150)가 마련된 경우, 제어부(170)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(155)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 모바일 디바이스(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(170)는 촬상부(155)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(170)는 마이크부(150)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(165)는 모바일 디바이스(100)의 본체 움직임을 감지할 수 있다. 모바일 디바이스(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(165)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 17에 도시하지는 않았으나, 실시예에는, 모바일 디바이스(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 모바일 디바이스(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 모바일 디바이스(100)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 입력 장치의 움직임 정보에 따라, 커서를 디스플레이하는 디스플레이부; 및
    제 1 터치 좌표를 결정하고, 상기 제 1 터치 좌표에서 제 1 터치 이벤트를 발생시키고,
    사용자에 의해 상기 입력 장치가 움직임에 따라, 상기 입력 장치의 움직임 정보를 획득하고,
    상기 입력 장치의 상기 움직임 정보에 기초하여, 상기 제 1 터치 좌표를 변경하고, 상기 변경된 제 1 터치 좌표에 기초하여 상기 커서를 디스플레이하도록 상기 디스플레이부를 제어하고,
    상기 커서가 상기 제 1 터치 좌표로부터 기준 거리 이상 떨어짐에 따라, 상기 커서가 이동한 좌표를 드웰 시작 좌표로써 결정하고,
    상기 커서가 상기 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 상기 커서가 상기 드웰 시작 좌표로부터 상기 기준 거리 내에 위치함에 따라, 상기 드웰 시작 좌표를 제 2 터치 좌표로써 결정하고, 상기 제 2 터치 좌표에서 제 2 터치 이벤트를 발생시키는 제어부를 포함하는, 디바이스.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 상기 커서가 상기 드웰 시작 좌표로부터 상기 기준 거리 이상 떨어짐에 따라, 상기 기준 거리 이상 떨어진 상기 커서의 좌표를 상기 드웰 시작 좌표로써 재결정하는, 디바이스.
  4. 제 1 항에 있어서,
    상기 디스플레이부는,
    상기 사용자의 움직임이 감지됨에 따라, 터치 스크린 상에 커서를 디스플레이하는, 디바이스.
  5. 제 1 항에 있어서,
    상기 디스플레이부는,
    상기 커서가 드웰 시작 좌표로 이동한 시점부터 상기 기준 시간이 경과되는 동안에, 시간의 경과를 나타내는 객체를 터치 스크린 상에 디스플레이하는, 디바이스.
  6. 제 1 항에 있어서,
    상기 디스플레이부는,
    상기 커서가 터치 스크린 상의 기 결정된 영역 내에 위치함에 따라, 상기 기 결정된 영역을 포함하는 영역 상에 복수의 항목 중 하나를 선택하기 위한 메뉴를 디스플레이하는, 디바이스.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 입력 장치의 움직임 정보에 기초하여, 상기 기준 거리를 설정하는, 디바이스.
  8. 제 7 항에 있어서,
    상기 디스플레이부는,
    기 결정된 크기의 도형을 터치 스크린 상에 디스플레이하고,
    상기 제어부는,
    상기 기 결정된 크기의 도형 내에 상기 커서가 상기 기준 시간 동안 위치하는지 여부에 기초하여, 상기 기준 거리를 설정하는, 디바이스.
  9. 제 1 항에 있어서,
    상기 디스플레이부는 상기 제 2 터치 좌표가 위치하더라도 상기 제 2 터치 이벤트를 생성하지 않는 비활성 영역을 포함하는 터치 스크린을 포함하는, 디바이스.
  10. 제 1 항에 있어서,
    상기 디바이스는, 상기 입력 장치의 움직임 정보가 획득됨에 따라, 주변 디바이스에게 근거리 무선 통신을 통해 상기 획득된 움직임 정보를 송신하는 통신부를 더 포함하는, 디바이스.
  11. 입력 장치의 움직임 정보에 따라, 커서를 디스플레이하는 단계;
    제 1 터치 좌표를 결정하고, 상기 제 1 터치 좌표에서 제 1 터치 이벤트를 발생시키는 단계;
    사용자에 의해 상기 입력 장치가 움직임에 따라, 상기 입력 장치의 움직임 정보를 획득하고,
    상기 입력 장치의 상기 움직임 정보에 기초하여, 상기 제 1 터치 좌표를 변경하고, 상기 변경된 제 1 터치 좌표에 기초하여 상기 커서를 디스플레이하는 단계;
    상기 커서가 상기 제 1 터치 좌표로부터 기준 거리 이상 떨어짐에 따라, 상기 커서가 이동한 좌표를, 드웰 시작 좌표로써 결정하는 단계; 및
    상기 커서가 상기 드웰 시작 좌표로 이동한 시점부터 기준 시간 동안 상기 커서가 상기 드웰 시작 좌표로부터 상기 기준 거리 내에 위치함에 따라, 상기 드웰 시작 좌표를 제 2 터치 좌표로써 결정하고, 상기 제 2 터치 좌표에서 제 2 터치 이벤트를 발생시키는 단계를 포함하는, 사용자 입력을 수신하는 방법.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 사용자 입력을 수신하는 방법은,
    상기 커서가 드웰 시작 좌표로 이동한 시점부터 기준 시간 내에 상기 커서가 상기 드웰 시작 좌표로부터 상기 기준 거리 이상 떨어짐에 따라, 상기 기준 거리 이상 떨어진 상기 커서의 좌표를 상기 드웰 시작 좌표로써 재결정하는 단계를 포함하는, 방법.
  14. 제 11 항에 있어서,
    상기 사용자 입력을 수신하는 방법은,
    상기 입력 장치의 움직임이 감지됨에 따라, 터치 스크린 상에 상기 커서를 디스플레이하는 단계를 더 포함하는, 방법.
  15. 제 11 항에 있어서,
    상기 사용자 입력을 수신하는 방법은,
    상기 커서가 상기 드웰 시작 좌표로 이동한 시점부터 상기 기준 시간이 경과되는 동안에, 시간의 경과를 나타내는 객체를 터치 스크린 상에 디스플레이하는 단계를 더 포함하는, 방법.
  16. 제 11 항에 있어서,
    상기 사용자 입력을 수신하는 방법은,
    상기 커서가 터치 스크린 상의 기 결정된 영역 내에 위치함에 따라, 상기 기 결정된 영역을 포함하는 영역 상에 복수의 항목 중 하나를 선택하기 위한 메뉴를 디스플레이하는 단계를 더 포함하는, 방법.
  17. 제 11 항에 있어서,
    상기 사용자 입력을 수신하는 방법은,
    상기 입력 장치의 움직임 정보에 기초하여, 상기 기준 거리를 설정하는 단계를 더 포함하는, 방법.
  18. 제 17 항에 있어서,
    상기 입력 장치의 움직임 정보에 기초하여, 상기 기준 거리를 설정하는 단계는,
    기 결정된 크기의 도형을 터치 스크린 상에 디스플레이하는 단계; 및
    상기 기 결정된 크기의 도형 내에 상기 커서가 상기 기준 시간 동안 위치하는지 여부에 기초하여, 상기 기준 거리를 설정하는 단계를 포함하는, 방법.
  19. 삭제
  20. 제 11 항에 있어서,
    상기 사용자 입력을 수신하는 방법은,
    상기 입력 장치의 움직임 정보가 획득됨에 따라, 주변 디바이스에게 근거리 무선 통신을 통해 상기 획득된 움직임 부재의 움직임에 관한 정보를 송신하는 단계를 더 포함하는, 방법.
KR1020140188998A 2014-12-24 2014-12-24 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치 KR102325339B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140188998A KR102325339B1 (ko) 2014-12-24 2014-12-24 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
US14/980,573 US10095384B2 (en) 2014-12-24 2015-12-28 Method of receiving user input by detecting movement of user and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140188998A KR102325339B1 (ko) 2014-12-24 2014-12-24 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20160078160A KR20160078160A (ko) 2016-07-04
KR102325339B1 true KR102325339B1 (ko) 2021-11-11

Family

ID=56164101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140188998A KR102325339B1 (ko) 2014-12-24 2014-12-24 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US10095384B2 (ko)
KR (1) KR102325339B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
KR102169236B1 (ko) * 2018-09-21 2020-10-27 주식회사 알엔디플러스 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
KR102196873B1 (ko) * 2019-01-18 2020-12-31 대한민국(국립특수교육원장) 장애인의 전자장치 사용을 위한 보조 장치
EP3966672A4 (en) * 2019-05-09 2022-12-14 Microsoft Technology Licensing, LLC DEVICE AND METHOD FOR QUICK MENU SELECTION
CN110286825B (zh) * 2019-06-26 2020-09-08 西南民族大学 一种基于机器视觉的机械式全自动鼠标操作装置
KR102254091B1 (ko) * 2020-12-02 2021-05-21 주식회사 알엔디플러스 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
CN117289808B (zh) * 2023-09-21 2024-06-21 深圳市瀚天鑫科技有限公司 一种电容式微型光标定位方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101379398B1 (ko) * 2013-01-29 2014-03-28 은명진 스마트 텔레비전용 원격 제어 방법
WO2014181403A1 (ja) * 2013-05-08 2014-11-13 富士通株式会社 入力装置及び入力プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256773B2 (en) 2003-06-09 2007-08-14 Microsoft Corporation Detection of a dwell gesture by examining parameters associated with pen motion
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101379398B1 (ko) * 2013-01-29 2014-03-28 은명진 스마트 텔레비전용 원격 제어 방법
WO2014181403A1 (ja) * 2013-05-08 2014-11-13 富士通株式会社 入力装置及び入力プログラム

Also Published As

Publication number Publication date
US10095384B2 (en) 2018-10-09
US20160188021A1 (en) 2016-06-30
KR20160078160A (ko) 2016-07-04

Similar Documents

Publication Publication Date Title
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR102325339B1 (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
KR102420043B1 (ko) 디스플레이 장치 및 디스플레이 방법
KR102255143B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
KR102318610B1 (ko) 모바일 디바이스 및 모바일 디바이스의 디스플레이 방법
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
US10162512B2 (en) Mobile terminal and method for detecting a gesture to control functions
TWI629636B (zh) 用於控制一電子器件之方法、電子器件及非暫時性電腦可讀儲存媒體
KR102462364B1 (ko) 스크롤바를 이용한 이미지 디스플레이 방법 및 이를 위한 장치
KR102308201B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US10579248B2 (en) Method and device for displaying image by using scroll bar
KR102445240B1 (ko) 이미지를 디스플레이하는 디바이스 및 방법
KR102367184B1 (ko) 스크린 키보드를 이용한 정보 입력 방법 및 이를 위한 장치
KR102381051B1 (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
KR102216127B1 (ko) 문자 입력 방법 및 장치
KR102180404B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR102492182B1 (ko) 사용자 단말 장치 및 그 제어 방법
KR102305314B1 (ko) 사용자 단말 장치 및 그의 제어 방법
KR20170009688A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right