KR20140010780A - Touch user interface, video device, system and remote touch controllng device - Google Patents

Touch user interface, video device, system and remote touch controllng device Download PDF

Info

Publication number
KR20140010780A
KR20140010780A KR1020120077659A KR20120077659A KR20140010780A KR 20140010780 A KR20140010780 A KR 20140010780A KR 1020120077659 A KR1020120077659 A KR 1020120077659A KR 20120077659 A KR20120077659 A KR 20120077659A KR 20140010780 A KR20140010780 A KR 20140010780A
Authority
KR
South Korea
Prior art keywords
touch
menu
search mode
independent
menu search
Prior art date
Application number
KR1020120077659A
Other languages
Korean (ko)
Inventor
최경순
Original Assignee
최경순
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최경순 filed Critical 최경순
Priority to KR1020120077659A priority Critical patent/KR20140010780A/en
Priority to PCT/KR2013/006405 priority patent/WO2014014278A1/en
Publication of KR20140010780A publication Critical patent/KR20140010780A/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Abstract

The present invention relates to a touch user interface for an image device such as a smart TV, a system, an image device, and a touch input device. By structuring various menu items necessary for implementing functions provided by an image device such as remote operation, content, applications, web, channels, and search in two or more menu search modes, it is possible to perform the entire process from selecting menu and search modes to selecting a final menu item with one touch motion. When, among an independent touch area and a dependent touch area, the independent touch area is touched and moved, a corresponding menu search mode continues. While the menu search mode for the independent touch area is on, the dependent touch are is touched and moved, the running menu search mode for the independent touch area instead of a corresponding menu search mode for the dependent touch area or a command continues, enabling efficient use of an input sensor on the narrow touch surface of a remote controller. The menu is updated by receiving data from more than one external server system. By making the main body of the image device navigate the function selection and the control process of the image device, the operation of the remote controller and the effort of the user can be simplified as much as possible.

Description

터치 유저 인터페이스, 영상 장치, 시스템 및 원격 터치 입력 장치{Touch User Interface, Video Device, System and Remote Touch Controllng Device}Touch User Interface, Video Device, System and Remote Touch Control Device

본 발명은 영상 장치의 다양한 기능을 검색하고 제어하는 터치 유저 인터페이스 방법, 장치 및 시스템에 관한 것이다The present invention relates to a touch user interface method, apparatus and system for searching and controlling various functions of an imaging apparatus.

스마트TV나 PC TV가 상용화 되면서 TV는 종래의 채널 TV나 IPTV 기능을 포함하여 VOD, 앱, 게임, SNS, 뱅킹, 쇼핑, 정보 검색 등 다양한 기능을 처리할 수 있게 되었다. 다양한 기능을 선택하고 제어하기 위해 종종 복수의 기능을 각각 갖는 50개 이상에 달하는 버튼을 갖는 리모컨들이 있다. 이러한 리모컨들은 리모컨마다 다른 버튼의 기능을 숙지하기 어렵고 큰 규모의 VOD 콘텐츠를 검색하는 경우 30번 이상의 버턴 누르기가 요구되는 경우도 적지 않아 한번의 제스처로 쉽고 빠르게 원하는 기능을 사용하고자 했던 고유의 목적을 상실한다.With the commercialization of smart TVs and PC TVs, TVs can handle various functions such as VOD, apps, games, SNS, banking, shopping, and information retrieval including conventional channel TV or IPTV functions. In order to select and control various functions, there are often remote controllers with more than 50 buttons each having a plurality of functions. These remote controllers are difficult to understand the functions of the different buttons on each remote control, and when searching for large-scale VOD content, it is not necessary to press more than 30 buttons. Loss

모션센서, OTP(optical Track Pad) 또는 터치 패드를 구비한 리모컨으로 영상 장치에 디스플레이 되는 커서를 제어하는 유저 인터페이스들이 많이 소개되고 있다. 그러나 커서를 제어하는 유저 인터페이스는 리모컨 명령 선택이나 콘텐츠 검색을 위해 1) 홈 메뉴를 화면에 표시하고 2)커서를 이동하고 3)메뉴 페이지를 여러 번 바꾸고 4) 메뉴 아이템을 여러 번 선택하는 복잡한 단계들을 거친다. 이러한 유형의 인터페이스는 한두 번의 제스처로 원하는 기능을 선택하고자 하는 사용자들을 좌절하게 하고 결국은 영상 장치가 제공하는 많은 기능의 사용을 포기하게 한다.Many user interfaces for controlling a cursor displayed on an imaging device with a remote control having a motion sensor, an optical track pad (OTP) or a touch pad have been introduced. However, the user interface for controlling the cursor is a complex step: 1) display the home menu on the screen, 2) move the cursor, 3) change the menu page several times, and 4) select menu items several times for remote command selection or content search. Go through them. This type of interface frustrates users who want to select a desired function with one or two gestures and eventually gives up on using many of the features provided by the imaging device.

리모컨의 터치면에 메뉴 아이콘을 여러 개 표시 설정하고 소정의 메뉴 아이콘을 선택하고 터치 이동하여 메뉴 아이템을 고르는 경우 사용자가 여러 번의 터치 이동으로 원하는 메뉴 아이템을 검색하고자 할 때 리모컨의 좁은 터치면 대부분을 메뉴 아이콘들이 분할하여 차지하고 있어 리모컨을 보지 않고 아이콘을 선택하기 어렵고 검색 과정을 연장하기 위한 제 2, 제 3의 터치 이동를 적용할 수 있는 터치 공간이 없어지는 문제가 있다. When multiple menu icons are displayed on the touch surface of the remote control, and a predetermined menu icon is selected and touched to select a menu item, when the user wants to search for a desired menu item by several touch movements, most of the narrow touch surface of the remote control is used. Since menu icons are divided and occupied, it is difficult to select an icon without looking at a remote controller, and a touch space for applying second and third touch movements to extend the search process is lost.

일부 터치 영역을 중립적으로 사용하기 위한 방법으로 컨텍스트에 따라 동일한 제스처를 해석하여 서로 다른 명령을 결정하는 애플의 공개특허 10-2012-0014020가 개시되어 있다. 이 방법은 GUI의 현재 컨텍스트에 기초하여 구조화되지 않은 터치 입력 영역으로부터 수신한 터치 입력 데이터를 해석함으로써 잠재적인 명령들의 집합으로부터 명령을 결정하는 유저 인터페이스에 관한 것이다. 이 방법은 하나의 제스처가 하나의 명령을 실행하여 여러 번의 제스처를 필요로 하고, 동일한 제스처가 컨텍스트에 따라 서로 다른 명령으로 해석된다.  As a method for neutrally using some touch regions, Apple Patent Publication No. 10-2012-0014020 discloses determining different commands by interpreting the same gesture according to a context. The method relates to a user interface that determines a command from a set of potential commands by interpreting touch input data received from an unstructured touch input area based on the current context of the GUI. In this method, one gesture executes one command, requiring multiple gestures, and the same gesture is interpreted as a different command depending on the context.

터치 터치 이동에 의해 리모컨 명령을 선택하는 방법으로 한국 특허 10-1101945 가 개시되어 있다. 본 발명자가 발명한 이 특허는 처음 터치영역과 처음 터치 이동 방향에 의해 1회성 명령과 반복성 명령을 생성하고, 리모컨 터치면에 명령이 대응하는 터치 영역을 겹치게 설정하여 유효 터치 영역의 크기가 변하게 하여 효율적으로 사용할 수 있는 유저 인터페이스에 관한 것으로, 겹치는 영역에 고유의 명령이나 메뉴 모드를 설정할 수 없고, 메뉴 검색의 시작 단계와 진행 단계를 구분 선택하기 위해서는 적어도 한번의 제스처를 더 필요로 한다. Korean Patent 10-1101945 discloses a method of selecting a remote control command by a touch touch movement. This patent, invented by the present inventors, generates a one-time command and a repeatable command based on the first touch area and the first touch movement direction, and sets the touch area corresponding to the command on the remote control touch surface so that the size of the effective touch area is changed. The present invention relates to a user interface that can be used efficiently, and cannot set its own command or menu mode in an overlapping region, and requires at least one additional gesture to separately select a start step and a progress step of menu search.

터치 이동 벡터에 따라 생성되는 상대좌표에 대응하는 텍스트를 입력하는 방법이 한국 특허 10-0720335호에 개시 되어 있다. 본 발명자가 발명한 이 특허는 수 십개 TV 채널이나 키패드처럼 동일 계층 (주로 2차원 격자 구조)의 메뉴 아이템을 한번의 터치 이동으로 선택할 수 있게 하는 유저 인터페이스에 관한 것이다. A method of inputting text corresponding to relative coordinates generated according to a touch movement vector is disclosed in Korean Patent No. 10-0720335. This patent, invented by the inventors, relates to a user interface that allows selection of menu items of the same hierarchy (mainly two-dimensional grid structure) in one touch movement, such as dozens of TV channels or keypads.

터치 이동 거리와 터치 이동 방향 전환에 의한 명령 또는 데이터 입력 방법 및 장치로 한국 특허 10-0942821가 개시되어 있다. 본 발명자가 발명한 이 특허는 기준점으로부터의 터치 이동 거리에 의해 동일 계층 메뉴 아이템을 선택하고, 터치 이동 방향을 전환을 통해 끊김 없이 하위 계층으로 이동하여, 여러 계층으로 구성된 큰 규모의 메뉴를 한번 또는 최소의 터치 이동으로 검색하게 하는 유저 인터페이스에 관한 것이다. 이 방법은 100개 이상 수백만 개의 메뉴 아이템을 한번의 순환 터치 이동나 지그재그 터치 이동으로 검색한다.Korean Patent No. 10-0942821 discloses a method and apparatus for inputting a command or data by changing a touch movement distance and a touch movement direction. This patent invented by the present inventors selects the same hierarchical menu item by the touch movement distance from the reference point, and moves the touch movement direction to the lower layer seamlessly by switching, so that a large-scale menu composed of several layers is once or A user interface that allows searching with minimal touch movement. This method retrieves more than 100 millions of menu items in one circular touch movement or zigzag touch movement.

본 발명의 기술적 과제는 상기의 문제점을 해결하여, 1) 리모컨을 보지 않고 메뉴 및 검색 모드 선택부터 최종 메뉴 아이템 선택까지의 과정을 한번의 터치 이동으로 해결할 수 있고, 2) 메뉴 선택 과정을 영상 장치에서 네비게이트하여 사용자가 쉽게 사용할 수 있고 3) 리모컨을 최대한 단순화하여 영상 장치마다 다른 리모컨을 통일할 수 있는 방법을 제공하고 4) 메뉴 별로 검색 시작 단계와 진행 단계를 별도로 선택하여 진행할 수 있으며, 5) 터치 입력 장치의 좁은 터치면을 효율적으로 넓게 이용하는 방법을 제공하고, 6) 수시로 변하는 메뉴를 쉽게 업데이트할 수 있는 유저 인터페이스 방법을 제공하는 것이다.The technical problem of the present invention is to solve the above problems, 1) it is possible to solve the process from the menu and search mode selection to the final menu item selection with one touch movement without looking at the remote control, and 2) the image selection process User can easily use by navigating in 3) Provides a way to unify the different remote control for each video device by simplifying the remote control as much as possible, and 4) Selecting the start and progress steps of search by menu separately, 5 6) to provide a method of efficiently using a narrow touch surface of the touch input device, and 6) to provide a user interface method for easily updating a frequently changing menu.

이와 같은 목적을 달성하기 위하여 본 발명은 영상장치에서 다양한 메뉴를 크기와 특성에 맞춰 적절한 검색 모드에 대응시키고, 영상장치 본체에 메뉴 검색 모드가 대응하는 터치 영역을 설정함으로써 영상 장치가 제공하는 다양한 기능에 융통성 있게 대응할 수 있게 하고, 가상 터치면 코너에 메뉴 검색 모드가 대응하는 독립 터치 영역을 설정하여 사용자가 리모컨을 보지 않고 메뉴 검색 모드를 선택하고 이어지는 터치 이동에 의해 메뉴 아이템을 검색하거나 제어 할 수 있게 하고, 가상 터치면 중앙부에 1개 이상의 종속 터치 영역을 넓게 설정하여 소정의 종속 터치 영역을 편하게 터치하여 터치 이동하면 독립 터치 영역의 메뉴 검색 모드가 진행 중인 경우에는 진행 중인 독립 터치 영역의 메뉴 검색 모드를 이어서 진행하고, 독립 터치 영역 메뉴 검색 모드가 진행되지 않은 경우에는 종속 터치 영역에 설정된 고유 메뉴 검색 모드나 명령을 실행하게 한다. 또한 사용자가 터치 입력 장치를 보지 않고 터치 영역을 분별 할 수 있도록 터치면 코너에 위치 확인을 위한 촉감 가이드를 설치한다.In order to achieve the above object, the present invention provides various functions provided by an imaging apparatus by matching various menus to an appropriate search mode in accordance with size and characteristics, and setting a touch area corresponding to the menu searching mode in the main body of the imaging apparatus. In this case, the user can select the menu search mode without looking at the remote control and search or control the menu item by following the touch movement by setting the independent touch area corresponding to the menu search mode in the virtual touch surface corner. If one or more subordinate touch areas are set to be wide in the center of the virtual touch surface to comfortably touch and move a predetermined subordinate touch area, if the menu search mode of the independent touch area is in progress, the menu search of the independent touch area is in progress. To continue the mode, the independent touch area menu If the color mode is not in progress, and executes the specific menu search mode or the command are set in the dependent touch area. In addition, a tactile guide for positioning is installed at a corner of a touch surface so that a user can identify the touch area without looking at the touch input device.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상장치 터치 유저 인터페이스 방법은, 2개 이상의 메뉴 검색 모드를 설정하는 단계; 2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 단계; 처음 터치 영역을 인식하는 단계; 처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 단계; 소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 단계; 및According to an aspect of the present invention, there is provided a method of controlling a video device touch user interface, the method including: setting two or more menu search modes; Setting at least two independent touch regions and at least one subordinate touch region; Recognizing the first touch area; Selecting a menu search mode corresponding to the first touch movement direction subsequent to the first touch independent touch region or the first touch independent touch region, and moving the item of the selected menu search mode according to the touch movement information which is continued without releasing the touch; Extending the state and method of the in-progress menu search mode when receiving a touch movement information by first touching the dependent touch area again after the touch is released while a predetermined independent touch area menu search mode is in progress; And

독립 터치 영역 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 단계;를 포함하는 것을 특징으로 한다.And executing a unique menu search mode or command set in the dependent touch area when receiving the touch movement information subsequent to the first touch of a predetermined subordinate touch area while the independent touch area menu search mode is not in progress. It features.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 서버 시스템은Server system according to another aspect of the present invention for achieving the above object is

유선 또는 무선 통신 망을 통해 연결되는 클라이언트 영상 장치에 다운로드하여 실행하는 응용 프로그램 및 2개 이상의 메뉴 검색 모드에 각각 대응하도록 구조화한 메뉴를 저장하는 메모리 수단과, 상기 응용 프로그램 및 상기 구조화한 메뉴를 송신하는 통신 인터페이스 수단을 구비하되, 상기 응용 프로그램은, Memory means for storing an application program downloaded and executed on a client video device connected through a wired or wireless communication network and a structured menu corresponding to two or more menu search modes, and transmitting the application program and the structured menu. Is provided with a communication interface means, the application program,

2개 이상의 메뉴 검색 모드를 설정하는 단계; 2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 단계; 처음 터치 영역을 인식하는 단계; 처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 단계; 소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 단계; 및 독립 터치 영역 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 단계;를 포함하는 유저 인터페이스 방법을 컴퓨터에 기능시키는 프로그램이고, 상기 구조화한 메뉴는 상기 응용 프로그램에 의해 설정되는 메뉴 검색 모드의 진행에 따라 순차적으로 액세스되는 구조의 메뉴인 것을 특징으로 한다.Setting at least two menu search modes; Setting at least two independent touch regions and at least one subordinate touch region; Recognizing the first touch area; Selecting a menu search mode corresponding to the first touch movement direction subsequent to the first touch independent touch region or the first touch independent touch region, and moving the item of the selected menu search mode according to the touch movement information which is continued without releasing the touch; Extending the state and method of the in-progress menu search mode when receiving a touch movement information by first touching the dependent touch area again after the touch is released while a predetermined independent touch area menu search mode is in progress; And executing a unique menu search mode or command set in the dependent touch area when receiving independent touch movement information by first touching a predetermined subordinate touch area while the independent touch area menu search mode is not in progress. A program for causing a user interface method to function in a computer, wherein the structured menu is a menu having a structure that is sequentially accessed as the menu search mode set by the application program proceeds.

상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 장치는Imaging apparatus according to another aspect of the present invention for achieving the above object

원격 터치 입력 장치, CPU, 프로그램과 프로그램을 저장하는 메모리 및 통신 인터페이스 수단을 구비하고, 2개 이상의 메뉴 검색 모드를 설정하는 수단; 2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 수단; 처음 터치 위치, 터치 이동 및 터치 해제를 인식하는 수단; 처음 터치 영역을 인식하는 수단;Means for setting a two or more menu retrieval modes, comprising a remote touch input device, a CPU, a memory for storing a program and a program, and a communication interface means; Means for setting at least two independent touch regions and at least one subordinate touch region; Means for recognizing a first touch position, a touch movement, and a touch release; Means for recognizing a first touch area;

터치 위치가 소정의 거리 또는 소정의 구역을 이동하면 터치 이동 방향을 판정하는 수단; 처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 수단; 소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이동하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 수단; 및 독립 터치 영역에 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이동하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 수단;을 포함하는 것을 특징으로 한다.Means for determining a touch movement direction when the touch position moves a predetermined distance or a predetermined region; Means for selecting a menu search mode corresponding to a first touch movement direction following the first touch independent touch region or a first touch independent touch region and moving the item of the selected menu search mode according to the touch movement information subsequent to the touch release; Means for extending the state and method of the ongoing menu search mode by first touching and moving the dependent touch area again after the touch is released while the predetermined independent touch area menu search mode is in progress; And means for executing a menu search mode or a command set in the subordinate touch area when the subordinate touch area is first touched and moved while the menu search mode does not progress in the independent touch area. .

상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 원격 터치 입력 장치는 평탄한 터치면 입력 센서의 코너, 모서리 또는 가장자리 부위에 위치 확인을 위한 촉감 가이드를 구비한 것을 특징으로 한다.The remote touch input device according to another aspect of the present invention for achieving the above object is characterized by having a tactile guide for positioning at the corner, corner or edge of the flat touch surface input sensor.

이와 같은 본 발명에 의하면 터치 리모컨 사용자가 리모컨을 보지 않고도 터치면의 코너에 위치한 독립 터치 영역을 터치하여 소정의 방향으로 터치 이동 하여 원하는 메뉴 검색 모드를 즉시 선택할 수 있고, 메뉴 검색 모드에 따라 분류된 수개에서 수 백만 개의 메뉴 아이템을 화면에 네비게이트 되는 메뉴를 보면서 한번의 직선이나 지그재그 터치 이동으로 선택할 수 있다. 또한 신중한 메뉴 선택을 위해 검색을 여러 번의 터치 이동으로 나누어서 진행할 수도 있다. 중앙부에 넓게 설정한 종속 터치 영역을 진행 중인 여러 메뉴 검색 모드의 임시 영역으로 사용할 수 있어 큰 규모의 메뉴를 검색할 때 좁은 리모컨 터치면을 효율적으로 활용할 수 있으며, 진행 중인 메뉴 검색 모드의 초기 상태로 즉시 돌아가거나 다른 메뉴 검색 모드나 명령을 즉시 실행하는 것도 가능하다. 영상 장치 본체에서 터치 영역을 설정하므로 영상 장치 응용에 따라 메뉴 검색 모드, 터치 영역 또는 명령 등을 가변적으로 설정할 수 있어 수시로 변하는 메뉴나 추가 되는 기능에 쉽게 대응할 수 있다.According to the present invention as described above, the user of the touch remote controller can immediately select a desired menu search mode by touching an independent touch area located at the corner of the touch surface without touching the remote control and moving in a predetermined direction, and classified according to the menu search mode. You can select from several straight line or zigzag touch movements while viewing menus navigated from screen to menu items. You can also split the search into multiple touch movements for careful menu selection. The subordinate touch area set in the center can be used as a temporary area for various menu search modes in progress, so that the narrow remote control touch surface can be used efficiently when searching a large menu, and the initial state of the menu search mode in progress can be used. It is also possible to go back immediately or execute another menu search mode or command immediately. Since the touch area is set in the main body of the imaging device, a menu search mode, a touch area, or a command may be variably set according to the application of the imaging device, thereby easily responding to a menu or an additional function that changes frequently.

도 1은 본 발명에 의한 가상 터치면에 터치 영역을 설정한 예시도이다.
도 2는 본 발명의 메뉴 검색 모드로 선택된 매트릭스 형태의 TV 채널 메뉴 예시도이다.
도 3은 본 발명에 의한 유저 인터페이스 방법에 의해 계층 구조의 메뉴를 검색하는 과정을 도시한 예시도 이다.
도 4는 본 발명에 의한 영상 장치 블록 구성도이다.
도 5는 본 발명의 유저 인터페이스 방법의 수행 흐름도이다.
도 6은 본 발명에 의한 서버 시스템 블록 구성도이다.
도 7은 본 발명에 의한 리모컨 예시도이다.
도 8은 본 발명에 의한 리모컨 예시도이다.
도 9는 본 발명에 의한 리모컨 예시도이다.1 is an exemplary view of setting a touch area on a virtual touch surface according to the present invention.
2 is an exemplary diagram of a TV channel menu in a matrix form selected in the menu search mode of the present invention.
3 is an exemplary diagram illustrating a process of searching a menu of a hierarchical structure by a user interface method according to the present invention.
4 is a block diagram of an imaging apparatus according to the present invention.
5 is a flowchart illustrating a user interface method of the present invention.
6 is a block diagram of a server system according to the present invention.
7 is an exemplary view of a remote controller according to the present invention.
8 is an exemplary view of a remote controller according to the present invention.
9 is an exemplary view of a remote controller according to the present invention.

본 발명이 실시되는 대상은 스마트TV, OTT(Over-The Top), 셋탑박스, PC, 게임기, 카메라, 휴대폰, CCTV, TV 기능 확장 키트 등 원격 터치 입력 장치로부터 터치 정보를 수신 처리하고 영상 신호를 생성하는 영상 장치를 포함한다.The object of the present invention is to receive and process the touch information from the remote touch input device such as smart TV, OTT (Over-The Top), set-top box, PC, game machine, camera, mobile phone, CCTV, TV function expansion kit It includes an imaging device to generate.

터치 입력 장치는 터치면 입력 센서를 구비하여 사용자의 터치 제스처에 따라 적어도 처음 터치 위치 정보, 터치 이동 정보 및 터치 해제 정보를 송신하는 리모컨, PDA, 스마트폰 및 인터넷폰 등의 모바일 장치를 포함하며, 본 명세서에서는 앞으로 관점을 명확히 하기 위해 리모컨으로 표현하기로 한다.The touch input device includes a mobile device such as a remote controller, a PDA, a smart phone, and an internet phone having a touch surface input sensor and transmitting at least first touch location information, touch movement information, and touch release information according to a user's touch gesture. In the present specification, in order to clarify the viewpoint, it will be represented by a remote controller.

본 발명에 따른 유저 인터페이스 방법은 영상 장치에서 사용자가 선택할 수 있는 모든 아이템, 예를 들면 콘텐츠, TV 채널, 리모컨 명령, 콘텐츠 명령, 문자, 텍스트, URL, 하이퍼 텍스트, 하이퍼 미디어, 앱, 데이터 등을 메뉴화하여 2개 이상의 메뉴 검색 모드에 대응시키는 것을 전제로 한다.The user interface method according to the present invention provides all items selectable by the user in the video device, for example, contents, TV channels, remote control commands, content commands, text, text, URL, hypertext, hypermedia, apps, data, and the like. It is assumed that menu items correspond to two or more menu search modes.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시 예를 상세하게 설명하기로 한다. 아래에서 설명될 내용은 실시예일뿐이며, 본 발명은 이 실시예에 한정되는 것이 아니다. 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있거나 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한, 여러 실시예들을 설명하면서 중복되는 내용은 설명을 생략하고 첨부 도면을 통틀어 동일한 구성 요소에는 동일한 참조번호를 사용할 수 있다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The content to be described below is only an example, and the present invention is not limited to this embodiment. In describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention pertains or are not directly related to the present invention are omitted. This is to omit the unnecessary description so as to convey the key of the present invention more clearly without fading. In addition, overlapping contents while describing various embodiments may be omitted, and the same reference numerals may be used for the same components throughout the accompanying drawings.

도 1은 본 발명에 의해 가상 터치면에 터치 영역을 설정한 예시도이다. 일 실시예로, 리모컨의 터치면 입력 센서에 대응하는 가상 터치면(100)을 영상 장치에서 설정하고 가상 터치면의 4개의 코너에 독립 터치 영역(111~114)을 설정하고, 상기 독립 터치 영역들이 이격되도록 3개의 종속 터치 영역(121~123)을 터치면 중앙부와 좌우 가장자리에 각각 설정한다, 각각의 독립 터치 영역에는 1개 내지 3개의 메뉴 검색 모드가 설정되어, 독립 터치 영역을 처음 터치하여 터치 이동하면 처음 터치 영역 및 또는 처음 터치 이동 방향에 따라 메뉴 검색 모드가 선택되어 선택된 메뉴의 일부 또는 전부가 디스플레이 화면에 표시된다. 본 발명에 따른 일 실시예로 도 1의 우하귀 독립 터치 영역(111)을 처음 터치하여 사선 방향으로 터치 이동을 시작하면(131) 리모컨 명령 메뉴가 선택되어 메뉴 아이템 즉 리모컨 명령들이 매트릭스 형태로 화면 표시창에 표시되고, 우하귀 독립 터치 영역(111)을 처음 터치하여 좌향으로 터치 이동하면 (132) 콘텐츠 명령 메뉴가 선택되어 콘텐츠 명령들이 1열로 화면의 소정의 위치에 표시된다. 1 is an exemplary diagram in which a touch area is set on a virtual touch surface according to the present invention. In an embodiment, the virtual touch surface 100 corresponding to the touch surface input sensor of the remote controller is set in the imaging device, and the independent touch regions 111 to 114 are set at four corners of the virtual touch surface, and the independent touch region is set. The three subordinate touch regions 121 to 123 are set at the center of the touch surface and the left and right edges so as to be spaced apart from each other. In each independent touch region, one to three menu search modes are set. When the touch is moved, the menu search mode is selected according to the first touch area and / or the first touch movement direction, and part or all of the selected menu is displayed on the display screen. According to an embodiment of the present invention, when the first right bottom touch area 111 of FIG. 1 is first touched to start a touch movement in an oblique direction (131), a remote command menu is selected to display menu items, that is, remote control commands in a matrix form. When the first lower right touch area 111 is first touched and moved to the left, the content command menu is selected so that the content commands are displayed at predetermined positions on the screen in one column.

도 1의 좌하귀 독립 터치 영역(112)을 처음 터치하여 도 2에 도시한 사선 방향으로 터치 이동를 시작하면(133, 201) 매트릭스 구조의 TV 채널 메뉴가(210)가 선택되어 도 2에 도시한 일부 채널 아이콘들이 터치 이동 벡터에 대응하여 표시창에 4X4 네비게이션 매트릭스 형태(211)로 화면 소정의 위치에 표시되고 터치 이동 벡터에 대응하여 팝업 표시되는 TV 채널(212)이 JTBC, KBS2, MBC의 순서로 이동한다. 소정의 채널이 선택된 상태에서 터치를 해제하거나 태핑같은 별도의 입력 확인 제스처를 취하면 선택된 채널이 TV튜너를 통해 선택된다. 다른 실시예로 좌하귀 독립 터치 영역(112)을 터치하여 상향으로 터치 이동하면 TV 채널 메뉴 검색 모드가 선택되지 않고 EPG 검색 모드가 선택되어 EPG 채널 메뉴 일부가 1열 상향으로 표시되고 계속 상향으로 터치 이동하면 선택되는 EPG 채널이 순차적으로 바뀌면서 채널 표시의 우측으로 EPG 시간 별 프로그램 메뉴가 표시된다. 소정의 채널이 선택된 상태에서 우향으로 터치 이동하면 순차적으로 해당 채널의 시간 별 프로그램 메뉴를 이동한다.When the lower left independent touch region 112 of FIG. 1 is first touched to start a touch movement in the oblique direction shown in FIG. 2 (133, 201), the TV channel menu 210 having a matrix structure is selected to partially display the portion shown in FIG. The TV channels 212, which are displayed at a predetermined position on the screen in a 4X4 navigation matrix form 211 on the display window in response to the touch movement vector and pop-up corresponding to the touch movement vector, are moved in the order of JTBC, KBS2, and MBC. do. When a certain channel is selected, when a touch is released or a separate input confirmation gesture such as tapping is performed, the selected channel is selected through the TV tuner. In another embodiment, when the lower left independent touch area 112 is touched and moved upward, the TV channel menu search mode is not selected and the EPG search mode is selected so that a part of the EPG channel menu is displayed upward by one column and continues to move upward. If the selected EPG channel is changed sequentially, the program menu for each EPG time is displayed on the right side of the channel display. When a predetermined channel is selected and touched to the right, the program menu for each channel is sequentially moved.

종속 터치 영역에 대한 일 실시예로 도 1의 좌측 가장자리 종속 터치 영역을(123) 처음 터치하여 상하로 터치 이동하면 채널 업/다운 명령이 터치 이동 거리에 따라 반복적으로 실행되고, 우측 가장자리 종속 터치 영역을(121) 처음 터치하여 상하로 터치 이동하면 음량 업/다운 명령이 터치 이동 거리에 따라 반복적으로 실행되고, 중앙부 종속 터치 영역을(122) 터치하여 상향으로 터치 이동하면 선호 채널 검색 모드가 진행되고, 중앙부 종속 터치 영역을 터치하여 좌우로 터치 이동하면 좌우 터치 이동 방향에 따라 이전 채널과 다음 채널 이동 명령이 실행된다. In an embodiment of the dependent touch area, when the left edge dependent touch area 123 of FIG. 1 is first touched and moved up and down, the channel up / down command is repeatedly executed according to the touch movement distance, and the right edge dependent touch area is moved. When 121 is first touched and moved up and down, the volume up / down command is repeatedly executed according to the touch movement distance, and when the center dependent touch area 122 is touched and moved upward, the preferred channel search mode is performed. In response to the left and right touches moving from the center dependent touch area to the left and right touch moving directions, the previous and next channel moving commands are executed.

도 3에 도시한 일 실시예에 따르면 도 1의 좌상귀 독립 터치 영역(113)을 처음 터치하여 우측으로 터치 이동를 시작하면(250) VOD 콘텐츠 메뉴 검색 모드가 선택되어 먼저 메인 메뉴인 영화, KBS, SBS, MBC 등 방송국 메뉴가 1열 메뉴로 표시되고(251), 계속 우향으로 터치 이동하면 순차적으로 방송국 메뉴를 이동하여 MBC까지 이동 후 터치 이동 방향을 전환하여 하향 터치 이동하면(252) MBC가 제공하는 드라마, 다큐, 예능, 교양 장르를 순차적으로 이동한다. 4번째 위치의 교양 장르로 이동하여 터치를 해제 한 뒤(253) 중앙부 종속 터치영역(122)을 다시 터치하여 상향으로 터치 이동를 시작하면(254) 상기 실시예에서의 중앙부 종속 터치 영역에 설정된 고유의 선호 채널 검색 모드가 진행되는 것이 아니고 직전까지 진행되어 온 VOD 콘텐츠 메뉴/MBC/교양 메뉴 아이템부터 동일 계층 메뉴 아이템 이동을 다시 진행하고, 예를 들어 예능까지 뒤로 이동한 뒤 방향을 바꿔 우향으로 터치 이동하면(255) 선택된 예능 장르의 서브 메뉴인 무한도전, 황금 어장, 나가수를 순차적으로 이동한다. 나가수에 도착 후 다시 방향을 바꿔 하향으로 터치 이동하여 최종 메뉴 아이템 예를 들어 나가수 10회차까지 이동 후 바로 태핑 제스처를 취하거나 별도의 확인 제스처를 취하면 선택된 최종 메뉴 아이템 나가수 10회차 VOD 콘텐츠 다운로드가 시작된다. 이 때 터치 위치가 어느 터치 영역을 지나더라도 터치 해제 없이 이어지는 터치 이동의 경우에는 진행되어 온 메뉴 검색 모드에 따라 메뉴 아이템 이동이 계속된다. 계층 메뉴을 검색하는 다른 실시예에서는 터치 이동 방향을 바꿀 때 마다 메뉴 계층을 이동하는 대신 좌우 방향 터치 이동에 의해 상위 또는 하위 계층 메뉴로 이동하고 상하 터치 이동에 의해 선택된 계층 메뉴 내에서 메뉴 아이템을 이동할 수도 있다. According to the exemplary embodiment shown in FIG. 3, when the first upper left independent touch region 113 of FIG. 1 is first touched to start a touch movement to the right (250), the VOD content menu search mode is selected, and the main menus of movies, KBS, and SBS are first selected. , The broadcasting station menu such as MBC is displayed as a one-column menu (251). If the touch is moved to the right, the broadcasting station menu is sequentially moved to the MBC, and then the touch movement direction is changed and the touch is moved downward (252). Move drama, documentary, entertainment, and culture genres sequentially. After releasing the touch by moving to the culture genre of the fourth position (253) and touching the central subordinate touch area 122 again to start the touch movement upward (254), the unique setting of the central subordinate touch area in the above embodiment is performed. Instead of proceeding with the preferred channel search mode, go back to the same layer menu item from the previous VOD content menu / MBC / culture menu item, for example, move back to entertainment and then change direction and touch to the right. The lower surface 255 sequentially moves submenus of the selected entertainment genre, such as infinite challenge, golden fishing ground, and nagasu. After arriving in Nagasu, change direction again and touch downward to move to the final menu item.For example, after moving up to 10th Nagasu, if you take a tapping gesture or make a separate confirmation gesture, the selected final menu item Nagasu 10th VOD content The download begins. At this time, in the case of a touch movement that is continued without a touch release even if the touch position passes through any touch region, the menu item movement is continued according to the menu search mode that has been advanced. In another embodiment of searching the hierarchical menu, instead of moving the menu hierarchy whenever the touch movement direction is changed, the user may move to the upper or lower hierarchical menu by left and right touch movement and move the menu item within the hierarchical menu selected by the up and down touch movement. have.

복합 검색 모드의 일 실시예로 도 1의 우상귀 독립 터치 영역(114)을 터치하여 좌향으로 터치 이동를 시작하면 복합 메뉴 검색 모드가 선택되어 마이 앱, 마이 포토 등의 메인 메뉴가 1열로 표시되고 좌향으로 계속 터치 이동하여 마이 포토를 선택한 뒤 하향으로 터치 이동하면 마이 포토의 메뉴 아이템으로 프리뷰 사진들이 화면 전체에 매트릭스 형태로 표시되고 커서가 나타난다. 이 때 터치 해제 없이 계속 터치 이동하여 커서를 이동시켜 소정의 사진을 선택하거나, 터치 해제 후 소정의 종속 터치 영역을 처음 터치하고 터치 이동하여 커서를 이동시켜 소정의 사진을 선택할 수 있다.In an embodiment of the compound search mode, when the right upper ear independent touch area 114 of FIG. 1 is touched to start the touch movement to the left, the compound menu search mode is selected so that the main menus such as My Apps, My Photos, etc. are displayed in one column and are moved to the left. If you continue to touch and select My Photo and touch down, the preview photos will be displayed in a matrix form and the cursor will appear as a menu item of My Photos. In this case, the touch may be continuously moved without releasing the touch to move the cursor to select a predetermined photo, or after the touch is released, the predetermined touch may be first touched and the touch may be moved to move the cursor to select the predetermined photo.

규모가 큰 메뉴를 지그재그 터치 이동으로 나누어 검색하는 도중 터치를 해제하고 진행 중인 검색 모드가 설정된 독립 터치 영역을 다시 처음 터치 하여 진행중인 메뉴 검색 모드를 다시 선택하면 상기 메뉴 검색 모드의 초기 상태에서 다시 시작한다. 일 실시예로 상기 도 1의 실시예에서 VOD 콘텐츠 메뉴 검색 모드/MBC/교양 메뉴 아이템이 선택된 상태에서 터치를 해제한 뒤(253) 좌상귀 독립 터치 영역(113)을 다시 처음 터치하여 우향으로 터치 이동를 시작하면 VOD 콘텐츠 메뉴 검색 모드가 다시 선택되어 메인 메뉴인 방송국 메뉴(251)가 다시 1 열로 화면에 표시된다. When the large menu is divided into zigzag touch movements, the touch is released and the independent touch area in which the ongoing search mode is set is first touched again to select the in-progress menu search mode to restart from the initial state of the menu search mode. . As an embodiment, after the VOD content menu search mode / MBC / culture menu item is selected in the embodiment of FIG. 1, the touch is released (253), and the first left touch of the upper left independent touch area 113 is touched again to move the touch to the right. When started, the VOD content menu search mode is selected again, and the station menu 251, which is the main menu, is displayed again in one column.

터치 정보가 소정의 거리 또는 소정의 경계를 이동하면 터치 이동 방향을 판정하는 단계는 리모컨에서 처리할 수도 있고, 리모컨으로부터 터치 이동 정보를 수신하여 영상 장치 본체에서 처리할 수 도 있다. 리모컨을 최대한 단순화 하고 영상 장치의 다양한 실행 모드에 대응하여 가변적으로 터치 이동 방향을 판정할 수 있도록 영상 장치 본체에서 SW로 처리하는 것이 바람직하다. 메뉴 검색 모드에 따라 2, 4, 6, 8 또는 16개의 방향을 판정하고 이동 방향 판정을 위한 기본 터치 이동 거리나 경계도 검색 모드에 따라 같거나 다르게 설정한다.When the touch information moves a predetermined distance or a predetermined boundary, the step of determining the touch movement direction may be processed by the remote controller, or may be processed by the imaging apparatus main body by receiving the touch movement information from the remote controller. In order to simplify the remote controller as much as possible and to variably determine the touch movement direction in response to various execution modes of the imaging apparatus, the imaging apparatus main body may process the SW. 2, 4, 6, 8 or 16 directions are determined according to the menu search mode, and the basic touch movement distance or boundary for determining the moving direction is also set to be the same or different according to the search mode.

터치 위치 이동 방향을 판정하는 일 실시예는 상하좌우 8개 방향을 설정하고, 영상 장치에서 터치 이동 정보를 수신하여 처음 터치 위치를 기준점으로 하고 주어지는 구간을 이동한 위치를 종점으로 하여 이동 방향을 1차로 인식하고, 전 단계의 종점을 새로운 기준점으로 하고 다시 주어지는 구간을 이동하면 다시 주어지는 구간에서의 이동 방향을 인식하여 순차적으로 이동 방향을 인식한다. 그리고 처음 이동 방향에 따라 터치 영역에 설정된 메뉴 검색 모드 중에서 대응하는 모드나 명령을 선택하고 순차적으로 생성되는 이동 방향에 따라 메뉴 아이템을 이동하거나 명령을 실행한다. According to an embodiment of the present invention, the direction of the touch position is set to eight directions in up, down, left, and right directions, the touch device receives the touch movement information, the first touch position is used as a reference point, and the movement direction is set as the end point. Recognizing the difference, if the end point of the previous step to the new reference point and move the section again given the direction of movement in the again given section to recognize the moving direction sequentially. Then, the corresponding mode or command is selected from the menu search modes set in the touch area according to the first moving direction, and the menu item is moved or executed according to the sequentially generated moving directions.

본 발명에 따른 유저 인터페이스 방법은 리모컨에서 터치면에 터치 영역을 설정하고 리모컨에서 처음 터치 영역을 판정하여 처음 터치 영역 정보를 송신하면 이를 영상장치 본체에서 수신하여 처음 터치 영역을 인식할 수도 있지만, 영상장치 본체에서 가상의 터치면과 터치 영역을 설정하여 리모컨에서 수신한 처음 터치 위치 정보에 의해 처음 터치 영역을 인식하는 것이 바람직하다. 영상장치 본체에서 보다 많은 유저 인터페이스 과정을 처리함으로써 특정 리모컨에 의존하지 않고 처음 터치 위치, 터치 이동 및 터치 해제 정보를 제공하는 어떠한 터치 입력 장치와도 연동할 수 있게 하여 리모컨을 단순화함으로써 영상 장치마다 다른 리모컨을 통일할 수 있는 방법을 제공하고, 영상 장치의 응용에 따라 터치 영역의 모양, 숫자, 위치 등을 신축성 있게 조정하여 필요한 메뉴 검색 모드나 명령을 쉽게 연계시킬 수 있게 한다. 바람직하게는 영상 장치에서 가상 터치면에 2개 이상의 메뉴 검색 모드가 대응하는 2개 이상의 독립 터치 영역과 1개 이상의 종속 터치 영역을 설정하되, 독립 터치 영역은 가상 터치면 코너(111~114)에 위치하는 좁은 영역에 설정하여 사용자가 보지 않고도 쉽게 분별하여 선택할 수 있으면서 실수로 선택되지 않도록 하고, 다용도로 자주 사용하는 종속 터치 영역은 가상 터치면 중앙부나 중앙부 가장자리(121~123)에 상기 독립 터치 영역을 이격하도록 넓게 설정한다. In the user interface method according to the present invention, when the touch area is set on the touch surface of the remote controller, the first touch area is determined by the remote controller, and the first touch area information is transmitted, the first touch area may be recognized by the image apparatus main body, but the first touch area may be recognized. It is preferable to set the virtual touch surface and the touch area in the main body of the device to recognize the first touch area by the first touch position information received from the remote controller. By processing more user interface processes on the main body of the video device, it is possible to interoperate with any touch input device that provides initial touch position, touch movement, and touch release information without depending on a specific remote control. It provides a way to unify the remote control, and elastically adjusts the shape, number, and position of the touch area according to the application of the imaging device, so that it is possible to easily associate necessary menu search modes or commands. Preferably, at least two independent touch regions and at least one subordinate touch region corresponding to two or more menu search modes are set on the virtual touch surface in the imaging apparatus, and the independent touch regions are formed at the virtual touch surface corners 111 to 114. It is set in a narrow area where it is located so that the user can easily distinguish and select it without seeing it, and it is not accidentally selected. The frequently used subordinate touch area is the independent touch area at the center or the edges 121 to 123 of the virtual touch surface. Set wide to space the.

터치 영역 설정의 다른 실시예로 도 1의 우상귀(114)를 처음 터치하여 하향으로 터치 이동를 시작하면 키워드 검색 메뉴가 1 열로 표시되고, 계속 하향으로 터치 이동하여 검색창 메뉴를 선택하면 중간부의 종속 터치 영역은 이전 채널 명령이나 선호 채널 검색 모드가 아닌 문자 입력 모드가 대응하는 종속 터치 영역으로 재 설정되어 네비게이션 문자 자판을 디스플레이 화면에 표시하고, 중앙부 종속 터치 영역(122)을 처음 터치하여 터치 이동하여 터치 해제할 때마다 터치 이동 시점과 종점이 이루는 터치 이동 벡터에 대응하는 문자가 검색창에 입력된다. 상기 실시예에서의 문자 입력 과정이 진행 중에도 좌하귀 독립터치 영역(112)을 처음 터치하여 터치 이동하면 곧장 터치 이동 벡터에 대응하는 TV 채널을 선택할 수 있으며, 이 때 진행 중이던 문자 입력 과정은 종료되거나 홀드되고 중앙부 종속 터치 영역은 TV 채널 검색 모드를 연장하여 진행하는 임시 영역이 된다.   As another embodiment of the touch area setting, when the first touch of the upper right ear 114 of FIG. 1 starts to move downward, the keyword search menu is displayed in one column. The area is reset to the subordinate touch area corresponding to the character input mode other than the previous channel command or the favorite channel search mode to display the navigation character keyboard on the display screen, and the first sub-touch of the center subordinate touch area 122 is touched and moved. Each time, the character corresponding to the touch movement vector formed by the touch movement start point and the end point is input to the search window. Even when the character input process in the above embodiment is in progress, when the first left touch area 112 is touched and moved, the TV channel corresponding to the touch movement vector can be selected immediately, and the character input process in progress is terminated or held. The central subordinate touch area becomes a temporary area extending the TV channel search mode.

수개에서 수백만개 이상 규모의 다양한 메뉴를 검색하기 위해 본 발명의 터치 영역에 설정하는 메뉴 검색 모드는 메뉴 규모와 특성에 따라 1)기준점으로부터 터치 이동 거리에 대응하여 순차적으로 1차원으로 배열한 메뉴 아이템을 이동하는 모드, 2) 기준점으로부터의 터치 이동에 따라 순차적으로 생성되는 2차원 상대 좌표에 대응하는 메뉴 아이템으로 이동하는 모드, 3) 기준점으로부터의 터치 이동 거리 및 터치 이동 방향의 전환에 대응하여 계층 구조로 설정된 메뉴 아이템을 순차적으로 이동하는 모드, 4)_커서를 이동하여 1차원 또는 2차원 이상으로 배열 표시되는 메뉴 아이템을 이동하는 모드, 또는 5) 상기 4개 모드 중 2개 이상의 모드가 결합한 모드 중에서 메뉴 특성과 크기에 따라 적절한 검색 모드를 선택하여 설정하며 상기 5가지 검색 모드에 한정하지 않는다. The menu search mode, which is set in the touch area of the present invention to search various menus ranging from several to millions or more, according to the menu size and characteristics, 1) menu items sequentially arranged in one dimension corresponding to the touch moving distance from the reference point. 2) a mode for moving to a menu item corresponding to two-dimensional relative coordinates that are sequentially generated according to a touch movement from a reference point, and 3) a layer corresponding to a change in touch movement distance and a touch movement direction from the reference point. 4) _ Mode for moving the menu items set in the structure sequentially; 4) _ Mode for moving the menu items displayed in one or two dimensions by moving the cursor; or 5) Two or more modes of the four modes are combined. Among the modes, the appropriate search mode is selected and set according to the menu characteristics and size. It is not limited.

본 발명의 메뉴 검색 모드를 구성하는 메뉴 아이템들은 리모컨 명령, TV 채널, 콘텐츠, 앱, URL, 하이퍼 텍스트, 하이퍼 미디어, 데이터를 나타내는 GUI 요소 또는 GUI 요소의 집합으로 메뉴 구조 내에서 각각의 논리적 위치에 고정적으로 배치될 수도 있지만 영상 장치의 응용에 따라 수시로 추가, 삭제, 이동하고, 통신 인터페이스 수단을 통해 외부 인터넷 사이트의 서버 시스템으로부터 수시로 다운로드 되어 업데이트 되기도 하고 고객 맞춤형을 위한 메뉴 편집 수단을 통해 새로 생성되거나 삭제되기도 한다.The menu items constituting the menu search mode of the present invention are GUI elements representing remote control commands, TV channels, content, apps, URLs, hypertext, hypermedia, data, or sets of GUI elements at respective logical positions in the menu structure. Although it may be fixedly placed, it may be added, deleted, or moved from time to time depending on the application of the video device, and may be frequently downloaded and updated from a server system of an external internet site through a communication interface means, or newly created through a menu editing means for customer customization. It may be deleted.

진행 중인 독립 터치 영역 메뉴 검색 모드가 없을 때 처음 터치하여 터치 이동하면 고유의 메뉴 검색 모드나 방향성 명령이 실행되는 종속 터치 영역 (121~123)은 소정의 독립 터치 영역 메뉴 검색 모드가 진행 중일 때는 진행 중인 독립 터치 영역 메뉴 검색 모드의 상태와 방법을 연장하여 진행하여, 항상 초기상태에서 다시 시작하는 독립 터치 영역의 역할과 구분된다. 여러 메뉴 검색 모드가 각각의 터치 영역 및 또는 처음 터치 이동 방향에 대응하여 설정되어 있을 때 독립 터치 영역을 처음 터치하여 각각의 검색 모드의 초기 상태로 돌아 갈수 있고 초기 상태에서 한번의 터치 이동으로 곧장 메뉴 아이템을 선택할 수 있도록 독립 터치 영역의 역할은 설정된다. 특히 채널 선택이나 리모컨 명령, 문자 입력은 한번의 간단한 제스처로 명령을 실행하지 못하면 그 유저 인터페이스의 실용성이 떨어지기 때문에 한번의 제스처로 최종 메뉴 아이템을 선택할 수 있는 유저 인터페이스의 실현은 매우 중요하다. 그러나 자주 사용하지 않거나 큰 규모 메뉴를 검색하거나 메뉴 아이템 선택에 있어 신중을 기할 때는 검색 과정을 나누어 여러 번의 제스처로 진행할 필요가 있는 경우가 종종 있으며 이 때 종속 터치 영역은 선택된 독립 터치 영역을 확장하여 검색 과정을 여러 번 나누어 진행할 수 있는 방법을 제공한다. When there is no independent touch area menu search mode in progress, the first touch-touch movement moves the dependent touch areas 121 to 123 where a unique menu search mode or a directional command is executed when a predetermined independent touch area menu search mode is in progress. The state and method of the independent touch area menu search mode in progress are extended to distinguish the role of the independent touch area which always starts again from the initial state. When multiple menu search modes are set for each touch area and / or the first touch movement direction, you can return to the initial state of each search mode by touching the independent touch area for the first time and go straight to the menu with one touch movement from the initial state. The role of the independent touch area is set so that an item can be selected. In particular, channel selection, remote control commands, and character input are not practical when the user interface is not executed by a simple gesture. Therefore, it is very important to realize a user interface capable of selecting a final menu item by a single gesture. However, if you do not use it often, or if you are searching for a large menu or are careful about selecting a menu item, you often need to split the search process and proceed with multiple gestures, where dependent touch areas extend the selected independent touch area to search. Provide a way to split the course over and over.

도 5는 본 발명의 일 실시예에 따른 영상 장치 유저 인터페이스 방법의 수행 흐름도이다. 도 5의 실시예는 영상 장치 전원을 켜면 바탕상태(500)에서 시작한다. 바탕 상태는 디폴트 기능 실행 상태(501)에서 소정의 TV 프로그램 채널이 디스플레이 되고 TV 프로그램 디스플레이 상태에 대응하는 메뉴 검색 모드 (502)와 대응하는 터치 영역(503)들이 설정된다. 리모컨으로부터 터치정보(504)로서 터치 위치 정보(511), 터치 이동 정보(521) 터치 해제 정보(531)를 대기하다가 터치 정보가 수신되면 레지스터에 등록된 이전의 메뉴 검색 모드, 터치영역, 검색모드 진행 상태, 아이템 선택 상태 등을 바탕으로 본 발명의 유저인터페이스 과정을 진행한다.5 is a flowchart illustrating an image device user interface method according to an exemplary embodiment. 5 starts in the background state 500 when the imaging apparatus is powered on. In the background state, a predetermined TV program channel is displayed in the default function execution state 501 and the touch area 503 corresponding to the menu search mode 502 corresponding to the TV program display state is set. Waiting for the touch position information 511 and the touch movement information 521 and the touch release information 531 as the touch information 504 from the remote controller, and when touch information is received, the previous menu search mode, touch area, and search mode registered in the register. The user interface process of the present invention is performed based on the progress state, the item selection state, and the like.

먼저 처음 터치 위치 정보(511)를 수신하면 처음 터치 영역을 인식하고(512) 레지스터에 등록한다(513). 이어서 터치 이동 정보를 수신하면(521) 대기 상태가 웹 페이지가 디스플레이 된 커서 모드인 경우 화면에 표시된 커서를 이동하고(541) 커서 모드가 아니면 터치 이동 방향을 판정한다(523). 처음 터치 이동 방향이고(525) 독립 터치 영역 메뉴 검색 모드가 진행되지 않은 상태이면(527) 처음 터치 영역 등록 정보(513)와 처음 터치 이동 방향 정보(523)에 대응하는 메뉴 검색 모드를 선택하고 해당 모드의 메뉴를 화면의 소정의 위치에 표시하고 선택된 메뉴 검색 모드를 등록하고528). 새로운 터치 정보를 기다린다(504). 다시 리모컨으로부터 이어지는 터치 이동 정보를 수신하면(521) 터치 이동 방향에 따라 선택된 메뉴 검색 모드의 메뉴 아이템을 이동하고 표시하고 등록한다(526). 소정의 메뉴 아이템이 선택 된 뒤 터치 해제하고(531) 별도의 명령 처리 정보를 수신하면(532) 마지막으로 선택된 메뉴 아이템 예를 들어 [KBS1 채널 선택], [A은행 회원 등록] 또는 [VOD 콘텐츠 대장금 21회 선택] 등의 아이템 선택 명령을 처리하고(533), 아이템 기능 실행 상태로 돌아간다(501). 소정의 메뉴 아이템이 선택되고 터치 해제한 뒤(531) 별도의 명령 처리 정보를 수신하지 않고(532) 소정의 종속 터치 영역을 처음 터치하면(511) 터치 영역을 인식하고(512) 레지스터에 등록하고(513) 다음 터치 정보를 대기한다(504). 종속 터치 영역 처음 터치에 이어서 터치 이동 정보(521)가 처음 이동 방향이더라도 독립영역 메뉴 검색 모드가 진행 중이면(527) 진행 중이었던 독립 터치 영역 메뉴 아이템을 이동한다(526). 만일 독립 터치 영역 메뉴 검색 모드가 진행 중이 아니면(527) 종속 터치 영역에 설정된 새로운 메뉴 검색 모드 예를 들면 [맞춤형 TV채널 메뉴]를 선택하고(528), 이어지는 터치 이동 정보를 수신(521) 터치 이동 방향을판정하여 (523) 맞춤형 TV채널 메뉴를 이동한다(526). 독립 터치 영역 메뉴 검색 모드가 진행 중이 아닌 상태에서 소정의 종속 터치 영역 [음량 업/다운 명령이 설정된 우측 가장자리 영역]을 터치하여 상하로 움직이면(524) 터치 이동 거리에 대응하여 반복적으로 음량 업/다운 명령이 실행되고 명령 실행 결과인 음량 세기가 화면에 표시된다(529). 메뉴 검색 모드 진행 도중 서브 메뉴가 표시된 상태에서 종속 터치 영역을 처음 터치하여 이동하는 정보를 수신하면 서브 메뉴 상에서 커서를 이동하고 커서 위치의 아이콘이나 하이퍼 텍스트가 메뉴 아이템으로 선택 된다(541). 소정의 아이템 기능 실행 상태 예를 들면 [A은행 회원 등록]의 경우 TV 프로그램이 디스플레이 되는 상태에서는 음량 업/다운, 채널 업/다운, 이전 채널 같은 명령은 불필요하고 대신 문자 입력이나 커서 이동, 스크롤 같은 명령이 필요하므로 종속 터치 영역을 [A은행 회원 등록] 아이템 기능 실행 상태에 필요한 문자 입력 모드나 커서 이동 모드로 재설정한다(502,503).First, when the first touch position information 511 is received, the first touch region is recognized (512) and registered in the register (513). Subsequently, when the touch movement information is received (521), when the standby state is the cursor mode in which the web page is displayed, the cursor displayed on the screen is moved (541). If the touch movement information is not the cursor mode, the touch movement direction is determined (523). If it is the first touch movement direction (525) and the independent touch region menu search mode is not in progress (527), the menu search mode corresponding to the first touch region registration information 513 and the first touch movement direction information 523 is selected and Display the menu of the mode at a predetermined position on the screen and register the selected menu search mode; Wait for new touch information (504). When receiving the touch movement information continued from the remote controller (521), the menu item of the selected menu search mode is moved, displayed, and registered according to the touch movement direction (526). When a predetermined menu item is selected, touch is released (531), and when receiving separate command processing information (532), the last selected menu item is selected, for example, [KBS1 channel selection], [A bank member registration], or [VOD content credits]. Item selection command such as [21 times selection] (533), and returns to the item function execution state (501). After the predetermined menu item is selected and the touch is released (531), the first touch of the predetermined subordinate touch area (532) without receiving separate command processing information (532), the touch area is recognized (512) and registered in the register. (513) Wait for the next touch information (504). If the independent touch area menu search mode is in progress (527), even if the touch movement information 521 is the first movement direction following the first touch of the dependent touch area, the independent touch area menu item that is in progress is moved (526). If the independent touch area menu search mode is not in progress (527), a new menu search mode set in the subordinate touch area, for example, [custom TV channel menu] is selected (528), and subsequent touch movement information is received (521). Determine the direction (523) to move the customized TV channel menu (526). Independent Touch Area When the menu search mode is not in progress, a predetermined subordinate touch area [right edge area where the volume up / down command is set] is touched and moved up and down (524) to repeatedly increase or decrease the volume in response to the touch movement distance. The command is executed and the volume intensity that is the result of the command execution is displayed on the screen (529). When the sub-menu is displayed while the menu search mode is in progress, when the sub-touch area is first touched to receive information, the cursor is moved on the sub-menu, and an icon or hypertext at the cursor position is selected as a menu item (541). For example, in the case of [A Bank Member Registration], when the TV program is displayed, commands such as volume up / down, channel up / down, and previous channel are unnecessary. Since the command is required, the subordinate touch area is reset to the character input mode or the cursor movement mode required for the [A bank member registration] item function execution state (502, 503).

상기 실시예에 따른 유저 인터페이스 방법은 컴퓨터 응용 프로그램(앱)이나 미들웨어 형태로 영상 장치 본체에 제작 단계에 설치되거나 통신 수단을 통해 외부 서버 시스템으로부터 영상 장치에 다운로드 되어 실행될 수 있다. The user interface method according to the above embodiment may be installed in the production stage of the video device main body in the form of a computer application program (app) or middleware, or may be downloaded and executed from an external server system through a communication means.

도 4는 본 발명의 일 실시예에 따른 영상 장치의 개략적인 구조를 나타내는 블록 구성도이다. 본 실시예에 따른 영상 장치는 영상 장치 본체(410)와 리모컨(411)으로 구성되며 영상 장치 본체와 일체화 되거나 통신 수단을 통해 연결되는 별도의 디스플레이 장치(412)를 통해 영상 신호를 디스플레이 한다. 영상 장치 본체(410), 리모컨(411) 및 통신 수단을 통해 연결되는 디스플레이 장치(412) 각각은 CPU, 메모리 및 통신 인터페이스 수단을 구비한다. 영상장치 본체는 2개 이상의 메뉴 검색 모드를 설정하는 수단; 2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 수단; 처음 터치 영역을 인식하는 수단; 터치 위치가 소정의 거리 또는 소정의 구역을 이동하면 터치 이동 방향을 판정하는 수단; 처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 수단; 소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이동하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 수단; 및 독립 터치 영역에 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이동하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 수단;을 CPU를 통해 상기 메모리에 저장된 컴퓨터 프로그램 모듈로 실현시키고, 상기 CPU는 리모컨(412)으로부터 수신한 정보에 따라 상기 메모리에 저장된 메뉴 데이터베이스를 액세스하여 상기 프로그램을 처리한다. 상기 리모컨(411)은 내장된 CPU가 메모리에 저장된 프로그램을 통해 터치면 입력 센서 (421)에 대한 터치 제스처를 전기적 입력 신호로 처리하여 적어도 처음 터치 위치, 터치 이동 및 터치 해제 정보를 생성하여 IR이나 RF 방식으로(422) 영상장치 본체에 송신한다. 본 발명에 사용되는 리모컨은 터치 패드 및 터치스크린뿐 아니라 터치 방식으로 터치 위치 및 터치 이동 정보를 판별할 수 있는 어떠한 새로운 장치도 포함하며, 리모컨에서 송신하는 터치 이동 정보는 터치 위치 이동에 따른 픽셀 좌표 정보나 벡터로 표현될 수 있다. 상기 영상 장치 본체(410)는 TV처럼 LCD, PDP 또는 OLED 같은 디스플레이 수단을 구비하여 직접 영상을 디스플레이 할 수도 있고 셋탑박스, PC, 게임기, 휴대폰 또는 TV 확장 키트처럼 콘텐츠 영상 신호나 오버레이 되는 메뉴 표시 신호를 별도의 디스플레이 장치(412) 에 송신하여 영상을 디스플레이 할 수도 있다.  4 is a block diagram illustrating a schematic structure of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus according to the present exemplary embodiment includes an imaging apparatus main body 410 and a remote controller 411 and displays an image signal through a separate display apparatus 412 that is integrated with the imaging apparatus main body or connected through communication means. Each of the imaging apparatus main body 410, the remote controller 411, and the display apparatus 412 connected through the communication means includes a CPU, a memory, and a communication interface means. The imaging apparatus main body includes means for setting two or more menu search modes; Means for setting at least two independent touch regions and at least one subordinate touch region; Means for recognizing a first touch area; Means for determining a touch movement direction when the touch position moves a predetermined distance or a predetermined region; Means for selecting a menu search mode corresponding to a first touch movement direction following the first touch independent touch region or a first touch independent touch region and moving the item of the selected menu search mode according to the touch movement information subsequent to the touch release; Means for extending the state and method of the ongoing menu search mode by first touching and moving the dependent touch area again after the touch is released while the predetermined independent touch area menu search mode is in progress; And means for executing a unique menu search mode or command set in the subordinate touch area when the subordinate touch area is first touched and moved while the menu search mode does not progress in the independent touch area. Realized by the stored computer program module, the CPU accesses the menu database stored in the memory according to the information received from the remote control 412 to process the program. The remote controller 411 generates an at least initial touch position, touch movement and touch release information by processing a touch gesture with respect to the touch surface input sensor 421 as an electrical input signal through a program stored in a memory by an embedded CPU. 422 is transmitted to the main body of the imaging apparatus. The remote controller used in the present invention includes not only a touch pad and a touch screen, but also any new device that can determine the touch position and the touch movement information by a touch method, and the touch movement information transmitted from the remote controller includes pixel coordinates according to the touch position movement. It can be represented by information or a vector. The video device main body 410 may be provided with a display means such as an LCD, a PDP or an OLED, such as a TV, to display an image directly, or a content video signal or an overlay menu display signal, such as a set-top box, a PC, a game machine, a mobile phone, or a TV extension kit. May be transmitted to a separate display device 412 to display an image.

도 6은 본 발명의 다른 측면의 실시예에 따른 서버 시스템의 블록 구성도이다. 본 실시예의 서버 시스템(430)은 유선 또는 무선 통신 망을 통해 연결되는 클라이언트 영상 장치(410)에 다운로드하여 실행하는 응용 프로그램 및 2개 이상의 메뉴 검색 모드에 각각 대응하도록 구조화한 메뉴를 저장하는 메모리 수단과, 상기 응용 프로그램 및 상기 구조화한 메뉴를 송신하는 통신 인터페이스 수단을 구비하며, 상기 응용 프로그램은, 2개 이상의 메뉴 검색 모드를 설정하는 단계;  6 is a block diagram of a server system according to another embodiment of the present invention. The server system 430 of the present embodiment includes a memory means for storing an application program downloaded and executed on a client video device 410 connected through a wired or wireless communication network and a structured menu corresponding to two or more menu search modes. And a communication interface means for transmitting the application program and the structured menu, the application program comprising: setting two or more menu search modes;

2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 단계; Setting at least two independent touch regions and at least one subordinate touch region;

처음 터치 영역을 인식하는 단계; 처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 단계; 소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 단계; 및 독립 터치 영역 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 단계;를 포함하는 유저 인터페이스 방법을 컴퓨터에 기능시키는 프로그램이고, 상기 구조화한 메뉴는 상기 응용 프로그램에 의해 설정되는 메뉴 검색 모드의 진행에 따라 순차적으로 액세스되는 구조의 메뉴인 것을 특징으로 한다. 본 발명의 일 실시예에 따른 서버 시스템(430)은 유저 인터페이스 방법을 기능시키는 프로그램과 메뉴 데이터베이스를 저장 및 관리하고 인터넷 등의 유무선 통신망 (423)을 통해 앱 형태로 클라이언트 영상 장치 본체(410)에 송신하여 본 발명의 유저 인터페이스 방법을 실현시킨다. 이 때 영상 장치는 콘텐츠 메뉴나 EPG 데이터처럼 수시로 변경되는 메뉴 데이터베이스를 제 1 메뉴 공급자 서버 시스템(430)으로부터 수시로 다운로드 받아 영상 장치에 저장한 메뉴 데이터베이스를 업데이트 할 수 있다. 다른 실시예로 본 발명의 영상장치는 제 1 메뉴 공급자 서버 시스템(430)으로부터 메인 메뉴 데이터베이스를 다운로드 받고, 콘텐츠 서버(442)를 통해 콘텐츠를 제공하는 제 2 메뉴 공급자(440)의 서버 시스템(441)으로부터 서브 메뉴 데이터베이스를 다운로드 받아 영상 장치에 저장된 메인 메뉴 데이터베이스의 아이템과 상기 서브 메뉴 데이터베이스를 링크하여 전체 메뉴 데이터베이스를 업데이트할 수 있다. Recognizing the first touch area; Selecting a menu search mode corresponding to the first touch movement direction subsequent to the first touch independent touch region or the first touch independent touch region, and moving the item of the selected menu search mode according to the touch movement information which is continued without releasing the touch; Extending the state and method of the in-progress menu search mode when receiving a touch movement information by first touching the dependent touch area again after the touch is released while a predetermined independent touch area menu search mode is in progress; And executing a unique menu search mode or command set in the dependent touch area when receiving independent touch movement information by first touching a predetermined subordinate touch area while the independent touch area menu search mode is not in progress. A program for causing a user interface method to function in a computer, wherein the structured menu is a menu having a structure that is sequentially accessed as the menu search mode set by the application program proceeds. The server system 430 according to an embodiment of the present invention stores and manages a program and a menu database functioning a user interface method, and stores the program in the client video device main body 410 in the form of an app through a wired / wireless communication network 423 such as the Internet. By transmitting, the user interface method of the present invention is realized. In this case, the video apparatus may update a menu database stored in the video apparatus by frequently downloading a menu database that is changed from time to time, such as a content menu or EPG data, from the first menu provider server system 430. In another embodiment, the imaging apparatus of the present invention downloads the main menu database from the first menu provider server system 430, and provides the server system 441 of the second menu provider 440 to provide content through the content server 442. FIG. The sub-menu database may be downloaded from the main menu database stored in the image device and the sub-menu database may be updated to update the entire menu database.

도7은 본 발명을 실현하는 다른 측면에서의 리모컨(610) 일 실시예를 도시한 예시도로 촉각적 분별 수단이 없는 평탄한 터치면 입력 센서(611)를 구비한 리모컨(610)에 있어서 터치면 입력 센서(611)의 4개 코너에 원형의 촉감 가이드(621)를 구비한 것이다. 코너에 위치한 촉감 가이드를 통해 사용자는 리모컨을 보지 않고도 터치면의 4개 코너는 물론 상하좌우 4개 가장자리와 중앙부 영역을 쉽게 판별할 수 있다. 따라서 각 터치 영역에 레이블이나 아이콘을 표시하지 않고 사용자는 상기 촉감 가이드를 통해 개략적으로 터치 영역을 판별하여 미리 설정된 메뉴 검색 모드나 명령을 선택할 수 있다. 상기 리모컨은 처음 터치 위치 정보 및 터치 이동 정보를 송신하면 상기 리모컨과 연동하는 영상 장치 본체는 수신하는 처음 터치 위치 정보로부터 처음 터치 영역을 인식하고, 이어지는 터치 이동 방향에 따라 대응하는 메뉴 검색 모드나 명령을 선택한다. 상기 실시예의 리모컨은 도 1의 실시예처럼 중앙부를 넓게 설정하고 코너 영역을 좁게 설정하여 실수로 독립 터치 영역을 터치하여 발생할 수 있는 오류 입력을 최소화하면서 터치면의 대부분을 진행 중인 독립 터치 영역 메뉴 검색 모드를 연장하여 사용할 수 있도록 한다. 도 8은 터치면 코너 위치 대신 터치면에 접한 4개 모서리에 직각 형태의 선형 촉감 가이드(622)를 구비하여 엄지 접촉으로 모서리를 감지함으로써 코너에 위치한 터치 영역을 확인할 수 있게 한다. 도 9는 터치면 모서리를 제외한 4개 가장자리에 선형 촉감 가이드(623)를 구비한 리모컨의 일 실시예를 도시한 것으로 사용자는 리모컨 터치면을 보지 않고도 엄지를 터치 이동하거나 터치하여 터치면 코너, 모서리 또는 가장자리 부위의 촉감 가이드 유무를 판단함으로써 각각의 터치 영역을 인지할 수 있다. 촉감 가이드는 질감이나 요철을 가지는 점, 선, 면 또는 입체 형상이거나, 리모컨에 별도의 진동 수단을 구비하여 터치하면 진동을 일으키는 도형일 수 있다. 터치 위치를 인지하는 일 실시예는 엄지 등의 포인팅 수단이 정전용량 방식의 터치 패드나 터치스크린 등의 터치면 입력 센서와 접촉하는 영역을 인식하여 그 중심점을 판정하는 것이다. 터치면의 코너에 좁은 면적의 터치 영역을 설정하되 터치면에 레이블이나 아이콘 등으로 시각적으로 구분하여 표시하지 않고도 상기한 소정의 촉감 가이드를 설치할 경우 사용자는 리모컨을 보지 않고도 촉감 가이드 유무를 판단함으로써 4개 코너 터치 영역 뿐 아니라 중앙부와 4개 가장자리부를 쉽게 인지할 수 있다. 이 때 엄지와 접촉하는 터치면 영역이 지문 크기의 마진을 가지므로 촉감 가이드는 터치면 상에 설치할 수도 있고 터치면에 인접한 바깥 위치 리모컨 케이스에 설치할 수도 있다. 본 발명의 일 실시예에 따른 리모컨은 터치면 입력 센서와 별도로 전원 버턴(630)과 숫자 입력 버턴(625)를 구비할 수 있다.FIG. 7 is a diagram illustrating one embodiment of a remote controller 610 in another aspect of realizing the present invention. Touch surface input in a remote controller 610 having a flat touch surface input sensor 611 without tactile discrimination means. The circular tactile guide 621 is provided at four corners of the sensor 611. The tactile guide located at the corner allows the user to easily identify the four corners of the touch surface as well as the top, bottom, left and right edges and the center area without looking at the remote control. Accordingly, without displaying a label or an icon on each touch area, the user can roughly determine the touch area through the tactile guide and select a preset menu search mode or command. When the remote controller first transmits the touch location information and the touch movement information, the main body of the video device interworking with the remote controller recognizes the first touch region from the received first touch position information, and corresponding menu search mode or command according to the subsequent touch movement direction. Select. The remote controller of the above embodiment searches the independent touch area menu in which most of the touch surfaces are in progress while minimizing an error input that may be caused by accidentally touching the independent touch area by setting the center part wide and setting the corner area narrow as in the embodiment of FIG. 1. Extend the mode to use. FIG. 8 includes a linear tactile guide 622 having a right angle shape at four corners of the touch surface instead of the corners of the touch surface to detect the corners by the thumb contact. FIG. 9 illustrates an embodiment of a remote control having a linear tactile guide 623 at four edges except for a touch surface edge. The user touches or moves a thumb without touching the remote control touch surface. Alternatively, each touch area may be recognized by determining the presence or absence of a tactile guide at the edge portion. The tactile guide may be a dot, line, surface or three-dimensional shape having a texture or irregularities, or a figure which generates vibration when a remote control is provided with a separate vibration means. One embodiment of recognizing a touch position is to determine a center point by a pointing means such as a thumb to recognize an area in contact with a touch surface input sensor such as a capacitive touch pad or a touch screen. If you set the touch area of a narrow area at the corner of the touch surface, but install the above-mentioned tactile guide without visually distinguishing and displaying it on the touch surface with a label or an icon, the user can determine whether there is a tactile guide without looking at the remote controller. The center and four edges can be easily recognized as well as the four corner touch areas. At this time, since the touch surface area in contact with the thumb has a margin of a fingerprint size, the tactile guide may be installed on the touch surface or may be installed in an external position remote control case adjacent to the touch surface. The remote controller according to an embodiment of the present invention may include a power button 630 and a numeric input button 625 separately from the touch surface input sensor.

본 발명에 사용된 용어는 단지 사전적인 의미로 해석되어서는 안되며, 본 발명의 목적에 맞는 개념과 의미를 포괄한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 발명의 범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The terminology used herein is not to be construed as merely a dictionary meaning, but encompasses concepts and meanings suitable for the purposes of the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. The scope of the present invention is shown in the claims, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100,611: 터치면 입력 센서
111~114: 독립 터치 영역
121~123: 종속 터치 영역
131~133: 터치 이동 방향, 처음 터치 이동 방향
210: 매트릭스 형태의 채널 메뉴
211: 표시창, 네비게이션 매트릭스
410: 영상 장치 본체
411,610: 리모컨
412: 디스플레이 장치
430,440: 서버 시스템
621~623: 터치면 촉감 가이드100,611: touch surface input sensor
111-114: Independent touch area
121-123: dependent touch area
131-133: direction of touch movement, direction of first touch movement
210: channel menu in matrix form
211: display window, navigation matrix
410: the video device body
411,610: remote control
412: display device
430,440: server system
621-623: Touch surface tactile guide

Claims (12)

통신 인터페이스 수단을 구비하고 원격 터치 입력 장치로부터 터치 정보를 수신 컴퓨팅 처리하여 다양한 메뉴를 검색하는 영상장치의 유저 인터페이스 방법에 있어서,
2개 이상의 메뉴 검색 모드를 설정하는 단계;
2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 단계;
처음 터치 영역을 인식하는 단계;
처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 단계;
소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 단계; 및
독립 터치 영역 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 단계;를 포함하는 것을 특징으로 하는 유저 인터페이스 방법.
A user interface method of an imaging apparatus having a communication interface means and receiving and processing touch information from a remote touch input device to retrieve various menus,
Setting at least two menu search modes;
Setting at least two independent touch regions and at least one subordinate touch region;
Recognizing the first touch area;
Selecting a menu search mode corresponding to the first touch movement direction subsequent to the first touch independent touch region or the first touch independent touch region, and moving the item of the selected menu search mode according to the touch movement information which is continued without releasing the touch;
Extending the state and method of the in-progress menu search mode when receiving a touch movement information by first touching the dependent touch area again after the touch is released while a predetermined independent touch area menu search mode is in progress; And
And executing a unique menu search mode or command set in the dependent touch area when receiving the touch movement information subsequent to the first touch of a predetermined subordinate touch area while the independent touch area menu search mode is not in progress. A user interface method characterized by the above-mentioned.
　 제 1항에 있어서, 상기 메뉴 아이템은 명령, TV 채널, 콘텐츠, 앱, URL(Uniform Resource Locator), 하이퍼 텍스트, 하이퍼 미디어, 데이터 중 적어도 하나를 나타내는 GUI 요소 또는 GUI 요소의 집합이고 상기 메뉴는 상기 메뉴 아이템의 집합인 것을 특징으로 하는 유저 인터페이스 방법The method of claim 1, wherein the menu item is a GUI element or a set of GUI elements representing at least one of a command, a TV channel, content, an app, a Uniform Resource Locator (URL), hypertext, hypermedia, and data, and the menu is User interface method characterized in that the set of menu items 제 1항에 있어서, 소정의 상기 독립 터치 영역을 다시 처음 터치 하여 진행중인 메뉴 검색 모드를 다시 선택하면 상기 메뉴 검색 모드의 초기 상태에서 다시 시작하는 것을 특징으로 하는 유저 인터페이스 방법The user interface method as claimed in claim 1, wherein when the predetermined menu touch mode is re-selected by first touching the predetermined independent touch area again, the user interface method restarts from an initial state of the menu search mode. 제 1항에 있어서, 2개 이상의 상기 독립 터치 영역은 1개 이상의 상기 종속 터치 영역에 의해 서로 이격되어, 연동하는 터치 입력 장치 센서 터치면에 대응하는 가상 터치면의 코너에 위치하게 설정되는 것을 특징으로 하는 유저 인터페이스 방법The method of claim 1, wherein the two or more independent touch regions are spaced apart from each other by one or more of the subordinate touch regions, and are set to be located at corners of a virtual touch surface corresponding to an interlocking touch input device sensor touch surface. User interface method 제 1항 내지 제 4항 중 어느 한 항에 기재된 유저 인터페이스 방법을 컴퓨터에 기능시키는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록 매체.The computer-readable recording medium which recorded the program which makes a computer function the user interface method in any one of Claims 1-4. CPU, 유선 또는 무선 통신 망을 통해 연결되는 클라이언트 영상 장치에 다운로드하여 실행하는 응용프로그램 및 2개 이상의 메뉴 검색 모드에 각각 대응하도록 구조화한 메뉴를 저장하는 메모리 수단과, 상기 응용프로그램 및 상기 구조화한 메뉴를 송신하는 통신 인터페이스 수단을 구비한 서버 시스템에 있어서 상기 응용 프로그램은,
2개 이상의 메뉴 검색 모드를 설정하는 단계;
2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 단계;
처음 터치 영역을 인식하는 단계;
처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 단계;
소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 단계; 및
독립 터치 영역 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이어지는 터치 이동 정보를 수신하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 단계;를 포함하는 유저 인터페이스 방법을 컴퓨터에 기능시키는 프로그램이고,
상기 구조화한 메뉴는 상기 응용 프로그램에 의해 설정되는 메뉴 검색 모드의 진행에 따라 순차적으로 액세스되는 구조의 메뉴인 것을 특징으로 하는 서버 시스템Memory means for storing an application program downloaded and executed on a client video device connected to a CPU, a wired or wireless communication network, and a structured menu corresponding to two or more menu search modes, and the application program and the structured menu. In the server system having a communication interface means for transmitting a;
Setting at least two menu search modes;
Setting at least two independent touch regions and at least one subordinate touch region;
Recognizing the first touch area;
Selecting a menu search mode corresponding to the first touch movement direction subsequent to the first touch independent touch region or the first touch independent touch region, and moving the item of the selected menu search mode according to the touch movement information which is continued without releasing the touch;
Extending the state and method of the in-progress menu search mode when receiving a touch movement information by first touching the dependent touch area again after the touch is released while a predetermined independent touch area menu search mode is in progress; And
Executing a unique menu search mode or command set in the dependent touch area when receiving the touch movement information subsequent to the first touch of a predetermined subordinate touch area while the independent touch area menu search mode is not in progress; Is a program that functions the interface method on a computer,
The structured menu is a server system having a structure that is sequentially accessed as the menu search mode set by the application is progressed. 원격 터치 입력 장치, CPU, 프로그램과 프로그램을 저장하는 메모리 및 통신 인터페이스 수단을 구비하고 원격 터치 입력 장치로부터 수신한 터치 정보에 따라 메뉴를 검색 실행하는 영상 장치로서,
2개 이상의 메뉴 검색 모드를 설정하는 수단;
2개 이상의 독립 터치 영역과, 1개 이상의 종속 터치 영역을 설정하는 수단;
처음 터치 영역을 인식하는 수단;
터치 위치가 소정의 거리 또는 소정의 경계를 이동하면 터치 이동 방향을 판정하는 수단;
처음 터치하는 독립 터치 영역 또는 처음 터치하는 독립 터치 영역과 이어지는 처음 터치 이동 방향에 대응하는 메뉴 검색 모드를 선택하고, 터치 해제 없이 이어지는 터치 이동 정보에 따라 상기 선택된 메뉴 검색 모드의 아이템을 이동하는 수단;
소정의 독립 터치 영역 메뉴 검색 모드가 진행 중인 상태에서 터치 해제 후 종속 터치 영역을 다시 처음 터치하여 이동하면 상기 진행 중인 메뉴 검색 모드의 상태와 방법을 연장하여 진행하는 수단; 및
독립 터치 영역에 메뉴 검색 모드가 진행되지 않는 상태에서 소정의 종속 터치 영역을 처음 터치하여 이동하면 상기 종속 터치 영역에 설정된 고유의 메뉴 검색 모드 또는 명령을 실행하는 수단;을 포함하는 영상 장치An image device having a remote touch input device, a CPU, a memory for storing a program and a program, and a communication interface means, and performing a search for a menu according to touch information received from the remote touch input device.
Means for setting at least two menu search modes;
Means for setting at least two independent touch regions and at least one subordinate touch region;
Means for recognizing a first touch area;
Means for determining a touch movement direction when the touch position moves a predetermined distance or a predetermined boundary;
Means for selecting a menu search mode corresponding to a first touch movement direction following the first touch independent touch region or a first touch independent touch region and moving the item of the selected menu search mode according to the touch movement information subsequent to the touch release;
Means for extending the state and method of the ongoing menu search mode by first touching and moving the dependent touch area again after the touch is released while the predetermined independent touch area menu search mode is in progress; And
Means for executing a unique menu search mode or command set in the subordinate touch area when the subordinate touch area is first touched and moved while the menu search mode does not progress in the independent touch area; 제 7항에 있어서, 소정의 독립 터치 영역을 다시 처음 터치 하여 진행중인 메뉴 검색 모드를 다시 선택하면 상기 메뉴 검색 모드의 초기 상태에서 다시 시작하는 것을 특징으로 하는 영상 장치The imaging apparatus of claim 7, wherein when the menu search mode is selected again by first touching a predetermined independent touch area again, the imaging apparatus restarts from an initial state of the menu search mode. 제 7항에 있어서, 2개 이상의 상기 독립 터치 영역은 1개 이상의 상기 종속 터치 영역에 의해 서로 이격되어 상기 터치 입력 장치 터치면 입력 센서 에 대응하는 가상 터치면의 코너에 위치하게 설정하는 것을 특징으로 하는 영상 장치The method of claim 7, wherein the two or more independent touch regions are spaced apart from each other by one or more of the subordinate touch regions so as to be positioned at a corner of a virtual touch surface corresponding to the touch input device touch surface input sensor. Video device 평탄한 터치면 입력 센서 를 구비하고 터치 위치 및 터치 이동 정보를 송신하는 원격 터치 입력 장치에 있어서, 상기 터치면 입력 센서 의 코너, 모서리 또는 가장자리 부위에 위치 확인을 위한 촉감 가이드를 구비한 것을 특징으로 하는 원격 터치 입력 장치A remote touch input device having a flat touch surface input sensor and transmitting touch position and touch movement information, characterized in that a touch guide for positioning is provided at a corner, corner, or edge of the touch surface input sensor. Remote touch input device 제 10항에 있어서, 상기 촉감 가이드는 질감 또는 요철을 가지는 도형 또는 입체 형상인 것을 특징으로 하는 원격 터치 입력 장치The remote touch input device of claim 10, wherein the tactile guide is a figure or a three-dimensional shape having a texture or irregularities. 제 10항에 있어서, 상기 촉감 가이드는 터치하면 진동을 일으키는 도형인 것을 특징으로 하는 원격 터치 입력 장치
The remote touch input device of claim 10, wherein the tactile guide is a figure that generates vibration when touched.
KR1020120077659A 2012-07-17 2012-07-17 Touch user interface, video device, system and remote touch controllng device KR20140010780A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120077659A KR20140010780A (en) 2012-07-17 2012-07-17 Touch user interface, video device, system and remote touch controllng device
PCT/KR2013/006405 WO2014014278A1 (en) 2012-07-17 2013-07-17 Touch user interface method and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120077659A KR20140010780A (en) 2012-07-17 2012-07-17 Touch user interface, video device, system and remote touch controllng device

Publications (1)

Publication Number Publication Date
KR20140010780A true KR20140010780A (en) 2014-01-27

Family

ID=49949044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120077659A KR20140010780A (en) 2012-07-17 2012-07-17 Touch user interface, video device, system and remote touch controllng device

Country Status (2)

Country Link
KR (1) KR20140010780A (en)
WO (1) WO2014014278A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119479A1 (en) * 2014-02-10 2015-08-13 한국과학기술원 Structure cognitive navigation and searching method for connecting user input space and structure of digital data
KR20170126621A (en) * 2016-05-10 2017-11-20 엘에스산전 주식회사 Scada system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539863A (en) 2015-01-06 2015-04-22 北京京东方视讯科技有限公司 Control system and method for displayer body key information and television

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
KR20070095119A (en) * 2006-03-20 2007-09-28 엘지전자 주식회사 Remote controllable image display divice
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
KR20100069200A (en) * 2008-12-16 2010-06-24 텔코웨어 주식회사 Remote controller based on wifi having touch screen and method for operating the same
WO2011145330A1 (en) * 2010-05-18 2011-11-24 パナソニック株式会社 Coordinate determination device, coordinate determination method and coordinate determination program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119479A1 (en) * 2014-02-10 2015-08-13 한국과학기술원 Structure cognitive navigation and searching method for connecting user input space and structure of digital data
KR20170126621A (en) * 2016-05-10 2017-11-20 엘에스산전 주식회사 Scada system

Also Published As

Publication number Publication date
WO2014014278A1 (en) 2014-01-23

Similar Documents

Publication Publication Date Title
US10999619B2 (en) Display apparatus and control method thereof
US11243615B2 (en) Systems, methods, and media for providing an enhanced remote control having multiple modes
EP2889742B1 (en) Information processing apparatus, information processing method, and program
US20130176244A1 (en) Electronic apparatus and display control method
US10175880B2 (en) Display apparatus and displaying method thereof
KR102302233B1 (en) Method and apparatus for providing user interface
US20130179796A1 (en) System and method for navigating a user interface using a touch-enabled input device
US20130127731A1 (en) Remote controller, and system and method using the same
US20190171356A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
US20110061020A1 (en) Image processing apparatus and controlling method of the same
EP3792734A1 (en) Remote controller navigation interface assembly
JP2013533541A (en) Select character
CN104685461A (en) Input device using input mode data from controlled device
JP2013141242A (en) Remote control apparatus and method of controlling display apparatus including the same
US9584849B2 (en) Touch user interface method and imaging apparatus
US20130238976A1 (en) Information processing apparatus, information processing method, and computer program
KR20170009302A (en) Display apparatus and control method thereof
KR20140010780A (en) Touch user interface, video device, system and remote touch controllng device
US20160124606A1 (en) Display apparatus, system, and controlling method thereof
US20150186525A1 (en) Method and apparatus for gesture-based searching
US11726580B2 (en) Non-standard keyboard input system
KR20120078816A (en) Providing method of virtual touch pointer and portable device supporting the same

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid