KR102198347B1 - User terminal apparatus, display apparatus, UI providing method and control method thereof - Google Patents

User terminal apparatus, display apparatus, UI providing method and control method thereof Download PDF

Info

Publication number
KR102198347B1
KR102198347B1 KR1020190065590A KR20190065590A KR102198347B1 KR 102198347 B1 KR102198347 B1 KR 102198347B1 KR 1020190065590 A KR1020190065590 A KR 1020190065590A KR 20190065590 A KR20190065590 A KR 20190065590A KR 102198347 B1 KR102198347 B1 KR 102198347B1
Authority
KR
South Korea
Prior art keywords
information
external device
display
display device
application
Prior art date
Application number
KR1020190065590A
Other languages
Korean (ko)
Other versions
KR20190065228A (en
Inventor
이도형
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190065590A priority Critical patent/KR102198347B1/en
Publication of KR20190065228A publication Critical patent/KR20190065228A/en
Application granted granted Critical
Publication of KR102198347B1 publication Critical patent/KR102198347B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 장치가 개시된다. 사용자 단말 장치는, 외부 기기와 통신하여 상기 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신하는 통신 인터페이스부, 기설정된 UI 정보 변환 포맷을 저장하는 저장부, 기설정된 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하는 정보 변환부, 사용자 인터페이스(User Interface:UI) 화면을 디스플레이하는 디스플레이부 및 UI 정보 데이터가 수신되면, UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하고, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스 화면을 디스플레이하도록 제어하는 제어부를 포함한다. A user terminal device is disclosed. The user terminal device includes: a communication interface unit for receiving UI information data for a user interface screen corresponding to at least one application displayed on the external device by communicating with an external device, a storage unit for storing a preset UI information conversion format, An information conversion unit that converts the received UI information data using a preset UI information conversion format, a display unit that displays a user interface (UI) screen, and when the UI information data is received, the UI information conversion format is used. And a control unit that converts the received UI information data and controls to display a user interface screen corresponding to the converted UI information data.

Description

사용자 단말 장치, 디스플레이 장치, 그 ＵＩ 제공 방법 및 제어 방법 { User terminal apparatus, display apparatus, UI providing method and control method thereof }User terminal apparatus, display apparatus, Ui providing method and control method thereof {User terminal apparatus, display apparatus, UI providing method and control method thereof}

본 발명은 사용자 단말 장치, 디스플레이 장치, 그 UI 제공 방법 및 제어 방법. 에 관한 것으로, 더욱 상세하게는 외부 기기 제어 기능를 제공하는 사용자 단말 장치, 디스플레이 장치, 그 UI 제공 방법 및 제어 방법에 관한 것이다.The present invention relates to a user terminal device, a display device, a UI providing method and a control method thereof. In more detail, it relates to a user terminal device, a display device, a UI providing method and a control method for providing an external device control function.

디스플레이 장치를 포함하는 각종 전자장치는 이를 원격에서 조절하는 원격제어장치에 의하여 제어될 수 있다.Various electronic devices including a display device may be controlled by a remote control device that remotely controls them.

전자장치의 기능이 날로 발달하고 증가됨에 따라 원격제어장치의 제어항목 역시 증가한다.As the functions of electronic devices develop and increase day by day, the control items of the remote control devices also increase.

특히, 방송신호를 수신하는 텔레비전의 경우 디지털 방송으로 인한 채널의 증가와 텔레비전에 연결될 수 있는 여러 가지 외부기기 등으로 인하여 텔레비전을 제어하기 위한 다양한 모드가 생성되고 있다. 이에 대응하여 원격제어장치가 포함해야 하는 버튼의 개수가 증가하고 구조 역시 복잡해진다.In particular, in the case of a television receiving a broadcast signal, various modes for controlling the television have been generated due to an increase in channels due to digital broadcasting and various external devices that can be connected to the television. In response to this, the number of buttons that the remote control device must include increases, and the structure is also complicated.

원격제어장치를 이용한 제어가 증가할수록 사용자에게 제공되는 인터페이스가 증가되는 장점이 있지만, 디스플레이 장치에서 제공하는 서비스가 증가하고 복잡해질수록 사용자가 원격제어장치를 사용함에 있어 한계가 있는 문제점이 있다. 구체적으로, 기존의 리모컨 기능의 사용성 이상의 편의성을 제공하지 못하며, 디스플레이 장치에서 제공하는 다양한 서비스에 대응하기 위해서는 복잡한 키 조작을 수행해야 한다는 문제점이 있다. There is an advantage in that the interface provided to the user increases as the control using the remote control device increases, but there is a problem in that the user uses the remote control device as the service provided by the display device increases and becomes more complex. Specifically, there is a problem in that it does not provide convenience beyond the usability of the existing remote control function, and complicated key manipulation must be performed in order to respond to various services provided by the display device.

이에 따라 사용자에게 좀더 다양하고 직관적인 사용자 인터페이스 화면을 제공할 수 있는 기능이 요구된다. Accordingly, a function capable of providing a more diverse and intuitive user interface screen to a user is required.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실행 중인 어플리케이션에 대응되는 직관적인 사용자 인터페이스 화면을 제공하는 사용자 단말 장치, 디스플레이 장치, 그 UI 제공 방법 및 제어 방법을 제공함에 있다.The present invention was devised to solve the above problems, and an object of the present invention is to provide a user terminal device, a display device, a UI providing method and a control method for providing an intuitive user interface screen corresponding to an application being executed. In the offering.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 외부 기기와 통신하여 상기 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신하는 통신 인터페이스부, 기설정된 UI 정보 변환 포맷을 저장하는 저장부, 상기 기설정된 UI 정보 변환 포맷을 이용하여 상기 수신된 UI 정보 데이터를 변환하는 정보 변환부, 사용자 인터페이스(User Interface:UI) 화면을 디스플레이하는 디스플레이부 및 상기 UI 정보 데이터가 수신되면, 상기 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하고, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스 화면을 디스플레이하도록 제어하는 제어부를 포함한다.In order to achieve the above object, a user terminal device according to an embodiment of the present invention communicates with an external device to receive UI information data for a user interface screen corresponding to at least one application displayed on the external device. A communication interface unit, a storage unit for storing a preset UI information conversion format, an information conversion unit for converting the received UI information data using the preset UI information conversion format, and a user interface (UI) screen are displayed. And a controller configured to convert the received UI information data using the UI information conversion format and display a user interface screen corresponding to the converted UI information data when the UI information data is received.

또한, 사용자 명령을 입력받는 사용자 인터페이스부를 더 포함하며, 상기 제어부는, 상기 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이하도록 제어할 수 있다.In addition, it further includes a user interface for receiving a user command, the control unit, executes a remote controller application according to the user command, searches for a connectable external device, and displays an icon corresponding to the found at least one external device. Can be controlled to do.

또한, 상기 제어부는, 상기 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신하도록 제어할 수 있다.In addition, the controller may control to receive UI information data from an external device corresponding to a selected icon among icons corresponding to the external device.

또한, 상기 제어부는, 기설정된 이벤트가 있는 경우, 상기 기설정된 UI 정보 변환 포맷을 이용하여 상기 기설정된 이벤트를 대응되는 UI 정보 데이터를 변환하여 상기 외부 기기로 전송하도록 제어할 수 있다.In addition, when there is a preset event, the controller may control the preset event to be transmitted to the external device by converting the corresponding UI information data using the preset UI information conversion format.

또한, 상기 사용자 단말 장치의 움직임을 감지하는 움직임 감지부;를 더 포함하며, 상기 제어부는, 기설정된 이벤트 발생 후, 상기 사용자 단말 장치의 움직임이 있는 경우 상기 기울기 감지부에서 감지된 움직임 정도에 따라 상기 외부 기기의 동작 상태를 제어할 수 있다.In addition, a motion detection unit for detecting the motion of the user terminal device; further comprising, the control unit, after a preset event occurs, when there is a movement of the user terminal device, according to the degree of movement detected by the tilt detection unit It is possible to control the operation state of the external device.

또한, 상기 디스플레이부는, 터치 스크린으로 구현되며, 상기 기설정된 이벤트는 사용자의 터치 이벤트가 될 수 있다.In addition, the display unit is implemented as a touch screen, and the preset event may be a user's touch event.

또한, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 외부 기기와 통신하는 통신 인터페이스부, 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이하는 디스플레이부, 상기 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하는 정보 생성부 및 상기 외부 기기의 요청에 따라 상기 UI 정보 데이터를 상기 외부 기기로 전송하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.In addition, the display device according to an embodiment of the present invention includes a communication interface unit that communicates with an external device, a display unit that displays a user interface screen corresponding to at least one application, and UI information data corresponding to the user interface screen. And a control unit for controlling the communication interface unit to transmit the UI information data to the external device according to a request from the external device and an information generator to be generated.

또한, 상기 정보 생성부는, 상기 UI 정보 데이터를 XML 문서 형태로 생성할 수 있다. In addition, the information generation unit may generate the UI information data in the form of an XML document.

또한, 상기 정보 생성부는, 상기 어플리케이션으로 구현될 수 있다.In addition, the information generator may be implemented as the application.

또한, 상기 제어부는, 상기 외부 기기로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다. In addition, when UI information data is received from the external device, the control unit may perform a control operation corresponding to the received UI information data.

한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 UI 제공 방법은, 외부 기기와 통신하여 상기 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신하는 단계, 기설정된 UI 정보 변환 포맷을 이용하여 상기 수신된 UI 정보 데이터를 변환하는 단계 및 상기 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스(User Interface:UI) 화면을 디스플레이하는 단계를 포함한다.Meanwhile, a method of providing a UI of a user terminal device according to an exemplary embodiment of the present invention includes receiving UI information data for a user interface screen corresponding to at least one application displayed on the external device by communicating with an external device, And converting the received UI information data using a preset UI information conversion format, and displaying a user interface (UI) screen corresponding to the converted UI information data.

또한, 사용자 명령을 입력받는 단계 및 상기 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이하는 단계를 더 포함할 수 있다. The method may further include receiving a user command and executing a remote controller application according to the user command, searching for a connectable external device, and displaying an icon corresponding to the found at least one external device.

또한, 상기 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신하는 단계를 더 포함할 수 있다.In addition, the step of receiving UI information data from an external device corresponding to a selected icon among icons corresponding to the external device may be further included.

또한, 기설정된 이벤트가 있는 경우, 상기 기설정된 UI 정보 변환 포맷을 이용하여 상기 기설정된 이벤트를 대응되는 UI 정보 데이터를 변환하여 상기 외부 기기로 전송하는 단계를 더 포함할 수 있다. In addition, when there is a preset event, the step of converting the preset event to corresponding UI information data using the preset UI information conversion format and transmitting the converted UI information data to the external device may further include.

또한, 기설정된 이벤트 발생 후, 상기 사용자 단말 장치의 움직임이 있는 경우 상기 감지된 움직임 정도에 따라 상기 외부 기기의 동작 상태를 제어하는 단계를 더 포함할 수 있다. In addition, when there is a movement of the user terminal device after a preset event occurs, controlling an operation state of the external device according to the sensed movement level may be further included.

또한, 디스플레이 화면은, 터치 스크린으로 구현되며, 상기 기설정된 이벤트는 사용자의 터치 이벤트가 될 수 있다.In addition, the display screen is implemented as a touch screen, and the preset event may be a user's touch event.

또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이하는 단계, 상기 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하는 단계 및. 외부 기기의 요청에 따라 상기 UI 정보 데이터를 상기 외부 기기로 전송하는 단계를 포함한다.In addition, a method for controlling a display device according to an embodiment of the present invention includes displaying a user interface screen corresponding to at least one application, generating UI information data corresponding to the user interface screen, and And transmitting the UI information data to the external device according to the request of the external device.

여기서, 상기 정보 생성 단계는, 상기 UI 정보 데이터를 XML 문서 형태로 생성할 수 있다.Here, in the information generating step, the UI information data may be generated in the form of an XML document.

또한, 상기 정보 생성 단계는, 상기 어플리케이션에서 수행될 수 있다. In addition, the step of generating the information may be performed in the application.

또한, 상기 외부 기기로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다. In addition, when UI information data is received from the external device, a control operation corresponding to the received UI information data may be performed.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면의 변환 형태를 설명하기 위한 도면이다.
도 5a 내지 10b는 본 발명의 다양한 실시 예에 따른 사용자 인터페이스 화면을 설명하기 위한 도면들이다.
도 11a 및 도 11b는 본 발명의 다양한 실시 예에 따른 UI 데이터 정보의 일 예를 나타내는 도면들이다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 UI 제공 방법을 설명하기 위한 흐름도이다. 1 is a diagram illustrating a display system according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a user terminal device according to an embodiment of the present invention.
4A and 4B are diagrams for explaining a conversion form of a user interface screen according to an embodiment of the present invention.
5A to 10B are diagrams for explaining a user interface screen according to various embodiments of the present disclosure.
11A and 11B are diagrams illustrating an example of UI data information according to various embodiments of the present disclosure.
12 is a flowchart illustrating a method of controlling a display device according to an exemplary embodiment.
13 is a flowchart illustrating a method of providing a UI in a user terminal device according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하면서 본 발명에 대하여 상세하게 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.1 is a diagram illustrating a display system according to an embodiment of the present invention.

도 1에 따르면, 본 발명에 따른 디스플레이 시스템은 디스플레이 장치(100) 및 사용자 단말 장치(200)를 포함한다. Referring to FIG. 1, a display system according to the present invention includes a display device 100 and a user terminal device 200.

본 발명에서 디스플레이 장치(100)는 다양한 형태로 구현될 수 있다. 대표적으로, 디스플레이 장치(100)는 스마트 TV(smart TV)로 구현될 수 있으며, 경우에 따라서는 데스크탑 컴퓨터, 노트북 컴퓨터, 디지털방송용 단말기, 네비게이션 등으로 구현될 수 있다. 다만, 이하에서는 설명의 편의를 위하여 디스플레이 장치(100)가 스마트 TV인 것으로 가정하여 설정하도록 한다. In the present invention, the display device 100 may be implemented in various forms. Typically, the display device 100 may be implemented as a smart TV, and in some cases, it may be implemented as a desktop computer, a notebook computer, a digital broadcasting terminal, a navigation system, or the like. However, hereinafter, for convenience of description, it is assumed that the display device 100 is a smart TV and is set.

디스플레이 장치(100)는 모바일 기기(200)와 통신하여 모바일 기기(200)로부터 다양한 제어 명령을 수신하도록 구현될 수 있다. 즉, 모바일 기기(200)는 디스플레이 장치(100)를 제어하는 리모트 콘트롤러로 기능할 수 있다. The display device 100 may be implemented to receive various control commands from the mobile device 200 by communicating with the mobile device 200. That is, the mobile device 200 may function as a remote controller controlling the display device 100.

특히, 디스플레이 장치(100)는 적어도 하나의 어플리케이션을 자체적으로 구동할 수 있으며, 구동되는 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이할 수 있다. In particular, the display apparatus 100 may independently drive at least one application and may display a user interface screen corresponding to the driven application.

사용자 단말 장치(200)는 다양한 자체 어플리케이션을 구동 및 실행할 수 있는 형태로 구현될 수 있다. 대표적으로, 사용자 단말 장치(200)는 스마트 폰(smart phone)으로 구현될 수 있으며, 경우에 따라서는, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player)와 같이 자체적으로 어플리케이션을 구동할 수 있는 기기이면 한정되지 않고 적용될 수 있다. The user terminal device 200 may be implemented in a form capable of driving and executing various self-applications. Typically, the user terminal device 200 may be implemented as a smart phone, and in some cases, such as PDA (Personal Digital Assistants), PMP (Portable Multimedia Player), which can run an application by itself. The device is not limited and can be applied.

특히, 사용자 단말 장치(200)는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 하는 어플리케이션(이하, 리모트 어플리케이션이라 함)을 구동할 수 있다. 또는 경우에 따라서는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 특정 어플리케이션이 아닌 별도의 제어 모드를 통해 제공되는 것도 가능하다. In particular, the user terminal device 200 may drive an application (hereinafter referred to as a remote application) that functions as a remote controller for controlling the external display device 100. Alternatively, in some cases, a remote controller function for controlling the external display device 100 may be provided through a separate control mode rather than a specific application.

여기서, 사용자 단말 장치(200)는 네트워크를 통해 디스플레이 장치(100)와 통신하여 다양한 데이터를 송수신할 수 있다. 구체적으로 사용자 단말 장치(200)는 WI-FI(Wireless Fiedlity), 인터넷, 랜(LAN), 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, BT(BlueTooth), HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, RF(Radio Frequency) 등 다양한 유무선 통신 기술에 따라 디스플레이 장치(100)와 통신을 수행할 수 있다. Here, the user terminal device 200 may transmit and receive various data by communicating with the display device 100 through a network. Specifically, the user terminal device 200 includes WI-FI (Wireless Fiedlity), Internet, LAN, Ethernet, TCP/IP, IPX, FireWire, IEEE 1394, iLink, CDMA, TDMA, BT (BlueTooth), HDMI. -Communication with the display device 100 may be performed according to various wired/wireless communication technologies such as High Definition Multimedia Interface (CEC), Wireless HDMI-CEC, and Radio Frequency (RF).

예를 들어, 사용자 단말 장치(200)는 디스플레이 장치(100)와 동일한 공유기에 연결되어 있으면, 사용자 명령 또는 기설정된 이벤트에 따라 디스플레이 장치(100)를 탐색하고 해당 디스플레이 장치(100)에 접속하여 해당 디스플레이 장치(100)에 대한 리모콘 기능을 수행할 있다.For example, if the user terminal device 200 is connected to the same router as the display device 100, it searches for the display device 100 according to a user command or a preset event and accesses the corresponding display device 100 A remote control function for the display device 100 may be performed.

이하에서는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성에 대해 자세히 설명하도록 한다. Hereinafter, a configuration of a display device according to an exemplary embodiment will be described in detail.

도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.2 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.

도 2에 따르면, 디스플레이 장치(100)는 디스플레이부(110), 정보 생성부(120), 통신 인터페이스부(130), 기능블럭(140) 및 제어부(150)를 포함한다. Referring to FIG. 2, the display apparatus 100 includes a display unit 110, an information generation unit 120, a communication interface unit 130, a function block 140, and a control unit 150.

도 1에서 상술한 바와 같이 디스플레이 장치(100)는 적어도 하나의 어플리케이션을 자체적으로 구동할 수 있는 형태로 구현될 수 있다. 이에 따라 디스플레이 장치(100)는 대표적으로 스마트 TV(smart TV)로 구현될 수 있으나, 상술한 바와 같이 이에 한정되는 것은 아니다. As described above in FIG. 1, the display apparatus 100 may be implemented in a form capable of driving at least one application by itself. Accordingly, the display device 100 may be typically implemented as a smart TV, but is not limited thereto as described above.

디스플레이부(110)는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이할 수 있다. 여기서, 디스플레이부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나로 구현될 수 있다. The display unit 110 may display a user interface screen corresponding to at least one application. Here, the display unit 110 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. It may be implemented in at least one of 3D displays.

정보 생성부(120)는 디스플레이부(110)에 디스플레이되는 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하는 기능을 한다. The information generating unit 120 functions to generate UI information data corresponding to a user interface screen displayed on the display unit 110.

구체적으로, 정보 생성부(120)는 UI 정보 데이터를 XML 문서 형태로 생성할수 있다. 여기서, UI 정보 데이터에는 UI를 구성하기 위한 내용 및 UI에 포함되는 컨텐츠 내용이 포함될 수 있다. 한편, XML 문서의 구체적 형태에 대해서는 후술하는 도면을 참조하여 자세히 설명하도록 한다. Specifically, the information generation unit 120 may generate UI information data in the form of an XML document. Here, the UI information data may include content for configuring the UI and content content included in the UI. On the other hand, the specific form of the XML document will be described in detail with reference to the drawings to be described later.

한편, 정보 생성부(120)의 기능은 특정 어플리케이션에서 수행되도록 구현될 수 있다. 즉, 특정 어플리케이션에서 현재 디스플레이되는 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성할 수 있다. 또는, 현재 구동 중인 어플리케이션에서 디스플레이부(110)에 디스플레이되는 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성하도록 구현되는 것도 가능하다. Meanwhile, the function of the information generator 120 may be implemented to be performed in a specific application. That is, UI information data corresponding to a user interface screen currently displayed in a specific application may be generated. Alternatively, it may be implemented to generate UI information data corresponding to the user interface screen displayed on the display unit 110 in the currently running application.

통신 인터페이스부(130)는 외부 기기(도 1, 200)와 통신하는 역할을 한다. 여기서, 외부 기기(도 1, 200)는 대표적으로 스마트 폰(smart phone)과 같은 모바일 기기로 구현될 수 있으나, 상술한 바와 같이 이에 한정되는 것은 아니다.The communication interface unit 130 serves to communicate with external devices (FIGS. 1 and 200 ). Here, the external device (FIGS. 1, 200) may be typically implemented as a mobile device such as a smart phone, but is not limited thereto as described above.

기능 블럭(140)은 디스플레이 장치(100) 본연의 기능을 수행한다. 만약, 디스플레이 장치(100)가 스마트 TV인 경우 기능 블럭(140)은 스마트 TV 기능을 수행하고, 디스플레이 장치(100)가 네비게이션인 경우 기능 블럭(140)은 경로 안내를 위한 네비게이션의 기능을 수행한다. The function block 140 performs the original function of the display device 100. If the display device 100 is a smart TV, the function block 140 performs a smart TV function, and when the display device 100 is a navigation function block 140 performs a navigation function for route guidance. .

제어부(150)는 디스플레이 장치(100)의 전반적인 기능을 제어하는 기능을 한다. The controller 150 functions to control overall functions of the display device 100.

특히, 제어부(150)는 외부 기기(도 1, 200)의 요청에 따라 정보 생성부(120)에서 생성된 UI 정보 데이터를 외부 기기(도 1, 200)로 전송하도록 통신 인터페이스부(130)를 제어하는 기능을 한다. In particular, the control unit 150 transmits the UI information data generated by the information generating unit 120 to the external device (Fig. 1, 200) in response to the request of the external device (Fig. 1, 200). It functions to control.

또한, 제어부(150)는 정보 생성부(120)에서 생성된 UI 정보 데이터를 임시적으로 저장부(미도시)에 저장한 후 외부 기기(도 1, 200)의 요청이 있는 경우 외부 기기(도 1, 200)로 전송하도록 제어할 수 있다. In addition, the control unit 150 temporarily stores the UI information data generated by the information generation unit 120 in a storage unit (not shown), and then when an external device (Fig. 1, 200) requests, the external device (Fig. 1). , 200).

또한, 제어부(150)는 외부 기기(도 1, 200)로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다. 구체적으로, 수신된 UI 정보 데이터의 유효성을 확인한 후, 해당 블럭(예를 들어, 해당 어플리케이션)으로 전송할 수 있고, 해당 블럭은 수신된 UI 정보 데이터를 분석하여 적절한 기능 동작을 수행할 수 있다. 또한, 필요시 대응되는 GUI를 생성할 수 있다. In addition, when UI information data is received from external devices (FIGS. 1 and 200 ), the controller 150 may perform a control operation corresponding to the received UI information data. Specifically, after checking the validity of the received UI information data, it may be transmitted to a corresponding block (eg, a corresponding application), and the corresponding block may analyze the received UI information data to perform an appropriate function operation. Also, if necessary, a corresponding GUI can be created.

또한, 제어부(140)는 후술하는 UI 처리부(미도시)의 동작을 제어할 수 있다. In addition, the controller 140 may control an operation of a UI processing unit (not shown) to be described later.

UI 처리부(미도시)는 다양한 UI 화면을 2D 또는 3D 형태로 처리/생성하는 기능을 한다. 여기서, UI 화면은 상술한 바와 같이 적어도 하나의 어플리케이션의 실행과 관련된 화면이 될 수 있다. 또는, 메뉴 화면, 경고 문구, 시간이나 채널번호 등의 문자나 도형 등을 표시하는 화면 등이 될 수 있다. The UI processing unit (not shown) functions to process/generate various UI screens in 2D or 3D form. Here, the UI screen may be a screen related to execution of at least one application as described above. Alternatively, it may be a menu screen, a warning phrase, a screen displaying characters or figures such as time or channel number.

또한, UI 처리부(미도시)는 제어부(150)의 제어에 따라 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.In addition, the UI processing unit (not shown) may perform tasks such as 2D/3D conversion of UI elements, transparency, color, size, shape and position adjustment, highlights, animation effects, etc. under the control of the controller 150.

저장부(미도시)는 디스플레이 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어 저장부(미도시)는 제어부(150)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(150)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다. The storage unit (not shown) is a storage medium in which various programs required to operate the display device 100 are stored, and can be implemented as a memory or a hard disk drive (HDD). For example, the storage unit (not shown) may include a ROM for storing a program for performing an operation of the control unit 150, a RAM for temporarily storing data according to the operation of the control unit 150, and the like. In addition, an EEROM (Electrically Erasable and Programmable ROM) for storing various reference data may be further provided.

그 밖에 디스플레이 장치(100)는 방송국 또는 위성으로부터 유선 또는 무선으로 수신되는 2D 또는 3D 영상 신호를 수신하여 복조하는 영상 수신부(미도시), 영상 수신부(미도시)로 수신된 2D 영상 또는 3D 영상에 대해 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI(Graphic User Interface) 부가 등의 작업을 수행하는 영상 처리부(미도시) 등을 더 포함할 수 있다. In addition, the display device 100 receives and demodulates a 2D or 3D image signal received by wire or wireless from a broadcasting station or a satellite, and the 2D image or 3D image received by the image receiving unit (not shown). On the other hand, an image processing unit (not shown) for performing a signal processing such as video decoding, format analysis, video scaling, and adding a Graphic User Interface (GUI) may be further included.

이하에서는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성에 대해 자세히 설명하도록 한다. Hereinafter, a configuration of a user terminal device according to an embodiment of the present invention will be described in detail.

도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.3 is a block diagram showing the configuration of a user terminal device according to an embodiment of the present invention.

도 3에 따르면 사용자 단말 장치(200)는 디스플레이부(210), 사용자 인터페이스부(220), 통신 인터페이스부(230), 어플리케이션 구동부(240), 저장부(250), 및 제어부(260)를 포함한다. According to FIG. 3, the user terminal device 200 includes a display unit 210, a user interface unit 220, a communication interface unit 230, an application driving unit 240, a storage unit 250, and a control unit 260. do.

사용자 단말 장치(200)는 다양한 자체 어플리케이션을 구동 및 실행할 수 있는 형태로 구현될 수 있다. 대표적으로, 사용자 단말 장치(200)는 스마트 폰(smart phone)으로 구현될 수 있으나, 상술한 바와 같이 이에 한정되지 않는다. The user terminal device 200 may be implemented in a form capable of driving and executing various self-applications. Typically, the user terminal device 200 may be implemented as a smart phone, but is not limited thereto as described above.

특히, 사용자 단말 장치(200)는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 하는 어플리케이션(이하, 리모트 어플리케이션이라 함)을 구동할 수 있다. 또는 경우에 따라서는 외부 디스플레이 장치(100)를 제어하기 위한 리모트 컨트롤러 기능을 특정 어플리케이션이 아닌 별도의 제어 모드를 통해 제공되는 것도 가능하다. In particular, the user terminal device 200 may drive an application (hereinafter referred to as a remote application) that functions as a remote controller for controlling the external display device 100. Alternatively, in some cases, a remote controller function for controlling the external display device 100 may be provided through a separate control mode rather than a specific application.

여기서, 사용자 단말 장치(200)는 네트워크를 통해 디스플레이 장치(100)와 통신하여 다양한 데이터를 송수신할 수 있다. 예를 들어, 사용자 단말 장치(200)는 WI-FI(Wireless Fiedlity)를 이용하여 디스플레이 장치(100)와 통신을 수행할 수 있으나, 상술한 바와 같이 이에 한정되지 않는다. Here, the user terminal device 200 may transmit and receive various data by communicating with the display device 100 through a network. For example, the user terminal device 200 may communicate with the display device 100 using WI-FI (Wireless Fiedlity), but is not limited thereto as described above.

디스플레이부(210)는 사용자 단말 장치(200)에서 제공하는 다양한 화면을 디스플레이하는 기능을 한다. 구체적으로 디스플레이부(210)는 사용자 단말 장치(200)에서 다양한 데이터 객체 및 다양한 사용자 인터페이스 화면을 디스플레이할 수 있다. The display unit 210 functions to display various screens provided by the user terminal device 200. Specifically, the display unit 210 may display various data objects and various user interface screens on the user terminal device 200.

특히, 디스플레이부(210)는 기설정된 이벤트 또는 사용자 명령에 따라 디스플레이 장치(100)를 제어하기 위한 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이할 수 있다. In particular, the display 210 may display a user interface screen corresponding to an application for controlling the display apparatus 100 according to a preset event or a user command.

여기서, 디스플레이부(210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나로 구현될 수 있다. Here, the display unit 210 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. It may be implemented in at least one of 3D displays.

구체적으로, 디스플레이부(210)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현되는 것도 가능하다. 이 경우, 디스플레이부(140)은 출력 장치 이외에 후술하는 사용자 인터페이스부(220)로도 사용될 수 있다. 또한, 터치스크린은 터치 입력 위치 및 면적 뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.Specifically, the display unit 210 may be implemented in the form of a touch screen forming a layer structure with a touch pad. In this case, the display unit 140 may be used as a user interface unit 220 to be described later in addition to an output device. In addition, the touch screen may be configured to detect not only a touch input location and area, but also a touch input pressure.

사용자 인터페이스부(220)는 상술한 제어 모드 및 어플리케이션 모드를 선택및 제어하기 위한 사용자 명령을 입력받은 기능을 한다. 여기서, 사용자 인터페이스부(220)는 상술한 바와 같이 디스플레이부(210)와 일체형의 터치 스크린 형태로 구현될 수 있다. The user interface unit 220 functions to receive a user command for selecting and controlling the above-described control mode and application mode. Here, the user interface unit 220 may be implemented in the form of a touch screen integral with the display unit 210 as described above.

통신 인터페이스부(230)는 디스플레이 장치(100)와 통신을 수행하는 기능을 한다. The communication interface unit 230 functions to communicate with the display device 100.

구체적으로, 통신 인터페이스부(230)는 디스플레이 장치(100)로부터 디스플레이 장치(100)의 디스플레이 화면에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터를 수신할 수 있다. 예를 들어, 통신 인터페이스부(230)는 네트워크를 통해 디스플레이 장치(100)로부터 UI 정보 데이터를 제공받을 수 있다. 여기서, 네트워크는 인터넷, 랜(LAN), WI-FI(Wireless Fiedlity), 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, BT(BlueTooth), HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, RF(Radio Frequency) 등 다양한 통신 기술로 구현될 수 있다. Specifically, the communication interface unit 230 may receive UI information data for a user interface screen corresponding to at least one application displayed on the display screen of the display device 100 from the display device 100. For example, the communication interface unit 230 may receive UI information data from the display device 100 through a network. Here, the network is Internet, LAN, WI-FI (Wireless Fiedlity), Ethernet, TCP/IP, IPX, Firewire, IEEE 1394, iLink, CDMA, TDMA, BT (BlueTooth), HDMI-CEC (High Definition). Multimedia Interface), Wireless HDMI-CEC, and RF (Radio Frequency).

또한, 통신 인터페이스부(230)는 사용자 인터페이스부(230)를 통해 입력되는 사용자 명령 또는 기설정된 이벤트에 대응되는 데이터를 사용자 단말 장치(100)로 전송할 수 있다. In addition, the communication interface unit 230 may transmit a user command input through the user interface unit 230 or data corresponding to a preset event to the user terminal device 100.

또한, 통신 인터페이스부(230)는 사용자 단말 장치(200)에서 제공하는 다양한 어플리케이션 프로그램을 다운로드받는 통로를 제공할 수 있다. In addition, the communication interface unit 230 may provide a path for downloading various application programs provided by the user terminal device 200.

다만, 사용자 단말 장치(200)가 디스플레이 장치(100)와 통신하는 통신 방식 및 어플리케이션을 다운로드받는 통신 방식은 동일하거나 상이한 통신 방식으로 구현될 수 있다. However, a communication method in which the user terminal device 200 communicates with the display device 100 and a communication method in which an application is downloaded may be implemented in the same or different communication methods.

어플리케이션 구동부(240)는 사용자 단말 장치(200) 자체에서 제공 가능한 어플리케이션을 구동 및 실행하는 기능을 한다. 여기서, 어플리케이션이란 스스로 실행가능한 응용 프로그램으로 다양한 멀티미디어 컨텐츠를 포함할 수 있다. 여기서, '멀티미디어 컨텐츠'라는 용어는 텍스트, 오디오, 정지 영상, 애니메이션, 비디오, 및 인터랙티브(Interactivity) 컨텐츠, 컨텐츠 제공자(Content Provider)로부터의 EPG(Electronic Program Guide) 컨텐츠, 사용자들로부터 수신된 전자 메시지, 현재 이벤트에 관한 정보, 제어 컨텐츠 등을 포함하지만, 이에 한정되지 않는다.The application driver 240 functions to drive and execute an application that can be provided by the user terminal device 200 itself. Here, the application is an application program that can be executed by itself and may include various multimedia contents. Here, the term'multimedia content' refers to text, audio, still image, animation, video, and interactive content, EPG (Electronic Program Guide) content from a content provider, and electronic messages received from users. , Information on the current event, control content, and the like, but are not limited thereto.

특히 어플리케이션 구동부(240)에서 구동 및 실행되는 어플리케이션에는 외부 기기를 제어하기 위한 리모트 어플리케이션이 포함될 수 있다. 예를 들어, 디스플레이 장치(100)를 제어하기 위한 사용자 인터페이스 화면을 디스플레이하는 리모트 어플리케이션이 될 수 있다. 이 경우, 사용자 인터페이스 화면은 디스플레이 장치(100)에 디스플레이되는 사용자 인터페이스 화면과 동일하거나 유사한 형태의 사용자 인터페이스 화면을 디스플레이할 수 있다. In particular, the application driven and executed by the application driver 240 may include a remote application for controlling an external device. For example, it may be a remote application that displays a user interface screen for controlling the display device 100. In this case, the user interface screen may display a user interface screen in the same or similar form as the user interface screen displayed on the display device 100.

저장부(250)는 사용자 단말 장치(200)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어 저장부(250)는 제어부(260)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(260)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다. The storage unit 250 is a storage medium in which various programs required to operate the user terminal device 200 are stored, and may be implemented as a memory or a hard disk drive (HDD). For example, the storage unit 250 may include a ROM for storing a program for performing an operation of the control unit 260, a RAM for temporarily storing data according to the operation of the control unit 260, and the like. In addition, an EEROM (Electrically Erasable and Programmable ROM) for storing various reference data may be further provided.

저장부(250)는 기설정된 UI 정보 변환 포맷 또는 다운로드한 어플리케이션 등을 저장할 수 있다.The storage unit 250 may store a preset UI information conversion format or a downloaded application.

여기서, 기설정된 UI 정보 변환 포맷이란 디스플레이 장치(100)에서 전송된 UI 정보 데이터를 사용자 단말 장치(200)의 디스플레이 포맷에 대응되도록 변환가능한 포맷을 의미할 수 있다. Here, the preset UI information conversion format may mean a format that can convert UI information data transmitted from the display device 100 to correspond to the display format of the user terminal device 200.

즉, 저장부(250)는 사용자 단말 장치(200)에서 지원 가능한 다양한 디스플레이 장치(100)로부터 전송되는 다양한 UI 정보 데이터를 사용자 단말 장치(200)의 디스플레이 포맷에 대응되도록 변환할 수 있는 변환 포맷을 저장할 수 있다. That is, the storage unit 250 converts various UI information data transmitted from the various display devices 100 supported by the user terminal device 200 to correspond to the display format of the user terminal device 200. Can be saved.

또한, 저장부(250)는 제어 대상인 디스플레이 장치(100)의 식별 정보, 각 동작 상태 정보, 각 동작 상태에 대응되는 제어 화면 정보 등을 저장할 수 있으며, 저장된 정보에 기초하여 디스플레이 장치(100)의 상태에 대응되는 제어 화면을 제공할 수 있다. In addition, the storage unit 250 may store identification information of the display device 100 to be controlled, information on each operation state, information on a control screen corresponding to each operation state, and the like, and based on the stored information, the display device 100 A control screen corresponding to the state may be provided.

정보 변환부(260)는 저장부(250)에 저장된 기설정된 UI 정보 변환 포맷을 이용하여 통신 인터페이스부(230)를 통해 수신된 UI 정보 데이터를 변환하는 기능을 한다. The information conversion unit 260 functions to convert UI information data received through the communication interface unit 230 using a preset UI information conversion format stored in the storage unit 250.

구체적으로, 정보 변환부(260)는 기설정된 UI 정보 변환 포맷을 이용하여 통신 인터페이스부(230)를 통해 수신된 UI 정보 데이터를 사용자 단말 장치(200)의 디스플레이 포맷에 부합하도록 변환하는 기능을 한다. Specifically, the information conversion unit 260 functions to convert the UI information data received through the communication interface unit 230 to conform to the display format of the user terminal device 200 by using a preset UI information conversion format. .

제어부(270)는 사용자 단말 장치(200)의 전반적인 동작을 제어하는 기능을 한다.The controller 270 functions to control the overall operation of the user terminal device 200.

특히, 제어부(270)는 디스플레이 장치(100)에서 UI 정보 데이터가 수신되면, 저장부(250)에 저장된 기설정된 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환하고, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스 화면을 디스플레이하도록 제어할 수 있다. In particular, when UI information data is received from the display device 100, the controller 270 converts the received UI information data using a preset UI information conversion format stored in the storage unit 250, and converts the converted UI information data. Control to display a user interface screen corresponding to.

또한, 제어부(270)는 사용자 인터페이스부(220)를 통해 입력되는 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이부(210)에 디스플레이하도록 제어할 수 있다. In addition, the controller 270 executes a remote controller application according to a user command input through the user interface 220, searches for connectable external devices, and displays an icon corresponding to the found at least one external device. 210) can be controlled to display.

또한, 제어부(270)는 디스플레이부(210)에 디스플레이된 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신하도록 제어할 수 있다. In addition, the controller 270 may control to receive UI information data from an external device corresponding to a selected icon among icons corresponding to the external device displayed on the display unit 210.

또한, 제어부(270)는 기설정된 이벤트(또는 사용자 명령) 있는 경우, 기설정된 UI 정보 변환 포맷을 이용하여 기설정된 이벤트(또는 사용자 명령)를 대응되는 UI 정보 데이터를 변환하여 외부 기기로 전송하도록 제어할 수 있다. In addition, when there is a preset event (or user command), the control unit 270 controls to convert the corresponding UI information data and transmit the preset event (or user command) to an external device using a preset UI information conversion format. can do.

또한, 제어부(270)는 후술하는 UI 처리부(미도시)의 동작을 제어할 수 있다. In addition, the controller 270 may control an operation of a UI processing unit (not shown) to be described later.

UI 처리부(미도시)는 다양한 UI 화면을 2D 또는 3D 형태로 처리/생성하는 기능을 한다. 여기서, UI 화면은 상술한 바와 같이 적어도 하나의 어플리케이션의 실행과 관련된 화면이 될 수 있다. 또는, 메뉴 화면, 경고 문구, 시간이나 채널번호 등의 문자나 도형 등을 표시하는 화면 등이 될 수 있다. The UI processing unit (not shown) functions to process/generate various UI screens in 2D or 3D form. Here, the UI screen may be a screen related to execution of at least one application as described above. Alternatively, it may be a menu screen, a warning phrase, a screen displaying characters or figures such as time or channel number.

또한, UI 처리부(미도시)는 제어부(150)의 제어에 따라 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.In addition, the UI processing unit (not shown) may perform tasks such as 2D/3D conversion of UI elements, transparency, color, size, shape and position adjustment, highlights, animation effects, etc. under the control of the controller 150.

또한, 도면에는 도시되지 않았지만 사용자 단말 장치(200)는 움직임 감지부(미도시)를 더 포함할 수 있다. In addition, although not shown in the drawings, the user terminal device 200 may further include a motion detector (not shown).

움직임 감지부(미도시)는 사용자 단말 장치(200)의 움직임을 감지하는 역할을 한다. 여기서, 움직임은 상하/좌우의 움직임이 될 수 있다. The motion detection unit (not shown) serves to detect the motion of the user terminal device 200. Here, the movement may be a vertical/left/right movement.

이 경우, 제어부(270)는 기설정된 이벤트 발생 후, 사용자 단말 장치(200)의 움직임이 있는 경우 기울기 감지부(미도시)에서 감지된 움직임 정도에 따라 디스플레이 장치(100)의 동작 상태를 제어할 수 있다. 여기서, 기설정된 이벤트는 예를 들어 사용자의 터치 이벤트가 될 수 있으나, 이에 한정되는 것은 아니다. In this case, the controller 270 may control the operating state of the display device 100 according to the degree of movement detected by the tilt detection unit (not shown) when there is a movement of the user terminal device 200 after a preset event occurs. I can. Here, the preset event may be, for example, a user's touch event, but is not limited thereto.

또한, 사용자 단말 장치의 움직임 상태에 따라 디스플레이 장치(100)에서의 채널 업/다운, 볼륨/업 다운 등의 동작 상태가 제어될 수 있으나 이에 한정되는 것은 아니다. In addition, operation states such as channel up/down and volume/up and down in the display apparatus 100 may be controlled according to the motion state of the user terminal device, but the present invention is not limited thereto.

한편, 제어부(270)는 리모트 어플리케이션의 실행으로 디스플레이 장치(100)에 대한 리모트 컨트롤러 동작이 수행 중인 경우 이전에 실행 중이던 다른 어플리케이션은 배경 모드로 실행되도록 제어할 수 있다. 예를 들어, 게임 어플리케이션 실행 중 리모트 어플리케이션의 실행으로 디스플레이 장치(100)에 대한 리모트 컨트롤러 동작이 수행되는 경우 게임 어플리케이션은 배경 모드로 실행되어 리모트 어플리케이션의 실행이 종료되면, 게임 어플리케이션이 바로 이전 단계로 복귀하도록 제어할 수 있다.Meanwhile, when the remote controller operation for the display apparatus 100 is being performed by the execution of the remote application, the controller 270 may control another application previously being executed to be executed in a background mode. For example, if the remote controller operation for the display device 100 is performed by the execution of the remote application while the game application is running, the game application is executed in the background mode and when the execution of the remote application is terminated, the game application goes to the previous stage. It can be controlled to return.

한편, 사용자 단말 장치(200)는 리모트 컨트롤러 기능 실행 중임을 나타내는 전용 버튼부(미도시)를 구비할 수 있다. 경우에 따라 전용 버튼부(미도시)는 리모크 컨트롤러 기능을 수행하기 위한 모드 전환 버튼부로도 기능할 수 있다. 즉, 리모트 컨트롤러 기능은 해당 리모트 어플리케이션을 통해 수행될 수도 있지만, 별도로 구비된 전용 버튼부(미도시)를 통해 수행되는 것도 가능하다. Meanwhile, the user terminal device 200 may include a dedicated button unit (not shown) indicating that the remote controller function is being executed. In some cases, the dedicated button unit (not shown) may also function as a mode switching button unit for performing a remote controller function. That is, the remote controller function may be performed through a corresponding remote application, but may also be performed through a dedicated button unit (not shown) provided separately.

여기서, 전용 버튼부(미도시)가 소프트 버튼 형태로 구현되는 경우 상술한 터치 스크린 형태의 사용자 인터페이스부(220)의 일부 영역으로 구현될 수 있다. Here, when the dedicated button unit (not shown) is implemented in the form of a soft button, it may be implemented as a partial area of the user interface unit 220 in the form of a touch screen described above.

또는, 전용 버튼부(미도시)는 하드 버튼 형태로 구현될 수도 있으며, 이 경우 상술한 터치 스크린 형태의 사용자 인터페이스부(220)와 별개의 영역에 구비되는 형태가 될 수 있다. Alternatively, the dedicated button unit (not shown) may be implemented in the form of a hard button, and in this case may be provided in a separate area from the user interface unit 220 of the touch screen type described above.

한편, 사용자 단말 장치(200)는 상술한 바와 같이 네트워크로부터 다양한 어플리케이션을 수신하는 것 이외에 외부 메모리(미도시), 내부 메모리(미도시)로부터 어플리케이션을 수신할 수 있다. 내부 메모리(미도시)는 RAM(Random Access Memory), 플래쉬 메모리, ROM(Read Only Memory)과 같은 컴퓨터 메모리 등을 포함할 수 있지만, 이에 한정되지 않는다. 마찬가지로, 외부 메모리(미도시)는 HDD(Hard Disk Drive), CD(Compact Disc) ROM, 메모리 카드, USB(Universal Serial Bus) 플래시 드라이브 등을 포함할 수 있지만, 이에 한정되지 않는다.Meanwhile, as described above, the user terminal device 200 may receive applications from an external memory (not shown) and an internal memory (not shown) in addition to receiving various applications from a network. The internal memory (not shown) may include a random access memory (RAM), a flash memory, and a computer memory such as a read only memory (ROM), but is not limited thereto. Similarly, the external memory (not shown) may include a hard disk drive (HDD), a compact disc (CD) ROM, a memory card, a universal serial bus (USB) flash drive, etc., but is not limited thereto.

도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면의 변환 형태를 설명하기 위한 도면이다.4A and 4B are diagrams for explaining a conversion form of a user interface screen according to an embodiment of the present invention.

도 4a는 디스플레이 장치(100)에 디스플레이된 사용자 인터페이스 화면을 나타내고, 도 4b는 사용자 단말 장치(200)에 디스플레이된 사용자 인터페이스 화면을 나타낸다. 4A shows a user interface screen displayed on the display device 100, and FIG. 4B shows a user interface screen displayed on the user terminal device 200.

즉, 도 4a에 도시된 바와 같은 디스플레이 장치(100)에 디스플레이된 사용자 인터페이스 화면은 상술한 데이터 포맷 변환 동작을 통해 도 4b에 도시된 바와 같은 형태로 사용자 단말 장치(200)에 디스플레이될 수 있다. That is, the user interface screen displayed on the display device 100 as shown in FIG. 4A may be displayed on the user terminal device 200 in the form as shown in FIG. 4B through the above-described data format conversion operation.

도 5a 내지 5e는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면을 설명하기 위한 도면들이다.5A to 5E are diagrams for explaining a user interface screen according to an embodiment of the present invention.

도 5a 내지 5d에 도시된 바와 같이 사용자 단말 장치(200)는 리모트 컨트롤러 기능이 실행되면, 채널/볼륨 조작 화면(도 5a), 숫자 입력 화면(도 5b), 메카키 입력 화면(도 5c), 핫키 제공 화면(도 5d) 등을 포함하는 다양한 사용자 인터페이스 화면을 제공할 수 있다. As shown in Figs. 5A to 5D, when the remote controller function is executed, the user terminal device 200 has a channel/volume operation screen (Fig. 5A), a number input screen (Fig. 5B), a mechanical key input screen (Fig. 5C), and Various user interface screens including a hotkey providing screen (FIG. 5D) may be provided.

도 5e에 따르면, 사용자 단말 장치(200)는 리모트 어플리케이션을 통해 리모트 컨트롤러 기능이 실행되면, 다양한 기능을 제공하는 메뉴에 대응되는 아이콘들을 디스플레이할 수 있다. Referring to FIG. 5E, when a remote controller function is executed through a remote application, the user terminal device 200 may display icons corresponding to a menu providing various functions.

"TV Remote" 메뉴는 디스플레이 장치(100)에 디스플레이되는 어플리케이션에 대응되는 사용자 인터페이스 화면을 제공하는 메뉴가 될 수 있다. The “TV Remote” menu may be a menu that provides a user interface screen corresponding to an application displayed on the display apparatus 100.

"Gesture Remote" 메뉴는 화면을 터치 후 기기를 기울기면 디스플레이 장치(100)의 채널/볼륨 조작이 가능한 메뉴가 될 수 있다. The “Gesture Remote” menu may be a menu in which channel/volume manipulation of the display apparatus 100 is possible when the device is tilted after touching the screen.

"Keyboard" 메뉴는 디스플레이 장치(100)에서 문자 입력이 필요한 경우 문자열 입력을 제공하는 메뉴가 될 수 있다. The "Keyboard" menu may be a menu that provides text input when text input is required in the display device 100.

"Game Remote" 메뉴는 디스플레이 장치(100)를 이용하여 인터넷 게임을 제공하는 메뉴가 될 수 있다. The "Game Remote" menu may be a menu that provides an Internet game using the display device 100.

"Manual" 메뉴는 리모트 컨트롤러 기능을 수행하기 위한 리모트 어플리케이션의 기본적인 기능 설명 및 사용법을 제공하는 메뉴가 될 수 있다. The "Manual" menu can be a menu that provides a description and usage of basic functions of a remote application to perform a remote controller function.

"Setting" 메뉴는 리모트 컨트롤러 기능을 수행하기 위한 리모트 어플리케이션 사용시 필요한 설정 기능을 제공하는 메뉴가 될 수 있다.The "Setting" menu can be a menu that provides a setting function required when using a remote application to perform a remote controller function.

도 6a 내지 도 6e는 본 발명의 일 실시 예에 따른 리모트 어플리케이션 실행 동작을 설명하기 위한 도면들이다.6A to 6E are diagrams for describing an operation of executing a remote application according to an embodiment of the present invention.

도 6a에 도시된 바와 같이 사용자 단말 장치(200)에서 리모트 어플리케이션이 실행되면, 도 6b에 도시된 바와 같이 동일 AP에 연결된 디스플레이 장치가 탐색될 수 있다. When the remote application is executed in the user terminal device 200 as shown in FIG. 6A, a display device connected to the same AP may be searched as shown in FIG. 6B.

도 6c는 선택된 디스플레이 장치에 연결된 후 최초 진입시 메인 화면이 될 수 있다. 도 6c에 도시된 바와 같이 메인 화면은 도 5e에 도시된 바와 같은 화면이 될 수 있으며, 각 메뉴에 대해서는 도 5e에서 자세히 설명하였으므로 더 이상의 설명은 생략하도록 한다. 6C may become a main screen upon initial entry after being connected to the selected display device. As illustrated in FIG. 6C, the main screen may be a screen as illustrated in FIG. 5E, and since each menu has been described in detail in FIG. 5E, further description will be omitted.

도 6d는 "TV Remote" 메뉴 선택시 제공되는 기본 제어 화면이 될 수 있다. 6D may be a basic control screen provided when a "TV Remote" menu is selected.

도 6e는 도 6d에 도시된 화면에서 어플리케이션 전용 메뉴("SMART HUB") 진입시 초기 화면이 될 수 있다. 도 6e에 도시된 바와 같이 디스플레이 장치(100)에서 제공하는 다양한 어플리케이션을 조작하기 위한 화면이 사용자 단말 장치(200) 화면에 제공될 수 있다. 6E may be an initial screen when entering an application-only menu (“SMART HUB”) on the screen shown in FIG. 6D. As shown in FIG. 6E, a screen for manipulating various applications provided by the display device 100 may be provided on the screen of the user terminal device 200.

도 7a 내지 도 7d는 본 발명의 일 실시 예에 따른 어플리케이션 전용 메뉴에서 제공하는 다양한 사용자 인터페이스 화면을 나타내는 도면들이다.7A to 7D are diagrams illustrating various user interface screens provided by an application-only menu according to an embodiment of the present invention.

도 7a에 도시된 바와 같이 어플리케이션 전용 메뉴의 메인 화면은 디스플레이 장치(100)에서 제공하는 다양한 어플리케이션을 리스트 형태로 디스플레이하는 화면이 될 수 있다. As illustrated in FIG. 7A, the main screen of the application-only menu may be a screen for displaying various applications provided by the display apparatus 100 in a list form.

도 7b는 "써치" 위젯이 실행되는 경우의 사용자 인터페이스 화면을 도시한 것이다.Fig. 7B shows a user interface screen when the "Search" widget is executed.

도 7c는 특정 어플리케이션(예를 들어 Youtube)을 실행시킨 경우의 세부 사용자 인터페이스 화면의 일 실시 예를 도시한다.7C illustrates an example of a detailed user interface screen when a specific application (for example, Youtube) is executed.

도 7c에 도시된 바와 같이 제공되는 사용자 인터페이스 화면을 통해 특정 어플리케이션에서 제공하는 복수의 컨텐츠 간 네비게이션이 용이하게 된다. As illustrated in FIG. 7C, navigation between a plurality of contents provided by a specific application is facilitated through the provided user interface screen.

도 7d는 특정 어플리케이션(예를 들어 Youtube) 실행 후 하나의 컨텐츠를 선택한 경우의 사용자 인터페이스 화면의 일 실시 예를 도시한다. 7D illustrates an embodiment of a user interface screen when one content is selected after executing a specific application (eg Youtube).

도 7d에 도시된 바와 같이 제공되는 사용자 인터페이스 화면을 컨텐츠를 조작을 용이하게 할 수 있게 된다.As shown in FIG. 7D, it is possible to easily manipulate the contents on the user interface screen provided.

한편, 도 7a 내지 도 7e에 도시된 바와 같이 어플리케이션 전용 메뉴가 제공되고 있는 경우 상술한 전용 버튼부(SMART)가 활성화될 수 있다.Meanwhile, as illustrated in FIGS. 7A to 7E, when an application-only menu is provided, the above-described exclusive button unit SMART may be activated.

도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 특정 메뉴 선택시 제공되는 사용자 인터페이스 화면을 나타내는 도면들이다.8A to 8C are diagrams illustrating a user interface screen provided when a specific menu is selected according to an embodiment of the present invention.

도 8a에 도시된 바와 같이 터치 이벤트와 같은 기설정된 이벤트가 있는 경우 사용자 단말 장치(200)는 도 5의 "Gesture Remote" 기능으로 동작할 수 있다. As illustrated in FIG. 8A, when there is a preset event such as a touch event, the user terminal device 200 may operate with the “Gesture Remote” function of FIG. 5.

이 경우 도 8b에 도시된 바와 같이 사용자 단말 장치를 상하/좌우로 기울임으로써 채널 및 볼륨 업/다운을 조정할 수 있다. In this case, channel and volume up/down can be adjusted by tilting the user terminal device up/down/left/right as shown in FIG. 8B.

도 8c는 도 8b에 따른 조정 상태에서의 사용자 인터페이스 화면을 나타낸다.8C shows a user interface screen in the adjustment state according to FIG. 8B.

도 9a 및 도 9b는 본 발명의 일 실시 예에 따른 게임 모드(도 5의 "Game Rmote" 메뉴)를 제공하는 사용자 인터페이스 화면을 나타낸다.9A and 9B illustrate a user interface screen providing a game mode (“Game Rmote” menu in FIG. 5) according to an embodiment of the present invention.

도 10a 및 도 10b는 본 발명의 일 실시 예에 따른 문자 입력 모드(도 5의 "Keyboard" 메뉴)를 제공하는 사용자 인터페이스 화면을 나타낸다.10A and 10B illustrate a user interface screen providing a text input mode (“Keyboard” menu in FIG. 5) according to an embodiment of the present invention.

도 11a 및 도 11b는 본 발명의 다양한 실시 예에 따른 UI 데이터 정보의 일 예를 나타내는 도면들이다. 11A and 11B are diagrams illustrating an example of UI data information according to various embodiments of the present disclosure.

도 11a 및 도 11b에 도시된 바와 같이 디스플레이 장치에서 생성되는 UI 데이터 정보는 XML 문서 형태가 될 수 있다. As shown in FIGS. 11A and 11B, UI data information generated in the display device may be in the form of an XML document.

도 11a의 좌측에 도시된 XML Data는 사용자 단말 장치(200)에서 우측에 도시된 바와 같은 형태의 사용자 인터페이스 화면을 생성할 수 있다. The XML data shown on the left side of FIG. 11A may generate a user interface screen in the form shown on the right in the user terminal device 200.

또한, 도 11b의 좌측에 도시된 XML Data는 사용자 단말 장치(200)에서 우측에 도시된 바와 같은 형태의 사용자 인터페이스 화면을 생성할 수 있다. In addition, the XML Data shown on the left side of FIG. 11B may generate a user interface screen in the form shown on the right in the user terminal device 200.

도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating a method of controlling a display device according to an embodiment of the present invention.

도 12에 도시된 디스플레이 장치의 제어 방법에 따르면, 먼저, 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면을 디스플레이한다(S1210).According to the method for controlling the display device illustrated in FIG. 12, first, a user interface screen corresponding to at least one application is displayed (S1210).

이어서, 상기 사용자 인터페이스 화면에 대응되는 UI 정보 데이터를 생성한다(S1220). 이 경우, 정보 생성 단계(S1220)는, 해당 어플리케이션 프로그램에서 수행될 수 있다. Subsequently, UI information data corresponding to the user interface screen is generated (S1220). In this case, the information generating step S1220 may be performed in a corresponding application program.

이 후, 외부 기기의 요청에 따라 UI 정보 데이터를 외부 기기로 전송한다(S1230). 이 경우, UI 정보 데이터를 XML 문서 형태로 생성될 수 있다. Thereafter, the UI information data is transmitted to the external device according to the request of the external device (S1230). In this case, UI information data may be generated in the form of an XML document.

또한, 외부 기기로부터 UI 정보 데이터가 수신되면, 수신된 UI 정보 데이터에 대응되는 제어 동작을 수행할 수 있다. 구체적으로, 수신된 UI 정보 데이터의 유효성을 확인한 후, 해당 블럭(예를 들어, 해당 어플리케이션)으로 전송할 수 있고, 해당 블럭은 수신된 UI 정보 데이터를 분적하여 적절한 기능 동작을 수행할 수 있다. 또한, 필요시 대응되는 GUI를 생성할 수 있다. In addition, when UI information data is received from an external device, a control operation corresponding to the received UI information data may be performed. Specifically, after checking the validity of the received UI information data, it may be transmitted to a corresponding block (eg, a corresponding application), and the corresponding block may divide the received UI information data to perform an appropriate function operation. Also, if necessary, a corresponding GUI can be created.

도 13은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 UI 제공 방법을 설명하기 위한 흐름도이다. 13 is a flowchart illustrating a method of providing a UI in a user terminal device according to an embodiment of the present invention.

도 13에 도시된 사용자 단말 장치의 UI 제공 방법에 따르면, 외부 기기와 통신하여 외부 기기에 디스플레이되는 적어도 하나의 어플리케이션에 대응되는 사용자 인터페이스 화면에 대한 UI 정보 데이터가 수신한다(S1310).According to the UI providing method of the user terminal device illustrated in FIG. 13, UI information data for a user interface screen corresponding to at least one application displayed on the external device is received by communicating with an external device (S1310).

이어서, 기설정된 UI 정보 변환 포맷을 이용하여 수신된 UI 정보 데이터를 변환한다(S1320).Subsequently, the received UI information data is converted using a preset UI information conversion format (S1320).

이 후, 변환된 UI 정보 데이터에 대응되는 사용자 인터페이스(User Interface:UI) 화면을 디스플레이한다(S1330).Thereafter, a user interface (UI) screen corresponding to the converted UI information data is displayed (S1330).

또한, 사용자 명령이 입력되면, 입력된 사용자 명령에 따라 리모트 컨트롤러 어플리케이션을 실행하고, 연결 가능한 외부 기기를 탐색하여 탐색된 적어도 하나의 외부 기기에 대응되는 아이콘을 디스플레이할 수 있다. In addition, when a user command is input, the remote controller application may be executed according to the input user command, and an icon corresponding to the searched at least one external device may be displayed by searching for a connectable external device.

또한, 외부 기기에 대응되는 아이콘 중 선택된 아이콘에 대응되는 외부 기기로부터 UI 정보 데이터를 수신할 수 있다. In addition, UI information data may be received from an external device corresponding to a selected icon among icons corresponding to the external device.

또한, 기설정된 이벤트 또는 사용자 명령이 있는 경우, 기설정된 UI 정보 변환 포맷을 이용하여 기설정된 이벤트를 대응되는 UI 정보 데이터를 변환하여 외부 기기로 전송할 수 있다. In addition, when there is a preset event or a user command, the preset event may be converted to corresponding UI information data using a preset UI information conversion format and transmitted to an external device.

기설정된 이벤트 발생 후, 사용자 단말 장치의 움직임이 있는 경우 감지된 움직임 정도에 따라 외부 기기의 동작 상태를 제어할 수 있다. When there is a movement of the user terminal device after a preset event occurs, the operation state of the external device may be controlled according to the detected movement level.

이 경우, 디스플레이 화면은, 터치 스크린으로 구현되며, 기설정된 이벤트는 사용자의 터치 이벤트일 수 있다. In this case, the display screen is implemented as a touch screen, and a preset event may be a user's touch event.

또한, 본 발명에서는, 상술한 것과 같은 상술한 디스플레이 장치의 제어 방법 및 사용자 단말 장치의 UI 제공 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독 기록매체를 포함할 수 있다. 컴퓨터 판독 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터 판독 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터 판독 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the present invention may include a computer-readable recording medium including a program for executing the method for controlling the display device and the method for providing a UI of the user terminal device described above. The computer-readable recording medium includes all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical data storage devices, and the like, and computer-readable recording media are distributed over a computer system connected by a network, and the computer can be distributed in a distributed manner. The readable code is stored and can be executed.

이상 설명한 바와 같이 본 발명에 따르면, 리모트 컨트롤러 기능을 통해 디스플레이 장치에서 동작하는 어플리케이션의 조작 및 컨텐츠 네비게이션이 용이하게 된다. As described above, according to the present invention, operation of an application operating on a display device and navigation of contents are facilitated through a remote controller function.

그리고, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

100: 디스플레이 장치 110: 디스플레이부
120: 정보 생성부 130: 통신 인터페이스부
140: 기능블럭 150: 제어부
200: 사용자 단말 장치 210: 디스플레이부
220: 사용자 인터페이스부 230: 통신 인터페이스부
240: 어플리케이션 구동부 250: 저장부
260: 정보 변환부 270: 제어부100: display device 110: display unit
120: information generation unit 130: communication interface unit
140: function block 150: control unit
200: user terminal device 210: display unit
220: user interface unit 230: communication interface unit
240: application driving unit 250: storage unit
260: information conversion unit 270: control unit

Claims (13)

디스플레이 장치에 있어서,
디스플레이;
통신 인터페이스; 및
상기 통신 인터페이스를 통해 상기 디스플레이 장치와 연결된 외부 장치로부터 상기 디스플레이 장치에서 실행 가능한 복수의 어플리케이션에 대한 정보의 요청이 수신되면, 외부 장치에 상기 디스플레이 장치에서 실행 가능한 복수의 어플리케이션에 대한 정보 중 적어도 일부를 전송하도록 상기 통신 인터페이스를 제어하여, 상기 복수의 어플리케이션에 대한 정보 중 적어도 일부를 바탕으로 상기 복수의 어플리케이션을 나타내는 아이콘들이, 상기 외부 장치에서 실행되고 상기 디스플레이 장치를 제어하기 위한 원격 어플리케이션을 통해 상기 외부 장치에 표시되도록 하고,
상기 외부 장치에 표시된 아이콘들 중에 선택된 아이콘과 대응되는 제어 명령이 상기 통신 인터페이스를 통해 상기 외부 장치로부터 수신되면, 상기 제어 명령에 따라 상기 복수의 어플리케이션 중 상기 선택된 아이콘과 대응되는 어플리케이션을 실행하고,
상기 실행된 어플리케이션에서 제공되는 UI 아이템들을 포함하는 화면을 표시하도록 상기 디스플레이를 제어하고,
상기 디스플레이 상에 표시된 UI 아이템들에 관련된 UI 정보를 획득하고,
상기 외부 장치에 상기 획득된 UI 정보에 관련된 화면이 표시되도록 상기 통신 인터페이스를 통해 상기 획득된 UI 정보를 상기 외부 장치에 전송하는 프로세서;를 포함하는 디스플레이 장치.In the display device,
display;
Communication interface; And
When a request for information on a plurality of applications executable in the display device is received from an external device connected to the display device through the communication interface, at least part of information on a plurality of applications executable in the display device is sent to the external device. By controlling the communication interface to transmit, icons representing the plurality of applications based on at least some of the information on the plurality of applications are executed in the external device and are executed in the external device through a remote application for controlling the display device. Make it visible on the device,
When a control command corresponding to a selected icon among icons displayed on the external device is received from the external device through the communication interface, an application corresponding to the selected icon among the plurality of applications is executed according to the control command,
Controlling the display to display a screen including UI items provided by the executed application,
Obtaining UI information related to UI items displayed on the display,
And a processor for transmitting the acquired UI information to the external device through the communication interface so that a screen related to the acquired UI information is displayed on the external device. 제1항에 있어서,
상기 프로세서는,
상기 UI 정보를 생성하도록 상기 어플리케이션을 제어하는 디스플레이 장치.The method of claim 1,
The processor,
A display device that controls the application to generate the UI information. 제1항에 있어서,
상기 UI 정보는,
상기 디스플레이 장치를 제어하도록 상기 외부 장치를 제어하는 상기 원격 어플리케이션에 의해 상기 외부 장치에 제공되는 화면을 획득하기 위해 사용되는 것인 디스플레이 장치.The method of claim 1,
The UI information,
A display device used to obtain a screen provided to the external device by the remote application controlling the external device to control the display device. 제3항에 있어서,
상기 프로세서는,
상기 외부 장치로부터 다른 UI 정보가 수신되면, 상기 원격 어플리케이션으로 다른 UI 정보를 제공하는 디스플레이 장치.The method of claim 3,
The processor,
When other UI information is received from the external device, the display device provides other UI information to the remote application. 제1항에 있어서,
상기 프로세서는,
상기 외부 장치로부터 다른 UI 정보가 수신되면, 상기 다른 UI 정보에 기초하여 상기 다른 UI 정보와 관련된 기능 블록을 제어하는 디스플레이 장치.The method of claim 1,
The processor,
When other UI information is received from the external device, the display device controls a function block related to the other UI information based on the other UI information. 제1항에 있어서,
상기 프로세서는,
상기 디스플레이 장치에 의해 제공되는 복수의 어플리케이션에 대한 UI 정보를 상기 외부 장치에 전송하고,
상기 복수의 어플리케이션 중에서 어플리케이션을 선택하는 제어 신호가 수신되면, 상기 선택된 어플리케이션을 실행하는 디스플레이 장치.The method of claim 1,
The processor,
Transmitting UI information for a plurality of applications provided by the display device to the external device,
When a control signal for selecting an application from among the plurality of applications is received, the display device executes the selected application. 디스플레이 장치의 제어 방법에 있어서,
상기 디스플레이 장치와 연결된 외부 장치로부터 상기 디스플레이 장치에서 실행 가능한 복수의 어플리케이션에 대한 정보의 요청이 수신되면, 외부 장치에 상기 디스플레이 장치에서 실행 가능한 복수의 어플리케이션에 대한 정보 중 적어도 일부를 전송하여, 상기 복수의 어플리케이션에 대한 정보 중 적어도 일부를 바탕으로 상기 복수의 어플리케이션을 나타내는 아이콘들이, 상기 외부 장치에서 실행되고 상기 디스플레이 장치를 제어하기 위한 원격 어플리케이션을 통해 상기 외부 장치에 표시되도록 하는 단계;
상기 외부 장치에 표시된 아이콘들 중에 선택된 아이콘과 대응되는 제어 명령이 상기 외부 장치로부터 수신되면, 상기 제어 명령에 따라 상기 복수의 어플리케이션 중 상기 선택된 아이콘과 대응되는 어플리케이션을 실행하는 단계;
상기 실행된 어플리케이션에서 제공되는 UI 아이템들을 포함하는 화면을 표시하도록 디스플레이를 제어하는 단계;
상기 디스플레이 상에 표시된 UI 아이템들에 관련된 UI 정보를 획득하는 단계; 및
상기 외부 장치에 상기 획득된 UI 정보에 관련된 화면이 표시되도록 상기 획득된 UI 정보를 상기 외부 장치에 전송하는 단계;를 포함하는 방법.In the control method of the display device,
When a request for information on a plurality of applications executable in the display device is received from an external device connected to the display device, at least part of information on a plurality of applications executable in the display device is transmitted to the external device, and the plurality of Causing icons representing the plurality of applications to be executed on the external device and displayed on the external device through a remote application for controlling the display device based on at least a part of the information on the application of
When a control command corresponding to a selected icon among icons displayed on the external device is received from the external device, executing an application corresponding to the selected icon among the plurality of applications according to the control command;
Controlling a display to display a screen including UI items provided by the executed application;
Acquiring UI information related to UI items displayed on the display; And
And transmitting the acquired UI information to the external device so that a screen related to the acquired UI information is displayed on the external device. 제7항에 있어서,
상기 UI 정보를 획득하는 단계는,
상기 어플리케이션에 의해 생성되는 UI 정보를 획득하는 것인 방법.The method of claim 7,
Acquiring the UI information,
The method of obtaining UI information generated by the application. 제7항에 있어서,
상기 UI 정보는,
상기 디스플레이 장치를 제어하도록 상기 외부 장치를 제어하는 상기 원격 어플리케이션에 의해 상기 외부 장치에 제공되는 화면을 획득하기 위해 사용되는 것인 방법.The method of claim 7,
The UI information,
A method used to obtain a screen provided to the external device by the remote application controlling the external device to control the display device. 제9항에 있어서,
상기 외부 장치로부터 다른 UI 정보가 수신되면, 상기 원격 어플리케이션으로 다른 UI 정보를 제공하는 단계;를 더 포함하는 방법.The method of claim 9,
When other UI information is received from the external device, providing other UI information to the remote application. 제7항에 있어서,
상기 외부 장치로부터 다른 UI 정보가 수신되면, 상기 다른 UI 정보에 기초하여 상기 다른 UI 정보와 관련된 기능 블록을 제어하는 단계;를 더 포함하는 방법.The method of claim 7,
If other UI information is received from the external device, controlling a function block related to the other UI information based on the other UI information. 제7항에 있어서,
상기 디스플레이 장치에 의해 제공되는 복수의 어플리케이션에 대한 UI 정보를 상기 외부 장치에 전송하는 단계; 및
상기 복수의 어플리케이션 중에서 어플리케이션을 선택하는 제어 신호가 수신되면, 상기 선택된 어플리케이션을 실행하는 단계;를 더 포함하는 방법.The method of claim 7,
Transmitting UI information for a plurality of applications provided by the display device to the external device; And
When a control signal for selecting an application from among the plurality of applications is received, executing the selected application. 디스플레이 장치의 제어 방법을 수행하기 위해 적어도 하나의 프로세서에 의해 실행되는 프로그램 코드를 저장하는 비일시적 판독 가능 기록 매체에 있어서,
상기 제어 방법은,
상기 디스플레이 장치와 연결된 외부 장치로부터 상기 디스플레이 장치에서 실행 가능한 복수의 어플리케이션에 대한 정보의 요청이 수신되면, 외부 장치에 상기 디스플레이 장치에서 실행 가능한 복수의 어플리케이션에 대한 정보 중 적어도 일부를 전송하여, 상기 복수의 어플리케이션에 대한 정보 중 적어도 일부를 바탕으로 상기 복수의 어플리케이션을 나타내는 아이콘들이, 상기 외부 장치에서 실행되고 상기 디스플레이 장치를 제어하기 위한 원격 어플리케이션을 통해 상기 외부 장치에 표시되도록 하는 단계;
상기 외부 장치에 표시된 아이콘들 중에 선택된 아이콘과 대응되는 제어 명령이 상기 외부 장치로부터 수신되면, 상기 제어 명령에 따라 상기 복수의 어플리케이션 중 상기 선택된 아이콘과 대응되는 어플리케이션을 실행하는 단계;
상기 실행된 어플리케이션에서 제공되는 UI 아이템들을 포함하는 화면을 표시하도록 디스플레이를 제어하는 단계;
상기 디스플레이 상에 표시된 UI 아이템들에 관련된 UI 정보를 획득하는 단계; 및
상기 외부 장치에 상기 획득된 UI 정보에 관련된 화면이 표시되도록 상기 획득된 UI 정보를 상기 외부 장치에 전송하는 단계;를 포함하는 컴퓨터 판독가능 기록 매체.A non-transitory readable recording medium storing program code executed by at least one processor to perform a method of controlling a display device,
The control method,
When a request for information on a plurality of applications executable in the display device is received from an external device connected to the display device, at least part of information on a plurality of applications executable in the display device is transmitted to the external device, and the plurality of Causing icons representing the plurality of applications to be executed on the external device and displayed on the external device through a remote application for controlling the display device based on at least a part of the information on the application of
When a control command corresponding to a selected icon among icons displayed on the external device is received from the external device, executing an application corresponding to the selected icon among the plurality of applications according to the control command;
Controlling a display to display a screen including UI items provided by the executed application;
Acquiring UI information related to UI items displayed on the display; And
And transmitting the acquired UI information to the external device so that a screen related to the acquired UI information is displayed on the external device.
KR1020190065590A 2019-06-03 2019-06-03 User terminal apparatus, display apparatus, UI providing method and control method thereof KR102198347B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190065590A KR102198347B1 (en) 2019-06-03 2019-06-03 User terminal apparatus, display apparatus, UI providing method and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190065590A KR102198347B1 (en) 2019-06-03 2019-06-03 User terminal apparatus, display apparatus, UI providing method and control method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180063692A Division KR102151757B1 (en) 2018-06-01 2018-06-01 User terminal apparatus, display apparatus, UI providing method and control method thereof

Publications (2)

Publication Number Publication Date
KR20190065228A KR20190065228A (en) 2019-06-11
KR102198347B1 true KR102198347B1 (en) 2021-01-04

Family

ID=66847116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190065590A KR102198347B1 (en) 2019-06-03 2019-06-03 User terminal apparatus, display apparatus, UI providing method and control method thereof

Country Status (1)

Country Link
KR (1) KR102198347B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183756A1 (en) 2003-03-17 2004-09-23 Pedro Freitas Methods and apparatus for rendering user interfaces and display information on remote client devices
US20100081375A1 (en) 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040183756A1 (en) 2003-03-17 2004-09-23 Pedro Freitas Methods and apparatus for rendering user interfaces and display information on remote client devices
US20100081375A1 (en) 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices

Also Published As

Publication number Publication date
KR20190065228A (en) 2019-06-11

Similar Documents

Publication Publication Date Title
US10856033B2 (en) User terminal apparatus, display apparatus, user interface providing method and controlling method thereof
US9621434B2 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
CN107636749B (en) Image display apparatus and method of operating the same
US20150193138A1 (en) Systems and Methods for Touch-Screen-Based Remote Interaction with a Graphical User Interface
CN112055240B (en) Display device and operation prompt display method for pairing display device with remote controller
US9420327B2 (en) User terminal apparatus and UI providing method thereof
US11960674B2 (en) Display method and display apparatus for operation prompt information of input control
EP2753092A1 (en) Display apparatus, input apparatus, and method for compensating coordinates using the same
KR102151757B1 (en) User terminal apparatus, display apparatus, UI providing method and control method thereof
CN111586463B (en) Display device
KR102198347B1 (en) User terminal apparatus, display apparatus, UI providing method and control method thereof
KR102121535B1 (en) Electronic apparatus, companion device and operating method of electronic apparatus
KR102303286B1 (en) Terminal device and operating method thereof
US11930237B2 (en) Display apparatus, method for UI display thereof and computer-readable recording medium
CN113573115B (en) Method for determining search characters and display device
KR101825668B1 (en) Image Display Device and Operating Method for the Same

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant