KR20210074877A - 디스플레이 장치 및 그 동작방법 - Google Patents

디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20210074877A
KR20210074877A KR1020190166004A KR20190166004A KR20210074877A KR 20210074877 A KR20210074877 A KR 20210074877A KR 1020190166004 A KR1020190166004 A KR 1020190166004A KR 20190166004 A KR20190166004 A KR 20190166004A KR 20210074877 A KR20210074877 A KR 20210074877A
Authority
KR
South Korea
Prior art keywords
screen
information
display
user interaction
mobile device
Prior art date
Application number
KR1020190166004A
Other languages
English (en)
Inventor
이종인
양관식
최길수
김세현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190166004A priority Critical patent/KR20210074877A/ko
Priority to PCT/KR2020/017947 priority patent/WO2021118225A1/en
Priority to US17/117,733 priority patent/US11231901B2/en
Publication of KR20210074877A publication Critical patent/KR20210074877A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개시된 실시예에 따른 디스플레이 장치는, 디스플레이, 모바일 장치와 통신하는 통신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며, 프로세서는, 모바일 장치의 화면을 디스플레이 장치가 미러링 할 때, 모바일 장치에 출력되는 제1 화면에 대응하는 제2 화면 및 인디케이터를 표시하도록 디스플레이를 제어하고, 모바일 장치로부터 제1 화면에 포함된 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신하도록 통신부를 제어하고, 인디케이터에 대한 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 오브젝트 정보 및 제어 신호에 기초하여, 인디케이터의 이동을 제어할 수 있다.

Description

디스플레이 장치 및 그 동작방법{Display device and operating method for the same}
다양한 실시예들은 디스플레이 장치 및 그 동작방법에 관한 것으로, 더욱 상세하게는, 모바일 장치에서 출력되는 화면을 미러링하여 표시하고, 제어 장치를 이용하여, 표시된 미러링 화면에 대한 인터랙션을 수행할 수 있는 디스플레이 장치 및 그 동작방법에 관한 것이다.
유무선 통신 네트워크의 발달로, 화면을 디스플레이 하여 사용자가 시각적으로 인식할 수 있는 데이터를 출력하는 전자기기들이 유무선 통신 네트워크를 통하여 상호 연결될 수 있다.
전자기기들 상호간은 유무선 통신 네트워크를 통하여 각종 데이터를 송수신할 수 있으며, 일 전자기기에서 다른 전자기기를 원격으로 제어하거나 일 전자기기를 다른 전자기기를 통하여 이용할 수 있다. 전술한 원격 제어나 전자기기들 간의 공유 이용을 위해서 미러링(mirroring) 기술이 이용되고 있다.
미러링(mirroring) 기술은 디스플레이(display)를 포함하는 기기들 간에 스크린 데이터(screen data)를 공유하고 조작할 수 있도록 하는 기술이다.
미러링 기술은 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, TV 등과 같이 디스플레이를 통하여 화면(screen)을 출력할 수 있는 모든 전자기기에 적용할 수 있도록 개발되고 있다. 그리고, 다수개의 전자기기들에 미러링 기술을 적용하여, 화면을 공유하고 상호간 원격 제어를 할 수 있도록 하는 미러링 서비스(mirroring service)를 제공할 수 있다.
다양한 실시예들은, 디스플레이 장치와 연결된 모바일 장치에서 출력되는 화면을 미러링하여 표시하고, 제어 장치를 이용하여, 표시된 미러링 화면에 대한 인터랙션을 용이하게 수행할 수 있는 디스플레이 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 모바일 장치와 통신하는 통신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며, 상기 프로세서는, 상기 모바일 장치의 화면을 디스플레이 장치가 미러링 할 때, 상기 모바일 장치에 출력되는 제1 화면에 대응하는 제2 화면 및 인디케이터를 표시하도록 상기 디스플레이를 제어하고, 상기 모바일 장치로부터 상기 제1 화면에 포함된 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신하도록 상기 통신부를 제어하고, 상기 인디케이터에 대한 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 상기 오브젝트 정보 및 상기 제어 신호에 기초하여, 상기 인디케이터의 이동을 제어할 수 있다.
일 실시예에 따른 상기 제어 신호는, 상기 인디케이터를 이동시키기 위한 사용자 인터랙션 정보를 포함할 수 있다.
일 실시예에 따른 상기 오브젝트 정보는, 상기 오브젝트들의 위치 정보, 상기 오브젝트들에 인접하는 오브젝트에 대한 정보, 타임 스탬프 정보, 상기 오브젝트들이 중요 움직임과 연관되어 있는지에 대한 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 제2 화면에 포함되는 상기 하나 이상의 오브젝트들 각각에 숫자를 할당하고, 할당된 숫자를 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 숫자를 선택하는 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 상기 인디케이터를 상기 선택된 숫자가 할당된 오브젝트로 이동시킬 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 오브젝트 정보에 기초하여, 상기 하나 이상의 오브젝트들의 내비게이션 맵 정보를 생성하고, 상기 제어 신호 및 상기 내비게이션 맵 정보에 기초하여, 상기 인디케이터의 이동을 제어할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 오브젝트 정보 및 상기 내비게이션 맵 정보에 기초하여, 상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있는 지 결정하고, 상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있는 경우, 상기 모바일 장치로, 상기 오브젝트에 대한 상기 사용자 인터랙션 정보를 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 상기 오브젝트에 대한 사용자 인터랙션 정보는, 상기 인디케이터를 상기 하나 이상의 오브젝트들 중 페이지 전환 동작을 발생시키는 오브젝트로 이동시키는 사용자 인터랙션 정보를 포함할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 모바일 장치가 상기 오브젝트에 대한 상기 사용자 인터랙션 정보에 대응하는 동작을 수행하여, 상기 모바일 장치의 화면이 상기 제1 화면이 제3 화면으로 전환되면, 상기 제3 화면을 미러링하여, 상기 제3 화면에 대응하는 제4 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따른 상기 프로세서는, 상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있지 않은 경우, 상기 오브젝트에 대한 사용자 인터랙션 정보에 대응하는 동작을 수행할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작방법은, 모바일 장치의 화면을 디스플레이 장치가 미러링 할 때, 상기 모바일 장치에 출력되는 제1 화면에 대응하는 제2 화면 및 인디케이터를 표시하는 단계, 상기 모바일 장치로부터 상기 제1 화면에 포함된 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신하는 단계, 상기 인디케이터에 대한 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하는 단계, 및 상기 오브젝트 정보 및 상기 제어 신호에 기초하여, 상기 인디케이터의 이동을 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치가 미러링 화면에 대응하는 오브젝트 정보를 수신하고, 오브젝트 정보 및 사용자 인터랙션에 기초하여, 인디케이터의 이동을 제어함으로써, 디스플레이 장치에 표시되는 미러링 화면을 시청 중인 사용자는, 제어 장치를 이용하여, 미러링 화면을 용이하게 조작할 수 있다.
일 실시예에 따른 디스플레이 장치 사용자는, 디스플레이 장치에 표시되는 미러링 화면 시청 시에, “lean-back experience”를 저해하지 않고, 계속해서 유지할 수 있다.
도 1은 일 실시예에 따른 미러링 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 오브젝트 정보의 일 예를 나타내는 도면이다.
도 4는 일 실시예에 따른 내비게이션 맵 정보를 나타내는 도면이다.
도 5는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 6a 내지 도 6c는 일 실시예에 따른 디스플레이 장치에서, 사용자 인터랙션에 기초하여, 디스플레이 장치에 표시되는 인디케이터가 이동되는 예를 나타내는 도면들이다.
도 7은 일 실시예에 따른 미러링 시스템의 동작방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 디스플레이 장치가 제2 화면을 표시하는 일 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 디스플레이 장치가 제2 화면을 표시하는 일 예를 나타내는 도면이다.
도 10a 내지 도 10d는 일 실시예에 따른 디스플레이 장치에서, 사용자 인터랙션에 기초하여, 디스플레이 장치에 표시되는 인디케이터가 이동되는 예를 나타내는 도면들이다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 모바일 장치의 화면을 미러링하는 예를 나타내는 도면이다
도 12a 내지 도 12d는 일 실시예에 따른 디스플레이 장치에서, 사용자 인터랙션에 기초하여, 디스플레이 장치에 표시되는 인디케이터가 이동되는 예를 나타내는 도면들이다.
도 13은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 14는 다른 실시예에 따른 디스플레이 장치(1400)의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서의 실시예에서 “사용자”라는 용어는 가전 기기(또는 주변 기기), 디스플레이 장치, 및 모바일 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 관리자 또는 설치 기사를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 미러링 시스템을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 미러링 시스템은 전자 장치(200)와 디스플레이 장치(100)를 포함할 수 있다. 일 실시예에 따른 전자 장치(200)와 디스플레이 장치(100)는 미러링 기능을 제공하는 장치들일 수 있다. 미러링 기능은 디스플레이를 포함하는 장치들 간에 화면(또는 화면 데이터)을 서로 공유하고 조작할 수 있도록 하는 기능을 의미한다.
미러링 기능을 제공하기 위해서는 이미지(또는 화면)를 제공하는 장치에서 이미지를 제공받는 장치로 공유하고자 하는 이미지에 대한 데이터를 전송한다. 이때, 이미지를 제공하는 장치를 소스 기기(source device) 또는 마스터 장치(master device)로 지칭할 수 있으며, 이미지를 제공받는 장치를 싱크 기기(sink device) 또는 클라이언트 장치(client device)로 지칭할 수 있다. 예를 들어, 도 1에서는 일 실시예에 따른 전자 장치(200)가 소스 기기 또는 마스터 장치이며, 일 실시예에 따른 디스플레이 장치(100)가 싱크 기기 또는 클라이언트 장치가 될 수 있다.
일 실시예에 따른 전자 장치(200)는 화면을 공유하여 디스플레이 함으로써, 미러링 기능을 제공할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 전자 장치(200)는 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, TV 등과 같이 디스플레이를 통하여 화면(screen)을 출력할 수 있는 전자 장치 등을 포함할 수 있으나, 이에 한정되지 않는다. 개시된 실시예에서, 화면 미러링에서 소스 기기로 동작하는 전자 장치(200)는 휴대 가능한 형태를 갖는 전자 장치가 될 수 있으며, 이하에서는, 소스 기기로 동작하는 전자 장치(200)를‘모바일 장치(200)’로 지칭하기로 한다.
또한, 일 실시예에 따른 디스플레이 장치(100)는 디스플레이를 포함하는 전자 장치로, TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있다. 또한, 디스플레이 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 모바일 장치(200)의 화면에 비하여 큰 크기를 가지는 화면을 제공할 수 있는 TV, 디지털 TV, 스마트 TV, 디지털 간판(digital signage), 디지털 표지판 등에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.
사용자는 모바일 장치(200)에서 출력되는 이미지를 큰 화면을 통하여 시청하기 위해서 모바일 장치(200)와 디스플레이 장치(100) 간의 미러링 기능을 이용할 수 있다. 이때, 모바일 장치(200)와 디스플레이 장치(100)는 통신 네트워크를 통하여 연결된다. 모바일 장치(200)와 디스플레이 장치(100)를 연결하는 통신 네트워크는 소정 데이터를 송수신할 수 있는 유무선의 통신 네트워크를 포함할 수 있다. 예를 들어, 통신 네트워크는 LAN(local area network), WAN(wide area network), WLAN(Wireless LAN)(Wi-Fi, Wi-Fi direct 등), Wibro(Wireless broadband), CDMA, WCDMA, 또는 근거리 통신(NFC), 블루투스 등과 같이 무선 네트워크 표준에 따라서 형성될 수 있다. 또한, 통신 네트워크는 모바일 장치(200)와 디스플레이 장치(100)를 유선 케이블을 이용하여 연결하는 HDMI 케이블, MHL 케이블 등과 같은 유선 네트워크가 될 수 있다.
미러링 기능을 이용하면, 모바일 장치(200)의 디스플레이로 출력되는 화면을 미러링하여 디스플레이 장치(100)의 디스플레이로 미러링된 화면을 출력할 수 있다. 이때, 화면은 디스플레이를 통하여 출력되는 이미지 자체 또는 디스플레이에서 이미지가 표시되는 영역을 의미할 수 있다.
또한, 미러링 기능을 제공하는데 이용되는 미러링 기술은 Daas(Display as a service), 미라캐스트(Miracast), 에어플레이(Airplay), DLNA(Digital Living Network Allicane)등의 기술이 있으며, 이에 한정되지 않는다. 개시된 실시예에서, 모바일 장치(200)에서 출력되는 화면에 대응되는 화면에 대한 정보 또는 데이터를 디스플레이 장치(100)로 전송하기 위해서, 전술한 미러링 기술들이 이용될 수 있다.
도 1을 참조하면, 일 실시예에 따른 모바일 장치(200)는 제1 화면(10)을 표시할 수 있다. 예를 들어, 제1 화면(10)은 하나 이상의 오브젝트들을 포함하는 사용자 인터페이스 화면일 수 있으나, 이에 한정되지 않는다.
미러링 기능이 실행되면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(200)에서 출력되는 제1 화면(10)을 미러링하여, 제1 화면에 대응하는 제2 화면(20)을 디스플레이에 표시할 수 있다. 제2 화면은 디스플레이의 전체 영역 또는 일부 영역에 표시될 수 있다. 또한, 제2 화면(20)은 제1 화면(10)의 전부 또는 일부를 포함할 수 있으며, 제1 화면(10)을 확대하거나 축소시킨 화면일 수 있다.
한편, 디스플레이 장치(100)는 화면이 큰 디스플레이 장치(100)의 특성 상, “lean-back experience”를 강점으로 가지게 된다. 여기서, “lean-back experience”는 커다란 소파에 눕듯이 기대어, 디스플레이 장치의 리모컨(제어 장치)만을 쥐고 대화면으로 컨텐츠를 즐기는, 단순함과 편안함이 핵심인 사용자 경험(User Experience, UX)을 의미한다.
이에 따라, 미러링 화면(제2 화면)을 시청 중인 사용자의 시청 환경을 저해하지 않고, 화면을 조작하기 위해서는, 모바일 장치(200)의 제1 화면(10)을 제어하는 대신, 디스플레이 장치(100)를 제어하는 제어 장치(50)를 이용하여, 제2 화면(20)을 조작할 수 있는 방법이 필요하다.
일 실시예에 따른 제어 장치(50)는 리모컨 또는 휴대폰과 같이 디스플레이 장치(100)를 제어하기 위한 다양한 형태의 장치로 구현될 수 있다. 또한, 제어 장치(50)는 적외선(infrared) 또는 블루투스(bluetooth)를 포함하는 근거리 통신을 이용하여 디스플레이 장치(100)를 제어할 수 있다. 제어 장치(50)는 구비된 키(버튼을 포함), 터치 패드(touchpad), 사용자의 음성의 수신이 가능한 마이크(도시되지 아니함), 및 제어 장치(50)의 모션 인식이 가능한 센서(도시되지 아니함) 중 적어도 하나를 이용하여 디스플레이 장치(100)의 기능을 제어할 수 있다.
이하, 도면들을 참조하여, 제어 장치(50)를 이용하여, 디스플레이 장치(100)에 표시되는 미러링 화면을 조작하기 위한 방법을 자세히 설명하기로 한다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 디스플레이 장치(100)와 연결된 모바일 장치(200)에서 출력되는 제1 화면을 미러링할 수 있다. 디스플레이 장치(100)는 모바일 장치(200)로부터 제1 화면에 대응하는 미러링 데이터를 수신할 수 있다.
디스플레이 장치(100)는 미러링 데이터에 기초하여, 제1 화면에 대응하는 제2 화면을 표시할 수 있으며, 제2 화면에 인디케이터를 표시할 수 있다(S210).
이때, 디스플레이 장치(200)는 제2 화면을 디스플레이의 전체 영역 또는 일부 영역에 표시할 수 있다. 또한, 제2 화면은 제1 화면의 전부 또는 일부를 포함할 수 있으며, 제1 화면을 확대하거나 축소시킨 화면일 수 있다.
디스플레이 장치(100)는 모바일 장치(200)로부터 제1 화면에 대응하는 오브젝트 정보를 수신할 수 있다(S220).
디스플레이 장치(100)는 제1 화면의 미러링 데이터를 수신할 때, 오브젝트 정보를 함께 수신하거나, 제어 장치로부터 사용자 인터랙션 정보(예를 들어, 사용자가 제어 장치의 4방향 키를 누르는 입력)가 포함된 제어 신호를 수신하는 경우, 모바일 장치(200)로 오브젝트 정보를 요청하여 수신할 수 있다. 또는, 모바일 장치(200)에서 미러링을 요청하는 사용자 입력이 수신되면, 오브젝트 정보를 디스플레이 장치(100)로 전송할 수 있다. 다만, 이에 한정되지 않는다. 오브젝트 정보에 대해서는 도 3을 참조하여 설명하기로 한다.
도 3은 일 실시예에 따른 오브젝트 정보의 일 예를 나타내는 도면이다.
일 실시예에 따른 모바일 장치(200)는 모바일 장치(200)의 디스플레이에 출력되는 제1 화면(10)에 포함되는 하나 이상의 오브젝트들에 대한 오브젝트 정보를 획득할 수 있다. 이때, 제1 화면에 포함되는 하나 이상의 오브젝트들은 사용자 인터랙션의 대상이 되는 사용자 인터페이스 오브젝트들일 수 있다. 구체적으로, 오브젝트 정보는, 오브젝트 맵(310)과 오브젝트 테이블(320)을 포함할 수 있다.
오브젝트 맵(310)은, 도 3에 도시된 바와 같이, 제1 화면(10)에 포함된 오브젝트들의 좌표 정보, 경계선 정보 등을 나타낼 수 있다. 또한, 오브젝트 테이블(320)은, 도 3에 도시된 바와 같이, 오브젝트의 식별 정보(예를 들어, 오브젝트 ID), 오브젝트의 위치 정보(예를 들어, 좌표 정보), 오브젝트의 타임 스탬프 정보, 오브젝트가 중요 움직임과 관련되어있는지 여부 등을 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 모바일 장치(200)는 모바일 장치(200)에 출력 중인 제1 화면(10)이 어플리케이션 실행 화면인 경우, 어플리케이션 실행 화면의 프레임 워크를 분석하여, 오브젝트 정보를 획득할 수 있다. 또는, 모바일 장치(200)는 제1 화면(10)이 웹 페이지 화면인 경우, 웹 페이지에 대한 렌더링 정보 등을 분석하여, 오브젝트 정보를 획득할 수 있다. 또는, 모바일 장치(200)는 출력 중인 제1 화면(10)에 대한 컴퓨터 비전 분석 등을 통해 오브젝트 정보를 획득할 수 있다. 다만, 이에 한정되지 않으며, 모바일 장치(10)는 다양한 방법을 통해 오브젝트 정보를 획득할 수 있다.
또한, 모바일 장치(200)는 오브젝트가 중요 움직임과 연관되어 있는지 여부를 결정할 수 있다. 예를 들어, 오브젝트에 대한 사용자 인터랙션으로 특정 컨텐츠가 실행되거나, 페이지가 이동 또는 전환되는 동작이 발생하는 경우, 해당 오브젝트는 중요 움직임과 연관되어 있는 것으로 결정할 수 있다. 예를 들어, 오브젝트를 선택하는 사용자 인터랙션으로, 오브젝트에 대응하는 특정 컨텐츠가 실행되는 동작이 발생하는 경우, 해당 오브젝트는, 사용자의 선택 입력에 대해 중요 움직임과 연관되어 있는 것으로 결정할 수 있다. 또는, 화면의 경계선에 위치하는 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션으로, 페이지 전환 동작이나 화면 전환 동작이 발생하는 경우, 해당 오브젝트는 중요 움직임과 연관되어 있는 것으로 결정할 수 있다.
반면에, 오브젝트들 간에 인디케이터만 이동되는 사용자 인터랙션은 컨텐츠 실행 동작이나, 페이지 전환 동작 등이 발생하지 않으므로, 중요 움직임과 연관되지 않은 것으로 결정할 수 있다.
일 실시예에 따른 오브젝트의 타임 스탬프 정보는, 오브젝트가 화면에 표시되는 시간에 대한 정보를 의미할 수 있다. 예를 들어, 동일한 화면에 표시되는 오브젝트들은 동일한 타임 스탬프 정보를 포함할 수 있다. 또한, 오브젝트의 타임 스탬프 정보는 모바일 장치(200, 소스 기기)와 디스플레이 장치(100, 싱크 기기) 사이에서, 인터랙션이 발생한 오브젝트를 식별하고, 해당 오브젝트에 대한 인터랙션이 유효한지 여부를 판단하는데 이용될 수 있다.
일 실시예에 따른 모바일 장치(200)는 획득된 오브젝트 정보를 싱크 기기인 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 모바일 장치(200)는 미러링 기능이 실행되면, 모바일 장치(200)에 출력 중인 제1 화면에 대한 오브젝트 정보를 디스플레이 장치(100)로 전송할 수 있다. 모바일 장치(200)는 제1 화면에 대한 미러링 정보(미러링 데이터)와 함께, 제1 화면에 대한 오브젝트 정보를 함께 전송할 수 있다.
또는, 모바일 장치(200)는 디스플레이 장치(100)로부터 오브젝트 정보 요청을 수신하면, 제1 화면에 대한 오브젝트 정보를 디스플레이 장치(100)로 전송할 수 있다.
다시 도 2를 참조하면, 디스플레이 장치는 미러링 화면(제2 화면)에 표시된 인디케이터를 이동시키기 위한 제어 신호를 수신할 수 있다(S230). 예를 들어, 사용자는 인디케이터를 이동시키기 위하여, 제어 장치(50)의 4방향 키 중 어느 하나의 방향 키를 누르는 입력, 제어 장치(50)의 터치 패드 상에서 특정 방향으로 드래그하는 입력, 제어 장치(50)를 특정 방향으로 기울이거나 움직이는 동작 등을 수행할 수 있으며, 제어 장치(50)는 사용자 인터랙션 정보를 포함하는 제어 신호를 디스플레이 장치(100)로 전송할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 오브젝트 정보 및 제어 장치로부터 수신한 제어 신호에 기초하여, 인디케이터의 이동을 제어할 수 있다(S240).
디스플레이 장치(100)는 모바일 장치(200)로부터 수신한 오브젝트 정보에 기초하여, 내비게이션 맵 정보를 획득할 수 있다. 내비게이션 맵 정보에 대해서는, 이하, 도 4를 참조하여 설명하기로 한다.
도 4는 일 실시예에 따른 내비게이션 맵 정보를 나타내는 도면이다.
도 4를 참조하면, 내비게이션 맵 정보(410)는 제2 화면에 포함되는 오브젝트들 각각의 4방향 입력에 대한 타겟 오브젝트를 정의하는 맵일 수 있다. 예를 들어, 내비게이션 맵 정보(410)는, 제1 오브젝트(420)를 기준으로, 인디케이터가 제1 오브젝트(420)에 위치한 상태에서 위쪽 방향 입력을 수신하면, 인디케이터를 제2 오브젝트(430)로 이동시키고, 아래쪽 방향 입력을 수신하면, 인디케이터를 제3 오브젝트(440)로 이동시키며, 왼쪽 방향 입력을 수신하면, 인디케이터를 제4 오브젝트(450)로 이동시키고, 오른쪽 방향 입력을 수신하면, 인디케이터를 제5 오브젝트(460)로 이동시키도록 정의할 수 있다. 이와 동일한 방법으로 제2 화면에 포함되는 오브젝트들 각각에 대해, 4방향 입력에 대해 인디케이터를 이동시킬 타겟 오브젝트가 정의될 수 있다. 또한, 내비게이션 맵 정보(410)는 4방향 맵 정보로 지칭될 수도 있다.
일 실시예에 따른 디스플레이 장치(200)는 제어 장치로부터 4방향 입력을 수신하면, 내비게이션 맵 정보에 기초하여, 오브젝트들 사이에서 인디케이터의 이동을 제어할 수 있다.
도 5는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(200)에서 출력되는 제1 화면을 미러링하여, 제1 화면에 대응하는 제2 화면을 표시하고, 제2 화면에 인디케이터를 표시할 수 있다(S510). 510 단계(S510)는 도 2의 210 단계(S210)에 대응하므로, 구체적인 설명은 생략하기로 한다.
일 실시예에 따른 디스플레이 장치(100)는 인디케이터에 대한 사용자 인터랙션 정보를 포함하는 제어 신호를 수신할 수 있다(S520).
예를 들어, 사용자 인터랙션 정보는, 인디케이터를 이동시키기 위한 사용자 입력, 인디케이터가 위치한 오브젝트를 선택하는 입력 등을 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이 장치(100)는 제어 신호에 포함된 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생시키는 지 여부를 결정할 수 있다(S530).
예를 들어, 현재 인디케이터가 위치한 오브젝트를 선택하는 사용자 인터랙션의 경우, 오브젝트에 대응하는 특정 컨텐츠가 실행되는 동작을 발생시키므로, 중요 움직임을 발생시키는 것 결정될 수 있다. 또한, 화면의 경계선에 위치하는 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션의 경우, 페이지 전환 동작을 발생시키므로, 중요 움직임을 발생시키는 것으로 결정될 수 있다. 반면에, 화면의 경계선에 위치하지 않는 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션의 경우, 페이지 전환 동작이 발생하지 않고, 인디케이터만 이동되므로, 중요 움직임을 발생시키지 않는 것으로 결정할 수 있다. 다만, 이에 한정되지 않는다.
디스플레이 장치(100)는 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생시키지 않는 경우, 사용자 인터랙션에 대응하는 동작을 수행할 수 있다(S540).
예를 들어, 디스플레이 장치(100)는, 현재 인디케이터가 위치한 제1 오브젝트에서, 화면의 경계선에 위치하지 않는 제2 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션의 경우, 인디케이터를 제1 오브젝트에서 제2 오브젝트로 이동시켜 표시할 수 있다.
반면에, 디스플레이 장치(100)는 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생시키는 경우, 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 수 있다(S550).
예를 들어, 현재 인디케이터가 위치한 제1 오브젝트에서, 화면의 경계선에 위치한 제3 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션의 경우, 디스플레이 장치(100)는 제3 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 수 있다. 또한, 디스플레이 장치(100)는 제3 오브젝트에 대한 타임 스탬프 정보를 모바일 장치(200)로 전송할 수 있다. 모바일 장치(200)는 수신한 사용자 인터랙션 정보에 기초하여, 제3 오브젝트로 인디케이터를 이동시키는 사용자 입력에 대응하는 페이지 전환 동작을 수행할 수 있다. 예를 들어, 모바일 장치(200)는 제3 오브젝트에 대한 타임 스탬프 정보 및 좌표 정보에 기초하여, 오브젝트 맵 또는 오브젝트 테이블을 검색하여, 제3 오브젝트를 식별할 수 있다. 또한, 모바일 장치(200)는 제3 오브젝트의 타임 스탬프 정보와 디스플레이 장치(100)로 전송 중인 미러링 화면의 타임 스탬프 정보와 비교하여, 제3 오브젝트로 인디케이터를 이동시키는 사용자 입력이 유효한 지 여부를 판단할 수 있다. 디스플레이 장치(100)로 전송 중인 미러링 화면에 제3 오브젝트가 포함되지 않는 경우, 모바일 장치(200)는 해당 인터랙션에 대응하는 동작(예를 들어, 페이지 전환 동작)을 수행하지 않을 수 있다.
반면에, 디스플레이 장치(100)로 전송 중인 미러링 화면에 제3 오브젝트가 포함되는 경우, 모바일 장치(200)는 해당 인터랙션에 대응하는 동작(예를 들어, 페이지 전환 동작)을 수행할 수 있다.
모바일 장치(200)는 전환된 페이지를 포함하는 제3 화면을 모바일 장치(200)의 디스플레이에 출력할 수 있으며, 제3 화면에 대응하는 미러링 데이터를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 미러링 데이터를 수신하고(S560), 미러링 데이터에 기초하여, 제3 화면에 대응하는 제4 화면을 출력할 수 있으며, 제4 화면에는 전환된 페이지가 표시될 수 있다(S570).
한편, 일 실시예에 따른 디스플레이 장치(100)는 520 단계(S530)에서, 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하였을 때, 디스플레이 장치(100)와 모바일 장치(200)를 연결하는 네트워크 연결 상태를 확인하고, 네트워크 연결 상태가 좋지 않은 경우, 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생하는 지 여부를 결정할 수 있다. 반면에, 네트워크 연결 상태가 좋은 경우에는, 디스플레이 장치(100)는 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생하는 지 여부와 관계없이, 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 수 있다.
또는, 일 실시예에 따른 디스플레이 장치(100)는 디스플레이 장치의 GPU 리소스 상황을 확인하고, GPU 리소스 양이 기 설정된 값 이상인 경우, 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생하는 지 여부를 결정하고, 중요 움직임을 발생시키는 지 여부에 따라, 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 지 여부를 결정할 수 있다. 반면에, GPU 리소스의 양이 기 설정된 값 미만인 경우에는, 디스플레이 장치(100)는 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생하는 지 여부와 관계없이, 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 수 있다.
도 6a 내지 도 6c는 일 실시예에 따른 디스플레이 장치에서, 사용자 인터랙션에 기초하여, 디스플레이 장치에 표시되는 인디케이터가 이동되는 예를 나타내는 도면들이다.
도 6a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(200)의 제1 화면(610)을 미러링하여, 제1 화면에 대응하는 제2 화면(620)을 표시할 수 있다.
제2 화면(620)은 하나 이상의 오브젝트들을 포함할 수 있으며, 디스플레이 장치(100)는 모바일 장치(200)로부터 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신할 수 있다. 오브젝트 정보에 대해서는 도 3에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 디스플레이 장치(100)는 제2 화면(620) 상에 인디케이터(630)를 표시할 수 있다. 디스플레이 장치(100)는 디스플레이의 전체 영역 또는 일 영역에 제2 화면(620)을 표시할 수 있다.
모바일 장치(200)와 디스플레이 장치(100)의 미러링이 시작되면, 인디케이터(630)는 기 설정된 위치에 표시될 수 있다. 예를 들어, 제2 화면의 왼쪽 상단에 첫 번째로 위치하는 오브젝트에 인디케이터가 표시되거나, 제2 화면(620)의 중앙에 인디케이터가 표시될 수 있다.
일 실시예에 따른 인디케이터(630)는 포커스 또는 포인터의 형태일 수 있으며, 도 6a 내지 도 6c에서는 인디케이터(630)가 포커스 형태인 것으로 설명하기로 한다.
예를 들어, 도 6a에 도시된 바와 같이, 인디케이터(630)가 포커스 형태인 경우, 포커스(630)가 위치한 오브젝트(포커싱 된 오브젝트)를 하이라이트 하거나, 포커스(630)가 위치한 오브젝트의 테두리를 굵게 표시할 수 있다. 다만, 이에 한정되지 않으며, 디스플레이 장치(100)는 포커스(630)가 위치한 오브젝트를 다른 오브젝트들과 구별되도록 표시할 수 있다.
한편, 디스플레이 장치(100)는 오브젝트 정보에 기초하여, 내비게이션 맵 정보를 생성할 수 있으며, 내비게이션 맵 정보에 대해서는 도 4에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
디스플레이 장치(100)는 제어 장치(50)를 통해 4방향 입력(예를 들어, 제어 장치(50)의 4방향 키 입력)을 수신하면, 내비게이션 맵 정보에 기초하여, 포커스(630)를 이동시킬 수 있다(포커싱 된 오브젝트를 변경할 수 있다).
예를 들어, 디스플레이 장치(100)는, 제어 장치(50)의 4방향 키 입력(예를 들어, 상, 하, 좌, 우 방향 키 입력)을 수신하면, 현재 포커싱된 오브젝트(포커스가 위치한 오브젝트)에서, 현재 포커싱된 오브젝트에 각각 상, 하, 좌, 우로 인접한 오브젝트로 포커스를 이동시킬 수 있다.
도 6a에 도시된 바와 같이, 디스플레이 장치(100)는, 제어 장치(50)로부터, 사용자가 제어 장치(50)의 4방향 키 중 아래 방향 키를 누르는 입력에 대응하는 제어 신호를 수신할 수 있다.
디스플레이 장치(100)는 내비게이션 맵 정보에 기초하여, 현재 포커싱된 오브젝트(제1 오브젝트(641))의 아래 방향 입력에 대응하여, 포커스(630)를 이동시킬 타겟 오브젝트(제2 오브젝트(642))를 확인하고, 오브젝트 정보에 기초하여, 제2 오브젝트(642)로의 포커스 이동이 중요 움직임을 발생시키는 지 여부를 확인할 수 있다.
제2 오브젝트(642)로의 포커스 이동이 중요 움직임을 발생시키지 않는 경우, 도 6b에 도시된 바와 같이, 디스플레이 장치(100)는 내비게이션 맵 정보에 기초하여, 포커스(630)를 오브젝트(642)로 이동시킬 수 있다.
또한, 도 6b에 도시된 바와 같이, 디스플레이 장치(100)는 포커스(630)가 제2 오브젝트(642)에 위치한 상태(제2 오브젝트가 포커스된 상태)에서, 제어 장치(50)로부터 사용자가 제어 장치(50)의 4방향 키 중 아래 방향 키를 누르는 입력에 대응하는 제어 신호를 수신할 수 있다.
디스플레이 장치(100)는 내비게이션 맵 정보에 기초하여, 현재 포커싱된 제2 오브젝트(642)의 아래 방향 입력에 대응하여, 포커스(630)를 이동시킬 타겟 오브젝트(제3 오브젝트(643))를 확인하고, 오브젝트 정보에 기초하여, 제3 오브젝트(643)로의 포커스 이동이 중요 움직임을 발생시키는 지 여부를 확인할 수 있다.
예를 들어, 제3 오브젝트(643)는 제2 화면의 아래쪽 경계선에 위치하여, 제3 오브젝트(643)의 일부만 제2 화면에 표시되고, 제3 오브젝트(643)의 나머지 부분과 제3 오브젝트(643)의 아래쪽에 위치한 오브젝트들은 제2 화면에 표시되지 않는다. 이에 따라, 제3 오브젝트(643)로 포커스(630)가 이동되면, 제3 오브젝트(643)의 아래쪽에 위치하는 오브젝트들이 표시되도록 페이지 전환 동작이 발생할 수 있다.
제3 오브젝트(643)로의 포커스 이동이 중요 움직임을 발생시키는 경우, 디스플레이 장치(100)는 모바일 장치(200)로 제어 신호에 포함된 사용자 인터랙션 정보를 전송할 수 있다.
도 6c를 참조하면, 모바일 장치(200)는 디스플레이 장치(100)로부터 수신한 사용자 인터랙션 정보에 기초하여, 사용자 인터랙션에 대응하는 동작을 수행할 수 있다. 예를 들어, 모바일 장치(200)는 제3 오브젝트(643)로 포커스를 이동시키는 사용자 입력에 대응하는 페이지 전환 동작을 수행할 수 있다.
모바일 장치(200)는 전환된 페이지를 포함하는 제3 화면(615)을 모바일 장치(200)의 디스플레이에 출력할 수 있으며, 제3 화면(615)에 대응하는 미러링 데이터를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 수신한 미러링 데이터에 기초하여, 제3 화면(615)에 대응하는 제4 화면(625)을 표시할 수 있다. 제4 화면은 전환된 페이지를 포함할 수 있으며, 디스플레이 장치(100)는 포커스(630)를 제3 오브젝트(643)에 위치시킬 수 있다.
도 7은 일 실시예에 따른 미러링 시스템의 동작방법을 나타내는 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 미러링 시스템은 모바일 장치(200), 디스플레이 장치(100) 및 제어 장치(50)를 포함하며, 디스플레이 장치(100)는 모바일 장치(200)에서 출력되는 화면을 미러링할 수 있다.
도 7을 참조하면, 일 실시예에 따른 모바일 장치(200)는 제1 화면을 표시할 수 있다(S710). 미러링이 시작되면(S720), 모바일 장치(200)는 제1 화면의 미러링 정보(데이터)를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 제1 화면의 미러링 정보에 기초하여, 제1 화면에 대응하는 제2 화면을 표시하고, 제2 화면에 인디케이터를 표시할 수 있다(S730).
일 실시예에 따른 모바일 장치(200)는 제1 화면에 대응하는 오브젝트 정보를 획득할 수 있다(S725). 모바일 장치(200)는 제1 화면에 포함되는 하나 이상의 오브젝트들에 대한 오브젝트 정보를 획득할 수 있다. 오브젝트 정보에 대해서는 도 3에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
모바일 장치(200)는 오브젝트 정보를 디스플레이 장치(100)로 전송할 수 있다.
일 실시예에 따른 제어 장치(50)는 사용자 입력(사용자 인터랙션 정보)을 수신할 수 있다. 예를 들어, 사용자 입력은 제어 장치(50)에 포함된 4 방향 키를 누르는 입력이거나, 제어 장치(50)를 임의의 방향으로 기울이거나 이동시키는 입력, 손가락 등을 이용하여, 제어 장치(50)에 포함된 터치 패드 상에서 드래그하는 입력 등을 포함할 수 있으나, 이에 한정되지 않는다.
제어 장치(50)는 사용자 입력을 수신하면, 사용자 인터랙션 정보가 포함된 제어 신호를 디스플레이 장치(100)로 전송할 수 있다(S745).
디스플레이 장치(100)는, 제어 신호에 포함된 사용자 인터랙션에 대응하는 동작이 화면 전환을 필요로 하는 동작인지 여부를 결정할 수 있다(S750).
예를 들어, 현재 인디케이터가 위치한 오브젝트를 선택하는 사용자 인터랙션의 경우, 오브젝트에 대응하는 특정 컨텐츠가 실행되고, 컨텐츠 실행 화면이 표시되어야 하므로 화면 전환을 필요로 하는 동작으로 결정할 수 있다. 또한, 화면의 경계선에 위치하는 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션의 경우, 페이지가 전환되고 전환된 페이지를 포함하는 화면이 표시되어야 하므로, 화면 전환을 필요로 하는 동작으로 결정할 수 있다. 반면에, 화면의 경계선에 위치하지 않는 오브젝트로 인디케이터를 이동시키는 사용자 인터랙션의 경우, 페이지가 전환되지 않아, 화면 전환 없이, 인디케이터만 이동시켜 표시하므로, 화면 전환을 필요로 하지 않는 동작으로 결정할 수 있다.
디스플레이 장치(100)는 사용자 인터랙션에 대응하는 동작이 화면 전환을 필요로 하지 않는 경우, 사용자 인터랙션에 대응하는 동작을 수행할 수 있다(S760). 이때, 사용자 인터랙션에 대응하는 동작이 수행되어도, 화면 전환은 발생하지 않는다.
디스플레이 장치(100)는 사용자 인터랙션에 대응하는 동작이 화면 전환을 필요로 하는 경우, 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 수 있다(S765).
모바일 장치(200)는 사용자 인터랙션에 대응하는 동작을 수행할 수 있으며, 이에 따라, 모바일 장치(200)에서 표시되는 화면은 제1 화면에서 제3 화면으로 전환될 수 있다(S780).
모바일 장치(200)는 제3 화면에 대응하는 미러링 정보(데이터)를 디스플레이 장치(100)로 전송할 수 있으며(S785), 디스플레이 장치(100)는 미러링 데이터에 기초하여, 제3 화면에 대응하는 제4 화면을 표시할 수 있다(S790).
도 8은 일 실시예에 따른 디스플레이 장치가 제2 화면을 표시하는 일 예를 나타내는 도면이다.
도 8을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(200)의 제1 화면(810)을 미러링하여, 제1 화면에 대응하는 제2 화면(820)을 표시할 수 있다. 제2 화면(820)은 하나 이상의 오브젝트들을 포함할 수 있으며, 디스플레이 장치(100)는 모바일 장치(200)로부터 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신할 수 있다. 오브젝트 정보에 대해서는 도 3에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
디스플레이 장치(100)는 도 8에 도시된 바와 같이, 오브젝트 정보에 기초하여, 제2 화면(820)에 포함되는 선택 가능한 오브젝트들에 숫자를 할당하고, 할당된 숫자를 해당 오브젝트에 표시할 수 있다.
사용자가 제어 장치(50)의 숫자 키를 이용하여, 숫자를 입력하는 경우, 디스플레이 장치(100)는 해당 숫자에 대응하는 오브젝트로 인디케이터를 이동시킬 수 있다. 예를 들어, 사용자가 제어 장치(50)의 숫자 ‘3’에 해당하는 키를 입력하면, 디스플레이 장치(100)는 숫자 ‘3’이 표시된 오브젝트(843)로 인디케이터(830)를 이동시킬 수 있다.
또는, 사용자가 제어 장치(50)의 숫자 키를 이용하여, 숫자를 입력하는 경우, 디스플레이 장치(100)는 해당 숫자에 대응하는 오브젝트에 대응하는 컨텐츠가 실행되도록 제어할 수 있다. 예를 들어, 사용자가 제어 장치의 숫자 ‘6’에 해당하는 키를 입력하면, 디스플레이 장치(100)는 숫자 ‘6’이 표시된 오브젝트(846)를 식별하고, 해당 오브젝트(846)에 대응하는 컨텐츠의 실행 요청을 모바일 장치(100)로 전송할 수 있다. 모바일 장치(100)는 숫자 ‘6’이 표시된 오브젝트에 대응하는 컨텐츠를 실행시킬 수 있으며, 컨텐츠 실행 화면을 표시할 수 있다. 디스플레이 장치(100)는 모바일 장치(200)의 컨텐츠 실행 화면을 미러링하여 디스플레이 장치(100)에 표시할 수 있다.
도 9는 일 실시예에 따른 디스플레이 장치가 제2 화면을 표시하는 일 예를 나타내는 도면이다.
도 9를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(200)의 제1 화면(910)을 미러링하여, 제1 화면에 대응하는 제2 화면(920)을 표시할 수 있다. 제2 화면은 하나 이상의 오브젝트들을 포함할 수 있으며, 디스플레이 장치(100)는 모바일 장치(200)로부터 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신할 수 있다. 오브젝트 정보에 대해서는 도 3에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
디스플레이 장치(100)는, 도 9에 도시된 바와 같이, 오브젝트 정보에 기초하여, 제2 화면(920)에 포함되는 선택 가능한 오브젝트들에 대한 오브젝트 리스트(930)를 생성하여 표시할 수 있다.
도 9를 참조하면, 일 실시예에 따른 오브젝트 리스트(930)는 2 방향으로 이동 가능한 리스트일 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 상, 하 방향으로 이동 가능한 리스트일 수 있다. 또는, 좌, 우 방향으로 이동 가능한 리스트일 수 있다.
오브젝트 리스트(930)는 제2 화면에 포함되는 선택 가능한 오브젝트들 각각에 대응하는 아이템들 및 인디케이터(예를 들어, 포커스)를 포함할 수 있다. 오브젝트 리스트(930)에 표시되는 포커스(940)는 제어 장치(50)의 방향 키, 스크롤 키, 휠 키 입력 등에 기초하여, 오브젝트 리스트(930)에 포함된 아이템들 사이에서 이동될 수 있다.
예를 들어, 제어 장치(50)의 방향 키 중 위 방향 키를 입력하거나, 스크롤 키를 위로 스크롤하는 입력, 휠 키를 왼쪽으로 회전시키는 입력을 수신하는 경우, 디스플레이 장치(100)는 포커스(940)를 오브젝트 리스트(930)에서 위 방향으로 이동시킬 수 있다. 예를 들어, 디스플레이 장치(100)는 현재 포커스가 위치한 아이템에서, 현재 포커스가 위치한 아이템의 위 방향으로 인접하는 아이템으로 포커스(940)를 이동시킬 수 있다.
반면에, 제어 장치(50)의 방향 키 중 아래 방향 키를 입력하거나, 스크롤 키를 아래로 스크롤하는 입력, 휠 키를 오른쪽으로 회전시키는 입력을 수신하는 경우, 디스플레이 장치(100)는 오브젝트 리스트(930)에서 포커스(940)를 아래 방향으로 이동시킬 수 있다. 예를 들어, 디스플레이 장치(100)는 현재 포커스가 위치한 아이템에서 현재 포커스가 위치한 아이템의 아래 방향으로 인접하는 아이템으로 포커스를 이동시킬 수 있다.
또한, 디스플레이 장치(100)는 제2 화면(920)에 포함되는 오브젝트들 중, 오브젝트 리스트(930)에서 포커스(940)가 위치한 아이템(ID#2)에 대응하는 오브젝트(ID#2)에 포커스(950)를 위치시킬 수 있다.
또는, 사용자가 제어 장치(50)를 이용하여, 포커스(940)가 위치한 아이템을 선택하는 경우, 디스플레이 장치(100)는 포커스(940)가 위치한 아이템에 대응하는 오브젝트를 식별하고, 해당 오브젝트에 대응하는 컨텐츠의 실행 요청을 모바일 장치(200)로 전송할 수 있다. 모바일 장치(200)는 해당 오브젝트에 대응하는 컨텐츠를 실행시킬 수 있으며, 컨텐츠 실행 화면을 표시할 수 있다. 디스플레이 장치(100)는 모바일 장치(200)의 컨텐츠 실행 화면을 미러링하여 디스플레이 장치(100)에 표시할 수 있다.
도 10a 내지 도 10d는 일 실시예에 따른 디스플레이 장치에서, 사용자 인터랙션에 기초하여, 디스플레이 장치에 표시되는 인디케이터가 이동되는 예를 나타내는 도면들이다.
도 10a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 모바일 장치(200)의 제1 화면(1010)을 미러링하여, 제1 화면에 대응하는 제2 화면(1020)을 표시할 수 있다. 제2 화면(1020)은 디스플레이 장치(100)의 디스플레이의 전체 영역 또는 일 영역에 표시될 수 있다. 제2 화면은 하나 이상의 오브젝트들을 포함할 수 있으며, 디스플레이 장치(100)는 모바일 장치(200)로부터 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신할 수 있다. 오브젝트 정보에 대해서는 도 3에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 디스플레이 장치(100)는 제2 화면 상에 인디케이터(1030)를 표시할 수 있다. 인디케이터(1030)는 포커스 또는 포인터(또는 커서)의 형태일 수 있으며, 도 10a 내지 10d에서는 인디케이터(1030)가 포인터(또는 커서)의 형태인 것으로 설명하기로 한다.
일 실시예에 따른 제어 장치(50)는 포인팅 장치로 동작할 수 있다. 예를 들어, 제어 장치(50)는 특정 키 입력을 수신하면, 포인팅 장치로 동작할 수 있다. 제어 장치(50)가 포인팅 장치로 동작하는 경우, 제어 장치(50)를 상, 하, 좌, 우로 움직이거나 임의의 방향으로 기울이는 사용자 입력에 기초하여, 포인터(1030)를 이동시킬 수 있다. 예를 들어, 제어 장치(50)는 제어 장치(50)의 움직임을 감지하고, 감지한 제어 장치(50)의 움직임 정보를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 제어 장치(50)의 움직임 정보에 기초하여, 포인터(1030)의 좌표를 산출하고, 산출된 좌표에 대응되도록 포인터를 화면에서 이동시킬 수 있다.
또는, 일 실시예에 따른 제어 장치(50)는 터치 패드를 포함할 수 있으며, 제어 장치(50)가 터치 패드를 포함하는 경우, 디스플레이 장치(100)는 터치 패드 상에서 움직이는 사용자의 손가락과 같은 피사체의 변위 값에 따라, 포인터(1030)를 화면에서 이동시킬 수 있다.
또는, 일 실시예에 따른 제어 장치(50)는 4방향 키를 포함할 수 있으며, 4방향 키 입력에 기초하여, 4방향 키 입력에 대응되는 방향 및 거리로, 포인터(1030)를 화면에서 이동시킬 수 있다.
디스플레이 장치(100)는 오브젝트 정보에 기초하여, 제2 화면에 포함되는 선택 가능한 오브젝트들을 결정할 수 있다. 디스플레이 장치(100)는 선택 가능한 오브젝트를 선택 가능하지 않은 오브젝트와 구별되게 표시할 수 있다. 예를 들어, 디스플레이 장치(100)는 선택 가능한 오브젝트의 테두리에 점선 표시를 하거나, 굵은 선을 표시하거나 색상을 다르게 하여 표시할 수 있으나, 이에 한정되지 않는다. 선택 가능한 오브젝트를 선택 가능하지 않은 오브젝트와 구별되게 표시함으로써, 사용자는 제2 화면에서 선택 가능한 오브젝트를 용이하게 식별할 수 있다.
디스플레이 장치(100)는 제어 장치(50)로부터 사용자 인터랙션 정보가 포함된 제어 신호를 수신하면, 오브젝트 정보에 기초하여, 포인터(1030)를 이동시킬 수 있다. 예를 들어, 사용자가 제어 장치(50)를 이용하여, 포인터(1030)를 오른쪽으로 이동시키는 입력을 하면, 디스플레이 장치(100)는 사용자 입력에 기초하여, 포인터(1030)를 오른쪽으로 이동시킬 수 있다. 포인터(1030)가 오른쪽으로 이동하면서, 선택 가능한 제2 오브젝트(1042)에 근접하는 경우, 디스플레이 장치(100)는 오브젝트 정보에 기초하여, 제2 오브젝트(1042)로의 포인터 이동이 중요 움직임을 발생시키는 지 여부를 확인할 수 있다.
제2 오브젝트(1042)로의 포인터 이동이 중요 움직임을 발생시키지 않는 경우, 디스플레이 장치(100)는, 도 10b에 도시된 바와 같이, 포인터(1030)의 이동 속도를 증가시켜 포인터(1030)가 선택 가능한 제2 오브젝트(1042) 상에 위치하도록 포인터(1030)를 이동시킬 수 있다. 예를 들어, 포인터(1030)와 선택 가능한 제2 오브젝트(1042) 사이의 거리가 임계 거리 미만이 되면, 포인터(1030)가 선택 가능한 제2 오브젝트(1042) 중앙에 자석처럼 달라붙는 느낌이 들도록 포인터(1030)를 이동시킬 수 있다.
포인터(1030)가 제2 오브젝트(1042) 중앙에 위치한 상태에서, 사용자가 제어 장치(50)를 이용하여, 계속해서 포인터(1030)를 오른쪽으로 이동시키는 입력을 하면, 도 10c에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 입력에 기초하여, 포인터(1030)를 오른쪽으로 이동시킬 수 있다. 포인터가 오른쪽으로 이동하면서, 선택 가능한 제3 오브젝트(1043)에 근접하는 경우, 디스플레이 장치(100)는 오브젝트 정보에 기초하여, 제3 오브젝트(1043)로의 포인터 이동이 중요 움직임을 발생시키는 지 여부를 확인할 수 있다.
제3 오브젝트(1043)로의 포인터 이동이 중요 움직임을 발생시키는 경우, 디스플레이 장치(100)는 모바일 장치(200)로 제어 신호에 포함되는 사용자 인터랙션 정보를 전송할 수 있다.
모바일 장치(200)는 디스플레이 장치(100)로부터 수신한 사용자 인터랙션 정보에 기초하여, 사용자 인터랙션에 대응하는 동작을 수행할 수 있다. 예를 들어, 모바일 장치(200)는 제1 화면(1010)에 현재 표시되는 페이지를 다음 페이지로 전환한 제3 화면(1015)을 출력할 수 있다.
디스플레이 장치(100)는 모바일 장치(200)에 표시되는 제3 화면(1015, 다음 페이지 포함하는 화면)을 미러링하여, 제3 화면(1015)에 대응하는 제4 화면(1025)을 출력할 수 있으며, 제4 화면(1025)은 다음 페이지를 표시하는 화면일 수 있다. 또한, 디스플레이 장치(100)는 포인터(1030)를 제3 오브젝트(1043)에 위치시킬 수 있다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 모바일 장치의 화면을 미러링하는 예를 나타내는 도면이다.
도 11a를 참조하면, 일 실시예에 따른 모바일 장치(200)는 제1 태스크를 수행할 수 있으며, 제1 태스크 수행에 대응하는 제1 윈도우(1110)를 디스플레이에 표시할 수 있다. 예를 들어, 모바일 장치는 제1 어플리케이션을 실행시켜, 제1 어플리케이션 실행 창(1110, 이하, 제1 실행 창)을 디스플레이에 표시할 수 있다. 모바일 장치(200)가 제1 태스크를 수행하는 동안, 디스플레이 장치(100)와의 미러링 요청이 입력되면, 디스플레이 장치(100)는 제1 실행 창을 미러링하여, 제1 실행 창(1110)에 대응하는 화면(1120)을 표시할 수 있다. 디스플레이에 표시된 화면(1120)에는, 도 6a에서 도시하고 설명한 바와 같이, 인디케이터(1130)가 표시될 수 있다. 도 11a에서는 인디케이터(1130)가 포커스 형태인 것을 예로 들어 설명하기로 한다.
한편, 일 실시예에 따른 모바일 장치(200)는 멀티 태스킹을 수행할 수 있다. 예를 들어, 모바일 장치(200)는 제1 태스크를 수행하는 동안, 추가적으로 제2 태스크를 수행할 수 있다. 모바일 장치(200)는 가장 최근에 시작한 태스크를 포어그라운드(foreground) 환경에서 수행하고, 이전에 수행되고 있는 태스크를 백그라운드(background) 환경에서 수행할 수 있다. 예를 들어, 모바일 장치(200)는 제1 태스크를 백그라운드환경에서 수행하고, 제2 태스크를 포어그라운드 환경에서 수행할 수 있다.
또한, 도 11b에 도시된 바와 같이, 모바일 장치(200)는 포어그라운드 환경에서 수행되는 제2 태스크에 대응하는 제2 윈도우(1140)를 디스플레이에 출력하고, 백그라운드 환경에서 수행되는 제1 태스크에 대응하는 제1 윈도우(1110)는 디스플레이 상에서 플로팅 윈도우의 형태로 출력하거나, 출력하지 않을 수 있다. 도 11b에서는 제1 태스크에 대응하는 제1 윈도우(1110)가 디스플레이에 표시되지 않는 예를 나타낸다.
이때, 디스플레이 장치(100)는 모바일 장치(200)에서 추가적으로 제2 태스크를 수행하여도, 계속해서 백그라운드환경에서 수행되는 제1 태스크에 대응하는 제1 윈도우(1110)를 미러링하여 표시할 수 있다.
또한, 디스플레이 장치(100)는 모바일 장치(200)로부터 제1 윈도우(1110)에 대응하는 오브젝트 정보를 수신할 수 있다. 디스플레이 장치(100)는 오브젝트 정보에 기초하여, 내비게이션 맵 정보를 생성할 수 있으며, 내비게이션 맵 정보에 대해서는 도 4에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 디스플레이 장치(100)는 제어 장치(50)로부터 사용자 인터랙션 정보가 포함된 제어 신호를 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 제어 장치(50)의 4방향 키 입력을 수신할 수 있으며, 4방향 키 입력을 수신하면, 내비게이션 맵 정보에 기초하여 포커스(1130)를 이동시킬 수 있다.
예를 들어, 디스플레이 장치(100)는, 4방향 키 입력(예를 들어, 상, 하, 좌, 우 방향 키 입력)을 수신하면, 현재 포커싱된 오브젝트에서, 현재 포커싱된 오브젝트에 상, 하, 좌, 우로 인접한 오브젝트로 포커스를 이동시킬 수 있다.
또한, 디스플레이 장치(100)는 내비게이션 맵 정보에 기초하여, 포커스(1130)를 이동시킬 타겟 오브젝트를 확인하고, 오브젝트 정보에 기초하여, 타겟 오브젝트로의 포커스 이동이 중요 움직임을 발생시키는지 여부를 확인할 수 있다.
디스플레이 장치(100)는 타겟 오브젝트로의 포커스 이동이 중요 움직임을 발생시키지 않는 경우, 내비게이션 맵 정보에 기초하여, 포커스(1130)를 타겟 오브젝트로 이동시킬 수 있다.
반면에, 타겟 오브젝트로의 포커스 이동이 중요 움직임을 발생시키는 경우, 모바일 장치(200)로 사용자 인터랙션 정보를 전송할 수 있다. 모바일 장치(200)는 디스플레이 장치(100)로부터 수신한 사용자 인터랙션 정보에 기초하여, 백그라운드 환경에서 수행 중인 제1 태스크에 대응하는 제1 윈도우 상에서, 사용자 인터랙션에 대응하는 동작을 수행할 수 있다.
모바일 장치(200)는 사용자 인터랙션에 대응하는 동작이 수행된 제1 윈도우(1110)의 미러링 데이터를 디스플레이 장치(100)로 전송하고, 디스플레이 장치(100)는 미러링 데이터에 기초하여, 사용자 인터랙션에 대응하는 동작이 수행된 화면을 표시할 수 있다.
일 실시예에 따른 모바일 장치(200)는 미러링 윈도우의 변경 요청을 수신하면, 디스플레이 장치(100)로 미러링하는 윈도우를 변경할 수 있다. 예를 들어, 백그라운드 환경에서 수행중인 제1 태스크에 대응하는 제1 윈도우(1110)를 미러링하는 도중에, 제2 윈도우(1140) 미러링 요청을 수신하면, 포어그라운드 환경에서 수행 중인 제2 태스크에 대응하는 제2 윈도우(1140)를 디스플레이 장치(100)로 미러링할 수 있다. 디스플레이 장치(100)는 모바일 장치(200)의 제2 윈도우(1140)를 미러링하여, 제2 윈도우(1140)에 대응하는 화면을 출력할 수 있다.
도 12a 내지 도 12d는 일 실시예에 따른 디스플레이 장치에서, 사용자 인터랙션에 기초하여, 디스플레이 장치에 표시되는 인디케이터가 이동되는 예를 나타내는 도면들이다.
도 12a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)의 디스플레이는 제1 영역(1210), 제2 영역(1220) 및 제3 영역(1230)으로 분할될 수 있다. 제1 영역(1210)에는 디스플레이 장치(100)에서 재생 중인 방송 컨텐츠 등이 출력될 수 있으나, 이에 한정되지 않는다. 또한, 제2 영역(1220)에는, 모바일 장치(200)의 제1 화면을 미러링한 제2 화면이 표시될 수 있다. 또한, 제3 영역(1230)에는 디스플레이 장치(100)에서 제공하는 메뉴 리스트(1240)가 표시될 수 있다. 메뉴 리스트(1240)는 복수의 메뉴 아이템들을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 인디케이터(1250)를 표시할 수 있다. 인디케이터(1250)는 포커스 또는 포인터(또는 커서)의 형태일 수 있으며, 도 12a 내지 도 12d에서는 인디케이터(1250)가 포커스의 형태인 것으로 설명하기로 한다.
예를 들어, 도 12a에 도시된 바와 같이, 포커스(1250)는, 제2 화면에 포함된 오브젝트들 중 어느 하나의 오브젝트에 위치할 수 있다. 포커스(1250)가 위치한 오브젝트는 하이라이트되거나, 오브젝트의 테두리가 굵게 표시될 수 있으나, 이에 한정되지 않으며, 포커스(1250)가 위치한 오브젝트는 다른 오브젝트들과 구별되도록 표시될 수 있다.
포커스(1250)가 위치한 오브젝트는, 제2 화면의 가장 좌측 상단에 위치한 오브젝트일 수 있다. 이에 따라, 오브젝트의 위쪽 방향 또는 왼쪽 방향으로 인접하는 오브젝트가 존재하지 않을 수 있다.
디스플레이 장치(100)는, 제어 장치(50)로부터 사용자가 제어 장치(50)의 4방향 키 중 위쪽 방향 또는 왼쪽 방향 키를 누르는 입력에 대응하는 제어 신호를 수신할 수 있다. 디스플레이 장치(100)는 현재 포커싱된 오브젝트(1225)의 위쪽 방향 또는 왼쪽 방향으로 인접하는 오브젝트가 존재하지 않는 경우, 도 12b에 도시된 바와 같이, 포커스(1250)가 제2 영역(1220) 전체에 위치하도록 제어할 수 있다.
또는, 디스플레이 장치(100)는 사용자가 제어 장치(50)의 백 버튼을 입력하는 신호를 수신하면, 현재 포커싱된 오브젝트의 인접하는 오브젝트 존재 유무에 상관없이, 포커스(1250)가 제2 영역(1220) 전체에 위치하도록 제어할 수 있다.
포커스(1250)가 제2 영역(1220) 전체에 위치하는 경우, 제2 영역(1220)이 하이라이트되거나, 제2 영역(1220)의 테두리가 굵게 표시될 수 있으나, 이에 한정되지 않는다.
제2 영역(1220)에 포커스(1250)가 위치하는 경우, 제어 장치(50)의 4방향 키 입력으로, 제1 영역(1210), 제2 영역(1220) 및 제3 영역(1230) 사이에서 포커스 이동이 발생할 수 있다. 예를 들어, 제2 영역(1220)에 포커스가 위치한 상태에서, 사용자가 제어 장치(50)의 4방향 키 중 좌측 방향 키를 입력하는 제어 신호를 수신하면, 디스플레이 장치(100)는 포커스(1250)를 제1 영역(1210)으로 이동시킬 수 있다. 포커스(1250)가 제1 영역(1210)으로 이동되면, 제1 영역(1210)이 하이라이트되거나 제1 영역(1210)의 테두리가 굵게 표시될 수 있다.
또한, 제2 영역(1220)에 포커스(1250)가 위치한 상태에서 사용자가 제어 장치(50)의 4 방향 키 중 아래 방향 키를 입력하는 제어 신호를 수신하면, 도 12c에 도시된 바와 같이, 디스플레이 장치(100)는 포커스(1250)를 제3 영역(1230)으로 이동시킬 수 있다. 포커스(1250)가 제3 영역(1230)으로 이동되면, 제3 영역(1230)이 하이라이트되거나 제3 영역(1230)의 테두리가 굵게 표시될 수 있다.
또한, 제3 영역(1230)에 포커스가 위치한 상태에서, 사용자가 제어 장치(50)의 확인 버튼을 입력하는 제어 신호를 수신하면, 도 12d에 도시된 바와 같이, 디스플레이 장치(100)는 제3 영역(1230)에 표시된 메뉴 리스트(1240)에 포함된 복수의 메뉴 아이템들 중 어느 하나에 포커스를 위치시킬 수 있다. 이때, 복수의 메뉴 아이템들 중 가장 첫 번째에 위치한 아이템(1245)에 포커스를 위치시킬 수 있으나, 이에 한정되지 않는다. 메뉴 리스트에 포함된 메뉴 아이템에 포커스가 위치하는 경우, 제어 장치(50)의 4 방향 키 입력으로, 메뉴 아이템들 사이에서 포커스 이동이 발생할 수 있다.
예를 들어, 제1 메뉴 아이템(1245)에 포커스(1250)가 위치한 상태에서, 사용자가 제어 장치(50)의 4방향 키 중 오른쪽 방향 키를 입력하는 제어 신호를 수신하면, 디스플레이 장치(100)는 포커스(1250)를 제1 메뉴 아이템(1245)에 오른쪽으로 인접한 제2 메뉴 아이템(1247)으로 이동시킬 수 있다. 포커스(1250)가 제2 메뉴 아이템(1247)으로 이동되면, 제2 메뉴 아이템(1247)이 하이라이트되거나 제2 메뉴 아이템(1247)의 테두리가 굵게 표시될 수 있다.
도 13은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 13을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 통신부(110), 프로세서(120), 디스플레이(130) 및 메모리(140)를 포함할 수 있다.
일 실시예에 따른 통신부(110)는, 프로세서(120)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다. 일 실시예에 따른 통신부(110)는 유무선 네트워크를 통하여, 모바일 장치(200)와 통신할 수 있다.
통신부(110)는 LAN(local area network), WAN(wide area network), 무선랜(예를 들어, 와이-파이(Wi-Fi), Wi-Fi direct 등), 블루투스, 유선 이더넷(Ethernet), IR(infrared), BLE(Bluetooth Low Energy), 초음파, 및 지그비(zigbee) 중 적어도 하나의 방식으로 데이터 또는 신호를 송수신할 수 있다. 여기서, 통신부(110)는, 전술한 LAN(local area network), WAN(wide area network), 무선랜(예를 들어, 와이-파이(Wi-Fi), Wi-Fi direct 등), 블루투스, 유선 이더넷(Ethernet), IR(infrared), BLE(Bluetooth Low Energy), 초음파, 및 지그비(zigbee)에 대응되는 통신 규격에 따라서 데이터를 송수신할 수 있는 통신 모듈을 적어도 하나 포함할 수 있다.
또한, 통신부(110)는 제어 장치(50)로부터 제어 신호를 수신할 수 있는 근거리 통신 모듈, 예를 들어, IR(infrared) 통신 모듈 등을 포함할 수 있다. 이 경우, 통신부(110)는 제어 장치로부터 제어 신호를 수신할 수 있다.
일 실시예에 따른 통신부(110)는 디스플레이 장치(100)가 모바일 장치(200)에 출력되는 화면을 미러링할 때, 모바일 장치(200)로부터 미러링 정보(미러링 데이터) 및 미러링 화면에 대응하는 오브젝트 정보를 수신할 수 있다. 또한, 통신부(110)는, 제어 장치(50)로부터 제어 신호를 수신할 수 있으며, 제어 신호에 포함된 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 수 있다.
일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)의 동작을 전반적으로 제어할 수 있다. 또한, 프로세서(120)는 소정 동작이 수행되도록 디스플레이 장치(100)에 포함되는 다른 구성들을 제어할 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(140)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다.
일 실시예에 따른 메모리(140)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(140)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(140)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 모바일 장치(200)로부터 수신한 미러링 데이터에 기초하여, 모바일 장치(200)에서 출력되는 제1 화면에 대응하는 제2 화면을 출력하도록 제어할 수 있다. 또한, 프로세서(120)는 모바일 장치(200)로부터 수신한 오브젝트 정보에 기초하여, 내비게이션 맵 정보를 획득할 수 있다. 프로세서(120)는 제어 장치(50)로부터 인디케이터를 이동시키는 사용자 입력을 수신하면, 내비게이션 맵 정보에 기초하여 인디케이터를 화면에서 이동시킬 수 있다.
또한, 프로세서(120)는 제어 장치(50)로부터 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생시키는 지 여부, 화면 전환을 필요로 하는 동작인지 여부 등에 기초하여, 제어 신호에 포함되는 사용자 인터랙션 정보를 모바일 장치(200)로 전송할 지 여부를 결정할 수 있다. 프로세서(120)는 사용자 인터랙션에 대응하는 동작이 중요 움직임을 발생시키지 않고, 화면 전환을 필요로 하는 동작이 아닌 경우, 사용자 인터랙션에 대응하는 동작을 수행할 수 있다. 예를 들어, 프로세서(120)에 포함된 그래픽 처리부(GPU)는 사용자 인터랙션에 기초하여, 화면의 레이아웃에 따라 인디케이터가 표시될 좌표 값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이(130)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(130)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(130)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(130)는 모바일 장치(200)에서 표시되는 제1 화면에 대응하는 제2 화면을 표시할 수 있다. 또한, 제2 화면 상에 인디케이터를 표시할 수 있다. 디스플레이(130)는 사용자 인터랙션에 기초하여, 인디케이터를 이동시켜 표시할 수 있다.
도 14는 다른 실시예에 따른 디스플레이 장치(1400)의 구성을 나타내는 블록도이다.
도 14의 디스플레이 장치(1400)는 도 1 내지 도 13을 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.
도 14를 참조하면, 일 실시예에 따른 디스플레이 장치(1400)는, 튜너부(1440), 프로세서(1410), 디스플레이부(1420), 통신부(1450), 감지부(1430), 입/출력부(1470), 비디오 처리부(1480), 오디오 처리부(1485), 오디오 출력부(1460), 메모리(1490), 전원부(1495)를 포함할 수 있다.
도 14의 통신부(1450)는 도 13의 통신부(110)에, 도 14의 프로세서(1410)는, 도 13의 프로세서(120)에, 도 14의 디스플레이부(1420)는 도 13의 디스플레이(130)에, 도 14의 메모리(1490)는 도 13의 메모리(140)에 각각 대응하므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 튜너부(1440)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(1400)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1440)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1440)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
일 실시예에 따른 통신부(1450)는 프로세서(1410)의 제어에 의해 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 프로세서(1410)는 통신부(1450)를 통해 연결된 외부 장치로 컨텐츠를 송수신하거나, 외부 장치로부터 어플리케이션을 다운로드 하거나 또는 웹 브라우징을 할 수 있다.
또한, 통신부(1450)는 무선랜(1451), 블루투스(1452), 및 유선 이더넷(1453) 중 어느 하나 또는 둘 이상을 포함하는 모듈 조합을 포함할 수 있다.
비디오 처리부(1480)는, 디스플레이 장치(1400)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1480)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
감지부(1430)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1431), 카메라부(1432) 및 광 수신부(1433)를 포함할 수 있다.
마이크(1431)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1431)는 수신된 음성을 전기 신호로 변환하여 프로세서(1410)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1400)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1432)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1410)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1400)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1433)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1420)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1433)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1410)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1470)는 프로세서(1410)의 제어에 의해 디스플레이 장치(1400)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(1470)는 HDMI 포트(High-Definition Multimedia Interface port, 1471), 컴포넌트 잭(component jack, 1472), PC 포트(PC port, 1473), 및 USB 포트(USB port, 1474) 중 하나를 포함할 수 있다. 입/출력부(1470)는 HDMI 포트(1471), 컴포넌트 잭(1472), PC 포트(1473), 및 USB 포트(1474)의 조합을 포함할 수 있다.
프로세서(1410)는 디스플레이 장치(1400)의 전반적인 동작 및 디스플레이 장치(1400)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1410)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1490)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(1410)는 디스플레이 장치(1400)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1400)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1400)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.
프로세서(1410)는 그래픽 처리부(미도시)를 포함할 수 있다. 그래픽 처리부(미도시)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(1430)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(1420)의 디스플레이 영역 내에 표시된다.
오디오 처리부(1485)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1485)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1485)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1460)는 프로세서(1410)의 제어에 의해 튜너부(1440)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1460)는 통신부(1450) 또는 입/출력부(1470)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1460)는 프로세서(1410)의 제어에 의해 메모리(1490)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1460)는 스피커(1461), 헤드폰 출력 단자(1462) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(1463) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(1460)는 스피커(1461), 헤드폰 출력 단자(1462) 및 S/PDIF 출력 단자(1463)의 조합을 포함할 수 있다.
전원부(1495)는 프로세서(1410)의 제어에 의해 디스플레이 장치(1400) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1495)는 프로세서(1410)의 제어에 의해 디스플레이 장치(1400) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1490)는 프로세서(1410)의 제어에 의해 디스플레이 장치(1400)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1490)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1490)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1400)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1410)는 메모리(1490)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 13 및 도 14에 도시된 전자 장치 (100, 1400)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치 (100, 1400)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 방송 수신 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 전자 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 방송 수신 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (21)

  1. 디스플레이;
    모바일 장치와 통신하는 통신부;
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 모바일 장치의 화면을 디스플레이 장치가 미러링 할 때, 상기 모바일 장치에 출력되는 제1 화면에 대응하는 제2 화면 및 인디케이터를 표시하도록 상기 디스플레이를 제어하고,
    상기 모바일 장치로부터 상기 제1 화면에 포함된 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신하도록 상기 통신부를 제어하고,
    상기 인디케이터에 대한 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 상기 오브젝트 정보 및 상기 제어 신호에 기초하여, 상기 인디케이터의 이동을 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어 신호는, 상기 인디케이터를 이동시키기 위한 사용자 인터랙션 정보를 포함하는, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 오브젝트 정보는, 상기 오브젝트들의 위치 정보, 상기 오브젝트들에 인접하는 오브젝트에 대한 정보, 타임 스탬프 정보, 상기 오브젝트들이 중요 움직임과 연관되어 있는지에 대한 정보 중 적어도 하나를 포함하는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 화면에 포함되는 상기 하나 이상의 오브젝트들 각각에 숫자를 할당하고, 할당된 숫자를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 숫자를 선택하는 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 상기 인디케이터를 상기 선택된 숫자가 할당된 오브젝트로 이동시키는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트 정보에 기초하여, 상기 하나 이상의 오브젝트들의 내비게이션 맵 정보를 생성하고, 상기 제어 신호 및 상기 내비게이션 맵 정보에 기초하여, 상기 인디케이터의 이동을 제어하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 오브젝트 정보 및 상기 내비게이션 맵 정보에 기초하여, 상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있는 지 결정하고,
    상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있는 경우, 상기 모바일 장치로, 상기 오브젝트에 대한 상기 사용자 인터랙션 정보를 전송하도록 상기 통신부를 제어하는, 디스플레이 장치.
  8. 제7항에 있어서,
    상기 오브젝트에 대한 사용자 인터랙션 정보는,
    상기 인디케이터를 상기 하나 이상의 오브젝트들 중 페이지 전환 동작을 발생시키는 오브젝트로 이동시키는 사용자 인터랙션 정보를 포함하는 디스플레이 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 모바일 장치가 상기 오브젝트에 대한 상기 사용자 인터랙션 정보에 대응하는 동작을 수행하여, 상기 모바일 장치의 화면이 상기 제1 화면이 제3 화면으로 전환되면, 상기 제3 화면을 미러링하여, 상기 제3 화면에 대응하는 제4 화면을 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있지 않은 경우, 상기 오브젝트에 대한 사용자 인터랙션 정보에 대응하는 동작을 수행하는, 디스플레이 장치.
  11. 디스플레이 장치의 동작방법에 있어서,
    모바일 장치의 화면을 디스플레이 장치가 미러링 할 때, 상기 모바일 장치에 출력되는 제1 화면에 대응하는 제2 화면 및 인디케이터를 표시하는 단계;
    상기 모바일 장치로부터 상기 제1 화면에 포함된 하나 이상의 오브젝트들에 대한 오브젝트 정보를 수신하는 단계;
    상기 인디케이터에 대한 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하는 단계; 및
    상기 오브젝트 정보 및 상기 제어 신호에 기초하여, 상기 인디케이터의 이동을 제어하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  12. 제11항에 있어서,
    상기 제어 신호는, 상기 인디케이터를 이동시키기 위한 사용자 인터랙션 정보를 포함하는, 디스플레이 장치의 동작방법.
  13. 제11항에 있어서,
    상기 오브젝트 정보는, 상기 오브젝트들의 위치 정보, 상기 오브젝트들에 인접하는 오브젝트에 대한 정보, 타임 스탬프 정보, 상기 오브젝트들이 중요 움직임과 연관되어 있는지에 대한 정보 중 적어도 하나를 포함하는, 디스플레이 장치의 동작방법.
  14. 제11항에 있어서,
    상기 동작방법은,
    상기 제2 화면에 포함되는 상기 하나 이상의 오브젝트들 각각에 숫자를 할당하고, 할당된 숫자를 표시하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  15. 제14항에 있어서,
    상기 인디케이터의 이동을 제어하는 단계는,
    상기 숫자를 선택하는 사용자 인터랙션 정보를 포함하는 제어 신호를 수신하면, 상기 인디케이터를 상기 선택된 숫자가 할당된 오브젝트로 이동시키는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  16. 제11항에 있어서,
    상기 동작방법은,
    상기 오브젝트 정보에 기초하여, 상기 하나 이상의 오브젝트들의 내비게이션 맵 정보를 생성하는 단계를 더 포함하고,
    상기 인디케이터의 이동을 제어하는 단계는,
    상기 제어 신호 및 상기 내비게이션 맵 정보에 기초하여, 상기 인디케이터의 이동을 제어하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  17. 제16항에 있어서,
    상기 동작방법은,
    상기 오브젝트 정보 및 상기 내비게이션 맵 정보에 기초하여, 상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있는 지 결정하는 단계; 및
    상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있는 경우, 상기 모바일 장치로, 상기 오브젝트에 대한 상기 사용자 인터랙션 정보를 전송하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  18. 제17항에 있어서,
    상기 오브젝트에 대한 사용자 인터랙션 정보는,
    상기 인디케이터를 상기 하나 이상의 오브젝트들 중 페이지 전환 동작을 발생시키는 오브젝트로 이동시키는 사용자 인터랙션 정보를 포함하는 디스플레이 장치의 동작방법.
  19. 제17항에 있어서,
    상기 동작방법은,
    상기 모바일 장치가 상기 오브젝트에 대한 상기 사용자 인터랙션 정보에 대응하는 동작을 수행하여, 상기 모바일 장치의 화면이 상기 제1 화면이 제3 화면으로 전환되면, 상기 제3 화면을 미러링하여, 상기 제3 화면에 대응하는 제4 화면을 표시하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  20. 제17항에 있어서,
    상기 동작방법은,
    상기 제어 신호가 중요 움직임과 연관되어 있는 오브젝트에 대한 사용자 인터랙션 정보를 포함하고 있지 않은 경우, 상기 오브젝트에 대한 사용자 인터랙션 정보에 대응하는 동작을 수행하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  21. 제11항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
KR1020190166004A 2019-12-12 2019-12-12 디스플레이 장치 및 그 동작방법 KR20210074877A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190166004A KR20210074877A (ko) 2019-12-12 2019-12-12 디스플레이 장치 및 그 동작방법
PCT/KR2020/017947 WO2021118225A1 (en) 2019-12-12 2020-12-09 Display device and operating method thereof
US17/117,733 US11231901B2 (en) 2019-12-12 2020-12-10 Display device performing screen mirroring and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190166004A KR20210074877A (ko) 2019-12-12 2019-12-12 디스플레이 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20210074877A true KR20210074877A (ko) 2021-06-22

Family

ID=76317956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166004A KR20210074877A (ko) 2019-12-12 2019-12-12 디스플레이 장치 및 그 동작방법

Country Status (3)

Country Link
US (1) US11231901B2 (ko)
KR (1) KR20210074877A (ko)
WO (1) WO2021118225A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149645A1 (ko) * 2022-02-07 2023-08-10 삼성전자 주식회사 외부 디스플레이 장치를 제어하기 위한 전자 장치 및 그 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158706A1 (en) * 2020-02-03 2021-08-12 Apple Inc. Cursor integration with a touch screen user interface
CN113542825B (zh) * 2020-04-20 2022-10-11 华为技术有限公司 投屏显示方法、***、终端设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946361B1 (ko) 2007-07-05 2010-03-08 고윤용 객체연결버튼을 이용한 컴퓨터 프로그램의 제어방법, 이를 이용한 기록 매체 및 제어시스템
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
KR100940062B1 (ko) * 2009-01-20 2010-02-05 고윤용 객체연결버튼을 이용한 컴퓨터 프로그램의 폴더 또는 파일의 검색 방법과 이를 위한 기록 매체
KR101286358B1 (ko) * 2011-08-11 2013-07-15 엘지전자 주식회사 영상표시방법 및 장치
KR101918040B1 (ko) 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
KR101936075B1 (ko) * 2012-09-21 2019-01-08 삼성전자주식회사 이동통신 단말기를 이용한 디스플레이 장치의 데이터 표시 방법 및 상기 장치들
JP6484914B2 (ja) * 2014-01-14 2019-03-20 船井電機株式会社 情報処理機器および操作システム
US10326822B2 (en) * 2015-12-03 2019-06-18 Google Llc Methods, systems and media for presenting a virtual operating system on a display device
KR102482549B1 (ko) 2016-01-11 2022-12-28 엘지전자 주식회사 영상표시장치
KR102500558B1 (ko) * 2016-03-16 2023-02-17 엘지전자 주식회사 디스플레이 장치 및 그 동작 방법
KR102350933B1 (ko) * 2017-06-20 2022-01-12 엘지전자 주식회사 영상표시장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149645A1 (ko) * 2022-02-07 2023-08-10 삼성전자 주식회사 외부 디스플레이 장치를 제어하기 위한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20210181939A1 (en) 2021-06-17
WO2021118225A1 (en) 2021-06-17
US11231901B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
US10379698B2 (en) Image display device and method of operating the same
KR102414806B1 (ko) 영상 표시 장치 및 영상 표시 방법
US11500509B2 (en) Image display apparatus and image display method
CN105763921B (zh) 图像显示设备和方法
KR20160097867A (ko) 영상 표시 장치 및 영상 표시 방법
KR20180024504A (ko) 영상 표시 장치 및 그 동작방법
EP3024220A2 (en) Display apparatus and display method
US11231901B2 (en) Display device performing screen mirroring and operating method thereof
KR20170059242A (ko) 영상 표시 장치 및 그 동작방법
KR20160084240A (ko) 디스플레이 장치 및 디스플레이 방법
KR20160098842A (ko) 디스플레이 장치 및 디스플레이 방법