KR20150142347A - 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템 - Google Patents

사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템 Download PDF

Info

Publication number
KR20150142347A
KR20150142347A KR1020140070979A KR20140070979A KR20150142347A KR 20150142347 A KR20150142347 A KR 20150142347A KR 1020140070979 A KR1020140070979 A KR 1020140070979A KR 20140070979 A KR20140070979 A KR 20140070979A KR 20150142347 A KR20150142347 A KR 20150142347A
Authority
KR
South Korea
Prior art keywords
image content
display
content
image
display device
Prior art date
Application number
KR1020140070979A
Other languages
English (en)
Inventor
견재기
고창석
방준호
이관민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140070979A priority Critical patent/KR20150142347A/ko
Priority to EP15807263.7A priority patent/EP3156908A4/en
Priority to PCT/KR2015/005722 priority patent/WO2015190781A1/ko
Priority to CN201580030823.1A priority patent/CN106663071A/zh
Priority to US15/316,735 priority patent/US20170188087A1/en
Publication of KR20150142347A publication Critical patent/KR20150142347A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템이 제공된다. 본 사용자 단말의 제어 방법은 제1 영상 컨텐츠를 디스플레이하고, 기설정된 사용자 인터렉션이 감지된 경우, 외부의 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하며, 디스플레이 장치로부터 디스플레이 장치가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 제1 영상 컨텐츠와 수신된 제2 영상 컨텐츠를 함께 디스플레이한다.

Description

사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템{User terminal device, and Method for controlling for User terminal device, and multimedia system thereof}
본 발명은 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템에 관한 것으로 더욱 상세하게는 디스플레이 장치가 디스플레이하고 있는 영상 컨텐츠를 동시에 시청할 수 있는 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템에 관한 것이다.
현재 디스플레이 장치는 다양한 컨텐츠를 사용자에게 제공하고 있다. 특히, 시청자는 다양한 영상 컨텐츠를 동시에 확인하고 확인된 영상 컨텐츠들 중 자신이 시청하고자 하는 컨텐츠를 선택하고자 한다.
종래에는 PIP(Picture in Picture) 기능을 이용하여 복수의 영상 컨텐츠를 동시에 확인하는 방법이 존재하였다. 이 경우, 하나의 영상 컨텐츠가 다른 영상 컨텐츠를 가리게 되는 시청 방해가 발생할 수 있다. 또한, 하나의 리모컨으로 원 영상 컨텐츠와 PIP 영상 컨텐츠를 동시에 제어하기 어려운 문제점이 발생하였다.
또한, 복수의 디스플레이 장치를 이용하여 복수의 영상 컨텐츠를 동시에 확인하는 방법이 존재하였다. 예를 들어, TV와 스마트 폰을 이용하여 각각 영상 컨텐츠를 확인하는 방법이 존재하였다. 이 경우, 복수의 디스플레이 장치가 서로 연동이 되지 않아, 복수의 디스플레이 장치 각각 제어해야 하는 번거로움이 존재하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자 단말을 이용하여 디스플레이 장치가 현재 재생 중인 컨텐츠를 확인하여 더욱 직관적으로 디스플레이 장치를 제어할 수 있게 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말의 제어 방법은, 제1 영상 컨텐츠를 디스플레이하는 제1 디스플레이 단계; 기설정된 사용자 인터렉션이 감지된 경우, 외부의 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하는 단계; 및 상기 디스플레이 장치로부터 상기 디스플레이 장치가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 상기 제1 영상 컨텐츠와 상기 수신된 제2 영상 컨텐츠를 함께 디스플레이하는 제2 디스플레이 단계;를 포함한다.
그리고, 상기 기설정된 사용자 인터렉션은, 상기 사용자 단말의 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션이며, 상기 제2 디스플레이 단계는, 상기 드래그 인터렉션의 드래그 양에 따라 상기 제2 영상 컨텐츠의 디스플레이 양을 판단하고, 상기 판단된 양에 따라 상기 제2 영상 컨텐츠 중 일부를 상기 제1 영상 컨텐츠와 함께 디스플레이할 수 있다.
또한, 상기 제2 디스플레이 단계는, 상기 사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나로 꺾이는 드래그 인터렉션이 감지된 경우, 상기 사용자 터치가 꺾인 방향에 대응되는 영역에 상기 제2 영상 컨텐츠를 축소하여 디스플레이하고, 상기 꺾인 방향과 반대 방향에 대응되는 영역에 상기 제1 영상 컨텐츠를 축소하여 디스플레이할 수 있다.
그리고, 상기 제2 디스플레이 단계는, 상기 드래그 인터렉션에 따라 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 상기 사용자 터치가 아래 방향으로 기설정된 거리 이상으로 드래그된 경우, 상기 제2 영상 컨텐츠를 전체 화면으로 디스플레이하고, 상기 제1 영상 컨텐츠를 제거할 수 있다.
또한, 상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 하나를 터치한 후 좌우 방향 중 하나로 드래그하는 드래그 인터렉션이 감지되면, 상기 터치된 영상 컨텐츠를 다른 영상 컨텐츠로 변경하여 디스플레이하는 제3 디스플레이 단계;를 더 포함할 수 있다.
그리고, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 방송 컨텐츠인 경우, 상기 제3 디스플레이 단계는, 상기 터치된 방송 컨텐츠를 드래그 인터렉션의 방향에 따라 상이한 채널의 방송 컨텐츠로 변경하여 디스플레이할 수 있다.
또한, 기설정된 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 주위에 컨텐츠 리스트를 디스플레이하는 단계; 및 상기 컨텐츠 리스트에 포함된 복수의 영상 컨텐츠 중 제3 영상 컨텐츠를 터치한 후, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 중 하나로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 드래그된 영상 컨텐츠를 상기 제3 영상 컨텐츠로 변경하여 디스플레이하는 단계;를 더 포함할 수 있다.
그리고, 상기 제1 영상 컨텐츠를 터치한 후 위 방향으로 드래그하는 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하는 단계;를 더 포함하고, 상기 디스플레이 장치는, 상기 제1 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠를 디스플레이 화면에 디스플레이할 수 있다.
또한, 상기 제1 영상 컨텐츠와 상기 제2 영상 컨텐츠 사이의 경계선을 터치한 후 위 방향으로 드래그하는 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하는 단계;를 포함하고, 상기 디스플레이 장치는, 상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이 화면에 동시에 디스플레이할 수 있다.
그리고, 상기 제1 디스플레이 단계는, 상기 디스플레이 장치로부터 제1 영상 컨텐츠에 대한 영상 스트림을 수신하여 디스플레이하며, 상기 제3 디스플레이 단계는, 상기 디스플레이 장치로부터 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 먹싱된 영상 스트림을 수신하여 디스플레이할 수 있다.
또한, 상기 디스플레이 장치는, 상기 사용자 단말이 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이하는 동안 상기 제2 영상 컨텐츠를 디스플레이하며, 상기 디스플레이 장치 및 상기 휴대 단말은 상기 제2 영상 컨텐츠의 메타 데이터에 포함된 타임스탬프 정보를 이용하여 상기 제2 영상 컨텐츠를 동기화하여 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치와 연동하여 동작하는 사용자 단말은, 제1 영상 컨텐츠를 디스플레이하는 디스플레이부; 상기 디스플레이 장치와 통신을 수행하는 통신부; 사용자 인터렉션을 감지하는 감지부; 및 상기 감지부를 통해 기설정된 사용자 인터렉션이 감지된 경우, 상기 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하도록 상기 통신부를 제어하며, 상기 디스플레이 장치로부터 상기 디스플레이 장치가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 상기 제1 영상 컨텐츠와 상기 수신된 제2 영상 컨텐츠를 함께 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 기설정된 사용자 인터렉션은, 상기 사용자 단말의 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션이며, 상기 제어부는, 상기 드래그 인터렉션의 드래그 양에 따라 상기 제2 영상 컨텐츠의 디스플레이 양을 판단하고, 상기 판단된 양에 따라 상기 제2 영상 컨텐츠 중 일부를 상기 제1 영상 컨텐츠와 함께 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 감지부를 통해 상기 사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나로 꺾이는 드래그 인터렉션이 감지된 경우, 상기 사용자 터치가 꺾인 방향에 대응되는 영역에 상기 제2 영상 컨텐츠를 축소하여 디스플레이하고, 상기 꺾인 방향과 반대 방향에 대응되는 영역에 상기 제1 영상 컨텐츠를 축소하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 드래그 인터렉션에 따라 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 상기 사용자 터치가 아래 방향으로 기설정된 거리 이상으로 드래그된 경우, 상기 제2 영상 컨텐츠를 전체 화면으로 디스플레이하고, 상기 제1 영상 컨텐츠를 제거할 수 있다.
또한, 상기 제어부는, 상기 감지부를 통해 상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 하나를 터치한 후 좌우 방향 중 하나로 드래그하는 드래그 인터렉션이 감지되면, 상기 터치된 영상 컨텐츠를 다른 영상 컨텐츠로 변경하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 방송 컨텐츠인 경우, 상기 제어부는, 상기 터치된 방송 컨텐츠를 드래그 인터렉션의 방향에 따라 상이한 채널의 방송 컨텐츠로 변경하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 기설정된 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 주위에 컨텐츠 리스트를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 컨텐츠 리스트에 포함된 복수의 영상 컨텐츠 중 제3 영상 컨텐츠를 터치한 후, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 중 하나로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 드래그된 영상 컨텐츠를 상기 제3 영상 컨텐츠로 변경하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 감지부를 통해 상기 제1 영상 컨텐츠를 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 제1 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하고, 상기 디스플레이 장치는, 상기 제1 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠를 디스플레이 화면에 디스플레이할 수 있다.
또한, 상기 제어부는, 상기 감지부를 통해 상기 제1 영상 컨텐츠와 상기 제2 영상 컨텐츠 사이의 경계선을 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하며, 상기 디스플레이 장치는, 상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이 화면에 동시에 디스플레이할 수 있다.
그리고, 상기 제어부는, 상기 통신부를 통해 상기 디스플레이 장치로부터 제1 영상 컨텐츠에 대한 영상 스트림을 수신하는 경우, 상기 수신된 영상 스트림을 처리하여 상기 제1 영상 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 통신부를 통해 상기 디스플레이 장치로부터 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 먹싱(muxing)된 영상 스트림을 수신하는 경우, 상기 먹싱된 영상 스트림을 처리하여 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 처리하여 디스플레이할 수 있다.
또한, 상기 디스플레이 장치는, 상기 사용자 단말이 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이하는 동안 상기 제2 영상 컨텐츠를 디스플레이하며, 상기 디스플레이 장치 및 상기 휴대 단말은 상기 제2 영상 컨텐츠의 메타 데이터에 포함된 타임스탬프 정보를 이용하여 상기 제2 영상 컨텐츠를 동기화하여 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치와 연동하여 동작하는 사용자 단말은, 복수의 영상 컨텐츠를 디스플레이하는 디스플레이부; 상기 디스플레이 장치와 통신을 수행하는 통신부; 사용자 인터렉션을 감지하는 감지부; 및 상기 감지부를 통해 기설정된 사용자 인터렉션이 감지된 경우, 상기 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하도록 상기 통신부를 제어하며, 상기 통신부를 통해 상기 디스플레이 장치로부터 상기 디스플레이 장치가 현재 디스플레이하고 있는 다른 영상 컨텐츠가 수신된 경우, 상기 복수의 영상 컨텐츠와 상기 다른 영상 컨텐츠를 함께 디스플레이하도록 상기 통신부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치와 연동하여 동작하는 사용자 단말은, 복수의 영상 컨텐츠를 디스플레이하는 디스플레이부; 상기 디스플레이 장치와 통신을 수행하는 통신부; 사용자 인터렉션을 감지하는 감지부; 및 상기 디스플레이 장치로 복수의 영상 컨텐츠가 수신된 경우, 상기 수신된 복수의 영상 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 감지부를 통해 상기 복수의 영상 컨텐츠 중 하나에 기설정된 사용자 인터렉션이 감지된 경우, 상기 기설정된 인터렉션이 감지된 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 멀티미디어 시스템의 제어 방법은, 사용자 단말이, 제1 영상 컨텐츠를 디스플레이하는 단계; 디스플레이 장치가, 제2 영상 컨텐츠를 디스플레이하는 단계; 기설정된 사용자 인터렉션이 감지된 경우, 상기 사용자 단말이, 상기 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하는 단계; 상기 디스플레이 장치가 상기 요청 신호에 응답하여 상기 제2 영상 컨텐츠를 전송하는 단계; 및 상기 디스플레이 장치로부터 제2 영상 컨텐츠가 수신된 경우, 상기 사용자 단말이, 상기 제1 영상 컨텐츠와 상기 수신된 제2 영상 컨텐츠를 함께 디스플레이하는 단계;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 사용자 단말을 이용하여 더욱 직관적으로 디스플레이 장치를 제어할 수 있으며, 사용자 단말 및 디스플레이 장치를 이용하여 다양한 영상 컨텐츠를 동시에 시청할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 멀티미디어 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 사용자 단말의 구성을 간략히 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 사용자 단말의 구성을 상세히 도시한 블럭도,
도 4a 내지 도 4f는 본 발명의 일 실시예에 따른, 사용자 단말이 디스플레이 장치가 현재 디스플레이하는 영상 컨텐츠를 디스플레이하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른, 사용자 단말이 복수의 영상 컨텐츠 중 하나를 다른 영상 컨텐츠로 변경하는 방법을 설명하기 위한 도면,
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른, 컨텐츠 리스트를 이용하여 복수의 영상 컨텐츠 중 하나를 다른 영상 컨텐츠로 변경하는 방법을 설명하기 위한 도면,
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른, 사용자 단말이 디스플레이하는 복수의 영상 컨텐츠 중 하나를 디스플레이 장치와 동기화하여 재생하는 방법을 설명하기 위한 도면,
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 사용자 단말이 디스플레이하는 복수의 영상 컨텐츠를 디스플레이 장치와 동기화하여 재생하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른, 디스플레이 장치의 블럭도를 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 사용자 단말의 제어 방법을 설명하기 위한 흐름도,
도 11은 본 발명의 일 실시예에 따른, 멀티미디어 시스템의 제어 방법을 설명하기 위한 시퀀스도, 그리고,
도 12는 본 발명의 다른 실시예에 따른, 사용자 단말이 3개 이상의 영상 컨텐츠를 동시에 디스플레이하는 실시예를 설명하기 위한 도면이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하, 실시예를 첨부도면을 참조하여 본 발명의 다양한 실시예에 대해 상세히 설명하기로 하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 멀티미디어 시스템(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 멀티미디어 시스템(10)은 사용자 단말(100) 및 디스플레이 장치(200)를 포함한다. 이때, 사용자 단말(100)은 디스플레이 장치(200)를 제어하기 위한 터치스크린을 구비하는 별도의 리모트 컨트롤러일 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트 폰, 태블릿 PC 등과 같은 다양한 휴대용 사용자 단말로 구현될 수 있다. 또한, 디스플레이 장치(200)는 스마트 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, 디지털 TV, 데스크탑 PC, 노트북 PC 등과 같은 다양한 디스플레이 장치로 구현될 수 있다.
사용자 단말(100)과 디스플레이 장치(200)는 다양한 통신 방식을 통해 서로 연결될 수 있다. 예를 들어, 사용자 단말(100) 및 디스플레이 장치(200)는 블루투스, 와이파이 등과 같은 무선 통신 모듈을 이용하여 서로 통신을 수행할 수 있다.
그리고, 사용자 단말(100) 및 디스플레이 장치(200)는 장치는 각각 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 디스플레이할 수 있다. 이때, 사용자 단말(100)이 디스플레이하는 제1 영상 컨텐츠는 디스플레이 장치(200)로부터 수신될 수 있으나, 이는 일 실시예에 불과할 뿐, 별도의 외부 기기로부터 수신되거나 기 저장된 영상 컨텐츠일 수 있다. 또한, 제1 영상 컨텐츠 및 제2 영상 컨텐츠는 방송 컨텐츠일 수 있으나, 이는 일 실시예에 불과할 뿐, 인터넷으로부터 수신된 VOD 영상 컨텐츠, 기 저장된 영상 컨텐츠일 수 있다.
제1 영상 컨텐츠를 디스플레이하는 동안 사용자에 의해 기설정된 사용자 인터렉션이 감지된 경우, 사용자 단말(100)은 외부의 디스플레이 장치(200)로 컨텐츠를 요청하는 신호를 전송할 수 있다. 이때, 기설정된 사용자 인터렉션은 사용자 단말(100)의 상단 영역을 터치한 후 아래쪽 방향으로 드래그하는 드래그 인터렉션일 수 있다.
디스플레이 장치(200)로부터 디스플레이 장치(200)가 현재 디스플레이하고 있는 제2 영상 컨텐츠를 수신한 경우, 사용자 단말(100)은 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 함께 디스플레이할 수 있다.
구체적으로, 사용자 단말(100)은 드래그 인터렉션의 드래그 양에 따라 제2 영상 컨텐츠의 디스플레이 양을 결정하고, 결정된 디스플레이 양에 따라 제2 영상 컨텐츠 중 적어도 일부를 제1 영상 컨텐츠와 함께 디스플레이할 수 있다. 그리고, 아래쪽 방향으로 드래그를 하다가 좌우 방향 중 하나의 방향으로 꺾는 드래그 인터렉션이 감지된 경우, 사용자 단말(100)은 꺾인 방향에 대응되는 영역에 제2 영상 컨텐츠를 축소하여 디스플레이하고, 반대 방향에 대응되는 영역에 제1 영상 컨텐츠를 축소하여 디스플레이할 수 있다. 그러나, 아래쪽 방향으로 기설정된 거리 이상으로 드래그를 수행하는 경우, 사용자 단말(100)은 제1 영상 컨텐츠를 디스플레이 화면에서 제거하고 제2 영상 컨텐츠를 전체 화면을 디스플레이할 수 있다.
또한, 사용자 단말(100)은 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 사용자 인터렉션을 이용하여 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 적어도 하나를 다른 영상 컨텐츠로 변경할 수 있다. 본 발명의 일 실시예로, 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 하나를 터치한 후 좌우 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 사용자 단말(100)은 터치된 영상 컨텐츠를 다른 영상 컨텐츠로 변경할 수 있다. 또한, 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 기설정된 사용자 명령이 입력된 경우, 사용자 단말(100)은 디스플레이 화면의 일 영역에 컨텐츠 리스트를 디스플레이하고, 컨텐츠 리스트를 이용한 사용자 인터렉션에 따라 영상 컨텐츠를 변경할 수 있다.
그리고, 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 기설정된 사용자 인터렉션이 감지된 경우, 사용자 단말(100)은 사용자 인터렉션이 감지된 영상 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송할 수 있다. 영상 컨텐츠에 대한 정보가 수신된 경우, 디스플레이 장치(200)는 수신된 정보에 대응되는 영상 컨텐츠를 디스플레이할 수 있다.
상술한 바와 같은 멀티미디어 시스템(10)에 의해, 사용자는 사용자 단말(100)을 이용하여 더욱 직관적으로 디스플레이 장치(200)를 제어할 수 있으며, 사용자 단말(100) 및 디스플레이 장치(200)를 이용하여 다양한 영상 컨텐츠를 동시에 시청할 수 있게 된다.
한편, 상술한 실시예에서는 사용자 단말(100)이 두 개의 영상 컨텐츠를 동시에 디스플레이하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 3 개 이상의 영상 컨텐츠를 동시에 디스플레이할 수 있다.
이하에서는 도 2 내지 도 8c를 참조하여 사용자 단말(100)에 대해 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 사용자 단말(100)의 구성을 간략히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(110), 통신부(120), 감지부(130) 및 제어부(140)를 포함한다.
디스플레이부(110)는 제어부(140)의 제어에 의해 다양한 영상 컨텐츠를 디스플레이한다. 특히, 디스플레이부(110)는 디스플레이 장치(200)로부터 수신된 영상 컨텐츠를 디스플레이할 수 있다. 이때, 디스플레이 장치(200)로부터 제1 영상 컨텐츠에 대한 영상 스트림이 수신된 경우, 디스플레이부(110)는 제1 영상 컨텐츠를 디스플레이하며, 디스플레이 장치(200)로부터 제1 영상 컨텐츠 및 제2 영상 컨텐츠가 먹싱된 영상 스트림이 수신된 경우, 디스플레이부(110)는 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 동시에 디스플레이할 수 있다.
한편, 디스플레이부(110)는 감지부(130)의 터치 감지부와 결합하여 터치 스크린으로 구현될 수 있다.
통신부(120)는 외부의 다양한 기기와 통신을 수행한다. 특히, 통신부(120)는 디스플레이 장치(200)와 통신을 수행할 수 있다. 이때, 통신부(120)는 디스플레이 장치(200)로부터 영상 컨텐츠를 실시간으로 수신할 수 있으며, 디스플레이 장치(200)로 영상 컨텐츠를 요청하는 컨텐츠 요청 신호를 전송할 수 있다.
감지부(120)는 사용자 단말(100)을 제어하기 위한 사용자 인터렉션을 감지한다. 특히, 감지부(120)는 터치 스크린 내에 구비되어 사용자의 터치 인터렉션(특히, 드래그 인터렉션)을 감지할 수 있는 터치 감지부로 구현될 수 있다.
제어부(130)는 사용자 단말(100)의 전반적인 동작을 제어한다. 특히, 디스플레이부(110)가 제1 영상 컨텐츠를 디스플레이하는 동안 감지부(130)를 통해 기설정된 사용자 인터렉션이 감지된 경우, 제어부(140)는 디스플레이 장치(200)로 영상 컨텐츠를 요청하는 신호를 전송하도록 통신부(120)를 제어하며, 디스플레이 장치(200)로부터 디스플레이 장치(200)가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 제어부(130)는 제1 영상 컨텐츠와 수신된 제2 영상 컨텐츠를 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 제어부(130)는 디스플레이 장치(200)로부터 수신되는 제1 영상 컨텐츠를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 디스플레이 장치(200)는 제1 영상 컨텐츠와 상이한 제2 영상 컨텐츠를 디스플레이할 수 있다.
제1 영상 컨텐츠가 디스플레이되는 동안 기설정된 사용자 인터렉션이 감지된 경우, 제어부(140)는 디스플레이 장치(200)가 현재 디스플레이하는 제2 영상 컨텐츠를 요청하는 신호를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 이때, 기설정된 사용자 인터렉션은 사용자 단말(100)의 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션일 수 있다.
그리고, 디스플레이 장치(200)로부터 요청 신호에 응답하는 제2 영상 컨텐츠가 수신된 경우, 제어부(140)는 수신된 제2 영상 컨텐츠와 제1 영상 컨텐츠를 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 구체적으로, 요청 신호를 수신한 경우, 디스플레이 장치(200)는 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 먹싱하여 영상 스트림을 생성하고, 생성된 영상 스트림을 사용자 단말(200)로 전송할 수 있다. 사용자 단말(100)은 수신된 영상 스트림을 디먹싱하여 제1 영상 컨텐츠 및 제2 영상 컨텐츠로 분리하고, 분리된 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 처리하여 하나의 화면에 동시에 디스플레이할 수 있다.
특히, 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 드래그 인터렉션의 드래그 양에 따라 제2 영상 컨텐츠의 디스플레이 양을 판단하고, 판단된 양에 따라 제2 영상 컨텐츠 중 일부를 제1 영상 컨텐츠와 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 즉, 제어부(140)는 아래 방향으로의 드래그 양이 늘어날수록 제2 영상 컨텐츠의 디스플레이 양을 증가시킬 수 있다.
그리고, 감지부(130)를 통해 사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나로 꺾이는 드래그 인터렉션이 감지된 경우, 제어부(140)는 사용자 터치가 꺾인 방향에 대응되는 영역에 제2 영상 컨텐츠를 축소하여 디스플레이하고, 꺾인 방향과 반대 방향에 대응되는 영역에 제1 영상 컨텐츠를 축소하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 사용자 터치가 아래 방향으로 이동하는 도중 왼쪽 방향으로 꺾이는 드래그 인터렉션이 감지된 경우, 제어부(140)는 왼쪽 영역에 제2 영상 컨텐츠를 축소하여 디스플레이하고, 오른쪽 영역에 제1 영상 컨텐츠를 축소하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
그러나, 드래그 인터렉션에 따라 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 함께 디스플레이하는 동안 사용자 터치가 아래 방향으로 기설정된 거리 이상으로 드래그된 경우, 제어부(140)는 제2 영상 컨텐츠를 전체 화면으로 디스플레이하고, 제1 영상 컨텐츠를 제거하도록 디스플레이부(110)를 제어할 수 있다.
특히, 사용자 단말(100)이 제2 영상 컨텐츠를 디스플레이할 경우, 제어부(140)는 영상 컨텐츠의 메타데이터에 포함된 타임스탬프 정보를 이용하여 디스플레이 장치(200)가 디스플레이하는 제2 영상 컨텐츠와 동기화하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
따라서, 상술한 과정을 통해 사용자 단말(100)은 외부 디스플레이 장치(200)가 현재 디스플레이하는 영상 컨텐츠를 직관적으로 확인할 수 있게 된다.
또한, 제어부(140)는 제1 영상 컨텐츠 및 제2 영상 컨텐츠가 동시에 디스플레이되는 동안 기설정된 사용자 인터렉션에 따라 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 적어도 하나를 다른 영상 컨텐츠로 변경할 수 있다.
구체적으로, 제1 영상 컨텐츠 및 제2 영상 컨텐츠가 동시에 디스플레이되는 동안 감지부(130)를 통해 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 하나를 터치한 후 좌우 방향 중 하나로 드래그하는 드래그 인터렉션이 감지되면, 제어부(140)는 터치된 영상 컨텐츠를 다른 영상 컨텐츠로 변경하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 특히, 제1 영상 컨텐츠 및 제2 영상 컨텐츠가 방송 컨텐츠인 경우, 제어부(140)는 터치된 방송 컨텐츠를 드래그 인터렉션의 방향에 따라 상이한 채널의 방송 컨텐츠로 변경하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 왼쪽 방향으로의 드래그 인터렉션이 감지된 경우, 제어부(140)는 채널 번호를 감소시키도록 방송 컨텐츠를 변경하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, 제1 영상 컨텐츠 및 제2 영상 컨텐츠가 디스플레이되는 동안 기설정된 사용자 명령(예를 들어, 리모컨의 기설정된 버튼이 선택되는 명령)이 입력된 경우, 제어부(140) 제1 영상 컨텐츠 및 제2 영상 컨텐츠 주위에 컨텐츠 리스트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 드래그 앤 드랍 동작을 통해 제어부(140)는 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 적어도 하나를 다른 영상 컨텐츠로 변경할 수 있다.
또한, 제어부(140)는 기설정된 사용자 인터렉션에 따라 현재 사용자 단말(100)이 디스플레이하는 복수의 영상 컨텐츠 중 하나를 디스플레이 장치(200)가 디스플레이하도록 기설정된 사용자 인터렉션이 감지된 영상 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 감지부(130)를 통해 제1 영상 컨텐츠를 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 제1 영상 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 제1 영상 컨텐츠에 대한 정보가 수신된 경우, 디스플레이 장치(200)는 제1 영상 컨텐츠를 디스플레이 화면에 디스플레이할 수 있다.
또한, 감지부(130)를 통해 제1 영상 컨텐츠와 제2 영상 컨텐츠 사이의 경계선을 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 제1 영상 컨텐츠 및 제2 영상 컨텐츠에 대한 정보가 수신된 경우, 제어부(140)는 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이 화면에 동시에 디스플레이할 수 있다.
상술한 과정을 통해, 사용자는 사용자 단말(100)에서 시청하는 영상을 더욱 직관적으로 디스플레이 장치(200)가 디스플레이할 수 있도록 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말(100)의 구성을 상세히 도시한 블럭도이다. 도 3에 도시된 바와 같이, 사용자 단말(100)은 디스플레이부(110), 통신부(120), 오디오 출력부(150), 저장부(160), 영상 처리부(170), 오디오 처리부(180), 감지부(130) 및 제어부(140)를 포함한다.
한편, 도 3은 사용자 단말(100)이 컨텐츠 제공 기능, 디스플레이 기능, 통신 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(110)는 통신부(120)를 통해 수신한 영상 데이터를 영상 처리부(170)에서 처리한 비디오 프레임 및 그래픽 처리부(143)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 디스플레이부(110)는 외부의 디스플레이 장치(200)로부터 수신된 적어도 하나의 방송 컨텐츠를 디스플레이할 수 있다. 구체적으로, 제1 방송 컨텐츠를 포함하는 영상 스트림이 수신된 경우, 디스플레이부(110)는 영상 처리부(170)에 의해 처리된 제1 방송 컨텐츠를 디스플레이할 수 있다. 또한, 제1 방송 컨텐츠 및 제2 방송 컨텐츠가 먹싱된 영상 스트림이 수신된 경우, 디스플레이부(110)는 영상 처리부(170)에 의해 처리된 제1 및 제2 방송 컨텐츠를 동시에 디스플레이할 수 있다.
통신부(120)는 양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(120)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(120)는 디스플레이 장치(200)로부터 방송 컨텐츠를 포함하는 영상 스트림을 수신할 수 있다. 또한, 통신부(120)는 사용자 인터렉션에 따라 사용자가 디스플레이 장치(200)를 통해 시청하고자 하는 영상 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송할 수 있다.
또한, 통신부(120)는 외부의 서버로부터 VOD 컨텐츠와 같은 다양한 영상 컨텐츠를 수신할 수 있다.
오디오 출력부(150)는 오디오 처리부(180)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 디스플레이 장치(200)가 복수의 영상 컨텐츠를 디스플레이하는 경우, 오디오 출력부(150)는 복수의 영상 컨텐츠 중 사용자에 의해 선택된 하나의 영상 컨텐츠에 대응되는 오디오를 출력할 수 있다.
저장부(160)는 사용자 단말(100)을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(160)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(160)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(100)이 스마트 폰으로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
또한, 저장부(160)는 사용자 단말(100)과 디스플레이 장치(200)가 동기화하여 영상 컨텐츠를 재생할 수 있도록 영상 컨텐츠를 일시 저장하는 버퍼를 포함할 수 있다. 버퍼에 저장된 영상 컨텐츠는 영상 컨텐츠의 타임스탬프 정보에 따라 디스플레이부(110)로 출력될 수 있다.
영상 처리부(170)는 통신부(120)를 토해 수신한 영상 컨텐츠를 포함하는 영상 스트림에 대한 처리를 수행하는 구성요소이다. 영상 처리부(170)에서는 영상 스트림에 대한 디코딩, 디멀티플렉싱, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 처리부(180)는 영상 컨텐츠의 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(180)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(180)에서 처리된 오디오 데이터는 오디오 출력부(150)로 출력될 수 있다.
감지부(130)는 사용자 단말(100)의 구성을 제어하기 위한 다양한 사용자 인터렉션을 감지할 수 있다. 특히, 감지부(130)는 사용자의 터치 인터렉션을 감지하기 위한 터치 감지부로 구현될 수 있다. 이때, 터치 감지부는 디스플레이부(110)의 뒷면에 배치되어 터치 스크린으로 구현될 수 있다.
제어부(140)는 저장부(160)에 저장된 각종 프로그램을 이용하여 사용자 단말(100)의 전반적인 동작을 제어한다.
제어부(140)는 도 3에 도시된 바와 같이, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다. 이때, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(144)는 ROM(142)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(144)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(143)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다.
메인 CPU(144)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(144)는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 감지부(130)를 통해 기설정된 사용자 인터렉션이 감지된 경우, 제어부(140)는 디스플레이 장치(200)가 현재 디스플레이하는 영상 컨텐츠를 요청하는 컨텐츠 요청 신호를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어하며, 디스플레이 장치(200)로부터 디스플레이 장치(200)가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 제어부(140)는 제1 영상 컨텐츠와 수신된 제2 영상 컨텐츠를 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이하에서는 도 4a 내지 도 8c를 참조하여, 제어부(140)의 기능에 대해 더욱 상세히 설명하도록 한다. 참고로, 본 실시예에서는 영상 컨텐츠가 방송 컨텐츠인 것으로 설명하기로 한다.
우선, 도 4a에 도시된 바와 같이, 사용자 단말(100)은 제1 방송 컨텐츠(410)를 디스플레이하고, 디스플레이 장치(200)는 제2 방송 컨텐츠(420)를 디스플레이한다. 이때, 사용자 단말(100)이 수신하는 제1 방송 컨텐츠(410)는 디스플레이 장치(200)로부터 수신된 방송 컨텐츠일 수 있다.
사용자 단말(100)이 제1 방송 컨텐츠(410)를 디스플레이하는 동안 사용자가 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 디스플레이 장치(200)로 제2 방송 컨텐츠(420)를 요청하는 컨텐츠 요청 신호를 전송하도록 통신부(120)를 제어할 수 있다.
디스플레이 장치(200)로부터 제1 방송 컨텐츠(410) 및 제2 방송 컨텐츠(420)가 먹싱된 영상 스트림이 수신된 경우, 제어부(140)는 먹싱된 영상 스트림을 디멀티플렉싱한 후 영상 처리를 수행하도록 영상 처리부(170)를 제어할 수 있다.
그리고, 제어부(140)는 드래그 인터렉션에 따라 도 4b에 도시된 바와 같이, 처리된 제2 방송 컨텐츠(420)를 디스플레이부(110)의 위쪽 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이때, 제어부(140)는 아래 방향으로의 드래그 인터렉션의 드래그 양에 따라 제2 방송 컨텐츠(420)의 디스플레이 양을 판단할 수 있다. 그리고, 제어부(140)는 판단된 양에 따라 제2 방송 컨텐츠(420)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 구체적으로, 제어부(140)는 드래그 인터렉션이 아래 방향으로 점점 내려올수록 도 4b부터 도 4c에 도시된 바와 같이, 제2 방송 컨텐츠가 디스플레이되는 양이 증가하도록 디스플레이부(110)를 제어할 수 있다.
사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나의 방향으로 꺾이는 드래그 인터렉션이 감지된 경우, 제어부(140)는 사용자 터치가 꺾인 방향에 대응되는 영역에 제2 방송 컨텐츠(420)를 축소하여 디스플레이하고, 꺾인 방향과 반대 방향에 대응되는 영역에 제1 방송 컨텐츠(410)를 축소하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나의 방향으로 꺾이는 드래그 인터렉션이 감지된 경우, 제어부(140)는 도 4d에 도시된 바와 같이, 사용자 터치에 대응되도록 제2 방송 컨텐츠(420)를 왼쪽 영역으로 점점 이동하도록 디스플레이부(110)를 제어할 수 있다. 이때, 제어부(140)는 제2 방송 컨텐츠(420)가 왼쪽 영역으로 이동되는 동안 제2 방송 컨텐츠(420)의 크기를 축소시킬 수 있으며, 제1 방송 컨텐츠(410) 역시 점점 오른쪽 영역에 배치되도록 크기를 축소시킬 수 있다. 그리고, 사용자 터치가 디스플레이부(110)의 왼쪽 영역 중 임의의 지점에 도달한 경우, 제어부(140)는 도 4e에 도시된 바와 같이, 왼쪽 영역에 제2 방송 컨텐츠(420)를 디스플레이하며, 오른쪽 영역에 제1 방송 컨텐츠(410)를 디스플레이하는 듀얼 모드로 동작할 수 있다.
그러나, 드래그 인터렉션에 따라 제2 방송 컨텐츠(420)가 아래 방향으로 이동하는 동안 사용자 터치가 아래 방향으로 기설정된 거리 이상으로 드래그된 경우, 제어부(140)는 제2 방송 컨텐츠만을 디스플레이부(110)에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 구체적으로, 제1 방송 컨텐츠(410) 및 제2 방송 컨텐츠(420)를 동시에 디스플레이하는 동안 사용자 터치가 상단 영역으로부터 가로길이의 80% 이상인 지점까지 아래 방향으로 드래그된 경우, 제어부(140)는 도 4f에 도시된 바와 같이, 제2 방송 컨텐츠(420)를 전체 화면으로 디스플레이하고, 제1 방송 컨텐츠(410)를 제거하도록 디스플레이부(110)를 제어할 수 있다.
한편, 사용자 단말(100)이 디스플레이하는 제2 방송 컨텐츠(420)와 디스플레이 장치(200)가 디스플레이하는 제2 방송 컨텐츠(420)는 동기화되어 재생될 수 있다. 구체적으로, 제어부(140)가 영상 스트림에 의해 처리된 제2 방송 컨텐츠(420)를 버퍼에 저장하고, 영상 스트림에 포함된 타임스탬프 정보를 이용하여 버퍼에 저장된 제2 방송 컨텐츠(420)를 출력함으로써, 디스플레이 장치(200)와 동기화하여 제2 방송 컨텐츠(420)를 출력할 수 있게 된다.
도 4a 내지 도 4f에서 설명한 바와 같은 과정을 통해, 사용자는 제2 방송 컨텐츠(420)를 사용자 단말(100)을 통해 시청할 수 있게 된다.
또한, 제어부(140)는 사용자 인터렉션에 따라 동시에 디스플레이되는 제1 방송 컨텐츠(410) 및 제2 방송 컨텐츠(420) 중 적어도 하나를 다른 컨텐츠로 변경하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 일 실시예로, 도 5a에 도시된 바와 같이, 제1 방송 컨텐츠(510) 및 제2 방송 컨텐츠(520)가 동시에 디스플레이되는 동안 도 5b에 도시된 바와 같이, 제2 방송 컨텐츠(520)를 터치한 후 왼쪽 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 제2 방송 컨텐츠(520)의 채널 번호 이전의 채널 번호를 가지는 제3 방송 컨텐츠(530)를 요청하는 신호를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 디스플레이 장치(200)로부터 제1 방송 컨텐츠(510)와 제3 방송 컨텐츠(530)가 먹싱된 영상 스트림이 수신된 경우, 제어부(140)는 수신된 영상 스트림을 처리하도록 영상 처리부(170)를 제어하며, 도 5c에 도시된 바와 같이, 영상 처리된 제3 방송 컨텐츠(530) 및 제1 방송 컨텐츠(510)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 또 다른 실시예로, 도 6a에 도시된 바와 같이, 제1 방송 컨텐츠(610) 및 제2 방송 컨텐츠(620)가 동시에 디스플레이되는 동안 기설정된 사용자 명령(예를 들어, 디스플레이부(110)의 하단을 터치하는 사용자 명령)이 감지된 경우, 제어부(140)는 도 6b에 도시된 바와 같이, 디스플레이부(110)의 하단 영역에 방송 컨텐츠 리스트(630)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 도 6c에 도시된 바와 같이, 방송 컨텐츠 리스트에 포함된 복수의 아이템 중 제1 아이템(631)을 터치하고 제2 방송 컨텐츠(620)가 디스플레이되는 영역에 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 제1 아이템(631)에 대응되는 제4 방송 컨텐츠(640)를 요청하는 신호를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 디스플레이 장치(200)로부터 제1 방송 컨텐츠(610)와 제4 방송 컨텐츠(640)가 먹싱된 영상 스트림이 수신된 경우, 제어부(140)는 수신된 영상 스트림을 처리하도록 영상 처리부(170)를 제어하며, 도 6d에 도시된 바와 같이, 영상 처리된 제4 방송 컨텐츠(640) 및 제1 방송 컨텐츠(610)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
도 5a 내지 도 6d에 도시된 바와 같은 방법을 통해, 사용자는 사용자 단말(100)에서 시청하고자 하는 영상 컨텐츠를 변경할 수 있다.
그리고, 사용자 단말(100)이 복수의 방송 컨텐츠를 디스플레이하는 동안 복수의 방송 컨텐츠 중 하나에 기설정된 사용자 인터렉션이 감지된 경우, 제어부(140)는 기설정된 인터렉션이 감지된 방송 컨텐츠에 대한 정보를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다.
본 발명의 일 실시예로, 도 7a에 도시된 바와 같이, 디스플레이 장치(200)가 제1 방송 컨텐츠(710)를 디스플레이하고, 사용자 단말(100)이 제2 방송 컨텐츠(720) 및 제3 방송 컨텐츠(730)를 디스플레이하는 동안 감지부(130)를 통해 제3 방송 컨텐츠(830)를 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 제3 방송 컨텐츠(730)에 대한 정보를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 이때, 제3 영상 컨텐츠(730)에 대한 정보에는 제3 영상 컨텐츠(730)의 ID 정보, 제3 방송 컨텐츠(730)를 재생하라는 제어 명령 및 드래그 인터렉션의 드래그 양에 대한 정보를 포함할 수 있다. 그리고, 디스플레이 장치(200)는 판단된 드래그 양에 따라 도 7b에 도시된 바와 같이, 제3 방송 컨텐츠(730) 중 일부 영역을 디스플레이할 수 있다. 그리고, 사용자 단말(100)의 제어부(140) 역시 판단된 드래그 양에 따라 도 7b에 도시된 바와 같이, 제3 방송 컨텐츠(730)의 다른 일부 영역을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 제3 방송 컨텐츠(730)에 대한 정보에 포함된 드래그 양이 기설정된 값 이상인 경우, 디스플레이 장치(200)는 도 7c에 도시된 바와 같이, 제3 방송 컨텐츠(730)를 전체 화면에 디스플레이할 수 있다.
본 발명의 다른 실시예로, 도 8a에 도시된 바와 같이, 디스플레이 장치(200)가 제1 방송 컨텐츠(810)를 디스플레이하고, 사용자 단말(100)이 제2 방송 컨텐츠(820) 및 제3 방송 컨텐츠(830)를 디스플레이하는 동안 감지부(130)를 통해 제2 방송 컨텐츠(820) 및 3 방송 컨텐츠(830) 사이의 경계선을 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 제어부(140)는 제2 방송 컨텐츠(820) 및 제3 방송 컨텐츠(830)에 대한 정보를 디스플레이 장치(200)로 전송하도록 통신부(120)를 제어할 수 있다. 이때, 제2 및 제3 영상 컨텐츠(820,830)에 대한 정보에는 제2 및 제3 영상 컨텐츠(820,830)의 ID 정보, 제2 및 제3 방송 컨텐츠(730)를 재생하라는 제어 명령 및 드래그 인터렉션의 드래그 양에 대한 정보를 포함할 수 있다. 그리고, 디스플레이 장치(200)는 판단된 드래그 양에 따라 도 8b에 도시된 바와 같이, 제2 방송 컨텐츠(820) 및 제3 방송 컨텐츠(830) 중 일부 영역을 디스플레이할 수 있다. 그리고, 사용자 단말(100)의 제어부(140) 역시 판단된 드래그 양에 따라 도 8b에 도시된 바와 같이, 제2 방송 컨텐츠(820) 및 제3 방송 컨텐츠(830)의 다른 일부 영역을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 제2 및 제3 방송 컨텐츠(820,830)에 대한 정보에 포함된 드래그 양이 기설정된 값 이상인 경우, 디스플레이 장치(200)는 도 8c에 도시된 바와 같이, 제2 및 제3 방송 컨텐츠(820, 830)를 전체 화면에 디스플레이하는 듀얼 모드로 동작할 수 있다.
도 7a 내지 도 8c에서 설명한 바와 같은 과정을 통해 사용자는 사용자 단말(100)을 통해 시청하는 영상 컨텐츠를 더욱 직관적으로 디스플레이 장치(200)를 통해 시청할 수 있게 된다.
한편, 도 4a 내지 도 8c에서는 영상 컨텐츠가 디스플레이 장치(200)로부터 수신된 방송 컨텐츠인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 외부의 서버로부터 수신되는 VOD 컨텐츠일 수 있다. 이 경우, 외부의 서버에 저장된 타임스탬프 정보를 이용하여 디스플레이 장치(200) 및 사용자 단말(100)이 재생하는 영상 컨텐츠를 동기화하여 재생할 수 있게 된다.
이하에서는 도 9를 참조하여, 디스플레이 장치(200)에 대해 더욱 상세히 설명하기로 한다. 도 9에 도시된 바와 같이, 디스플레이 장치(200)는 영상 수신부(210), 영상 처리부(220), 디스플레이부(230), 통신부(240), 저장부(250), 입력부(260) 및 제어부(270)를 포함한다.
영상 수신부(210)는 외부로부터 영상 스트림을 수신한다. 특히, 영상 수신부(210)는 외부의 방송국으로부터 방송 컨텐츠를 포함하는 영상 스트림을 수신할 수 있으며, 외부의 서버로부터 VOD 영상 컨텐츠를 포함하는 영상 스트림을 수신할 수 있다.
특히, 영상 수신부(210)는 복수의 방송 컨텐츠를 디스플레이하거나 외부의 사용자 단말(100)로 전송하기 위하여, 복수의 튜너를 포함할 수 있다. 이때, 영상 수신부(210)는 2개의 튜너를 포함할 수 있으나, 이는 일 실시예에 불과할 뿐, 3개 이상의 튜너를 포함할 수 있다.
영상 처리부(220)는 영상 수신부(210)를 통해 수신된 영상 스트림을 처리할 수 있다. 구체적으로, 영상 처리부(220)는 싱글 모드로 동작하는 경우, 하나의 영상 컨텐츠만이 디스플레이되도록 영상 스트림을 처리하며, 듀얼 모드로 동작하는 경우, 두 개의 영상 컨텐츠가 디스플레이되도록 영상 스트림을 처리할 수 있다. 특히, 사용자 단말(100)로부터 영상 컨텐츠에 대한 정보가 수신된 경우, 영상 처리부(220)는 드래그 인터렉션의 드래그 양에 따라 영상 컨텐츠를 처리할 수 있다.
디스플레이부(230)는 제어부(270)의 제어에 따라 적어도 하나의 영상 컨텐츠를 디스플레이한다. 특히, 디스플레이부(230)는 싱글 모드로 동작하는 경우, 하나의 영상 컨텐츠를 디스플레이할 수 있으며, 듀얼 모드로 동작하는 경우, 복수의 영상 컨텐츠를 디스플레이할 수 있다.
통신부(240)는 외부의 다양한 기기와 통신을 수행한다. 특히, 통신부(240)는 외부의 사용자 단말(100)과 통신을 수행할 수 있다. 구체적으로, 통신부(240)는 사용자 단말(100)로 영상 컨텐츠를 전송할 수 있으며, 사용자 단말(100)로부터 제어 명령이 포함된 영상 컨텐츠에 대한 정보를 수신할 수 있다.
저장부(250)는 디스플레이 장치(200)를 구동하기 위한 다양한 데이터 및 프로그램이 저장된다. 특히, 저장부(250)는 사용자 단말(100)과 동기화하여 영상 컨텐츠를 디스플레이할 수 있도록 영상 컨텐츠를 일시저장하는 버퍼를 포함할 수 있다. 버퍼는 영상 스트림에 포함된 타임스탬프 정보를 이용하여 영상 컨텐츠를 영상 처리부(220) 또는 디스플레이부(230)로 출력할 수 있다.
입력부(260)는 디스플레이 장치(200)를 제어하기 위한 다양한 사용자 명령을 입력받는다. 이때, 입력부(260)는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 포인팅 디바이스, 모션 입력 장치, 음성 입력 장치, 마우스, 키보드 등과 같은 다양한 입력장치로 구현될 수 있다.
제어부(270)는 디스플레이 장치(200)의 전반적인 동작을 제어할 수 있다. 구체적으로, 제어부(270)는 사용자 단말(100)로 제1 영상 컨텐츠를 전송하도록 통신부(240)를 제어할 수 있다. 이때, 제어부(270)는 제2 영상 컨텐츠를 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
그리고, 통신부(240)를 통해 사용자 단말(100)로부터 제2 컨텐츠에 대한 컨텐츠 요청 신호가 수신된 경우, 제어부(270)는 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 먹싱하여 영상 스트림을 생성하도록 영상 처리부(220)를 제어할 수 있다. 그리고, 제어부(270)는 먹싱된 영상 스트림을 사용자 단말(100)로 전송하도록 통신부(240)를 제어할 수 있다.
또한, 제1 영상 컨텐츠를 디스플레이하는 동안 통신부(240)를 통해 사용자 단말(100)로부터 컨텐츠 전환 명령을 포함하는 제2 영상 컨텐츠에 대한 정보를 수신하는 경우, 제어부(270)는 제1 영상 컨텐츠를 디스플레이 화면에서 제거하고 제2 영상 컨텐츠를 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 이때, 사용자 단말(100)로부터 컨텐츠 전환 명령을 포함하는 제2 영상 컨텐츠 및 제3 영상 컨텐츠에 대한 정보를 수신하는 경우, 제어부(270)는 제1 영상 컨텐츠를 디스플레이 화면에서 제거하고, 제2 및 제3 영상 컨텐츠를 동시에 디스플레이하는 듀얼 모드로 동작할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 사용자 단말(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말(100)은 제1 영상 컨텐츠를 디스플레이한다(S1010). 이때, 제1 영상 컨텐츠는 디스플레이 장치(200)로부터 수신되는 영상 컨텐츠일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 영상 컨텐츠로 구현될 수 있다.
그리고, 사용자 단말(100)은 기설정된 사용자 인터렉션이 감지되었는지 여부를 판단한다(S1020). 이때, 기설정된 사용자 인터렉션은 사용자 단말의 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션일 수 있다.
기설정된 사용자 인터렉션이 감지된 경우(S1020-Y), 사용자 단말(100)은 디스플레이 장치(200)로 컨텐츠 요청 신호를 전송한다(S1030).
그리고, 사용자 단말(100)은 컨텐츠 요청 신호에 응답하여 디스플레이 장치(200)가 현재 디스플레이하는 제2 영상 컨텐츠를 디스플레이 장치(200)로부터 수신한다(S1040).
그리고, 사용자 단말(100)은 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 함께 디스플레이한다(S1050). 이때, 사용자 단말(100)은 제1 영상 컨텐츠를 왼쪽 영역에 제2 영상 컨텐츠를 오른쪽 영역에 디스플레이하는 듀얼 모드로 동작할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 멀티미디어 시스템의 제어 방법을 설명하기 위한 시퀀스 도이다.
우선, 사용자 단말(100)은 제1 영상 컨텐츠를 디스플레이하고(S1110), 디스플레이 장치(200)는 제2 영상 컨텐츠를 디스플레이한다(S1120).
그리고, 사용자 단말(100)은 기설정된 사용자 인터렉션을 감지한다(S1130). 이때, 기설정된 사용자 인터렉션은 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션일 수 있다.
그리고, 사용자 단말(100)은 컨텐츠 요청 신호를 디스플레이 장치(200)로 전송한다(S1140). 이때, 컨텐츠 요청 신호는 디스플레이 장치(200)가 현재 디스플레이하는 컨텐츠를 요청하는 신호일 수 있다.
그리고, 디스플레이 장치(200)는 제2 영상 컨텐츠를 사용자 단말(100)로 전송한다(S1150).
그리고, 사용자 단말(100)은 제1 영상 컨텐츠 및 제2 영상 컨텐츠를 함께 디스플레이한다(S1160). 이때, 사용자 단말(100)이 재생하는 제2 영상 컨텐츠와 디스플레이 장치(200)가 재생하는 제2 영상 컨텐츠는 동기화되어 재생될 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 의해, 사용자는 디스플레이 장치(200)가 디스플레이하는 영상 컨텐츠를 사용자 단말(100)을 통해 더욱 쉽게 확인할 수 있게 된다.
한편, 상술한 실시예에서는 사용자 단말(100) 또는 디스플레이 장치(200)가 두 개의 영상 컨텐츠를 동시에 디스플레이할 수 있다고 설명하였으나, 이는 일 실시예에 불과할 뿐, 세 개 이상의 영상 컨텐츠를 동시에 디스플레이할 있다. 예를 들어, 사용자 단말(100) 또는 디스플레이 장치(200)는 도 12a에 도시된 바와 같이, 세 개의 영상 컨텐츠(1210,1220,1230)를 동시에 디스플레이할 수 있으며, 도 12b에 도시된 바와 같이, 네 개의 영상 컨텐츠(1240,1250,1260,1270)를 동시에 디스플레이할 수 있다. 구체적으로, 사용자 단말(100)이 두 개의 영상 컨텐츠를 동시에 디스플레이하는 동안 기설정된 사용자 인터렉션이 감지된 경우, 사용자 단말(100)은 디스플레이 장치(200)로 디스플레이 장치(200)가 현재 디스플레이하는 영상 컨텐츠를 요청하는 신호를 전송할 수 있다. 디스플레이 장치(200)로부터 디스플레이 장치(200)가 현재 디스플레이하는 영상 컨텐츠가 수신된 경우, 사용자 단말(100)은 기존에 디스플레이하는 두 개의 영상 컨텐츠 및 수신된 영상 컨텐츠를 포함하는 세 개의 영상 컨텐츠를 도 12a에 도시된 바와 같이 디스플레이할 수 있다.
또한, 상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다. 구체적으로, 디스플레이 장치의 제어 방법을 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 디스플레이부 120: 통신부
130: 감지부 140: 제어부
150: 오디오 출력부 160: 저장부
170: 영상 처리부 180: 오디오 처리부

Claims (25)

  1. 사용자 단말의 제어 방법에 있어서,
    제1 영상 컨텐츠를 디스플레이하는 제1 디스플레이 단계;
    기설정된 사용자 인터렉션이 감지된 경우, 외부의 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하는 단계; 및
    상기 디스플레이 장치로부터 상기 디스플레이 장치가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 상기 제1 영상 컨텐츠와 상기 수신된 제2 영상 컨텐츠를 함께 디스플레이하는 제2 디스플레이 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 기설정된 사용자 인터렉션은,
    상기 사용자 단말의 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션이며,
    상기 제2 디스플레이 단계는,
    상기 드래그 인터렉션의 드래그 양에 따라 상기 제2 영상 컨텐츠의 디스플레이 양을 판단하고, 상기 판단된 양에 따라 상기 제2 영상 컨텐츠 중 일부를 상기 제1 영상 컨텐츠와 함께 디스플레이하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 제2 디스플레이 단계는,
    상기 사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나로 꺾이는 드래그 인터렉션이 감지된 경우, 상기 사용자 터치가 꺾인 방향에 대응되는 영역에 상기 제2 영상 컨텐츠를 축소하여 디스플레이하고, 상기 꺾인 방향과 반대 방향에 대응되는 영역에 상기 제1 영상 컨텐츠를 축소하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  4. 제2항에 있어서,
    상기 제2 디스플레이 단계는,
    상기 드래그 인터렉션에 따라 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 상기 사용자 터치가 아래 방향으로 기설정된 거리 이상으로 드래그된 경우, 상기 제2 영상 컨텐츠를 전체 화면으로 디스플레이하고, 상기 제1 영상 컨텐츠를 제거하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 하나를 터치한 후 좌우 방향 중 하나로 드래그하는 드래그 인터렉션이 감지되면, 상기 터치된 영상 컨텐츠를 다른 영상 컨텐츠로 변경하여 디스플레이하는 제3 디스플레이 단계;를 더 포함하는 제어 방법.
  6. 제5항에 있어서,
    상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 방송 컨텐츠인 경우,
    상기 제3 디스플레이 단계는,
    상기 터치된 방송 컨텐츠를 드래그 인터렉션의 방향에 따라 상이한 채널의 방송 컨텐츠로 변경하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    기설정된 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 주위에 컨텐츠 리스트를 디스플레이하는 단계; 및
    상기 컨텐츠 리스트에 포함된 복수의 영상 컨텐츠 중 제3 영상 컨텐츠를 터치한 후, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 중 하나로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 드래그된 영상 컨텐츠를 상기 제3 영상 컨텐츠로 변경하여 디스플레이하는 단계;를 더 포함하는 제어 방법.
  8. 제1항에 있어서,
    상기 제1 영상 컨텐츠를 터치한 후 위 방향으로 드래그하는 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하는 단계;를 더 포함하고,
    상기 디스플레이 장치는,
    상기 제1 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠를 디스플레이 화면에 디스플레이하는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 제1 영상 컨텐츠와 상기 제2 영상 컨텐츠 사이의 경계선을 터치한 후 위 방향으로 드래그하는 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하는 단계;를 포함하고,
    상기 디스플레이 장치는,
    상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이 화면에 동시에 디스플레이하는 것을 특징으로 하는 제어 방법.
  10. 제1항에 있어서,
    상기 제1 디스플레이 단계는,
    상기 디스플레이 장치로부터 제1 영상 컨텐츠에 대한 영상 스트림을 수신하여 디스플레이하며,
    상기 제3 디스플레이 단계는,
    상기 디스플레이 장치로부터 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 먹싱된 영상 스트림을 수신하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  11. 제1항에 있어서,
    상기 디스플레이 장치는,
    상기 사용자 단말이 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이하는 동안 상기 제2 영상 컨텐츠를 디스플레이하며,
    상기 디스플레이 장치 및 상기 휴대 단말은 상기 제2 영상 컨텐츠의 메타 데이터에 포함된 타임스탬프 정보를 이용하여 상기 제2 영상 컨텐츠를 동기화하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  12. 디스플레이 장치와 연동하여 동작하는 사용자 단말에 있어서,
    제1 영상 컨텐츠를 디스플레이하는 디스플레이부;
    상기 디스플레이 장치와 통신을 수행하는 통신부;
    사용자 인터렉션을 감지하는 감지부; 및
    상기 감지부를 통해 기설정된 사용자 인터렉션이 감지된 경우, 상기 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하도록 상기 통신부를 제어하며, 상기 디스플레이 장치로부터 상기 디스플레이 장치가 현재 디스플레이하고 있는 제2 영상 컨텐츠가 수신된 경우, 상기 제1 영상 컨텐츠와 상기 수신된 제2 영상 컨텐츠를 함께 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 사용자 단말.
  13. 제12항에 있어서,
    상기 기설정된 사용자 인터렉션은,
    상기 사용자 단말의 터치 스크린의 상단 영역을 터치한 후 아래 방향으로 드래그하는 드래그 인터렉션이며,
    상기 제어부는,
    상기 드래그 인터렉션의 드래그 양에 따라 상기 제2 영상 컨텐츠의 디스플레이 양을 판단하고, 상기 판단된 양에 따라 상기 제2 영상 컨텐츠 중 일부를 상기 제1 영상 컨텐츠와 함께 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 감지부를 통해 상기 사용자 터치가 아래 방향으로 이동하는 도중 좌우 방향 중 하나로 꺾이는 드래그 인터렉션이 감지된 경우, 상기 사용자 터치가 꺾인 방향에 대응되는 영역에 상기 제2 영상 컨텐츠를 축소하여 디스플레이하고, 상기 꺾인 방향과 반대 방향에 대응되는 영역에 상기 제1 영상 컨텐츠를 축소하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  15. 제13항에 있어서,
    상기 제어부는,
    상기 드래그 인터렉션에 따라 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 동시에 디스플레이하는 동안 상기 사용자 터치가 아래 방향으로 기설정된 거리 이상으로 드래그된 경우, 상기 제2 영상 컨텐츠를 전체 화면으로 디스플레이하고, 상기 제1 영상 컨텐츠를 제거하는 것을 특징으로 하는 사용자 단말.
  16. 제12항에 있어서,
    상기 제어부는,
    상기 감지부를 통해 상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠 중 하나를 터치한 후 좌우 방향 중 하나로 드래그하는 드래그 인터렉션이 감지되면, 상기 터치된 영상 컨텐츠를 다른 영상 컨텐츠로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  17. 제16항에 있어서,
    상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 방송 컨텐츠인 경우,
    상기 제어부는,
    상기 터치된 방송 컨텐츠를 드래그 인터렉션의 방향에 따라 상이한 채널의 방송 컨텐츠로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  18. 제12항에 있어서,
    상기 제어부는,
    기설정된 사용자 명령이 입력된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 주위에 컨텐츠 리스트를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 컨텐츠 리스트에 포함된 복수의 영상 컨텐츠 중 제3 영상 컨텐츠를 터치한 후, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠 중 하나로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 드래그된 영상 컨텐츠를 상기 제3 영상 컨텐츠로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
  19. 제12항에 있어서,
    상기 제어부는,
    상기 감지부를 통해 상기 제1 영상 컨텐츠를 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 제1 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하고,
    상기 디스플레이 장치는,
    상기 제1 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠를 디스플레이 화면에 디스플레이하는 것을 특징으로 하는 사용자 단말.
  20. 제12항에 있어서,
    상기 제어부는,
    상기 감지부를 통해 상기 제1 영상 컨텐츠와 상기 제2 영상 컨텐츠 사이의 경계선을 터치한 후 위 방향으로 드래그하는 드래그 인터렉션이 감지된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하며,
    상기 디스플레이 장치는,
    상기 제1 영상 컨텐츠 및 제2 영상 컨텐츠에 대한 정보가 수신된 경우, 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이 화면에 동시에 디스플레이하는 것을 특징으로 하는 사용자 단말.
  21. 제12항에 있어서,
    상기 제어부는,
    상기 통신부를 통해 상기 디스플레이 장치로부터 제1 영상 컨텐츠에 대한 영상 스트림을 수신하는 경우, 상기 수신된 영상 스트림을 처리하여 상기 제1 영상 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하며,
    상기 통신부를 통해 상기 디스플레이 장치로부터 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠가 먹싱(muxing)된 영상 스트림을 수신하는 경우, 상기 먹싱된 영상 스트림을 처리하여 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 처리하여 디스플레이하는 것을 특징으로 하는 사용자 단말.
  22. 제12항에 있어서,
    상기 디스플레이 장치는,
    상기 사용자 단말이 상기 제1 영상 컨텐츠 및 상기 제2 영상 컨텐츠를 디스플레이하는 동안 상기 제2 영상 컨텐츠를 디스플레이하며,
    상기 디스플레이 장치 및 상기 휴대 단말은 상기 제2 영상 컨텐츠의 메타 데이터에 포함된 타임스탬프 정보를 이용하여 상기 제2 영상 컨텐츠를 동기화하여 디스플레이하는 것을 특징으로 하는 사용자 단말.
  23. 디스플레이 장치와 연동하여 동작하는 사용자 단말에 있어서,
    복수의 영상 컨텐츠를 디스플레이하는 디스플레이부;
    상기 디스플레이 장치와 통신을 수행하는 통신부;
    사용자 인터렉션을 감지하는 감지부; 및
    상기 감지부를 통해 기설정된 사용자 인터렉션이 감지된 경우, 상기 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하도록 상기 통신부를 제어하며, 상기 통신부를 통해 상기 디스플레이 장치로부터 상기 디스플레이 장치가 현재 디스플레이하고 있는 다른 영상 컨텐츠가 수신된 경우, 상기 복수의 영상 컨텐츠와 상기 다른 영상 컨텐츠를 함께 디스플레이하도록 상기 통신부를 제어하는 제어부;를 포함하는 사용자 단말.
  24. 디스플레이 장치와 연동하여 동작하는 사용자 단말에 있어서,
    복수의 영상 컨텐츠를 디스플레이하는 디스플레이부;
    상기 디스플레이 장치와 통신을 수행하는 통신부;
    사용자 인터렉션을 감지하는 감지부; 및
    상기 디스플레이 장치로 복수의 영상 컨텐츠가 수신된 경우, 상기 수신된 복수의 영상 컨텐츠를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 감지부를 통해 상기 복수의 영상 컨텐츠 중 하나에 기설정된 사용자 인터렉션이 감지된 경우, 상기 기설정된 인터렉션이 감지된 영상 컨텐츠에 대한 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 사용자 단말.
  25. 멀티미디어 시스템의 제어 방법에 있어서,
    사용자 단말이, 제1 영상 컨텐츠를 디스플레이하는 단계;
    디스플레이 장치가, 제2 영상 컨텐츠를 디스플레이하는 단계;
    기설정된 사용자 인터렉션이 감지된 경우, 상기 사용자 단말이, 상기 디스플레이 장치로 영상 컨텐츠를 요청하는 신호를 전송하는 단계;
    상기 디스플레이 장치가 상기 요청 신호에 응답하여 상기 제2 영상 컨텐츠를 전송하는 단계;
    상기 디스플레이 장치로부터 제2 영상 컨텐츠가 수신된 경우, 상기 사용자 단말이, 상기 제1 영상 컨텐츠와 상기 수신된 제2 영상 컨텐츠를 함께 디스플레이하는 단계;를 포함하는 제어 방법.


KR1020140070979A 2014-06-11 2014-06-11 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템 KR20150142347A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140070979A KR20150142347A (ko) 2014-06-11 2014-06-11 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
EP15807263.7A EP3156908A4 (en) 2014-06-11 2015-06-08 User terminal, method for controlling same, and multimedia system
PCT/KR2015/005722 WO2015190781A1 (ko) 2014-06-11 2015-06-08 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
CN201580030823.1A CN106663071A (zh) 2014-06-11 2015-06-08 用户终端、控制用户终端的方法及多媒体***
US15/316,735 US20170188087A1 (en) 2014-06-11 2015-06-08 User terminal, method for controlling same, and multimedia system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140070979A KR20150142347A (ko) 2014-06-11 2014-06-11 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템

Publications (1)

Publication Number Publication Date
KR20150142347A true KR20150142347A (ko) 2015-12-22

Family

ID=54833810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140070979A KR20150142347A (ko) 2014-06-11 2014-06-11 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템

Country Status (5)

Country Link
US (1) US20170188087A1 (ko)
EP (1) EP3156908A4 (ko)
KR (1) KR20150142347A (ko)
CN (1) CN106663071A (ko)
WO (1) WO2015190781A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719289B2 (en) * 2015-11-05 2020-07-21 Topcon Positioning Systems, Inc. Monitoring and control display system and method using multiple displays in a work environment
JP2019008365A (ja) * 2017-06-20 2019-01-17 シャープ株式会社 表示装置及びプログラム
EP3667484A1 (en) * 2017-08-22 2020-06-17 Samsung Electronics Co., Ltd. Electronic device and control method thereof
WO2019231982A1 (en) 2018-05-29 2019-12-05 Curiouser Products Inc. A reflective video display apparatus for interactive training and demonstration and methods of using same
US11497980B2 (en) * 2020-04-30 2022-11-15 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391602B1 (ko) * 2007-05-29 2014-05-07 삼성전자주식회사 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기
US20100077431A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation User Interface having Zoom Functionality
KR101588660B1 (ko) * 2008-09-30 2016-01-28 삼성전자주식회사 영상 이동이 가능한 디스플레이 장치 및 그 방법
JP5458842B2 (ja) * 2009-12-02 2014-04-02 ソニー株式会社 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム
US20110239142A1 (en) * 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
US8966401B2 (en) * 2010-05-03 2015-02-24 Lg Electronics Inc. Electronic device and methods of sending information with the electronic device, controlling the electronic device, and transmitting and receiving information in an information system
WO2012020865A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2012046890A1 (ko) * 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US10303357B2 (en) * 2010-11-19 2019-05-28 TIVO SOLUTIONS lNC. Flick to send or display content
US8669970B2 (en) * 2011-01-27 2014-03-11 Apple Inc. Master synchronization for multiple displays
US9632688B2 (en) * 2011-03-31 2017-04-25 France Telecom Enhanced user interface to transfer media content
WO2012139240A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Next generation television with content shifting and interactive selectability
EP2740264B1 (en) * 2011-08-05 2016-10-19 Thomson Licensing Video peeking
US9462210B2 (en) * 2011-11-04 2016-10-04 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
WO2013111239A1 (ja) * 2012-01-26 2013-08-01 パナソニック株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
KR101919788B1 (ko) * 2012-05-31 2018-11-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9268424B2 (en) * 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
KR101971624B1 (ko) * 2012-07-25 2019-04-23 삼성전자주식회사 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
US20140112636A1 (en) * 2012-10-19 2014-04-24 Arcsoft Hangzhou Co., Ltd. Video Playback System and Related Method of Sharing Video from a Source Device on a Wireless Display
CN103135929A (zh) * 2013-01-31 2013-06-05 北京小米科技有限责任公司 控制应用界面移动的方法、装置和终端设备
CA2901957C (en) * 2013-02-25 2021-06-15 Savant Systems, Llc Video tiling
KR102070868B1 (ko) * 2013-04-11 2020-01-29 엘지전자 주식회사 정보 제공 장치 및 그 방법
US9043850B2 (en) * 2013-06-17 2015-05-26 Spotify Ab System and method for switching between media streams while providing a seamless user experience
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기

Also Published As

Publication number Publication date
US20170188087A1 (en) 2017-06-29
WO2015190781A1 (ko) 2015-12-17
EP3156908A4 (en) 2018-01-24
EP3156908A1 (en) 2017-04-19
CN106663071A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
KR102364443B1 (ko) 디스플레이 장치의 이의 디스플레이 방법
US9851862B2 (en) Display apparatus and displaying method for changing a cursor based on a user change of manipulation mode
US20150312508A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
EP2743814A2 (en) Display apparatus and method of providing user interface thereof
US20150339026A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
KR20150142347A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
US9411488B2 (en) Display apparatus and method for controlling display apparatus thereof
KR20160019693A (ko) 사용자 단말 장치, 디스플레이 장치, 시스템 및 그 제어 방법
KR20140100306A (ko) 휴대 기기 및 이의 외부 기기 제어 방법
CN105191328A (zh) 显示装置和向显示装置提供用户接口的方法
KR20150111095A (ko) 디스플레이 장치 및 이의 제어 방법
KR20140083229A (ko) 디스플레이 장치 및 이의 메뉴 제공 방법
CN103905753A (zh) 显示设备和用于控制该显示设备的方法
KR20160134355A (ko) 디스플레이 장치 및 이의 제어 방법
KR20140142071A (ko) 전자 기기 및 이의 문서 작성 방법
KR20140072737A (ko) 디스플레이 장치 및 이의 사용자 메뉴 제공 방법
US10924807B2 (en) Display device and control method therefor
US20150026571A1 (en) Display apparatus and method for providing a user interface
KR20160139376A (ko) 디스플레이 장치 및 이의 제어 방법
KR20140089285A (ko) 디스플레이 장치 및 이의 제어 방법
KR20160097392A (ko) 디스플레이 장치 및 이의 ｕｉ 제공 방법
KR20150017575A (ko) 사용자 단말 및 이의 제어 방법
KR20140089475A (ko) 디스플레이 장치 및 이의 ui 제공 방법
KR20140089291A (ko) 디스플레이 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid