KR20150026367A - 화면 미러링을 이용한 서비스 제공 방법 및 그 장치 - Google Patents

화면 미러링을 이용한 서비스 제공 방법 및 그 장치 Download PDF

Info

Publication number
KR20150026367A
KR20150026367A KR20130105101A KR20130105101A KR20150026367A KR 20150026367 A KR20150026367 A KR 20150026367A KR 20130105101 A KR20130105101 A KR 20130105101A KR 20130105101 A KR20130105101 A KR 20130105101A KR 20150026367 A KR20150026367 A KR 20150026367A
Authority
KR
South Korea
Prior art keywords
sink device
application
service
information
mirroring
Prior art date
Application number
KR20130105101A
Other languages
English (en)
Other versions
KR102071579B1 (ko
Inventor
서지환
강필섭
장수호
함성일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130105101A priority Critical patent/KR102071579B1/ko
Priority to US14/473,176 priority patent/US9652193B2/en
Priority to EP14182885.5A priority patent/EP2843919B1/en
Publication of KR20150026367A publication Critical patent/KR20150026367A/ko
Application granted granted Critical
Publication of KR102071579B1 publication Critical patent/KR102071579B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

상기 싱크 디바이스의 화면 상에 디스플레이된 복수의 미러링 영상들에 관한 서비스를 제공하는 방법에 있어서, 사용자 입력에 기초하여 상기 싱크 디바이스의 화면 상에 디스플레이된 제 1 미러링 영상에서 제 1 객체를 결정하는 단계, 상기 제 1 객체가 상기 싱크 디바이스의 화면 상에 디스플레이된 제 2 미러링 영상으로 이동됨에 따라, 상기 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정하는 단계, 상기 제 2 미러링 영상을 통하여 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계, 및 결정된 상기 서비스의 실행 결과를 출력하는 단계를 포함하는 본 발명의 일 실시예에 따른 서비스 제공 방법이 제공된다.

Description

화면 미러링을 이용한 서비스 제공 방법 및 그 장치 {METHOD FOR PROVIDING SERVICES USING SCREEN MIRRORING AND APPARATUS THEREOF}
본원 발명은 화면 미러링을 이용한 서비스 제공 방법 및 그에 따른 장치에 관한 것이다. 보다 상세하게는, 복수의 미러링 영상에 나타난 정보를 이용하여 서비스를 제공하는 방법 및 장치에 관한 것이다.
미러링(mirroring) 기술은 복수의 장치들 간에 화면에 출력되는 데이터를 공유하고 조작할 수 있게 한다. 예를 들어, 미러링 기술을 이용하면 태블릿으로 영화를 스트리밍 받는 동시에, 이를 거실에 있는 TV에서 재생하여 볼 수 있다.
또한, 미러링 기술은 Wi-Fi Direct와 같은 장치간 연결 기술로 빠르게 발전하고 있으며, 스마트폰, 태블릿, 노트북, TV 및 게임 콘솔 등과 같은 화면(screen)을 출력할 수 있는 모든 전자기기에 적용할 수 있도록 널리 개발되고 있다.
일반적으로 미러링 장치들은 비디오 또는 오디오 데이터뿐만 아니라 상호 제어를 위한 컨트롤 데이터를 전송할 수 있으나, 단순히 키보드, 마우스 또는 터치 정보만을 전달하고 있다.
따라서, 미러링 서비스 이용 시, 미러링 화면에 나타난 정보를 직접적으로 이용할 수 없다. 특히, 하나의 디바이스에서 복수의 미러링 영상을 디스플레이 하는 경우, 복수의 미러링 영상에 나타난 정보를 상호 이용할 수 없는 문제점이 있다.
본 발명은 복수의 미러링 영상들에 관한 서비스를 제공하는 방법 및 이를 위한 장치를 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 사용자 입력에 기초하여 상기 싱크 디바이스의 화면 상에 디스플레이된 제 1 미러링 영상에서 제 1 객체를 결정하는 단계; 상기 제 1 객체가 상기 싱크 디바이스의 화면 상에 디스플레이된 제 2 미러링 영상으로 이동됨에 따라, 상기 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정하는 단계; 상기 제 2 미러링 영상을 통하여 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계; 및 결정된 상기 서비스의 실행 결과를 출력하는 단계;를 포함하는, 상기 싱크 디바이스의 화면 상에 디스플레이된 복수의 미러링 영상들에 관한 서비스를 제공하는 방법을 제공할 수 있다.
또한, 본 발명의 제 2 측면은, 적어도 하나의 프로그램이 저장되는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 실행 결과를 표시하도록 하는 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 사용자 입력에 기초하여 상기 싱크 디바이스의 화면 상에 디스플레이된 제 1 미러링 영상에서 제 1 객체를 결정하는 단계; 상기 제 1 객체가 상기 싱크 디바이스의 화면 상에 디스플레이된 제 2 미러링 영상으로 이동됨에 따라, 상기 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정하는 단계; 상기 제 2 미러링 영상을 통하여 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계; 및 결정된 상기 서비스의 실행 결과를 출력하는 단계;를 실행하는 명령어들을 포함하는 화면 상에 디스플레이된 복수의 미러링 영상들에 관한 서비스를 제공하는 싱크 디바이스를 제공할 수 있다.
또한, 본 발명의 제 3 측면은, 싱크 디바이스로부터 객체에 관한 정보, 어플리케이션에 대한 정보 및 상기 객체에 관한 정보에 기초하여 상기 어플리케이션을 실행한 결과에 대한 미러링 요청을 수신하는 단계; 및 상기 어플리케이션의 실행 결과를 상기 싱크 디바이스로 미러링하는 단계를 포함하는 싱크 디바이스에게 미러링 서비스를 제공하는 방법을 제공할 수 있다.
또한, 본 발명의 제 4 측면은, 외부 디바이스와 통신하는 통신부; 적어도 하나의 프로그램이 저장되는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 실행 결과를 표시하도록 하는 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 상기 통신부를 통해 상기 싱크 디바이스로부터 객체에 관한 정보, 어플리케이션에 대한 정보 및 상기 객체에 관한 정보에 기초하여 상기 어플리케이션을 실행한 결과에 대한 미러링 요청을 수신하는 단계; 및 상기 통신부를 통해 상기 어플리케이션의 실행 결과를 상기 싱크 디바이스로 미러링하는 단계;를 실행하는 명령어들을 포함하는 소스 디바이스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 싱크 디바이스가 복수의 미러링 영상에 관한 서비스를 제공하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른, 싱크 디바이스가 사용자의 입력에 기초하여, 싱크 디바이스의 화면상에 디스플레이된 미러링 영상에서 객체를 결정하는 방법을 설명하는 도면이다.
도 3(a)은 본 발명의 일 실시예에 따른, 싱크 디바이스가 사용자로부터 객체 선택을 입력 받는 방법을 설명하기 위한 도면이다.
도 3(b)은 본 발명의 다른 실시예에 따른, 싱크 디바이스가 사용자로부터 객체 선택을 입력 받는 방법을 설명하기 위한 도면이다.
도 4은 본 발명의 일 실시예에 따른, 싱크 디바이스가, 사용자의 입력에 따라 복수의 미러링 영상에 관한 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
도 5(a)는 본 발명의 일 실시예에 따른, 싱크 디바이스가 사용자의 선택에 따라 객체를 결정하는 방법을 설명하기 위한 동작 흐름도이다.
도 5(b)는 본 발명의 일 실시예에 따른, 싱크 디바이스가 제 2 소스 디바이스를 이용하여 서비스를 제공하는 방법을 설명하기 위한 동작 흐름도이다.
도 6(a) 내지 도 6(c)는 본 발명의 일 실시예에 따른, 싱크 디바이스가 제 2 소스 디바이스를 이용하여 서비스를 제공하는 실시예을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른, 싱크 디바이스가 싱크 디바이스에 설치된 어플리케이션을 이용하여 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른, 싱크 디바이스가, 싱크 디바이스에 기 저장된 어플리케이션을 이용하여 미러링 영상에 관한 서비스를 제공하는 실시예를 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른, 싱크 디바이스가 제 3 디바이스를 이용하여 서비스를 제공하는 방법을 설명하기 위한 동작 흐름도이다.
도 10은 본 발명의 일 실시예에 따른, 싱크 디바이스가, 싱크 디바이스에 제 3 디바이스를 이용하여 미러링 영상과 관련된 서비스를 제공하는 실시예를 도시하는 도면이다.
도 11는 본 발명의 일 실시예에 따른 싱크 디바이스와 소스 디바이스의 블록도이다.
도 12은 본 발명의 다른 일 실시예에 따른 싱크 디바이스와 소스 디바이스의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
미러링 서비스의 제공에 있어서, 소스 디바이스는 자체적으로 디스플레이하고 있는 화면을 그대로 싱크 디바이스로 보내고, 싱크 디바이스는 수신한 화면을 그대로 디스플레이 한다.
이하에서는, 영상을 제공하는 디바이스를 소스 디바이스라 하고, 영상을 제공받는 디바이스를 싱크 디바이스라 칭한다.
미러링 서비스를 이용하는 다수개의 디바이스들은 1:1, 1:N, 또는 N:N 으로 연결되어 미러링을 실행할 수 있다. 적어도 하나의 소스 디바이스와 적어도 하나의 싱크 디바이스는 LAN(local area network), WAN(wide area network), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), CDMA, WCDMA, 근거리 통신(NFC: Near Field Communication) 등과 같이 매우 다양한 통신 네트워크 표준에 따라 상호 연결될 수 있다.
또한, 본 명세서에서 객체는 디바이스에 표시되어 사용자에 의해 조작되거나 사용자에 의해 의미가 정의될 수 있는 것을 일컫는다. 예를 들어 객체는, 어플리케이션 실행 이미지, 컨텐츠, 컨텐츠 실행 이미지에 나타나는 인물, 사물, 또는 어플리케이션 실행 이미지에 나타나는 아이콘을 포함할 수 있다. 어플리케이션은 디바이스에서 소정의 입력을 받아 소정 결과를 출력하는 프로그램을 일컫는다. 컨텐츠는 이미지, 동영상, 텍스트 등을 포함하는 소정 어플리케이션으로 실행될 수 있는 컨텐츠 자체 파일을 일컫는다. 인물, 사물 또는 아이콘은 컨텐츠 또는 어플리케이션이 실행되어 디바이스의 화면에 디스플레이 되는 인물, 사물, 또는 아이콘을 일컫는다.
또한, 객체가 어플리케이션 실행 이미지일 경우, 본 명세서에서 객체에 관한 정보는, 어플리케이션의 이름(예를 들면, 구글 지도, 구글 플레이어), 어플리케이션이 제공하는 서비스의 내용(예를 들면, 지도 검색 서비스, 컨텐츠 재생), 어플리케이션의 입력 포맷(예를 들면, 파일의 형식, 크기), 디바이스가 어플리케이션을 구별하기 위한 어플리케이션의 식별 정보를 포함할 수 있다. 또한, 객체가 컨텐츠일 경우, 본 명세서에서 객체에 관한 정보는, 컨텐츠의 파일명, 접근 URL 주소, 컨텐츠 파일의 형식, 컨텐츠 파일의 크기 등을 포함할 수 있다. 또한, 객체가 컨텐츠 실행 이미지에 나타나는 인물, 사물일 경우, 본 명세서에서 객체에 관한 정보는, 인물 또는 사물의 이름, 종류를 포함할 수 있다. 또한, 객체가 컨텐츠 실행 이미지에 나타나는 아이콘일 경우, 본 명세서에서 객체에 관한 정보는 아이콘이 상징하는 의미, 아이콘이 조작되었을 때 실행되는 내용을 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 복수의 미러링 영상에 관한 서비스를 제공하는 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 싱크 디바이스(100)는 제 1 미러링 영역(210) 에서 제 1 소스 디바이스(200)로부터 수신한 스트림을 렌더링하여 제 1 미러링 영상(220)을 디스플레이하고, 제 2 미러링 영역(310) 에서 제 2 소스 디바이스(300)로부터 수신한 스트림을 렌더링하여 제 2 미러링 영상(320)을 디스플레이 한다.
싱크 디바이스(100)는 사용자의 입력에 따라 제 1 미러링 영상(220) 또는 제 2 미러링 영상(320)에서 객체를 결정할 수 있다.
예를 들어, 제 1 미러링 영상(220) 에서, 객체를 선택하기 위한 사용자의 터치 입력이 있는 경우, 싱크 디바이스(100)는 사용자의 터치 입력이 있는 시점에 디스플레이 되는 제 1 영상 내의, 사용자가 터치한 위치에 대응하는 이미지를 제 1 영상(220)에서 선택된 제 1 객체(230)로 결정할 수 있다.
또한, 제 2 미러링 영상(320) 에서, 객체를 선택하기 위한 사용자의 터치 입력이 있는 경우, 싱크 디바이스(100)는 사용자의 터치 입력이 있는 시점에 디스플레이 되는 제 2 영상(320) 내의, 사용자가 터치한 위치에 대응하는 이미지를 제 2 영상(320)에서 선택된 제 2 객체(330)로 결정할 수 있다.
또한, 싱크 디바이스(100)는, 사용자의 입력에 의해 제 1 영상에서 선택된 제 1 객체(230)가 제 2 영상으로 이동된 경우, 이동된 위치에 대응하는 이미지를 제 2 영상(320)에서 선택된 제 2 객체(330)로 결정할 수 있다.
싱크 디바이스(100)는 제 1 객체(230) 및 제 2 객체(330)에 관한 정보에 기초하여 관련 서비스를 제공할 수 있다.
본 발명의 일실시예에 따른 싱크 디바이스(100)는 제 1 객체(230)가 컨텐츠, 인물, 사람 또는 아이콘 이고, 제 2 객체(330)가 어플리케이션인 경우, 싱크 디바이스(100)는 컨텐츠, 인물, 사람 또는 아이콘을 상기 어플리케이션으로 실행하는 서비스를 제공할 수 있다.
예를 들면, 제 1 객체(230) 가 특정 인물이고, 제 2 객체(330)가 검색 서비스를 제공하는 어플리케이션인 경우, 싱크 디바이스(100)는 특정 인물에 대한 검색 결과를 제공할 수 있다.
또한, 제 1 객체(230) 가 동영상이고, 제 2 객체(330)가 SNS 게시판인 경우, 싱크 디바이스(100)는 동영상을 SNS 게시판에 업로드 시킬 수 있다.
또한, 제 1 객체(230) 가 음원 리스트이고, 제 2 객체(330)가 재생 플레이어인 경우, 싱크 디바이스(100)는 선택된 음원을 선택된 재생 플레이어로 재생시킬 수 있다.
본 발명의 다른 실시예에 따른 싱크 디바이스(100)는, 제 1 객체(230) 및 제 2 객체(330)가 컨텐츠, 인물, 사람 또는 아이콘인 경우, 제 1 객체와 제 2 객체에 관한 정보에 기초하여 관련 서비스를 제공할 수 있다.
예를 들어, 제 1 영상(220)에서 선택된 제 1 객체(230)가 맛집을 광고하는 동영상이고, 제 2 영상(320)에서 선택된 제 2 객체(330)가 여행에 관한 동영상인 경우, 싱크 디바이스(100)는 여행지 근처의 맛집에 관한 광고 영상을 제공할 수 있다.
객체와 관련된 서비스는 객체의 이름, 종류, 성격에 따라 매칭되어 미리 저장되어 있을 수 있다. 따라서, 사용자에 의해 객체가 선택된 경우, 선택된 객체에 따른 서비스가 결정될 수 있다.
사용자로부터 객체 선택 입력을 수신한 경우, 전술한 실시예들을 실시하기 위해, 싱크 디바이스(100)는 사용자의 터치 입력에 기초하여 객체를 결정하고, 결정된 객체와 관련된 서비스를 결정하고, 결정된 서비스를 제공하여야 한다.
도 2는 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 사용자의 입력에 기초하여, 미러링 영상(220)에서 객체(230)를 결정하는 방법을 설명하는 도면이다.
본 발명의 일 실시예에 따른 싱크 디바이스(100)는, 사용자의 터치 입력을 수신한 경우, 소스 디바이스(200)에게 객체에 관한 정보를 요청할 수 있다.
예를 들어, 사용자가 제 1 미러링 영상에서 특정 어플리케이션 실행 이미지를 터치 한 경우, 소스 디바이스(200)는 싱크 디바이스(100)로부터 객체에 관한 정보를 요청 받은 시점에 실행중인 어플리케이션의 이름, 종류, 어플리케이션이 입력 받을 수 있는 입력값의 형식(예를 들면, 동영상 파일의 종류) 등을 싱크 디바이스(100)로 송신하여 요청에 대한 응답을 할 수 있다.
따라서, 싱크 디바이스(100)는 사용자로부터 터치 입력을 수신한 시점에 소스 디바이스에서 실행중인 어플리케이션을 객체로 결정할 수 있다.
더 나아가, 싱크 디바이스(100)는 사용자의 터치 입력을 수신한 경우, 사용자가 터치한 좌표에 관한 정보를 소스 디바이스(200)로 송신하고, 소스 디바이스(200)에게 객체에 관한 정보를 요청할 수 있다.
예를 들어, 소스 디바이스(200)는 객체에 관한 정보에 대한 요청이 있는 경우, 요청된 시점에, 수신한 좌표에서 실행 중인 어플리케이션의 이름, 종류, 입력값의 형식(예를 들면, 동영상 파일의 종류) 등을 포함하는 객체에 관한 정보를 싱크 디바이스(100)로 송신하여 요청에 대한 응답을 할 수 있다.
또한, 소스 디바이스(200)는 객체에 관한 정보에 대한 요청이 있는 경우, 요청된 시점에, 수신한 좌표에서 재생 중인 동영상에 관한 정보, 수신한 좌표에 위치하는 사물 또는 사람에 관한 정보 등을 싱크 디바이스(100)로 송신하여, 요청에 대해 응답할 수 있다.
따라서, 싱크 디바이스(100)는 사용자로부터 터치 입력을 수신한 시점에, 소스 디바이스에서 실행중인 터치된 좌표에 대응하는 어플리케이션, 사물 또는 컨텐츠를 객체로서 추출할 수 있다.
본 발명의 다른 실시예에 따르면, 싱크 디바이스(100)는 객체에 관한 정보를 획득하기 위해, 터치된 시점에 디스플레이된 제 1 미러링 영상의 프레임 번호 또는 타임스탬프 값 및 터치된 위치의 좌표 정보를 소스 디바이스로 송신하여, 사용자에 의해 터치된 프레임 및 터치된 좌표에 대응하는 객체에 관한 정보를 소스 디바이스(200)로부터 획득할 수 있다.
프레임 번호란 미러링 스트림에서 프레임의 위치를 표시하는 고유한 숫자를 의미하며, 타임스탬프 값이란 하나의 프레임이 재생되어야 하는 상대적인 시간으로서 하나의 프레임당 하나의 타임스탬프 값을 가질 수 있다.
이를 위해, 소스 디바이스(200)는 소스 디바이스(200)의 화면 또는 소리를 인코딩 할 때, 프레임 번호 또는 타임스탬프 값에 대응하여 객체에 관한 정보를 저장할 수 있다.
예를 들면, 소스 디바이스(200)는 화면 또는 소리를 인코딩 할 때, 화면에 디스플레이하는 객체의 영역(예를 들면, 어플리케이션의 실행 영역, 컨텐츠의 디스플레이 영역)과 객체의 내용(예를 들면, 컨텐츠의 링크 URL)을 프레임 번호 또는 타임스탬프 값에 대응하여 별도의 저장 공간에 저장할 수 있다.
따라서, 소스 디바이스(200)는 싱크 디바이스(100)로부터 객체에 관한 정보를 요청 받은 경우, 수신한 프레임 번호 또는 타임스탬프 값과 좌표 정보에 대응되는 객체에 관한 정보를 싱크 디바이스(100)로 송신하여, 요청에 대한 응답을 할 수 있다.
따라서, 싱크 디바이스(100)는 소스 디바이스(200)로부터 수신 받은 객체에 관한 정보로부터 객체를 선택할 수 있다.
앞서 설명한 실시예에서, 프레임 번호, 프레임의 타임스탬프 값 또는 좌표 정보를 포함하는 객체 정보에 대한 요청 및 객체 정보에 대한 응답은 미러링을 위한 비디오 또는 오디오 스트림 채널과는 다른 채널(50)을 통해 송수신 될 수 있다.
본 발명의 다른 실시예에 따르면, 싱크 디바이스(100)는 소스 디바이스(200)로부터 수신되는 비디오 프레임 또는 오디오 프레임의 메타데이터로부터 프레임내의 객체에 관한 정보를 획득할 수 있다.
예를 들면, 싱크 디바이스(100)는 비디오 프레임 또는 오디오 프레임의 타임 스탬프 값과 동일한 타임스탬프 값을 갖는 메타 데이터 프레임으로부터 비디오 프레임 또는 오디오 프레임에 나타난 객체에 관한 정보를 획득할 수 있다.
이를 위해, 소스 디바이스(200)는, 미러링 스트림을 생성할 때, 비디오 프레임 또는 오디오 프레임 내의 객체에 관한 정보를 비디오 프레임 또는 오디오 프레임과 동일한 타임스탬프 값을 갖는 메타데이터 프레임으로 인코딩하여, 메타데이터 스트림을 생성할 수 있다. 또한, 소스 디바이스(200)는 메타데이터 스트림을 비디오 스트림 또는 오디오 스트림과 함께 다중화할 수 있다.
따라서, 싱크 디바이스(100)는 사용자의 터치 입력이 있는 경우, 사용자가 터치한 프레임의 타임스탬프 값과 동일한 값을 갖는 메타데이터 프레임으로부터 사용자가 터치한 영역의 객체에 대한 정보를 추출하여 객체를 선택할 수 있다.
본 발명의 다른 실시예에 따르면, 싱크 디바이스(100)는 소스 디바이스(200)로부터 수신되는 비디오 스트림 또는 오디오 스트림 이외에, 객체에 관한 정보를 기술한 장면 기술자 스트림(Scene Description Stream), 객체 기술자 스트림(Object Description Stream) 수신하여, 사용자에 의해 선택된 프레임 내의 객체에 관한 정보를 획득할 수 있다.
장면 기술자 스트림과 객체 기술자 스트림는 2차원 내지 3차원의 음성/영상 콘텐츠를 위한 바이너리 형식을 규정한 MPEG-4 BIFS(Binary Format for Scene)에 정의된 스트림일 수 있다. 장면 기술자는 장면에서 미디어 객체들 간의 시공간적인 관계를 기술하며, 객체 기술자는 각각의 객체에 대한 속성을 표시하는 정보로서 각각의 객체를 비디오 또는 오디오 스트림과 연결한다. 따라서, 사용자는 미러링 스트림 재생시 선택한 객체를 제어할 수도 있다.
이를 위해, 소스 디바이스(200)는 화면 또는 소리를 인코딩 할 때, 화면과 소리내의 각각의 객체(예를 들면 어플리케이션, 이미지, 동영상, 텍스트, 사물 등)를 분리하여 객체 기술자 스트림과 장면 기술자 스트림으로 인코딩할 수 있다. 특히, 객체 기술자는 객체를 설명하는 정보를 담을 수 있는 객체 컨텐츠 정보(Object Content Information)를 포함할 수 있는데, 객체 컨텐츠 정보에는 객체의 종류, 객체의 카테고리, 객체에 대한 설명 등이 기술될 수 있다.
따라서, 싱크 디바이스(100)는 전송된 장면 기술자 스트림과 객체 기술자 스트림으로부터 각각의 객체를 분리하여 디코딩하고, 미러링 서비스 중 사용자가 선택한 객체를 추출할 수 있으며, 추출된 객체의 객체 컨텐츠 정보로부터 객체의 종류, 카테고리, 설명 등 객체에 관한 정보를 획득할 수 있다.
싱크 디바이스(100)는 사용자의 터치 입력이 있는 경우, 터치 좌표에 대응하는 객체(230)뿐만 아니라, 미러링 영상(220) 전체를 객체로서 결정할 수 있다.
도 3(a)은 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 사용자로부터 객체 선택을 입력 받는 방법을 설명하기 위한 도면이다.
도 3(a)에 도시된 바와 같이, 싱크 디바이스(100)는 사용자로부터 제 1 미러링 영상(220)에서의 제 1 객체(230) 선택에 대한 입력을 수신할 수 있다.
도 2에서 전술한 바와 같이, 싱크 디바이스(100)는 제 1 미러링 영상(220)에 사용자의 터치 입력이 있는 경우, 입력된 좌표에 대응하는 제 1 객체(230)를 결정할 수 있다.
또한, 사용자가 제 1 영상(220)에서 선택한 제 1 객체(230)를 끌어서 제 2 미러링 영상(320)에 위치시킨 후 터치를 뗀 경우, 싱크 디바이스(100)는 제 2 미러링 영상(320)에서 사용자가 터치를 뗀 위치에 대응하는 객체를 제 2 객체(330)로 선택할 수 있다.
도 3(b)은 본 발명의 다른 실시예에 따른, 싱크 디바이스(100)가 사용자로부터 객체 선택을 입력 받는 방법을 설명하기 위한 도면이다.
도 3(b)에 도시된 바와 같이, 싱크 디바이스(100)는 사용자로부터 제 1 영상(220)에서의 객체 선택에 대한 입력을 수신할 수 있다. 사용자의 터치 입력에 의해 선택된 객체는 사용자가 터치한 위치에 대응하는 객체가 아닌 영상 전체(220)로부터 추출될 수 있는 객체 일 수 있다.
예를 들어, 미러링 영상에 음악 리스트가 포함되어 있는 경우, 미러링 영상 내에 포함된 복수의 음악 전부가 객체가 될 수 있다. 또한, 프레임 내에 복수의 사물이 있는 경우, 복수의 사물 전부가 객체로 선택 될 수 있다.
도 4은 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가, 사용자의 입력에 따라 복수의 미러링 영상에 관한 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
S410 단계에서, 싱크 디바이스(100)는 사용자 입력에 기초하여 싱크 디바이스(100)의 화면 상에 디스플레이 된 제 1 미러링 영상에서 제 1 객체를 결정한다.
사용자의 입력은 싱크 디바이스(100)에 구비된 터치 스크린 상의 터치 입력을 포함할 수 있다.
도 2에서 전술한 바와 같이, 싱크 디바이스(100)는 사용자의 터치에 의해 수신한 좌표, 사용자가 화면을 터치한 시점의 프레임 번호, 메타데이터, 객체 기술자 등에 기초하여 제 1 객체를 선택하기 위한 객체 관련 정보를 획득할 수 있다.
싱크 디바이스(100)는 획득한 객체 관련 정보로부터 제 1 객체를 결정할 수 있다.
예를 들어, 제 1 객체를 선택하기 위한 객체에 관한 정보가 특정 사물의 이름인 경우, 싱크 디바이스(100)는 특정 사물을 제 1 객체로 결정할 수 있다. 또한, 객체에 관한 정보가 특정 동영상의 제목, 저장위치인 경우, 싱크 디바이스(100)는 특정 동영상을 제 1 객체로 결정할 수 있다.
객체에 관한 정보는 복수의 객체에 관한 정보를 포함할 수 있다. 예를 들어, 동영상을 미러링하고 있는 제 1 미러링 영상에서 사용자가 특정 사물을 선택한 경우, 객체에 관한 정보는 특정 사물에 관한 정보와 동영상 자체에 관한 정보를 포함할 수 있다.
따라서, 싱크 디바이스(100)는 복수의 객체에 관한 정보가 수신된 경우, 수신된 객체를 화면에 표시하고, 사용자의 선택에 기초하여 하나의 제 1 객체를 결정할 수 있다. 또한, 싱크 디바이스(100)는 선택된 제 1 객체에 관한 정보를 디스플레이하여 사용자에게 제공할 수 있다.
S420 단계에서, 제 1 객체가 싱크 디바이스(100)의 화면 상에 디스플레이 된 제 2 미러링 영상으로 이동됨에 따라, 싱크 디바이스(100)는 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정할 수 있다.
예를 들어, 도 3에서 전술된 바와 같이, 싱크 디바이스(100)는 사용자가 제 1 객체에 드래그 앤 드랍 등을 수행하여 제 2 미러링 영상으로 이동 시킨 경우, 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정할 수 있다.
한편, 사용자가 제 1 객체를 이동시키기 않고, 제 2 미러링 영상 내에서, 특정 위치를 선택한 경우, 싱크 디바이스(100)는 선택된 특정 위치에 대응되는 제 2 객체를 결정할 수 있다.
도 2에서 전술한 바와 같이, 싱크 디바이스(100)는 사용자의 터치에 의해 수신한 좌표 또는 제 1 객체가 이동된 위치 좌표, 제 1 객체가 이동된 시점의 프레임 번호, 메타데이터, 객체 기술자 등을 이용하여 제 2 객체를 선택하기 위한 객체에 관한 정보를 획득할 수 있다.
싱크 디바이스(100)는 획득한 객체에 관한 정보로부터 제 2 객체를 결정할 수 있다.
예를 들어, 제 2 객체를 선택하기 위한 객체에 관한 정보가 특정 사물의 이름인 경우, 싱크 디바이스(100)는 특정 사물을 제 2 객체로 결정할 수 있다. 또한, 객체에 관한 정보가 특정 동영상의 제목인 경우, 싱크 디바이스(100)는 특정 동영상을 제 2 객체로 결정할 수 있다.
또한, 싱크 디바이스(100)는 사용자의 선택에 기초하여 복수의 객체에 관한 정보에서 하나의 객체를 선택할 수 있다. 따라서, 싱크 디바이스(100)는 복수의 객체에 관한 정보가 수신된 경우, 수신된 객체를 화면에 표시하고, 사용자의 선택에 기초하여 하나의 제 2 객체를 결정할 수 있다.
S430 단계에서, 싱크 디바이스(100)는 제 1 객체 및 제 2 객체와 관련된 서비스를 결정할 수 있다.
본 발명의 일 실시예에 따르면, S420 단계에서 결정된 제 1 객체가 콘텐츠, 인물, 사물 및 아이콘 중 적어도 하나이고, 제 2 객체가 제 2 소스 디바이스(300)에 저장된 어플리케이션인 경우, 싱크 디바이스(100)는 제 2 객체인 어플리케이션이 제공하는 서비스를 사용자에게 제공할 서비스로 결정할 수 있다.
본 발명의 다른 실시예에 따르면, S420 단계에서 결정된 제 1 객체 및 제 2 객체 중 적어도 하나에 매칭되어 싱크 디바이스(100)에 저장된 어플리케이션의 서비스를 사용자에게 제공할 서비스로 결정할 수 있다.
본 발명의 다른 실시예에 따르면, S420 단계에서 결정된 제 1 객체 및 제 2 객체 중 적어도 하나에 기초하여, 미러링 네트워크로 연결된 복수의 디바이스 중 하나인 제 3 디바이스가 제공 가능한 서비스를 사용자에게 제공할 서비스로 결정할 수 있다.
S440 단계에서 싱크 디바이스(100)는 결정된 서비스의 실행 결과를 출력한다.
서비스 실행은 싱크 디바이스(100)에서 수행될 수 있으며, 제 1 소스 디바이스(200), 제 2 소스 디바이스(300) 또는 미러링 네트워크로 연결된 복수의 디바이스 중 하나인 제 3 디바이스에서 수행 될 수 있다.
따라서, 싱크 디바이스(100)는 결정된 서비스 및 객체에 관한 정보를 소스 디바이스 또는 미러링 네트워크로 연결된 복수의 디바이스에게 송신하고, 실행 결과를 미러링 할 것을 요청할 수 있다.
또한, 싱크 디바이스(100)는 소스 디바이스 또는 제 3 디바이스로부터 서비스가 실행된 결과를 수신하여 출력할 수 있다. 서비스 실행 결과에 대한 수신은, 소스 디바이스 또는 제 3 디바이스가 자신의 디바이스에서 실행되는 화면 또는 소리를 싱크 디바이스(100)로 미러링한 결과일 수 있다.
도 5(a)는 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 사용자의 선택에 따라 객체를 결정하는 방법을 설명하기 위한 동작 흐름도이다.
S505 단계에서, 싱크 디바이스(100)는 제 1 미러링 영상에 대한 사용자의 입력을 수신한다. 사용자의 입력은 터치, 조이스틱, 키보드, 리모콘 또는 제스처에 의한 입력을 포함할 수 있으나, 이에 한정 되지 않는다.
S510 단계에서, 싱크 디바이스(100)는 입력된 좌표를 제 1 소스 디바이스(200)로 송신한다. 싱크 디바이스(100)는 입력된 좌표 값 이외에 터치된 시각, 터치된 시각의 프레임 번호 또는 타임스탬프 값을 송신할 수 있다.
S515 단계에서, 제 1 소스 디바이스(200)는 수신한 좌표에 기초하여 적어도 하나의 객체를 선택한다.
예를 들어, 제 1 소스 디바이스(200)는 수신된 좌표에 위치하는 사물, 아이콘 등을 객체로 선택할 수 있으며, 수신된 시각의 프레임내의 모든 사물, 인물, 아이콘 등을 객체로 선택할 수 있다. 또한, 제 1 소스 디바이스(200)는 좌표값을 수신한 시각에 제 1 소스 디바이스에서 재생되는 컨텐츠를 객체로 선택할 수 있다.
S520 단계에서, 제 1 소스 디바이스(200)는 선택된 객체에 관한 정보를 싱크 디바이스(100)로 송신한다. 선택된 객체는 적어도 하나 이상일 수 있다.
S525 단계에서, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 수신한 객체에 관한 정보에 기초하여 제 1 객체를 결정한다.
예를 들어, 싱크 디바이스(100)는 객체의 이름(예를 들어, 사물, 인물의 이름), 객체의 종류(예를 들어, 컨텐츠의 종류, 저장위치) 등에 기초하여 적어도 하나의 제 1 객체를 결정할 수 있다.
또한, 싱크 디바이스(100)는 사용자의 입력에 기초하여, 제 1 객체를 결정 할 수 있다. 싱크 디바이스(100)는 복수의 객체가 수신된 경우, 복수의 객체를 선택할 수 있는 메뉴를 화면에 디스플레이 할 수 있고, 사용자의 선택에 의해 제 1 객체를 결정할 수 있다.
S530 단계에서, 싱크 디바이스(100)는 제 2 미러링 영상에 대한 사용자의 입력을 수신한다. 전술한 바와 같이, 사용자의 입력은 터치, 조이스틱, 키보드, 리모콘 또는 제스처에 의한 입력을 포함할 수 있으나, 이에 한정 되지 않는다. 또한, 사용자의 입력은 제 2 객체에 대한 개별적인 입력일 수 있으며, 제 1 객체가 드래그 앤 드랍(Drag & Drap) 등의 터치 모션에 의해 이동됨에 따라 제 2 객체가 선택될 수도 있다.
S535 단계에서, 싱크 디바이스(100)는 입력된 좌표를 제 2 소스 디바이스(300)로 송신한다. 싱크 디바이스(100)는 입력된 좌표 값 이외에 터치된 시각, 터치된 시각의 프레임 번호 또는 타임스탬프 값을 송신할 수 있다.
S540 단계에서, 제 2 소스 디바이스(300)는 수신한 좌표에 기초하여 적어도 하나의 객체를 선택한다.
예를 들어, 제 2 소스 디바이스(300)는 수신한 좌표에 위치하는 사물, 아이콘 등을 객체로 선택할 수 있으며, 수신된 시각의 프레임내의 모든 사물, 인물, 아이콘 등을 객체로 선택할 수 있다.
S545 단계에서, 제 2 소스 디바이스(300)는 선택된 객체에 관한 정보를 싱크 디바이스(100)로 송신한다.
S550 단계에서, 싱크 디바이스(100)는 제 2 소스 디바이스(300)로부터 수신한 객체에 관한 정보에 기초하여 제 2 객체를 결정한다. 싱크 디바이스(100)가 제 2 객체를 결정하는 방법은 S525 단계에서 전술된 제 1 객체를 결정하는 방법을 포함한다.
도 5(b)는 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 제 2 소스 디바이스를 이용하여 서비스를 제공하는 방법을 설명하기 위한 동작 흐름도이다.
S555 단계는, 싱크 디바이스(100)가 제 1 객체 및 제 2 객체를 결정하는 단계로, 도 5a에서 전술한 바와 동일하므로, 구체적인 설명은 생략하기로 한다.
S560 단계에서, 싱크 디바이스(100)는 제 1 객체를 이용하여 제 2 소스 디바이스(300)에 설치된 어플리케이션이 제공할 수 있는 서비스를 결정할 수 있다.
예를 들어, S520 단계에서 결정된 제 1 객체가 컨텐츠 및 인물, 사물 및 아이콘 중 적어도 하나이고, 제 2 객체가 제 2 소스 디바이스(300)에서 실행 중인 어플리케이션인 경우, 싱크 디바이스(100)는 제 2 객체인 어플리케이션에 관한 서비스를 제공할 것을 결정할 수 있다.
예를 들면, 제 1 객체가 동영상 파일이고 제 2 객체가 재생 플레이어인 경우 싱크 디바이스(100)는 제 1 객체인 동영상을 제 2 객체인 재생 플레이어로 재생하는 서비스를 제공할 것을 결정할 수 있다.
또한, 싱크 디바이스(100)는 사용자의 입력에 기초하여, 하나의 어플리케이션이 제공 가능한 복수의 서비스 중 하나를 선택할 수 있다. 예를 들어, 제 1 객체로서 동영상을 선택하여 제 2 객체인 SNS 어플리케이션으로 드래그 앤 드랍한 경우, 싱크 디바이스(100)는 사용자의 선택에 따라 선택된 동영상을 SNS 친구에게 전송하는 서비스를 선택할 수 있으며, 동영상을 SNS 게시판에 등록하는 서비스를 선택할 수도 있다.
한편, 싱크 디바이스(100)는 제 1 객체인 컨텐츠를 제 2 객체인 어플리케이션으로 실행 가능한지 여부를 판단하여, 제공 가능한 서비스를 선택할 수 있다.
예를 들면, 싱크 디바이스(100)는 수신된 객체에 관한 정보로부터 어플리케이션의 이름(예를 들면, 구글 지도, 구글 플레이어), 어플리케이션이 제공하는 서비스의 내용(예를 들면, 지도 검색 서비스, 컨텐츠 재생), 어플리케이션의 입력 포맷(예를 들면, 텍스트, 파일의 종류, 크기), 제 2 소스 디바이스(300)가 어플리케이션을 구별하기 위한 어플리케이션의 식별 ID, 제 2 소스 디바이스(300)의 어플리케이션에서 실행중인 프로세스 ID 등을 획득할 수 있다.
따라서, 컨텐츠의 종류, 크기가 어플리이션이 요구하는 입력값의 형식에 맞지 않는 경우, 싱크 디바이스(100)는 어플리케이션의 서비스를 제공할 수 없는 것으로 판단할 수 있다. 예를 들어, 컨텐츠가 특정 코덱을 요구하는 동영상이고, 어플리케이션이 상기 특정 재생 코덱이 없는 재생 플레이어인 경우, 싱크 디바이스(100)는 어플리케이션이 서비스를 제공할 수 없는 것으로 판단할 수 있다.
S565 단계에서, 싱크 디바이스(100)는 제 1 객체에 관한 정보를 포함하는, 어플리케이션에 대한 실행 요청을 제 2 소스 디바이스로 송신한다.
싱크 디바이스(100)는 제 1 객체에 관한 정보를 제 2 소스 디바이스(300)로 송신하여, 제 1 객체에 대해 어플리케이션을 실행할 것을 요청할 수 있다.
싱크 디바이스(100)가 제 2 소스 디바이스(300)로 송신하는 정보는 제 2 소스 디바이스(300)가 제 1 객체인 컨텐츠를 제 2 객체인 어플리케이션으로 실행하기 위해 필요한 정보일 수 있다.
예를 들어, 제 1 객체가 이미지, 텍스트 또는 동영상 등을 포함하는 컨텐츠인 경우, 싱크 디바이스(100)는 컨텐츠의 내용, 키워드, 종류, 크기 또는 컨텐츠의 URL을 포함하는 정보를 제 2 디바이스로 송신할 수 있다. 또한, 제 1 객체를 실행하기 위해, 제 2 소스 디바이스(300)가 제 1 소스 디바이스(200)에게 직접 객체에 대한 요청을 해야 하는 경우, 싱크 디바이스(100)는 제 1 소스 디바이스(200)에 접근할 수 있는 디바이스 식별 정보 등을 제 2 소스 디바이스(300)로 송신할 수 있다.
또한, 싱크 디바이스(100)는 제 2 객체인 어플리케이션을 실행할 수 있는 어플리케이션의 식별 정보(예를 들어, 어플리케이션의 ID), 어플리케이션에서 실행 중인 프로세스 식별 정보(예를 들어, 프로세스의 ID) 등을 포함하는 서비스를 위한 정보를 제 2 디바이스로 송신할 수 있다.
S570 단계에서, 제 2 소스 디바이스(300)는 제 1 객체에 대해 요청된 어플리케이션을 실행한다.
제 2 소스 디바이스(300)는 싱크 디바이스(100)로부터 수신한 제 1 객체에 관한 정보와 제 2 객체인 어플리케이션에 관한 정보를 기초로 제 1 객체에 대한 서비스를 실행할 수 있다.
예를 들어, 제 2 소스 디바이스(300)는 선택된 어플리케이션을 직접 제어하여, 어플리케이션을 실행할 수 있다. 제 2 소스 디바이스(300)는, 선택된 어플리케이션을 직접 제어하기 위해, 특정 서비스에 대응하는 어플리케이션의 함수 또는 실행 파일을 저장하고 있을 수 있다. 따라서, 제 2 소스 디바이스(300)는 수신한 제 1 객체에 관한 정보를 파라미터 값으로 어플리케이션의 함수 또는 실행파일을 호출하여 서비스를 실행할 수 있다.
예를 들어, 수신된 객체가 특정 인물의 이름이고, 특정 인물에 등장하는 프레임을 동영상에서 검색하는 서비스가 요청된 경우, 제 2 소스 디바이스(300)는 수신한 인물의 이름을 파라미터 값으로, 동영상에서 특정 인물을 찾는 서비스에 대응하는 함수 또는 실행파일을 호출하여 인물 검색 서비스를 실행할 수 있다.
또한, 제 2 소스 디바이스(300)는 싱크 디바이스(100)로부터 수신한 어플리케이션 식별 정보, 어플리케이션 내의 프로세스 식별 정보를 기초로 객체를 실행하기 위한 이벤트를 어플리케이션 또는 프로세스로 전달 할 수 있다. 예를 들어, 수신된 객체가 텍스트 형식의 단어이고, 선택된 서비스가 웹 검색 어플리케이션인 경우, 제 2 소스 디바이스(300)는 수신된 단어 및 단어가 입력되었음을 알리는 이벤트를 웹 검색 어플리케이션 또는 어플리케이션에서 실행중인 프로세스로 전달하여, 웹 검색 서비스를 제공할 수 있다.
S575 단계에서, 제 2 소스 디바이스(300)는 제 1 객체에 대한 어플리케이션 실행 결과를 싱크 디바이스(100)로 전송한다. 제 2 소스 디바이스(300)는 어플리케이션 실행 결과인 실행 이미지 또는 소리를 인코딩 하여 싱크 디바이스(100)로 미러링 할 수 있다.
따라서, 싱크 디바이스(100)는 제 2 미러링 영상으로 사용자가 선택한 서비스를 제공할 수 있다.
S580 단계에서, 싱크 디바이스(100)는 수신한 실행 결과를 제 2 미러링 영상 영역에 출력할 수 있다.
도 6(a) 내지 도 6(c)는 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 제 2 소스 디바이스(300)를 이용하여 서비스를 제공하는 실시예을 도시하는 도면이다.
도 6(a)에 도시된 바와 같이, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 에펠탑 영상(610)을 미러링하고, 제 2 소스 디바이스(300)로부터 네비게이션 실행 영상(620)을 미러링한다. 사용자가 제 1 영상(610)에서 에펠탑 이미지를 터치하고, 네비게이션 실행 영상(620)으로 드래그 앤 드랍한 경우, 싱크 디바이스(100)는 에펠탑을 목적지로 네비게이션이 실행되는 서비스를 제공할 수 있다.
구체적으로, 제 1 객체는 에펠탑(사물)이 되며, 제 2 객체는 네비게이션 어플리케이션이 될 수 있다. 따라서, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 제 1 객체에 대한 정보인 에펠탑(명칭)을 수신하고, 제 2 소스 디바이스(300)로부터 제 2 객체에 대한 정보인 네비게이션 어플리케이션의 이름, 어플리케이션 ID 등 어플리케이션 식별 정보를 수신하여, 에펠탑을 목적지로 하는 네비게이션 서비스를 제공할 것을 결정할 수 있다. 싱크 디바이스(100)는 제 2 소스 디바이스(300)로 에펠탑에 대한 네비게이션 실행을 요청할 수 있고, 실행 된 결과를 수신하여 사용자에게 제공할 수 있다.
도 6(b)에 도시된 바와 같이, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 특정 인물이 등장하는 동영상(630)을 미러링하고, 제 2 소스 디바이스(300)로부터 SNS 어플리케이션 실행 영상(640)을 미러링한다. 사용자가 제 1 영상에서 등장인물을 터치하고, SNS 어플리케이션 실행 영상(640)으로 드래그 앤 드랍한 경우, 싱크 디바이스(100)는 동영상이 SNS 게시판에 업로드 되는 서비스를 제공할 수 있다.
구체적으로, 제 1 객체는 재생되는 동영상이 되며, 제 2 객체는 SNS 어플리케이션이 될 수 있다. 따라서, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 제 1 객체에 대한 정보인 동영상의 출처(예를 들면, 동영상을 다운 받을 수 있는 URL, 동영상이 저장된 제 1 소스 디바이스(200)의 식별 정보 등), 동영상의 파일 형식, 크기 등을 수신하고, 제 2 소스 디바이스(300)로부터 제 2 객체에 대한 정보인 SNS 어플리케이션의 이름, 어플리케이션 ID 등 어플리케이션 식별 정보를 수신하여, 동영상을 SNS 게시판에 업로드하는 서비스를 제공할 것을 결정할 수 있다. 싱크 디바이스(100)는 제 2 소스 디바이스(300)로 동영상의 업로드 실행을 요청할 수 있고, 실행 된 결과를 수신하여 사용자에게 제공할 수 있다.
더 나아가, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 수신한 객체에 관한 정보로부터 복수의 객체를 사용자에게 제공할 수 있다. 도 6(b)에서 싱크 디바이스(100)는 객체에 관한 정보로부터 특정 인물에 대한 정보와 동영상에 대한 정보를 수신하여 사용자에게 객체 선택을 기회를 제공할 수 있다.
도 6(c)에 도시된 바와 같이, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 에펠탑 영상(650)을 미러링하고, 제 2 소스 디바이스(300)로부터 지도 실행 영상(660)을 미러링한다. 사용자가 제 1 영상에서 에펠탑을 터치하고, 지도 실행 영상(660)으로 드래그 앤 드랍한 경우, 싱크 디바이스(100)는 에펠탑을 나타내는 지도 서비스를 제공할 수 있다.
구체적으로, 제 1 객체는 에펠탑이 되며, 제 2 객체는 지도 어플리케이션이 될 수 있다. 따라서, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 제 1 객체에 대한 정보인 에펠탑을 수신하고, 제 2 소스 디바이스(300)로부터 제 2 객체에 대한 정보인 네비게이션 어플리케이션의 이름, 어플리케이션 ID 등을 수신하여, 에펠탑를 나타내는 지도 서비스를 제공할 것을 결정할 수 있다. 싱크 디바이스(100)는 제 2 소스 디바이스(300)로 에펠탑를 나타내는 지도 어플리케이션 실행을 요청할 수 있고, 실행 된 결과를 수신하여 사용자에게 제공할 수 있다.
이외에도, 싱크 디바이스(100)는 제 1 소스 디바이스(200)로부터 복수의 음악이 리스트된 영상을 미러링하고, 제 2 소스 디바이스(300)로부터 음악 재생 플레이어가 실행되는 영상을 미러링할 수 있다. 이때, 사용자가 제 1 영상에서 음악 리스트 중 하나의 음악을 터치하고, 음악 재생 영상으로 드래그 앤 드랍한 경우, 싱크 디바이스(100)는 터치된 음악을 재생하는 서비스를 제공할 수 있다.
또한, 싱크 디바이스(100)는 제 1 미러링 영상에서 음원 리스트를 미러링하고, 제 2 미러링 영상에서 재생 플레이어를 미러링한다. 사용자가 제 1 영상의 음원 리스트 중 하나를 선택하고, 제 2 영상의 재생 플레이어 화면으로 드래그 앤 드랍한 경우, 싱크 디바이스는 선택된 음원의 제목, 종류, 크기를 제 1 소스 디바이스(200)로부터 수신한 스트림으로부터 추출하고, 추출된 정보를 제 2 소스 디바이스(300)로 전송하여 선택된 음원에 대한 재생을 요청할 수 있다.
도 7은 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 싱크 디바이스(100)에 설치된 어플리케이션을 이용하여 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
S710 단계에서, 싱크 디바이스(100)는 사용자 입력에 기초하여 싱크 디바이스(100)의 화면 상에 디스플레이 된 제 1 미러링 영상에서 제 1 객체를 결정한다. S720 단계에서, 싱크 디바이스(100)는 사용자 입력에 기초하여 제 1 객체가 싱크 디바이스(100)의 화면 상에 디스플레이 된 제 2 미러링 영상으로 이동됨에 따라, 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정한다. S510 단계와 S520 단계는 도 4와 관련하여 전술한 바와 같으므로, 구체적인 설명은 생략하기로 한다.
S730 단계에서, 싱크 디바이스(100)는 제 1 객체 및 제 2 객체에 기초하여, 싱크 디바이스에 설치된 어플리케이션을 결정할 수 있다.
싱크 디바이스(100)는 객체의 종류, 형식 등 객체의 속성에 매칭되는 어플리케이션 목록을 저장하고 있을 수 있다.
예를 들어, 제 1 객체 또는 제 2 객체가 이메일 주소인 경우, 매칭되는 어플리케이션은 이메일 어플리케이션이 될 수 있다. 또한, 제 1 객체 또는 제 2 객체가 동영상인 경우 매칭되는 어플리케이션은 동영상 재생 어플리케이션 또는 컨텐츠 복사 어플리케이션이 될 수 있다.
매칭되는 어플리케이션이 복수인 경우, 싱크 디바이스(100)는 사용자의 선택에 의해 어플리케이션을 결정할 수 있다.
S740 단계에서, 싱크 디바이스(100)는 어플리케이션에 의해 제공되는 서비스 중에서, 제 1 객체 및 제 2 객체와 관련된 서비스를 결정할 수 있다.
예를 들어, 제 1 객체가 제 1 소스 디바이스(200)에 존재하는 파일이고 제 2 객체가 제 2 소스 디바이스(300)에 존재하는 폴더 또는 바탕화면인 경우, 싱크 디바이스(100)는 파일 관련 어플리케이션 중 파일을 복사하는 서비스를 결정할 수 있다. 제공 가능한 서비스가 복수인 경우, 싱크 디바이스(100)는 사용자의 선택에 의해 어플리케이션을 결정할 수 있다.
한편, 싱크 디바이스(100)는 미러링 스트림에 기록된 정보에 기초하여 싱크 디바이스(100)에 저장된 어플리케이션을 실행할 수 있다. 예를 들어, 특정 비디오 또는 오디오의 프레임에서 특정 어플리케이션이 실행되기 위한 정보(예를 들면, 메타데이터)가 미러링 스트림과 함께 수신될 수 있다.
따라서, 싱크 디바이스(100)는 미러링 스트림 디코딩시 특정 비디오 또는 오디오 프레임에서 특정 어플리케이션을 실행시킬 수 있다. 또한, 싱크 디바이스(100)는 미러링이 시작될 때 복수의 소스 디바이스 상호간 정보를 주고 받거나, 복수의 소스 디바이스 상호간 데이터를 공유하도록 할 수 있다.
S750 단계에서, 싱크 디바이스(100)는 결정된 서비스를 실행할 수 있다. S760 단계에서, 싱크 디바이스(100)는 실행된 결과를 출력할 수 있다. 이때, 싱크 디바이스(100)는 실행된 결과를 미러링 영역이 아닌 싱크 디바이스(100) 화면의 다른 영역에 실행 결과를 출력할 수 있다.
도 8은 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가, 싱크 디바이스(100)에 기 저장된 어플리케이션을 이용하여 미러링 영상에 관한 서비스를 제공하는 실시예를 도시하는 도면이다.
도 8에 도시된 바와 같이, 제 1 객체가 제 1 소스 디바이스(200)의 어플리케이션의 아이콘이 나열된 메인 화면 영상이고, 제 2 객체가 제 2 소스 디바이스(300)의 어플리케이션의 아이콘이 나열된 메인 화면 영상인 경우, 싱크 디바이스(100)는 어플리케이션의 목록을 비교할 수 있는 기 저장된 어플리케이션을 실행하여 제 1 소스 디바이스(200)와 제 2 소스 디바이스(300)가 구비한 어플리케이션을 비교하는 서비스(830)를 제공할 수 있다. 이때, 제 1 소스 디바이스(200)와 제 2 소스 디바이스(300)는 메인 화면 미러링 시 디바이스에 구비된 어플리케이션 목록 정보를 미러링 스트림과 함께 싱크 디바이스(100)로 전송할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가 제 3 디바이스를 이용하여 서비스를 제공하는 방법을 설명하기 위한 동작 흐름도이다.
S910 단계는, 싱크 디바이스(100)가 제 1 객체 및 제 2 객체를 결정하는 단계로, 도 5a에서 전술한 바와 동일하므로, 구체적인 설명은 생략하기로 한다.
S920 단계에서, 싱크 디바이스(100)는 제 1 객체 및 제 2 객체를 이용하여 제 3 디바이스(400)에 설치된 어플리케이션이 제공할 수 있는 서비스를 결정할 수 있다.
제 3 디바이스(400)는 싱크 디바이스(100)와 소스 디바이스(200 내지 300)가 속하는 미러링 네트워크에 있는 디바이스로, 싱크 디바이스(100)로 자신의 출력을 미러링 하지 않는 디바이스를 포함한다.
도 7에서 전술한 바와 같이, 싱크 디바이스(100)는 객체의 종류, 형식 등 객체의 속성에 매칭되는 서비스 목록을 저장할 수 있다. 따라서, 제 1 객체 및 제 2 객체에 매칭되는 서비스를 결정할 수 있다.
또한, 싱크 디바이스(100)는 제 3 디바이스(400)에서 제공 가능한 서비스의 목록을 획득하고, 사용자의 선택에 의해 서비스를 결정할 수 있다. 예를 들어, 미러링 네트워크에 있는 복수의 디바이스가 자신이 서비스 할 수 있는 서비스 목록을 특정 서버 또는 특정 디바이스에 등록할 수 있다. 따라서, 싱크 디바이스(100)는 같은 미러링 네트워크에 속하는 디바이스에게 요청할 수 있는 서비스 목록을 특정 서버 또는 특정 디바이스로부터 획득할 수 있다. 싱크 디바이스(100)는, 획득한 서비스 목록을 사용자에게 제공하고, 사용자의 선택을 입력 받아 서비스를 결정할 수 있다.
따라서, 제 1 객체 및 제 2 객체에 관한 정보를 기초로 웹 검색 서비스를 제공하여야 하는 경우, 싱크 디바이스(100)는 특정 서버 또는 특정 디바이스에 저장된 서비스 목록으로부터 웹 검색 서비스를 제공할 수 있는 디바이스를 획득할 수 있다.
또한, 싱크 디바이스(100)는 사용자로부터 서비스 요청을 입력 받아, 싱크 디바이스(100)와 동일한 미러링 네트워크에 속하는 디바이스에게, 사용자가 원하는 서비스를 제공할 수 있는지 여부 또는 서비스를 실행 중인지 여부에 대한 확인을 요청할 수 있다. 싱크 디바이스(100)는 디바이스들의 서비스를 제공 가능 여부에 대한 응답에 기초하여, 서비스를 제공할 수 있는 디바이스에게 서비스를 요청할 수 있다.
S930 단계에서, 싱크 디바이스(100)는 제 1 객체에 관한 정보 및 제 2 객체에 관한 정보를 포함하는, 서비스에 대한 실행 요청을 제 3 디바이스로 송신한다. 제 3 디바이스(400)에서 사용자가 원하는 서비스를 실행 중인 경우, 싱크 디바이스(100)는 서비스 실행 요청을 하지 않고 제 3 디바이스(400)에게 미러링을 요청할 수 있다.
S940 단계에서, 제 3 디바이스(400)는 요청된 서비스를 실행한다.
S950 단계에서, 제 3 디바이스(400)는 서비스의 실행 결과를 싱크 디바이스로 전송한다. 서비스에 대한 실행 요청은 미러링 요청을 포함할 수 있다. 따라서, 제 3 디바이스(400)는 요청된 서비스를 실행 하면서, 실행 화면 및 소리를 인코딩하여 실시간으로 싱크 디바이스(100)로 전송할 수 있다.
S960 단계에서, 싱크 디바이스(100)는 수신한 실행 결과를 출력한다. 싱크 디바이스(100)는 제 1 미러링 및 제 2 미러링 영역이 아닌 소스 디바이스의 다른 영역에 제 3 미러링 영상을 출력할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 싱크 디바이스(100)가, 싱크 디바이스(100)에 제 3 디바이스를 이용하여 미러링 영상과 관련된 서비스를 제공하는 실시예를 도시하는 도면이다.
도 10에 도시된 바와 같이, 싱크 디바이스(100)는 제 1 미러링 영상(1010)과 제 2 미러링 영상(1020)으로 동영상을 미러링하고 있다. 싱크 디바이스(100)는, 사용자가 제 1 미러링 영상(1010)을 선택한 경우, 영상에 나타난 인물과 동영상 컨텐츠 자체를 객체로 선택하고, 사용자에게 선택 메뉴(1030)을 제공할 수 있다. 싱크 디바이스(100)는, 사용자가 제 2 미러링 영상(1020)을 선택한 경우, 영상에 나타난 인물과 동영상 컨텐츠 자체를 객체로 선택하고, 사용자에게 선택 메뉴(1040)을 제공할 수 있다.
사용자가 제 1 객체와 제 2 객체로 동일 인물인 '샘 워싱턴'을 선택한 경우, 싱크 디바이스(100)는 인물 검색 서비스를 제공할 것을 결정하고, 제 3 디바이스(400)에게 '샘 워싱턴'이라는 객체 정보를 송신하고, 인물 검색 서비스를 요청할 수 있다. 싱크 디바이스(100)는 제 3 디바이스(400)로부터 인물 검색 서비스의 실행 결과를 수신하고, 수신한 미러링 영상(1050)을 출력할 수 있다.
도 11는 본 발명의 일 실시예에 따른 싱크 디바이스(100)와 소스 디바이스(200)의 블록도이다.
도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 싱크 디바이스(100)는 디스플레이부(110), 사용자 입력부(120), 메모리(130), 통신부(140) 및 제어부(150)를 포함한다.
디스플레이부(110)는 후술할 제어부(150)에 의해 제어됨으로써, 싱크 디바이스(100)의 화면에 미러링 영상을 표시한다.
사용자 입력부(120)는 싱크 디바이스(100)에 대한 사용자 입력을 수신한다. 사용자 입력부(120)는 싱크 디바이스(100)의 화면에 대한 사용자의 터치 입력 및 싱크 디바이스(100)의 버튼에 대한 사용자의 입력을 수신할 수 있다.
메모리(130)는 싱크 디바이스(100)가 복수의 미러링 영상에 관한 서비스를 제공하는데 이용되는 데이터를 저장한다.
통신부(140)는, 싱크 디바이스(100)가 복수의 미러링 영상에 관한 서비스를 제공하는데 이용되는 데이터를, 외부 장치(미도시) 또는 외부 서버(미도시)와 송수신한다. 특히, 통신부(140)는 복수의 소스 디바이스와 1 : 1, 1:N 으로 연결될 수 있다.
제어부(150)는, 싱크 디바이스(100)의 동작을 제어한다. 또한, 제어부(150)는, 디스플레이부(110), 사용자 입력부(120), 메모리(130) 및 통신부(140)를 제어함으로써, 싱크 디바이스(100)는 복수의 미러링 영상에 관한 서비스를 제공할 수 있다.
또한, 제어부(150)는 사용자 입력에 기초하여 싱크 디바이스(100)의 화면 상에 디스플레이된 제 1 미러링 영상에서 제 1 객체를 결정할 수 있다. 구체적으로, 사용자로부터 제 1 미러링 영상에 대한 터치 입력을 수신하고, 터치 입력의 좌표에 대응하는 적어도 하나의 객체에 관한 정보를 획득하고, 획득된 객체에 관한 정보에 기초하여 제 1 객체를 결정할 수 있다.
또한, 제어부(150)는 제 1 객체가 싱크 디바이스(100)의 화면 상에 디스플레이된 제 2 미러링 영상으로 이동됨에 따라, 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정할 수 있다.
또한, 제어부(150)는 제 1 객체 및 제 2 객체와 관련된 서비스를 결정하고, 결정된 서비스의 실행 결과를 출력하여 싱크 디바이스(100)의 화면 상에 디스플레이된 복수의 미러링 영상들에 관한 서비스를 제공할 수 있다.
또한, 제어부(150)는 제 2 객체가 제 2 미러링 영상 내에 포함된 어플리케이션 실행창인 경우, 제 1 객체를 이용하여 어플리케이션이 제공할 수 있는 서비스를 결정할 수 있다.
또한, 제어부(150)는, 제 1 객체에 관한 정보를 포함하는, 어플리케이션에 대한 실행 요청을 제 2 소스 디바이스(300)로 송신하여, 제 2 소스 디바이스(300)로부터, 제 1 객체에 대한 어플리케이션의 실행 결과를 수신하고, 수신한 실행 결과를 제 2 미러링 영상이 디스플레이 되는 제 2 영역에 출력하여 서비스를 제공할 수 있다.
또한, 제어부(150)는, 제 1 객체 및 제 2 객체를 포함하는, 서비스에 대한 실행 요청을 제 3 디바이스로 송신하고, 제 3 디바이스로부터, 서비스의 실행 결과를 수신하고, 수신한 실행 결과를 출력하여 서비스를 제공할 수 있다.
도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 소스 디바이스(200)는 디스플레이부(240), 사용자 입력부(250), 메모리(260), 통신부(270) 및 제어부(280)를 포함한다.
디스플레이부(240), 사용자 입력부(250)는 싱크 디바이스(100)의 디스플레이부(110), 사용자 입력부(120)에 대응되므로, 구체적인 설명은 생략한다.
메모리(260)는 소스 디바이스(200)가 싱크 디바이스(100)에게 미러링 서비스를 제공하는데 이용되는 데이터를 저장한다.
통신부(270)는, 소스 디바이스(200)가 싱크 디바이스(100)에게 미러링 서비스를 제공하는데 이용되는 데이터를, 외부 장치(미도시) 또는 외부 서버(미도시)와 송수신한다. 특히, 통신부(270)는 복수의 싱크 디바이스와 1 : 1, 1:N 으로 연결될 수 있다.
제어부(280)는, 소스 디바이스(200)의 동작을 제어한다. 또한, 제어부(280)는, 디스플레이부(240), 사용자 입력부(250), 메모리(260), 통신부(270)를 제어함으로써, 소스 디바이스(200)는 싱크 디바이스(100)에게 미러링 서비스를 제공하게 할 수 있다.
도 12은 본 발명의 다른 일 실시예에 따른 싱크 디바이스(100)와 소스 디바이스(200)의 블록도이다.
이동 통신부(1001)는 3G/4G와 같은 셀룰러 네트워크를 통해 기지국과의 호 설정, 데이터 통신 등을 수행한다. 서브 통신부(1002)는 블루투스나 NFC 등 근거리 통신을 위한 기능을 수행한다. 방송부(1003)는 DMB 방송 신호를 수신한다.
카메라부(1004)는 사진이나 동영상을 촬영하기 위한 렌즈 및 광학 소자들을 포함한다.
센서부(1005)는 디바이스(1000)의 움직임을 감지하는 중력 센서, 빛의 밝기를 감지하는 조도 센서, 사람의 근접도를 감지하는 근접 센서, 사람의 움직임을 감지하는 모션 센서 등을 포함할 수 있다.
GPS 수신부(1006)는 인공 위성으로부터 GPS 신호를 수신한다. 이러한 GPS 신호를 이용하여 다양한 서비스가 사용자에게 제공될 수 있다.
입출력부(1010)은 외부 기기나 사람과의 인터페이스를 제공하며, 버튼(1011), 마이크(1012), 스피커(1013), 진동 모터(1014), 커넥터(1015), 키패드(1016)을 포함한다.
터치 스크린(1018)은 사용자의 터치 입력을 수신한다. 터치 스크린 컨트롤러(1017)는 터치 스크린(1018)을 통해 입력된 터치 입력을 제어부(1050)에 전달한다. 전원 공급부(1019)는 디바이스(1000)에 필요한 전력을 공급하기 위해 배터리 또는 외부 전원 소스와 연결된다.
메모리(1060)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 이동 통신 모듈(1061), Wi-Fi 모듈(1062), 블루투스 모듈(1063), DMB 모듈(1062), 카메라 모듈(1065), 센서 모듈(1066), GPS 모듈(1067), 동영상 재생 모듈(1068), 오디오 재생 모듈(1069), 전원 모듈(1070), 터치 스크린 모듈(1071), UI 모듈(1072), 어플리케이션 모듈(1073) 등으로 분류될 수 있으며, 각 모듈들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (25)

  1. 싱크 디바이스가 상기 싱크 디바이스의 화면 상에 디스플레이된 복수의 미러링 영상들에 관한 서비스를 제공하는 방법에 있어서,
    사용자 입력에 기초하여 상기 싱크 디바이스의 화면 상에 디스플레이된 제 1 미러링 영상에서 제 1 객체를 결정하는 단계;
    상기 제 1 객체가 상기 싱크 디바이스의 화면 상에 디스플레이된 제 2 미러링 영상으로 이동됨에 따라, 상기 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정하는 단계;
    상기 제 2 미러링 영상을 통하여 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계; 및
    결정된 상기 서비스의 실행 결과를 출력하는 단계;
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 객체는, 제 1 소스 디바이스의 어플리케이션의 실행창, 상기 제 1 미러링 영상을 통하여 출력되는 멀티미디어 컨텐츠 및 상기 제 1 미러링 영상에 포함된 인물, 사물 및 아이콘 중 적어도 하나이고,
    상기 제 2 객체는, 제 2 소스 디바이스의 어플리케이션의 실행창, 상기 제 2 미러링 영상을 통하여 출력되는 멀티미디어 컨텐츠 및 상기 제 2 미러링 영상에 포함된 인물, 사물 및 아이콘 중 적어도 하나인 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    상기 제 1 객체를 결정하는 단계는,
    상기 사용자로부터 상기 제 1 미러링 영상에 대한 터치 입력을 수신하는 단계;
    상기 터치 입력의 좌표에 대응하는 적어도 하나의 객체에 관한 정보를 획득하는 단계; 및
    상기 획득된 객체에 관한 정보에 기초하여 제 1 객체를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 객체에 관한 정보를 획득하는 단계는,
    상기 제 1 미러링 영상이 디스플레이되는 영역에서의 상기 터치 입력의 좌표 를, 상기 제 1 미러링 영상을 전송하는 제 1 소스 디바이스로 송신하는 단계; 및
    상기 제 1 소스 디바이스로부터 상기 좌표에 기초하여 선택된 상기 적어도 하나의 객체에 관한 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 제 2 객체를 결정하는 단계는,
    상기 제 2 미러링 영상이 디스플레이되는 영역에서의 상기 제 1 객체가 이동된 좌표를 상기 제 2 미러링 영상을 전송하는 제 2 소스 디바이스로 송신하는 단계;
    상기 제 2 소스 디바이스로부터 상기 좌표에 기초하여 선택된 객체에 관한 정보를 수신하는 단계; 및
    상기 수신된 객체에 관한 정보에 기초하여 제 2 객체를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 제 2 객체는 상기 제 2 미러링 영상 내에 포함된 어플리케이션 실행창이고, 상기 어플리케이션은 상기 제 2 소스 디바이스에 설치된 어플리케이션이고,
    상기 서비스를 결정하는 단계는,
    상기 제 1 객체를 이용하여 상기 어플리케이션이 제공할 수 있는 서비스를 결정하는 단계를 포함하고,
    상기 서비스의 실행 결과를 출력하는 단계는,
    상기 제 1 객체에 관한 정보를 포함하는, 상기 어플리케이션에 대한 실행 요청을 상기 제 2 소스 디바이스로 송신하는 단계;
    상기 제 2 소스 디바이스로부터, 상기 제 1 객체에 대한 상기 어플리케이션의 실행 결과를 수신하는 단계; 및
    상기 수신한 실행 결과를 상기 제 2 미러링 영상이 디스플레이 되는 제 2 영역에 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 1 항에 있어서,
    상기 서비스를 결정하는 단계는,
    상기 제 1 객체 및 상기 제 2 객체에 기초하여, 상기 싱크 디바이스에 설치된 어플리케이션을 결정하는 단계; 및
    상기 결정된 어플리케이션에 의해 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계를 포함하고,
    상기 서비스의 실행 결과를 출력하는 단계는,
    상기 어플리케이션을 통하여 상기 결정된 서비스를 실행하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서,
    상기 서비스의 실행 결과를 출력하는 단계는,
    상기 제 1 객체 및 상기 제 2 객체를 포함하는, 상기 서비스에 대한 실행 요청을 상기 제 3 디바이스로 송신하는 단계;
    상기 제 3 디바이스로부터, 상기 서비스의 실행 결과를 수신하는 단계; 및
    상기 수신한 실행 결과를 출력하는 단계를 포함하는 방법.
  9. 화면 상에 디스플레이된 복수의 미러링 영상들에 관한 서비스를 제공하는 싱크 디바이스에 있어서,
    적어도 하나의 프로그램이 저장되는 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 실행 결과를 표시하도록 하는 프로세서를 포함하고,
    상기 적어도 하나의 프로그램은,
    사용자 입력에 기초하여 상기 싱크 디바이스의 화면 상에 디스플레이된 제 1 미러링 영상에서 제 1 객체를 결정하는 단계;
    상기 제 1 객체가 상기 싱크 디바이스의 화면 상에 디스플레이된 제 2 미러링 영상으로 이동됨에 따라, 상기 제 1 객체가 이동된 위치에 대응되는 제 2 객체를 결정하는 단계;
    상기 제 2 미러링 영상을 통하여 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계; 및
    결정된 상기 서비스의 실행 결과를 출력하는 단계;
    를 실행하는 명령어들을 포함하는 것인, 싱크 디바이스.
  10. 제 9 항에 있어서,
    상기 제 1 객체는, 제 1 소스 디바이스의 어플리케이션의 실행창, 상기 제 1 미러링 영상을 통하여 출력되는 멀티미디어 컨텐츠 및 상기 제 1 미러링 영상에 포함된 인물, 사물 및 아이콘 중 적어도 하나이고,
    상기 제 2 객체는, 제 2 소스 디바이스의 어플리케이션의 실행창, 상기 제 2 미러링 영상을 통하여 출력되는 멀티미디어 컨텐츠 및 상기 제 2 미러링 영상에 포함된 인물, 사물 및 아이콘 중 적어도 하나인 것을 특징으로 하는, 싱크 디바이스.
  11. 제 9 항에 있어서,
    상기 제 1 객체를 결정하는 단계는,
    상기 사용자로부터 상기 제 1 미러링 영상에 대한 터치 입력을 수신하는 단계;
    상기 터치 입력의 좌표에 대응하는 적어도 하나의 객체에 관한 정보를 획득하는 단계; 및
    상기 획득된 객체에 관한 정보에 기초하여 제 1 객체를 결정하는 단계;
    를 실행하는 것인, 싱크 디바이스.
  12. 제 11 항에 있어서,
    상기 적어도 하나의 객체에 관한 정보를 획득하는 단계는,
    상기 제 1 미러링 영상이 디스플레이되는 영역에서의 상기 터치 입력의 좌표 를, 상기 제 1 미러링 영상을 전송하는 제 1 소스 디바이스로 송신하는 단계; 및
    상기 제 1 소스 디바이스로부터 상기 좌표에 기초하여 선택된 상기 적어도 하나의 객체에 관한 정보를 수신하는 단계;
    를 실행하는 것인, 싱크 디바이스.
  13. 제 9 항에 있어서,
    상기 제 2 객체를 결정하는 단계는,
    상기 제 2 미러링 영상이 디스플레이되는 영역에서의 상기 제 1 객체가 이동된 좌표를 상기 제 2 미러링 영상을 전송하는 제 2 소스 디바이스로 송신하는 단계;
    상기 제 2 소스 디바이스로부터 상기 좌표에 기초하여 선택된 객체에 관한 정보를 수신하는 단계; 및
    상기 수신된 객체에 관한 정보에 기초하여 제 2 객체를 결정하는 단계;
    를 실행하는 것인, 싱크 디바이스.
  14. 제 9 항에 있어서,
    상기 제 2 객체는 상기 제 2 미러링 영상 내에 포함된 어플리케이션 실행창이고, 상기 어플리케이션은 상기 제 2 소스 디바이스에 설치된 어플리케이션이고,
    상기 서비스를 결정하는 단계는,
    상기 제 1 객체를 이용하여 상기 어플리케이션이 제공할 수 있는 서비스를 결정하는 단계를 포함하고,
    상기 서비스의 실행 결과를 출력하는 단계는,
    상기 제 1 객체에 관한 정보를 포함하는, 상기 어플리케이션에 대한 실행 요청을 상기 제 2 소스 디바이스로 송신하는 단계;
    상기 제 2 소스 디바이스로부터, 상기 제 1 객체에 대한 상기 어플리케이션의 실행 결과를 수신하는 단계; 및
    상기 수신한 실행 결과를 상기 제 2 미러링 영상이 디스플레이 되는 제 2 영역에 출력하는 단계;
    를 실행하는 것인, 싱크 디바이스.
  15. 제 9 항에 있어서,
    상기 서비스를 결정하는 단계는,
    상기 제 1 객체 및 상기 제 2 객체에 기초하여, 상기 싱크 디바이스에 설치된 어플리케이션을 결정하는 단계; 및
    상기 결정된 어플리케이션에 의해 제공되는 서비스 중에서, 상기 제 1 객체 및 상기 제 2 객체와 관련된 서비스를 결정하는 단계를 포함하고,
    상기 서비스의 실행 결과를 출력하는 단계는,
    상기 어플리케이션을 통하여 상기 결정된 서비스를 실행하는 단계;
    를 실행하는 것인, 싱크 디바이스.
  16. 제 9 항에 있어서,
    상기 서비스의 실행 결과를 출력하는 단계는,
    상기 제 1 객체에 관한 정보 및 상기 제 2 객체에 관한 정보를 포함하는, 상기 서비스에 대한 실행 요청을 상기 제 3 디바이스로 송신하는 단계;
    상기 제 3 디바이스로부터, 상기 서비스의 실행 결과를 수신하는 단계; 및
    상기 수신한 실행 결과;
    를 실행하는 것인, 싱크 디바이스.
  17. 싱크 디바이스에게 미러링 서비스를 제공하는 방법에 있어서,
    싱크 디바이스로부터 객체에 관한 정보, 어플리케이션에 대한 정보 및 상기 객체에 관한 정보에 기초하여 상기 어플리케이션을 실행한 결과에 대한 미러링 요청을 수신하는 단계; 및
    상기 어플리케이션의 실행 결과를 상기 싱크 디바이스로 미러링하는 단계를 포함하는 것을 특징으로 하는 방법.
  18. 제 17 항에 있어서,
    상기 객체는, 소정의 인물, 사물, 멀티미디어 컨텐츠 및 아이콘 중 적어도 하나를 포함하고,
    상기 객체에 관한 정보는, 상기 멀티미디어 컨텐츠의 파일명, 컨텐츠의 접근 URL, 컨텐츠 파일의 형식, 컨텐츠 파일의 크기, 상기 인물의 이름, 사물의 명칭 및 상기 아이콘이 나타내는 의미 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  19. 제 17 항에 있어서,
    상기 어플리케이션은, 상기 어플리케이션의 실행 화면이 상기 싱크 디바이스에서 디스플레이 중, 사용자의 입력에 의해 선택된 것을 특징으로 하는 방법.
  20. 제 17 항에 있어서,
    상기 싱크 디바이스로부터, 상기 어플리케이션의 실행 결과가 출력되는 미러링 영상에서 사용자에 의해 입력된 좌표를 수신하는 단계;
    상기 좌표에 기초하여 적어도 하나의 객체를 선택하는 단계; 및
    상기 선택된 객체에 관한 정보를 상기 싱크 디바이스로 송신하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 미러링 서비스를 제공하는 소스 디바이스에 있어서,
    외부 디바이스와 통신하는 통신부;
    적어도 하나의 프로그램이 저장되는 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 실행 결과를 표시하도록 하는 프로세서를 포함하고,
    상기 적어도 하나의 프로그램은,
    상기 통신부를 통해 상기 싱크 디바이스로부터 객체에 관한 정보, 어플리케이션에 대한 정보 및 상기 객체에 관한 정보에 기초하여 상기 어플리케이션을 실행한 결과에 대한 미러링 요청을 수신하는 단계; 및
    상기 통신부를 통해 상기 어플리케이션의 실행 결과를 상기 싱크 디바이스로 미러링하는 단계;
    를 실행하는 명령어들을 포함하는 것인, 소스 디바이스.
  22. 제 21 항에 있어서,
    상기 객체는, 소정의 인물, 사물, 멀티미디어 컨텐츠 및 아이콘 중 적어도 하나를 포함하고,
    상기 객체에 관한 정보는, 상기 멀티미디어 컨텐츠의 파일명, 컨텐츠의 접근 URL, 컨텐츠 파일의 형식, 컨텐츠 파일의 크기, 상기 인물의 이름, 사물의 명칭 및 상기 아이콘이 나타내는 의미 중 적어도 하나를 포함하는 것을 특징으로 하는, 소스 디바이스.
  23. 제 21 항에 있어서,
    상기 어플리케이션은, 상기 어플리케이션의 실행 화면이 상기 싱크 디바이스에서 디스플레이 중, 사용자의 입력에 의해 선택된 것을 특징으로 하는, 소스 디바이스.

  24. 제 21 항에 있어서,
    상기 적어도 하나의 프로그램은,
    상기 싱크 디바이스로부터, 상기 어플리케이션의 실행 결과가 출력되는 미러링 영상에서 사용자에 의해 입력된 좌표를 수신하는 단계;
    상기 좌표에 기초하여 적어도 하나의 객체를 선택하는 단계; 및
    상기 선택된 객체에 관한 정보를 상기 싱크 디바이스로 송신하는 단계;
    를 실행하는 명령어들을 더 포함하는, 소스 디바이스.
  25. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

KR1020130105101A 2013-09-02 2013-09-02 화면 미러링을 이용한 서비스 제공 방법 및 그 장치 KR102071579B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130105101A KR102071579B1 (ko) 2013-09-02 2013-09-02 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
US14/473,176 US9652193B2 (en) 2013-09-02 2014-08-29 Method and apparatus for providing service by using screen mirroring
EP14182885.5A EP2843919B1 (en) 2013-09-02 2014-08-29 Method and apparatus for providing service by using screen mirroring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130105101A KR102071579B1 (ko) 2013-09-02 2013-09-02 화면 미러링을 이용한 서비스 제공 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150026367A true KR20150026367A (ko) 2015-03-11
KR102071579B1 KR102071579B1 (ko) 2020-01-30

Family

ID=51453650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130105101A KR102071579B1 (ko) 2013-09-02 2013-09-02 화면 미러링을 이용한 서비스 제공 방법 및 그 장치

Country Status (3)

Country Link
US (1) US9652193B2 (ko)
EP (1) EP2843919B1 (ko)
KR (1) KR102071579B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008576A (ko) * 2015-07-14 2017-01-24 삼성전자주식회사 전자 장치의 동작 방법 및 전자 장치
KR20170027435A (ko) * 2015-09-02 2017-03-10 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20170112747A (ko) * 2016-04-01 2017-10-12 엘지전자 주식회사 영상표시장치
KR20190035414A (ko) * 2017-09-26 2019-04-03 엘지전자 주식회사 무선 디바이스 및 그의 동작 방법
US11197736B2 (en) 2015-10-02 2021-12-14 Sony Corporation Medical control system and method that uses packetized data to convey medical video information
KR20230152310A (ko) * 2022-04-27 2023-11-03 엘지전자 주식회사 외부 디스플레이 장치와 콘텐츠를 공유하는 디스플레이 장치 및 콘텐츠 공유 방법
KR102642263B1 (ko) 2023-02-01 2024-02-29 김기환 실시간 레이어 공유가 가능한 시스템

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5802830B2 (ja) 2011-06-05 2015-11-04 アップル インコーポレイテッド 複数のアプリケーションから受信した通知を表示するためのシステムおよび方法
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US9762516B2 (en) * 2014-04-23 2017-09-12 Cellco Partnership Variable image acquisition and processing techniques based on image data type
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US9967401B2 (en) 2014-05-30 2018-05-08 Apple Inc. User interface for phone call routing among devices
EP3195098A2 (en) 2014-07-21 2017-07-26 Apple Inc. Remote user interface
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
WO2016036412A1 (en) 2014-09-02 2016-03-10 Apple Inc. Remote camera user interface
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
US9574896B2 (en) 2015-02-13 2017-02-21 Apple Inc. Navigation user interface
WO2016137167A1 (en) * 2015-02-23 2016-09-01 Lg Electronics Inc. Terminal
US10254911B2 (en) * 2015-03-08 2019-04-09 Apple Inc. Device configuration user interface
CN106066775B (zh) * 2015-04-23 2019-05-10 禾瑞亚科技股份有限公司 互动控制系統、触控显示装置及其控制方法
US10255021B2 (en) 2015-05-28 2019-04-09 Qualcomm Incorporated Low latency screen mirroring
CN106293381B (zh) * 2015-06-11 2019-09-24 联想(北京)有限公司 控制方法、控制装置及电子设备
CN106293563B (zh) * 2015-06-01 2020-03-24 联想(北京)有限公司 一种控制方法和电子设备
US10181309B2 (en) * 2015-06-01 2019-01-15 Lenovo (Beijing) Co., Ltd. Electronic device control method and electronic device
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
CN104850463B (zh) * 2015-06-08 2019-11-15 三星电子（中国）研发中心 应用程序共享方法及装置
WO2016200018A1 (en) 2015-06-08 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for sharing application
US10382927B2 (en) * 2015-08-20 2019-08-13 Samsung Electronics Co., Ltd. Method of text input for wearable devices
WO2017111183A1 (ko) * 2015-12-21 2017-06-29 모다정보통신 주식회사 휴대용 무선 장치 및 이를 이용한 실시간 미러링 제공 방법
KR20170096408A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
KR102570379B1 (ko) 2016-04-22 2023-08-25 엘지전자 주식회사 스크린 미러링 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
KR102623181B1 (ko) * 2016-10-05 2024-01-11 엘지전자 주식회사 무선 디바이스 및 무선 시스템
JP6943257B2 (ja) * 2016-11-25 2021-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN110169079B (zh) * 2017-02-06 2022-01-11 惠普发展公司，有限责任合伙企业 在信宿设备上的源设备的媒体内容控制
JP6914728B2 (ja) * 2017-05-26 2021-08-04 キヤノン株式会社 通信装置、通信方法、およびプログラム
JP2019114989A (ja) * 2017-12-25 2019-07-11 キヤノン株式会社 通信装置、制御方法、およびプログラム
FR3079050B1 (fr) * 2018-03-15 2020-06-05 Renault S.A.S Procede de gestion d'un ecran tactile affichant des objets graphiques provenant de sources multimedia multiples
US10887193B2 (en) 2018-06-03 2021-01-05 Apple Inc. User interfaces for updating network connection settings of external devices
CN109413273A (zh) * 2018-09-16 2019-03-01 苏州云巢文化传媒有限公司 电子设备间同步方法、***及电子锁屏幕同步***及介质
US11340778B2 (en) 2019-05-06 2022-05-24 Apple Inc. Restricted operation of an electronic device
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
KR102668429B1 (ko) * 2019-11-15 2024-05-24 삼성전자주식회사 전자장치 및 그 제어방법
US11487423B2 (en) 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11042222B1 (en) 2019-12-16 2021-06-22 Microsoft Technology Licensing, Llc Sub-display designation and sharing
US11404028B2 (en) 2019-12-16 2022-08-02 Microsoft Technology Licensing, Llc Sub-display notification handling
US11093046B2 (en) 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
CN111859392A (zh) * 2020-07-14 2020-10-30 苏州浪潮智能科技有限公司 一种镜像管控方法、装置、设备及存储介质
CN114077411A (zh) * 2020-08-11 2022-02-22 华为技术有限公司 数据传输方法和设备
EP4191397A4 (en) * 2020-10-28 2023-12-13 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE, DISPLAY DEVICE AND CONTROL METHOD THEREOF
CN117692551A (zh) * 2022-09-02 2024-03-12 荣耀终端有限公司 数据传输方法和终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100099456A1 (en) * 2008-10-20 2010-04-22 Lg Electronics Inc. Mobile terminal and method for controlling functions related to external devices
US20100262673A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7948448B2 (en) * 2004-04-01 2011-05-24 Polyvision Corporation Portable presentation system and methods for use therewith
US20070150924A1 (en) 2005-12-06 2007-06-28 Pioneer Corporation Image display control apparatus, image display system, image display control method, computer program product, sub-display control apparatus for image display system, and image display method
JP4810209B2 (ja) 2005-12-06 2011-11-09 パイオニア株式会社 画像表示システム、画像表示システム用副表示制御装置、画像表示方法及びコンピュータプログラム
JP5604921B2 (ja) 2010-03-19 2014-10-15 セイコーエプソン株式会社 画像表示システム、画像表示方法、画像表示装置
US8674957B2 (en) * 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
KR101788060B1 (ko) * 2011-04-13 2017-11-15 엘지전자 주식회사 영상표시장치 및 이를 이용한 콘텐츠 관리방법
US20120290943A1 (en) 2011-05-10 2012-11-15 Nokia Corporation Method and apparatus for distributively managing content between multiple users
US9436650B2 (en) 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
KR101522399B1 (ko) * 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
US9317240B2 (en) * 2012-02-15 2016-04-19 Lg Electronics Inc. Image display device and method of controlling the same
KR101952682B1 (ko) * 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9176703B2 (en) * 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
CN104104709A (zh) * 2013-04-12 2014-10-15 上海帛茂信息科技有限公司 可与多个显示设备进行通讯的方法及使用该方法的电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100099456A1 (en) * 2008-10-20 2010-04-22 Lg Electronics Inc. Mobile terminal and method for controlling functions related to external devices
US20100262673A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008576A (ko) * 2015-07-14 2017-01-24 삼성전자주식회사 전자 장치의 동작 방법 및 전자 장치
KR20170027435A (ko) * 2015-09-02 2017-03-10 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US11197736B2 (en) 2015-10-02 2021-12-14 Sony Corporation Medical control system and method that uses packetized data to convey medical video information
KR20170112747A (ko) * 2016-04-01 2017-10-12 엘지전자 주식회사 영상표시장치
KR20190035414A (ko) * 2017-09-26 2019-04-03 엘지전자 주식회사 무선 디바이스 및 그의 동작 방법
KR20230152310A (ko) * 2022-04-27 2023-11-03 엘지전자 주식회사 외부 디스플레이 장치와 콘텐츠를 공유하는 디스플레이 장치 및 콘텐츠 공유 방법
KR102642263B1 (ko) 2023-02-01 2024-02-29 김기환 실시간 레이어 공유가 가능한 시스템

Also Published As

Publication number Publication date
EP2843919A1 (en) 2015-03-04
US20150061972A1 (en) 2015-03-05
KR102071579B1 (ko) 2020-01-30
US9652193B2 (en) 2017-05-16
EP2843919B1 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
KR102071579B1 (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
KR101664754B1 (ko) 정보 취득 방법, 장치, 프로그램 및 기록매체
US9549143B2 (en) Method and mobile terminal for displaying information, method and display device for providing information, and method and mobile terminal for generating control signal
US10194189B1 (en) Playback of content using multiple devices
US20220200938A1 (en) Methods and systems for providing virtual collaboration via network
KR20180130354A (ko) 휴대 전자장치 및 그 제어 방법
EP3322191A1 (en) Method and system for displaying object, and method and system for providing the object
CN109729372B (zh) 直播间切换方法、装置、终端、服务器及存储介质
US20210056762A1 (en) Design and generation of augmented reality experiences for structured distribution of content based on location-based triggers
CN113411680B (zh) 多媒体资源播放方法、装置、终端及存储介质
KR101938244B1 (ko) 디지털 사이니지 시스템 및 콘텐츠 편집 방법
EP3076588A1 (en) Communication management system, communication terminal, communication system, communication control method, and carrier means
KR20180020452A (ko) 단말기 및 그 제어 방법
CN112052355B (zh) 视频的展示方法、装置、终端、服务器、***及存储介质
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
CN104903844A (zh) 用于呈现网络和相关联的移动设备中的数据的方法
CN114302160A (zh) 信息显示方法、装置、计算机设备及介质
CN114302221A (zh) 一种虚拟现实设备及投屏媒资播放方法
JP6406028B2 (ja) ドキュメント表示支援装置、端末装置、ドキュメント表示方法、およびコンピュータプログラム
WO2023029237A1 (zh) 视频预览方法及终端
WO2022151882A1 (zh) 虚拟现实设备
KR102372181B1 (ko) 전자 장치 및 그의 제어 방법
CN115129280A (zh) 一种虚拟现实设备及投屏媒资播放方法
JP6590433B2 (ja) 動画再生管理方法、システムおよびプログラム
KR101759563B1 (ko) 콘텐츠 요청 장치 및 방법과 콘텐츠 전송 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant