KR20160045370A - 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스 - Google Patents

디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스 Download PDF

Info

Publication number
KR20160045370A
KR20160045370A KR1020140140804A KR20140140804A KR20160045370A KR 20160045370 A KR20160045370 A KR 20160045370A KR 1020140140804 A KR1020140140804 A KR 1020140140804A KR 20140140804 A KR20140140804 A KR 20140140804A KR 20160045370 A KR20160045370 A KR 20160045370A
Authority
KR
South Korea
Prior art keywords
screen
displayed
user input
connection state
information
Prior art date
Application number
KR1020140140804A
Other languages
English (en)
Other versions
KR102269481B1 (ko
Inventor
최승환
유임경
정영빈
심정현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140140804A priority Critical patent/KR102269481B1/ko
Priority to EP21152202.4A priority patent/EP3825838A1/en
Priority to PCT/KR2015/010961 priority patent/WO2016060514A1/en
Priority to EP15851326.7A priority patent/EP3207460A4/en
Priority to CN201580062292.4A priority patent/CN107003818B/zh
Priority to US14/886,929 priority patent/US10353661B2/en
Publication of KR20160045370A publication Critical patent/KR20160045370A/ko
Priority to US16/416,901 priority patent/US10635379B2/en
Application granted granted Critical
Publication of KR102269481B1 publication Critical patent/KR102269481B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스가 제공된다. 본 디바이스의 화면 공유 방법에 따르면, 제1 디바이스 및 제2 디바이스 간에 같은 화면인 제1 화면이 디스플레이되는 동안에 제1 디바이스의 제1 화면을 제2 화면으로 전환하는 사용자 입력이 수신되면, 제1 디바이스에서 디스플레이 중인 제1 화면은 제2 화면으로 전환하여 디스플레이되고, 제2 디바이스에서는 제1 화면이 계속하여 디스플레이될 수 있다.

Description

디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스{METHOD FOR SCREEN SHARING WITH DEVICES AND DEVICE THEREOF}
본 개시는 디바이스 간 화면을 공유하는 방법 및 이를 이용하는 디바이스에 관한 것으로, 구체적으로는, 제1 디바이스에서 디스플레이 중인 화면에 관한 정보를 제2 디바이스로 전송하는 방법에 관한 것이다.
유무선 통신 네트워크의 발달로, 유무선 통신 네트워크를 통하여 화면을 디스플레이하여 사용자가 시각적으로 인식할 수 있는 데이터를 출력하는 디바이스들이 상호 연결될 수 있다.
이 경우, 유무선 통신 네트워크를 통하여 디바이스들 간에는 각종 데이터들이 송수신될 수 있다. 예를 들어, 디바이스 간에는 화면이 공유될 수 있으며, 이를 위하여 미러링(mirroring) 기술 또는 스트리밍(streaming) 기술 등과 같은 화면 공유 기술이 이용될 수 있다.
이때, 화면에 관한 정보 또는 컨텐츠를 전송하는 제1 디바이스를 소스 디바이스, 마스터 디바이스 또는 제어 디바이스라 칭하고, 화면에 관한 정보 또는 컨텐츠를 수신하는 제2 디바이스를 동기화 디바이스, 클라이언트 디바이스 또는 연결 디바이스라 칭할 수 있다.
미러링 기술은 디바이스들 간에 화면에 출력되는 데이터를 공유할 수 있게 한다. 예를 들어, 미러링 기술은 소스 디바이스의 화면을 압축하고, 압축된 화면을 동기화 디바이스로 전송하게 한다. 그러면, 동기화 디바이스는 압축된 화면을 풀어서 화면을 디스플레이할 수 있다.
스트리밍(streaming) 기술도 디바이스들 간에 화면에 출력되는 데이터를 공유할 수 있게 한다. 스트리밍 기술은 소스 디바이스에 저장된 압축된 영상 컨텐츠를 동기화 디바이스로 전송하게 된다. 그러면, 동기화 디바이스는 압축된 영상 컨텐츠를 풀어서 영상 컨텐츠를 디스플레이할 수 있다.
화면 공유 기술은 케이블이나 Wi-Fi Direct와 같은 장치 간 유무선 연결 기술의 성능 향상에 따라 빠르게 발전하고 있다. 특히, 화면 공유 기술은 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA 와 같은 휴대용 단말기, TV 등과 같이 화면을 출력할 수 있는 모든 전자기기에 적용할 수 있도록 널리 개발되고 있다.
기존에는 사용자가 디바이스 간에 화면을 공유하는 동안에 다른 작업을 수행하기 위해서 화면 공유를 중지해야 하는 불편함이 있었다. 특히, 일 디바이스에서 컨텐츠가 재생되는 동안에는 별도의 조작이 어려운 문제가 있었다. 또한, 기존에는 디바이스 간에 화면을 공유하는 상황이 대부분 두 디바이스 간에 연결된 상황이었으나, 점차 하나의 기기와 다수개의 기기가 연결되는 상황도 고려할 필요가 있다.
또한, 디바이스 간에 일 컨버전스 서비스가 수행되는 상황에서 다른 컨버전스 서비스를 수행하는 경우, 사용자는 수행 중인 컨버전스 서비스를 종료해야 하는 불편함이 있었다. 이때, 컨버전스 서비스에는, 예로, 디바이스 간에 컨텐츠 스트리밍, 디바이스 간에 화면 공유, 디바이스 간에 파일 전송, 디바이스 간에 원격 제어 등과 같은 다양한 서비스들이 포함될 수 있다.
따라서, 디바이스 간에 화면을 공유하는 상황에서 사용자의 편의성을 향상시키기 위한 다양한 방법이 요구된다. 특히, 다양한 컨버전스 서비스 각각에 적합한 직관적인 사용자 인터렉션이 요구될 수 있다.
본 개시의 다양한 실시 예에 따른 방법 또는 장치에 따르면, 위에서 기술한 문제점들을 개선할 수 있다. 또한, 본 개시에 기술된 내용에 비추어 당업자에게 자명한 다른 문제점들을 개선할 수 있다.
일 실시 예에 의하면, 제1 디바이스의 화면을 제2 디바이스와 공유하는 방법은, 상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계, 상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 제2 연결 상태로 전환하는 단계, 및, 상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 상기 제2 연결 상태로 전환된 상태에서, 사용자 입력이 수신되면, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면을 제2 화면으로 전환하여 디스플레이하고, 상기 제2 디바이스에서는 디스플레이 중인 상기 제1 화면이 계속하여 디스플레이되도록 제어하는 단계를 포함한다.
이 경우, 상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 상기 제2 연결 상태로 전환하는 단계는, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면과 독립된 팝업 화면에 포함된 UI 엘리먼트를 선택하는 사용자 입력에 응답하여 전환하는 단계를 포함할 수 있다.
한편, 상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 상기 제2 연결 상태로 전환하는 단계는, 상기 제1 디바이스 및 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 동기화 모드를 중지하고, 상기 제1 디바이스 및 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 비동기화 모드를 실행하는 단계를 포함할 수 있다.
한편, 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계는, 상기 제1 디바이스에서 현재 디스플레이 중인 상기 제1 화면을 압축하고, 상기 압축된 제1 화면을 상기 제2 디바이스로 전송하는 단계를 포함할 수 있다.
한편, 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계는, 상기 제1 디바이스에서 현재 디스플레이 중인 상기 제1 화면에 포함된 영상 컨텐츠를 압축하고, 상기 압축된 영상 컨텐츠를 상기 제2 디바이스로 전송하는 단계를 포함할 수 있다.
한편, 본 화면 공유 방법은, 상기 제2 디바이스로부터 상기 제2 디바이스를 통한 사용자 입력에 관한 정보를 수신하는 단계, 및, 상기 사용자 입력에 관한 정보에 응답하여, 상기 사용자 입력과 관련된 제3 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계를 더 포함할 수 있다.
한편, 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계 전에, 상기 제1 디바이스와 통신 가능한 복수의 제2 디바이스들 각각을 대표하는 아이콘들을 디스플레이하는 단계, 및, 상기 디스플레이된 아이콘들 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 제2 디바이스와 상기 제1 연결 상태로 연결하는 단계를 더 포함할 수 있다.
한편, 상기 팝업 화면은, 상기 제1 디바이스 및 상기 제2 디바이스의 화면 간에 동기화 또는 비동기화를 나타내는 알림 정보를 포함할 수 있다.
한편, 상기 제1 디바이스가 복수의 제2 디바이스들을 포함하는 제2 디바이스 그룹과 화면을 공유하는 경우, 상기 팝업 화면은, 상기 제2 디바이스 그룹에 포함된 제2 디바이스들의 개수, 상기 제2 디바이스 그룹의 식별 정보, 및 상기 제2 디바이스 그룹에 포함된 제2 디바이스의 식별 정보 중 적어도 하나를 포함할 수 있다.
한편, 본 개시의 다른 실시 예에 따른 제1 디바이스에서 수행되는, 상기 제1 디바이스의 화면을 제2 디바이스와 공유하는 방법은, 상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계, 상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 제2 연결 상태로 전환하는 단계, 및, 상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 상기 제2 연결 상태로 전환된 상태에서, 상기 제2 디바이스로부터 상기 제2 디바이스에서 디스플레이 중인 상기 제1 화면을 제3 화면으로 전환을 요청하는 정보가 수신되면, 상기 제1 디바이스에서 상기 제1 화면이 계속하여 디스플레이되는 동안에, 상기 제3 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계를 포함한다.
한편, 본 개시의 일 실시 예에 따른 제2 디바이스와 화면을 공유하는 제1 디바이스는, 사용자 입력을 감지하는 감지부, 제1 화면을 디스플레이하는 디스플레이부, 상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 통신부, 및, 상기 제1 연결 상태로부터, 상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 제2 연결 상태로 전환된 상태에서, 상기 감지부를 통하여 사용자 입력이 수신되면, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면이 제2 화면으로 전환하여 디스플레이되고, 상기 제2 디바이스에서는 상기 제1 화면이 계속하여 디스플레이되도록 제어하는 제어부를 포함한다.
이 경우, 제11항에 있어서, 상기 감지부는, 상기 제1 연결 상태로부터 상기 제2 연결 상태로 전환하기 위하여, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면과 독립된 팝업 화면에 포함된 UI 엘리먼트를 선택하는 사용자 입력을 감지할 수 있다.
한편, 상기 제어부는, 상기 제1 연결 상태로부터 상기 제2 연결 상태로 전환되는 경우, 상기 제1 디바이스 및 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 동기화 모드를 중지하고, 상기 제1 디바이스 및 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 비동기화 모드를 실행할 수 있다.
한편, 상기 통신부는, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 경우, 압축된 상기 제1 화면을 상기 제2 디바이스로 전송할 수 있다.
한편, 상기 통신부는, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 경우, 압축된 상기 제1 화면에 포함된 영상 컨텐츠를 상기 제2 디바이스로 전송할 수 있다.
한편, 상기 통신부는, 상기 제2 디바이스로부터 상기 제2 디바이스를 통한 사용자 입력에 관한 정보를 수신하고, 상기 사용자 입력과 관련된 제3 화면에 관한 정보를 상기 제2 디바이스로 전송할 수 있다.
한편, 상기 디스플레이부는, 상기 제1 디바이스와 통신 가능한 복수의 제2 디바이스들 각각을 대표하는 아이콘들을 디스플레이하고, 상기 제어부는, 상기 감지부를 통하여 상기 디스플레이된 아이콘들 중 하나를 선택하는 사용자 입력이 수신되면, 상기 선택된 아이콘에 대응되는 제2 디바이스와 상기 제1 연결 상태로 연결할 수 있다.
한편, 상기 팝업 화면은, 상기 제1 디바이스 및 상기 제2 디바이스의 화면 간에 동기화 또는 비동기화를 나타내는 알림 정보를 포함할 수 있다.
한편, 상기 제1 디바이스가 복수의 제2 디바이스들을 포함하는 제2 디바이스 그룹과 화면을 공유하는 경우, 상기 팝업 화면은, 상기 제2 디바이스 그룹에 포함된 제2 디바이스들의 개수, 상기 제2 디바이스 그룹의 식별 정보 및 상기 제2 디바이스 그룹에 포함된 제2 디바이스의 식별 정보 중 적어도 하나를 포함할 수 있다.
한편, 본 개시의 다른 실시 예에 따른 제2 디바이스와 화면을 공유하는 제1 디바이스는, 사용자 입력을 감지하는 감지부, 제1 화면을 디스플레이하는 디스플레이부, 상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 통신부, 및, 상기 제1 연결 상태로부터, 상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 제2 연결 상태로 전환된 상태에서, 상기 통신부를 통하여 상기 제2 디바이스로부터 상기 제2 디바이스에 디스플레이 중인 상기 제1 화면을 제3 화면으로 전환을 요청하는 정보가 수신되면, 상기 제1 디바이스에서는 상기 제1 화면이 계속하여 디스플레이되는 동안에, 상기 제3 화면에 관한 정보가 상기 제2 디바이스로 전송되도록 상기 통신부를 제어하는 제어부를 포함한다.
상술한 바와 같이 본 개시의 실시 예에 따르면, 디바이스 간에 화면이 공유되는 동안에, 사용자는 다른 디바이스로 사적인 정보를 노출하지 않고 멀티 태스킹 작업을 용이하게 수행할 수 있게 된다. 특히, 사용자는 디스플레이 중인 화면과 분리된 팝업 화면을 통하여 다른 디바이스를 간단하게 제어할 수 있게 된다.
또한, 본 개시의 실시 예에 따르면, 일 디바이스와 화면을 공유하는 디바이스가 다수 개인 경우, 사용자는 화면 공유 대상 디바이스를 쉽게 추가하거나 및 제외할 수 있게 된다.
또한, 본 개시의 실시 예에 따르면, 사용자는 화면 공유를 위하여 미러링 기술 및 스트리밍 기술을 선택적으로 쉽게 전환활 수 있게 된다.
그 외에 본 개시의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 실시 예에 따른 시스템을 나타내는 블록도이다.
도 2는 본 개시의 실시 예에 따른 디바이스의 구성을 나타내는 블록도이다.
도 3은 본 개시의 실시 예에 따른 소프트웨어의 구성을 나타내는 블록도이다.
도 4는 본 개시의 실시 예에 따른 제1 디바이스 및 제2 디바이스 간에 화면을 공유하는 방식을 나타내는 도면이다.
도 5는 본 개시의 실시 예에 따른 제1 디바이스 및 제2 디바이스 간에 화면을 공유하는 흐름도이다.
도 6 내지 도 18은 본 개시의 실시 예에 따른, 제1 디바이스 및 제2 디바이스 간에 화면을 공유하는 과정을 나타내는 도면들이다.
도 19는 내지 도 21은 본 개시의 실시 예에 따른 팝업 화면의 예를 나타내는 도면이다.
도 22는 본 개시의 실시 예에 따른 컨트롤러 패널의 다른 예를 나타내는 도면이다.
도 23 내지 도 26은 본 개시의 실시 예에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 본 개시의 실시 예에서, 사용자 입력은, 터치 입력, 벤딩 입력, 음성 입력, 버튼 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 개시의 실시 예에서, “터치 입력”이란 사용자가 장치를 제어하기 위해 디스플레이 및 커버에 행하는 터치 제스처 등을 의미한다. 또한, “터치 입력”은 디스플레이 상에 접촉되지 않고, 일정 거리 이상 이격되어 있는 상태의 터치(예컨대, 플로팅(floating) 또는 호버링(hovering))를 포함할 수 있다. 터치 입력에는 터치&홀드 제스처, 터치 후 해제하는 탭 제스처, 더블 탭 제스처, 패닝 제스처, 플릭 제스처, 터치 후 일 방향으로 이동하는 터치 드래그 제스처, 핀치 제스처 등이 있을 수 있으나, 이에 제한되지 않는다.
또한, 본 개시의 실시 예에서, “버튼 입력”은 사용자가 장치에 부착된 물리적인 버튼을 이용하여, 장치를 제어하는 입력을 의미한다.
또한, 본 개시의 실시 예에서, "모션 입력"은, 사용자가 장치를 제어하기 위해 장치에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 장치를 회전시키거나, 장치를 기울이거나, 장치를 상하좌우로 이동시키는 입력을 포함할 수 있다.
또한, 본 개시 실시 예에서, “다중 입력”은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 장치는 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다.
또한, 본 개시의 실시 예에서, “애플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 개시의 실시 예에서, 애플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 개시의 실시 예에서, “애플리케이션 식별 정보”는 애플리케이션을 다른 애플리케이션과 구별하기 위한 고유의 정보일 수 있다. 예로, 애플리케이션의 식별 정보는, 아이콘, 인덱스 항목, 링크 정보 등이 될 수 있으나, 이에 제한되지는 않는다.
또한, 본 개시의 실시 예에서, UI(User Interaction) 엘리먼트는 사용자와 인터렉션이 가능하여 사용자 입력에 따라 시각적, 청각적, 후각적 등 피드백이 가능한 엘리먼트를 의미한다. UI 엘리먼트는 이미지, 텍스트 및 동영상 중 적어도 하나의 형태로 표현되거나, 또는 상술한 정보가 디스플레이되지 않으나 사용자 입력에 따라 피드백이 가능한 일 영역이 있으면, 이 영역을 UI 엘리먼트라 할 수 있다. 또한, UI 엘리먼트, 예는, 전술한 애플리케이션 식별 정보가 될 수 있다.
이하, 본 개시의 실시 예들을 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 개시의 실시 예에 따른 시스템(10)을 나타내는 블록도이다.
도 1을 참조하면, 시스템(10)은 화면 또는 영상 컨텐츠를 전송하는 제1 디바이스(11)와 화면 또는 영상 컨텐츠를 수신하는 제2 디바이스들(21~2N)을 포함할 수 있다. 제1 디바이스(11)와 화면 또는 영상 컨텐츠를 수신하는 제2 디바이스들(21~2N) 간은 다양한 통신 방식을 통해 서로 연결될 수 있다. 예를 들어, 블루투스, 와이파이 등과 같은 무선 통신 모듈을 이용하여 서로 간에 통신이 수행될 수 있다.
제1 디바이스(11) 및 제2 디바이스들(21~2N)은 디스플레이 가능한 장치로서, 예를 들어, 스마트폰, 노트북, 데스크탑 PC, PDA, 전자책 단말기, 디지털방송용 단말기, 키오스크, 전자 액자, 네비게이션, 디지털 TV, 손목 시계(Wrist watch) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 디바이스(Wearable device) 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있다.
제1 디바이스(11) 및 제2 디바이스들(21~2N)은 각각의 디스플레이부를 통하여 화면을 디스플레이할 수 있다. 이때, 화면에는 외부 기기로부터 수신되거나 또는 기 저장된 영상 컨텐츠(예로, 동영상, 이미지 등)가 포함될 수 있다. 또는, 화면에는 아이콘, 텍스트, 이미지 등과 같은 다양한 객체들이 포함될 수 있다. 다양한 객체들은, 사용자와 인터렉션이 가능하여 사용자 입력에 따라 시각적, 청각적, 후각적 등 피드백이 가능한 UI 엘리먼트를 포함할 수도 있다.
본 개시에서는 제1 디바이스(11)는 휴대 단말기, 제2 디바이스(21)는 디지털 TV를 대상으로 주로 설명하나, 이는 일 예일 뿐이며 제1 디바이스(11) 및 제2 디바이스(21)는 이에 한정되지 않고 상술한 바와 같이 다양한 종류의 디바이스를 대상으로 할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 디바이스(100)의 구성을 나타내는 블록도이다. 도 2에 도시된 디바이스(100)의 구성은 도 1의 제1 및 제2 디바이스들(11, 21~2N)에 적용될 수 있다.
도 2에 도시된 바와 같이, 디바이스(100)는 영상 수신부(110), 영상 처리부(120), 디스플레이부(130), 통신부(140), 저장부(150), 오디오 처리부(160), 오디오 출력부(170), 감지부(180) 및 제어부(190) 중 적어도 하나를 포함할 수 있다. 한편, 도 2에 도시된 디바이스(100)의 구성은 일 예에 불과하므로, 반드시 전술한 블록도에 한정되는 것은 아니다. 따라서, 디바이스(100)의 종류 또는 디바이스(100)의 목적에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다.
영상 수신부(110)는 다양한 소스를 통해 영상 데이터를 수신한다. 예를 들어, 영상 수신부(110)는 외부의 방송국으로부터 방송 데이터를 수신할 수 있으며, 외부 서버로부터 실시간으로 VOD 데이터를 수신할 수 있으며, 외부 기기로부터 영상 데이터를 수신할 수 있다.
영상 처리부(120)는 영상 수신부(110)에서 수신한 영상 데이터에 대한 처리를 수행하는 구성요소이다. 영상 처리부(120)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(130)는 영상 데이터를 영상 처리부(120)에서 처리한 비디오 프레임 또는 그래픽 처리부(193)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다.
디스플레이부(130)의 구현 방식은 한정되지 않으며, 예컨대, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(130)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이부(130)가 액정 방식인 경우, 디스플레이부(130)는 LCD 디스플레이 패널(미도시)과, 이에 광을 공급하는 백라이트 유닛(미도시)과, 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다. 디스플레이부(130)는 감지부(180)의 터치 감지부(181)와 결합되어 터치 스크린으로 제공될 수 있다.
디스플레이부(130)는 벤디드 디스플레이의 형태로 디바이스(100)의 전면 영역 및, 측면 영역 또는 후면 영역 중 적어도 하나에 결합될 수도 있다. 벤디드 디스플레이는 플렉서블 디스플레이(flexible display)로 구현될 수도 있으며, 플렉서블 하지 않는 일반 디스플레이로 구현될 수도 있다. 예를 들어, 벤디드 디스플레이는 복수의 평면의 디스플레이를 서로 연결하여 구현될 수 있다.
벤디드 디스플레이가 플렉서블 디스플레이로 구현되는 경우, 플렉서블 디스플레이는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 것을 특징으로 할 수 있다. 이러한 플렉서블 디스플레이는 일반적으로 사용되는 유리 기판뿐 아니라 플라스틱 기판을 사용하여 제조될 수도 있다. 플라스틱 기판을 사용하는 경우, 기판의 손상을 방지하기 위해서 기존의 제조 프로세서를 사용하지 않고 저온 제조 프로세서를 사용하여 형성될 수 있다. 또한, 플렉서블 디스플레이는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 이러한 플렉서블 디스플레이는 얇고 가벼울 뿐만 아니라 충격에도 강하며, 또한 휘거나 굽힐 수 있고 다양한 형태로 제작이 가능하다는 장점을 갖고 있다.
통신부(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(140)는 와이파이칩(141), 블루투스 칩(142), 무선 통신 칩(143), NFC 칩(144)을 포함할 수 있다. 제어부(190)는 통신부(140)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.
특히, 와이파이 칩(141), 블루투스 칩(142) 각각은 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(141)이나 블루투스 칩(142)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(143)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(144)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
저장부(150)는 디바이스(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 저장부(150)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 저장부(150)는 제어부(190)에 의해 액세스되며, 제어부(190)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 저장부라는 용어는 저장부(150), 제어부(190) 내 롬(미도시), 램(미도시) 또는 디바이스(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
구체적으로는, 저장부(150)에는 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
이하에서는 도 3을 참조하여 디바이스(100)에 저장된 소프트웨어의 구조를 설명한다. 도 3에 따르면, 저장부(150)에는 OS(210), 커널(220), 미들웨어(230), 애플리케이션(240) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 210)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(210)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(220)은 감지부(180)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(230)로 전달하는 통로 역할을 한다.
미들웨어(230)는 디바이스(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 2에 따르면, 미들웨어(230)는 X11 모듈(230-1), APP 매니저(230-2), 연결 매니저(230-3), 보안 모듈(230-4), 시스템 매니저(230-5), 멀티미디어 프레임워크(230-6), 메인 UI 프레임워크(230-7), 윈도우 매니저(230-8), 서브 UI 프레임워크(230-9)를 포함한다.
X11 모듈(230-1)은 디바이스(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스처가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(230-2)는 저장부(150)에 설치(install)된 각종 애플리케이션(240)의 실행 상태를 관리하는 모듈이다. APP 매니저(230-2)는 X11 모듈(230-1)로부터 애플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 애플리케이션을 호출하여 실행시킨다.
연결 매니저(230-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(230-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(230-4)은 하드웨어에 대한 인증(Certification), 요청허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(230-5)는 디바이스(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(230-5)는 그 모니터링 결과를 메인 UI 프레임워크(230-7)나 서브 UI 프레임워크(230-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(230-6)는 디바이스(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(230-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(230-7)는 디스플레이부(130)의 메인 영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(230-9)는 서브 영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(230-7) 및 서브 UI 프레임워크(230-9)는 각종 UI 엘리먼트를 구성하는 이미지 합성기(Image Compositor module), UI 엘리먼트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 UI 엘리먼트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(230-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(230-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(230-7) 또는 서브 UI 프레임워크(230-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 움직임 감지부(182)에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.
애플리케이션 모듈(240)은 다양한 기능을 지원하기 위한 애플리케이션들(240-1 ~ 240-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 애플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. 메인 CPU(194)는 UI 엘리먼트가 선택되면, 애플리케이션 모듈(240)을 이용하여 선택된 UI 엘리먼트에 대응되는 애플리케이션을 실행시킬 수 있다.
도 3에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 디바이스(100)의 종류 또는 디바이스(100)의 목적에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다.
다시, 도 2에 대해 설명하면, 오디오 처리부(160)는 영상 컨텐츠의 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(160)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(160)에서 처리된 오디오 데이터는 오디오 출력부(170)로 출력될 수 있다.
오디오 출력부(170)는 오디오 처리부(160)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(170)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
감지부(180)는 다양한 사용자 인터렉션을 감지한다. 감지부(180)는 다양한 센서들로 이루어질 수 있으며, 디바이스(100)의 상태 변화를 검출할 수 있는 모든 형태의 센싱 디바이스(sensing device)들 중 적어도 하나의 디바이스를 포함하여 구성될 수 있다. 예를 들어, 감지부(180)는 터치 센서(Touch Sensor)는 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 조도 센서(illuminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor), 노이즈 센서(Noise Sensor)(예컨대, 마이크), 비디오 센서(Video Sensor)(예컨대, 카메라 모듈), 그리고 타이머 등과 같은 다양한 센싱 디바이스들 중 적어도 하나의 센서를 포함하여 구성될 수 있다.
감지부(180)는 감지 목적에 따라, 도 2에 도시된 바와 같이, 터치 감지부(181), 움직임 감지부(182) 등으로 구분할 수 있으나, 이에 제한되지 않으며 더 다양한 목적에 따라 구분될 수 있다. 이는, 물리적인 구분을 의미하는 것은 아니며 적어도 하나의 센서들이 결합하여 상기 감지부들(181,182)의 역할을 수행할 수 있다. 또한, 구현 방법에 따라 감지부(180)의 구성 또는 기능의 일부가 제어부(190)에 포함될 수도 있다.
예를 들어, 터치 감지부(181)는 디스플레이 패널의 뒷면에 부착된 터치 센서를 이용하여 사용자의 터치 입력을 감지할 수 있다. 제어부(190)는 터치 감지부(181)로부터 터치 좌표 및 터치 시간 등의 정보를 획득하여, 터치 입력의 종류(예로, 탭 제스처, 더블 탭 제스처, 패닝 제스처, 플릭 제스처, 터치 드래그 제스처 등)를 결정할 수 있다. 또는, 터치 감지부(181)가 획득한 터치 좌표 및 터치 시간 등을 이용하여 터치 입력의 종류를 직접 결정할 수도 있다.
움직임 감지부(182)는 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 중 적어도 하나를 이용하여 디바이스(100)의 움직임(예를 들어, 회전 움직임, 틸팅 움직임 등)을 감지할 수 있다. 그리고 움직임 감지부(182)는 생성된 전기적 신호를 제어부(190)로 전달할 수 있다. 일 예로, 움직임 감지부(182)는 디바이스(100)의 운동 가속도와 중력 가속도가 더해진 가속도를 측정하지만, 디바이스(100)의 움직임이 없으면 중력 가속도만 측정할 수 있다.
제어부(190)는 저장부(150)에 저장된 각종 프로그램을 이용하여 디바이스(100)의 전반적인 동작을 제어한다.
제어부(190)는 도 1에 도시된 바와 같이, RAM(191), ROM(192), 그래픽 처리부(193), 메인 CPU(194), 제1 내지 n 인터페이스(195-1 ~ 195-n), 버스(196)로 구성될 수 있다. 이때, RAM(191), ROM(192), 그래픽 처리부(193), 메인 CPU(194), 제1 내지 n 인터페이스(195-1 ~ 195-n) 등은 버스(196)를 통해 서로 연결될 수 있다.
RAM(191)은 O/S 및 애플리케이션 프로그램을 저장한다. 구체적으로, RAM(191)은 디바이스(110)가 부팅되면 O/S가 저장되고, 사용자가 선택한 각종 애플리케이션 데이터가 저장될 수 있다.
ROM(192)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(194)는 ROM(192)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(191)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(194)는 저장부(150)에 저장된 각종 애플리케이션 프로그램을 RAM(191)에 복사하고, RAM(191)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(193)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 감지부(180)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이부(130)의 디스플레이 영역 내에 표시될 수 있다.
메인 CPU(194)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메인 CPU(194)는 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(195-1 내지 195-n)는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스(195-1 내지 195-n) 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(190)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 같은 화면이 디스플레이되는 동안에, 제1 디바이스(11)에서 디스플레이 중인 제1 화면을 제2 화면으로 전환하는 사용자 입력이 수신되면, 제1 디바이스(11)에 디스플레이 중인 제1 화면이 제2 화면으로 전환하여 디스플레이되도록 디스플레이부(130)를 제어하고, 제2 디바이스(21)에서는 디스플레이 중인 제1 화면이 계속하여 디스플레이되도록 제1 내지 n 인터페이스(195-1 내지 195-n) 중 하나(및 통신부(140))를 제어할 수 있다.
또한, 제어부(190)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 같은 화면이 디스플레이되는 동안에, 제2 디바이스(21)로부터 제2 디바이스(21)에서 디스플레이 중인 제1 화면을 상기 제3 화면으로 전환하는 정보가 수신되면, 수신된 정보에 응답하여, 제1 디바이스(11)에서 제1 화면이 계속하여 디스플레이되는 동안에, 제3 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다.
또한, 제어부(190)는 제1 디바이스(11)에서는 제1 화면이 디스플레이되고, 제2 디바이스(21)에서는 제2 화면이 디스플레이되는 동안에, 감지부(180)를 통하여 제1 화면을 제3 화면으로 전환하는 사용자 입력이 수신되고, 제1 모드 상태에서, 제1 디바이스(11) 및 제2 디바이스(21)에서 같은 화면이 디스플레이되도록 제3 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 모드 상태 시에 제어부(190)는 제1 디바이스(11)에서 제3 화면이 디스플레이되도록 디스플레이부(130)를 제어하고, 제2 디바이스(21)에서는 제1 화면이 계속하여 디스플레이되도록 제1 내지 n 인터페이스(195-1 내지 195-n) 중 하나와 통신부(140)를 제어할 수 있다.
제1 디바이스(11) 및 제2 디바이스(21)는 복수의 연결 상태 중 일 연결 상태로 서로 연결될 수 있다. 예를 들어, 복수의 연결 상태는, 제1 디바이스(11)와 제2 디바이스(21) 간에 동일한 화면이 디스플레이되는 제1 연결 상태 및 제1 디바이스(11)와 제2 디바이스(21) 간에 독립적인 화면이 디스플레이되는 제2 연결 상태를 포함할 수 있다.
제1 연결 상태는, 제1 디바이스(11)와 제2 디바이스(21) 화면이 동기화된 상태로서, 제1 디바이스(11)의 화면이 변경되는 경우, 제2 디바이스(12)의 화면도 동시 또는 거의 동시에 변경되는 연결 상태를 의미할 수 있다. 이때, 거의 동시에 화면이 변경되는 경우는, 예로, 제1 디바이스(11)와 제2 디바이스(21) 간에 네트워크 연결 상황, 혹은 제1 디바이스(11) 또는 제2 디바이스(21)의 화면 데이터 처리 시간에 의하여 일정 시간 차를 가지고 동일한 화면이 디스플레이되는 경우를 포함할 수 있다. 제1 연결 상태에서, 제1 디바이스(11)는 제2 디바이스(21)와 화면을 동기화하기 위하여, 제1 디바이스(11)에서 현재 디스플레이 중인 화면을 압축하여 제2 디바이스(21)로 전송할 수 있다. 이때, 제1 디바이스(11)가 화면을 압축하는 상황은, 일정 주기마다 이벤트가 발생하거나 또는 화면의 적어도 일부를 변경시키는 이벤트가 발생할 때 일어날 수 있다.
한편, 제2 연결 상태는, 제1 디바이스(11)와 제2 디바이스(21)의 화면이 비동기화된 상태로서, 제1 디바이스(11)의 화면이 변경되더라도 제2 디바이스(12)는 기존에 디스플레이 중인 화면을 계속하여 디스플레이하는 상태를 의미할 수 있다. 다른 측면으로, 제2 디바이스(12)의 화면이 변경되더라도 제1 디바이스(11)는 기존에 디스플레이 중인 화면을 계속하여 디스플레이하는 상태를 의미할 수 있다. 제2 연결 상태에서는, 제1 디바이스(11)와 제2 디바이스(12)의 화면은 서로 동기화되지 않더라도, 화면 및 컨텐츠에 관한 정보는 서로 송수신할 수 있다. 예로, 제1 디바이스(11)의 화면이 변경되는 경우, 제1 디바이스(11)는 제1 디바이스(11)의 화면에 관한 정보를 제2 디바이스(12)로 전송할 수 있다. 이러한 경우, 제2 디바이스(21)는 제1 디바이스(11)의 화면에 관한 정보를 수신하더라도, 기존에 디스플레이 중인 화면을 계속하여 디스플레이하면서, 수신한 화면에 관한 정보는 저장부(150)에 임시 또는 영속적으로 저장할 수 있다. 이하, 제2 연결 상태에 대한 다양한 실시 예가 후술된다. 또한, 제1 연결 상태 및 제2 연결 상태 간에 전환에 따라 발생되는 다양한 실시 예가 후술된다.
도 4는 본 개시의 실시 예에 따른 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면을 공유하는 방식을 나타내는 도면이다.
도 4의 410은 제1 디바이스(11)와 제2 디바이스(21) 간에 화면 동기화 상태로 화면을 공유하는 것을 나타내고, 도 4의 420은 제1 디바이스(11)와 제2 디바이스(21) 간에 화면 비동기화 상태로 화면을 공유하는 것을 나타낸다.
도 4의 410과 같은 화면 동기화 상태에서는, 제1 디바이스(11) 및 제2 디바이스(21)가 같은 화면을 디스플레이하는 동안에 제1 디바이스(11)의 화면이 다른 화면으로 전환되는 경우, 제2 디바이스(21)의 화면도 상기 다른 화면으로 전환될 수 있다. 화면 동기화 상태를 유지하기 위하여 제1 디바이스(11)는 일정 주기 또는 사용자 입력에 따른 이벤트 발생 시에 제1 디바이스(11)의 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 화면에 컨텐츠가 포함된 경우에는, 제1 디바이스(11)는 컨텐츠에 관한 정보를 제2 디바이스(21)로 전송할 수 있다.
반면에, 도 4의 420과 같은 화면 비동기화 상태에서는, 제1 디바이스(11) 및 제2 디바이스(21)가 같은 화면을 디스플레이하는 동안에 제1 디바이스(11)의 화면이 다른 화면으로 전환되는 경우, 제2 디바이스(21)의 화면은 전환되지 않을 수 있다. 이 경우, 제1 디바이스(11)는 제2 디바이스(21)의 화면이 전환되지 않고 이전의 화면을 계속하여 디스플레이하도록 제어할 수 있다. 이전의 화면을 계속하여 디스플레이하도록 제어하는 것은 제1 디바이스(11)가 제1 디바이스(11) 또는 제2 디바이스(21)를 제어하는 것을 포함할 수 있다. 예를 들어, 이전의 화면을 계속하여 디스플레이하도록 제어하는 것은 제1 디바이스(11)가 제2 디바이스(21)로 화면에 관한 정보를 전송하지 않거나, 또는 제1 디바이스(11)가 제2 디바이스(21)로 화면 전환 전에 디스플레이되었던 이전 화면에 관한 정보를 전송하는 것을 포함할 수 있다. 또는, 제2 디바이스(21)가 제1 디바이스(11)로부터 화면에 관한 정보가 전송되지 않아도 이전 화면에 관한 정보를 계속 디스플레이하도록, 제1 디바이스(11)가 제2 디바이스(21)로 제어 정보를 전송하는 것을 포함할 수 있다.
여기에서, 화면 동기화 상태 및 비동기화 상태는 사용자의 선택에 따라 서로 전환될 수 있다. 예를 들어, 제1 디바이스(11)의 화면에 디스플레이된 팝업 화면에 포함된 UI 엘리먼트의 사용자 선택 여부에 따라서, 제1 디바이스(11) 및 제2 디바이스(21)는 화면 동기화 상태 또는 비동기화 상태로 동작할 수 있다.
또한, 여기에서, 제1 디바이스(11)와 제2 디바이스(21) 간에 화면을 공유하는 것은 미러링 방식 또는 스트리밍 방식, 또는 미러링 방식과 스트리밍 방식을 혼합한 방식으로 화면을 공유하는 것을 모두 포함할 수 있다.
도 5는 본 개시의 실시 예에 따른 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면을 공유하는 흐름도이다.
도 5에서, 제1 디바이스(11)와 제2 디바이스(21) 간에 서로 연결이 되고(511,521), 제1 디바이스(11)의 사용자가 화면을 공유하는 기능을 실행하면(512), 제1 디바이스(11)는 제2 디바이스(21)로 화면 공유 여부를 요청하는 신호를 전송할 수 있다. 이에 대한 응답으로, 제2 디바이스(21)는 화면 공유 요청을 수락하여 제1 디바이스(11)와 화면을 공유하는 기능을 실행할 수 있다(522). 제1 디바이스(11)와 제2 디바이스(21) 간에 화면을 공유하는 것은 현재 제1 디바이스(11)에 디스플레이 중인 화면을 공유하는 것뿐만 아니라, 제1 디바이스(11)에서는 디스플레이되지 않더라도 제1 디바이스(11)의 영상 처리부(120)에서 처리된 제1 디바이스(11)에서 디스플레이 가능한 화면이 제2 디바이스(21)에서 대신 디스플레이되도록 화면을 공유하는 것을 포함할 수 있다.
이때, 현재 제1 디바이스(11)에 디스플레이 중인 화면을 제1 디바이스(11)와 제2 디바이스(21) 간에 공유하는 것은 화면 동기화 상태라 할 수 있고, 제1 디바이스(11)의 영상 처리부(120)에서 처리된 제1 디바이스(11)에서 디스플레이 가능한 화면을 제1 디바이스(11)와 제2 디바이스(21) 간에 공유하는 것은 화면 비동기화 상태라 할 수 있다.
제1 디바이스(11) 및 제2 디바이스(21)가 화면 동기화 상태인 경우, 제1 디바이스(11)는 현재 제1 디바이스(11)에 디스플레이 중인 제1 화면을 압축하여 저장할 수 있다(513). 압축된 제1 화면은, 예로, 제1 디바이스(11)의 저장부(150) 또는 제1 디바이스(11)의 외부에 위치한 기록매체 또는 서버의 저장부에 임시 또는 영속적으로 저장될 수 있다. 다음으로, 제1 디바이스(11)는 화면과 관련된 정보로서 압축된 제1 화면을 제2 디바이스(21)로 전송할 수 있다(514). 제2 디바이스(21)는 압축된 제1 화면을 풀어서 제2 디바이스(21)의 화면을 업데이트할 수 있다(523). 즉, 제2 디바이스(21)는 제1 화면을 디스플레이할 수 있다.
제1 디바이스(11) 및 제2 디바이스(21)가 같은 화면을 디스플레이하는 동안에, 이벤트가 발생되면(515) 제1 디바이스(11)는 화면을 다른 화면으로 업데이트할 수 있다(516). 다시 말해, 제1 디바이스(11)는 제1 화면을 제2 화면으로 전환할 수 있다. 여기서, 이벤트가 발생하는 경우는, 예로, 제1 화면을 제2 화면으로 전환하는 사용자 입력이 수신되거나 또는 제1 디바이스(11) 및 제2 디바이스(21)의 화면이 계속하여 동기화된 상태를 유지하도록 일정 주기마다 이벤트가 발생되는 경우를 포함할 수 있다. 제1 디바이스(11)의 제1 화면이 제2 화면으로 전환된 경우, 제1 디바이스(11)는 현재 제1 디바이스(11)에 디스플레이 중인 제2 화면을 압축하여 저장할 수 있다. 다음으로, 제1 디바이스(11)는 압축된 제2 화면을 제2 디바이스(21)로 전송할 수 있다. 제2 디바이스(21)는 압축된 제2 화면을 풀어서 제2 디바이스(21)의 화면을 업데이트할 수 있다. 다시 말해, 제2 디바이스(21)는 제2 화면을 디스플레이할 수 있다.
이와 같이, 제1 디바이스(11) 및 제2 디바이스(21)가 화면 동기화 상태인 경우, 제1 디바이스(11) 및 제2 디바이스(21)는 같은 화면을 계속하여 디스플레이할 수 있다. 이때, 제1 디바이스(11) 및 제2 디바이스(21)가 같은 화면을 계속하여 디스플레이하는 것은, 제1 디바이스(11) 및 제2 디바이스(21) 간에 네트워크 연결 상태로 인하여 일정 시간의 시간 차를 가지고 같은 화면이 디스플레이되는 상황도 포함할 수 있다. 즉, 제1 디바이스(11) 및 제2 디바이스(21)가 동일한 시간에 동일한 화면을 디스플레이하지 않더라도, 약간의 시간 차(예로, 60초 이내)를 두고 동일한 화면이 디스플레이되는 되는 상황도 포함할 수 있다.
다음으로, 제1 디바이스(11) 또는 제2 디바이스(21) 중 적어도 하나는, 제1 디바이스(11) 및 제2 디바이스(21) 간에 비동기화 상태로 화면을 공유하도록 요청하는 신호를 수신할 수 있다. 상기 신호는, 예로, 제1 디바이스(11) 및 제2 디바이스(21)가 같은 화면을 디스플레이하는 동안에, 제1 디바이스(11) 또는 제2 디바이스(21)의 UI 엘리먼트를 통한 사용자 입력에 응답하여 발생된 신호가 될 수 있다.
제1 디바이스(11) 및 제2 디바이스(21)가 화면 비동기화 상태인 경우, 제1 디바이스(11) 및 제2 디바이스(21)가 같은 화면을 디스플레이하는 동안에, 제2 디바이스(21)에서 디스플레이 중인 화면을 다른 화면으로 업데이트하는 이벤트가 발생될 수 있다(524). 이벤트가 발생하는 경우는, 예로, 제2 화면을 제3 화면으로 전환하는 사용자 입력에 응답하여 이벤트가 발생하는 경우를 포함할 수 있다. 이벤트가 발생됨에 따라 제2 디바이스(21)는 이벤트에 관한 정보를 제1 디바이스(11)로 전송할 수 있다. 예로, 제2 디바이스(21)는 사용자 입력에 대응되는 제2 화면 상에 좌표 위치 또는 좌표 위치에 대응하는 UI 엘리먼트 식별 정보 등을 제1 디바이스(11)로 전송할 수 있다.
제1 디바이스(11)는 이벤트에 관한 정보를 수신하고, 수신된 이벤트에 대응하는 기능을 실행할 수 있다(517). 예를 들어, 제1 디바이스(11)는 저장부(150)로부터 제2 화면에 관한 정보를 획득하고, 제2 화면에서 이벤트에 관한 정보(예로, 제2 화면 상에 좌표 위치)를 적용하여, 수신된 이벤트에 대응하는 기능을 실행할 수 있다. 그리고 이벤트 실행 결과와 관련된 제3 화면을 압축하여 저장할 수 있다(518). 압축된 제3 화면은, 예로, 제1 디바이스(11)의 저장부(150) 또는 제1 디바이스(11)의 외부에 위치한 기록매체 또는 서버의 저장부에 임시 또는 영속적으로 저장될 수 있다. 다음으로, 제1 디바이스(11)는 압축된 제3 화면을 제2 디바이스(21)로 전송할 수 있다(519). 제2 디바이스(21)는 압축된 제3 화면을 풀어서 제2 디바이스(21)의 화면을 업데이트할 수 있다(525). 다시 말해, 제2 디바이스(21)는 제3 화면을 디스플레이할 수 있다.
도 6 내지 도 18은 본 개시의 실시 예에 따른, 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면을 공유하는 과정을 나타내는 도면이다.
일 실시 예에 따르면, 제1 디바이스(11)의 디스플레이부(130)가 화면을 디스플레이하는 동안에, 제1 디바이스(11)의 통신부(140)는 제1 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 그리고 제1 화면을 제2 화면으로 전환하는 사용자 입력이 수신되면, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11)에 디스플레이 중인 제1 화면이 제2 화면으로 전환하여 디스플레이되도록 디스플레이부(130)를 제어하고, 제2 디바이스(21)에서는 제1 화면이 계속하여 디스플레이되도록 제어할 수 있다.
도 6a의 610을 참조하면, 애플리케이션(예로, 갤러리 애플리케이션)이 실행되어 제1 디바이스(11)의 디스플레이부(130)에서 이미지를 포함하는 제1 화면(611)이 디스플레이되는 동안에, 감지부(180)는 디스플레이부(130)의 아래로부터 위로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 6a의 620과 같이, 제1 디바이스(11)의 제어부(190)는 화면을 공유할 디바이스를 선택할 수 있는 공유 디바이스 선택 화면(621)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 공유 디바이스 선택 화면(621)에는 현재 제1 디바이스(11)와 통신 가능한 제2 디바이스들(21~2N) 각각을 대표하는 아이콘들(21-1, 22-1, 23-1, 24-1, 25-1) 및 제1 디바이스(11)를 대표하는 아이콘(11-1)을 포함할 수 있다. 예를 들어, 제1 디바이스(11)와 제2 디바이스들(21~2N) 간에 블루투스 방식을 이용하는 경우, 제1 디바이스(11)의 블루투스 기능이 온이 되면 통신부(140)는 파워 비콘(Power Beacon) 신호를 제2 디바이스들(21~2N)로 전송할 수 있다. 그리고 이에 대한 응답으로, 제2 디바이스들(21~2N)은 자신이 연결될 수 있음을 알리는 광고(Advertisement) 신호를 전송할 수 있다. 이때, 공유 디바이스 선택 화면(621)에는 광고 신호를 전송한 제2 디바이스들(21~2N) 각각을 대표하는 아이콘들(21-1, 22-1, 23-1, 24-1, 25-1)이 디스플레이될 수 있다.
공유 대상이 될 제2 디바이스들(21~2N) 각각을 대표하는 아이콘들(21-1, 22-1, 23-1, 24-1, 25-1)은 아이콘들(21-1, 22-1, 23-1, 24-1, 25-1) 상에 사용자의 드래그 제스처 또는 플릭 제스처에 따라 위치가 변경될 수 있다. 사용자가 공유를 원하는 제2 디바이스(21)를 대표하는 아이콘(21-1)이 일정 영역(621-1)에 위치하는 경우, 감지부(180)는 제2 디바이스(21)를 선택하는 사용자 입력을 감지할 수 있다. 예를 들어, 감지부(180)는 제1 디바이스(11)를 대표하는 아이콘(11-1)을 선택하고 제2 디바이스(21)를 대표하는 아이콘(21-1)의 방향으로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 6b의 630과 같이, 제1 디바이스(11)의 통신부(140)는 디스플레이 중인 제1 화면(611)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 이에 따라, 제1 디바이스(11) 및 제2 디바이스(21)의 화면은 동기화되어 같은 화면(611)이 디스플레이될 수 있다. 또한, 제1 디바이스(11)의 화면에는 팝업 화면(631)이 디스플레이될 수 있다. 팝업 화면(631)은 제1 디바이스(11)에서 디스플레이 중인 제1 화면(611)과 독립된 화면으로 팝업 화면(631)은 제2 디바이스(21)에서는 디스플레이되지 않을 수 있다. 팝업 화면(631)에는 제1 디바이스(11) 및 제2 디바이스(21)의 화면 동기화 여부를 선택하는 UI 엘리먼트(631-1) 및 제1 디바이스(11)와 화면을 공유하는 제2 디바이스(21)의 식별 정보(631-2) 중 적어도 하나가 포함될 수 있다. 디바이스 간에 화면 동기화가 실행된 것을 나타내기 위하여 UI 엘리먼트(631-1)에는 “Clone on”텍스트가 디스플레이될 수 있으나, 화면 동기화가 실행된 것을 나타내는 알림은 이에 제한되지 않고, 그래픽, 동영상, 소리 등 다양한 형태로 표시될 수 있다. 팝업 화면(631)은 제1 디바이스(11)의 화면과 독립적인 화면이란 의미를 나타내기 위하여 버블 팝업 화면 또는 버블 화면이란 용어로 칭할 수 있다. 도 6b의 630에서, 제1 디바이스(11) 및 제2 디바이스(21) 화면이 동기화 중인 동안에, 감지부(180)는 제1 디바이스(11)에서 디스플레이 중인 제1 화면(611)을 제2 화면(641)으로 전환하기 위하여 디스플레이부(130) 상에서 일 방향으로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 6b의 640과 같이, 제1 디바이스(11)의 디스플레이부(130)는 제2 화면(641)을 디스플레이할 수 있다. 제1 디바이스(11)의 통신부(140)는 디스플레이 중인 제2 화면(641)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 디바이스(21)는 수신한 제2 화면(641)에 관한 정보를 이용하여 제2 화면(641)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 이에 따라, 제1 디바이스(11) 및 제2 디바이스(21)의 화면은 동기화되어 같은 제2 화면(641)이 디스플레이될 수 있다. 제1 디바이스(11) 및 제2 디바이스(21) 화면이 동기화 중인 동안에, 감지부(180)는 화면 간에 동기화를 중지하기 위하여 팝업 화면(631)에 포함된 UI 엘리먼트(631-1)를 선택하는 탭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 6c의 650과 같이, 화면 간에 동기화가 중지된 것을 나타내기 위한 “Clone off” 텍스트를 포함하는 팝업 화면(651)이 디스플레이될 수 있으나, 화면 동기화가 중지된 것을 나타내는 알림은 이에 제한되지 않고, 그래픽, 동영상, 소리 등 다양한 형태로 표시될 수 있다. 다음으로, 감지부(180)는 다른 애플리케이션(예로, 메시지 애플리케이션)을 실행하는 사용자 입력을 감지할 수 있다. 본 실시 예에서는 생략되었으나, 다른 애플리케이션을 실행하는 사용자 입력은, 예로, 홈 화면은 실행하여 홈 화면에 디스플레이된 다른 애플리케이션의 바로 가기 아이콘을 선택하는 사용자 입력, 최근 실행 애플리케이션 목록을 디스플레이하여 애플리케이션 목록에 포함된 다른 애플리케이션의 식별자를 선택하는 사용자 입력 또는 다른 애플리케이션에 대응하는 단축 제스처를 수행하는 사용자 입력 등이 될 수 있으나, 이에 제한되지는 않는다.
사용자 입력에 응답하여, 도 6c의 660과 같이, 제1 디바이스(11)의 제어부(190)는 다른 애플리케이션(예로, 메시지 애플리케이션)의 실행 화면인 제3 화면(661)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 그리고 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)에는 이전에 디스플레이되었던 제2 화면(641)이 계속하여 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 또 다른 애플리케이션(예로, 동영상 재생 애플리케이션)을 실행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 6d의 670과 같이, 제1 디바이스(11)의 제어부(190)는 또 다른 애플리케이션(예로, 동영상 재생 애플리케이션)의 실행 화면인 제4 화면(671)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 이때에도, 그리고, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)에는 이전에 디스플레이되었던 제2 화면(641)이 계속하여 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 실행하기 위하여 팝업 화면(651)을 선택하는 탭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 6d의 680과 같이, 화면 간에 동기화가 실행된 것을 나타내기 위한 알림으로써 “Clone on” 텍스트를 포함하는 팝업 화면(681)이 디스플레이될 수 있다. 이 경우, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)에도 같은 화면이 디스플레이되도록 제1 디바이스(11)에 디스플레이 중인 제4 화면(671)에 관한 정보를 제2 디바이스로 전송할 수 있다. 제4 화면(671)에 관한 정보는, 예로, 제4 화면(671)에 포함된 영상 컨텐츠(671-1)를 압축한 데이터가 될 수 있다. 제2 디바이스(21)는 수신된 상기 압축 데이터를 풀어서 영상 컨텐츠(671-1)가 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 이에 따라, 제1 디바이스(11) 및 제2 디바이스(21)의 화면은 동기화되어 같은 화면(671-1)이 디스플레이될 수 있다.
이와 같이, 제1 디바이스(11)의 화면이 디스플레이되는 동안에, 사용자는 팝업 화면들(631,651,681)을 이용하여 멀티 태스킹 작업을 손쉽게 실행할 수 있다.
다른 실시 예로, 도 7의 710을 참조하면, 제1 디바이스(11) 및 제2 디바이스(21)의 화면(예로, 홈 화면)(711)이 동기화되어, 제1 디바이스(11) 및 제2 디바이스(21)에 같은 제1 화면(711)이 디스플레이될 수 있다. 이때, 제1 디바이스(11)의 팝업 화면(712)에는 제1 디바이스(11) 및 제2 디바이스(21)의 동기화 여부를 나타내는 UI 엘리먼트(712-1)가 디스플레이될 수 있다. UI 엘리먼트(712-1)에는 제1 화면(711)이 동기화 중인 것을 나타내기 위한 알림으로써ON” 텍스트가 디스플레이될 수 있다. 이러한 상태에서, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 중지하기 위하여 팝업 화면(712)에 포함된 UI 엘리먼트(712-1)를 선택하는 탭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 7의 720과 같이, 팝업 화면(712)에 포함된 UI 엘리먼트(712-1)에는 화면 간에 동기화가 중지(또는 비동기화)되는 것을 나타내기 위한 “OFF” 텍스트가 디스플레이될 수 있다. 다음으로, 감지부(180)는 다른 애플리케이션(예로, 갤러리 애플리케이션)을 실행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 7의 730과 같이, 제1 디바이스(11) 및 제2 디바이스(21)의 화면이 비동기화 되어, 제1 디바이스(11)의 제어부(190)는 다른 애플리케이션(예로, 갤러리 애플리케이션)의 실행 화면인 제2 화면(731)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 그리고 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)에는 이전에 디스플레이되었던 제1 화면(711)이 계속하여 디스플레이되도록 디스플레이부(130)를 제어할 수 있다.
이와 같이, 사용자는 팝업 화면(712)을 이용하여 화면 간에 동기화 및 비동기화의 전환을 용이하게 수행할 수 있다. 즉, 팝업 화면(712)은 동기화 조작 전용 툴로서 이용될 수 있다.
도 8 내지 도 10을 참조하면, 도 7의 730과 같이, 제1 디바이스(11) 및 제2 디바이스(21)의 화면이 비동기화된 상태에서 확장 가능한 실시 예들을 나타낸다.
도 8의 810을 참조하면, 도 7의 730과 같이, 제1 디바이스(11) 및 제2 디바이스(21)의 화면이 비동기화된 상태에서, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 실행하기 위하여 팝업 화면(712)에 포함된 UI 엘리먼트(712-1)를 선택하는 탭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 8의 820과 같이, 팝업 화면(712)에 포함된 UI 엘리먼트(712-1)에는 화면 간에 동기화가 실행된 것을 나타내기 위한 알림 정보로서 “ON” 텍스트가 디스플레이될 수 있다. 그리고 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)에도 같은 화면이 디스플레이되도록 제1 디바이스(11)에 디스플레이 중인 제2 화면(731)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 디바이스(21)는 수신된 제2 화면(731)에 관한 정보를 이용하여 제2 화면(731)을 디스플레이할 수 있다. 이에 따라, 제1 디바이스(11) 및 제2 디바이스(21)의 화면은 동기화되어 같은 제2 화면(731)이 디스플레이될 수 있다.
도 9의 910을 참조하면, 도 7의 730과 같이, 제1 디바이스(11) 및 제2 디바이스(21)의 화면이 비동기화된 상태에서, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 실행하기 위하여 팝업 화면(712)에 포함된 UI 엘리먼트(712-1)를 선택하는 탭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 9의 920과 같이 팝업 화면(712)에 포함된 UI 엘리먼트(712-1)에는 화면 간에 동기화가 실행된 것을 나타내기 위한 알림 정보로서 “ON” 텍스트가 디스플레이될 수 있다. 이때, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)에 제1 디바이스(11)의 제1 화면(711)이 디스플레이되도록 제어할 수 있다. 예를 들어, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)로부터 제2 디바이스(21)의 제1 화면(711)에 관한 정보를 수신하여, 제1 화면(711)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 또는, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)로 최근에 전송한 제1 화면(711)이 저장부(150)로부터 다시 획득되어 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 그 밖에, 팝업 화면(712) 대신 제1 디바이스(11) 및 제2 디바이스(21)의 화면 간에 동기화를 실행하기 위한 사용자 인터렉션 방식에는 별도의 메뉴(미도시)에 포함된 UI 엘리먼트를 선택하거나, 또는 미리 결정된 사용자 제스처를 수행하는 방식 등이 포함될 수 있다.
도 10의 1010을 참조하면, 도 7의 730과 같이, 제1 디바이스(11) 및 제2 디바이스(21)의 화면이 비동기화된 상태에서, 제1 디바이스(11)의 제2 화면(731)과 제2 디바이스(21)의 제1 화면(711)을 전환하는 사용자 입력을 감지할 수 있다. 예를 들어, 제1 디바이스(11)의 감지부(180)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면을 전환하기 위하여 팝업 화면(712)에 포함된 UI 엘리먼트(미도시)를 선택하거나, 별도의 메뉴(미도시)에 포함된 UI 엘리먼트를 선택하거나 또는 미리 결정된 사용자 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11)의 제2 화면(731)과 제2 디바이스(21)의 제1 화면(711)이 서로 전환하여 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 예를 들어, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21) 또는 저장부(150)로부터 제2 디바이스(21)의 제1 화면(711)에 관한 정보를 획득하고 제1 화면(711)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 그리고 동시 또는 거의 동시에 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11)의 제2 화면(731)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 디바이스(21)는 수신한 제2 화면(731)에 관한 정보를 이용하여 제2 화면(731)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다.
또 다른 실시 예로, 도 11a의 1110을 참조하면, 제1 디바이스(11) 및 제2 디바이스(21)의 제1 화면(예로 홈 화면)(1101)이 동기화 되어, 제1 디바이스(11) 및 제2 디바이스(21)에 같은 제1 화면(1101)이 디스플레이될 수 있다. 이때, 제1 디바이스(11)의 팝업 화면(1102)에는 제1 디바이스(11) 및 제2 디바이스(21)의 제1 화면(1101)의 동기화 여부를 나타내는 UI 엘리먼트(1102-1)가 디스플레이될 수 있다. UI 엘리먼트(1102-1)에는 제1 디바이스(11) 및 제2 디바이스(21)가 동기화 중인 것을 나타내는 알림 정보로서“ON” 텍스트가 디스플레이될 수 있다. 이러한 상태에서, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 중지하기 위하여 팝업 화면(1102)에 포함된 UI 엘리먼트(1102-1)를 선택하는 탭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 11a의 1120과 같이, 팝업 화면(1102)에 포함된 UI 엘리먼트(1102-1)에는 화면 간에 동기화가 중지(또는 비동기화)된 것을 나타내기 위한 알림 정보로서 “OFF” 텍스트가 디스플레이될 수 있다. 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화가 중지된 상태에서, 도 11a의 제2 디바이스(21)는 애플리케이션(예로, 갤러리 애플리케이션)을 실행하기 위한 사용자 입력을 감지할 수 있다. 애플리케이션을 실행하기 위한 사용자 입력은, 예로, 제2 디바이스(21)의 제1 화면(1101)에 디스플레이된 특정 애플리케이션의 바로 가기 아이콘을 선택하는 사용자 입력이 될 수 있다.
사용자 입력에 응답하여, 도 11b의 1130과 같이, 제2 디바이스(21)는 제1 디바이스(11)로 사용자 입력과 관련된 정보를 전송할 수 있다. 예로, 제2 디바이스(21)는 제2 디바이스(21)의 디스플레이부(130) 상에 제1 화면(1101) 상에 사용자 입력에 대응하는 좌표 위치 또는 좌표 위치에 대응하는 UI 엘리먼트 식별 정보 등을 제1 디바이스(11)로 전송할 수 있다. 제1 디바이스(11)는 상기와 같은 사용자 입력과 관련된 정보를 수신하고, 사용자 입력에 대응하는 기능을 실행할 수 있다. 예를 들어, 제1 디바이스(11)는 애플리케이션(예로, 갤러리 애플리케이션)을 실행할 수 있다. 그리고 애플리케이션의 실행 화면(1131)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 이때, 제1 디바이스(11)는 디스플레이부(130) 상에는 애플리케이션의 실행 화면(1131)이 디스플레이 되지 않고, 제1 화면(1101)이 계속하여 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 다음으로, 제1 디바이스(11)는 팝업 화면(1102)에 포함된 UI 엘리먼트(1102-1)를 선택하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 11b의 1140과 같이, 팝업 화면(1102)에 포함된 UI 엘리먼트(1102-1)에는 화면 간에 동기화가 실행된 것을 나타내는 알림 정보로서 “ON” 텍스트가 디스플레이될 수 있다. 이때, 제1 디바이스(11)의 제어부(190)는 제1 화면(1101)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 디바이스(21)는 수신한 제1 화면(1101)에 관한 정보를 이용하여 제1 화면(1101)을 디스플레이할 수 있다.
이와 같이, 본 개시의 실시 예에 따르면, 제1 디바이스(11) 및 제2 디바이스(21) 간에 독립적인 제어가 가능하게 되어, 사용자의 제2 디바이스(21)의 활용성이 더욱 높아질 수 있다.
또 다른 실시 예로, 도 12a의 1210을 참조하면, 제1 디바이스(11) 및 제2 디바이스(21)의 제1 애플리케이션의 실행 화면(예로, 게임 애플리케이션의 실행 화면)이 동기화 되어, 제1 디바이스(11) 및 제2 디바이스(21)에 같은 제1 화면(1201)이 디스플레이될 수 있다. 이러한 상태에서, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 중지하기 위하여 팝업 화면(1202)에 포함된 UI 엘리먼트(1202-1)를 선택하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 12a의 1220과 같이, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화를 중지할 수 있다. 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화가 중지된 상태에서, 제2 애플리케이션(예로, 문자 메시지 애플리케이션)을 실행하는 사용자 입력에 응답하여, 제1 디바이스(11)의 제어부(190)는 제2 애플리케이션의 실행 화면인 제2 화면(1221)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 그리고 사용자는 제2 애플리케이션의 실행 화면인 제2 화면(1221)을 통하여 작업(예로, 문자 메시지 작성 및 전송)을 수행할 수 있다. 이러한 상황에서, 다른 사용자가 제2 디바이스(21)에 디스플레이 중인 제1 애플리케이션을 조작하는 경우, 제2 디바이스(21)는 제1 디바이스(11)로 제1 애플리케이션의 조작과 관련된 결과를 요청할 수 있다. 예를 들어, 제2 디바이스(21)는 게임 애플리케이션의 사용자 조작에 따른 캐릭터의 작동 결과를 요청할 수 있다. 이에 대한 응답으로, 제1 디바이스(11)는 제2 애플리케이션을 실행 중에 백워드(backward)로 제1 애플리케이션의 작업을 수행하는 멀티 태스킹 작업 수행할 수 있다. 그리고 제1 디바이스(11)는 멀티 태스킹 작업 수행 결과로서 제1 애플리케이션의 조작과 관련된 결과를 제2 디바이스(21)로 전송할 수 있다. 이때, 제1 디바이스(11)의 제어부(190)는 제2 애플리케이션의 실행 화면인 제2 화면(1221)이 계속하여 디스플레이되도록 디스플레이부(130)를 제어할 수 있다.
다음으로, 제1 디바이스(11)의 감지부(180)는 기존에 실행 중인 제1 애플리케이션(예로, 게임 애플리케이션)을 다시 실행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 12b의 1230과 같이, 제1 디바이스(11)의 제어부(190)는 제1 애플리케이션의 실행 화면인 제1 화면(1201)이 다시 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 제1 디바이스(11)의 디스플레이부(130)가 제1 화면(1201)을 디스플레이하는 동안에, 제1 디바이스(11)는 화면 간에 동기화를 실행하기 위하여 팝업 화면(1202)에 포함된 UI 엘리먼트(1202-1)를 선택하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 12b의 1240과 같이, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화를 다시 실행할 수 있다. 화면 동기화가 실행된 결과로서, 제1 디바이스(11) 및 제2 디바이스(21)는 같은 화면을 디스플레이할 수 있다.
이와 같이, 제1 화면과 제2 화면 간에 화면 동기화가 실행 중인 상태에서, 사용자는 팝업 화면(1202)을 이용하여 일시적으로 화면 비동기화를 수행함으로써 제1 디바이스(11) 또는 제2 디바이스(21)에서 게임 중에 멀티 태스킹 작업을 용이하게 수행할 수 있다.
또 다른 실시 예로, 도 13a의 1310을 참조하면, 제1 디바이스(11) 및 제2 디바이스(21)의 제1 애플리케이션의 실행 화면(예로, 홈 화면 애플리케이션의 실행 화면)(1301)이 동기화 되어, 제1 디바이스(11) 및 제2 디바이스(21)에 같은 제1 화면(1301)이 디스플레이될 수 있다. 이러한 상태에서, 제1 디바이스(11)의 감지부(180)는 화면 간에 동기화를 중지하기 위하여 팝업 화면(1302)에 포함된 UI 엘리먼트(1302-1)를 선택하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 13a의 1320과 같이, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화를 중지할 수 있다. 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화가 중지된 상태에서, 제2 애플리케이션(예로, 메일 애플리케이션)을 실행하는 사용자 입력에 응답하여, 제1 디바이스(11)의 제어부(190)는 제2 애플리케이션의 실행 화면인 제2 화면(1321)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 그리고 사용자는 제2 애플리케이션의 실행 화면인 제2 화면(1321)을 통하여 작업(예로, 문자 메시지 작성 및 전송)을 수행할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 제3 애플리케이션(예로, 갤러리 애플리케이션)을 실행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 13b의 1330과 같이, 제1 디바이스(11)의 제어부(190)는 제3 애플리케이션의 실행 화면인 제3 화면(1331)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 이때, 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화가 중지된 상태이기 때문에, 제2 디바이스(21)에는 제1 화면(1301)이 계속하여 디스플레이될 수 있다.
제1 디바이스(11)에서 제3 화면(1331)이 디스플레이되는 동안에, 제1 디바이스(11)의 감지부(180)는 동기화를 실행하기 위하여 팝업 화면(1302)에 포함된 UI 엘리먼트(1302-1)를 선택하는 사용자 입력을 감지할 수 있다. 사용자 입력에 응답하여, 도 13b의 1340과 같이, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면 동기화를 실행할 수 있다. 그리고 화면 동기화가 실행된 결과로써, 제1 디바이스(11)의 통신부(140)는 제3 화면(1331)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 디바이스(21)는 수신된 제3 화면(1331)에 관한 정보를 이용하여 제3 화면(1331)을 디스플레이할 수 있다.
또 다른 실시 예로, 도 14a의 1410을 참조하면, 제1 디바이스(11)는 애플리케이션(예로, 갤러리 애플리케이션)이 실행되어 컨텐츠(예로, 동영상 또는 이미지) 목록이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 컨텐츠 목록이 디스플레이되는 동안에, 제1 디바이스(11)의 감지부(180)는 적어도 하나의 컨텐츠를 선택하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 14a의 1420을 참조하면, 제1 디바이스(11)는 제1 컨텐츠(1421) 및 제2 컨텐츠(1422)가 선택된 것을 나타내는 시각적 피드백(1421-1,1422-2)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 다음으로, 감지부(180)는 디스플레이부(130)의 아래로부터 위로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 14b의 1430과 같이, 제1 디바이스(11)의 제어부(190)는 컨텐츠를 공유할 디바이스를 선택할 수 있는 공유 디바이스 선택 화면(1431)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 공유 디바이스 선택 화면(1431)이 디스플레이되는 동안에, 감지부(180)는 제1 디바이스(11)를 대표하는 아이콘을 선택하여 제2 디바이스(21)를 대표하는 아이콘의 방향으로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 14b의 1440과 같이, 제1 디바이스(11)의 화면에는 팝업 화면(1441)이 디스플레이될 수 있다. 팝업 화면(1441)에는 화면 동기화 여부를 나타내는 UI 엘리먼트(1441-1)가 포함될 수 있으며, 제1 디바이스(11) 및 제2 디바이스(21) 간에 동기화가 실행된 것을 나타내는 알림 정보로서 UI 엘리먼트(1441-1)에는 “Clone On” 텍스트가 포함될 수 있다. 이 경우, 제1 디바이스(11)의 통신부(140)는 선택된 제1 컨텐츠(1421)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 예를 들어, 제1 컨텐츠(1421)에 관한 정보는 압축된 제1 컨텐츠(1421)가 될 수 있다. 제2 디바이스(21)는 제1 컨텐츠(1421)에 관한 정보를 이용하여 제1 컨텐츠(1421)를 포함하는 화면을 디스플레이할 수 있다. 예를 들어, 제1 디바이스(11)에서 선택된 컨텐츠(1421)가 이미지인 경우, 제2 디바이스(21)는 압축된 이미지를 풀어서 디스플레이할 수 있다. 다음으로, 감지부(180)는 UI 엘리먼트(1441-1)를 선택하는 사용자 입력을 감지할 수 있다. 이때, 사용자 입력은, 예로, UI 엘리먼트를 더블 탭하는 사용자 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 14c의 1450과 같이, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21)의 컨트롤 패널(1451)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 컨트롤 패널(1451)은, 예로, 제어 대상을 나타내는 제2 디바이스를 대표하는 아이콘(1451-1), 제2 디바이스에 대한 설명 또는 이름(1451-2) 또는 제2 디바이스에서 디스플레이 중인 화면(1451-3) 중 적어도 하나를 디스플레이할 수 있다. 컨트롤 패널(1451)이 디스플레이되는 동안에, 제1 디바이스(11)의 감지부(180)는 컨트롤 패널(1451) 상에서 일 방향으로의 플릭 또는 드래그 제스처를 수행하는 사용자 입력을 감지할 수 있다. 사용자 입력에 응답하여, 제1 디바이스(11)의 통신부(140)는 제2 컨텐츠(1422)에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 제2 컨텐츠(1422)에 관한 정보는, 예로, 압축된 컨텐츠가 될 수 있다.
도 14c의 1460과 같이, 제2 디바이스(21)는 제2 컨텐츠(1422)에 관한 정보를 이용하여 제2 컨텐츠(1422)를 포함하는 화면을 디스플레이할 수 있다. 그리고 제1 디바이스(11)의 제어부(190)는 제2 컨텐츠(1422)를 디스플레이 중인 제2 디바이스(21)의 화면이 컨트롤 패널(1451)에 디스플레이되도록 디스플레이부(130)를 제어할 수 있다.
이와 같이, 사용자는 컨트롤 패널(1451)을 이용함으로써, 제1 디바이스(11)에서 제2 디바이스(21)에서 실행 중인 화면을 쉽게 조작할 수 있다.
또 다른 실시 예에 따르면, 도 15a의 1510과 같이, 제1 디바이스(11)는 제1 디바이스(11)의 화면(1511)이 제2 디바이스 그룹과 공유 중임을 나타내는 팝업 화면(1512)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 팝업 화면(1512)에는, 예로, 제2 디바이스 그룹에 포함된 제2 디바이스들(21, 22, 23)의 개수, 또는 제2 디바이스 그룹에서 중 대표가 되는 제2 디바이스(21)의 식별 정보를 포함할 수 있다. 이러한 상태에서, 제2 디바이스 그룹에 포함된 제2 디바이스들(21, 22, 23)은 제1 디바이스(11)의 화면(1511)을 함께 디스플레이할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 디스플레이부(130)의 아래로부터 위로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 15a의 1520과 같이, 제1 디바이스(11)의 제어부(190)는 공유 디바이스 선택 화면(1521)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 공유 디바이스 선택 화면(1521)에는 제1 디바이스(11)를 나타내는 식별자(11-1), 현재 화면을 공유 중인 적어도 하나의 디바이스를 나타내는 식별자(1522), 화면 공유 상태(1523) 또는 화면 공유를 중지 또는 종료할 수 있는 UI 엘리먼트(1524) 중 적어도 하나를 포함할 수 있다. 공유 디바이스 선택 화면(1521)이 디스플레이되는 동안에, 제1 디바이스(11)의 감지부(180)는 화면을 공유할 다른 디바이스를 검색하는 사용자 입력을 감지할 수 있다. 사용자 입력은 예로, 제1 디바이스(11)와 공유 가능한 제2 디바이스들(21~2N) 목록 상에서 일 방향으로의 드래그 또는 플릭 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 15b의 1530과 같이, 화면을 공유할 다른 제2 디바이스(24)를 대표하는 아이콘(24-1)이 일정 영역에 위치하는 경우, 감지부(180)는 제1 디바이스(11)를 대표하는 아이콘(11-1)을 선택하고 제2 디바이스(24)를 대표하는 아이콘(24-1)의 방향으로 드래그 또는 플릭 제스처를 수행하는 사용자 입력을 감지할 수 있다.
사용자 입력에 응답하여, 도 15b의 1540과 같이, 제1 디바이스(11)는 제1 디바이스(11)의 화면(1511)에 제2 디바이스 그룹과 공유 중임을 나타내는 제1 팝업 화면(1512) 및 도 15b의 1530에서 선택된 제2 디바이스(24)와 공유 중임을 나타내는 제2 팝업 화면(1541)이 각각 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 제2 디바이스 그룹에 제2 디바이스(24)를 추가하는 사용자 입력을 감지할 수 있다. 사용자 입력은, 예로, 제1 팝업 화면(1512)으로 제2 팝업 화면(1541)을 이동하는 드래그 또는 플릭 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 15c의 1550과 같이, 제1 디바이스(11)의 제어부(190)는 제2 디바이스 그룹에 제2 디바이스(24)를 추가할 수 있다. 그리고 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11)의 화면이 제2 디바이스(24)를 포함한 제2 디바이스 그룹과 공유 중임을 나타내는 팝업 화면(1551)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 이러한 상태에서, 제2 디바이스 그룹에 포함된 제2 디바이스들(21, 22, 23, 24)은 제1 디바이스(11)의 화면(1511)과 같은 화면을 디스플레이할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 제2 디바이스 그룹에 포함된 제2 디바이스들(21, 22, 23, 24)의 리스트를 나타내기 위하여 팝업 화면(1551)을 선택하는 사용자 입력을 감지할 수 있다. 이때, 사용자 입력은, 예로, 팝업 화면(1551)을 더블 탭하는 사용자 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 15c의 1560과 같이, 제1 디바이스(11)의 제어부(190)는 팝업 화면(1551)에 제2 디바이스 그룹에 포함된 제2 디바이스들(21, 22, 23, 24)의 식별 정보들(1551-1,1551-2,1551-3,1551-4)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 제2 디바이스들(21, 22, 23, 24)의 식별 정보는, 예로, 제2 디바이스(21, 22, 23, 24)들 각각의 사용자의 이름 또는 별명, 혹은 제2 디바이스(21, 22, 23, 24)들 각각의 식별 자명, 종류 또는 별칭 등이 될 수 있다. 제2 디바이스들(21, 22, 23, 24)의 식별 정보가 디스플레이되는 동안에, 제1 디바이스(11)의 감지부(180)는 제2 디바이스들(21, 22, 23, 24)의 식별 정보들 중 제2 디바이스(22)의 식별 정보(1551-2)를 선택하는 사용자 입력을 감지할 수 있다. 사용자 입력은, 예로, 제2 디바이스(22)의 식별 정보(1551-2)가 표시된 필드를 터치하는 탭 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 15d의 1570과 같이, 제1 디바이스(11)의 제어부(190)는 선택된 제2 디바이스(22)를 제2 디바이스 그룹에서 제외할 수 있다. 이에 따라, 제1 디바이스(11) 및 제2 디바이스(22) 간에 화면 공유가 중지되거나 또는 제1 디바이스(11) 및 제2 디바이스(22) 간에 연결이 종료될 수 있다. 다음으로, 제1 디바이스(11)의 제어부(190)는 제2 디바이스(21, 22, 23, 24)들의 리스트를 닫는 사용자 입력을 감지할 수 있다. 사용자 입력은, 예로, 팝업 화면(1571)을 더블 탭하는 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 15d의 1580과 같이, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11)의 화면이 제2 디바이스 그룹과 공유 중임을 나타내는 팝업 화면(1581)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 팝업 화면(1581)에는, 예로, 제2 디바이스 그룹에 포함된 제2 디바이스들(21, 23, 24)의 개수, 또는 제2 디바이스 그룹에서 중 대표가 되는 제2 디바이스(21)의 식별 정보가 포함될 수 있다.
이와 같이, 사용자는 팝업 화면을 이용하여 제1 디바이스(11)의 화면을 다수 개의 제2 디바이스들(21~2N)과 쉽게 공유할 수 있다. 또한, 사용자는 팝업 화면을 이용한 다양한 사용자 인터렉션을 통하여, 제1 디바이스(11)의 화면을 공유할 제2 디바이스들(21~2N)을 그룹화하고, 그룹화된 제2 디바이스들(21~2N)에서 적어도 하나의 제2 디바이스를 쉽게 추가하거나 또는 제외할 수 있다. 다시 말해, 본 개시의 실시 예는 디바이스들 간에 그룹 컨버전스 서비스가 지원되게 한다.
또 다른 실시 예에 따르면, 도 16의 1610과 같이, 제1 디바이스(11) 및 제2 디바이스(21)의 제1 화면(1611)이 동기화 되어, 제1 디바이스(11) 및 제2 디바이스(21)에 같은 제1 화면(1611)이 디스플레이될 수 있다. 이때, 제1 디바이스(11)의 팝업 화면(1612)에는 제1 디바이스(11) 및 제2 디바이스(21)의 제1 화면(1611)의 동기화 여부를 나타내는 UI 엘리먼트(1612-1)가 디스플레이될 수 있다. UI 엘리먼트(1612-1)에는 제1 화면(1611)이 동기화 중인 것을 나타내기 위하여 “Clone On” 텍스트가 디스플레이될 수 있다. 이러한 상태에서, 제1 디바이스(11)의 감지부(180)는 팝업 화면(1612)에 포함된 UI 엘리먼트(1612-1)를 선택하는 사용자 입력을 감지할 수 있다. 사용자 입력은, 예로, UI 엘리먼트(1612-1)를 소정 시간 동안 홀딩하는 사용자의 홀딩 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 16의 1620과 같이, 제1 디바이스(11)는 팝업 화면(1621)에 동기화 중인 컨텐츠를 파일로 전송하도록 전환하는 UI 엘리먼트(1621-1)가 포함되어 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 다음으로, 제1 디바이스(11)의 감지부(180)는 UI 엘리먼트(1621-1)를 선택하는 사용자 입력을 감지할 수 있다. 예를 들어, 사용자 입력은, 예로, UI 엘리먼트(1621-1)를 탭하는 탭 제스처가 될 수 있다.
사용자 입력에 응답하여, 도 16의 1630과 같이, 제1 디바이스(11)는 화면에 디스플레이 중인 컨텐츠를 파일 형태로 제2 디바이스(21)로 전송할 수 있다. 이 경우, 제1 디바이스(11)는 제2 디바이스(21)로 파일이 전송 중 또는 전송된 것을 나타내는 알림 정보를 포함하는 팝업 화면(1631)이 디스플레이되도록 디스플레이부(130)를 제어할 수 있다. 제1 디바이스(11)로부터 파일이 전송되는 경우, 제2 디바이스(21)는, 예로, 파일이 전송되는 것을 나타내는 시각적 효과(1632)를 디스플레이할 수 있다.
이와 같이, 사용자는 팝업 화면을 이용하여 여러 형태의 컨버전스 서비스를 가능하게 할 수 있다. 이로 인하여, 다수 개의 디바이스를 대상으로 하는 컨버전스 서비스를 사용하는 사용자의 접근성 및 편리성이 더욱 제고될 수 있다.
도 17은 본 개시의 실시 예에 따른 다수 개의 디바이스(11, 12, 13) 간에 화면을 공유하는 개괄적인 도면이다.
도 17의 1710을 참조하면, 제1 디바이스(11)와 제2 디바이스(21) 간에 화면이 동기화되어 서로 같은 화면이 디스플레이될 수 있다. 이러한 상황에서, 제1 디바이스(11)의 제2 디바이스(21)의 화면의 동기화를 중지하는 사용자 입력을 수신할 수 있다.
사용자 입력에 응답하여, 도 17의 1720과 같이, 제1 디바이스(11)와 제2 디바이스(21) 간에 화면의 동기화가 중지될 수 있다. 이러한 상황에서, 다른 제1 디바이스(12)가 제2 디바이스(21)와 연결될 수 있다. 그리고 다른 제1 디바이스(12)와 제2 디바이스(21) 간에 화면이 동기화 되어 서로 같은 화면이 디스플레이될 수 있다. 이때, 제2 디바이스(21)의 디스플레이부(130)는 다른 제1 디바이스(12)의 화면만 디스플레이할 수도 있고, 또는 다른 제1 디바이스(12)의 화면과 동기화 중지 전에 디스플레이 중이던 제1 디바이스(11)의 화면을 모두 디스플레이할 수도 있다. 다음으로, 다른 제1 디바이스(12)는 제1 디바이스(11)와 제2 디바이스(21)의 화면의 동기화를 중지하는 사용자 입력을 수신할 수 있다.
사용자 입력에 응답하여, 도 17의 1730과 같이, 다른 제1 디바이스(12)와 제2 디바이스(21) 간에 화면의 동기화가 중지될 수 있다. 이때, 제2 디바이스(21)의 디스플레이부(130)는 화면의 동기화가 중지되기 전에 다른 제1 디바이스(12)의 화면만 디스플레이할 수도 있고, 또는 다른 제1 디바이스(12)의 화면과 동기화가 중지되기 전에 제1 디바이스(11)의 화면을 함께 디스플레이할 수도 있다.
한편, 제2 디바이스(21)와 제1 디바이스들(11, 12) 간에 화면 동기화가 중지된 상태에서, 제2 디바이스(21)는 제1 디바이스(11)의 화면 또는 다른 제1 디바이스(12)의 화면 중 적어도 하나에 대한 사용자 입력을 감지할 수 있다. 예를 들어, 제2 디바이스(21)는 상기 화면들 중 적어도 하나의 UI 엘리먼트를 선택하는 사용자 입력을 감지할 수 있다. 사용자 입력에 응답하여, 제2 디바이스(21)는 제1 디바이스들(11, 12) 중 적어도 하나로 사용자 입력과 관련된 정보를 전송할 수 있다. 사용자 입력과 관련된 정보는, 예로, 사용자 입력에 대응되는 화면 상에 좌표 위치 또는 좌표 위치에 대응하는 UI 엘리먼트 식별 정보 등이 될 수 있다. 다음으로, 사용자 입력과 관련된 정보를 전송한 결과로써, 제2 디바이스(21)는 제1 디바이스들(11, 12) 중 적어도 하나로부터 사용자 입력에 따른 실행 결과 화면에 관한 정보를 수신하고, 실행 결과 화면을 디스플레이할 수 있다.
이와 같이, 제1 디바이스들(11, 12)의 백워드 상태에서의 멀티 태스킹을 이용하여 제2 디바이스(21)의 디스플레이부(130)를 통하여 제1 디바이스들(11, 12)을 조작할 수 있게 된다.
도 18은 본 개시의 실시 예에 따른 공유 디바이스 선택 화면(1801)의 다른 예를 나타내는 도면이다.
도 18의 1810 및 1820을 참조하면, 공유 디바이스 선택 화면(1801)에는 제1 디바이스(11)와 연결 가능한 제2 디바이스들(21~2N) 각각을 대표하는 아이콘들(21-1, 21-2, 21-3, 21-4) 및 제1 디바이스(11)를 대표하는 아이콘(11-1)을 포함할 수 있다. 사용자가 제1 디바이스(11)와 화면의 공유를 원하는 제2 디바이스(21)를 대표하는 아이콘(21-1)이 일정 영역에 위치하는 경우, 사용자는 도 18의 1810과 같이 아이콘(21-1)을 선택하고 아이콘(11-1)의 방향으로 드래그 또는 플릭 제스처를 수행할 수 있다. 또는, 사용자는 도 18의 1820과 같이 아이콘(11-1)을 선택하고 아이콘(21-1) 방향으로 드래그 또는 플릭 제스처를 수행할 수 있다. 도 18의 1830을 참조하면, 사용자의 제스처가 수행되는 경우, 공유 디바이스 선택 화면(1801)에는 제1 디바이스(11) 및 제2 디바이스(21)가 연결되었음을 나타내는 시각적 효과(1803)가 디스플레이될 수 있다. 즉, 제1 디바이스(11) 및 제2 디바이스(21) 간에 연결 상태를 나타내는 어포던스(Affordance) 또는 시각적 피드백이 제공될 수 있다.
도 19는 본 개시의 실시 예에 따른 팝업 화면의 다른 예를 나타내는 도면이다.
도 19를 참조하면, 도 19의 1910의 팝업 화면(1911)은 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면의 동기화가 실행 중인 상태를 나타낼 수 있다. 반면에, 도 19의 1920의 팝업 화면(1921)은 제1 디바이스(11) 및 제2 디바이스(21) 간에 화면의 동기화가 중지(비동기화)된 상태를 나타낼 수 있다.
도 20은 본 개시의 실시 예에 따른 팝업 화면의 또 다른 예를 나타내는 도면이다.
도 20을 참조하면, 도 20의 2010의 팝업 화면(2011)은 제1 디바이스(11)와 복수 개의 제2 디바이스들(21~2N) 간에 화면 동기화가 실행 중인 상태를 나타낼 수 있다. 예를 들어, 팝업 화면(2011)에는 제1 디바이스(11)와 화면 동기화가 실행 중인 제2 디바이스들(21~2N)의 개수 및 제2 디바이스들(21~2N)을 대표하는 제2 디바이스 또는 제2 디바이스들 그룹의 이름이 포함될 수 있다.
도 20의 2020의 팝업 화면은 제1 디바이스(11)와 화면 동기화가 실행 중인 복수 개의 제2 디바이스들(21~2N) 각각을 나타낼 수 있다. 예를 들어, 팝업 화면(2021)에는 복수 개의 제2 디바이스들(21~2N) 각각의 사용자의 이름 또는 별명, 또는 복수 개의 제2 디바이스들(21~2N) 각각의 식별자명, 종류 또는 별칭이 포함될 수 있다. 팝업 화면(2021)에 디스플레이될 수 있는 복수 개의 제2 디바이스들(21~2N)의 개수가 제한적인 경우는, 추가적인 복수 개의 제2 디바이스들(21~2N)을 디스플레이할 수 있는 UI 엘리먼트들(2021-1,2021-2)이 함께 포함될 수 있다.
도 21은 본 개시의 실시 예에 따른 팝업 화면의 또 다른 예를 나타내는 도면이다.
도 21을 참조하면, 팝업 화면(2101)은 제1 디바이스(11) 및 제2 디바이스(21)의 화면 간에 동기화 여부를 결정하기 위한 UI 엘리먼트(2101-1) 및 컨텐츠를 전송하기 위한 방식을 결정하는 UI 엘리먼트(2101-2)를 포함할 수 있다.
사용자가 UI 엘리먼트(2101-1)를 선택하는 경우, 제1 디바이스(11) 및 제2 디바이스(21)의 화면 간에는 동기화 또는 비동기화가 수행될 수 있다.
또한, 사용자가 UI 엘리먼트(2102-2)를 선택하는 경우, 제1 디바이스(11)는 컨텐츠를 제2 디바이스(21)로 미러링 방식 또는 스트리밍 방식 중 일 방식으로 전송할 수 있다.
도 22는 본 개시의 실시 예에 따른 컨트롤러 패널의 다른 예를 나타내는 도면이다.
도 22를 참조하면, 도 22의 2210의 컨트롤러 패널(2211)은 제2 디바이스(21)에서 영상 컨텐츠(예로, 이미지)가 디스플레이 중인 것을 나타낼 수 있다. 사용자는 컨트롤러 패널(2211)에 포함된 적어도 하나의 UI 엘리먼트(2211-1,2211-2)를 선택하여 제2 디바이스(21)에서 디스플레이 중인 영상 컨텐츠를 다른 영상 컨텐츠로 전환할 수 있다. 한편, 도 22의 2220의 컨트롤러 패널은 제2 디바이스(21)에서 오디오 컨텐츠(예로, 음악)가 재생 중인 것을 나타낼 수 있다. 사용자는 컨트롤러 패널(2221)에 포함된 적어도 하나의 UI 엘리먼트(2221-1,2221-2,2221-3)를 선택하여 제2 디바이스(21)에서 재생 중인 오디오 컨텐츠를 제어할 수 있다.
이와 같이, 본 개시의 실시 예에 따르면, 컨버전스 서비스를 실행시키는 과정에서는, 공유 디바이스 선택 화면을 통하여 직관적인 제스처를 통한 쉬운 연결이 가능하게 되고, 이를 통하여 화면 및 컨텐츠의 공유가 용이하게 된다.
또한, 컨버전스 서비스를 이용하는 과정에서도 사용자에게 다양한 종류의 편의성을 제공할 수 있다.
일 예로, 컨버전스 서비스를 이용하는 과정에서는, 디바이스 간의 사용 상황에 따라 적합한 컨버전스 서비스가 가능할 수 있다. 예를 들어, 컨텐츠의 종류 및 디바이스의 종류에 따라 컨버전스의 서비스의 종류를 서로 다르게 적용될 수 있다. 예를 들어, 컨텐츠가 홈 화면 또는 지도 이미지인 경우에는 미러링 기술을 이용하여 디바이스 간에 컨텐츠 공유가 가능할 수 있다. 또한, 컨텐츠가 동영상, 음악, 또는 연속적인 슬라이드가 가능한 사진 이미지들인 경우에는 스트리밍 기술을 이용하여 디바이스 간에 컨텐츠 공유가 가능할 수 있다. 또한, 컨텐츠를 공유하는 디바이스들이 스마트폰과 컴퓨터인 경우, 파일을 전송하는 기술을 이용하여 디바이스 간에 컨텐츠 공유가 가능할 수 있다. 이와 같이, 컨텐츠의 종류 및 디바이스의 종류에 따라 컨버전스의 서비스의 종류를 서로 다르게 해주는 것은 사용자의 선택에 따라 수행될 수도 있으며, 디바이스가 자동적으로 컨텐츠의 종류를 판단하여 최적의 방식으로 컨텐츠의 공유가 가능하게 할 수도 있다.
다른 일 예로, 컨버전스 서비스를 이용하는 과정에서는, 버블 팝업을 이용하여 디바이스 및 컨텐츠 간에 유기적인 서비스가 가능하게 할 수 있다. 예를 들어, 사용자는 버블 팝업을 통하여 컨텐츠의 종류에 따라 선택적으로 화면 동기화 여부를 결정할 수 있게 된다. 예를 들어, 홈 화면 또는 이미지와 같이 디바이스 간의 화면 동기화 필요한 상황에서는 사용자는 화면 동기화가 계속하여 유지되게 할 수 있다. 반면에, 음악, 동영상과 같이 지속적인 화면 동기화가 필요하지 않은 상황에서는 사용자는 버블 팝업을 이용하여 화면 동기화를 일시적으로 중지할 수 있다. 또한, 버블 팝업을 이용하여 다수의 디바이스를 그룹핑하여 일괄적으로 화면을 공유할 수도 있고, 이를 통하여 그룹핑된 디바이스들의 일부를 쉽게 제거하거나 또는 새로운 디바이스를 쉽게 추가할 수 있다.
또 다른 일 예로, 컨버전스 서비스를 이용하는 과정에서, 버블 팝업을 이용하여 간편하게 프라이버시(privacy)가 보호될 수 있다. 예를 들어, 디바이스 간에 화면을 공유 중에 개인적인 멀티태스킹 작업이 필요한 경우, 사용자는 버블 팝업을 이용하여 화면 동기화를 쉽게 중지할 수 있다.
도 23은 본 개시의 실시 예에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
도 23을 참조하면, 제1 디바이스(11)는 제1 화면을 디스플레이할 수 있다(S2301). 제1 화면이 디스플레이되는 동안에, 제1 디바이스(11)는 제1 및 제2 디바이스(21) 간에 같은 화면이 디스플레이되도록 제1 화면에 관한 정보를 제1 디바이스로 전송할 수 있다(S2303). 다음으로, 제1 디바이스(11)는 제1 화면을 제2 화면으로 전환하는 사용자 입력을 수신할 수 있다(S2305). 사용자 입력이 수신되면(S2305-Y), 제1 디바이스(11)는 제1 디바이스(11)에서 디스플레이 중인 제1 화면을 제2 화면으로 전환하여 디스플레이할 수 있다. 또한, 제1 디바이스(11)는 제2 디바이스(21)에서는 제1 화면이 계속하여 디스플레이되도록 제어할 수 있다(S2307)
도 24는 본 개시의 다른 실시 예에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
도 24를 참조하면, 제1 디바이스(11)는 제1 화면을 디스플레이할 수 있다(S2401). 제1 디바이스(11)는 제1 및 제2 디바이스(21) 간에 같은 화면이 디스플레이되도록 제1 화면에 관한 정보를 제1 디바이스로 전송할 수 있다(S2403). 예를 들어, 제1 디바이스(11)는 현재 디스플레이 중인 제1 화면을 압축하고, 압축된 제1 화면을 제2 디바이스(21)로 전송할 수 있다(S2403-1).
다음으로, 제1 디바이스(11)는 제1 화면에 독립된 팝업 화면에 포함된 UI 엘리먼트를 선택하는 사용자 입력을 수신할 수 있다(S2405). 사용자 입력이 수신되면(S2405-Y), 제1 디바이스(11)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 같은 화면이 디스플레이되는 동기화 모드를 중지하고, 제1 디바이스(11) 및 제2 디바이스(21) 간에 독립적인 화면이 디스플레이되는 비동기화 모드를 실행할 수 있다(S2407). 반면에, 사용자 입력이 수신되지 않으면(S2405-N), 제1 디바이스(11)는 이벤트가 발생할 때마다 제1 및 제2 디바이스 간에 같은 화면이 디스플레이되도록 제1 화면에 관한 정보를 제2 디바이스로 계속하여 전송할 수 있다(S2403). 이벤트는, 예를 들어, 사용자 입력에 따라 발생되거나, 화면이 동기화되도록 일정 주기마다 발생될 수 있다.
다음으로, 제1 디바이스(11)는 제1 화면을 제2 화면으로 전환하는 사용자 입력을 수신할 수 있다(S2409). 사용자 입력이 수신되면(S2409-Y), 제1 디바이스(11)는 제1 디바이스(11)에서 디스플레이 중인 제1 화면을 제2 화면으로 전환하여 디스플레이할 수 있다. 또한, 제1 디바이스(11)는 제2 디바이스(21)에서는 제1 화면이 계속하여 디스플레이되도록 제어할 수 있다(S2411).
도 25는 본 개시에 다른 실시 예에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
도 25를 참조하면, 제1 디바이스(11)는 제1 화면을 디스플레이할 수 있다(S2501). 제1 화면을 디스플레이하는 동안에, 제1 디바이스(11)와 제2 디바이스(21) 간에 동일한 화면이 디스플레이되는 제1 연결 상태가 되면, 제1 디바이스(11)는 제1 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다. 다음으로, 제1 디바이스(11)와 제2 디바이스(21) 간에 독립적인 화면이 디스플레이되는 제2 연결 상태로 전환된 상태에서, 제1 디바이스(11)는 제2 디바이스(21)로부터 제2 디바이스(21)에 디스플레이 중인 제1 화면을 제3 화면으로 전환을 요청하는 정보를 수신할 수 있다(S2505). 정보가 수신되면(S2505-Y), 제1 디바이스(11)는 제1 디바이스(11)에서 제1 화면이 계속하여 디스플레이되는 동안에 제3 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다(S2507).
도 26은 본 개시의 다른 실시 예에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
도 26을 참조하면, 제1 디바이스(11)에서는 제1 화면이 디스플레이되고, 제2 디바이스(21)에서는 제2 화면이 디스플레이될 수 있다(S2601). 이러한 상태에서, 제1 디바이스(11)는 제1 화면을 제3 화면으로 전환하는 사용자 입력을 수신할 수 있다(S2603). 사용자 입력이 제1 모드 상태에서 수신된 경우(S2603-제1모드), 제1 디바이스(11)는 제1 디바이스(11) 및 제2 디바이스(21)에서 같은 화면이 디스플레이되도록 제3 화면에 관한 정보를 제2 디바이스(21)로 전송할 수 있다(S2605). 반면에, 사용자 입력이 제2 모드 상태에서 수신된 경우(S2603-제2 모드), 제1 디바이스(11)는 제1 디바이스(11)에는 제3 화면이 디스플레이되고, 제2 디바이스(21)에서는 제2 화면이 디스플레이되도록 제어할 수 있다(S2607).
도 27은 본 개시의 다른 일 실시 예에 따른 디바이스(100)의 구성을 간략히 나타내는 블록도이다.
도 27을 참조하면, 디바이스(100)는 디스플레이부(130), 통신부(140) 및 제어부(190)를 포함한다. 디스플레이부(130), 통신부(140) 및 제어부(190)의 구성의 일 예는 상술한 부분에서 이미 설명한 바 있으므로, 중복 설명은 생략한다.
일 실시 예에서, 제1 디바이스(11)의 디스플레이부(130)는 제1 화면을 디스플레이할 수 있다. 제1 화면이 디스플레이되는 동안에, 제1 디바이스(11)의 통신부(140)는 제1 디바이스(11) 및 제2 디바이스(21) 간에 같은 화면이 디스플레이되도록 제1 화면에 관한 정보를 제2 디바이스(11)로 전송할 수 있다.
다음으로, 제1 화면을 제2 화면으로 전환하는 사용자 입력이 수신되면, 제1 디바이스(11)의 제어부(190)는 제1 디바이스(11)에서 디스플레이 중인 제1 화면이 제2 화면으로 전환하여 디스플레이되도록 제1 디바이스(11)의 디스플레이부(130)를 제어하고, 제2 디바이스(11)에서는 디스플레이 중인 제1 화면이 계속하여 디스플레이되도록 제어할 수 있다.
상술한 다양한 실시 예에 따른 화면 공유 방법은 프로그램으로 구현되어 제1 디바이스(11) 또는 제2 디바이스(21)에 제공될 수 있다. 구체적으로, 화면 공유 방법을 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. 또한, 상술한 프로그램들은 비일시적 판독 가능 매체의 일 예로서 제1 디바이스(11) 또는 제2 디바이스(21)의 저장부(150)에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 단말장치 110: 영상 수신부
120: 영상 처리부 130: 디스플레이부
140: 통신부 150: 저장부
160: 오디오 처리부 170: 오디오 출력부
180: 감지부 190: 제어부

Claims (20)

  1. 제1 디바이스에서 수행되며, 상기 제1 디바이스의 화면을 제2 디바이스와 공유하는 방법에 있어서,
    상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 제2 연결 상태로 전환하는 단계; 및
    상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 상기 제2 연결 상태로 전환된 상태에서, 사용자 입력이 수신되면, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면을 제2 화면으로 전환하여 디스플레이하고, 상기 제2 디바이스에서는 디스플레이 중인 상기 제1 화면이 계속하여 디스플레이되도록 제어하는 단계;를 포함하는 화면 공유 방법.
  2. 제1항에 있어서,
    상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 상기 제2 연결 상태로 전환하는 단계는,
    상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면과 독립된 팝업 화면에 포함된 UI 엘리먼트를 선택하는 사용자 입력에 응답하여 전환하는 단계;를 포함하는 화면 공유 방법.
  3. 제1항에 있어서,
    상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 상기 제2 연결 상태로 전환하는 단계는,
    상기 제1 디바이스 및 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 동기화 모드를 중지하고, 상기 제1 디바이스 및 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 비동기화 모드를 실행하는 단계;를 포함하는 화면 공유 방법.
  4. 제1항에 있어서,
    상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계는,
    상기 제1 디바이스에서 현재 디스플레이 중인 상기 제1 화면을 압축하고, 상기 압축된 제1 화면을 상기 제2 디바이스로 전송하는 단계;를 포함하는 화면 공유 방법.
  5. 제1항에 있어서,
    상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계는,
    상기 제1 디바이스에서 현재 디스플레이 중인 상기 제1 화면에 포함된 영상 컨텐츠를 압축하고, 상기 압축된 영상 컨텐츠를 상기 제2 디바이스로 전송하는 단계;를 포함하는 화면 공유 방법.
  6. 제1항에 있어서,
    상기 제2 디바이스로부터 상기 제2 디바이스를 통한 사용자 입력에 관한 정보를 수신하는 단계; 및
    상기 사용자 입력에 관한 정보에 응답하여, 상기 사용자 입력과 관련된 제3 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계;를 더 포함하는 화면 공유 방법.
  7. 제1항에 있어서,
    상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계 전에,
    상기 제1 디바이스와 통신 가능한 복수의 제2 디바이스들 각각을 대표하는 아이콘들을 디스플레이하는 단계; 및
    상기 디스플레이된 아이콘들 중 하나가 선택되면, 상기 선택된 아이콘에 대응되는 제2 디바이스와 상기 제1 연결 상태로 연결하는 단계;를 더 포함하는 화면 공유 방법.
  8. 제2항에 있어서,
    상기 팝업 화면은,
    상기 제1 디바이스 및 상기 제2 디바이스의 화면 간에 동기화 또는 비동기화를 나타내는 알림 정보를 포함하는 화면 공유 방법.
  9. 제2항에 있어서,
    상기 제1 디바이스가 복수의 제2 디바이스들을 포함하는 제2 디바이스 그룹과 화면을 공유하는 경우,
    상기 팝업 화면은,
    상기 제2 디바이스 그룹에 포함된 제2 디바이스들의 개수, 상기 제2 디바이스 그룹의 식별 정보, 및 상기 제2 디바이스 그룹에 포함된 제2 디바이스의 식별 정보 중 적어도 하나를 포함하는 화면 공유 방법.
  10. 제1 디바이스에서 수행되는, 상기 제1 디바이스의 화면을 제2 디바이스와 공유하는 방법에 있어서,
    상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계;
    상기 제1 디바이스 및 상기 제2 디바이스 간에 상기 제1 연결 상태를 제2 연결 상태로 전환하는 단계; 및
    상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 상기 제2 연결 상태로 전환된 상태에서, 상기 제2 디바이스로부터 상기 제2 디바이스에서 디스플레이 중인 상기 제1 화면을 제3 화면으로 전환을 요청하는 정보가 수신되면, 상기 제1 디바이스에서 상기 제1 화면이 계속하여 디스플레이되는 동안에, 상기 제3 화면에 관한 정보를 상기 제2 디바이스로 전송하는 단계;를 포함하는 화면 공유 방법.
  11. 제2 디바이스와 화면을 공유하는 제1 디바이스에 있어서,
    사용자 입력을 감지하는 감지부;
    제1 화면을 디스플레이하는 디스플레이부;
    상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 통신부; 및
    상기 제1 연결 상태로부터, 상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 제2 연결 상태로 전환된 상태에서, 상기 감지부를 통하여 사용자 입력이 수신되면, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면이 제2 화면으로 전환하여 디스플레이되고, 상기 제2 디바이스에서는 상기 제1 화면이 계속하여 디스플레이되도록 제어하는 제어부;를 포함하는 제1 디바이스.
  12. 제11항에 있어서,
    상기 감지부는,
    상기 제1 연결 상태로부터 상기 제2 연결 상태로 전환하기 위하여, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면과 독립된 팝업 화면에 포함된 UI 엘리먼트를 선택하는 사용자 입력을 감지하는 제1 디바이스.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 제1 연결 상태로부터 상기 제2 연결 상태로 전환되는 경우,
    상기 제1 디바이스 및 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 동기화 모드를 중지하고,
    상기 제1 디바이스 및 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 비동기화 모드를 실행하는 제1 디바이스.
  14. 제11항에 있어서,
    상기 통신부는,
    상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 경우,
    압축된 상기 제1 화면을 상기 제2 디바이스로 전송하는 제1 디바이스.
  15. 제11항에 있어서,
    상기 통신부는,
    상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 경우,
    압축된 상기 제1 화면에 포함된 영상 컨텐츠를 상기 제2 디바이스로 전송하는 제1 디바이스.
  16. 제11항에 있어서,
    상기 통신부는,
    상기 제2 디바이스로부터 상기 제2 디바이스를 통한 사용자 입력에 관한 정보를 수신하고,
    상기 사용자 입력과 관련된 제3 화면에 관한 정보를 상기 제2 디바이스로 전송하는 제1 디바이스.
  17. 제11항에 있어서,
    상기 디스플레이부는,
    상기 제1 디바이스와 통신 가능한 복수의 제2 디바이스들 각각을 대표하는 아이콘들을 디스플레이하고,
    상기 제어부는,
    상기 감지부를 통하여 상기 디스플레이된 아이콘들 중 하나를 선택하는 사용자 입력이 수신되면, 상기 선택된 아이콘에 대응되는 제2 디바이스와 상기 제1 연결 상태로 연결하는 제1 디바이스.
  18. 제12항에 있어서,
    상기 팝업 화면은,
    상기 제1 디바이스 및 상기 제2 디바이스의 화면 간에 동기화 또는 비동기화를 나타내는 알림 정보를 포함하는 제1 디바이스.
  19. 제12항에 있어서,
    상기 제1 디바이스가 복수의 제2 디바이스들을 포함하는 제2 디바이스 그룹과 화면을 공유하는 경우,
    상기 팝업 화면은,
    상기 제2 디바이스 그룹에 포함된 제2 디바이스들의 개수, 상기 제2 디바이스 그룹의 식별 정보 및 상기 제2 디바이스 그룹에 포함된 제2 디바이스의 식별 정보 중 적어도 하나를 포함하는 제1 디바이스.
  20. 제2 디바이스와 화면을 공유하는 제1 디바이스에 있어서,
    사용자 입력을 감지하는 감지부;
    제1 화면을 디스플레이하는 디스플레이부;
    상기 제1 디바이스와 상기 제2 디바이스 간에 동일한 화면이 디스플레이되는 제1 연결 상태에서, 상기 제1 디바이스에서 디스플레이 중인 상기 제1 화면에 관한 정보를 상기 제2 디바이스로 전송하는 통신부; 및
    상기 제1 연결 상태로부터, 상기 제1 디바이스와 상기 제2 디바이스 간에 독립적인 화면이 디스플레이되는 제2 연결 상태로 전환된 상태에서, 상기 통신부를 통하여 상기 제2 디바이스로부터 상기 제2 디바이스에 디스플레이 중인 상기 제1 화면을 제3 화면으로 전환을 요청하는 정보가 수신되면, 상기 제1 디바이스에서는 상기 제1 화면이 계속하여 디스플레이되는 동안에, 상기 제3 화면에 관한 정보가 상기 제2 디바이스로 전송되도록 상기 통신부를 제어하는 제어부;를 포함하는 제1 디바이스.

KR1020140140804A 2014-10-17 2014-10-17 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스 KR102269481B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140140804A KR102269481B1 (ko) 2014-10-17 2014-10-17 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
EP21152202.4A EP3825838A1 (en) 2014-10-17 2015-10-16 Method for sharing screen between devices and device using the same
PCT/KR2015/010961 WO2016060514A1 (en) 2014-10-17 2015-10-16 Method for sharing screen between devices and device using the same
EP15851326.7A EP3207460A4 (en) 2014-10-17 2015-10-16 Method for sharing screen between devices and device using the same
CN201580062292.4A CN107003818B (zh) 2014-10-17 2015-10-16 在设备之间共享屏幕的方法及使用该方法的设备
US14/886,929 US10353661B2 (en) 2014-10-17 2015-10-19 Method for sharing screen between devices and device using the same
US16/416,901 US10635379B2 (en) 2014-10-17 2019-05-20 Method for sharing screen between devices and device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140140804A KR102269481B1 (ko) 2014-10-17 2014-10-17 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스

Publications (2)

Publication Number Publication Date
KR20160045370A true KR20160045370A (ko) 2016-04-27
KR102269481B1 KR102269481B1 (ko) 2021-06-28

Family

ID=55746964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140804A KR102269481B1 (ko) 2014-10-17 2014-10-17 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스

Country Status (5)

Country Link
US (2) US10353661B2 (ko)
EP (2) EP3825838A1 (ko)
KR (1) KR102269481B1 (ko)
CN (1) CN107003818B (ko)
WO (1) WO2016060514A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151522A1 (ko) * 2017-02-17 2018-08-23 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD618248S1 (en) 2008-09-23 2010-06-22 Apple Inc. Graphical user interface for a display screen or portion thereof
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD827654S1 (en) * 2013-12-20 2018-09-04 Sony Corporation Wearable player with graphical user interface
KR102269481B1 (ko) 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
CN105808089A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种数据传输方法及第一电子设备
USD768676S1 (en) * 2015-02-11 2016-10-11 Nike, Inc. Display screen with animated graphical user interface
US9583142B1 (en) 2015-07-10 2017-02-28 Musically Inc. Social media platform for creating and sharing videos
USD788137S1 (en) * 2015-07-27 2017-05-30 Musical.Ly, Inc Display screen with animated graphical user interface
USD801347S1 (en) 2015-07-27 2017-10-31 Musical.Ly, Inc Display screen with a graphical user interface for a sound added video making and sharing app
USD801348S1 (en) 2015-07-27 2017-10-31 Musical.Ly, Inc Display screen with a graphical user interface for a sound added video making and sharing app
USD818478S1 (en) * 2016-03-01 2018-05-22 Bobst Mex Sa Display screen or a portion thereof with graphical user interface
USD818479S1 (en) * 2016-03-01 2018-05-22 Bobst Mex Sa Display screen or a portion thereof with graphical user interface
US10572213B2 (en) * 2016-04-04 2020-02-25 Microsoft Technology Licensing, Llc Universal application pinning
KR102570379B1 (ko) * 2016-04-22 2023-08-25 엘지전자 주식회사 스크린 미러링 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
US10482665B2 (en) * 2016-12-16 2019-11-19 Microsoft Technology Licensing, Llc Synching and desyncing a shared view in a multiuser scenario
KR20180080629A (ko) 2017-01-04 2018-07-12 삼성전자주식회사 전자 장치 및 전자 장치의 어플리케이션 실행 히스토리 표시 방법
USD818037S1 (en) * 2017-01-11 2018-05-15 Apple Inc. Type font
CN107092453B (zh) * 2017-02-27 2021-02-23 宇龙计算机通信科技(深圳)有限公司 一种屏幕显示控制方法、装置及终端
US10183231B1 (en) * 2017-03-01 2019-01-22 Perine Lowe, Inc. Remotely and selectively controlled toy optical viewer apparatus and method of use
KR102481894B1 (ko) * 2017-11-06 2022-12-28 삼성전자 주식회사 전자 장치 및 이를 이용한 화면 공유 방법
CN108235089B (zh) * 2018-01-10 2021-02-02 武汉斗鱼网络科技有限公司 线路切换控制方法、存储介质、电子设备及***
CN109739450B (zh) * 2018-04-08 2020-03-27 北京字节跳动网络技术有限公司 一种交互方法及装置
CN109660842B (zh) * 2018-11-14 2021-06-15 华为技术有限公司 一种播放多媒体数据的方法及电子设备
CN112231025B (zh) * 2019-03-06 2022-12-06 华为终端有限公司 Ui组件显示的方法及电子设备
WO2020201807A1 (en) * 2019-03-29 2020-10-08 Naxos Finance Sa Apparatus for mobile communications having variable dimensions
KR102604202B1 (ko) * 2019-05-28 2023-11-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102579700B1 (ko) * 2019-06-03 2023-09-18 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치
CA191640S (en) * 2019-06-03 2022-03-30 Abb Power Grids Switzerland Ag General purpose computer screen with graphical user interface
CN110673782B (zh) * 2019-08-29 2022-11-29 荣耀终端有限公司 一种应用于投屏场景的控制方法以及相关设备
US11061638B2 (en) * 2019-09-17 2021-07-13 The Toronto-Dominion Bank Dynamically determining an interface for presenting information to a user
CN110658963B (zh) * 2019-09-30 2021-04-06 上海沣沅星科技有限公司 人机交互界面的多屏互动***、设备、介质、交互***
CN114924682A (zh) * 2019-10-24 2022-08-19 华为终端有限公司 一种内容接续方法及电子设备
KR102668429B1 (ko) 2019-11-15 2024-05-24 삼성전자주식회사 전자장치 및 그 제어방법
CN111045772A (zh) * 2019-12-02 2020-04-21 维沃移动通信有限公司 一种应用分享方法、电子设备及计算机可读存储介质
CN111092990B (zh) * 2019-12-05 2021-08-10 维沃移动通信有限公司 一种应用程序分享方法、电子设备以及存储介质
USD943608S1 (en) * 2020-03-05 2022-02-15 Beijing Dajia Internet Information Technology Co., Ltd Display screen or portion thereof with graphical user interface
US11259420B1 (en) * 2020-03-17 2022-02-22 Deena Copeland Portable retractable display screen
CN111506283B (zh) * 2020-04-26 2023-10-27 西安万像电子科技有限公司 图像显示方法、装置及***
CN111913628B (zh) * 2020-06-22 2022-05-06 维沃移动通信有限公司 分享方法、装置和电子设备
CN111935150B (zh) * 2020-08-11 2023-07-21 联想(北京)有限公司 内容共享实现方法、装置及电子设备
CN114915820B (zh) * 2021-02-09 2024-03-01 海信视像科技股份有限公司 显示设备及其控制方法
CN113268211B (zh) * 2021-05-13 2023-05-12 维沃移动通信（杭州）有限公司 图像获取方法、装置、电子设备及存储介质
CN115515001B (zh) * 2021-06-22 2023-10-24 荣耀终端有限公司 屏幕镜像方法、装置、设备及存储介质
KR20230008954A (ko) 2021-07-07 2023-01-17 삼성디스플레이 주식회사 표시 장치 및 복수의 표시 장치들의 제어 방법
EP4369720A1 (en) * 2021-07-07 2024-05-15 LG Electronics Inc. Display device, control method and control system therefor
CN113590067A (zh) * 2021-07-28 2021-11-02 深圳创维－Rgb电子有限公司 投屏控制方法、***、装置及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123099A (ko) * 2010-05-06 2011-11-14 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140089300A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 화면을 공유하는 장치 및 방법

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US6959450B1 (en) * 1999-06-18 2005-10-25 Swisscom Mobile Ag Transmission and display of video data
US6823525B1 (en) * 2000-01-21 2004-11-23 Ati Technologies Inc. Method for displaying single monitor applications on multiple monitors driven by a personal computer
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
TW578128B (en) * 2003-01-02 2004-03-01 Toppoly Optoelectronics Corp Display driving device and method
TWI221745B (en) * 2003-07-04 2004-10-01 Benq Corp Display apparatus with a function of retaining an image and method of retaining an image
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
WO2008041313A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
CN101675054B (zh) * 2007-03-07 2014-05-14 无限发现股份有限公司 环杷明内酰胺类似物及其使用方法
US9647780B2 (en) * 2007-08-24 2017-05-09 Invention Science Fund I, Llc Individualizing a content presentation
US20090290753A1 (en) * 2007-10-11 2009-11-26 General Electric Company Method and system for gaze estimation
JP2009100246A (ja) * 2007-10-17 2009-05-07 Hitachi Ltd 表示装置
CA2717772A1 (en) * 2008-04-07 2009-10-15 Pioneer Hi-Bred International, Inc. Use of virus-induced gene silencing (vigs) to down-regulate genes in plants
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
AU2009290093A1 (en) * 2008-09-03 2010-03-11 Smart Technologies Ulc Method of displaying applications in a multi-monitor computer system and multi-monitor computer system employing the method
US9641884B2 (en) * 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
KR101590357B1 (ko) * 2009-06-16 2016-02-01 엘지전자 주식회사 휴대 단말기, 휴대 단말기 동작방법 및 휴대 단말기 싱크 시스템
JP5658547B2 (ja) * 2009-12-29 2015-01-28 シャープ株式会社 ネットワークシステム、通信方法、および通信端末
KR101685364B1 (ko) * 2010-01-05 2016-12-12 엘지전자 주식회사 휴대 단말기, 휴대 단말기 시스템 및 그 동작 제어방법
US9646046B2 (en) * 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
US9535561B2 (en) * 2010-08-24 2017-01-03 Lg Electronics Inc. Method for controlling content-sharing, and portable terminal and content-sharing system using same
KR101702563B1 (ko) * 2010-10-15 2017-02-03 삼성전자 주식회사 직관적인 선택에 기초해 디바이스에 액세스하는 방법 및 장치
KR101738527B1 (ko) * 2010-12-07 2017-05-22 삼성전자 주식회사 모바일기기 및 그 제어방법
KR101757870B1 (ko) * 2010-12-16 2017-07-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2521372A1 (en) * 2011-05-03 2012-11-07 LG Electronics Inc. Electronic device and method for operating the same
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
EP2587342A1 (en) * 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
US8947380B2 (en) * 2012-01-31 2015-02-03 Blackberry Limited Electronic device including touch-sensitive display and method of facilitating input at the electronic device
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
CN103294428B (zh) * 2012-03-02 2016-12-14 联想(北京)有限公司 一种信息显示方法及电子设备
KR20130106684A (ko) * 2012-03-20 2013-09-30 삼성전자주식회사 홈 스크린 공유 방법
US20140017639A1 (en) * 2012-04-06 2014-01-16 Mark Siedlik Automation trainer for training technician, engineers and tradesmen to program a programmable automation controller
KR101952682B1 (ko) 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US9047244B1 (en) * 2012-09-11 2015-06-02 Google Inc. Multi-screen computing device applications
KR101963125B1 (ko) * 2012-09-20 2019-04-02 삼성디스플레이 주식회사 표시 모듈
EP2919198B1 (en) * 2012-11-09 2018-11-14 Sony Corporation Image processing device, image processing method, and program
JP6183003B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 伝送システム
EP2858322B1 (en) 2012-12-12 2018-08-01 Huawei Device Co., Ltd. Method and terminal for sharing media stream
US20140176393A1 (en) * 2012-12-25 2014-06-26 Kabushiki Kaisha Toshiba Information processing apparatus, user assistance method and storage medium
KR102012049B1 (ko) * 2013-01-18 2019-08-19 주식회사 엘지유플러스 단말에서의 화면 공유 방법 및 화면 공유가 가능한 단말
EP2760177B1 (en) * 2013-01-29 2019-03-13 BlackBerry Limited Method, Apparatus and Computer storage media for Suspending Screen Sharing During Confidential Data Entry
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101992340B1 (ko) * 2013-03-27 2019-06-25 삼성디스플레이 주식회사 윈도우 및 표시 장치
TW201445527A (zh) * 2013-05-30 2014-12-01 Hon Hai Prec Ind Co Ltd 畫面監看及廣播系統及方法
TW201447393A (zh) * 2013-06-06 2014-12-16 Wintek Corp 基板結構以及包含其的觸控面板
US8819268B1 (en) * 2013-06-19 2014-08-26 Google Inc. Systems and methods for notification of device mirroring
JP6319970B2 (ja) * 2013-08-20 2018-05-09 キヤノン株式会社 画像通信装置およびその制御方法
KR102133531B1 (ko) * 2013-08-23 2020-07-13 삼성전자주식회사 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
KR20150031098A (ko) * 2013-09-13 2015-03-23 삼성전자주식회사 화면 미러링 방법 및 그에 따른 디스플레이 기기
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
KR102047498B1 (ko) * 2013-09-24 2019-11-21 삼성전자주식회사 노킹 입력에 기초하여 객체를 공유하는 시스템 및 방법
US20160323542A1 (en) * 2013-12-16 2016-11-03 Samsung Electronics Co., Ltd. User terminal device and method for providing interaction service therefor
KR102181238B1 (ko) * 2014-02-12 2020-11-23 삼성디스플레이 주식회사 유기 발광 표시 장치 및 유기 발광 표시 장치의 제조 방법
US9530450B2 (en) * 2014-03-18 2016-12-27 Vixs Systems, Inc. Video system with fovea tracking and methods for use therewith
CN104954847B (zh) * 2014-03-25 2018-04-10 扬智科技股份有限公司 视频流处理装置、镜像视频显示方法及显示装置
KR102195276B1 (ko) * 2014-05-21 2020-12-24 엘지디스플레이 주식회사 유기발광소자
KR102139676B1 (ko) * 2014-05-27 2020-07-30 엘지디스플레이 주식회사 유기발광소자
TWI549330B (zh) * 2014-06-04 2016-09-11 群創光電股份有限公司 有機發光二極體顯示器
US9602191B2 (en) * 2014-06-27 2017-03-21 X Development Llc Streaming display data from a mobile device using backscatter communications
TWI616808B (zh) * 2014-06-30 2018-03-01 緯創資通股份有限公司 分享顯示畫面的方法及裝置
JP6566616B2 (ja) * 2014-08-19 2019-08-28 キヤノン株式会社 通信装置、その制御方法、およびプログラム
KR102207914B1 (ko) * 2014-10-10 2021-01-27 삼성디스플레이 주식회사 유기 발광 표시 장치
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
JP6378606B2 (ja) * 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
US20160143066A1 (en) * 2014-11-19 2016-05-19 Sony Corporation Method and system for displaying web applications of a first communication device on a second communication device by using ban
KR102345610B1 (ko) * 2015-02-27 2021-12-30 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
US9794733B2 (en) * 2015-03-25 2017-10-17 Sony Corporation System, method and device for transferring information via body coupled communication from a touch sensitive interface
CN106161763B (zh) * 2015-04-24 2020-02-21 联想(北京)有限公司 控制方法、装置及电子设备
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123099A (ko) * 2010-05-06 2011-11-14 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140089300A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 화면을 공유하는 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151522A1 (ko) * 2017-02-17 2018-08-23 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
KR20180095399A (ko) * 2017-02-17 2018-08-27 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
US10983749B2 (en) 2017-02-17 2021-04-20 Samsung Electronics Co., Ltd. Electronic device and method for sharing screen
US11334311B2 (en) 2017-02-17 2022-05-17 Samsung Electronics Co., Ltd. Electronic device and method for sharing screen

Also Published As

Publication number Publication date
EP3825838A1 (en) 2021-05-26
WO2016060514A1 (en) 2016-04-21
US20160110152A1 (en) 2016-04-21
CN107003818A (zh) 2017-08-01
US10353661B2 (en) 2019-07-16
EP3207460A4 (en) 2018-01-17
EP3207460A1 (en) 2017-08-23
US10635379B2 (en) 2020-04-28
US20190272142A1 (en) 2019-09-05
KR102269481B1 (ko) 2021-06-28
CN107003818B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
US10635379B2 (en) Method for sharing screen between devices and device using the same
US11809693B2 (en) Operating method for multiple windows and electronic device supporting the same
JP6478181B2 (ja) 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置
KR102284108B1 (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
US20180349025A1 (en) Display device including button configured according to displayed windows and control method therefor
US11899903B2 (en) Display device and method of controlling the same
KR102064952B1 (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
CN110362246B (zh) 控制电子设备的方法、电子设备和存储介质
US20220398059A1 (en) Multi-window display method, electronic device, and system
KR101126394B1 (ko) 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
EP2916208B1 (en) Portable terminal and method of enlarging and displaying contents
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
US10353988B2 (en) Electronic device and method for displaying webpage using the same
KR20160013054A (ko) 애플리케이션 인터페이스를 디스플레이하는 방법 및 장치, 그리고 전자 장치
US10592099B2 (en) Device and method of controlling the device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant