CN105359121B - 使用接收数据的应用远程操作 - Google Patents

使用接收数据的应用远程操作 Download PDF

Info

Publication number
CN105359121B
CN105359121B CN201480038919.8A CN201480038919A CN105359121B CN 105359121 B CN105359121 B CN 105359121B CN 201480038919 A CN201480038919 A CN 201480038919A CN 105359121 B CN105359121 B CN 105359121B
Authority
CN
China
Prior art keywords
electronic equipment
data
app
equipment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480038919.8A
Other languages
English (en)
Other versions
CN105359121A (zh
Inventor
金政勋
罗皙熙
朴柱鹤
洪承杓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105359121A publication Critical patent/CN105359121A/zh
Application granted granted Critical
Publication of CN105359121B publication Critical patent/CN105359121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227Cooperation and interconnection of the input arrangement with other functional units of a computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子设备,包括:连接单元,用于连接到外部设备;以及处理器,配置为:从与电子设备相连的外部设备接收数据和关联的属性信息;以及通过执行与属性信息相关的应用来处理所述数据。

Description

使用接收数据的应用远程操作
技术领域
本公开涉及电子设备,更具体地,涉及使用接收数据来远程操作应用。
背景技术
由于硬件技术近来的进步,电子设备可以结合其他设备执行用户功能。结合其他设备执行用户功能可以增加电子设备的功能性,带来更丰富的用户体验。
发明内容
技术问题
当电子设备相连时,一个电子设备可以操作安装在其他电子设备中的应用。当通过第二电子设备调用正在第一电子设备上执行的应用时,可以从第一电子设备向第二电子设备发送与该应用相关联的数据。然后,第二电子设备可以显示与该应用相关联的数据。
显示在第一电子设备(例如,智能电话)上的图像可以被发送到第二电子设备(例如,TV或台式计算机),并显示在第二电子设备上。此后,响应于使用该图像的用户输入(例如,拖动和释放),第二电子设备可以向第一电子设备发送数据。然而,在这种传输方案中,仅将数据发送给预设的文件夹,而不考虑第一电子设备和第二电子设备中的用户体验(UX)。
因此,本发明的一个方面在于提供一种方法和设备,其中当在电子设备之间进行数据通信时,可以执行关于数据和应用的操作,使得最大化用户便利性并提供用户体验(UX)。
解决问题的方案
根据本公开的一个方面,提供了一种用于操作电子设备的方法,所述方法包括:从与电子设备相连的外部设备接收数据和关联的属性信息;以及通过执行与属性信息相关的应用来处理所述数据。
根据本公开的另一方面,提供了一种电子设备,包括:连接单元,用于连接到外部设备;以及处理器,配置为:从与电子设备相连的外部设备接收数据和关联的属性信息;以及通过执行与属性信息相关的应用来处理所述数据。
发明的有利效果
本公开可以提供一种方法和设备,其中当在电子设备之间进行数据通信时,可以执行关于数据和应用的操作,使得最大化用户便利性并提供用户体验(UX)。
本公开的各个方面是为了至少解决上述问题和/或缺陷,并且至少提供以下描述的优势。
附图说明
图1示出了根据本公开多个方面的app操作***的概括图;
图2是根据本公开多个方面的第一电子设备100的示例的框图;
图3是根据本公开多个方面的第二电子设备200的示例的框图;
图4是根据本公开多个方面的用于发送数据的过程的示例的序列图;
图5是描述根据本公开多个方面的结合图4讨论的过程的示例的示意图;
图6是根据本公开多个方面的用于播放数据的过程的示例的序列图;
图7是描述根据本公开多个方面的结合图6讨论的过程的示例的示意图;
图8是根据本发明多个方面的用于存储数据的过程的示例的序列图;
图9是描述根据本公开多个方面的结合图8讨论的过程的示例的示意图;
图10是描述用于发送数据的过程的示例的序列图;
图11是根据本公开多个方面的结合图10讨论的过程的示意图;
图12是描述根据本发明多个方面的用于发送数据的过程的另一示例的序列图;
图13是描述根据本公开多个方面的结合图12讨论的过程的示例的示意图;
图14是描述根据本发明多个方面的用于发送数据的过程的另一示例的序列图;
图15是描述根据本发明多个方面的用于发送数据的过程的另一示例的序列图;以及
图16A、16B和16C是描述根据本公开多个方面的结合图15讨论的过程的示例的示意图。
具体实施方式
下文中,参考附图详细地描述了本公开多个方面。
可以省略对公知功能和结构的详细描述,以便避免混淆本公开的主题。也可以省略对具有基本相同配置和功能的组件的详细描述。
在附图中,扩大、省略或仅简略概述相同元件,所以可以不按比例绘制所述元件。本公开不限于附图中对象和对象之间的间隔的相对尺寸。
以下描述中,电子设备可以是智能电话、平板计算机、膝上型计算机、数字摄像机、智能TV、个人数字助手(PDA)、电子笔记本、台式计算机、便携式多媒体播放器(PMP)、媒体播放器(诸如,MP3播放器)、音频***、智能腕表、游戏机和具有触摸屏的家用设备(诸如,冰箱、TV或洗衣机)。描述中,可以使用不同类型的电子设备。例如,第一电子设备可以是智能电话,第二电子设备可以是智能TV。还可以使用相同类型的电子设备。此外,电子设备可以是类型相同但性能不同的电子设备。例如,第一电子设备和第二电子设备可以是智能电话,但是第一电子设备可以具有比第二电子设备大的屏幕尺寸。相较于第二电子设备,第一电子设备还可以具有更快的CPU。电子设备可以包括不同组件。例如,第一电子设备可以包括移动通信模块,第二电子设备不包括移动通信模块。此外,电子设备可以在平台方面(例如,固件和操作***)有所不同。
图1示出了根据本公开多个方面的app操作***的示例。
参考图1,app操作***10可以包括第一电子设备100和第二电子设备200。例如,第一电子设备100和第二电子设备200之一可以用作app操作设备,其中的另一个可以用作app输出设备。以下描述中,假设第一电子设备100被用作app操作设备,第二电子设备200被用作app输出设备。
app操作***10可以通过第二电子设备200输出与在第一电子设备100上执行的应用相关的数据。例如,当在第一电子设备100上执行三个应用时,可以通过第二电子设备200输出至少一个被执行app的数据。第一电子设备100可以将应用保持在执行状态或激活状态。
当app处于执行状态时,第一电子设备100可以根据用户输入(例如,用触摸物(诸如,手指或笔)在触摸面板的屏幕上的触摸输入)执行app;可以向用户输出通过执行app产生的结果,作为反馈;或可以进行app执行和输出。文中,反馈可以是以下至少一项:视觉反馈(例如,在屏幕上显示结果)、听觉反馈(例如,输出音乐)以及触觉反馈(例如,振动)。屏幕可以是第一电子设备100的屏幕、第二电子设备200的屏幕、或两个电子设备100和200的屏幕。
当app处于激活状态时,将app加载到存储器中并等待执行,或将app加载到存储器中但不将该app的数据显示在屏幕上。当具有窗口小部件功能的app处于激活状态时,可以根据设置信息,将app的状态从激活状态切换到执行状态。还可以根据用户设置,将app的状态从激活状态切换到执行状态。在以下描述中,存储器可以表示可以通过控制单元170向其写入信息(诸如,数据、文件和应用)的存储区域(诸如,RAM),或其中可以加载存储在存储单元150中的信息的存储区域。
第一电子设备100可以在存储单元150中存储app,并响应于用户请求(例如,对屏幕上的app图标的点击),激活并执行app。下文中,当第二电子设备200与第一电子设备相连时,或当在第二电子设备200连接到第一电子设备之后检测到用户请求时,第一电子设备100可以向第二电子设备200发送数据(app执行的结果或诸如app名称的app标识信息)。随后,当通过app执行更新数据(例如,要显示的新网页)时,第一电子设备100可以向第二电子设备200发送更新后的数据。
第一电子设备100可以根据从第二电子设备200接收到的输入信号或通过第一电子设备100的输入单元120产生的输入信号,执行具体app。当在执行期间更新数据时,app操作***10可以向第二电子设备200发送更新后的数据。下文将参考图2和3来详细描述app操作***10。
第二电子设备200可以通过各种有线/无线通信协议中的至少一个连接到第一电子设备100。第二电子设备200可以从第一电子设备100接收数据,并通过设备显示单元输出接收到的数据。例如,当第一电子设备100发送多个数据(分别与正执行的app相对应),第二电子设备200可以对所述多个数据进行分类,并分别在不同app显示区域中显示所述多个数据。在这种示例中,app显示区域可以不彼此交叠。为此,第二电子设备200的屏幕尺寸可以大于第一电子设备100的屏幕尺寸。
在图1的示例中,应用显示区域201、202和203显示在第二电子设备200的显示单元上。显示区域201、202和203中的每一个可以与在第一电子设备100上执行的不同应用相对应。同时,第一电子设备100可以仅显示app显示区域101。app显示区域101和201二者可以与同一应用相对应。此外,区域202和203可以与在第一电子设备100上执行的不同应用相对应,但是所述应用的界面在第一电子设备100的显示器上是不可见的。因此,在一些实现方案中,区域201、202和203中的每一个可以包括图像(例如,文件浏览器图像),其中所述图像是根据执行不同应用而获得的。
备选地,app显示区域可以是彼此交叠的。同时,为了避免混淆相似组件,可以将第二电子设备200的组件命名为与第一电子设备100的组件不同。例如,第二电子设备200的显示单元可以被称作“设备显示单元”。
对于具体app,第二电子设备200可以将app显示区域显示为比第一电子设备100显示的app显示区域大。第二电子设备200可以提供具有更多数据的扩展区域,而不是仅放大第一电子设备100的相应app显示区域。例如,如果第一电子设备100显示10个条目的列表,则第二电子设备200可以显示20个条目的列表。
在图1的示例中,显示区域201可以包括尺寸上等于(或基本等于)app显示区域101的部分201a。此外,app显示区域201可以包括扩展部分201b。如上所述,扩展部分101可以包括与区域201和101相对应的应用产生的数据,其中由于第一电子设备100的有限屏幕尺寸,在第一电子设备100的显示器上,从视图隐藏了所述数据。
第二电子设备200可以包括设备输入单元。第二电子设备200可以检测通过设备输入单元的用户输入,并向第一电子设备100发送与用户输入相对应的输入信号。响应于输入信号,第一电子设备100可以更新数据并向第二电子设备200发送更新后的数据。当接收到更新后的数据时,第二电子设备200可以在相应app显示区域中显示更新后的数据。下文将参考图4和5来详细描述第二电子设备200。
在一些方面,app操作***10可以通过第二电子设备200控制第一电子设备100的app。也就是说,用户可以通过第二电子设备200控制由第一电子设备100执行的所需app。在以上描述中,app可以包括用于呼叫的拨号app、针对音乐或音频文件的回放app、文件编辑app、广播接收app、图库app、聊天app、警报app、计算器app、联系人app、日程调度app、日历app和浏览器。
图2是根据本公开多个方面的第一电子设备100的示例的框图。如图所示,第一电子设备100可以包括通信单元110、输入单元120、音频处理单元130、显示单元140、存储单元150、连接单元160和控制单元170。根据该示例,第一电子设备100还可以包括用于图像捕获的图像传感器。第一电子设备100还可以包括:传感器单元,包括各种传感器,诸如,加速度传感器、接近传感器、陀螺传感器、运动传感器和照度传感器。
通信单元110可以包括用于在控制单元170的控制下建立用于与外部设备进行通信(例如,语音呼叫、视频呼叫和数据呼叫)的通信信道的硬件。通信单元110可以包括移动通信模块(基于第三代(3G)、3.5G或4G移动通信)以及数字广播接收模块(例如,DMB模块)。在建立通信信道之后,由通信单元110通过通信信道接收到的数据可以被传送到控制单元170,控制单元170可以接着将该数据施加到相应app。例如,将该数据施加到相应app可以包括将该数据传送到第二电子设备200。
输入单元120配置为产生用于操控第一电子设备100所需的各种输入信号。输入单元120可以包括键盘、侧键、主页键等。当用户键入这种按键时,产生相应输入信号并发送给控制单元170。根据输入信号,控制单元170可以控制第一电子设备100的组件。
此外,输入单元120可以包括布置在显示单元140上的触摸面板(即,触摸屏)。触摸面板可以是添加型(布置于显示单元140上)或体上型或体内型(***显示单元140中)。触摸面板可以产生与用触摸物(例如,手指或笔)在显示单元140上做出的手势(例如,触摸、点击、拖动或轻拂)相对应的输入信号(例如,触摸事件),并通过模数(A/D)转换向控制单元170发送触摸事件。
音频处理单元130与扬声器SPK和麦克风MIC协作,输入并输出音频信号(例如,语音数据)以进行话语识别、语音记录、数字记录和呼叫。音频处理单元130可以从控制单元170接收数字音频信号,通过D/A转换将数字音频信号转换为模拟音频信号,放大模拟音频信号,并向扬声器SPK输出经过放大的模拟音频信号。扬声器SPK将来自音频处理单元130的音频信号转换为声波,并输出所述声波。麦克风MIC将来自人或其它声源的声波转换为音频信号。音频处理单元130通过A/D转换将来自麦克风MIC的模拟音频信号转换为数字音频信号,向控制单元170发送该数字音频信号。
当将第二电子设备200连接到连接单元160时,音频处理单元130可以输出相应声音通知或音效。当将数据发送到第二电子设备200时,音频处理单元130可以输出相应声音通知或音效。可以根据设计设置或用户选择,省略声音输出。
显示单元140在控制单元170的控制下显示各种类型的信息。也就是说,当控制单元170将经过处理(例如,经解码)的数据存储在存储器(例如,帧缓冲器)时,显示单元140将所存储的数据转换为模拟信号,并在屏幕上显示该模拟信号。显示单元140可以使用液晶显示(LCD)设备、有源矩阵有机发光二极管(AMOLED)、柔性显示器或透明显示器来实现。
当向显示单元140供电时,显示单元140可以在屏幕上显示锁定图像。当在显示锁定图像的同时检测到用于解锁的用户输入(例如,口令)时,控制单元170可以对屏幕解锁。当屏幕解锁时,显示单元140可以在控制单元170的控制下在屏幕上显示主页图像,代替锁定图像。主页图像可以包括背景图像(例如,用户设置的相片)和在背景图像上的图标。图标可以与应用或内容(例如,相片文件、视频文件、音频文件、文档和消息)关联。当接收到用于选择图标之一的用户输入时,控制单元170可以执行与所选图标相关联的应用,并控制显示单元140显示相应的执行图像。可以分别将具有锁定图像的屏幕、具有主页图像的屏幕以及具有应用执行图像的屏幕称作锁定屏幕、主页屏幕和执行屏幕。
存储单元150可以在控制单元170的控制下,存储由第一电子设备100产生的或通过通信单元110从外部接收到的数据。存储单元150可以包括缓冲器作为临时数据存储装置。
存储单元150可以存储用于配置第一电子设备100的使用环境的各种设置信息(例如,屏幕亮度、触摸时的振动、以及自动屏幕旋转)。当操作第一电子设备100时,控制单元170可以参考设置信息。
存储单元150可以存储用于操作第一电子设备100所需的各种程序,诸如,引导程序、一个或更多个操作***以及一个或更多个应用。具体地,存储单元150可以存储数据管理器151、播放器152、图库app153、信使154、联系人app155、云服务app156和动作管理器157。这些程序151到157可以安装在第二电子设备200中,可以由第二电子设备200的处理器来执行。
数据管理器151可以包括配置为管理(例如,编辑、删除或保存)在存储单元150中存储的数据的程序。具体地,数据管理器151可以配置为根据诸如类型、存储时间或位置(例如,GPS信息)的属性信息,以文件夹为基础来管理各种数据。数据管理器151可以配置为管理从外部设备(诸如,第二电子设备200)接收到的数据(例如,音频、视频和图像文件)。
播放器152可以包括配置为回放在存储单元150中存储的数据的程序。播放器152可以实时回放从外部接收的数据。播放器152可以包括音乐播放器152a和视频播放器152b。
图库app153可以包括配置为管理在存储单元150中存储的相片、视频和图像的程序。信使154可以是配置为向外部设备发送和从外部设备接收消息的程序。例如,信使154可以包括即时信使154a和SMS/MMS信使154b。联系人app 155可以是配置为管理在存储单元150中存储的联系人(例如,电子邮件地址、电话号码、家庭地址和办公地址)的程序。云服务app 156可以包括配置为提供云服务的程序,其中云服务使用户能够将用户内容(例如,电影文件、相片文件、音乐文件、文档和联系人)存储在服务器中并将所存储的用户内容下载到终端中以便使用。
动作管理器157可以包括配置为向第二电子设备200发送第一电子设备100的数据的程序。在某些方面,动作管理器157可以配置为连接到第二电子设备200并在连接之后向第二电子设备200发送数据。动作管理器157可以接收来自输入单元120或来自第二电子设备200的输入信号,确定输入信号被施加到的app,将输入信号施加到所确定的app(例如,在屏幕最上层显示数据的app),从所述app接收响应于输入信号的更新后的数据,并将更新后的数据传送到第二电子设备200。
在某些方面,动作管理器157可以配置为根据从第二电子设备200接收到的数据的属性信息,来管理第一电子设备100的操作。动作管理器157可以向第二电子设备200发送通过执行数据管理器151产生的文件浏览器图像,从第二电子设备200接收数据,并控制数据管理器151将接收到的数据存储在用户指定的文件夹中。此外,动作管理器157可以从第二电子设备200接收回放信息,并控制播放器152根据回放信息播放数据。
在某些方面,动作管理器157可以向第二电子设备200发送通过执行图库app153产生的图库图像,从第二电子设备200接收诸如相片文件或视频文件的媒体文件,并控制图库app153存储接收到的媒体文件。
在某些方面,动作管理器157可以向第二电子设备200发送通过执行信使154产生的信使图像,从第二电子设备200接收数据,并控制信使154将接收到的数据附着至消息。
在某些方面,动作管理器157可以配置为在第二电子设备200的屏幕上显示正在第一电子设备100的屏幕上显示的图像(这种功能称作镜像)。这里,图像可以包含与数据通信相关的app图标(例如,电子邮件图标、信使图标或联系人图标)。镜像到第二电子设备200的图像可以包含与云服务相关的app图标。
在某些方面,动作管理器157可以从第二电子设备200接收与用户所选的app图标相关的数据和信息;如果app图标信息与数据通信相关,则控制相应app(例如,信使)显示窗口以便选择数据的接收方;且如果app图标信息与云服务相关,则控制云服务app向云服务器发送所述数据。
存储单元150可以包括主存储器和辅存储器。主存储器可以包括随机访问存储器(RAM)。辅存储器可以包括盘、RAM、只读存储器(ROM)和闪存。主存储器可以存储从辅存储器加载的多种程序(例如,引导程序、操作***以及应用)。当向控制单元170提供电池电力时,首先将引导程序加载到主存储器。引导程序将操作***加载到主存储器。操作***可以将例如动作管理器157加载到主存储器。控制单元170(例如,应用处理器(AP))可以访问主存储器,对程序指令(例程)进行解码,并根据解码结果执行功能。也就是说,可以将各种程序加载到主存储器并作为进程执行。
连接单元160配置为与第二电子设备200建立连接。例如,智能TV、智能监控器或平板计算机可以连接到连接单元160。连接单元160可以包括用于检测与第二电子设备200的连接的电路。例如,当第二电子设备200连接到连接单元160时,上拉电压可以改变。该电路向控制单元170通知上拉电压改变。因此,控制单元170可以知晓第二电子设备200与连接单元160相连。
连接单元160可以从控制单元170接收数据,并将该数据传送到第二电子设备200,可以从第二电子设备200接收输入信号,并将该输入信号传送到控制单元170。
连接单元160可以支持有线连接和无线连接。例如,连接单元160可以包括有线通信模块,诸如,USB接口或UART接口。连接单元160还可以包括针对无线接口的短程通信模块,诸如,蓝牙模块、ZigBee模块、UWB模块、RFID模块、红外通信模块、或WAP模块。连接单元160可以包括多个端口以及多个短程通信模块,以便链接一个或更多个外部设备。
控制单元170控制第一电子设备100的整体操作,控制其内部组件之间的信号交换,执行数据处理,并控制从电池向内部组件提供电力。
控制单元170可以支持与第二电子设备200的连接、数据镜像、和应用控制。为此,控制单元170可以包括应用处理器(AP)171。
AP 171可以执行在存储单元150中存储的各种程序。具体地,AP 171可以执行动作管理器157。还可以通过除AP 171之外的处理器(诸如,CPU)来执行动作管理器157。
AP 171可以响应于由输入单元120产生的事件(例如,与对显示在屏幕上的app图标的点击相对应的触摸事件),来执行至少一个app。AP 171可以响应于根据设置信息产生的事件,来执行至少一个app。AP 171可以响应于通过通信单元110或连接单元160从外部接收到的事件,执行至少一个app。当相应app处于去激活状态时,AP 171可以首先将该app从辅存储器加载到主存储器,并执行该app。当相应app处于激活状态时,AP 171可以将该app置于执行状态下(状态改变)。
AP 171可以控制显示单元140显示在app执行期间产生的所有数据。备选地,AP171可以控制显示单元140显示在app执行期间产生的一部分数据,并在后台处理其余部分的数据。例如,AP 171可以将其余部分的数据加载到帧缓冲器,并控制显示单元140不显示其余部分的数据。
当从输入单元120或第二电子设备200接收到输入信号时,AP 171可以向app传送该输入信号。这里,可以将该输入信号传送到在屏幕的最上层显示数据的app。例如,当在最上层显示网页并在次上层显示调度信息时,可以将输入信号传送到网页浏览器。
当检测到针对显示模式改变的事件时,AP 171可以改变数据的显示模式。这里,事件可以是由输入单元120产生的事件、通过通信单元110从外部接收到的事件、或由传感器单元(例如,加速度传感器)产生的事件。备选地,AP 171可以忽略这种事件。例如,当将app的显示模式默认地设置为风景模式或肖像模式时,可以保持数据的默认显示模式,而不管针对显示模式改变的事件。
AP 171可以向同一app传送来自输入单元120的输入信号和来自第二电子设备200的输入信号。AP 171可以根据时间信息(例如,输入信号的产生时间或接收时间),依次地向同一app传送输入信号。
AP 171可以收集在app执行期间产生的数据。例如,当被执行的app将数据写入主存储器时,AP 171可以收集写入数据。这里,AP 171可以收集所有写入数据或可以收集写入数据的一部分。例如,AP 171可以仅收集要去往第二电子设备200的部分数据。AP 171可以仅收集数据的更新部分。
AP 171可以向各个单独激活的app分配传输缓冲器。当执行被激活的app从而产生数据时,AP 171可以将该数据写入相应传输缓冲器。可以通过连接单元160向第二电子设备200发送向传输缓冲器写入的数据。这里,可以向第二电子设备200发送数据连同标识信息(例如,app名称)。
当激活新的app时,AP 171可以向新的app分配传输缓冲器。当终止被激活的app时,AP 171可以解除向被终止的app分配的传输缓冲器。
AP 171可以向第二电子设备200发送所收集的数据。为此,AP 171可以控制连接单元160和第二电子设备200之间的链接。例如,AP 171可以基于Wi-Fi、USB、UART、蓝牙等,建立各种通信信道中的至少一个。然后,AP 171可以通过USB通信信道向第二电子设备200发送第一部分数据,并通过蓝牙通信信道向第二电子设备200发送第二部分数据。AP 171可以通过Wi-Fi通信信道或UART通信信道向第二电子设备200发送其余部分的数据。
AP 171可以向第二电子设备200发送通过执行数据管理器151产生的文件浏览器图像,从第二电子设备200接收数据,并控制数据管理器151将接收到的数据存储在用户指定的文件夹中。
AP 171可以从第二电子设备200接收回放信息,并控制播放器152根据回放信息来回放数据。
AP 171可以向第二电子设备200发送通过执行图库app153产生的图库图像,从第二电子设备200接收诸如相片文件或视频文件的媒体文件,并控制图库app153存储接收到的媒体文件。
AP 171可以向第二电子设备200发送通过执行信使154产生的信使图像,从第二电子设备200接收数据,并控制信使154将接收到的数据附着至消息。
如果用户从镜像到第二电子设备200的图像选择的app图标信息与数据通信相关,则AP 171可以控制相应app(例如,信使)显示用于选择数据的接收方的窗口。如果所选的app图标信息与云服务相关,则AP 171可以控制云服务app向云服务器发送数据。
除了AP 171,控制单元170还可以包括各种处理器。例如,控制单元170可以包括至少一个中央处理单元(CPU)。控制单元170可以包括图形处理单元(GPU)。当第一电子设备100配备移动通信模块(例如,3G、3.5G或4G移动通信模块)时,控制单元170还可以包括通信处理器(CP)。上述处理器中的每一个可以形成为具有两个或更多个独立核(例如,4核)的单个集成电路封装。例如,AP 171可以是集成的多核处理器。上述处理器(例如,应用处理器和ISP)可以形成为单个芯片(片上***(SoC))。上述处理器(例如,应用处理器和ISP)可以形成为多层封装。
图3是根据本公开多个方面的第二电子设备200的示例的框图。如图所示,第二电子设备200可以包括设备输入单元220、设备显示单元240、设备存储单元250、设备控制单元270和设备连接单元260。
设备输入单元220可以产生输入信号。设备输入单元220可以包括各种器件,诸如,键盘、鼠标、语音输入设备(例如,麦克风)和电子笔。设备输入单元220还可以包括触摸屏。
设备输入单元220可以产生输入信号以便操作第一电子设备100的app。例如,设备输入单元220可以产生用于选择与在第一电子设备100上运行的至少一个app相关联的app显示区域的输入信号、用于操作与所选app显示区域相关联的app的输入信号、以及用于根据用户输入来改变与所选app显示区域相关联的app的显示模式的输入信号。设备输入单元220可以产生用于针对在第一电子设备100上可执行的具体应用进行激活请求的输入信号、用于调整app显示区域的尺寸和/或位置的输入信号、用于终止app的执行的输入信号、以及用于根据用户输入去激活app的输入信号。可以在设备控制单元270的控制下将由设备输入单元220产生的输入信号发送给第一电子设备100。
设备显示单元240可以显示第二电子设备200的操作所需的各种信息,诸如,图标和菜单。设备显示单元240可以在app显示区域中显示第一电子设备100提供的数据。例如,app显示区域可以是设备显示单元240的屏幕的一部分或整体。当app显示区域是屏幕的一部分时,可以根据输入信号来改变其位置和尺寸。作为另一示例,输入信号可以是通过设备输入单元220产生的输入信号,或从第一电子设备100接收的输入信号。
存储单元250可以存储引导程序、至少一个操作***和应用。设备存储单元250可以存储由第二电子设备200产生的或通过设备连接单元260从外部设备接收到的数据。具体地,设备存储单元250可以包括数据管理器251和连接管理器252。这些程序251到252可以安装在第一电子设备100中,并可以由第一电子设备100的处理器来执行。
数据管理器251可以包括配置为管理在存储单元250中存储的各种数据的程序。具体地,数据管理器251可以配置为根据诸如类型、存储时间或位置(例如,GPS信息)的属性信息,来管理各种数据(例如,以每个文件夹为基础)。
连接管理器252可以包括配置为输出从第一电子设备100接收到的数据的程序。具体地,连接管理器252可以连接到第一电子设备100,在app显示区域中显示从第一电子设备100接收到的数据,根据输入信号调整app显示区域的位置和尺寸,并向第一电子设备100发送来自设备输入单元220的输入信号。
连接管理器252可以配置为向第一电子设备100的相应app传送数据。具体地,连接管理器252可以向第一电子设备100的数据管理器151发送数据要存储到的文件夹的指示。连接管理器252可以向第一电子设备100的播放器152发送关于在第二电子设备200上播放的数据的回放信息(例如,回放时间点以便查看恢复)。连接管理器252可以向第一电子设备100的图库app 153发送相片或视频剪辑。连接管理器252可以向第一电子设备100的信使154发送数据。连接管理器252可以向第一电子设备100的云服务app 156发送数据。
设备存储单元250可以包括主存储器和辅存储器。主存储器可以存储从辅存储器加载的多种程序(例如,引导程序、操作***以及应用)。设备控制单元270(例如,应用处理器(AP))可以访问主存储器,对程序指令(例程)进行解码、并根据解码结果执行功能。
设备连接单元260可以配置为与第一电子设备100建立连接。当根据第一电子设备100的连接而改变上拉电压时,设备连接单元260可以向设备控制单元270通知上拉电压改变。因此,设备控制单元270可以知晓第一电子设备100与设备连接单元260相连。
设备连接单元260可以包括有线通信模块,诸如,USB接口或UART接口。设备连接单元260还可以包括针对无线接口的短程通信模块,诸如,蓝牙模块、ZigBee模块、UWB模块、RFID模块、红外通信模块、或WAP模块。设备连接单元260可以包括多个端口以及多个短程通信模块,以便链接一个或更多个外部设备。
设备控制单元270可以与控制单元170具有相同配置(例如,CPU、GPU和AP)。设备控制单元270可以执行数据管理器251,使得数据管理器251可以执行上述操作。设备控制单元270可以执行连接管理器252,使得连接管理器252可以执行上述操作。即,可以通过设备控制单元270的应用处理器来执行数据管理器251和连接管理器252。还可以通过另一处理器来执行数据管理器251和连接管理器252。
当通过设备连接单元270链接第一电子设备100时,设备控制单元270可以执行用于与第一电子设备100建立连接的信号处理。然后,设备控制单元270可以经由通信单元110或连接单元160从第一电子设备100接收数据。设备控制单元270可以以传输缓冲器为基础或根据标识信息,接收多个数据。
设备控制单元270可以检查接收数据以确定接收数据要传送到的app。为此,设备控制单元270可以检查关于用于接收该数据的缓冲器的信息,或检查数据的标识信息。设备控制单元270可以将接收数据存储在向设备显示单元240分配的存储器(例如,帧缓冲器)中。这里,设备控制单元270可以将数据存储在与app显示区域相对应的帧缓冲器的块中。设备控制单元270可以控制设备显示单元240显示存储在帧缓冲器中的app显示区域数据。
设备控制单元270可以从设备输入单元220接收输入信号,并通过设备连接单元260向第一电子设备100发送输入信号。这里,设备控制单元270可以向第一电子设备100发送输入信号连同关于输入信号的类型的信息和关于输入信号要施加到的app的ID的信息。例如,设备控制单元270可以收集用于选择app显示区域的输入信号、用于操作具体app的输入信号、以及用于改变app显示模式的输入信号,并向第一电子设备100发送所收集的输入信号。用于操作具体app的输入信号可以与针对文本输入的输入信号、用于选择app显示区域上的具体链接的输入信号、针对图像输入的输入信号或语音信号相对应。为了发送语音信号,第二电子设备200还可以包括用于收集语音信号的麦克风。
图4是根据本公开多个方面的用于发送数据的过程的示例的序列图。图5是描述根据本公开多个方面的结合图4讨论的过程的示例的示意图。
参考图4,在操作410,第一电子设备100和第二电子设备200相互连接。在连接过程期间,可在第一电子设备100和第二电子设备200之间建立有线的或无线的通信信道。第一电子设备100和第二电子设备200可以共享设备信息。例如,当第一电子设备100是智能电话时,第一电子设备100可以向第二电子设备200发送智能电话指示、性能信息、关于已安装应用的信息等。当第二电子设备200是膝上型计算机时,第二电子设备200可以向第一电子设备100发送笔记本指示、性能信息、关于已安装应用的信息等。在一些实现方案中,可以仅在两个设备100和200第一次连接时执行用于共享设备信息的过程。
在相互连接之后,在操作420,第一电子设备100响应于针对数据管理器151的执行请求,执行数据管理器151。备选地,可以在操作410之后,发起数据管理器151的执行。第一电子设备100可以显示由数据管理器151产生的执行结果(例如,作为执行数据管理器151的结果而产生的数据),例如,包括文件夹列表的文件浏览器图像510(参见图5)。如这里所使用,术语“图像”可以表示任何内容表示,其中当处理和/或呈现内容时引起将该内容展示在设备的显示单元上。
在显示文件浏览器图像510期间,第一电子设备100可以检测针对外部输出的用户请求(例如,用触摸物在屏幕上的轻拂)。当检测到针对外部输出的请求时,在操作430,第一电子设备100向第二电子设备200发送与文件浏览器图像510相对应的图像520。在两个设备100和200相连的状态下,相应图像520可以发送到第二电子设备200,而无需对外部输出的明确请求。备选地,在两个设备100和200彼此相连的状态下,文件浏览器图像510可以不显示在第一电子设备100的屏幕上,可以仅将相应图像520显示在第二电子设备200的屏幕上。如图所示,图像520可以与显示在第一电子设备100的屏幕上的文件浏览器图像510相同。然而,其尺寸可以是不同的。例如,表示第二电子设备200中的文件夹的视觉对象(例如,图标)可以显示为大于第一电子设备100中显示的视觉对象。此外,所显示的信息的数量可以是不同的。例如,在第二电子设备200中显示的文件夹图标的数目可以大于第一电子设备100中显示的文件夹图标的数目。附加地或备选地,在一些实现方案中,图像520可以是镜像图像,这样它还可以包括电子设备100的边框(或另一组件)的表示。
当接收到文件浏览器图像520时,在操作440,第二电子设备200显示接收到的文件浏览器图像520。这里,显示在第二电子设备200屏幕上的文件浏览器图像520可以包括多个文件夹图标。在操作450,第二电子设备200检测数据传输请求。例如,可以通过拖动释放530来产生数据传输请求。具体地,用户可以用触摸物(例如,手指或手写笔)来触摸图标540,在保持触摸的同时向文件浏览器图像520移动图标540,并在文件浏览器图像520的具体文件夹图标处释放触摸。然后,第二电子设备200可以将这种触摸手势看作与被触摸图标540相关的数据传输请求。
在操作460,第二电子设备200选择第一电子设备100的目标文件夹,其中要将数据存储在所述目标文件夹中。例如,可以将释放触摸的位置处的文件夹确定为目标文件夹。当触摸释放时,在操作470,第二电子设备200向第一电子设备100发送关于所选文件夹的数据和信息(例如,文件浏览器图像510上的位置信息)。第二电子设备200可以在触摸释放之后的预设时间(例如,3秒)发送数据和所选文件夹信息。第二电子设备200可以在触摸释放时显示弹出窗口,并当用户选择弹出窗口的发送按钮时,发送数据和所选文件夹。备选地,用作表示关联app的属性信息的文件夹信息可以被发送作为一部分数据(包括在被发送数据中的文件夹信息)。
第一电子设备100可以从第二电子设备200接收数据和文件夹信息。使用接收到的app属性信息,第一电子设备100可以执行用于处理所述数据的app。在操作480,第一电子设备100根据接收到的文件夹信息确定要存储数据的文件夹,并将接收到的数据存储在所确定的文件夹中。
图6是根据本公开多个方面的用于播放数据的过程的示例的序列图。图7是描述根据本公开多个方面的结合图6讨论的过程的示例的示意图。
参考图6,在操作610,第一电子设备100和第二电子设备200相互连接。因此,对于在第一电子设备100的屏幕上显示的第一图像710,可以将与第一图像710相对应的第二图像720发送给第二电子设备,并可以将其显示在第二电子设备200的屏幕上。这里,第一电子设备100的屏幕上的第一图像710可以被替换为另一图像。第二图像720可以与第一图像710相同,除了尺寸之外。显示在第二图像720中的信息量可以大于显示在第一图像710中的信息量。例如,当用户信息包括多个视图(例如,页面)时,第二图像720可以包括比第一图像710更多数目的视图。显示在第二图像720中的信息量也可以小于显示在第一图像710中的信息量。附加地或备选地,在一些实现方案中,图像720可以是镜像图像,这样它还可以包括电子设备100的边框(或另一组件)的表示。
在操作620,第二电子设备200执行数据回放。例如,参见图7,可以回放视频730。在操作630,第二电子设备200检测针对回放信息的传输请求。例如,可以通过拖动释放740来引起针对回放信息的传输请求。具体地,用户可以用触摸物触摸视频屏幕730,在保持触摸的同时向第二图像720移动触摸物,并在第二图像720处释放触摸。然后,第二电子设备200可以将这种触摸手势看作针对回放信息的传输请求。
响应于针对回放信息的传输请求,在操作640,第二电子设备200收集与视频屏幕730相关的回放信息,并向第一电子设备100发送所收集的回放信息。这里,回放信息可以包括回放时间点(例如,回放进度的指示、上次播放的帧的指示等)、题目、类型、唯一资源定位符(URL)、域名、IP地址等。回放信息还可以包括相应视频文件。
第一电子设备100可以从第二电子设备200接收回放信息。第一电子设备100可以标识与接收到的数据相关的app,并相应地执行数据处理。在操作650,第一电子设备100从第二电子设备200接收回放信息,确定回放信息与播放器152相关联,并与播放器152相关联地存储回放信息。
在操作660,第一电子设备100执行播放器152。可以在接收到回放信息时自动执行播放器152,或根据用户请求执行播放器152。在操作670,第一电子设备100根据回放信息来执行数据回放。例如,第一电子设备100可以使用IP地址等连接到数据提供服务器,下载数据并实时播放所下载的数据。当与回放信息相关的数据存储在第一电子设备100中时,第一电子设备100可以从存储器读取数据并播放该数据。第一电子设备100可以在特定时间点发起数据回放。也就是说,支持针对用户的继续观看或继续聆听。
图8是根据本发明多个方面的用于存储数据的过程的示例的序列图。图9是描述根据本公开多个方面的结合图8讨论的过程的示例的示意图。
参考图8,在操作810,第一电子设备100和第二电子设备200相互连接。在操作820,第一电子设备100执行图库app 153。图库app153也可以在操作810之前被发起。第一电子设备100可以显示图库app 153的执行结果,例如,图库图像910(参考图9)。
第一电子设备100可以检测针对外部输出的用户请求。当检测到针对外部输出的请求时,在操作830,第一电子设备100向第二电子设备200发送与图库图像910相对应的图像920。在两个设备100和200相连的状态下,相应图像920可以发送到第二电子设备200,而无需对外部输出的明确请求(例如,自动地)。备选地,在两个设备100和200相连的状态下,图库图像910可以不显示在第一电子设备100的屏幕上,可以仅将相应图像920显示在第二电子设备200的屏幕上。如图所示,图像920可以与显示在第一电子设备100的屏幕上的图库图像910相同。然而,其尺寸可以是不同的。例如,第二电子设备200中的缩略图可以显示为大于第一电子设备100的缩略图。所显示的信息的数量可以是不同的。例如,在第二电子设备200中显示的缩略图的数目可以大于第一电子设备100中显示的缩略图的数目。附加地或备选地,在一些实现方案中,图像920可以是镜像图像,这样它还可以包括电子设备100的边框(或另一组件)的表示。
当接收到图库图像920时,在操作840,第二电子设备200显示接收到的图库图像920。这里,显示在第二电子设备200屏幕上的图库图像920可以包括多个缩略图。
在操作850,第二电子设备200检测针对相片或视频剪辑的传输请求。例如,可以通过拖动释放930来引起针对相片或视频剪辑的传输请求。具体地,用户可以用触摸物(例如,手指或手写笔)来触摸与相片或视频剪辑相对应的图标940,在保持触摸的同时向图库图像920移动图标940,并在图库图像920处释放触摸。响应于这种触摸手势,在操作860,第二电子设备200向第一电子设备100发送与被触摸的图标940相关联的相片或视频剪辑。
在操作870,第一电子设备100从第二电子设备200接收相片或视频剪辑,确定接收到的数据与图库app 153相关,并将所述相片或视频剪辑存储在向图库app153分配的存储区域(例如,文件夹中)中。
图10是根据本发明多个方面的用于传输数据的过程的示例的序列图。图11是根据本公开多个方面的结合图10讨论的过程的示意图。
参考图10,在操作1010,第一电子设备100和第二电子设备200相连。在操作1020,第一电子设备100执行信使154。信使154也可以在操作1010之前被发起。第一电子设备100可以显示信使154的执行结果,例如,信使图像1110。
在操作1030,第一电子设备100向第二电子设备200发送与信使图像1110相对应的图像1120。例如,可以根据针对外部输出的用户请求,发送相应图像1120。还可以在两个设备100和200相连之后自动发送相应图像1120。
在两个设备100和200相连的状态下,信使图像1110可以不显示在第一电子设备100的屏幕上,可以仅将相应图像1120显示在第二电子设备200的屏幕上。如图所示,图像1120可以与显示在第一电子设备100的屏幕上的信使图像1110相同。然而,其尺寸可以是不同的。例如,第二电子设备200中的消息字体可以显示为大于第一电子设备100中的消息字体。所显示的信息的数量可以是不同的。例如,在第二电子设备200中显示的消息的数目可以大于第一电子设备100中显示的消息的数目。当接收到信使图像1120时,在操作1040,第二电子设备200显示接收到的信使图像1120。附加地或备选地,在一些实现方案中,图像1120可以是镜像图像,这样它还可以包括电子设备100的边框(或另一组件)的表示。
在操作1050,第二电子设备200检测数据传输请求。例如,可以通过拖动释放1130来引起数据传输请求。具体地,用户可以用触摸物(例如,手指或手写笔)来触摸代表特定文件的图标1140,在保持触摸的同时向信使图像1120移动图标1140,并在信使图像1120处释放触摸。响应于这种触摸手势,在操作1060,第二电子设备200向第一电子设备100发送与被触摸的图标1140相关联的数据。向第一电子设备100发送的数据可以包括属性信息(例如,“与信使图像1120相关的信息”)。
当从第二电子设备200接收到数据时,第一电子设备100可以识别哪个应用与显示在第二电子设备200的屏幕上的图像相关,并基于所识别的应用来处理所述数据。例如,当第二电子设备200的屏幕上的显示图像与信使图像1110相对应时,第一电子设备100识别相关应用是信使154。因此,在操作1070,第一电子设备100将接收到的数据附着至要发送的消息。在操作1080,第一电子设备100向指定的消息接收方发送将该数据包括作为附件的消息。
图12是描述根据本发明多个方面的用于传输数据的过程的另一示例的序列图。图13是描述根据本公开多个方面的结合图12讨论的过程的示例的示意图。
参考图12,在操作1210,第一电子设备100和第二电子设备200相互连接。
在操作1220,第一电子设备100向第二电子设备200发送与消息传输相关的app图标。具体地,第一电子设备100可以在屏幕上显示主页图像1310(参见图13)。主页图像1310可以包括与数据通信相关的app图标。这里,与消息传输相关的app可以是信使154或联系人app 155。在将两个设备100和200相连之后,第一电子设备100可以自动地向第二电子设备200发送与主页图像1310相对应的图像1320。这里,相应图像1320可以与显示在第一电子设备100的屏幕上的主页图像1310相同。然而,其尺寸可以是不同的。例如,第二电子设备200中的图标可以显示为大于第一电子设备100的图标。所显示的信息的数量可以是不同的。例如,第二电子设备200可以显示更多图标。附加地或备选地,在一些实现方案中,图像1320可以是镜像图像,这样它还可以包括电子设备100的边框(或另一组件)的表示。可以根据针对外部输出的用户请求,发送相应图像1320。
当从第一电子设备100接收到与消息传输相关的app图标时,在操作1230,第二电子设备200在屏幕上显示接收到的与消息传输相关的app图标。例如,相应图像1320可以显示在第二电子设备200的屏幕上。
在操作1240,第二电子设备200检测针对数据传输的请求以及对图标的选择。例如,可以通过拖动释放1330来引起数据传输请求和图标选择。具体地,用户可以用触摸物触摸图标1340,在保持触摸的同时向图像1320移动触摸物,并在与消息传输相关的app图标处释放触摸。响应于该触摸手势,在操作1250,第二电子设备200向第一电子设备100发送与被触摸图标1340关联的数据以及用于标识所选app图标的信息(例如,图标掉落在图像1320上的位置以及app图标的ID)。
第一电子设备100可以接收数据和app图标信息。第一电子设备100可以根据app属性信息(例如,用于标识所选app图标的信息)来处理所述数据。在操作1260,第一电子设备100执行由app属性信息指示的app(例如,信使154)。在操作1270,第一电子设备100显示接收方选择窗口。然后,用户可以在接收方选择窗口指定接收方。在操作1280,第一电子设备100向指定的接收方的设备传输将该数据包括作为附件的消息。
图14是描述根据本发明多个方面的用于传输数据的过程的另一示例的序列图。
参考图14,在操作1410,第一电子设备100和第二电子设备200相连。
在操作1420,第一电子设备100向第二电子设备200发送与云服务相关的app图标。具体地,第一电子设备100可以在屏幕上显示主页图像。主页图像可以包括与云服务app156关联的app图标。在两个设备100和200相连之后,第一电子设备100可以自动地向第二电子设备200发送与主页图像相对应的图像。
当从第一电子设备100接收到与云服务相关的app图标时,在操作1430,第二电子设备200在屏幕上显示接收到的与云服务相关的app图标。
在操作1440,第二电子设备200检测针对数据传输的请求以及对图标的选择。这里如上所述,可以通过拖动释放来引起数据传输请求和图标选择。响应于这种触摸手势,在操作1450,第二电子设备200向第一电子设备100发送数据以及指示所选app图标的信息。
在操作1460,第一电子设备100执行由app图标信息指示的云服务app 156。如果云服务app 156已被发起,则可以跳过操作1460。如果需要登录到云服务器,则第一电子设备100可以在屏幕上显示登录窗口。
在操作1470,第一电子设备100向所登录的云服务器发送从第二电子设备200接收到的数据。
图15是描述根据本发明多个方面的用于传输数据的过程的另一示例的序列图。图16A、16B和16C是描述根据本公开多个方面的结合图15讨论的过程的示例的示意图。
参考图15,在操作1510,第一电子设备100和第二电子设备200相连。
在相互连接之后,在操作1515,第一电子设备100检测到从输入单元120产生的app执行请求,并执行所请求的app。还可以在操作1510之前发起该app的执行。第一电子设备100可以显示app的执行结果,例如,执行图像1610(参考图16A)。
在显示执行图像1610期间,第一电子设备100可以检测针对外部输出的用户请求(例如,用触摸物在屏幕上的轻拂)。当检测到针对外部输出的请求时,在操作1520,第一电子设备100向第二电子设备200发送与执行图像1610相对应的图像1621(镜像图像)。在两个设备100和200相连的状态下,镜像图像1621可以发送到第二电子设备200,而无需对外部输出的明确请求。备选地,在两个设备100和200相连的状态下,执行图像1610可以不显示在第一电子设备100的屏幕上,可以仅将镜像图像1621显示在第二电子设备200的屏幕上。如图所示,镜像图像1621可以与显示在第一电子设备100的屏幕上的执行图像1610相同。然而,其尺寸可以是不同的。例如,第二电子设备200中的文件图标可以显示为大于第一电子设备100的文件图标。所显示的信息的数量可以是不同的。例如,在第二电子设备200中显示的文件图标的数目可以大于第一电子设备100中显示的文件图标的数目。
当从第一电子设备100接收到镜像图像1621时,在操作1525,第二电子设备200在镜像屏幕1620上显示接收到的镜像图像1621。这里,镜像图像1621可以是图标、app图标、超链接、文本、图像或指示内容(例如,相片文件、视频文件、音频文件、文档或消息)的缩略图。如图16A所示,镜像屏幕1620可以是第二电子设备200的屏幕的一部分。镜像屏幕1620还可以是第二电子设备200的整个屏幕。镜像屏幕1620可以包括显示镜像图像1621的区域以及显示边框图像1622的区域,如图16A所示。边框图像1622可以是从第一电子设备100接收到的图像或由第二电子设备200产生的图像。镜像屏幕1620也可以只包括显示镜像图像1621的区域(即,不显示边框图像1622)。第二电子设备200可以响应于用户输入,重新调整镜像屏幕1620的大小或改变其位置(即,移动)。这里,用户输入可以是由设备输入设备220产生并传送到设备控制单元270的输入,或通过设备连接单元260从第一电子设备100接收到的输入。
在操作1530,第二电子设备200检测在镜像屏幕1620上的用户输入。当检测到镜像屏幕1620(具体地,显示镜像图像1621的区域)上的用户输入时,在操作1535,第二电子设备200向第一电子设备100发送用户输入消息。这里,用户输入消息可以包括关于长按压事件和关联位置的信息(例如,x_2和y_2坐标)。例如,参考图16A,用户可以将光标放置在文件图标1621a上,并将鼠标左侧按钮按压延长的时间。然后,第二电子设备200可以产生长按压事件,并向第一电子设备100发送含有关于长按压事件和关联位置(用户所选的文件图标1621a的位置信息)的信息在内的用户输入消息。
第一电子设备100可以从第二电子设备200接收用户输入消息,并执行与用户输入相对应的功能。例如,当在用户输入消息中含有长按压事件时,第一电子设备100可以识别与长按压事件相对应的显示对象。也就是说,第一电子设备100将从第二电子设备200的显示单元的坐标***接收到的位置信息转换为第一电子设备100的屏幕的坐标***,找到与转换后的位置信息(例如,x_1和y_1坐标)相对应的显示对象,并确定显示对象是否指示可拷贝的文件。如果显示对象指示可拷贝的文件(例如,相片、视频剪辑、歌曲或文档),则在操作1540,第一电子设备100向第二电子设备200发送关于该文件的信息。这里,文件信息可以包括文件的题目、类型和尺寸,使得用户可以识别该文件。
当从第一电子设备100接收到文件信息时,在操作1545,第二电子设备200在镜像屏幕1620上显示该文件信息。例如,参考图16B,第二电子设备200可以在光标1630附近显示文件信息1640。当用户用光标1630对文件图标1621a键入长按压时,执行上述操作,并相应地将文件信息1640显示在光标1630附近。
在操作1550,第二电子设备200检测请求文件拷贝的用户输入。这里,可以通过拖动释放来引起用户输入。例如,参考图16B,用户可以在按压鼠标左侧按钮的同时将光标1630移动到镜像屏幕1620的外部,并释放该鼠标左侧按钮。然后,在操作1555,第二电子设备200向第一电子设备100发送文件请求消息。同时,第二电子设备200可以根据光标1630的移动来移动文件信息1640。
响应于来自第二电子设备200的文件请求消息,在操作1560,第一电子设备100向第二电子设备200发送请求的文件。在操作1565,第二电子设备200在屏幕(即,在镜像屏幕1620外部的区域)上显示文件图标1650(参考图16C),并将接收到的文件存储在存储器中。
本公开的上述方面可以以硬件、固件或经由可以在记录介质(例如,CD ROM、数字万能盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中存储的软件或计算机代码、通过远程记录介质或非暂时性机器可读介质上原始存储的或要在本地记录介质上存储的指令的执行来实现,使得可以使用通用计算机或特殊处理器经由记录介质上存储的这种软件或者以可编程或专用硬件(例如,ASIC或FPGA)来呈现本文描述的方法。本领域技术人员应理解,计算机、处理器、微处理器控制器或可编程硬件包括存储组件,例如RAM、ROM、闪存等,其可以存储或接收软件或计算机代码,这些软件或计算机代码在被计算机、处理器或硬件访问和执行时实现这里所述的处理方法。此外,将认识到,当通用计算机访问用于执行在此所示处理的代码时,所述代码的执行将该通用计算机转化为用于执行在此所示处理的专用计算机。附图中提供的功能和步骤的任一个可以以硬件、软件或者两者的结合来实现,并且可以在计算机的可编程指令内整体地或者部分地执行。除非使用短语″用于...的装置″来明确限定元件,否则不应按照35U.S.C.112第六段的规定来理解权利要求中的元件。
除非明确限制,否则这里所述的示例并非互相排斥的,而是可以以各种组合的方式实现,以便实现独特优势。由于可以在不脱离所公开主题(由权利要求限定)的前提下使用上述特征以及上述特征的其他变型和组合,应将以上对实施例的描述认为是示例性地,而不是为了限制由权利要求限定的本发明。还应认识到,不应将提供本发明的示例(方面)(以及从句短语“诸如”、“包括”、“可以”、“例如”等)理解是为了将本发明限制为特定示例,相反,所述示例仅是为了说明多种可能实施例的一种实施例。
本领域技术人员应理解,这里所述的方法和装置的多种改变和修改将仍在由所附权利要求及其等同物限定的本公开的精神和范围内。

Claims (15)

1.一种用于操作电子设备的方法,所述方法包括:
从电子设备向与所述电子设备相连的外部设备发送第一数据,所述第一数据用于在外部设备上显示与电子设备上显示的第一内容对应的图形界面;
从外部设备接收第二数据和关联的属性信息;以及
通过执行与所述属性信息相关的应用来处理所述第二数据;
其中所述图形界面包括呈现第一内容的第一部分和呈现第二内容的第二部分,第二内容与第一内容相关联并且在电子设备上隐藏不可见。
2.根据权利要求1所述的方法,其中,处理所述第二数据包括:
基于所述属性信息,识别用于存储所述第二数据的文件夹;以及
将所述第二数据存储在所识别的文件夹中。
3.根据权利要求1所述的方法,还包括:基于所述属性信息回放所述第二数据。
4.根据权利要求3所述的方法,其中在由所述属性信息标识的帧处开始对所述第二数据的回放。
5.根据权利要求1所述的方法,其中处理所述第二数据包括:当执行图库应用时,将所述第二数据存储在图库应用的存储区域中。
6.根据权利要求1所述的方法,其中处理所述第二数据包括:基于包括针对消息传输的请求在内的所述属性信息,将所述第二数据附着至要发送的消息。
7.根据权利要求1所述的方法,其中,处理所述第二数据包括:
基于包括针对消息传输的请求在内的所述属性信息,显示用于选择数据接收方的接收方选择窗口;以及
向通过接收方选择窗口选择的接收方发送含有所述第二数据的消息。
8.根据权利要求1所述的方法,其中,处理所述第二数据包括:基于包括针对云服务存储的请求在内的属性信息,向云服务器发送所述第二数据。
9.根据权利要求1所述的方法,还包括:
从外部设备接收图像;
在镜像屏幕上显示图像;
响应于镜像屏幕上的用户输入,向外部设备发送用户输入消息;
从外部设备接收与用户输入消息相对应的信息,并在镜像屏幕上显示接收到的信息;
响应于用户输入,向外部设备发送对文件的请求;以及
从外部设备接收所请求的文件。
10.根据权利要求9所述的方法,其中,所述用户输入包括在镜像屏幕内开始并在镜像屏幕外结束的拖动释放手势。
11.一种电子设备,包括:
连接单元,用于连接到外部设备;以及
处理器,配置为:
向与电子设备相连的外部设备发送第一数据,所述第一数据用于在外部设备上显示与电子设备上显示的第一内容对应的图形界面;
从与所述电子设备相连的外部设备接收第二数据和关联的属性信息;以及
通过执行与所述属性信息相关的应用来处理所述第二数据;
其中所述图形界面包括呈现第一内容的第一部分和呈现第二内容的第二部分,第二内容与第一内容相关联并且在电子设备上隐藏不可见。
12.根据权利要求11所述的电子设备,其中,处理所述第二数据包括:
基于所述属性信息,识别用于存储所述第二数据的文件夹;以及
将所述第二数据存储在所识别的文件夹中。
13.根据权利要求11所述的电子设备,其中,处理所述第二数据包括:当执行图库应用时,将所述第二数据存储在图库应用的存储区域中。
14.根据权利要求11所述的电子设备,其中,处理所述第二数据包括:基于包括针对消息传输的请求在内的所述属性信息,将所述第二数据附着至要发送的消息。
15.根据权利要求11所述的电子设备,其中,处理所述第二数据包括:
基于包括针对消息传输的请求在内的所述属性信息,显示用于选择数据接收方的接收方选择窗口;以及
向通过接收方选择窗口选择的接收方发送含有所述第二数据的消息。
CN201480038919.8A 2013-07-12 2014-07-01 使用接收数据的应用远程操作 Active CN105359121B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0082204 2013-07-12
KR1020130082204A KR102064952B1 (ko) 2013-07-12 2013-07-12 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
PCT/KR2014/005846 WO2015005605A1 (en) 2013-07-12 2014-07-01 Remote operation of applications using received data

Publications (2)

Publication Number Publication Date
CN105359121A CN105359121A (zh) 2016-02-24
CN105359121B true CN105359121B (zh) 2019-02-15

Family

ID=52278189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480038919.8A Active CN105359121B (zh) 2013-07-12 2014-07-01 使用接收数据的应用远程操作

Country Status (6)

Country Link
US (1) US20150020013A1 (zh)
EP (1) EP3019966A4 (zh)
KR (1) KR102064952B1 (zh)
CN (1) CN105359121B (zh)
AU (1) AU2014288039B2 (zh)
WO (1) WO2015005605A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459552B1 (ko) * 2013-06-19 2014-11-07 주식회사 케이티 디바이스의 레이아웃 영역에 객체를 표시하는 방법 및 디바이스
JP2015043123A (ja) * 2013-08-26 2015-03-05 シャープ株式会社 画像表示装置、データ転送方法、及びプログラム
JP6390785B2 (ja) 2015-03-27 2018-09-19 富士通株式会社 表示方法、プログラム及び表示制御装置
KR102390082B1 (ko) * 2015-07-14 2022-04-25 삼성전자주식회사 전자 장치의 동작 방법 및 전자 장치
KR102430271B1 (ko) * 2015-07-14 2022-08-08 삼성전자주식회사 전자 장치의 동작 방법 및 전자 장치
US10430040B2 (en) * 2016-01-18 2019-10-01 Microsoft Technology Licensing, Llc Method and an apparatus for providing a multitasking view
WO2017175432A1 (ja) * 2016-04-05 2017-10-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3617869B1 (en) * 2017-06-13 2024-02-28 Huawei Technologies Co., Ltd. Display method and apparatus
US20190370094A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Direct input from a remote device
KR102509071B1 (ko) * 2018-08-29 2023-03-10 삼성전자주식회사 전자 장치 및 이의 외부 장치를 제어하는 방법
CN109981881B (zh) 2019-01-21 2021-02-26 华为技术有限公司 一种图像分类的方法和电子设备
CN110515576B (zh) 2019-07-08 2021-06-01 华为技术有限公司 显示控制方法及装置
US10929003B1 (en) 2019-08-12 2021-02-23 Microsoft Technology Licensing, Llc Cross-platform drag and drop user experience
CN112527221A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种数据传输的方法及相关设备
CN113032592A (zh) * 2019-12-24 2021-06-25 徐大祥 电子动态行事历***、操作方法及计算机存储介质
CN111263218A (zh) * 2020-02-24 2020-06-09 卓望数码技术(深圳)有限公司 一种实现多设备同步交互的方法及***
CN111327769B (zh) * 2020-02-25 2022-04-08 北京小米移动软件有限公司 多屏互动方法及装置、存储介质
CN113542825B (zh) * 2020-04-20 2022-10-11 华为技术有限公司 投屏显示方法、***、终端设备和存储介质
CN111857495A (zh) * 2020-06-30 2020-10-30 海尔优家智能科技(北京)有限公司 信息显示方法、装置、存储介质及电子装置
CN112333474B (zh) * 2020-10-28 2022-08-02 深圳创维-Rgb电子有限公司 投屏方法、***、设备及存储介质
KR20220067325A (ko) * 2020-11-17 2022-05-24 삼성전자주식회사 확장 가능한 디스플레이 제어 방법 및 이를 지원하는 전자 장치
CN116301516A (zh) * 2021-12-21 2023-06-23 北京小米移动软件有限公司 一种应用共享方法及装置、电子设备、存储介质
US20230409194A1 (en) * 2022-05-17 2023-12-21 Apple Inc. Systems and methods for remote interaction between electronic devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1742480A (zh) * 2003-01-28 2006-03-01 索尼株式会社 信息处理装置、信息处理方法和计算机程序
EP2242240A1 (en) * 2009-04-14 2010-10-20 Lg Electronics Inc. Terminal and controlling method thereof
CN102135851A (zh) * 2010-01-25 2011-07-27 Lg电子株式会社 移动终端及控制该移动终端的方法
CN103988195A (zh) * 2011-10-21 2014-08-13 三星电子株式会社 用于在设备之间共享内容的方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04122191A (ja) * 1990-09-13 1992-04-22 Sharp Corp テレビジョン信号伝送方式及び再生装置
CN100596182C (zh) * 2003-08-22 2010-03-24 索尼株式会社 再现设备和方法
JP2006019780A (ja) * 2004-06-30 2006-01-19 Toshiba Corp テレビジョン放送受信装置、テレビジョン放送受信システム及び表示制御方法
US7991916B2 (en) 2005-09-01 2011-08-02 Microsoft Corporation Per-user application rendering in the presence of application sharing
US20070270590A1 (en) * 2006-04-20 2007-11-22 Marioara Mendelovici Methods for preparing eszopiclone crystalline form a, substantially pure eszopiclone and optically enriched eszopiclone
US7503007B2 (en) * 2006-05-16 2009-03-10 International Business Machines Corporation Context enhanced messaging and collaboration system
US20090231485A1 (en) * 2006-09-06 2009-09-17 Bernd Steinke Mobile Terminal Device, Dongle and External Display Device Having an Enhanced Video Display Interface
US20080155627A1 (en) * 2006-12-04 2008-06-26 O'connor Daniel Systems and methods of searching for and presenting video and audio
US8122475B2 (en) 2007-02-13 2012-02-21 Osann Jr Robert Remote control for video media servers
CA2621744C (en) * 2007-09-13 2016-10-04 Research In Motion Limited System and method for interfacing between a mobile device and a personal computer
US8375138B2 (en) * 2008-11-05 2013-02-12 Fh Innovations, Ltd Computer system with true video signals
US8219759B2 (en) * 2009-03-16 2012-07-10 Novell, Inc. Adaptive display caching
US9241062B2 (en) * 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
JP5091923B2 (ja) * 2009-07-06 2012-12-05 株式会社東芝 電子機器および通信制御方法
US8799322B2 (en) * 2009-07-24 2014-08-05 Cisco Technology, Inc. Policy driven cloud storage management and cloud storage policy router
US20110112819A1 (en) * 2009-11-11 2011-05-12 Sony Corporation User interface systems and methods between a portable device and a computer
JP2011134018A (ja) * 2009-12-22 2011-07-07 Canon Inc 情報処理装置、情報処理システム、制御方法、及びプログラム
KR101186332B1 (ko) * 2010-04-29 2012-09-27 엘지전자 주식회사 휴대 멀티미디어 재생장치, 그 시스템 및 그 동작 제어방법
US20120028766A1 (en) * 2010-07-27 2012-02-02 Thomas Jay Zeek Weight Lifting Sandals
US8369893B2 (en) * 2010-12-31 2013-02-05 Motorola Mobility Llc Method and system for adapting mobile device to accommodate external display
US8963799B2 (en) * 2011-01-11 2015-02-24 Apple Inc. Mirroring graphics content to an external display
US8725133B2 (en) * 2011-02-15 2014-05-13 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US9632688B2 (en) * 2011-03-31 2017-04-25 France Telecom Enhanced user interface to transfer media content
JP5677899B2 (ja) * 2011-06-16 2015-02-25 株式会社三菱東京Ufj銀行 情報処理装置及び情報処理方法
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
US20130162523A1 (en) * 2011-12-27 2013-06-27 Advanced Micro Devices, Inc. Shared wireless computer user interface
WO2013111239A1 (ja) * 2012-01-26 2013-08-01 パナソニック株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
KR101952682B1 (ko) * 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9176703B2 (en) * 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
US9743017B2 (en) * 2012-07-13 2017-08-22 Lattice Semiconductor Corporation Integrated mobile desktop

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1742480A (zh) * 2003-01-28 2006-03-01 索尼株式会社 信息处理装置、信息处理方法和计算机程序
EP2242240A1 (en) * 2009-04-14 2010-10-20 Lg Electronics Inc. Terminal and controlling method thereof
CN102135851A (zh) * 2010-01-25 2011-07-27 Lg电子株式会社 移动终端及控制该移动终端的方法
CN103988195A (zh) * 2011-10-21 2014-08-13 三星电子株式会社 用于在设备之间共享内容的方法及装置

Also Published As

Publication number Publication date
EP3019966A1 (en) 2016-05-18
EP3019966A4 (en) 2017-06-28
KR20150007760A (ko) 2015-01-21
KR102064952B1 (ko) 2020-01-10
AU2014288039B2 (en) 2019-10-10
CN105359121A (zh) 2016-02-24
WO2015005605A1 (en) 2015-01-15
AU2014288039A1 (en) 2015-11-12
US20150020013A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
CN105359121B (zh) 使用接收数据的应用远程操作
US11755273B2 (en) User interfaces for audio media control
AU2021201243B2 (en) Continuity
JP7003170B2 (ja) タッチ感知デバイス上におけるインタラクティブ通知の表示
US11782575B2 (en) User interfaces for sharing contextually relevant media content
US20230041125A1 (en) User interface for audio message
US11863837B2 (en) Notification of augmented reality content on an electronic device
US10178234B2 (en) User interface for phone call routing among devices
US11714597B2 (en) Methods and user interfaces for sharing audio
US10013098B2 (en) Operating method of portable terminal based on touch and movement inputs and portable terminal supporting the same
KR20210122746A (ko) 사용자 단말 장치 및 그의 제어 방법
JP2022008989A (ja) メディア及びロケーションのキャプチャ及び伝送のためのメッセージユーザインタフェース
US11165963B2 (en) Device, method, and graphical user interface for accessing an application in a locked device
US20140365895A1 (en) Device and method for generating user interfaces from a template
WO2019206158A1 (zh) 一种界面显示方法、装置及设备
JP2018139116A (ja) 複数のアプリケーションから受信した通知を表示するためのシステムおよび方法
CN106462354A (zh) 管理多个显示窗口的设备、方法和图形用户界面
CN110489573A (zh) 界面显示方法及电子设备
US20230012613A1 (en) Device, Method, and Graphical User Interface for Managing Data Stored on a Device
US20240004521A1 (en) User interfaces for sharing contextually relevant media content
CN109408072A (zh) 一种应用程序删除方法及终端设备
CN108696642A (zh) 整理图标的方法和移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant