CN114442969B - 一种设备间屏幕协同方法及设备 - Google Patents

一种设备间屏幕协同方法及设备 Download PDF

Info

Publication number
CN114442969B
CN114442969B CN202011190260.1A CN202011190260A CN114442969B CN 114442969 B CN114442969 B CN 114442969B CN 202011190260 A CN202011190260 A CN 202011190260A CN 114442969 B CN114442969 B CN 114442969B
Authority
CN
China
Prior art keywords
window
electronic device
screen
content
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011190260.1A
Other languages
English (en)
Other versions
CN114442969A (zh
Inventor
叶灵洁
阚彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011190260.1A priority Critical patent/CN114442969B/zh
Priority to PCT/CN2021/125218 priority patent/WO2022089294A1/zh
Publication of CN114442969A publication Critical patent/CN114442969A/zh
Application granted granted Critical
Publication of CN114442969B publication Critical patent/CN114442969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种设备间屏幕协同方法及设备,应用于第一电子设备与第二电子设备组成的***,该方法包括:第一电子设备与第二电子设备建立通信连接;第一电子设备显示包括第一内容的第一窗口;第二电子设备显示包括第二内容的第二窗口;第一电子设备向第二电子设备发送包括第一内容的信息的第一投屏数据;第二电子设备接收第一投屏数据,显示第二窗口和包括第一内容的第三窗口;第二电子设备向第一电子设备发送包括第二内容的信息的第二投屏数据;第一电子设备接收第二投屏数据,显示第一窗口和包括第二内容的第四窗口。本申请方案中,第一电子设备和第二电子设备能同时投屏到对方,因此能够实现设备间双向屏幕协同,进而提高设备间屏幕协同的效率。

Description

一种设备间屏幕协同方法及设备
技术领域
本申请涉及电子设备技术领域,尤其涉及一种设备间屏幕协同方法及设备。
背景技术
随着科技的进步,电子设备的功能越来越强大,设备多窗口模式和设备间协同模式也逐步推广。目前,用户可以在电子设备中同时开启多个操作窗口,也可以把窗口(应用)共享到其他设备上显示。例如,当前设备间协同模式支持设备A(如手机)协同投屏到设备B上,用户对设备A进行的操作可以同步显示在设备B上,同时用户在设备B上对设备A进行的操作,也能同步反馈到设备A上。但是,当前设备间协同模式存在主从关系,例如,设备A投屏到设备B后,设备B作为从设备,不能再投屏到设备A,导致使用体验较低。
因此,当前跨设备共享时,存在只能支持设备间单向共享,不支持双向共享的问题,导致设备间协同的效率较低。
发明内容
第一方面,本申请实施例提供一种设备间屏幕协同方法,应用于第一电子设备与第二电子设备组成的***,该方法包括:
所述第一电子设备与所述第二电子设备建立通信连接;
所述第一电子设备显示第一窗口,所述第一窗口中包括第一内容;
所述第二电子设备显示第二窗口,所述第二窗口中包括第二内容;
所述第一电子设备向所述第二电子设备发送第一投屏数据,所述第一投屏数据包括所述第一内容的信息;
所述第二电子设备接收所述第一投屏数据,显示所述第二窗口和第三窗口,所述第三窗口中包括所述第一内容;
所述第二电子设备向所述第一电子设备发送第二投屏数据,所述第二投屏数据包括所述第二内容的信息;
所述第一电子设备接收所述第二投屏数据,显示所述第一窗口和第四窗口,所述第四窗口中包括所述第二内容。
在该方法中,第一电子设备显示第一窗口、第二电子设备显示第二窗口时,第一电子设备将第一窗口对应的第一投屏数据发送给第二电子设备,第二电子设备能根据所述第一投屏数据显示第一窗口的投屏窗口即第三窗口,同时显示第二电子设备自身的第二窗口,实现第一电子设备投屏到第二电子设备,同时,第一电子设备接收所述第二电子设备发送的第二投屏数据,根据所述第二投屏数据,显示所述第二电子设备的第二窗口的投屏窗口,同时显示第一电子设备自身的第一窗口,能够实现第二电子设备投屏到第一电子设备。因此,上述方法能实现第一电子设备与第二电子设备之间的双向投屏,两个电子设备均能同时显示自身和对端设备的窗口,提高了电子设备间的屏幕协同效率,同时能提高用户体验。
在一种可能的设计中,所述第一电子设备向所述第二电子设备发送第一投屏数据之前,所述方法还包括:
所述第一电子设备响应于接收到的第一操作,向所述第二电子设备发送第一投屏请求,所述第一投屏请求用于请求将所述第一内容投屏到所述第二电子设备;
所述第二电子设备显示所述第二窗口和第三窗口之前,所述方法还包括:
所述第二电子设备显示第一提示信息,所述第一提示信息用于提示用户是否接受所述第一电子设备将所述第一内容投屏到所述第二电子设备。
在该方法中,第一电子设备根据用户操作,请求投屏到第二电子设备,第二电子设备接收该请求后显示对应的提示信息,从而根据用户操作确定是否接受投屏。因此,第一电子设备和第二电子设备能够基于用户需求进行设备间屏幕协同控制,用户体验较好。
在一种可能的设计中,所述第二电子设备显示所述第二窗口和第三窗口之后,所述方法还包括:
所述第一电子设备响应于接收到的第二操作,更新所述第一窗口中的第一内容;或者
所述第二电子设备响应于接收到的第三操作,向所述第一电子设备发送第一更新请求,所述第一更新请求用于请求所述第一电子设备更新所述第一窗口中的第一内容;
所述第一电子设备响应于接收到的所述第一更新请求,更新所述第一窗口中的第一内容。
在该方法中,用户在第一电子设备侧或第二电子设备侧均能控制第一电子设备自身的第一窗口中内容的更新,大大提高了设备间屏幕协同过程中设备控制的灵活性和便捷性。同时能够支持接受投屏的第二电子设备对发起投屏的第一电子设备的显示窗口的更新进行控制。
在一种可能的设计中,所述第一电子设备更新所述第一窗口中的第一内容时,所述方法还包括:
所述第一电子设备向所述第二电子设备发送更新的第一投屏数据;
所述第二电子设备根据接收到的所述更新的第一投屏数据,更新所述第三窗口中的第一内容。
在该方法中,第一电子设备更新自身的第一窗口的显示内容时,将更新的内容指示给第二电子设备,第二电子设备就能同步更新第一窗口对应的投屏窗口即第三窗口,因此,用户能在对第一电子设备进行控制的同时,对第二电子设备显示的对应窗口进行控制,保证两个电子设备显示内容的一致性。
在一种可能的设计中,所述第一电子设备显示所述第一窗口和第四窗口之后,所述方法还包括:
所述第一电子设备显示第一控制选项;
所述第一电子设备响应于接收到的所述第一更新请求,更新所述第一窗口中的第一内容之前,所述方法还包括:
所述第一电子设备接收作用于所述第一控制选项的第四操作。
在该方法中,第二电子设备投屏到第一电子设备之后,用户能够设置第一电子设备是否接受第二电子设备的控制,提高了设备间屏幕协同控制的灵活性。
在一种可能的设计中,所述第二电子设备向所述第一电子设备发送第二投屏数据之前,所述方法还包括:
所述第二电子设备响应于接收到的第五操作,向所述第一电子设备发送第二投屏请求,所述第二投屏请求用于请求将所述第二内容投屏到所述第一电子设备;
所述第一电子设备显示所述第一窗口和第四窗口之前,所述方法还包括:
所述第一电子设备显示第二提示信息,所述第二提示信息用于提示用户是否接受所述第二电子设备将所述第二内容投屏到所述第一电子设备。
在该方法中,第二电子设备根据用户操作,请求投屏到第一电子设备,第一电子设备接收该请求后显示对应的提示信息,从而根据用户操作确定是否接受投屏。因此,第一电子设备和第二电子设备能够基于用户需求进行设备间屏幕协同控制,用户体验较好。
在一种可能的设计中,所述第一电子设备显示所述第一窗口和第四窗口之后,所述方法还包括:
所述第二电子设备响应于接收到的第六操作,更新所述第二窗口中的第二内容;或者
所述第一电子设备响应于接收到的第七操作,向所述第二电子设备发送第二更新请求,所述第二更新请求用于请求所述第二电子设备更新所述第二窗口中的第二内容;
所述第二电子设备响应于接收到的所述第二更新请求,更新所述第二窗口中的第二内容。
在该方法中,用户在第二电子设备侧或第一电子设备侧均能控制第二电子设备自身的第二窗口中内容的更新,大大提高了设备间屏幕协同过程中设备控制的灵活性和便捷性。同时能够支持接受投屏的第一电子设备对发起投屏的第二电子设备的显示窗口的更新进行控制。
在一种可能的设计中,所述第二电子设备更新所述第二窗口中的第二内容时,所述方法还包括:
所述第二电子设备向所述第一电子设备发送更新的第二投屏数据;
所述第一电子设备根据接收到的所述更新的第二投屏数据,更新所述第四窗口中的第二内容。
在该方法中,第二电子设备更新自身的第二窗口的显示内容时,将更新的内容指示给第一电子设备,第一电子设备就能同步更新第二窗口对应的投屏窗口即第四窗口,因此,用户能在对第二电子设备进行控制的同时,对第一电子设备显示的对应窗口进行控制,保证两个电子设备显示内容的一致性。
在一种可能的设计中,所述第二电子设备显示所述第二窗口和第三窗口之后,所述方法还包括:
所述第二电子设备显示第二控制选项;
所述第二电子设备响应于接收到的所述第二更新请求,更新所述第二窗口中的第二内容之前,所述方法还包括:
所述第二电子设备接收作用于所述第二控制选项的第八操作。
在该方法中,第一电子设备投屏到第二电子设备之后,用户能够设置第二电子设备是否接受第一电子设备的控制,提高了设备间屏幕协同控制的灵活性。
在一种可能的设计中,所述第一窗口与所述第四窗口的显示区域不同,或者,所述第一窗口的显示区域覆盖所述第四窗口的显示区域中的部分区域,或者,所述第四窗口的显示区域覆盖所述第一窗口的显示区域中的部分区域。
在该方法中,第一电子设备同时显示自身的第一窗口和第二电子设备投屏来的第四窗口时,可以采用多种不同的显示方式,提高了设备间屏幕协同显示的灵活性,并能适应多种应用场景的显示需求。
在一种可能的设计中,所述第二窗口与所述第三窗口的显示区域不同,或者,所述第二窗口的显示区域覆盖所述第三窗口的显示区域中的部分区域,或者,所述第三窗口的显示区域覆盖所述第二窗口的显示区域中的部分区域。
在该方法中,第二电子设备同时显示自身的第二窗口和第一电子设备投屏来的第三窗口时,可以采用多种不同的显示方式,提高了设备间屏幕协同显示的灵活性,并能适应多种应用场景的显示需求。
在一种可能的设计中,所述***还包括第三电子设备,所述第一电子设备显示所述第一窗口和第四窗口之后,所述方法还包括:
所述第一电子设备与所述第三电子设备建立通信连接;
所述第三电子设备显示第五窗口,所述第五窗口中包括第三内容;
所述第一电子设备向所述第三电子设备发送所述第一投屏数据;
所述第三电子设备接收所述第一投屏数据,显示所述第五窗口和第六窗口,所述第六窗口中包括所述第一内容;
所述第三电子设备向所述第一电子设备发送第三投屏数据,所述第三投屏数据包括所述第三内容的信息;
所述第一电子设备接收所述第三投屏数据,显示所述第一窗口和第七窗口,所述第七窗口中包括所述第三内容。
在该方法中,第一电子设备与第二电子设备建立双向投屏之后,还能同时与第三电子设备建立双向投屏,因此,第一电子设备能够对多个电子设备进行投屏控制,并同时接受多个电子设备的投屏控制,进而实现多设备场景下的设备间屏幕协同。
第二方面,本申请实施例提供一种设备间屏幕协同方法,应用于第一电子设备,该方法包括:
与第二电子设备建立通信连接;
显示第一窗口,所述第一窗口中包括第一内容;
向所述第二电子设备发送第一投屏数据,所述第一投屏数据包括所述第一内容的信息;
接收来自所述第二电子设备的第二投屏数据,所述第二投屏数据包括第二内容的信息,所述第二内容为所述第二电子设备显示的第二窗口中包括的内容;
显示所述第一窗口和第四窗口,所述第四窗口中包括所述第二内容。
在一种可能的设计中,在向所述第二电子设备发送第一投屏数据之前,所述方法还包括:
响应于接收到的第一操作,向所述第二电子设备发送第一投屏请求,所述第一投屏请求用于请求将所述第一内容投屏到所述第二电子设备。
在一种可能的设计中,在接收来自所述第二电子设备的第二投屏数据之前,所述方法还包括:
显示第二提示信息,所述第二提示信息用于提示用户是否接受所述第二电子设备将所述第二内容投屏到所述第一电子设备。
在一种可能的设计中,在向所述第二电子设备发送第一投屏数据之后,所述方法还包括:
响应于接收到的第二操作,更新所述第一窗口中的第一内容;或者
响应于接收到的来自所述第二电子设备的第一更新请求,更新所述第一窗口中的第一内容,其中,所述第一更新请求用于请求所述第一电子设备更新所述第一窗口中的第一内容。
在一种可能的设计中,在更新所述第一窗口中的第一内容时,所述方法还包括:
向所述第二电子设备发送更新的第一投屏数据。
在一种可能的设计中,在显示所述第一窗口和第四窗口之后,所述方法还包括:
显示第一控制选项;
在响应于来自所述第二电子设备的所述第一更新请求,更新所述第一窗口中的第一内容之前,所述方法还包括:
接收作用于所述第一控制选项的第四操作。
在一种可能的设计中,在显示所述第一窗口和第四窗口之后,所述方法还包括:
响应于接收到的第七操作,向所述第二电子设备发送第二更新请求,所述第二更新请求用于请求所述第二电子设备更新所述第二窗口中的第二内容。
在一种可能的设计中,在向所述第二电子设备发送第二更新请求之后,所述方法还包括:
响应于接收到的来自所述第二电子设备的更新的第二投屏数据,更新所述第四窗口中的第二内容。
在一种可能的设计中,所述第一窗口与所述第四窗口的显示区域不同,或者,所述第一窗口的显示区域覆盖所述第四窗口的显示区域中的部分区域,或者,所述第四窗口的显示区域覆盖所述第一窗口的显示区域中的部分区域。
在一种可能的设计中,在显示所述第一窗口和第四窗口之后,所述方法还包括:
与第三电子设备建立通信连接;
向所述第三电子设备发送所述第一投屏数据;
接收来自所述第三电子设备的第三投屏数据,所述第三投屏数据包括第三内容的信息,所述第三内容为所述第三电子设备显示的第五窗口中包括的内容;
显示所述第一窗口和第七窗口,所述第七窗口中包括所述第三内容。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括显示屏幕,存储器和一个或多个处理器;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述指令被所述一个或多个处理器调用执行时,使得所述电子设备能够执行上述第二方面或第二方面的任一可能的设计所描述的方法。
第四方面,本申请实施例提供一种芯片,所述芯片与电子设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的计算机程序,实现本申请实施例第一方面或第一方面提供的任一可能设计的方法,或者实现本申请实施例第二方面或第二方面提供的任一可能设计的方法。
第五方面,本申请实施例提供一种计算机存储介质,该计算机存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得电子设备执行上述第一方面或第一方面的任一种可能的设计的方法,或者实现本申请实施例第二方面或第二方面提供的任一可能设计的方法。
第六方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行第一方面或第一方面的任一种可能的设计的方法,或者实现本申请实施例第二方面或第二方面提供的任一可能设计的方法。
附图说明
图1为本申请实施例提供的一种跨设备协同投屏的示意图;
图2为本申请实施例提供的一种设备间屏幕协同***架构的示意图;
图3为本申请实施例提供的一种电子设备的结构示意图;
图4为本申请实施例提供的一种电子设备的安卓操作***结构示意图;
图5为本申请实施例提供的一种设备间屏幕协同方法的示意图;
图6a为本申请实施例提供的一种建立设备间屏幕协同方法的示意图;
图6b为本申请实施例提供的一种第一电子设备的显示屏幕示意图;
图6c为本申请实施例提供的一种第二电子设备的显示屏幕示意图;
图6d为本申请实施例提供的一种第二电子设备接受投屏的显示屏幕示意图;
图6e为本申请实施例提供的一种第一电子设备更新的显示屏幕示意图;
图6f为本申请实施例提供的一种第二电子设备接受投屏后更新的显示屏幕示意图;
图7a为本申请实施例提供的一种建立双向设备间屏幕协同方法的示意图;
图7b为本申请实施例提供的一种第二电子设备接受投屏的显示屏幕示意图;
图7c为本申请实施例提供的一种第一电子设备的显示屏幕示意图;
图7d为本申请实施例提供的一种第一电子设备接受投屏的显示屏幕示意图;
图7e为本申请实施例提供的一种第二电子设备更新的显示屏幕示意图;
图7f为本申请实施例提供的一种第一电子设备接受投屏后更新的显示屏幕示意图;
图8为本申请实施例提供的一种双向设备间屏幕协同控制的流程示意图;
图9为本申请实施例提供的一种双向设备间屏幕协同方法的效果示意图;
图10为本申请实施例提供的一种双向设备间屏幕协同方法的效果示意图;
图11为本申请实施例提供的一种双向设备间屏幕协同方法的效果示意图;
图12为本申请实施例提供的一种双向设备间屏幕协同控制方法的示意图;
图13a为本申请实施例提供的一种第一电子设备接受投屏的显示屏幕示意图;
图13b为本申请实施例提供的一种第一电子设备接受多个电子设备投屏的显示屏幕示意图;
图14为本申请实施例提供的一种设备间屏幕协同控制方法的示意图;
图15为本申请实施例提供的一种设备间屏幕协同控制的示意图;
图16为本申请实施例提供的一种设备间屏幕协同控制的示意图;
图17为本申请实施例提供的一种设备间屏幕协同方法示意图;
图18为本申请实施例提供的一种电子设备的示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例作进一步地详细描述。其中,在本申请实施例的描述中,以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
为了便于理解,示例性的给出了与本申请相关概念的说明以供参考,如下所示:
1)电子设备,为具有显示屏幕的设备。本申请一些实施例中电子设备可以是便携式设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(例如,手表、手环、头盔、耳机等)、车载终端设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、智能家居设备(例如,智能电视等)等智能终端设备。
在本申请一些实施例中,电子设备还可以是还包含其它功能诸如个人数字助理和/或画面显示功能的便携式终端设备。便携式终端设备的示例性实施例包括但不限于搭载 或者其它操作***的便携式终端设备。上述便携式终端设备也可以是其它便携式终端设备,诸如具有显示屏幕的膝上型计算机(Laptop)等。还应当理解的是,在本申请其它一些实施例中,上述电子设备也可以不是便携式终端设备,而是具有显示屏幕的台式计算机。
2)屏幕协同,又称多屏协同,投屏,同屏、飞屏、屏幕共享,是指设备a(如手机、平板、笔记本、电脑等)的屏幕a中输出显示的画面实时地显示到设备b(如平板、笔记本、电脑、电视、一体机、投影仪等)的屏幕b的设定区域。同时通过操作设备a引起的屏幕a的画面变化会同步显示到屏幕b的设定区域中。而通过操作设备b的屏幕b的设定区域,引起屏幕b的所述设定区域的画面变化,也会同步显示到屏幕a的画面中。
3)中间件,是介于操作***和应用程序之间、用于连接操作***的软件组件和用户的应用软件的一类软件,是位于平台(硬件和操作***)和应用之间的通用服务。中间件使用***软件所提供的基础服务(功能),衔接网络上应用***的各个部分或不同的应用,能够达到资源共享、功能共享的目的。中间件是独立的***级软件服务程序,支持分布式计算,能够提供跨网络、跨硬件的透明性的应用或服务的交互功能。
应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
参考图1,为本申请实施例提供的一种跨设备协同投屏的示意图。如图1所示,目前,多设备协同中支持设备A(例如手机)协同投屏到设备B(例如平板电脑)上,从而在设备B的显示屏幕上输出显示设备A的整个显示屏幕对应的显示窗口。设备A将显示屏幕对应的显示窗口投屏到设备B后,设备A和设备B均可以对该显示窗口进行控制,且设备A上对显示窗口的控制操作及结果可以在设备B显示屏幕上对应的显示窗口中同步显示,设备B上对显示窗口的控制操作及结果可以在设备A显示屏幕上对应的显示窗口中同步显示。
但是,上述方法中,设备A的显示窗口投屏到设备B后,设备B自身的显示窗口无法同时投屏到设备A上进行显示,因此,设备A与设备B之间无法同时进行双向协同控制,无法满足用户对双向投屏、双向协同的业务需求。
鉴于此,本申请实施例提供一种设备间屏幕协同方法,应用于跨设备投屏控制的场景中。
图2为本申请实施例提供的一种设备间屏幕协同***架构的示意图。如图2所示,该***架构可以包括:第一电子设备201(例如图中所示的手机)和第二电子设备202(例如图中所示的平板电脑)。其中,第二电子设备202可以是与第一电子设备201连接的至少一个电子设备中的任一电子设备;第一电子设备201和第二电子设备202可分别将自身的显示屏幕上的显示窗口投屏到对方的显示屏幕上进行显示,实现双向投屏协作,并可支持相互操作控制。其中,所述显示屏幕上的显示窗口为所述显示屏幕对应的整体窗口,或者为所述显示屏幕上显示的某一应用对应的局部窗口。
在该***中,所述第一电子设备201与第二电子设备202之间能够进行通信。可选的,第一电子设备201与第二电子设备202接入同一个局域网。第一电子设备201与第二电子设备202可以通过蓝牙、Wi-Fi等短距离无线通信技术进行通信。可选的,第一电子设备201与第二电子设备202以有线方式连接并进行通信。第一电子设备201与第二电子设备202可以通过数据线如通用串行总线(Universal Serial Bus,USB)数据线连接后进行通信。
在第一电子设备201与第二电子设备202接入在同一个局域网的示例中,具体可以为:第一电子设备201和第二电子设备202与同一无线接入点建立无线连接。
另外,第一电子设备201与第二电子设备202可以接入同一个无线保真(WirelessFidelity,Wi-Fi)热点,再例如,第一电子设备201和第二电子设备202也可以通过蓝牙协议接入同一个蓝牙信标下。再例如,第一电子设备201和第二电子设备202间也可以通过近场通信(Near Field Communication,NFC)标签触发通信连接,通过蓝牙模块传输加密信息进行身份认证。在认证成功后通过点对点(Point to Point,P2P)的方式进行数据传输。
在本申请一些实施例中,第一电子设备201与第二电子设备202为具备输出显示功能的智能设备,例如可以为手机、平板、电脑、智能电视等。
需要说明的是,图2所示的***并不对本申请提供的设备间屏幕协同方法适用的场景进行限定。
还需要说明的是,本申请也不限定设备间屏幕协同***中电子设备的数量,其可以包括两个电子设备,也可以包括更多个电子设备,例如可以包括3个或4个电子设备等。
在本申请一些实施例中,设备间屏幕协同***中包括多个电子设备时,其中任意两个电子设备之间可执行本申请提供的设备间屏幕协同方法,实现双向投屏及协同控制。例如,上述设备间屏幕协同***中包括设备A、设备B、设备C共3个电子设备时,设备间屏幕协同可以是设备A和设备B均投屏到设备C,设备C分别投屏到设备A和设备B;或者,设备间屏幕协同可以是设备A分别投屏到设备B和设备C,设备B分别投屏到设备A和设备C,设备C分别投屏到设备A和设备B;或者,设备间屏幕协同可以是设备A投屏到设备B,设备B投屏到设备C,设备C投屏到设备A等,此处不再一一列举。
参考图3,对本申请实施例提供的方法适用的电子设备的结构进行介绍。
如图3所示,电子设备300可以包括处理器310,外部存储器接口320,内部存储器321,USB接口330,充电管理模块340,电源管理模块341,电池342,天线1,天线2,移动通信模块350,无线通信模块360,音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,传感器模块380,按键390,马达391,指示器392,摄像头393,显示屏幕394,以及SIM卡接口395等。其中传感器模块380可以包括陀螺仪传感器、加速度传感器、接近光传感器、指纹传感器、触摸传感器、温度传感器、压力传感器、距离传感器、磁传感器、环境光传感器、气压传感器、骨传导传感器等。
可以理解的是,图3所示的电子设备仅仅是一个范例,并不构成对电子设备的限定,并且电子设备可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备300的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了***的效率。
本申请实施例提供的设备间屏幕协同方法的执行可以由处理器310来控制或调用其他部件来完成,比如调用内部存储器321中存储的本申请实施例的处理程序,来控制无线通信模块360向其他电子设备进行数据通信,以实现设备间屏幕协同,提高电子设备的协作控制效率,提升用户的体验。处理器310可以包括不同的器件,比如集成CPU和GPU时,CPU和GPU可以配合执行本申请实施例提供的设备间屏幕协同方法,比如设备间屏幕协同方法中部分算法由CPU执行,另一部分算法由GPU执行,以得到较快的处理效率。
显示屏幕394用于显示图像,视频等。显示屏幕394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,电子设备300可以包括1个或N个显示屏幕394,N为大于1的正整数。显示屏幕394可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphical user interface,GUI)。例如,显示屏幕394可以显示照片、视频、网页、或者文件等。再例如,显示屏幕394可以显示如图2所示的电子设备的图形用户界面。例如,如图2所示的电子设备的图形用户界面上包括状态栏、Dock栏、可隐藏的导航栏、时间和天气小组件(widget)、以及应用的图标,例如浏览器图标等。状态栏中包括运营商名称(例如***)、移动网络(例如4G)、时间和剩余电量。此外,可以理解的是,在一些实施例中,状态栏中还可以包括蓝牙图标、Wi-Fi图标、外接设备图标等。还可以理解的是,在另一些实施例中,图2所示的电子设备的图形用户界面中还可以包括Dock栏,Dock栏中可以包括常用的应用图标等。当处理器310检测到用户的手指(或触控笔等)针对某一应用图标的触摸事件后,响应于该触摸事件,打开与该应用图标对应的应用的用户界面,并在显示屏幕394上显示该应用的用户界面。
在本申请实施例中,显示屏幕394可以是一个一体的柔性显示屏,也可以采用两个刚性屏以及位于两个刚性屏之间的一个柔性屏组成的拼接显示屏。当处理器310运行本申请实施例提供的设备间屏幕协同方法后,处理器310可以控制显示屏幕394对相关结果进行显示。
摄像头393(前置摄像头或者后置摄像头,或者一个摄像头既可作为前置摄像头,也可作为后置摄像头)用于捕获静态图像或视频。通常,摄像头393可以包括感光元件比如镜头组和图像传感器,其中,镜头组包括多个透镜(凸透镜或凹透镜),用于采集待拍摄物体反射的光信号,并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。
内部存储器321可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令,从而执行电子设备300的各种功能应用以及数据处理。内部存储器321可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,应用程序(比如设备间屏幕协同功能等)的代码等。存储数据区可存储电子设备300使用过程中所创建的数据(比如执行本申请实施例提供的设备间屏幕协同功能产生的过程数据等)等。
内部存储器321还可以存储本申请实施例提供的设备间屏幕协同算法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述内部存储器321中并被配置为被一个或多个处理器310执行,该一个或多个计算机程序包括指令,上述指令可以用于执行以下实施例中的各个步骤。
此外,内部存储器321可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
当然,本申请实施例提供的设备间屏幕协同算法的代码还可以存储在外部存储器中。这种情况下,处理器310可以通过外部存储器接口320运行存储在外部存储器中的设备间屏幕协同算法的代码。
传感器模块380可以包括陀螺仪传感器、加速度传感器、接近光传感器、指纹传感器、触摸传感器等。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏幕394,由触摸传感器与显示屏幕394组成显示屏幕,也称“显示屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏幕394提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备300的表面,与显示屏幕394所处的位置不同。
示例性的,电子设备300的显示屏幕394显示主界面,主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器点击主界面中相机应用的图标,触发处理器310启动相机应用,打开摄像头393。显示屏幕394显示相机应用的界面,例如取景界面。
电子设备300的无线通信功能可以通过天线1,天线2,移动通信模块350,无线通信模块360,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块350可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块350可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块350可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块350还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中,移动通信模块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。在本申请实施例中,移动通信模块350还可以用于与其它电子设备进行信息交互,例如,向其它电子设备发送投屏或更新投屏窗口的指令,或者移动通信模块350可用于接收其它电子设备发送的投屏或更新投屏窗口的指令。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频装置(不限于扬声器370A,受话器370B等)输出声音信号,或通过显示屏幕394显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器310,与移动通信模块350或其他功能模块设置在同一个器件中。
无线通信模块360可以提供应用在电子设备300上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。本申请实施例中,无线通信模块360,用于与其它电子设备建立连接,进行数据交互。或者无线通信模块360可以用于接入接入点设备,向其它电子设备发送投屏或更新投屏窗口的指令,或者接收其它电子设备发送的投屏或更新投屏窗口的指令。
示例性的,如图2中所示的第一电子设备和第二电子设备可以通过移动通信模块350或无线通信模块360进行与投屏相关的指令和数据的接收或发送,从而实现设备间屏幕协同功能。
另外,电子设备300可以通过音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,以及应用处理器等实现音频功能。例如音乐播放,录音等。电子设备300可以接收按键390输入,产生与电子设备300的用户设置以及功能控制有关的键信号输入。电子设备300可以利用马达391产生振动提示(比如来电振动提示)。电子设备300中的指示器392可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。电子设备300中的SIM卡接口395用于连接SIM卡。SIM卡可以通过***SIM卡接口395,或从SIM卡接口395拔出,实现和电子设备300的接触和分离。
应理解,在实际应用中,电子设备300可以包括比图3所示的更多或更少的部件,本申请实施例不作限定。图示电子设备300仅是一个范例,并且电子设备300可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备300的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备的软件结构。参考图4,为本发明实施例的电子设备的软件结构框图。示例性的,图4是一种可以运行在上述第一电子设备或第二电子设备中的软件架构示意图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。如图4所示,该软件架构可以分为五层,分别为应用程序层,应用程序框架层,安卓运行时和***库,硬件抽象层和Linux内核层。
应用程序层是操作***的最上一层,包括操作***的原生应用程序,例如电子邮件客户端、蓝牙、相机、音乐、视频、短信、通话、日历、浏览器、联系人等。本申请实施例涉及的APP,简称应用,为能够实现某项或多项特定功能的软件程序。通常,终端设备中可以安装多个应用。比如,相机应用、邮箱应用、智能家居控制应用等。下文中提到的应用,可以是终端设备出厂时已安装的***应用,也可以是用户在使用终端设备的过程中从网络下载或从其他终端设备获取的第三方应用。
当然,对于开发者来说,开发者可以编写应用程序并安装到该层。应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
在本申请一些实施例中,应用程序层可以包括界面设置服务,用于实现设置界面的呈现,上述设置界面可以用于用户设置终端设备的设备间屏幕协同功能。例如,用户可以在设置界面中进行设备间屏幕协同功能的开启或关闭设置。示例性的,上述设置界面可以为终端设备的触摸屏上所显示的状态栏或通知栏中的内容,还可以是终端设备的触摸屏上所显示的设备控制功能的相关控制界面。
一种可能的实现方式中,应用程序可以使用Java语言开发,通过调用应用程序框架层所提供的应用程序编程接口(Application Programming Interface,API)来完成,开发者可以通过应用程序框架来与操作***的底层(例如硬件抽象层、内核层等)进行交互,开发自己的应用程序。该应用程序框架主要是操作***的一系列的服务和管理***。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层可以包括一些预先定义的函数。如图4所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。电话管理器用于提供终端设备的通信功能。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。
本申请实施例中,应用程序框架层还可以包含设备间屏幕协同服务,用于进行设备间屏幕协同功能的控制及实现,设备间屏幕协同服务可以包括多窗口框架服务,主要用于配合设备间屏幕协同服务提供设备控制及窗口的显示控制功能。例如可以用于对当前连接的电子设备进行管理,对在显示屏幕上进行显示的窗口进行管理等。
在本申请一些实施例中,设备间屏幕协同服务还可以包括通知管理器,用于与其它数据层进行信息交互。
安卓运行时包括核心库和虚拟机。安卓运行时负责安卓***的调度和管理。安卓***的核心库包含两部分:一部分是Java语言需要调用的功能函数,另一部分是安卓***的核心库。应用程序层和应用程序框架层运行在虚拟机中。以Java举例,虚拟机将应用程序层和应用程序框架层的Java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器,媒体库,三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。表面管理器用于对显示子***进行管理,并且为多个应用程序提供了二维和三维图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。二维图形引擎是二维绘图的绘图引擎。
硬件抽象层(Hardware Abstraction Layer,HAL)是应用程序框架的支撑,是连接应用程序框架层与Linux内核层的重要纽带,其可通过应用程序框架层为开发者提供服务。
内核(Kernel)层提供操作***的核心***服务,如安全性、内存管理、进程管理、网络协议栈和驱动模型等都基于内核层实现。内核层同时也作为硬件和软件栈之间的抽象层。该层有许多与电子设备相关的驱动程序,主要的驱动有:显示驱动;基于Linux的帧缓冲驱动;作为输入设备的键盘驱动;基于内存技术设备的Flash驱动;照相机驱动;音频驱动;蓝牙驱动;WI-FI驱动等。
在本申请一些实施例中,核心层作为硬件和软件栈之间的抽象层,包括触摸驱动服务,用于获取硬件部分(例如触摸屏、触摸传感器等)接收的与触发窗口更新相关的操作信息,并进行上报。
需要说明的是,在图2所示的设备间屏幕协同***中,第一电子设备和第二电子设备均可以通过以上硬件架构和软件架构实现。
下面参考图5所示的设备间屏幕协同方法示意图,结合图3及图4所示的电子设备的硬件结构和软件结构,对本申请实施例提供的设备间屏幕协同方法进行说明。
如图5所示,本申请实施例中,通过中间件与软总线结构结合上述的软件结构,实现两个电子设备(第一电子设备与第二电子设备)之间的双向投屏控制。
其中,中间件连接操作***的应用程序层和应用程序框架层,为操作***提供应用的接口标准化、协议统一化及屏蔽具体操作细节等服务。
软总线位于链接层,是封装了操作***对进程间通信资源、共享内存等有多个进程共同使用的资源的操作的模块,能为任务进程提供标准的资源申请、使用及回收接口,任务进程使用该接口及协议的标志进行资源的共享。
本申请实施例中,发起设备间屏幕协同的电子设备通过应用程序层将投屏信息分别发送到应用程序框架层和中间件,其中,投屏信息包括待投屏显示的投屏数据、投屏对象等信息。中间件对投屏数据进行显示流编码后,将已编码数据传入链接层,由软总线发送到接受投屏的电子设备。接受投屏的电子设备接收发起投屏的电子设备发送的已编码数据后,对已编码数据进行显示流解码得到投屏数据,并上报到应用程序框架层,应用框架层根据投屏数据进行多窗口的显示。
具体的,如图5所示,第一电子设备与第二电子设备建立通信连接后,第一电子设备投屏到第二电子设备时,通过应用程序层将待投屏到第二电子设备进行显示的投屏数据发送到中间件,中间件对投屏数据进行显示流编码后发送到链接层,链接层将编码后的投屏数据发送到第二电子设备。
作为一种可选的实施方式,链接层利用软总线,通过短距离通信方式例如蓝牙、Wi-Fi等发送到第二电子设备的链接层。
第二电子设备的链接层接收第一电子设备的链接层发送的已编码的投屏数据,并发送到中间件,中间件对已编码的投屏数据进行显示流解码,并发送到应用程序框架层,应用程序框架层对投屏数据进行显示。其中,第二电子设备的应用程序框架层对第一电子设备发送的投屏数据进行显示时,通过应用程序层将当前显示屏幕上显示的自身的窗口数据发送到应用程序框架层,应用程序框架层将该窗口数据与链接层发送的投屏数据同时输出在显示屏幕上进行显示。
第二电子设备协同投屏到第一电子设备时,通过应用程序层将待投屏到第一电子设备进行显示的投屏数据发送到中间件,中间件对投屏数据进行显示流编码后发送到链接层,链接层将编码后的投屏数据发送到第一电子设备。
作为一种可选的实施方式,链接层利用软总线,通过短距离通信方式发送到第一电子设备的链接层。
第一电子设备的链接层接收第二电子设备的链接层发送的以编码的投屏数据,并发送到中间件,中间件对已编码的投屏数据进行显示流解码,并发送到应用程序框架层,应用程序框架层对投屏数据进行显示。其中,第一电子设备的应用程序框架层对第二电子设备发送的投屏数据进行显示时,通过应用程序层将当前显示屏幕显示的窗口数据发送到应用程序框架层,应用程序框架层将该窗口数据与链接层发送的投屏数据同时输出在显示屏幕上进行显示。
上述第一电子设备与第二电子设备协同投屏到对方的投屏数据为其显示屏幕中显示的自身生成的窗口数据,该窗口数据为所述显示屏幕对应的整体窗口的数据。
上述第一电子设备协同投屏到第二电子设备和第二电子设备协同投屏到第一电子设备的方法可分别单独执行;也可同时执行,以实现双向同时投屏。
本申请实施例中,作为一种可选的实施方式,第一电子设备和第二电子设备处于同一局域网中,并通过短距离通信技术进行通信。其中,同一局域网可以为WiFi局域网、蓝牙局域网等。
上述实施例中,第一电子设备和第二电子设备分别建立双向设备间屏幕协同的信息传输路线,能够分别将投屏数据传输至对端设备,进而在对端设备的显示屏幕上显示所述投屏数据,实现双向投屏控制,解决了设备间无法实现双向协同共享的问题。
下面结合具体实施例对本申请实施例提供的设备间屏幕协同方法进行详细说明。
在本申请一些实施例中,第一电子设备与第二电子设备中均设置控制设备间屏幕协同功能是否启动的屏幕协同开关,该屏幕协同开关可由用户控制其打开或关闭状态。其中,屏幕协同开关打开时,电子设备支持设备间屏幕协同功能,能够执行本申请实施例提供的设备间屏幕协同方法,投屏到其它电子设备或接受其它电子设备的投屏;屏幕协同开关关闭时,电子设备不支持设备间屏幕协同功能。
本申请实施例中,以第一电子设备为先发起设备间屏幕协同的设备、第二电子设备为后发起设备间屏幕协同的设备为例进行说明,即,第一电子设备发起设备间屏幕协同并投屏到第二电子设备后,第二电子设备再发起设备间屏幕协同并投屏到第一电子设备。
需要说明的是,本申请实施例中,第一电子设备与第二电子设备建立屏幕协同指的是第一电子设备在与第二电子设备建立通信连接的基础上,投屏到第二电子设备;第二电子设备在与第一电子设备建立屏幕协同指的是第二电子设备在与第一电子设备建立通信连接的基础上,投屏到第一电子设备。
在本申请一些实施例中,第一电子设备可以自动发起设备间屏幕协同,或者,根据用户的指示发起设备间屏幕协同。
作为一种可选的实施方式,第一电子设备可在检测到能与第二电子设备建立通信连接时,直接与第二电子设备建立设备间屏幕协同,将自身的显示窗口投屏到第二电子设备的显示屏幕上进行显示。
作为另一种可选的实施方式,第一电子设备在检测到能与第二电子设备建立通信连接时,在显示屏幕上显示窗口中显示投屏按钮,该投屏按钮用于触发第一电子设备将显示屏幕显示的自身的窗口投屏到第二电子设备的显示屏幕上进行显示。示例性的,如图6a所示,第一电子设备响应于用户对该投屏按钮的操作,向第二电子设备发送投屏请求,第二电子设备通过请求后,第一电子设备协同投屏到第二电子设备,将当前显示屏幕上显示的自身的显示窗口A(在本申请中也称为第一窗口)投屏到第二电子设备的显示屏幕上进行显示,第二电子设备在显示屏幕上同时输出显示自身的显示窗口B和第一电子设备的显示窗口对应的投屏窗口A1(在本申请中也称为第三窗口)。其中,图6a中所示的窗口A为第一电子设备当前显示屏幕上自身的显示窗口,窗口B为(在本申请中也称为第二窗口)第二电子设备当前显示屏幕上自身的显示窗口,窗口A1为第一电子设备中窗口A投屏到第二电子设备的显示屏幕后对应的投屏窗口。
示例性的,第一电子设备和第二电子设备为两个不同平板电脑时,若第一电子设备当前显示窗口为桌面对应的窗口,第一电子设备(平板电脑1)检测到能够与第二电子设备(平板电脑2)建立通信连接时,在自身的显示窗口显示投屏按钮601,如图6b所示,用户可以通过点击该投屏按钮,触发第一电子设备与第二电子设备建立设备间屏幕协同,第一电子设备响应于用户点击该投屏按钮的操作,向第二电子设备发送投屏请求,请求与第二电子设备建立设备间屏幕协同。如图6c所示,第二电子设备接收所述投屏请求后,在自身显示窗口中显示提示信息,提示用户选择是否接受第一电子设备的投屏,例如显示询问信息“是否接受投屏?”,若根据用户操作确定接受第一电子设备的投屏,则向第一电子设备发送接受投屏的反馈信息。第一电子设备接收到所述反馈信息后,将自身窗口对应的数据发送到第二电子设备,第二电子设备根据接收到的数据显示第一电子设备显示的窗口,如图6d所示,其中,窗口1为第二电子设备接受投屏之前显示的自身的窗口,窗口2为第一电子设备投屏到第二电子设备的窗口,显示内容与第一电子设备窗口的显示内容相同。
本申请实施例中,窗口中的显示内容包括显示屏幕上所述窗口对应的界面所展示的信息。例如,如图6b所示的平板电脑1为第一电子设备时,第一窗口为显示屏幕整体显示界面对应的窗口,第一窗口中包括的第一内容则包括显示屏幕整体显示界面中所有的显示元素,包括图中所示的状态栏内容、应用图标等。又例如,如图6e所示的平板电脑1为第一电子设备时,第一窗口为显示屏幕整体显示界面对应的窗口,第一窗口中包括的第一内容则包括短信应用的应用界面中的信息。再例如,如图7f所示的平板电脑1为第一电子设备时,第一窗口为图中所示的窗口1,第一窗口中包括的第一内容则包括图中窗口1所示的短信应用的应用界面中的信息。
上述第一电子设备可根据实际场景或用户设置确定设备间屏幕协同的发起时机,提高了设备间屏幕协同控制的灵活性。
上述第一电子设备与第二电子设备建立设备间屏幕协同后,用户对第一电子设备自身的显示窗口进行操作触发窗口更新时,第二电子设备显示屏幕上对应的投屏窗口同步更新。具体的,第一电子设备接收到用户触发显示窗口更新的操作后,对显示窗口显示的数据进行更新,及,将更新的数据发送到第二电子设备并指示第二电子设备同步更新对应的投屏窗口,第二电子设备根据第一电子设备的指示,将接收到的更新的数据在投屏窗口进行显示。例如,如图6a所示的窗口分布,用户对第一电子设备中显示窗口A进行操作触发窗口更新时,第二电子设备的显示屏幕上投屏窗口A1的内容同步更新,与所述显示窗口A的内容保持一致。
本申请实施例中,电子设备显示屏幕上的窗口中显示的内容发生变化的情况都属于窗口更新,能引起该窗口显示内容发生变化的操作都属于触发窗口更新的操作。
示例性的,基于上述图6a至图6d所示的示例,第一电子设备投屏到第二电子设备之后,若用户点击第一电子设备桌面窗口中的“信息”应用图标打开短信界面,则第一电子设备显示的窗口从图6b所示的桌面窗口更新为如图6e所示的短信界面对应的窗口。第一电子设备将更新后显示的短信窗口相关数据发送到第二电子设备,第二电子设备根据接收的数据同步更新图6d所示的第一电子设备的投屏窗口(窗口2),得到如图6f所示的显示窗口,其中,窗口1为第二电子设备自身的窗口,窗口2为第一电子设备投屏到第二电子设备的窗口更新后的窗口。
上述第一电子设备与第二电子设备建立设备间屏幕协同后,用户对第二电子设备显示屏幕上的投屏窗口进行操作触发窗口更新时,第一电子设备中对应的显示窗口同步更新。具体的,第二电子设备接收到用户触发投屏窗口更新的操作后,对投屏窗口显示的数据进行更新,及,将更新的数据发送到第一电子设备并指示第一电子设备同步更新对应的显示窗口,第一电子设备根据第二电子设备的指示,将接收到的更新的数据在对应的显示窗口进行显示。例如,如图6a所示的窗口分布,用户对第二电子设备显示屏幕上投屏窗口A1进行操作触发窗口更新时,第一电子设备中显示窗口A的内容同步更新,与所述投屏窗口A1的内容保持一致。
上述第一电子设备与第二电子设备建立的设备间屏幕协同是单向的,即第一电子设备与第二电子设备建立设备间屏幕协同后,第一电子设备将显示窗口投屏到第二电子设备进行显示,但第二电子设备不会将显示窗口投屏到第一电子设备进行显示。
在本申请一些实施例中,作为一种可选的实施方式,在上述第一电子设备与第二电子设备建立设备间屏幕协同的基础上,第二电子设备直接与第一电子设备建立设备间屏幕协同,将自身的显示窗口投屏到第一电子设备的显示屏幕上进行显示。
作为另一种可选的实施方式,在上述第一电子设备与第二电子设备建立设备间屏幕协同,并将显示窗口投屏到第二电子设备的显示屏幕上进行显示后,第二电子设备在显示屏幕上自身的显示窗口中输出显示与第一电子设备建立设备间屏幕协同的投屏按钮,该投屏按钮用于触发第二电子设备将显示屏幕显示的自身的窗口投屏到第一电子设备的显示屏幕上进行显示。示例性的,如图7a中的示意图(a)所示,第一电子设备协同投屏到第二电子设备之后,第二电子设备在自身的显示窗口B输出显示投屏按钮,用户通过点击该投屏按钮,触发第二电子设备将显示屏幕显示的自身的窗口B投屏到第一电子设备的显示屏幕上进行显示。第二电子设备响应于用户对该投屏按钮的操作,向第一电子设备发送投屏请求消息,第一电子设备通过请求后,第二电子设备协同投屏到第一电子设备,将当前显示屏幕中自身的显示窗口B投屏到第一电子设备的显示屏幕上进行显示,第一电子设备在显示屏幕上同时显示自身的显示窗口A和第二电子设备的显示窗口投屏的投屏窗口B1(在本申请中也可以被称为第四窗口),如图7a中示意图(b)所示。其中,窗口B1为第二电子设备中自身的显示窗口B投屏到第一电子设备的显示屏幕后对应的投屏窗口。
上述第二电子设备可根据实际场景或用户设置确定设备间屏幕协同的发起时机,提高了设备间屏幕协同控制的灵活性。
示例性的,基于上述图6f所示的示例,第一电子设备投屏到第二电子设备之后,第二电子设备在自身显示窗口(窗口1)中显示投屏按钮701,如图7b所示。第二电子设备响应于用户点击该投屏按钮的操作,向第一电子设备发送投屏请求。如图7c所示,第一电子设备接收所述投屏请求后,在自身显示窗口中显示提示信息,提示用户选择是否接受第二电子设备的投屏,例如显示询问信息“是否接受投屏?”,若根据用户操作确定接受第二电子设备的投屏,则向第二电子设备发送接受投屏的反馈信息。第二电子设备接收到所述反馈信息后,将自身窗口对应的数据发送到第一电子设备,第一电子设备根据接收到的数据显示第二电子设备投屏的窗口,如图7d所示。其中,窗口1为第一电子设备接受投屏之前显示的自身的窗口,窗口2为第二电子设备投屏到第一电子设备的窗口,显示内容与第二电子设备自身的窗口的显示内容相同。
上述第二电子设备与第一电子设备建立设备间屏幕协同后,用户对第二电子设备自身的显示窗口进行操作触发窗口更新时,第一电子设备显示屏幕上对应的投屏窗口同步更新。具体的,第二电子设备接收到用户触发显示窗口更新的操作后,对显示窗口显示的数据进行更新,及,将更新的数据发送到第一电子设备并指示第一电子设备同步更新对应的投屏窗口,第一电子设备根据第二电子设备的指示,将接收到的更新的数据在投屏窗口进行显示。例如,如图7a中示意图(b)所示的窗口分布,用户对第二电子设备中显示窗口B进行操作触发窗口更新时,第一电子设备的显示屏幕上投屏窗口B1的内容同步更新,与所述显示窗口B的内容保持一致。
示例性的,基于上述图7a至图7d所示的示例,第二电子设备投屏到第一电子设备之后,若用户点击桌面中的“相机”应用图标打开拍照界面,则第二电子设备显示的窗口从图7b所示的桌面窗口更新为如图7e所示的拍照界面对应的窗口。第二电子设备将更新后显示的相机窗口相关数据发送到第一电子设备,第一电子设备根据接收的数据同步更新图7d所示的第二电子设备的投屏窗口(窗口2),得到如图7f所示的显示窗口。其中,窗口1为第一电子设备自身的窗口,窗口2为第二电子设备投屏到第一电子设备的窗口更新后的窗口。
上述第二电子设备与第一电子设备建立设备间屏幕协同后,用户对第一电子设备显示屏幕上的投屏窗口进行操作触发窗口更新时,第二电子设备中对应的显示窗口同步更新。具体的,第一电子设备接收到用户触发投屏窗口更新的操作后,对投屏窗口显示的数据进行更新,及,将更新的数据发送到第二电子设备并指示第二电子设备同步更新对应的显示窗口,第二电子设备根据第一电子设备的指示,将接收到的更新的数据在对应的显示窗口进行更新显示。例如,如图7a中示意图(b)所示的窗口分布,用户对第一电子设备显示屏幕上投屏窗口B1进行操作触发窗口更新时,第二电子设备中显示窗口B的内容同步更新,与所述投屏窗口B1的内容保持一致。
上述第一电子设备协同投屏到第二电子设备,同时,第二电子设备协同投屏到第一电子设备后,第一电子设备与第二电子设备建立双向设备间屏幕协同,可实现双向投屏控制。
在本申请一些实施例中,第一电子设备和第二电子设备建立双向设备间屏幕协同后,可分别对显示屏幕上的显示窗口和投屏窗口进行适应性调整,以得到更好的视觉显示效果,例如可以调整显示窗口、投屏窗口的大小、显示区域等信息。
参考图8所示的双向设备间屏幕协同控制流程示意图,对本申请提供的设备间屏幕协同方法进行说明。如图8所示,该方法具体流程包括:
步骤1:第一电子设备检测到用户点击显示屏幕的显示窗口中投屏按钮的操作后,生成相应的操作信息。
其中,所述显示窗口可参见附图6a中窗口A或参见附图6b中窗口,所述投屏按钮可参见附图6a的窗口A中投屏按钮或参见附图6b中投屏按钮601。
步骤2:第一电子设备根据所述操作信息,向第二电子设备发送投屏请求消息,与第二电子设备建立设备间屏幕协同。
步骤3:第一电子设备对显示屏幕上自身的显示窗口中相关数据进行显示流编码。
步骤4:第一电子设备将已编码显示流数据发送到第二电子设备。
步骤5:第二电子设备对接收的已编码显示流数据进行解码后,生成对应的投屏窗口,并在显示屏幕上同时显示自身显示窗口与所述投屏窗口。
其中,第二电子设备自身显示窗口可参见附图6a中所示的窗口B或参见附图6d中所述的窗口1,所述投屏窗口可参见附图6a中所示的窗口A1或参见附图6d中所述的窗口2。
步骤6:第二电子设备检测到用户点击显示屏幕上自身的显示窗口中投屏按钮的操作后,生成相应的操作信息。
其中,所述显示窗口可参见附图7a的示意图(a)中窗口B或参见附图7b中窗口1,所述投屏按钮可参见附图7a的示意图(a)的窗口B中投屏按钮或参见附图7b的窗口1中投屏按钮701。
步骤7:第二电子设备根据所述操作信息,向第一电子设备发送投屏请求消息,与第一电子设备建立设备间屏幕协同。
步骤8:第二电子设备对显示屏幕上自身的显示窗口中相关数据进行显示流编码。
步骤9:第二电子设备将已编码显示流数据发送到第一电子设备。
步骤10:第一电子设备对接收的已编码显示流数据进行解码后,生成对应的投屏窗口,并在显示屏幕上同时显示自身显示窗口与所述投屏窗口。
其中,第一电子设备自身显示窗口可参见7a的示意图(b)中窗口A或参见附图7d中所述的窗口1,所述投屏窗口可参见附图7a的示意图(b)的窗口B1或参见附图7d中所述的窗口2。
本申请实施例中,第一电子设备和第二电子设备中的显示窗口与投屏窗口可以分层显示,或者,可以分区显示。
示例性的,假设上述第一电子设备和第二电子设备均为手机,则第一电子设备和第二电子设备中的显示窗口与投屏窗口分层显示时,第一电子设备与第二电子设备执行上述方法后的效果如图9所示。其中,第一电子设备的图层1用于显示自身的显示窗口,图层2用于显示第二电子设备自身的显示窗口投屏到第一电子设备后的投屏窗口,与第二电子设备的图层3中显示的显示窗口的内容相同,且所述图层2位于所述图层1之上。第二电子设备的图层3用于显示自身的显示窗口,图层4用于显示第一电子设备自身的显示窗口投屏到第二电子设备后的投屏窗口,与所述图层1中显示的显示窗口的内容相同,且所述图层4位于所述图层3之上。
示例性的,假设上述第一电子设备和第二电子设备均为手机,则第一电子设备和第二电子设备中的显示窗口与投屏窗口分区显示时,第一电子设备与第二电子设备执行上述方法后的效果如图10所示。其中,窗口1为第一电子设备显示屏幕上自身的显示窗口,窗口2为第二电子设备自身的显示窗口投屏到第一电子设备后的投屏窗口,与第二电子设备中窗口3显示内容相同。窗口3为第二电子设备显示屏幕上自身的显示窗口,窗口4为第一电子设备自身的显示窗口投屏到第二电子设备后的投屏窗口,与所述窗口1显示内容相同。
本申请实施例中,第一电子设备与第二电子设备建立双向投屏后,第一电子设备或第二电子设备在显示多个窗口,例如同时显示自身窗口或对端设备投屏到自身的窗口时,可以对待显示的窗口按比例缩放后进行显示,例如图9中所示的显示方式;或者适应性调整待显示的窗口中内容布局后进行显示,例如图10中所示的显示方式。
上述第一电子设备与第二电子设备建立双向设备间屏幕协同后,第一电子设备或第二电子设备对显示屏幕中各窗口进行的操作都可同步到对端的显示屏幕中对应的窗口。因此,使用第一电子设备的用户和使用第二电子设备的用户可以实时查看双方展示的信息,提高了用户体验度,且第一电子设备与第二电子设备之间可以相互支持同步操作,提高了设备间协同操作的效率。例如,如图11所示,以第一电子设备和第二电子设备为手机为例,假设使用第一电子设备的用户C与使用第二电子设备的用户D在同一游戏场景中时,第一电子设备与第二电子设备通过执行上述设备间屏幕协同方法,分别将自身显示窗口投屏到对方的显示屏幕上进行显示,能够分别在第一电子设备和第二电子设备的显示屏幕中同时显示用户C和用户D的游戏场景界面,实现协同双向共享,用户C和用户D无需进行场景切换就能在自身设备的显示屏幕的投屏窗口中实时查看对方的状态信息。
上述第一电子设备与第二电子设备建立双向设备间屏幕协同后,可以进一步在显示屏幕中输出显示对双向设备间屏幕协同进行控制的控制按钮,以使用户对第一电子设备与第二电子设备间的双向投屏进行灵活控制。
在本申请一些实施例中,第一电子设备与第二电子设备建立双向设备间屏幕协同后,第一电子设备和第二电子设备均可以在显示屏幕上的投屏窗口中设置控制对端开关按钮,该控制对端开关按钮用于控制电子设备更新投屏窗口时是否同步控制对应的显示窗口,使所述显示窗口同步更新。具体的,第一电子设备中该控制对端开关按钮打开时,第一电子设备更新投屏窗口时,同时控制第二电子设备中对应的显示窗口更新;用户对第一电子设备显示屏幕中的投屏窗口进行操作触发窗口更新时,第二电子设备中对应的显示窗口同步更新。第二电子设备中该控制对端开关按钮打开时,第二电子设备更新投屏窗口时,同时控制第一电子设备中对应的显示窗口更新;用户对第二电子设备显示屏幕中的投屏窗口进行操作触发窗口更新时,第一电子设备中对应的显示窗口同步更新。
在本申请一些实施例中,第一电子设备与第二电子设备建立双向设备间屏幕协同后,第一电子设备和第二电子设备均可以在显示屏幕上自身的显示窗口中设置允许对端控制开关按钮(在本申请中第一电子设备显示的允许对端控制开关按钮也可以被称为第一控制选项,第二电子设备显示的允许对端控制开关按钮也可以被称为第二控制选项),该允许对端控制开关按钮用于控制电子设备自身的显示窗口是否接受对应的投屏窗口的同步控制,与所述投屏窗口同步更新。具体的,第一电子设备中该允许对端控制开关按钮打开时,第一电子设备允许用户通过第二电子设备的投屏窗口对第一电子设备的显示窗口进行控制,用户对第二电子设备显示屏幕中的投屏窗口进行操作触发窗口更新时,第一电子设备中对应的显示窗口同步更新。第二电子设备中该允许对端控制开关按钮打开时,第二电子设备允许用户通过第一电子设备的投屏窗口对第二电子设备的显示窗口进行控制,用户对第一电子设备显示屏幕中的投屏窗口进行操作触发窗口更新时,第二电子设备中对应的显示窗口同步更新。
示例性的,如图12所示,第一电子设备与第二电子设备建立双向投屏后,第一电子设备的投屏窗口B1中显示控制对端开关按钮,第二电子设备在自身的显示窗口B中显示允许对端控制开关按钮。用户通过对所述控制对端开关按钮进行相应操作(例如点击、滑动等)打开所述投屏窗口B1中的控制对端开关按钮时,第一电子设备响应于该操作,设置为控制对端模式,用户通过对所述控制对端开关按钮进行相应操作关闭所述投屏窗口B1中的控制对端开关按钮时,第一电子设备响应于该操作,设置为不控制对端模式。用户通过对所述允许对端控制开关按钮进行相应操作(例如点击、滑动等)打开所述显示窗口B中的允许对端控制开关按钮时,第二电子设备响应于该操作,设置为允许对端控制模式,用户通过对所述允许对端控制开关按钮进行相应操作关闭所述显示窗口B中的允许对端控制开关按钮时,第二电子设备响应于该操作,设置为不允许对端控制模式。
其中,一种可能的情况:第一电子设备设置为控制对端模式时,向第二电子设备发送控制对端的请求信息,第二电子设备接收所述请求信息后,若确定已设置为允许对端控制模式,则向第一电子设备返回允许控制的反馈信息,若确定已设置为不允许对端控制模式,则向第一电子设备返回不允许控制的反馈信息,第一电子设备接收到第二电子设备返回的允许控制的反馈信息后,允许用户通过所述投屏窗口B1对所述第二电子设备进行控制,则用户在第一电子设备的投屏窗口B1进行操作触发窗口更新时,第一电子设备更新所述投屏窗口B1的同时,向第二电子设备发送同步更新所述投屏窗口B1对应的显示窗口B的请求,以使第二电子设备同步更新所述显示窗口B。第一电子设备接收到第二电子设备返回的不允许控制的反馈信息后,不允许用户通过所述投屏窗口B1对所述第二电子设备进行控制,则用户在第一电子设备的投屏窗口B1进行操作触发窗口更新时,第一电子设备仅更新所述投屏窗口B1。
第一电子设备设置为不控制对端模式时,不允许用户通过所述投屏窗口B1对所述第二电子设备进行控制,则用户在第一电子设备的投屏窗口B1进行操作触发窗口更新时,第一电子设备仅更新所述投屏窗口B1。
另一种可能的情况:第二电子设备设置为允许对端控制模式时,向第一电子设备发送允许通过投屏窗口B1控制对应的显示窗口B的提示信息,第一电子设备接收提示信息后反馈给用户,并可以通过投屏窗口B1中的请求对端控制开关按钮,根据用户相应操作设置控制对端或不控制对端的模式。在用户在第一电子设备的投屏窗口B1进行操作触发窗口更新时,第一电子设备可根据已设置的控制对端或不控制对端模式,确定仅更新所述投屏窗口B1,或者同时控制第二电子设备更新对应的显示窗口B。
第二电子设备设置为不允许对端控制模式时,向第一电子设备发送不允许通过投屏窗口B1控制对应的显示窗口B的提示信息,第一电子设备接收提示信息后将所述提示信息反馈给用户,并且,在用户在第一电子设备的投屏窗口B1进行操作触发窗口更新时,第一电子设备仅更新所述投屏窗口B1。
在本申请一些实施例中,作为一种可选的实施方式,第二电子设备设置为不允许对端控制模式时,向第一电子设备发送不接受投屏窗口控制的提示信息,第一电子设备根据该提示信息阻断用户通过所述投屏窗口B1对B的控制,则用户在所述投屏窗口B1进行操作触发窗口更新时,第一电子设备仅更新所述投屏窗口B1。作为另一种可选的实施方式,第二电子设备设置为不允许对端控制模式时,第二电子设备阻断用户通过所述投屏窗口B1对B的控制,则用户在所述投屏窗口B1进行操作触发窗口更新时,第一电子设备更新所述投屏窗口B1,并请求第二电子设备同步更新显示窗口B,但第二电子设备接收到该请求后不响应,维持所述显示窗口B不变。
第二电子设备投屏窗口A1中的控制对端开关按钮,及第一电子设备自身显示窗口A中的允许对端控制开关按钮的操作及控制方式,可分别参考上述第一电子设备投屏窗口B1中的控制对端开关按钮,及第二电子设备自身显示窗口B中的允许对端控制开关按钮的操作及控制方式,此处不再赘述。
在本申请一些实施例中,第一电子设备与第二电子设备建立双向投屏后,互为对方的对端设备。第一电子设备或第二电子设备更新对端设备投屏来的投屏窗口时,若电子设备自身能够生成所述投屏窗口更新后显示的内容,则可以根据更新后所述投屏窗口对应的数据更新所述投屏窗口。其中,若需控制所述投屏窗口对应的对端设备上的显示窗口同时更新,则向对端设备发送同步更新所述显示窗口的请求,对端设备根据该请求更新其显示的所述显示窗口。若电子设备自身不能生成所述投屏窗口更新后显示的内容,则可以向对端设备请求所述投屏窗口更新后对应的数据,根据对端设备返回的数据更新所述投屏窗口。其中,若需控制所述投屏窗口对应的对端设备上的显示窗口更新,则可以在向对端设备请求所述投屏窗口更新后对应的数据时,同时请求对端设备同步更新所述投屏窗口对应的所述显示窗口,对端设备根据该请求,返回所述投屏窗口更新后对应到的数据时,同步更新其显示的所述显示窗口。
上述在第一电子设备与第二电子设备建立双向设备间屏幕协同的基础上,通过在第一电子设备和第二电子设备显示屏幕中的投屏窗口增加控制对端的开关按钮,在显示窗口中增加允许对端控制的开关按钮,能够使用户根据需求对双向投屏控制进行功能选择,对是否发起控制和是否接受控制进行灵活切换,提高了双向设备间屏幕协同控制的灵活性。
在本申请实施例中,上述第一电子设备与第二电子设备建立双向设备间屏幕协同的方法还可应用于包括多于两个设备的多设备场景中,在所述多设备场景中的任意两个电子设备可分别作为本申请上述实施例所述的第一电子设备和第二电子设备,并分别执行对应的设备间屏幕协同方法,将自身的显示窗口投屏到对方的显示屏幕上进行显示。
在本申请一些实施例中,在所述多设备场景中的任一电子设备可作为本申请上述实施例所述的第一电子设备,其它能与该电子设备建立通信连接的电子设备可分别作为本申请上述实施例所述的第二电子设备,与所述第一电子设备配合执行本申请上述实施例所述的设备间屏幕协同方法,将自身的显示窗口投屏到对方的显示屏幕上进行显示。
作为一种可选的实施方式,第一电子设备与第二电子设备建立双向投屏后,若检测到能与第三电子设备建立多屏协同,则显示询问是否与所述第三电子设备建立屏幕协同的提示信息,并响应于接收到的与所述第三电子设备建立屏幕协同的指示,在保持与所述第二电子设备间的双向投屏的基础上,与所述第三电子设备建立新的投屏关系。
例如,基于上述图7f所示的示例,第一电子设备即平板电脑1与第二电子设备即平板电脑2建立双向投屏后,平板电脑1在显示屏幕上同时显示自身的窗口(窗口1)和平板电脑2投屏来的窗口(窗口2),若平板电脑1检测到能够与第三电子设备例如手机1建立多屏协同,则平板电脑1在自身显示窗口中显示提示信息,询问用户是否需要投屏到手机1,例如显示询问信息“是否投屏到手机1?”,如图13a所示。若根据用户操作确定投屏到手机1,则平板电脑1在维持和平板电脑2之间的双向投屏不中断的情况下,作为第一电子设备,将手机1作为第二电子设备,执行本申请实施例提供的应用于第一电子设备与第二电子设备的设备间屏幕协同方法,实现平板电脑1将自身的显示窗口投屏到手机1的显示屏幕上进行显示。平板电脑1投屏到手机1后,可以接受手机1的投屏,在自身的显示屏幕上同时显示自身的显示窗口、平板电脑2投屏来的窗口和手机1投屏来的窗口。例如,基于图7f所示的平板电脑1的显示屏幕,手机1中显示窗口为备忘录界面对应的窗口时,平板电脑1在与平板电脑2建立双向投屏的基础上,又与手机1建立双向投屏后,平板电脑1的显示屏幕上显示界面如图13b所示。其中,窗口1为平板电脑1自身的显示窗口,窗口2为平板电脑2投屏到平板电脑1的窗口,窗口3为手机1投屏到平板电脑1的窗口。
作为另一种可选的实施方式,电子设备若检测到能与其它多个电子设备建立通信连接,则在显示屏幕上自身的显示窗口中输出显示与其它电子设备建立设备间屏幕协同的协同请求按钮,并设置对应的展开列表,所述展开列表包括所述多个电子设备的设备标志,用户可根据设备标志选择需要建立多屏连接的电子设备。
例如,假设某一电子设备1检测到能与其它多个电子设备建立通信连接,则在显示屏幕上自身的显示窗口中输出显示投屏到其它电子设备的投屏按钮1401,并设置对应的展开列表,如图14中示意图(a)所示,用户点击该投屏按钮后,电子设备1输出显示所述展开列表,如图14中示意图(b)所示,用户通过点击操作在所述展开列表中选择至少一个电子设备,第一电子设备响应于用户的操作,与用户选择的至少一个电子设备建立设备间屏幕协同。例如,如图14中示意图(b)所示,展示列表中包括电子设备2、电子设备3、电子设备4、电子设备5共四个电子设备时,用户选择其中的电子设备2和电子设备3建立多屏连接。则将电子设备1作为本申请上述实施例所述的第一电子设备,将电子设备2和电子设备3分别作为本申请上述实施例所述的第二电子设备,分别与所述电子设备1配合执行本申请上述实施例所述的设备间屏幕协同方法,实现电子设备1与电子设备2和电子设备3中任一电子设备之间的双向投屏控制。
图15为上述设备间屏幕协同方法的一种双向投屏控制效果示意图,如图所示,窗口101为电子设备1显示屏幕上自身的显示窗口,窗口201为电子设备2显示屏幕上自身的显示窗口,窗口301为电子设备3显示屏幕上自身的显示窗口;窗口102为电子设备2中窗口201投屏到电子设备1后的投屏窗口,与窗口201显示内容相同,窗口103为电子设备3中窗口301投屏到电子设备1后的投屏窗口,与窗口301显示内容相同;窗口202为电子设备1中窗口101投屏到电子设备2后的投屏窗口,与窗口101显示内容相同;窗口302为电子设备1中窗口101投屏到电子设备3后的投屏窗口,与窗口101显示内容相同。
在此基础上,还可以将电子设备2和电子设备3分别作为本申请上述实施例所述的第一电子设备和第二电子设备,配合执行本申请上述实施例所述的设备间屏幕协同方法,实现电子设备2与电子设备3之间的双向投屏控制。进而,能够实现电子设备1、电子设备2和电子设备3中任意两个电子设备之间的双向投屏控制。
图16为上述设备间屏幕协同方法的一种双向投屏控制效果示意图,如图所示,在图14所示的双向投屏控制效果基础上,还包括:窗口203为电子设备3中窗口301投屏到电子设备2后的投屏窗口,与窗口301显示内容相同;窗口303为电子设备2中窗口201投屏到电子设备3后的投屏窗口,与窗口201显示内容相同。
上述实施例应用于多设备场景中,能够在多个设备间进行设备间屏幕协同,一个设备的显示窗口可以投屏到其它多个设备中,并可以接受其它多个设备的投屏,因此在多设备场景中能够根据实际需求灵活调整设备间屏幕协同的应用对象,保证高效的屏幕协同,提高了设备间屏幕协同的实用性。
基于上述实施例,本申请实施例提供了一种设备间屏幕协同方法,应用于第一电子设备和第二电子设备组成的***,如图17所示,该方法包括如下步骤:
步骤S1701:第一电子设备与第二电子设备建立通信连接。
步骤S1702:所述第一电子设备显示第一窗口,所述第一窗口中包括第一内容。
步骤S1703:所述第二电子设备显示第二窗口,所述第二窗口中包括第二内容。
步骤S1704:所述第一电子设备向所述第二电子设备发送第一投屏数据,所述第一投屏数据包括所述第一内容的信息。
步骤S1705,所述第二电子设备接收所述第一投屏数据,显示所述第二窗口和第三窗口,所述第三窗口中包括所述第一内容。
步骤S1706,所述第二电子设备向所述第一电子设备发送第二投屏数据,所述第二投屏数据包括所述第二内容的信息。
步骤S1707,所述第一电子设备接收所述第二投屏数据,显示所述第一窗口和第四窗口,所述第四窗口中包括所述第二内容。
具体的,该方法中第一电子设备和第二电子设备所执行的具体步骤可参阅前述实施例,在此不做过多赘述。
需要说明的是,上述各步骤的执行顺序或时序是可变化的,例如,上述步骤S1706可以在步骤S1704、步骤S1705之后执行,也可以与步骤S1704同时执行。
基于以上实施例,本申请实施例还提供了一种电子设备,所述电子设备可以为第一电子设备或第二电子设备。所述电子设备用于实现本申请实施例提供的设备间屏幕协同方法。如图18所示,所述电子设备1800可以包括:显示屏幕1801,一个或多个处理器1802,存储器1803,以及一个或多个计算机程序(图中未示出)。上述各器件可以通过一个或多个通信总线1804耦合。
其中,显示屏幕1801用于显示图像、视频、应用界面等相关用户界面。存储器1803中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令;处理器1802调用存储器1803中存储的所述指令,使得电子设备1800执行本申请实施例提供的设备间屏幕协同方法。
上述本申请提供的实施例中,从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
以上实施例中所用,根据上下文,术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。另外,在上述实施例中,使用诸如第一、第二之类的关系术语来区份一个实体和另一个实体,而并不限制这些实体之间的任何实际的关系和顺序。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于随机存取存储器(random accessmemory,RAM)、闪存、只读存储器(read-only memory,ROM)、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个或多个示例性的设计中,本申请实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电脑、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、数字通用光盘(digital versatile disc,DVD)、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (19)

1.一种设备间屏幕协同方法,应用于第一电子设备与第二电子设备组成的***,其特征在于,包括:
所述第一电子设备与所述第二电子设备建立通信连接;
所述第一电子设备显示第一窗口,所述第一窗口中包括第一内容;
所述第二电子设备显示第二窗口,所述第二窗口中包括第二内容;
所述第一电子设备向所述第二电子设备发送第一投屏数据,所述第一投屏数据包括所述第一内容的信息;
所述第二电子设备接收所述第一投屏数据,显示所述第二窗口和第三窗口,所述第三窗口中包括所述第一内容;
所述第二电子设备向所述第一电子设备发送第二投屏数据,所述第二投屏数据包括所述第二内容的信息;
所述第一电子设备接收所述第二投屏数据,显示所述第一窗口和第四窗口,所述第四窗口中包括所述第二内容。
2.根据权利要求1所述的方法,其特征在于,
所述第一电子设备向所述第二电子设备发送第一投屏数据之前,所述方法还包括:
所述第一电子设备响应于接收到的第一操作,向所述第二电子设备发送第一投屏请求,所述第一投屏请求用于请求将所述第一内容投屏到所述第二电子设备;
所述第二电子设备显示所述第二窗口和第三窗口之前,所述方法还包括:
所述第二电子设备显示第一提示信息,所述第一提示信息用于提示用户是否接受所述第一电子设备将所述第一内容投屏到所述第二电子设备。
3.根据权利要求1或2所述的方法,其特征在于,所述第二电子设备显示所述第二窗口和第三窗口之后,所述方法还包括:
所述第一电子设备响应于接收到的第二操作,更新所述第一窗口中的第一内容;或者
所述第二电子设备响应于接收到的第三操作,向所述第一电子设备发送第一更新请求,所述第一更新请求用于请求所述第一电子设备更新所述第一窗口中的第一内容;
所述第一电子设备响应于接收到的所述第一更新请求,更新所述第一窗口中的第一内容。
4.根据权利要求3所述的方法,其特征在于,所述第一电子设备更新所述第一窗口中的第一内容时,所述方法还包括:
所述第一电子设备向所述第二电子设备发送更新的第一投屏数据;
所述第二电子设备根据接收到的所述更新的第一投屏数据,更新所述第三窗口中的第一内容。
5.根据权利要求3所述的方法,其特征在于,所述第一电子设备显示所述第一窗口和第四窗口之后,所述方法还包括:
所述第一电子设备显示第一控制选项;
所述第一电子设备响应于接收到的所述第一更新请求,更新所述第一窗口中的第一内容之前,所述方法还包括:
所述第一电子设备接收作用于所述第一控制选项的第四操作。
6.根据权利要求1或2所述的方法,其特征在于,所述第一窗口与所述第四窗口的显示区域不同,或者,所述第一窗口的显示区域覆盖所述第四窗口的显示区域中的部分区域,或者,所述第四窗口的显示区域覆盖所述第一窗口的显示区域中的部分区域。
7.根据权利要求1或2所述的方法,其特征在于,所述***还包括第三电子设备,所述第一电子设备显示所述第一窗口和第四窗口之后,所述方法还包括:
所述第一电子设备与所述第三电子设备建立通信连接;
所述第三电子设备显示第五窗口,所述第五窗口中包括第三内容;
所述第一电子设备向所述第三电子设备发送所述第一投屏数据;
所述第三电子设备接收所述第一投屏数据,显示所述第五窗口和第六窗口,所述第六窗口中包括所述第一内容;
所述第三电子设备向所述第一电子设备发送第三投屏数据,所述第三投屏数据包括所述第三内容的信息;
所述第一电子设备接收所述第三投屏数据,显示所述第一窗口和第七窗口,所述第七窗口中包括所述第三内容。
8.一种设备间屏幕协同方法,应用于第一电子设备,其特征在于,包括:
与第二电子设备建立通信连接;
显示第一窗口,所述第一窗口中包括第一内容;
向所述第二电子设备发送第一投屏数据,所述第一投屏数据包括所述第一内容的信息;
接收来自所述第二电子设备的第二投屏数据,所述第二投屏数据包括第二内容的信息,所述第二内容为所述第二电子设备显示的第二窗口中包括的内容;
显示所述第一窗口和第四窗口,所述第四窗口中包括所述第二内容。
9.根据权利要求8所述的方法,其特征在于,在向所述第二电子设备发送第一投屏数据之前,所述方法还包括:
响应于接收到的第一操作,向所述第二电子设备发送第一投屏请求,所述第一投屏请求用于请求将所述第一内容投屏到所述第二电子设备。
10.根据权利要求8或9所述的方法,其特征在于,在接收来自所述第二电子设备的第二投屏数据之前,所述方法还包括:
显示第二提示信息,所述第二提示信息用于提示用户是否接受所述第二电子设备将所述第二内容投屏到所述第一电子设备。
11.根据权利要求8或9所述的方法,其特征在于,在向所述第二电子设备发送第一投屏数据之后,所述方法还包括:
响应于接收到的第二操作,更新所述第一窗口中的第一内容;或者
响应于接收到的来自所述第二电子设备的第一更新请求,更新所述第一窗口中的第一内容,其中,所述第一更新请求用于请求所述第一电子设备更新所述第一窗口中的第一内容。
12.根据权利要求11所述的方法,其特征在于,在更新所述第一窗口中的第一内容时,所述方法还包括:
向所述第二电子设备发送更新的第一投屏数据。
13.根据权利要求11所述的方法,其特征在于,在显示所述第一窗口和第四窗口之后,所述方法还包括:
显示第一控制选项;
在响应于来自所述第二电子设备的所述第一更新请求,更新所述第一窗口中的第一内容之前,所述方法还包括:
接收作用于所述第一控制选项的第四操作。
14.根据权利要求8或9所述的方法,其特征在于,在显示所述第一窗口和第四窗口之后,所述方法还包括:
响应于接收到的第七操作,向所述第二电子设备发送第二更新请求,所述第二更新请求用于请求所述第二电子设备更新所述第二窗口中的第二内容。
15.根据权利要求14所述的方法,其特征在于,在向所述第二电子设备发送第二更新请求之后,所述方法还包括:
响应于接收到的来自所述第二电子设备的更新的第二投屏数据,更新所述第四窗口中的第二内容。
16.根据权利要求8或9所述的方法,其特征在于,所述第一窗口与所述第四窗口的显示区域不同,或者,所述第一窗口的显示区域覆盖所述第四窗口的显示区域中的部分区域,或者,所述第四窗口的显示区域覆盖所述第一窗口的显示区域中的部分区域。
17.根据权利要求8或9所述的方法,其特征在于,在显示所述第一窗口和第四窗口之后,所述方法还包括:
与第三电子设备建立通信连接;
向所述第三电子设备发送所述第一投屏数据;
接收来自所述第三电子设备的第三投屏数据,所述第三投屏数据包括第三内容的信息,所述第三内容为所述第三电子设备显示的第五窗口中包括的内容;
显示所述第一窗口和第七窗口,所述第七窗口中包括所述第三内容。
18.一种电子设备,其特征在于,所述电子设备包括显示屏幕,存储器和一个或多个处理器;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求8至17中任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括程序指令,当所述程序指令在终端设备上运行时,使得所述终端设备执行如权利要求1至7任一项所述的方法,或者执行如权利要求8至17任一项所述的方法。
CN202011190260.1A 2020-10-30 2020-10-30 一种设备间屏幕协同方法及设备 Active CN114442969B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011190260.1A CN114442969B (zh) 2020-10-30 2020-10-30 一种设备间屏幕协同方法及设备
PCT/CN2021/125218 WO2022089294A1 (zh) 2020-10-30 2021-10-21 一种设备间屏幕协同方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011190260.1A CN114442969B (zh) 2020-10-30 2020-10-30 一种设备间屏幕协同方法及设备

Publications (2)

Publication Number Publication Date
CN114442969A CN114442969A (zh) 2022-05-06
CN114442969B true CN114442969B (zh) 2024-06-18

Family

ID=81357685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011190260.1A Active CN114442969B (zh) 2020-10-30 2020-10-30 一种设备间屏幕协同方法及设备

Country Status (2)

Country Link
CN (1) CN114442969B (zh)
WO (1) WO2022089294A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117480487A (zh) * 2022-05-30 2024-01-30 京东方科技集团股份有限公司 屏幕信息同步方法及***
CN117560792A (zh) * 2022-08-05 2024-02-13 荣耀终端有限公司 一种多设备协同方法、电子设备及相关产品
CN118120227A (zh) * 2022-09-29 2024-05-31 京东方科技集团股份有限公司 一种数据共享显示的方法及智能显示***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置
CN110622123A (zh) * 2017-08-23 2019-12-27 华为技术有限公司 一种显示方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293583B (zh) * 2016-08-03 2019-10-11 广东威创视讯科技股份有限公司 桌面窗口共享方法和***
US10331394B1 (en) * 2017-12-21 2019-06-25 Logmein, Inc. Manipulating shared screen content
CN110673782B (zh) * 2019-08-29 2022-11-29 荣耀终端有限公司 一种应用于投屏场景的控制方法以及相关设备
CN110515580B (zh) * 2019-09-02 2022-08-19 联想(北京)有限公司 一种显示控制方法、装置及终端
CN111131866B (zh) * 2019-11-25 2021-06-15 华为技术有限公司 一种投屏音视频播放方法及电子设备
CN111158624A (zh) * 2019-12-31 2020-05-15 维沃移动通信有限公司 一种应用分享方法、电子设备及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622123A (zh) * 2017-08-23 2019-12-27 华为技术有限公司 一种显示方法及装置
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置

Also Published As

Publication number Publication date
WO2022089294A1 (zh) 2022-05-05
CN114442969A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
WO2020238874A1 (zh) 一种vr多屏显示方法及电子设备
CN114442969B (zh) 一种设备间屏幕协同方法及设备
WO2022100239A1 (zh) 设备协作方法、装置、***、电子设备和存储介质
CN110554816B (zh) 一种界面生成方法及设备
EP4040277A1 (en) Method for displaying multiple windows, and electronic device and system
CN111221845A (zh) 一种跨设备信息搜索方法及终端设备
US20230094172A1 (en) Cross-Device Application Invoking Method and Electronic Device
US20230422154A1 (en) Method for using cellular communication function, and related apparatus and system
CN114520868B (zh) 视频处理方法、装置及存储介质
CN112527174B (zh) 一种信息处理方法及电子设备
CN115039378A (zh) 一种音频输出方法及终端设备
WO2022028494A1 (zh) 一种多设备数据协作的方法及电子设备
CN113190362B (zh) 服务调用方法、装置、计算机设备及存储介质
CN115686401A (zh) 一种投屏方法、电子设备及***
CN114510186A (zh) 一种跨设备控制方法及设备
WO2023088459A1 (zh) 设备协同方法及相关装置
CN114520867B (zh) 基于分布式控制的相机控制方法及终端设备
CN115114607A (zh) 分享授权方法、装置及存储介质
CN115113832A (zh) 一种跨设备同步显示的控制方法及***
CN114449686A (zh) 一种无线网络接入方法及装置
WO2023131051A1 (zh) 一种分享内容的方法及电子设备
CN114615362B (zh) 相机控制方法、装置和存储介质
CN115941674B (zh) 多设备应用接续方法、设备及存储介质
WO2024078412A1 (zh) 跨屏分享方法、图形界面及相关装置
WO2024078337A1 (zh) 一种显示屏选择方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant