CN114697148A - 一种云协同方法及*** - Google Patents

Abstract

本发明公开了一种云协同方法，包括：第一用户设备UE发起会议请求，并邀请第二UE加入会议；在会议过程中，第一UE将自身保存的文件上传至中心云，以使中心云实时将文件的信息同步显示至第一UE和第二UE的会议界面；在第一时间周期内，中心云接收第一UE发送的第一编辑指令，基于第一编辑指令对文件进行第一编辑操作，并将文件的第一编辑操作过程中的动态画面实时同步显示在第一UE和第二UE的会议界面中；在第二时间周期内，中心云接收第二UE发送的第二编辑指令，基于第二编辑指令，对已被第一编辑操作后的文件进行第二编辑操作，并将文件的第二编辑操作过程中的动态画面实时同步显示在第一UE和第二UE的会议界面中。

Description

一种云协同方法及***

技术领域

本发明属于信息技术领域，具体地，涉及一种云协同的方法及***。

背景技术

在会议办公场景下，用户会借助各式各样的交流工具进行线上会议或线上线下会议的同步交流，在目前主流的在线会议工具中，例如腾讯会议，zoom、华为会议等，已经具备了VoIP和PSTN多种方式的融合会议接入，并可实现会议共享桌面，使得参会人员可以基于同一份材料进行探讨，并由桌面共享人员进行在线实时修改。

但是，当前的会议办公软件中，其应用架构是一种相对传统的软件架构，在文件共享过程中，只能通过共享人员自身的电脑、手机或其他可接入设备进行文件的编辑，较大的文件是否能流畅的编辑，则需要共享人员自身电脑/手机等设备的硬件处理能力较高，且宽带较大，才能让所有会议人员流畅地观看。随之带来的问题是：在线会议过程中文件编辑极度依赖于共享人员的设备硬件能力，对于高要求的文件编辑(例如AutoCAD)其使用门槛高，此外，其他参会人员无法就共享人员共享的文件进行编辑，不能够进行在线同步编辑、修改等操作，协同性差。

发明内容

本发明提供了一种云协同的方法及***，有效解决了现有技术中会议过程中文件编辑硬件要求门槛高且协同性差的问题，有效降低了各参会人员的硬件要求门槛，同时提升了会议过程中的相互协同性。

为了实现上述目的，本发明提供了一种云协同方法，所述方法包括：

第一用户设备UE发起会议请求，并邀请第二UE加入会议；

在会议过程中，所述第一UE将自身保存的文件上传至中心云，以使所述中心云实时将所述文件的信息同步显示至第一UE和第二UE的会议界面；

在第一时间周期内，所述中心云接收所述第一UE发送的第一编辑指令，基于所述第一编辑指令对所述文件进行第一编辑操作，并将所述文件的第一编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中；

在第二时间周期内，所述中心云接收第二UE发送的第二编辑指令，基于所述第二编辑指令，对已被第一编辑操作后的所述文件进行第二编辑操作，并将所述文件的第二编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中。

可选地，所述方法还包括：

在会议过程中，所述第一UE与第二UE点对点建立VOIP连接，并基于所述VOIP连接实现语音和/或视频通话。

可选地，所述方法还包括：

在会议过程中，所述第一UE和所述第二UE分别与所述中心云进行VOIP连接，并在连接建立成功后，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话。

可选地，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话：

所述第一UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第二UE，并且，

所述第二UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第一UE。

可选地，所述方法还包括：

在会议过程中，所述第一UE开启共享功能，并将所述第一UE的UI界面实时发送至所述中心云；

所述中心云将所述第一UE的UI界面实时同步至所述第一UE和第二UE的会议界面中，且所述第一UE和第二UE的会议界面上多屏同时显示有所述文件的动态画面和所述第一UE的UI界面。

可选地，所述第一UE开启共享功能，并将所述第一UE的UI界面实时发送至所述中心云，包括：

所述第一UE按照预设频率将自身的UI界面进行多次截屏，基于所述多次截屏后的UI界面生成共享视频流；

所述第一UE将所述共享视频流发送至所述中心云。

可选地，若所述第一时间周期和第二时间周期存在重叠，则所述方法还包括：

若所述中心云同时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，

所述中心云基于优先权规则，对所述第一编辑指令和第二编辑指令中优先权较高的编辑指令进行响应，不对所述第一编辑指令和第二编辑指令中优先权较低的编辑指令进行响应，

或，所述中心云同时对所述第一编辑指令和第二编辑指令进行响应，同时对所述文件执行第一编辑操作和第二编辑操作；

若所述中心云分时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令相同，则所述中心云对接收时间较晚的编辑指令进行响应，对接收时间较早的编辑指令不做出响应，或，所述中心云对接收时间较早的编辑指令进行响应，对接收时间较晚的编辑指令不做出响应；

若所述中心云先接收到所述第一UE发送的第一编辑指令，后接收到第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令不相同，则所述中心云先响应所述第一UE发送的第一编辑指令，后响应所述第二UE发送的第二编辑指令。

可选地，在所述中心云接收所述第一UE发送的第一编辑指令之前，所述方法还包括：

所述第一UE生成所述文件对应的文件令牌Token；

所述第一UE生成所述文件令牌副本，并将所述文件令牌副本通过所述中心云分发至所述第二UE，其中，所述文件令牌副本用公钥加密；

所述第二UE使用私钥对所述文件令牌副本进行解密，以获取对应的文件操作权限；

所述第二UE基于所述文件操作权限，发送第二编辑指令，以便对所述中心云中的所述文件进行查阅和编辑操作。

可选地，所述方法还包括：

在会议过程中，所述中心云通过人工智能算法对所述第一UE和第二UE的语音指令进行语音识别；

当识别出预设关键词时，生成权限控制指令，并基于所述权限控制指令指定所述第一UE和第二UE的控制权限。

本发明实施例还提供一种云协同***，所述***包括第一用户设备UE、第二用户设备UE和中心云，其中，

所述第一UE用于发起会议请求，并邀请第二UE加入会议；在会议过程中，将自身保存的文件上传至中心云，以使所述中心云实时将所述文件的信息同步显示至第一UE和第二UE的会议界面；

所述中心云用于在第一时间周期内，接收所述第一UE发送的第一编辑指令，基于所述第一编辑指令对所述文件进行第一编辑操作，并将所述文件的第一编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中；在第二时间周期内，接收第二UE发送的第二编辑指令，基于所述第二编辑指令，对已被第一编辑操作后的所述文件进行第二编辑操作，并将所述文件的第二编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中。

本发明实施例还提供了一种云协同***，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。

本发明实施例的方法及***具有下列优点：

本发明实施例中，提出了一种不同于在线文档编辑的会议文件协同编辑使用场景，对文件处理的主体由原来的UE端更改为现在的中心云，UE端发送编辑操作指令给中心云，由算力强大的中心云来进行文件的编辑操作，因此，对于UE端的要求，只需要能够发送操作指令，并能够同步显示文件修改的动态界面即可，无需其具备强大的硬件处理能力，大大降低了文件的使用门槛；此外，本发明实施例提出了一种新型协同的理念，传统的文件协同编辑中，要么是通过闭环生态的各类在线文件编辑进行文件协同编辑，不具备通用性，要么是参会一方编辑好后，发送给另一方，再由另一方进行编辑，而在本发明实施例中，各个参会方都可以在云端发送编辑指令，对云端的同一个文件进行协同编辑，云端会将文件编辑的动态画面实时同步给各参会方，可以极大地提升云协同的便捷程度和效率。

附图说明

图1a为一个实施例中云协同的***架构图；

图1b为一个实施例中会议界面图；

图2为一个实施例中云协同的方法流程图；

图3a为一个实施例中显示了两份word文档的会议界面图；

图3b为一个实施例中显示了第一UE编辑word文档的会议界面图；

图3c为一个实施例中显示了第二UE编辑word文档的会议界面图；

图4为一个实施例中的数据查询***组成结构图；

图5为一个实施例中***的硬件组成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1a是本发明实施例中云协同的***架构图，如图1a所示，该***10包括双架构，分别为架构A和架构B的混合架构，其中，架构A包括中心云11、第一用户设备(UserEquipment,UE)12和第二UE13，而架构B则属于点对点接口，不包括中心云11，只包括第一UE12和第二UE13，对于架构A而言，其使用场景在文件编辑、共享共享、文件下载等，架构B的典型使用场景在语音通话、视频通话等，在不同的使用场景下，本***可以随之切换不同的架构来满足其场景需求。

在本发明实施例中，中心云11具备通用的云服务器架构，其由海量的云端服务器组成，具备强劲的数据存储和处理能力，可以高速且并行地对不同的数据进行处理。第一用户设备(User Equipment,UE)12和第二UE 13包括不限于手机、个人电脑、电视、投影仪、大屏会议***、平板电脑、VR/AR设备等，其具备基本的数据处理能力和处理能力，但其并不具备强大的数据处理能力和存储能力，因此，需要将自身内部保存的文件(尤其是需要较大算力才能完成的文件)进行上传，通过中心云来实现文件的数据处理和存储。

图1b是本发明实施例中会议界面图，同步显示在云端、第一UE端和第二UE端的界面中，该会议界面可叠加多个窗口，每一个窗口可以是一个文件的UI界面，在一个窗口变动的同时，中心云、第一UE端和第二UE端的窗口显示同步变动。

如图2所示，本发明实施例提供一种云协同方法，应用于图1a所示的***，包括：

S101.第一用户设备UE发起会议请求，并邀请第二UE加入会议；

第一用户设备UE在***上进行预约后，可发起会议链接邀请，通常而言，可以通过二维码、URL链接等方式发送该会议请求/邀请，让参会方知晓会议号和/或密码等进行最终的接入。

为了方便说明，本发明实施例仅以第一UE和第二UE作为示例，实际的场景下支持多个UE同时接入同一个会议。

需要说明的是，接入会议时，会有一个初始的默认界面显示，例如腾讯会议中会显示各个参会者的头像作为一个初始界面，此时，中心云作为默认的会议接入第三方进行会议接入，并在会议接入之前，虚拟出一个会议接入沙箱，该沙箱能够保证本次会议分享的各类文件保存在该沙箱中，不能在其他任何场景和权限下进行访问。

S102.在会议过程中，所述第一UE将自身保存的文件上传至中心云，以使所述中心云实时将所述文件的信息同步显示至第一UE和第二UE的会议界面；

在会议过程中，第一UE和第二UE可实现基本的音视频接入，以及桌面共享等基础功能，还可以实现诸如文件传输，文件共享(例如，点对点传输给参与会议的一个或多个UE)等功能。本发明实施例中，采用了双架构的形式，并针对文件上传和协同编辑进行了设计优化。

在本发明实施例中，针对传统的音视频接入，可以通过VOIP的方式进行会议连接，其实现原理类似于传统的腾讯会议，zoom会议的原理。此外，还可以通过架构A的方式进行非传统的音视频接入，具体地，第一UE和第二UE分别将音视频流发送给中转的中心云，通过中心云再发送给对方。

即：在会议过程中，所述第一UE与第二UE点对点建立VOIP连接，并基于所述VOIP连接实现语音和/或视频通话，或，

在其中一个实施例中，在会议过程中，所述第一UE和所述第二UE分别与所述中心云进行VOIP连接，并在连接建立成功后，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话。

具体地，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话，具体可以为：

所述第一UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第二UE，并且，

所述第二UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第一UE。

在本发明实施例中，为了解放UE的硬件支撑能力，UE将文件编辑修改的能力转移到了中心云，通过中心云强大的运算能力实现文件的编辑修改操作。对于工业设计类、编程类的各类文件而言，例如autoCAD,ProE等文件，其需要的硬件要求是很高的。例如，一个典型的autoCAD文件的修改编辑和加载，至少双核CPU，4G内存，30G硬盘空间的硬件支撑能力，而对于大部分的手机等无线终端设备而言明显达不到其标准和要求，因此，可以将该部分能力云化，通过中心云实现该文件的编辑工作，并可以实时让其他会议方获取该文件的编辑操作全过程。

本发明实施例中，与在线编辑文档功能不同的是，在线编辑文档往往是一家企业闭环的软件产品，即需要特定的运行环境(例如企业微信下)、特定的文件格式(PPT,DOC和PPT等格式)才能实现在线编辑，其本质上是一个封闭的文档编辑***。而本发明实施例将文件编辑修改的功能直接泛化到云，通过云端强大的算力直接进行文件编辑和修改，普通的编辑修改需要半小时才能运行，而云端可能只需要2分钟，不仅速度快，而且支持的文件种类多，只要云端具备运行该文件的软件，即可无缝加载该文件，而不必考虑各个UE是否具备能否运行诸如AutoCAD,ProE的软件。

在第一UE上传完该文件后，云端接收并同步显示在第一UE和第二UE的会议界面上，可选地，可以通过窗口弹出、小图标、缩略图等方式显示该文件的信息，例如文件名、文件图标式样、文件大小等相关联的文件信息。

S103.在第一时间周期内，所述中心云接收所述第一UE发送的第一编辑指令，基于所述第一编辑指令对所述文件进行第一编辑操作，并将所述文件的第一编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中；

第一时间周期是表示第一UE将编辑指令发送给中心云，通过中心云进行文件编辑/修改的时间周期和/或时刻。第一时间周期可以是一段时间或几段时间的结合，例如，T0时刻第一UE将编辑指令发送给中心云，以实现文件编辑操作，而T1-T2时刻第一UE没有发送编辑指令，在T3时刻又发送第二次的编辑指令给中心云，实现第二次文件编辑操作，则第一时间周期可以是T0+T3。

在第一时间周期内，中心云接收到了第一编辑指令，其中，第一UE的操作者按压第一UE的按钮或虚拟按钮，由第一UE生成该第一编辑指令，第一编辑指令可以是对文件进行编辑操作的任何有效指令，例如放大、缩小、保存、关闭等常规指令动作，在一个优先的实施例中，第一UE的操作者可以上下滑动第一UE中的文件显示界面，中心云此时收到该滑动指令后，在后台同步上下滑动该文件，并将上下滑动的动态界面实时发送给第一UE和第二UE的会议界面中，从第一UE和第二UE的角度看起来，是第一UE“实时”在编辑修改该文件，且同步共享给第二UE观看，其实，真正对文件进行编辑修改的是中心云。具体地，上下滑动的动态界面可以是：第一帧，文件界面向上滑动10mm，第二帧，文件界面向上滑动20mm，第三帧，文件界面向下滑动15mm，中心云将该三帧画面压缩编码，形成视频流实时发送给第一UE和第二UE，并显示在第一UE和第二UE的会议界面中。

此外，在所述中心云接收所述第一UE发送的第一编辑指令之前，为了确保参与者的信息安全，所述第一UE生成所述文件对应的文件令牌Token；所述第一UE生成所述文件令牌副本(可以是多个副本)，并将所述文件令牌副本通过所述中心云分发至所述第二UE，其中，所述文件令牌副本用公钥加密，该文件令牌副本可以是一个或多个；所述第二UE使用私钥对所述文件令牌副本进行解密，以获取对应的文件操作权限，该权限可以由第一UE和第二UE事先约定；并且，所述第二UE基于所述文件操作权限，发送第二编辑指令，以便对所述中心云中的所述文件进行查阅和编辑操作。

S104.在第二时间周期内，所述中心云接收第二UE发送的第二编辑指令，基于所述第二编辑指令，对已被第一编辑操作后的所述文件进行第二编辑操作，并将所述文件的第二编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中。

第二时间周期是表示第二UE将编辑指令发送给中心云，通过中心云进行文件编辑/修改的时间周期和/或时刻。与第一时间周期类似，第二时间周期可以是单个时刻，也可以是多个时刻的结合。

在第二时间周期内，第二UE也可以对第一UE上传至中心云的该文件进行编辑。即，从第二UE的视角来看，第一UE和第二UE的权利是对等的，都可以对该文件进行同步的编辑修改等操作，无缝实现了办公一体协同化。而普通的会议软件，往往只能由一方进行该文件的编辑修改操作，其他会议参与方只能是通过语音或视频提出意见，而并没有处理该文件的权限，即，文件修改权限集中在主控方，而本发明实施例中，其权限对于参与方是平等的，这样做的好处是文件修改编辑更加便捷，更易于会议参与方进行多方协同，例如甲方在A地办公，乙方在B地办公，通过本发明实施例提供的此会议，甲方和乙方都能对同一个文件(该文件在中心云上)进行修改编辑操作，且双方都能同步看到自己和对方的修改画面，对于协同办公而言无疑更加便捷和高效。

在其中一个实施例中，如图3a所示，第一UE上传了两份word文档，此时该两份word文档保存在中心云中，中心云将该两份word文档信息显示在会议界面上，并将该会议界面同步显示给第一UE和第二UE的会议界面；

如图3b所示，在第一时间周期时，第一UE在会议界面上进行操作，输入了一串文字“abc”，此时第一UE生成操作指令(第一编辑指令)，该操作指令中包含了该文字“abc”，并将该操作指令发送给中心云，此时中心云接收到该操作指令后对word文档进行编辑，输入字符串“abc”，输入的整个动态界面过程实时同步给第一UE和第二UE的会议界面中；

如图3c所示，在第二时间周期时，该word文档已经显示有文字“def”，此时第二UE在会议界面上进行操作，输入了一串文字“def”，此时第二UE生成操作指令(第二编辑指令)，该操作指令中包含了该文字“def”，并将该操作指令发送给中心云，此时中心云接收到该操作指令后对word文档进行编辑，输入字符串“def”，输入的整个动态界面过程实时同步给第一UE和第二UE的会议界面中。通过此种方式，可以实时将第一UE和第二UE的操作步骤动态显示给己方和对方观看，并通过双架构下的音视频通话，实时进行交流，实时进行同步的在线编辑和修改，极大地拉近了地域界限。

此外，若所述第一时间周期和第二时间周期存在重叠，例如，在T2时刻，第一UE也在对该文件进行编辑，第二UE也需要对该文件进行编辑，或者，二者编辑的时间段不同，但是都是同一个操作指令，那么此时，分为两种情况：

情况一：同时

若所述中心云同时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，

所述中心云基于优先权规则，对所述第一编辑指令和第二编辑指令中优先权较高的编辑指令进行响应，不对所述第一编辑指令和第二编辑指令中优先权较低的编辑指令进行响应，

或，所述中心云同时对所述第一编辑指令和第二编辑指令进行响应，同时对所述文件执行第一编辑操作和第二编辑操作。

情况二：分时

若所述中心云分时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令相同，则所述中心云对接收时间较晚的编辑指令进行响应，对接收时间较早的编辑指令不做出响应，或，所述中心云对接收时间较早的编辑指令进行响应，对接收时间较晚的编辑指令不做出响应；

若所述中心云先接收到所述第一UE发送的第一编辑指令，后接收到第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令不相同，则所述中心云先响应所述第一UE发送的第一编辑指令，后响应所述第二UE发送的第二编辑指令。

在本发明实施例中，还支持同步共享功能。具体地，在会议过程中，第一UE开启共享功能，并将第一UE的UI界面实时发送至所述中心云(其画面显示类似于腾讯会议的共享桌面，但是与腾讯会议不同的是，本发明实施例中，可以同时文档编辑界面和第一UE的UI界面，即可以通过分屏的方式同时显示文档和第一UE的UI界面)；

中心云将所述第一UE的UI界面实时同步至所述第一UE和第二UE的会议界面中，且所述第一UE和第二UE的会议界面上多屏同时显示有所述文件的动态画面和所述第一UE的UI界面。传统的共享功能，往往是点对点的共享，即第一UE将自身的桌面通过截屏的方式形成视频流，将该视频流通过局域网传输给第二UE，第二UE可实时获得第一UE的UI界面，而本发明实施例中，并没有通过点对点的共享，而是通过中心云获取第一UE的UI界面，并将其UI界面传输到第一UE和/或第二UE的会议界面中。

此外，所述第一UE开启共享功能，并将所述第一UE的UI界面实时发送至所述中心云，具体可以是：

所述第一UE按照预设频率将自身的UI界面进行多次截屏，基于所述多次截屏后的UI界面生成共享视频流；

所述第一UE将所述共享视频流发送至所述中心云。

在本发明实施例中，还可以通过人工智能的方式进行控制权限的设定，例如，在会议过程中，所述中心云通过人工智能算法对所述第一UE和第二UE的语音指令进行语音识别；语音识别典型的人工智能算法，可以对麦克风阵列进行语音采集之后，进行信号的处理，并提取语音信号的特征，最终输入到人工智能模型(例如机器学习模型或神经网络模型)中，获取到识别结果。目前的人工智能模型较为成熟，可采用DTW算法、快速神经网络或隐马尔科夫模型等，本发明实施例不再累述。

当识别出预设关键词时，生成权限控制指令，并基于所述权限控制指令指定所述第一UE和第二UE的控制权限。预设的关键词包括不限于“让我来分享”“切换编辑指令”“添加XX的权限”等字眼，可以自定义，在识别出该预设关键词后，即可生成相应的权限控制指令，来指定第一UE和第二UE的控制权限，例如，语音过程中主持人端是第一UE，第一UE的操控者说了一句“添加第二UE的文件编辑权限”，此时中心云在语音识别后，生成权限控制指令，并将该权限控制指令发送给第二UE，第二UE即可进行该文件的文件编辑功能。

本发明实施例的方法及***具有下列优点：

本发明实施例中，本发明实施例中，提出了一种不同于在线文档编辑的会议文件协同编辑使用场景，对文件处理的主体由原来的UE端更改为现在的中心云，UE端发送编辑操作指令给中心云，由算力强大的中心云来进行文件的编辑操作，因此，对于UE端的要求，只需要能够发送操作指令，并能够同步显示文件修改的动态界面即可，无需其具备强大的硬件处理能力，大大降低了文件的使用门槛；此外，本发明实施例提出了一种新型协同的理念，传统的文件协同编辑中，要么是通过闭环生态的各类在线文件编辑进行文件协同编辑，不具备通用性，要么是参会一方编辑好后，发送给另一方，再由另一方进行编辑，而在本发明实施例中，各个参会方都可以在云端发送编辑指令，对云端的同一个文件进行协同编辑，云端会将文件编辑的动态画面实时同步给各参会方，可以极大地提升云协同的便捷程度和效率。

如图4所示，本发明实施例还提供一种云协同***，所述***包括中心云41、第一UE 42和第二UE 43，其中，

所述第一UE 42用于发起会议请求，并邀请第二UE 43加入会议；在会议过程中，将自身保存的文件上传至中心云，以使所述中心云实时将所述文件的信息同步显示至第一UE42和第二UE 43的会议界面；

所述中心云41用于在第一时间周期内，接收所述第一UE42发送的第一编辑指令，基于所述第一编辑指令对所述文件进行第一编辑操作，并将所述文件的第一编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中；在第二时间周期内，接收第二UE 43发送的第二编辑指令，基于所述第二编辑指令，对已被第一编辑操作后的所述文件进行第二编辑操作，并将所述文件的第二编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中。

第一用户设备UE32用于发起会议请求，并邀请第二UE加入会议；具体而言，第一用户设备UE在***上进行预约后，可发起会议链接邀请，通常而言，可以通过二维码、URL链接等方式发送该会议请求/邀请，让参会方知晓会议号和/或密码等进行最终的接入。

为了方便说明，本发明实施例仅以第一UE和第二UE作为示例，实际的场景下支持多个UE同时接入同一个会议。

需要说明的是，接入会议时，会有一个初始的默认界面显示，例如腾讯会议中会显示各个参会者的头像作为一个初始界面，此时，中心云作为默认的会议接入第三方进行会议接入，并在会议接入之前，虚拟出一个会议接入沙箱，该沙箱能够保证本次会议分享的各类文件保存在该沙箱中，不能在其他任何场景和权限下进行访问。

在会议过程中，第一UE和第二UE可实现基本的音视频接入，以及桌面共享等基础功能，还可以实现诸如文件传输，文件共享(例如，点对点传输给参与会议的一个或多个UE)等功能。本发明实施例中，采用了双架构的形式，并针对文件上传和协同编辑进行了设计优化。

在本发明实施例中，针对传统的音视频接入，可以通过VOIP的方式进行会议连接，其实现原理类似于传统的腾讯会议，zoom会议的原理。此外，还可以通过架构A的方式进行非传统的音视频接入，具体地，第一UE和第二UE分别将音视频流发送给中转的中心云，通过中心云再发送给对方。

即：在会议过程中，所述第一UE与第二UE点对点建立VOIP连接，并基于所述VOIP连接实现语音和/或视频通话，或，

在其中一个实施例中，在会议过程中，所述第一UE和所述第二UE分别与所述中心云进行VOIP连接，并在连接建立成功后，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话。

具体地，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话，具体可以为：

所述第一UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第二UE，并且，

所述第二UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第一UE。

在本发明实施例中，为了解放UE的硬件支撑能力，UE将文件编辑修改的能力转移到了中心云，通过中心云强大的运算能力实现文件的编辑修改操作。对于工业设计类、编程类的各类文件而言，例如autoCAD,ProE等文件，其需要的硬件要求是很高的。例如，一个典型的autoCAD文件的修改编辑和加载，至少双核CPU，4G内存，30G硬盘空间的硬件支撑能力，而对于大部分的手机等无线终端设备而言明显达不到其标准和要求，因此，可以将该部分能力云化，通过中心云实现该文件的编辑工作，并可以实时让其他会议方获取该文件的编辑操作全过程。

本发明实施例中，与在线编辑文档功能不同的是，在线编辑文档往往是一家企业闭环的软件产品，即需要特定的运行环境(例如企业微信下)、特定的文件格式(PPT,DOC和PPT等格式)才能实现在线编辑，其本质上是一个封闭的文档编辑***。而本发明实施例将文件编辑修改的功能直接泛化到云，通过云端强大的算力直接进行文件编辑和修改，普通的编辑修改需要半小时才能运行，而云端可能只需要2分钟，不仅速度快，而且支持的文件种类多，只要云端具备运行该文件的软件，即可无缝加载该文件，而不必考虑各个UE是否具备能否运行诸如autoCAD,ProE的软件。

在第一UE上传完该文件后，云端接收并同步显示在第一UE和第二UE的会议界面上，可选地，可以通过窗口弹出、小图标、缩略图等方式显示该文件的信息，例如文件名、文件图标式样、文件大小等相关联的文件信息。

其中，第一时间周期是表示第一UE将编辑指令发送给中心云，通过中心云进行文件编辑/修改的时间周期和/或时刻。第一时间周期可以是一段时间或几段时间的结合，例如，T0时刻第一UE将编辑指令发送给中心云，以实现文件编辑操作，而T1-T2时刻第一UE没有发送编辑指令，在T3时刻又发送第二次的编辑指令给中心云，实现第二次文件编辑操作，则第一时间周期可以是T0+T3。

在第一时间周期内，中心云接收到了第一编辑指令，其中，第一UE的操作者按压第一UE的按钮或虚拟按钮，由第一UE生成该第一编辑指令，第一编辑指令可以是对文件进行编辑操作的任何有效指令，例如放大、缩小、保存、关闭等常规指令动作，在一个优先的实施例中，第一UE的操作者可以上下滑动第一UE中的文件显示界面，中心云此时收到该滑动指令后，在后台同步上下滑动该文件，并将上下滑动的动态界面实时发送给第一UE和第二UE的会议界面中，从第一UE和第二UE的角度看起来，是第一UE“实时”在编辑修改该文件，且同步共享给第二UE观看，其实，真正对文件进行编辑修改的是中心云。具体地，上下滑动的动态界面可以是：第一帧，文件界面向上滑动10mm，第二帧，文件界面向上滑动20mm，第三帧，文件界面向下滑动15mm，中心云将该三帧画面压缩编码，形成视频流实时发送给第一UE和第二UE，并显示在第一UE和第二UE的会议界面中。

此外，在所述中心云接收所述第一UE发送的第一编辑指令之前，为了确保参与者的信息安全，所述第一UE生成所述文件对应的文件令牌Token；所述第一UE生成所述文件令牌副本(可以是多个副本)，并将所述文件令牌副本通过所述中心云分发至所述第二UE，其中，所述文件令牌副本用公钥加密，该文件令牌副本可以是一个或多个；所述第二UE使用私钥对所述文件令牌副本进行解密，以获取对应的文件操作权限，该权限可以由第一UE和第二UE事先约定；并且，所述第二UE基于所述文件操作权限，发送第二编辑指令，以便对所述中心云中的所述文件进行查阅和编辑操作。

第二时间周期是表示第二UE将编辑指令发送给中心云，通过中心云进行文件编辑/修改的时间周期和/或时刻。与第一时间周期类似，第二时间周期可以是单个时刻，也可以是多个时刻的结合。

在第二时间周期内，第二UE也可以对第一UE上传至中心云的该文件进行编辑。即，从第二UE的视角来看，第一UE和第二UE的权利是对等的，都可以对该文件进行同步的编辑修改等操作，无缝实现了办公一体协同化。而普通的会议软件，往往只能由一方进行该文件的编辑修改操作，其他会议参与方只能是通过语音或视频提出意见，而并没有处理该文件的权限，即，文件修改权限集中在主控方，而本发明实施例中，其权限对于参与方是平等的，这样做的好处是文件修改编辑更加便捷，更易于会议参与方进行多方协同，例如甲方在A地办公，乙方在B地办公，通过本发明实施例提供的此会议，甲方和乙方都能对同一个文件(该文件在中心云上)进行修改编辑操作，且双方都能同步看到自己和对方的修改画面，对于协同办公而言无疑更加便捷和高效。

在其中一个实施例中，如图3a所示，第一UE上传了一份word文档，此时该word文档保存在中心云中，中心云将该word文档信息显示在会议界面上，并将该会议界面同步显示给第一UE和第二UE的会议界面；

此外，若所述第一时间周期和第二时间周期存在重叠，例如，在T2时刻，第一UE也在对该文件进行编辑，第二UE也需要对该文件进行编辑，或者，二者编辑的时间段不同，但是都是同一个操作指令，那么此时，分为两种情况：

情况一：同时

若所述中心云同时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，

所述中心云用于基于优先权规则，对所述第一编辑指令和第二编辑指令中优先权较高的编辑指令进行响应，不对所述第一编辑指令和第二编辑指令中优先权较低的编辑指令进行响应，

或，所述中心云用于同时对所述第一编辑指令和第二编辑指令进行响应，同时对所述文件执行第一编辑操作和第二编辑操作。

情况二：分时

若所述中心云分时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令相同，则所述中心云用于对接收时间较晚的编辑指令进行响应，对接收时间较早的编辑指令不做出响应，或，所述中心云对接收时间较早的编辑指令进行响应，对接收时间较晚的编辑指令不做出响应；

若所述中心云先接收到所述第一UE发送的第一编辑指令，后接收到第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令不相同，则所述中心云用于先响应所述第一UE发送的第一编辑指令，后响应所述第二UE发送的第二编辑指令。

在本发明实施例中，还支持同步共享功能。具体地，在会议过程中，第一UE用于开启共享功能，并将第一UE的UI界面实时发送至所述中心云(其画面显示类似于腾讯会议的共享桌面，但是与腾讯会议不同的是，本发明实施例中，可以同时文档编辑界面和第一UE的UI界面，即可以通过分屏的方式同时显示文档和第一UE的UI界面)；

中心云用于将所述第一UE的UI界面实时同步至所述第一UE和第二UE的会议界面中，且所述第一UE和第二UE的会议界面上多屏同时显示有所述文件的动态画面和所述第一UE的UI界面。传统的共享功能，往往是点对点的共享，即第一UE将自身的桌面通过截屏的方式形成视频流，将该视频流通过局域网传输给第二UE，第二UE可实时获得第一UE的UI界面，而本发明实施例中，并没有通过点对点的共享，而是通过中心云获取第一UE的UI界面，并将其UI界面传输到第一UE和/或第二UE的会议界面中。

此外，所述第一UE用于开启共享功能，并将所述第一UE的UI界面实时发送至所述中心云，具体可以是：

所述第一UE按照预设频率将自身的UI界面进行多次截屏，基于所述多次截屏后的UI界面生成共享视频流；

所述第一UE将所述共享视频流发送至所述中心云。

在本发明实施例中，还可以通过人工智能的方式进行控制权限的设定，例如，在会议过程中，所述中心云通过人工智能算法对所述第一UE和第二UE的语音指令进行语音识别；语音识别典型的人工智能算法，可以对麦克风阵列进行语音采集之后，进行信号的处理，并提取语音信号的特征，最终输入到人工智能模型(例如机器学习模型或神经网络模型)中，获取到识别结果。目前的人工智能模型较为成熟，可采用DTW算法、快速神经网络或隐马尔科夫模型等，本发明实施例不再累述。

当识别出预设关键词时，生成权限控制指令，并基于所述权限控制指令指定所述第一UE和第二UE的控制权限。预设的关键词包括不限于“让我来分享”“切换编辑指令”“添加XX的权限”等字眼，可以自定义，在识别出该预设关键词后，即可生成相应的权限控制指令，来指定第一UE和第二UE的控制权限，例如，语音过程中主持人端是第一UE，第一UE的操控者说了一句“添加第二UE的文件编辑权限”，此时中心云在语音识别后，生成权限控制指令，并将该权限控制指令发送给第二UE，第二UE即可进行该文件的文件编辑功能。

本发明实施例还提供了一种云协同***，如图5所示，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。在实际应用中，***还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出***、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的***都在本申请的保护范围之内。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入***用于输入数据和/或信号，以及输出***用于输出数据和/或信号。输出***和输入***可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程***。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种云协同方法，其特征在于，所述方法包括：

第一用户设备UE发起会议请求，并邀请第二UE加入会议；

在会议过程中，所述第一UE将自身保存的文件上传至中心云，以使所述中心云实时将所述文件的信息同步显示至第一UE和第二UE的会议界面；

在第一时间周期内，所述中心云接收所述第一UE发送的第一编辑指令，基于所述第一编辑指令对所述文件进行第一编辑操作，并将所述文件的第一编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中；

在第二时间周期内，所述中心云接收第二UE发送的第二编辑指令，基于所述第二编辑指令，对已被第一编辑操作后的所述文件进行第二编辑操作，并将所述文件的第二编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在会议过程中，所述第一UE与第二UE点对点建立VOIP连接，并基于所述VOIP连接实现语音和/或视频通话。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在会议过程中，所述第一UE和所述第二UE分别与所述中心云进行VOIP连接，并在连接建立成功后，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话。

4.根据权利要求3所述的方法，其特征在于，所述第一UE和第二UE通过所述中心云作为中转站，建立所述第一UE和第二UE的语音和/或视频通话：

所述第一UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第二UE，并且，

所述第二UE将自身采集的语音流和/或视频流发送至所述中心云，以使所述中心云将所述语音流和/或视频流实时发送至所述第一UE。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在会议过程中，所述第一UE开启共享功能，并将所述第一UE的UI界面实时发送至所述中心云；

所述中心云将所述第一UE的UI界面实时同步至所述第一UE和第二UE的会议界面中，且所述第一UE和第二UE的会议界面上多屏同时显示有所述文件的动态画面和所述第一UE的UI界面。

6.根据权利要求5所述的方法，其特征在于，所述第一UE开启共享功能，并将所述第一UE的UI界面实时发送至所述中心云，包括：

所述第一UE按照预设频率将自身的UI界面进行多次截屏，基于所述多次截屏后的UI界面生成共享视频流；

所述第一UE将所述共享视频流发送至所述中心云。

7.根据权利要求1所述的方法，其特征在于，若所述第一时间周期和第二时间周期存在重叠，则所述方法还包括：

若所述中心云同时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，

所述中心云基于优先权规则，对所述第一编辑指令和第二编辑指令中优先权较高的编辑指令进行响应，不对所述第一编辑指令和第二编辑指令中优先权较低的编辑指令进行响应，

或，所述中心云同时对所述第一编辑指令和第二编辑指令进行响应，同时对所述文件执行第一编辑操作和第二编辑操作；

若所述中心云分时到接收所述第一UE发送的第一编辑指令和第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令相同，则所述中心云对接收时间较晚的编辑指令进行响应，对接收时间较早的编辑指令不做出响应，或，所述中心云对接收时间较早的编辑指令进行响应，对接收时间较晚的编辑指令不做出响应；

若所述中心云先接收到所述第一UE发送的第一编辑指令，后接收到第二UE发送的第二编辑指令，且所述第一编辑指令与所述第二编辑指令不相同，则所述中心云先响应所述第一UE发送的第一编辑指令，后响应所述第二UE发送的第二编辑指令。

8.根据权利要求1所述的方法，其特征在于，在所述中心云接收所述第一UE发送的第一编辑指令之前，所述方法还包括：

所述第一UE生成所述文件对应的文件令牌Token；

所述第一UE生成所述文件令牌副本，并将所述文件令牌副本通过所述中心云分发至所述第二UE，其中，所述文件令牌副本用公钥加密；

所述第二UE使用私钥对所述文件令牌副本进行解密，以获取对应的文件操作权限；

所述第二UE基于所述文件操作权限，发送第二编辑指令，以便对所述中心云中的所述文件进行查阅和编辑操作。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在会议过程中，所述中心云通过人工智能算法对所述第一UE和第二UE的语音指令进行语音识别；

当识别出预设关键词时，生成权限控制指令，并基于所述权限控制指令指定所述第一UE和第二UE的控制权限。

10.一种云协同***，其特征在于，所述***包括第一用户设备UE、第二用户设备UE和中心云，其中，

所述第一UE用于发起会议请求，并邀请第二UE加入会议；在会议过程中，将自身保存的文件上传至中心云，以使所述中心云实时将所述文件的信息同步显示至第一UE和第二UE的会议界面；

所述中心云用于在第一时间周期内，接收所述第一UE发送的第一编辑指令，基于所述第一编辑指令对所述文件进行第一编辑操作，并将所述文件的第一编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中；在第二时间周期内，接收第二UE发送的第二编辑指令，基于所述第二编辑指令，对已被第一编辑操作后的所述文件进行第二编辑操作，并将所述文件的第二编辑操作过程中的动态画面实时同步显示在所述第一UE和第二UE的会议界面中。

Images