CN111935540A - 一种指挥调度终端间的桌面共享方法及*** - Google Patents

一种指挥调度终端间的桌面共享方法及*** Download PDF

Info

Publication number
CN111935540A
CN111935540A CN202010790166.3A CN202010790166A CN111935540A CN 111935540 A CN111935540 A CN 111935540A CN 202010790166 A CN202010790166 A CN 202010790166A CN 111935540 A CN111935540 A CN 111935540A
Authority
CN
China
Prior art keywords
terminal
desktop
sharing
video
video coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010790166.3A
Other languages
English (en)
Other versions
CN111935540B (zh
Inventor
吴雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feixun Digital Technology Co ltd
Original Assignee
Beijing Feixun Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feixun Digital Technology Co ltd filed Critical Beijing Feixun Digital Technology Co ltd
Priority to CN202010790166.3A priority Critical patent/CN111935540B/zh
Publication of CN111935540A publication Critical patent/CN111935540A/zh
Application granted granted Critical
Publication of CN111935540B publication Critical patent/CN111935540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种指挥调度终端间的桌面共享方法及***。该方法由与共享终端相连的外置编解码器执行,外置编解码器用于绑定至少一个视频采集设备,该方法包括:接收服务器发送的发起终端发起的桌面共享请求;根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器;共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的;其中,共享终端桌面视频编码流在经由服务器发送至发起终端的外置编解码器进行解码后,提供给发起终端进行共享展示。该方法可以实现指挥调度终端间桌面共享的同时,所占用的芯片和操作***的运行效能低,不会给指挥调度终端带来负担。

Description

一种指挥调度终端间的桌面共享方法及***
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种指挥调度终端间的桌面共享方法及***。
背景技术
网络视音频指挥调度平台主要以视频监控、视音频会议以及指挥调度为主。随着业务需求的丰富,桌面共享成为用户使用网络视音频指挥调度平台的迫切需求之一。
现有技术中,指挥调度终端运行在X86平台,采用Windows操作***,硬件和操作***的运行效能高。图1是现有技术中网络视音频指挥调度平台的连接示意图,如图1所示,指挥终端软件可以直接包含桌面编码服务,桌面编码服务可以单独向网络视音频指挥调度服务器注册,当网络视音频指挥调度平台中其他终端点播具有桌面编码服务的指挥调度终端时,桌面编码服务可以将指挥调度终端桌面流化,实现桌面共享。
然而,当网络视音频指挥调度平台的运行效能低时,采用现有技术中的方案,将桌面编码服务内嵌于指挥终端软件,存在下述弊端:一方面,会占用计算机资源,加重指挥调度终端负担。另一方面,桌面编码服务只能针对计算机的运行桌面或者指挥调度终端软件进行编码流化,无法获取编码器解码的视音频流,桌面共享不全面,存在缺项问题。
发明内容
本发明实施例提供了一种指挥调度终端间的桌面共享方法及***,可以占用较低的指挥调度平台的芯片和操作***的运行效能,实现指挥调度终端间的桌面共享。
第一方面,本发明实施例提供了一种指挥调度终端间的桌面共享方法,该方法由与共享终端相连的外置编解码器执行,外置编解码器用于绑定至少一个视频采集设备,该方法包括:
接收服务器发送的发起终端发起的桌面共享请求;
根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
其中,所述共享终端桌面视频编码流在经由所述服务器发送至所述发起终端的外置编解码器进行解码后,提供给所述发起终端进行共享展示。
第二方面,本发明实施例还提供了一种指挥调度终端间的桌面共享方法,该方法由与发起终端相连的外置编解码器执行,外置编解码器用于绑定至少一个视频采集设备,该方法包括:
向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给所述服务器;
接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
第三方面,本发明实施例还提供了一种指挥调度终端间的桌面共享方法,该方法包括:
发起终端相连的外置编解码器向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并经由服务器反馈给与发起终端相连的外置编解码器;
共享终端相连的外置编解码器接收服务器发送的发起终端的桌面共享请求;
共享终端相连的外置编解码器根据所述桌面共享请求,将所述共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
发起终端相连的外置编解码器接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
发起终端相连的外置编解码器对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
第四方面,本发明实施例还提供了一种指挥调度终端间的桌面共享***,该***包括:发起终端、发起终端相连的外置编解码器、共享终端、共享终端相连的外置编解码器、以及服务器;
其中,所述发起终端、所述发起终端相连的外置编解码器、所述共享终端、以及所述共享终端相连的外置编解码器分别与所述服务器连接;
所述发起终端相连的外置编解码器与所述共享终端相连的外置编解码器,分别绑定至少一个视频采集设备;
所述发起终端,用于通过所述发起终端相连的外置编解码器向服务器发送针对所述共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并经由服务器反馈给与发起终端相连的外置编解码器;
所述共享终端相连的外置编解码器,用于接收服务器发送的发起终端的桌面共享请求,并根据所述桌面共享请求,将所述共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
所述发起终端相连的外置编解码器,用于通过接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
所述发起终端相连的外置编解码器,用于对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
第五方面,本发明实施例还提供了一种指挥调度终端间的桌面共享装置,该装置,可以配置在与共享终端相连的外置编解码器中,外置编解码器用于绑定至少一个视频采集设备,该装置包括:
桌面共享请求接收模块,用于接收服务器发送的发起终端发起的桌面共享请求;
共享终端桌面视频编码流反馈模块,用于根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
其中,所述共享终端桌面视频编码流在经由所述服务器发送至所述发起终端的外置编解码器进行解码后,提供给所述发起终端进行共享展示。
第六方面,本发明实施例还提供了一种指挥调度终端间的桌面共享装置,该装置,可以配置在与发起终端相连的外置编解码器中,外置编解码器用于绑定至少一个视频采集设备,该装置包括:
桌面共享请求发送模块,用于向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给所述服务器;
组合桌面视频编码流生成模块,用于接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
组合桌面视频解码流发送模块,用于对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
第七方面,本发明实施例还提供了一种电子设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例所述的一种指挥调度终端间的桌面共享方法。
第八方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的一种指挥调度终端间的桌面共享方法。
本发明实施例的技术方案,通过接收服务器发送的发起终端的桌面共享请求;根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器;共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的;其中,共享终端桌面视频编码流在经由服务器发送至发起终端的外置编解码器进行解码后,提供给发起终端进行共享展示,解决了指挥调度终端间的桌面共享问题,通过外置编解码器将视频编码流与界面编码流拼接生成的共享终端桌面视频编码流反馈至服务器以解决指挥调度终端间的桌面共享问题,无需在指挥调度终端的软件中内嵌编码服务,实现了占用较低的指挥调度平台的芯片和操作***的运行效能,实现指挥调度终端间的桌面共享,不会给指挥调度终端带来负担的效果。
附图说明
图1是现有技术中网络视音频指挥调度平台的连接示意图;
图2a是本发明实施例一提供的一种指挥调度终端间的桌面共享方法的流程图;
图2b是本发明实施例一提供的一种网络音视频指挥调度平台的连接示意图;
图2c是本发明实施例一提供的一种指挥调度终端用户界面拼接示意图;
图3是本发明实施例二提供的一种指挥调度终端间的桌面共享方法的流程图;
图4a是本发明实施例三提供的一种指挥调度终端间的桌面共享方法的流程图;
图4b是本发明实施例三提供的指挥调度终端间进行音视频通话的示意图;
图5a是本发明实施例四提供的一种指挥调度终端间的桌面共享方法的流程图;
图5b是本发明实施例四提供的一种指挥调度终端间的桌面共享方法的流程图;
图6是本发明实施例五提供的一种指挥调度终端间的桌面共享装置的结构示意图;
图7是本发明实施例六提供的一种指挥调度终端间的桌面共享装置的结构示意图;
图8是本发明实施例七提供的一种指挥调度终端间的桌面共享***的结构示意图;
图9是本发明实施例八提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图2a是本发明实施例一提供的一种指挥调度终端间的桌面共享方法的流程图,本实施例可适用于指挥调度终端间在音视频通话中进行桌面共享的情况,该方法可以由指挥调度终端间的桌面共享装置来执行,该装置可以通过软件,和/或硬件的方式实现,装置可以集成在外置编解码器中,如图2a所示,该方法可以由共享终端相连的外置编解码器执行,该方法具体包括:
步骤110、接收服务器发送的发起终端发起的桌面共享请求。
其中,桌面共享请求可以是作为发起终端的指挥调度终端向作为共享终端的指挥调度终端发起的,例如可以是在至少两个指挥调度终端进行音视频通话中,一个或多个指挥调度终端向其他一个或多个指挥调度终端发起的桌面共享请求。可以将发起桌面共享请求的指挥调度终端作为发起终端,将被发起桌面共享请求的指挥调度终端作为共享终端。
发起终端的桌面共享请求可以通过服务器传输至共享终端,例如网路音视频指挥调度服务器。图2b是本发明实施例一提供的一种网络音视频指挥调度平台的连接示意图。如图2b所示,指挥调度终端可以运行在运行效能相对较低的软硬件中,比如指挥调度终端采用是不足以支持内嵌编解码服务的芯片和操作***。指挥调度终端中可以设置有程序,例如,可以通过发起终端的程序向网络音视频指挥调度服务器发送桌面共享请求,共享终端可以通过内置的程序接收服务器发送的桌面共享请求。
但是,为了减少指挥调度终端的负担,发起终端可以通过相连的外置编解码器向服务器发送桌面共享请求,共享终端可以通过相连的外置编解码器接收服务器发送的桌面共享请求。
在本发明实施例的一个实施方式中,可选的,接收服务器发送的发起终端的桌面共享请求,包括:接收服务器发送的发起终端的视频通道、视频编码参数、以及SIP流参数。
其中,视频通道可以是指定需要进行桌面共享的视频,例如视频通道可以是第一视频,即可以是共享终端正在监控的视频采集设备的视频;或者,视频通道可以是第二视频,即可以是共享终端中人机交互界面以及正在监控的视频采集设备的视频。为了实现更好的桌面共享效果,便于指挥调度终端间的通信交流,视频通道可以是第二视频。
视频编码参数可以是对进行桌面共享的视频进行设置的编码参数,如H.264编码参数,可以包括视频通道编码参数、视频输入源、视频源分辨率、编码分辨率、宽、高、码率类型、视频码率、算法档级、帧率、I帧间隔以及I帧质量等。
示例性的,服务器发送的视频编码参数为:视频通道编码参数为融合h264编码、视频输入源为融合画面、视频源分辨率为1080P60、编码分辨率为自定义、宽为1920、高为1080、码率类型为变码流、视频码率为3M(可取范围为64K-8192K)、算法档级为HighProfile(高清)、帧率为30、I帧间隔为30(可取范围为1-1000)、以及I帧质量为10(可取范围为10-45)。
会话初始协议(Session Initiation Protocol,SIP)流参数可以是发起终端以及共享终端的桌面共享的会话协议参数,例如可以包括协议类型、编解码类型、用户名、授权名、密码、显示名、来源、注册服务器IP、注册服务器端口、本地端口以及刷新状态等参数。
示例性的,服务器发送的SIP流参数可以是:协议类型为标准编号、编解码类型为既编又解、用户名和授权名可以是共享终端的由数字、字母、或者符号等组成的一串字符(可以表示共享终端,用户名和授权名可以是一致的)、密码可以是共享终端的连接密码(可以是密码正确时才可以连接到共享终端,可以是隐藏显示的密码)、显示名可以是共享终端用于显示的名称(可以与用户名一致)、来源可以是发起终端的IP地址、注册服务器IP可以是网络音视频指挥调度服务器的IP地址、注册服务器端口可以是网络音视频指挥调度服务器的通信端口如5060、本地端口可以是共享终端的通信端口如50170、以及刷新状态可以是已注册,通道空闲。
桌面共享请求可以是发起终端通过网络音视频指挥调度服务器向共享终端发起的请求。桌面共享请求中可以包含发起终端、服务器、共享终端、以及桌面共享的视频的参数信息。
步骤120、根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器。
其中,共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的。共享终端桌面视频编码流在经由服务器发送至发起终端的外置编解码器进行解码后,提供给发起终端进行共享展示。
为了实现更好的桌面共享效果,便于指挥调度终端间的通信交流,视频通道可以是第二视频。图2c是本发明实施例一提供的一种指挥调度终端用户界面拼接示意图。如图2c所示,桌面共享的视频可以是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的共享终端桌面视频编码流。其中,共享终端当前所监控的视频采集设备的视频编码流可以是一个或者多个视频采集设备的视频编码流。视频采集设备可以是摄像机、录像机等,例如HD-SDI摄像机(实时无压缩)。各视频采集设备可以与外置编解码器进行绑定,可以根据用户在指挥调度终端中的选择,而更新当前所监控的视频采集设备。
为了实现指挥调度终端的监控便利、直观,指挥调度终端可以将内置的指挥调度终端软件的视频流(比如实现指挥调度终端界面显示及操作功能的软件视频流)发送至相连的外置编解码器。外置编解码器可以将指挥调度终端软件的视频流与当前所监控的视频采集设备的视频编码流进行拼接生成指挥调度终端的桌面视频编码流,并解码生成指挥调度终端的桌面视频解码流。外置编解码器可以将指挥调度终端的桌面视频解码流发送至指挥调度终端的显示器中进行显示。例如,外置编解码器通过高清多媒体接口(HighDefinition Multimedia Interface,HDMI)将指挥调度终端的桌面视频解码流输出至显示器(如人机交互界面)上。此过程,适用于发起终端或共享终端的桌面共享请求之前的桌面显示。当共享终端相连的外置编解码器接收到服务器发送的发起终端的桌面共享请求时,可以直接将作为共享终端的指挥调度终端的桌面视频解码流进行编码,生成共享终端桌面视频编码流,反馈给服务器。
服务器接收到共享终端桌面视频编码流后,可以将共享终端桌面视频编码流发送至发起终端的外置编解码器进行解码,得到共享终端桌面视频解码流。发起终端的外置编解码器可以将共享终端桌面视频解码流,提供给发起终端进行共享展示。
发起终端的共享展示可以是发起终端相连的外置编解码器将作为发起终端的指挥调度终端的桌面视频解码流与共享终端桌面视频解码流进行拼接生成组合桌面视频解码流发送至发起终端的人机交互界面进行显示,例如通过HDMI接口将组合桌面视频解码流输出至发起终端的人机交互界面进行显示。或者,发起终端的共享展示可以是将作为发起终端的指挥调度终端的桌面视频编码流与共享终端桌面视频编码流)组合桌面视频编码流,并解码生成组合桌面视频解码流发送至发起终端的人机交互界面进行显示。
在本发明实施例的一个实施方式中,可选的,根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器,包括:根据桌面共享请求,将与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流反馈给服务器。
其中,视频通道为第二视频时,共享终端相连的外置编解码器可以将共享终端桌面视频编码流反馈给服务器。其中,共享终端桌面视频编码流可以是按照视频编码参数以及SIP流参数注册登记的。
示例性的,满足用户名、授权名以及密码的共享终端相连的外置编解码器,通过注册服务器IP对应的网络音视频指挥调度服务器的注册服务器端口,在刷新状态为已注册,通道空闲时,通过本地端口将满足视频编码参数的共享终端桌面视频编码流反馈给来源对应的发起终端相连的外置编解码器。可以借助外置编解码器实现桌面共享,而无需占用指挥调度终端的资源,不会增加指挥调度终端的负担。同时,桌面共享全面,不存在缺项,便于用户通过指挥调度平台就行交流。
本实施例的技术方案,通过接收服务器发送的发起终端的桌面共享请求;根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器;共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的;其中,共享终端桌面视频编码流在经由服务器发送至发起终端的外置编解码器进行解码后,提供给发起终端进行共享展示,解决了指挥调度终端间的桌面共享问题,实现了占用较低的指挥调度平台的芯片和操作***的运行效能,实现指挥调度终端间的桌面共享,不会给指挥调度终端带来负担的效果。
实施例二
图3是本发明实施例二提供的一种指挥调度终端间的桌面共享方法的流程图,本实施例是对上述技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图3所示,该方法由与共享终端相连的外置编解码器执行,该方法包括:
步骤210、通过服务器与发起终端建立音视频通话连接。
在本发明实施例的一个实施方式中,可选的,通过服务器与发起终端建立音视频通话连接,包括:如果接收到共享终端发送的针对音视频通话请求的确认通话响应,则通过服务器与发起终端建立音视频通话连接,其中,音视频通话请求可以是服务器向共享终端发送的发起终端的音视频通话请求;或者,
如果接收到发起终端针对音视频通话请求的确认通话响应,则通过服务器与发起终端建立音视频通话连接,其中,音视频通话请求可以是服务器向发起终端发送的共享终端的音视频通话请求。
其中,音视频通话连接的发起者可以是桌面共享请求的发起终端或者共享终端。换言之,可以是任一指挥调度终端发起音视频通话,在音视频通话建立后,可以由音视频通话中的任一指挥调度终端向其他音视频通话中的其他指挥调度终端发起桌面共享请求。其中,发起桌面共享请求的指挥调度终端作为发起终端,被发起桌面共享请求的指挥调度终端作为共享终端。
发起终端与共享终端间的音视频通话可以是在桌面共享之前建立的。在建立音视频通话时,可以在发起终端与共享终端中内嵌相应的程序,通过内嵌的程序直接通过发起终端与共享终端建立音视频通话。为了降低发起终端与共享终端建立音视频通话时对软硬件的占用,不给指挥终端软件带来负担,在建立音视频通话时,可以通过发起终端相连的外置编解码器以及共享终端相连的外置编解码器进行音视频通话建立。
示例性的,音视频通话建立过程可以是:发起终端向共享终端发起音视频通话请求。发起终端通过相连的外置编解码器可以接收音视频通话请求,并根据音视频通话请求向服务器注册SIP服务,服务器根据注册的SIP服务向共享终端请求建立音视频通话。如果共享终端确认通话响应,则共享终端将确认通话响应发送至相连的外置编解码器;外置编解码器接收到确认通话响应时,根据SIP服务将对应的共享桌面视频编码流发送至相连的共享终端,以实现音视频通话中共享终端的视频展示。
或者,音视频通话建立过程可以是:共享终端可以向发起终端发起音视频通话请求。共享终端通过相连的外置编解码器可以接收音视频通话请求,并根据音视频通话请求向服务器注册SIP服务,服务器根据注册的SIP服务向发起终端请求建立音视频通话。如果发起终端确认通话响应,则发起终端将确认通话响应发送至相连的外置编解码器;外置编解码器接收到确认通话响应时,根据SIP服务将对应的发起终端桌面视频编码流发送至相连的发起终端,以实现音视频通话中发起终端的视频展示。
如果共享终端确认通话响应,则通过服务器或者通过相连的外置编解码器以及服务器,将确认通话响应发送至发起终端,以通知发起终端相连的外置编解码器将对应的发起终端桌面视频编码流发送至相连的发起终端,实现音视频通话中发起终端的视频展示。
或者,如果发起终端确认通话响应,则通过服务器或者通过相连的外置编解码器以及服务器,将确认通话响应发送至共享终端,以通知共享终端相连的外置编解码器将对应的共享桌面视频编码流发送至相连的共享终端,实现音视频通话中共享终端的视频展示。
需要说明的是,在上述的音视频通话请求中,发起终端的视频展示中展示的是发起终端桌面视频解码流,共享终端的视频展示中展示的是共享桌面视频解码流。即在音视频通话请求中,发起终端与共享终端之间所展示的视频是不同的。而在音视频通话请求的基础上,发起终端发起桌面共享请求,并成功建立桌面共享后,发起终端展示的是组合桌面视频解码流,共享终端展示的是共享桌面视频解码流。即桌面共享成功建立后,发起终端展示的视频发生了变化,是由发起终端桌面视频解码流与共享桌面视频解码流拼接生成的组合桌面视频解码流;而共享终端展示的视频并未发生变化。发起终端与共享终端之间展示的视频依旧是不同的。可以根据需求,共享终端向发起终端发起桌面共享请求,以使两者展示的视频相同,具体的过程可以与发起终端向共享终端发起桌面展示请求的过程相似,不再赘述。
还需要说明的是,在视频展示中,发起终端与共享终端还可以通过服务器以及网络,根据SIP服务建立音视频通话中的音频通话,具体过程本发明实施例不做具体限定。其中,音视频通话中的SIP服务可以与桌面共享中的SIP服务类似,这里不再赘述。
步骤220、接收共享终端发送的视频采集设备的设备标识,视频采集设备为用户选择监控的设备。
其中,为了实现共享终端和发起终端的显示器中可以显示用户选择监控的视频采集设备的视频。以共享终端为例,进行说明(发起终端可以具有类似的过程):示例性的,在音视频通话成功连接之后,共享终端可以接收用户选择监控的视频采集设备的设备标识,例如,用户可以在共享终端的人机交互界面中选择不同的设备标识,各设备标识可以与视频采集设备唯一对应。共享终端可以将用户选择的设备标识发送至相连的外置编解码器。
步骤230、获取与设备标识匹配的视频采集设备的视频编码流,以及共享终端中人机交互界面的界面编码流。
其中,外置编解码器可以绑定不同的视频采集设备,当接收到用户选择的设备标识时,外置编解码器可以接收与设备标识对应的视频采集设备的视频编码流。并且,外置编解码器可以接收相连的共享终端发送的共享终端的显示器的界面编码流,例如共享终端中人机交互界面的界面编码流。为了实现显示器显示的及时准确性,外置编解码器可以实时获取视频编码流与界面编码流。
步骤240、将视频编码流与界面编码流进行拼接生成共享终端桌面视频编码流,并将共享终端桌面视频编码流解码提供给共享终端进行音视频通话展示。
其中,外置编解码器可以将实时获取的视频编码流与界面编码流进行拼接生成共享终端桌面视频编码流,例如,根据拼接生成的共享终端桌面视频编码流可以在人机交互界面的指定位置显示界面编码流对应的界面,在预设的视频显示位置显示视频编码流对应的视频,各视频编码流对应的视频可以按照从左到右、从上到下的顺序进行排列。外置编解码器可以对共享终端桌面视频编码流进行解码,生成共享终端桌面视频解码流,并发送至共享终端,共享终端可以根据共享终端桌面视频解码流,按照编码流拼接对应的方式,在人机交互界面中进行音视频通话的视频展示。
需要说明的是,上述共享终端音视频通话中的视频展示过程同样适用于发起终端。即步骤210至步骤240所对应的过程,可以是发起终端以及发起终端相连的外置编解码实现的。
步骤250、接收服务器发送的发起终端的视频通道、视频编码参数、以及SIP流参数。
步骤260、将共享终端的桌面共享状态发送给服务器。
其中,共享终端的桌面共享状态可以是表示共享桌面是否允许桌面共享的状态。例如,桌面共享状态可以是启用或者非启用。桌面共享状态为启用时,该共享终端允许其他的指挥调度终端作为发起终端点播获取桌面显示的视频。桌面共享状态为非启用时,不允许其他的指挥调度终端作为发起终端点播获取桌面显示的视频。共享终端相连的外置编解码器可以在共享终端获取到被发起桌面共享请求时,将共享终端的桌面共享状态发送至服务器,可以指示服务器或者发起终端是否可以建立桌面共享。或者,也可以在共享终端获取到被发起桌面共享请求时,共享终端将共享终端的桌面共享状态发送至服务器。
为了便于用户及时获取共享终端的桌面共享状态,可以设置桌面共享状态的图标,例如,桌面共享状态为启用时,可以显示图标;桌面共享状态为非启用时,可以不显示图标或者将图标显示为灰色等表示非启用的颜色。图标可以显示在共享终端的显示界面的资源列表中。用户可以通过点击或者触摸图标,或者共享终端的设置界面更改共享终端的桌面共享状态。共享终端的桌面共享状态可以通过服务器发送至发起终端,在发起终端的资源列表中可以显示共享终端以及共享终端的桌面共享状态。
步骤270、当桌面共享状态为启用时,根据桌面共享请求,将与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流反馈给服务器。
其中,共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的;共享终端桌面视频编码流在经由服务器发送至发起终端的外置编解码器进行解码后,提供给发起终端进行共享展示。
本实施例的技术方案,通过服务器与发起终端建立音视频通话连接;接收共享终端发送的,用户选择监控的视频采集设备的设备标识;获取与设备标识匹配的视频采集设备的视频编码流,以及共享终端中人机交互界面的界面编码流;将视频编码流与界面编码流进行拼接生成共享终端桌面视频编码流,并将共享终端桌面视频编码流解码提供给共享终端进行音视频通话展示;接收服务器发送的发起终端的视频通道、视频编码参数、以及会话初始协议SIP流参数;将共享终端的桌面共享状态发送给服务器;当桌面共享状态为启用时,根据桌面共享请求,将与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流反馈给服务器,解决了指挥调度终端间的桌面共享问题,实现了在音视频通话中根据桌面共享请求以及桌面共享状态,占用较低的指挥调度平台的芯片和操作***的运行效能,实现指挥调度终端间的桌面共享,不给指挥调度终端带来负担的效果。
实施例三
图4a是本发明实施例三提供的一种指挥调度终端间的桌面共享方法的流程图,该方法可以由与发起终端相连的外置编解码器执行,外置编解码器用于绑定至少一个视频采集设备。如图4a所示,该方法具体包括:
步骤310、通过服务器与共享终端建立音视频通话连接。
其中,音视频通话连接的发起者可以是桌面共享请求的发起终端或者共享终端。
步骤320、接收发起终端发送的视频采集设备的设备标识,视频采集设备为用户选择监控的设备。
步骤330、获取与设备标识匹配的视频采集设备的视频编码流,以及发起终端中人机交互界面的界面编码流。
步骤340、将视频编码流与界面编码流进行拼接生成发起终端桌面视频编码流,并将发起终端桌面视频编码流解码提供给发起终端进行音视频通话展示。
需要说明的是,步骤310至步骤340所对应的过程,可以是与步骤210与步骤240所对应的过程是相似的,这里不再赘述。图4b是本发明实施例三提供的指挥调度终端间进行音视频通话的示意图,如图4b所示,通过步骤210至步骤240,以及步骤310至步骤340,发起终端与共享终端之间可以建立音视频通话,并分别在各自的人机交互界面中显示各自所监控的视频采集设备。
步骤350、向服务器发送针对共享终端的桌面共享请求。
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给服务器。发起终端可以向共享终端发起桌面共享请求,具体过程可以是,发起终端将针对于共享终端的桌面共享请求发送至发起终端相连的外置编解码器。外置编解码器可以将桌面共享请求发送至服务器,以实现SIP服务注册。服务器可以将桌面共享请求发送至共享终端相连的外置编解码器,以获取共享终端桌面视频编码流。
在本发明实施例的一个实施方式中,可选的,向服务器发送针对共享终端的桌面共享请求,包括:向服务器发送针对共享终端的视频通道、视频编码参数、以及SIP流参数。
其中,发起终端可以通过相连的外置编解码器将桌面共享请求相关的参数发送至服务器。可以通过桌面共享请求相关的参数中的视频通道确定期望获取的共享视频,例如,视频通道为第一视频时,可以是期望获取共享终端正在监控的视频采集设备的视频;视频通道为第二视频时,可以是期望获取共享终端中人机交互界面以及正在监控的视频采集设备的视频。可以通过视频编码参数对期望获取的共享视频进行设置。可以通过SIP流参数设置期望连接到的共享终端以及使用的服务器。
步骤360、接收服务器发送的共享终端的桌面共享状态。
为了使外置编解码器知晓是否接收到视频,可以将桌面共享状态发送给外置编解码器。
其中,在共享终端的桌面共享状态为启用时,发起终端与共享终端可以建立桌面共享。发起终端的用户与共享终端的用户可以在音视频通话中,商定是否发起桌面共享请求。如果发起桌面共享请求后,共享终端的桌面共享状态为启用,可以建立桌面共享;如果发起桌面共享请求后,共享终端的桌面共享状态为非启用,发起终端可以通过音视频通话提示共享终端更改桌面共享状态为启用,以进行桌面共享。
共享终端可以将自身的桌面共享状态发送至服务器,或者可以通过相连的外置编解码进行发送。服务器可以将桌面共享状态发送至发起终端,以使发起终端的用户知晓当前情况下是否可以进行桌面共享。服务器也可以将桌面共享状态发送至发起终端相连的外置编解码器,以指示外置编解码是否接收共享终端桌面视频编码流。
步骤370、当桌面共享状态为启用时,接收服务器发送的共享终端桌面视频编码流,并将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流。
其中,共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的。发起终端桌面视频编码流是发起终端中人机交互界面的界面编码流与发起终端当前所监控的视频采集设备的视频编码流拼接生成的。共享终端和发起终端所监控的视频采集设备可以是一个或者多个,或者可以不存在正在监控的视频采集设备。共享终端和发起终端所监控的视频采集设备可以是相同的、不同的或者部分相同的。
发起终端相连的外置编解码器将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流。例如,通过组合桌面视频编码流,发起终端的人机交互界面可以在指定的位置显示发起终端中人机交互界面的界面编码流对应的视频,在预设的第一显示位置显示发起终端当前所监控的视频采集设备的视频编码流对应的视频,在预设的第二显示位置显示共享终端桌面视频编码流对应的视频。
在本发明实施例的一个实施方式中,可选的,接收服务器发送的共享终端桌面视频编码流,包括:接收服务器发送的与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流。
步骤380、对组合桌面视频编码流进行解码得到组合桌面视频解码流,并将组合桌面视频解码流发送至发起终端,以进行共享显示。
其中,与发起终端相连的外置编解码器可以对组合桌面视频编码流进行解码得到组合桌面视频解码流,并发送至发起终端。发起终端可以根据组合桌面视频解码流,按照编码流拼接对应的方式,在人机交互界面中进行桌面共享的显示。其中,外置编解码器可以将组合桌面视频解码流发送至发起终端,再由发起终端发送至人机交互界面进行显示。为了减少对指挥调度终端的负担,外置编解码器也可以直接将组合桌面视频解码流发送至人机交互界面进行显示。可以通过HDMI接口实现视频的传输。
本实施例的技术方案,通过服务器与共享终端建立音视频通话连接;接收发起终端发送的,用户选择监控的视频采集设备的设备标识;获取与设备标识匹配的视频采集设备的视频编码流,以及发起终端中人机交互界面的界面编码流;将视频编码流与界面编码流进行拼接生成发起终端桌面视频编码流,并将发起终端桌面视频编码流解码提供给发起终端进行音视频通话展示;向服务器发送针对共享终端的桌面共享请求;接收服务器发送的共享终端的桌面共享状态;当桌面共享状态为启用时,接收服务器发送的共享终端桌面视频编码流,并将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;对组合桌面视频编码流进行解码得到组合桌面视频解码流,并将组合桌面视频解码流发送至发起终端,以进行共享显示,解决了指挥调度终端间的桌面共享问题,实现了在音视频通话中根据桌面共享请求以及桌面共享状态,占用较低的指挥调度平台的芯片和操作***的运行效能,实现指挥调度终端间的桌面共享,不给指挥调度终端带来负担的效果。
实施例四
图5a是本发明实施例四提供的一种指挥调度终端间的桌面共享方法的流程图,如图5a所示,该方法包括:
步骤410、发起终端相连的外置编解码器向服务器发送针对共享终端的桌面共享请求。
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并经由服务器反馈给与发起终端相连的外置编解码器。
在本发明实施例的一个实施方式中,可选的,发起终端相连的外置编解码器向服务器发送针对共享终端的桌面共享请求,包括:发起终端相连的外置编解码器向服务器发送针对共享终端的视频通道、视频编码参数、以及SIP流参数。
步骤420、共享终端相连的外置编解码器接收服务器发送的发起终端的桌面共享请求。
在本发明实施例的一个实施方式中,可选的,共享终端相连的外置编解码器接收服务器发送的发起终端的桌面共享请求,包括:共享终端相连的外置编解码器接收服务器发送的发起终端的视频通道、视频编码参数、以及SIP流参数。
步骤430、共享终端相连的外置编解码器根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器。
其中,共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的。
在本发明实施例的一个实施方式中,可选的,在共享终端相连的外置编解码器根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器之前,还包括:共享终端相连的外置编解码器将共享终端的桌面共享状态发送给服务器。
在本发明实施例的一个实施方式中,可选的,共享终端相连的外置编解码器在桌面共享状态为启用时,根据桌面共享请求,将与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流反馈给服务器。
步骤440、发起终端相连的外置编解码器接收服务器发送的共享终端桌面视频编码流,并将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流。
步骤450、发起终端相连的外置编解码器对组合桌面视频编码流进行解码得到组合桌面视频解码流,并将组合桌面视频解码流发送至发起终端,以进行共享显示。
本发明实施例的技术方案,通过发起终端相连的外置编解码器向服务器发送针对共享终端的桌面共享请求;共享终端相连的外置编解码器接收服务器发送的发起终端的桌面共享请求;共享终端相连的外置编解码器根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器;发起终端相连的外置编解码器接收服务器发送的共享终端桌面视频编码流,并将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;发起终端相连的外置编解码器对组合桌面视频编码流进行解码得到组合桌面视频解码流,并将组合桌面视频解码流发送至发起终端,以进行共享显示,解决了指挥调度终端间的桌面共享问题,实现了在音视频通话中根据桌面共享请求以及桌面共享状态,占用较低的指挥调度平台的芯片和操作***的运行效能,实现指挥调度终端间的桌面共享,不给指挥调度终端带来负担的效果。
在上述实施方式的基础上,可选的,在发起终端相连的外置编解码器向服务器发送针对共享终端的桌面共享请求之前,该方法,还包括:发起终端相连的外置编解码器通过服务器与共享终端建立音视频通话连接。或者,共享终端相连的外置编解码器通过服务器与发起终端建立音视频通话连接。
可选的,该方法,还包括:发起终端相连的外置编解码器接收发起终端发送的,用户选择监控的视频采集设备的设备标识;并获取与设备标识匹配的视频采集设备的视频编码流,以及发起终端中人机交互界面的界面编码流;将视频编码流与界面编码流进行拼接生成发起终端桌面视频编码流,并将发起终端桌面视频编码流解码提供给发起终端进行音视频通话展示。
或者,共享终端相连的外置编解码器接收共享终端发送的,用户选择监控的视频采集设备的设备标识;并获取与设备标识匹配的视频采集设备的视频编码流,以及共享终端中人机交互界面的界面编码流;将视频编码流与界面编码流进行拼接生成共享终端桌面视频编码流,并将共享终端桌面视频编码流解码提供给共享终端进行音视频通话展示。
图5b是本发明实施例四提供的一种指挥调度终端间的桌面共享方法的流程图,如图5b所示,发起终端与共享终端可以先建立音视频通话。在音视频通话中,发起终端与共享终端的人机交互界面中可以分别显示对应的用户选定的外置编解码器所绑定的视频采集设备的视频以及对应的人机交互界面视频。
在音视频通话中,发起终端与共享终端可以商定是否需要进行桌面共享,如果不执行桌面共享,可以继续音视频通话直至结束。如果执行桌面共享,发起终端相连的外置编解码器可以向服务器进行SIP服务注册(例如,包括视频通道、视频编码参数、以及SIP流参数的注册)。
根据SIP服务注册,共享终端相连的外置编解码器可以将通过HDMI接口输出到共享终端人机交互界面的共享终端桌面视频解码流进行编码生成共享终端桌面视频编码流,并将共享终端桌面视频编码流通过服务器反馈至发起终端相连的外置编解码器。
发起终端相连的外置编解码器可以将共享终端桌面视频编码流与通过HDMI接口输出到发起终端人机交互界面的发起终端桌面视频解码流进行拼接,生成组合桌面视频解码流,通过HDMI接口发送至发起终端的人机交互界面进行显示,实现桌面共享。
在音视频通话结束时,可以结束音视频通话以及桌面共享。或者,在桌面共享结束时,可以结束桌面共享;在音视频通话结束时,结束音视频通话。
实施例五
图6是本发明实施例五提供的一种指挥调度终端间的桌面共享装置的结构示意图。该装置可以设置于与共享终端相连的外置编解码器,外置编解码器用于绑定至少一个视频采集设备。结合图6,该装置包括:桌面共享请求接收模块610和共享终端桌面视频编码流反馈模块620。
桌面共享请求接收模块610,用于接收服务器发送的发起终端发起的桌面共享请求;
共享终端桌面视频编码流反馈模块620,用于根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器;共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
其中,共享终端桌面视频编码流在经由服务器发送至发起终端的外置编解码器进行解码后,提供给发起终端进行共享展示。
可选的,该装置,还包括:
音视频通话连接建立模块,用于在接收服务器发送的发起终端的桌面共享请求之前,通过服务器与发起终端建立音视频通话连接;
设备标识接收模块,用于接收共享终端发送的视频采集设备的设备标识,视频采集设备为用户选择监控的设备;
编码流获取模块,用于获取与设备标识匹配的视频采集设备的视频编码流,以及共享终端中人机交互界面的界面编码流;
编码流拼接模块,用于将视频编码流与界面编码流进行拼接生成共享终端桌面视频编码流,并将共享终端桌面视频编码流解码提供给共享终端进行音视频通话展示。
可选的,桌面共享请求接收模块610,包括:
参数接收单元,用于接收服务器发送的发起终端的视频通道、视频编码参数、以及SIP流参数。
可选的,共享终端桌面视频编码流反馈模块620,包括:
共享终端桌面视频编码流反馈单元,用于根据桌面共享请求,将与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流反馈给服务器。
可选的,该装置,还包括:
共享状态发送模块,用于在接收服务器发送的发起终端的桌面共享请求之后,将共享终端的桌面共享状态发送给服务器;
共享终端桌面视频编码流反馈模块,用于当桌面共享状态为启用时,根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器。
本发明实施例所提供的指挥调度终端间的桌面共享装置可执行本发明任意实施例所提供的指挥调度终端间的桌面共享方法,具备执行方法相应的功能模块和有益效果。
实施例六
图7是本发明实施例六提供的一种指挥调度终端间的桌面共享装置的结构示意图。该装置,可以配置在与发起终端相连的外置编解码器中,外置编解码器用于绑定至少一个视频采集设备。结合图7,该装置包括:桌面共享请求发送模块710,组合桌面视频编码流生成模块720和组合桌面视频解码流发送模块730。
其中,桌面共享请求发送模块710,用于向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给服务器;
组合桌面视频编码流生成模块720,用于接收服务器发送的共享终端桌面视频编码流,并将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
组合桌面视频解码流发送模块730,用于对组合桌面视频编码流进行解码得到组合桌面视频解码流,并将组合桌面视频解码流发送至发起终端,以进行共享显示。
可选的,该装置,还包括:
音视频通话连接建立模块,用于在向服务器发送针对共享终端的桌面共享请求之前,通过服务器与共享终端建立音视频通话连接;
设备标识接收模块,用于接收发起终端发送的视频采集设备的设备标识,视频采集设备为用户选择监控的设备;
编码流获取模块,用于获取与设备标识匹配的视频采集设备的视频编码流,以及发起终端中人机交互界面的界面编码流;
编码流拼接模块,用于将视频编码流与界面编码流进行拼接生成发起终端桌面视频编码流,并将发起终端桌面视频编码流解码提供给发起终端进行音视频通话展示。
可选的,桌面共享请求发送模块710,包括:
参数发送单元,用于向服务器发送针对共享终端的视频通道、视频编码参数、以及会话初始协议SIP流参数。
可选的,组合桌面视频编码流生成模块720,包括:
共享终端桌面视频编码流接收单元,用于接收服务器发送的与视频通道对应,并按照视频编码参数以及SIP流参数注册登记的共享终端桌面视频编码流。
可选的,该装置,还包括:
桌面共享状态接收模块,用于在向服务器发送针对共享终端的桌面共享请求之后,接收服务器发送的共享终端的桌面共享状态;
共享终端桌面视频编码流接收模块,用于当桌面共享状态为启用时,接收服务器发送的共享终端桌面视频编码流。
本发明实施例所提供的指挥调度终端间的桌面共享装置可执行本发明任意实施例所提供的指挥调度终端间的桌面共享方法,具备执行方法相应的功能模块和有益效果。
实施例七
图8是本发明实施例七提供的一种指挥调度终端间的桌面共享***的结构示意图,如图8所示,该***包括:发起终端810、发起终端相连的外置编解码器820、共享终端830、共享终端相连的外置编解码器840、以及服务器850。
其中,发起终端810、发起终端相连的外置编解码器820、共享终端830、以及共享终端相连的外置编解码器840分别与服务器850连接;
发起终端相连的外置编解码器820与共享终端相连的外置编解码器840,分别绑定至少一个视频采集设备;
发起终端,用于通过发起终端相连的外置编解码器820向服务器850发送针对共享终端830的桌面共享请求;
其中,桌面共享请求用于服务器850指示与共享终端相连的外置编解码器840生成共享终端桌面视频编码流,并经由服务器850反馈给与发起终端相连的外置编解码器820;
共享终端相连的外置编解码器840,用于接收服务器850发送的发起终端810的桌面共享请求,并根据桌面共享请求,将共享终端桌面视频编码流反馈给服务器850;共享终端桌面视频编码流是共享终端830中人机交互界面的界面编码流与共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
发起终端相连的外置编解码器820,用于通过接收服务器850发送的共享终端桌面视频编码流,并将共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
发起终端相连的外置编解码器820,用于对组合桌面视频编码流进行解码得到组合桌面视频解码流,并将组合桌面视频解码流发送至发起终端810,以进行共享显示。
在上述实施方式的基础上,可选的,该***,包括:发起终端相连的外置编解码器820(或者共享终端相连的外置编解码器840),还用于在发起终端相连的外置编解码器820向服务器850发送针对共享终端830的桌面共享请求之前,通过服务器850与共享终端830(或者发起终端810)建立音视频通话连接。
可选的,该***,还包括:发起终端相连的外置编解码器820(或者共享终端相连的外置编解码器840),还用于接收发起终端810(或者共享终端830)发送的,用户选择监控的视频采集设备的设备标识;并获取与设备标识匹配的视频采集设备的视频编码流,以及发起终端810(或者共享终端830)中人机交互界面的界面编码流;将视频编码流与界面编码流进行拼接生成发起终端桌面视频编码流(或者共享终端桌面视频编码流),并将发起终端桌面视频编码流(或者共享终端桌面视频编码流)解码提供给发起终端810(或者共享终端830)进行音视频通话展示。
实施例八
图9是本发明实施例八提供的一种电子设备的结构示意图,如图9所示,该设备包括:
一个或多个处理器910,图9中以一个处理器910为例;
存储器920;
所述设备还可以包括:输入装置930和输出装置940。
所述设备中的处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器920作为一种非暂态计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的一种指挥调度终端间的桌面共享方法对应的程序指令/模块(例如,附图6所示的面共享请求接收模块610和共享终端桌面视频编码流反馈模块620,或者附图7所示的桌面共享请求发送模块710,组合桌面视频编码流生成模块720和组合桌面视频解码流发送模块730)。处理器910通过运行存储在存储器920中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述方法实施例的一种指挥调度终端间的桌面共享方法,即:
接收服务器发送的发起终端发起的桌面共享请求;
根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
其中,所述共享终端桌面视频编码流在经由所述服务器发送至所述发起终端的外置编解码器进行解码后,提供给所述发起终端进行共享展示。或者,
向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给所述服务器;
接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
存储器920可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器920可以包括高速随机存取存储器,还可以包括非暂态性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中,存储器920可选包括相对于处理器910远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
实施例九
本发明实施例九提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例提供的一种指挥调度终端间的桌面共享方法:
接收服务器发送的发起终端发起的桌面共享请求;
根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
其中,所述共享终端桌面视频编码流在经由所述服务器发送至所述发起终端的外置编解码器进行解码后,提供给所述发起终端进行共享展示。或者,
向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给所述服务器;
接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种指挥调度终端间的桌面共享方法,由与共享终端相连的外置编解码器执行,外置编解码器用于绑定至少一个视频采集设备,其特征在于,包括:
接收服务器发送的发起终端发起的桌面共享请求;
根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
其中,所述共享终端桌面视频编码流在经由所述服务器发送至所述发起终端的外置编解码器进行解码后,提供给所述发起终端进行共享展示。
2.根据权利要求1所述的方法,其特征在于,在接收服务器发送的发起终端的桌面共享请求之前,还包括:
通过服务器与所述发起终端建立音视频通话连接;
接收所述共享终端发送的视频采集设备的设备标识,所述视频采集设备为用户选择监控的设备;
获取与所述设备标识匹配的视频采集设备的视频编码流,以及所述共享终端中人机交互界面的界面编码流;
将所述视频编码流与所述界面编码流进行拼接生成所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流解码提供给所述共享终端进行音视频通话展示。
3.根据权利要求1所述的方法,其特征在于,接收服务器发送的发起终端的桌面共享请求,包括:
接收服务器发送的发起终端的视频通道、视频编码参数、以及会话初始协议SIP流参数;
根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器,包括:
根据所述桌面共享请求,将与所述视频通道对应,并按照所述视频编码参数以及所述SIP流参数注册登记的所述共享终端桌面视频编码流反馈给所述服务器。
4.根据权利要求1所述的方法,其特征在于,在接收服务器发送的发起终端的桌面共享请求之后,还包括:
将所述共享终端的桌面共享状态发送给所述服务器;
当所述桌面共享状态为启用时,根据所述桌面共享请求,将共享终端桌面视频编码流反馈给所述服务器。
5.一种指挥调度终端间的桌面共享方法,由与发起终端相连的外置编解码器执行,外置编解码器用于绑定至少一个视频采集设备,其特征在于,包括:
向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并反馈给所述服务器;
接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
6.根据权利要求5所述的方法,其特征在于,在向服务器发送针对共享终端的桌面共享请求之前,还包括:
通过服务器与所述共享终端建立音视频通话连接;
接收所述发起终端发送的视频采集设备的设备标识,所述视频采集设备为用户选择监控的设备;
获取与所述设备标识匹配的视频采集设备的视频编码流,以及所述发起终端中人机交互界面的界面编码流;
将所述视频编码流与所述界面编码流进行拼接生成所述发起终端桌面视频编码流,并将所述发起终端桌面视频编码流解码提供给所述发起终端进行音视频通话展示。
7.根据权利要求5所述的方法,其特征在于,向服务器发送针对共享终端的桌面共享请求,包括:
向服务器发送针对所述共享终端的视频通道、视频编码参数、以及会话初始协议SIP流参数;
接收所述服务器发送的所述共享终端桌面视频编码流,包括:
接收所述服务器发送的与所述视频通道对应,并按照所述视频编码参数以及所述SIP流参数注册登记的所述共享终端桌面视频编码流。
8.根据权利要求5所述的方法,其特征在于,在向服务器发送针对共享终端的桌面共享请求之后,还包括:
接收所述服务器发送的所述共享终端的桌面共享状态;
当所述桌面共享状态为启用时,接收所述服务器发送的所述共享终端桌面视频编码流。
9.一种指挥调度终端间的桌面共享方法,其特征在于,包括:
发起终端相连的外置编解码器向服务器发送针对共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并经由服务器反馈给与发起终端相连的外置编解码器;
共享终端相连的外置编解码器接收服务器发送的发起终端的桌面共享请求;
共享终端相连的外置编解码器根据所述桌面共享请求,将所述共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
发起终端相连的外置编解码器接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
发起终端相连的外置编解码器对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
10.一种指挥调度终端间的桌面共享***,其特征在于,包括:发起终端、发起终端相连的外置编解码器、共享终端、共享终端相连的外置编解码器、以及服务器;
其中,所述发起终端、所述发起终端相连的外置编解码器、所述共享终端、以及所述共享终端相连的外置编解码器分别与所述服务器连接;
所述发起终端相连的外置编解码器与所述共享终端相连的外置编解码器,分别绑定至少一个视频采集设备;
所述发起终端,用于通过所述发起终端相连的外置编解码器向服务器发送针对所述共享终端的桌面共享请求;
其中,桌面共享请求用于服务器指示与共享终端相连的外置编解码器生成共享终端桌面视频编码流,并经由服务器反馈给与发起终端相连的外置编解码器;
所述共享终端相连的外置编解码器,用于接收服务器发送的发起终端的桌面共享请求,并根据所述桌面共享请求,将所述共享终端桌面视频编码流反馈给所述服务器;所述共享终端桌面视频编码流是共享终端中人机交互界面的界面编码流与所述共享终端当前所监控的视频采集设备的视频编码流拼接生成的;
所述发起终端相连的外置编解码器,用于通过接收所述服务器发送的所述共享终端桌面视频编码流,并将所述共享终端桌面视频编码流与发起终端桌面视频编码流拼接生成组合桌面视频编码流;
所述发起终端相连的外置编解码器,用于对所述组合桌面视频编码流进行解码得到组合桌面视频解码流,并将所述组合桌面视频解码流发送至所述发起终端,以进行共享显示。
CN202010790166.3A 2020-08-07 2020-08-07 一种指挥调度终端间的桌面共享方法及*** Active CN111935540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790166.3A CN111935540B (zh) 2020-08-07 2020-08-07 一种指挥调度终端间的桌面共享方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790166.3A CN111935540B (zh) 2020-08-07 2020-08-07 一种指挥调度终端间的桌面共享方法及***

Publications (2)

Publication Number Publication Date
CN111935540A true CN111935540A (zh) 2020-11-13
CN111935540B CN111935540B (zh) 2022-06-28

Family

ID=73307534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790166.3A Active CN111935540B (zh) 2020-08-07 2020-08-07 一种指挥调度终端间的桌面共享方法及***

Country Status (1)

Country Link
CN (1) CN111935540B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888519A (zh) * 2009-05-14 2010-11-17 华为技术有限公司 共享桌面内容的方法和智能设备
CN102685597A (zh) * 2012-04-28 2012-09-19 广州九游信息技术有限公司 内容再现方法及装置、移动终端
CN102883135A (zh) * 2012-11-01 2013-01-16 成都飞视美视频技术有限公司 屏幕共享及控制方法
CN103024523A (zh) * 2012-12-07 2013-04-03 康佳集团股份有限公司 一种基于机顶盒的电视节目共享方法和***
US20130238684A1 (en) * 2012-03-07 2013-09-12 Salesforce.Com, Inc. Verification of shared display integrity in a desktop sharing system
CN103986935A (zh) * 2014-04-30 2014-08-13 华为技术有限公司 编码方法、编码器、屏幕共享设备及***
CN104254005A (zh) * 2013-06-28 2014-12-31 深圳樱桃树科技有限公司 一种无线视频共享播放器及播放方法
US20160239358A1 (en) * 2008-04-14 2016-08-18 International Business Machines Corporation Extensible data interface for shared service module
CN106101605A (zh) * 2016-07-05 2016-11-09 宁波菊风***软件有限公司 一种视频会议的屏幕共享实现方法
CN107357585A (zh) * 2017-07-13 2017-11-17 广州视源电子科技股份有限公司 视频获取方法、装置、视频设备及存储介质
CN107728973A (zh) * 2017-08-31 2018-02-23 努比亚技术有限公司 屏幕共享方法、***、发起终端及计算机可读存储介质
CN110856036A (zh) * 2019-11-11 2020-02-28 深圳市赛菲姆科技有限公司 远程桌面实现方法、交互方法、装置、设备、存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239358A1 (en) * 2008-04-14 2016-08-18 International Business Machines Corporation Extensible data interface for shared service module
CN101888519A (zh) * 2009-05-14 2010-11-17 华为技术有限公司 共享桌面内容的方法和智能设备
US20130238684A1 (en) * 2012-03-07 2013-09-12 Salesforce.Com, Inc. Verification of shared display integrity in a desktop sharing system
CN102685597A (zh) * 2012-04-28 2012-09-19 广州九游信息技术有限公司 内容再现方法及装置、移动终端
CN102883135A (zh) * 2012-11-01 2013-01-16 成都飞视美视频技术有限公司 屏幕共享及控制方法
CN103024523A (zh) * 2012-12-07 2013-04-03 康佳集团股份有限公司 一种基于机顶盒的电视节目共享方法和***
CN104254005A (zh) * 2013-06-28 2014-12-31 深圳樱桃树科技有限公司 一种无线视频共享播放器及播放方法
CN103986935A (zh) * 2014-04-30 2014-08-13 华为技术有限公司 编码方法、编码器、屏幕共享设备及***
CN106101605A (zh) * 2016-07-05 2016-11-09 宁波菊风***软件有限公司 一种视频会议的屏幕共享实现方法
CN107357585A (zh) * 2017-07-13 2017-11-17 广州视源电子科技股份有限公司 视频获取方法、装置、视频设备及存储介质
CN107728973A (zh) * 2017-08-31 2018-02-23 努比亚技术有限公司 屏幕共享方法、***、发起终端及计算机可读存储介质
CN110856036A (zh) * 2019-11-11 2020-02-28 深圳市赛菲姆科技有限公司 远程桌面实现方法、交互方法、装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗良耀: "视频会议***中屏幕共享的设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Also Published As

Publication number Publication date
CN111935540B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
US8830294B2 (en) Method and system for video conference control, videoconferencing network equipment, and videoconferencing site
CA2797986C (en) Collaboration system and method
US8320466B2 (en) Mixed video delivering apparatus and method, and computer storage medium
CN101938626B (zh) 一种视频会议终端、***和方法
US20130282820A1 (en) Method and System for an Optimized Multimedia Communications System
US20130185745A1 (en) Method, system and television for picture reproduction
KR101614862B1 (ko) 멀티미디어 비디오 데이터의 송신, 수신 방법 및 대응되는 장치
CN114546308B (zh) 应用界面投屏方法、装置、设备以及存储介质
WO2014161403A1 (zh) 视频会议电视终端视频源的接入方法和***
CN111479132A (zh) 坐席协作控制***、坐席协作***、控制方法及装置
CN105323461A (zh) 图像处理设备及其控制方法
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
CN111935540B (zh) 一种指挥调度终端间的桌面共享方法及***
CN107302678A (zh) 视频会议终端及其与互联网视讯软件的互通方法、***
WO2019007027A1 (zh) 视频播出方法、***、电子设备及可读取存储介质
CN111083428A (zh) 音视频数据处理方法、装置、计算机设备及存储介质
US11265357B2 (en) AV1 codec for real-time video communication
KR101237505B1 (ko) 멀티 세션을 제공하는 가상 데스크탑 서비스 제공 서버 및 방법
CN112839197B (zh) 图像码流处理方法、装置、***及存储介质
CN111479023A (zh) 坐席通话处理方法、坐席协作控制***及装置
CN112738026B (zh) 一种指挥调度方法
CN112738056B (zh) 编解码方法及***
CN111918115A (zh) 编辑内容处理方法、装置、设备及可读存储介质
CN118259820A (zh) 一种启用白板绘制的方法及相关装置
CN116866533A (zh) 监控优化方法、监控网关、视频会议***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant