CN113259690A - 一种跨网系的音视频实时在线协同***及方法 - Google Patents

Abstract

本文提供了一种跨网系的音视频实时在线协同***及方法，其中，***包括：音视频交互服务器、音视频隔离交换设备、音视频交互云平台；音视频交互服务器用于确定并发送适用于用户终端的庭审音视频码流至音视频隔离交换设备；发送音视频隔离交换设备转发的用户音视频码流至所述庭审审判终端播放；音视频交互云平台用于根据用户终端信息，确定并发送编解码方式至用户终端；发送用户终端上传的用户音视频码流至音视频隔离交换设备；接收并发送音视频隔离交换设备转发的适用于用户终端的庭审音视频码流至用户终端播放。本文能够支持各种类型及型号的用户终端接入，满足线上大容量的用户群体，提高用户体验。

Description

一种跨网系的音视频实时在线协同***及方法

技术领域

本文涉及跨网系音视频编解码领域，尤其涉及一种跨网系的音视频实时在线协同***及方法。

背景技术

随着人民法院信息化的深化完善，信息化建设对司法审判的辅助作用日益凸显。科技让司法更加公正、透明、阳光和高效。在席卷全球的科技浪潮中，如何提高庭审业务协同化水平是当前智慧法院建设中一个重点课题，特别是与协同部门间、不同法院间、不同网络间的数据共享和业务协同。具体包括完善刑事案件跨部门网上办理功能，加强公诉抗诉、检察监督、线索移送、强制措施、刑罚执行、法律援助、委托调查等业务的协同联动；以及上下级法院、跨辖区法院的案件移送、卷宗调阅、事项委托等应用功能，实现业务线上实时流转及信息自动同步；特别是道交、金融、劳争、知产等类型化案件与外部单位的在线协同和数据共享；应完善互联网庭审应用，形成法官开庭在专网、人民群众参与庭审在互联网的跨网系庭审能力。

传统的案件审理方式要求法官、书记员与当事人在同一时间空间进行集中开展，这种工作模式大量占用了时间和人力资源，也受到了地域的限制；对于不可抗力的出现，例如新冠疫情，当事人不便频繁聚集在一起进行诉讼事宜，逐渐出现了线上方式的远程开庭，而在后疫情时代，一方面避免人员聚集已为常态，另一方面不少简单案件通过线上方式的处理，省去不必要的开支，同时案件的处理也更为高效简便化，广大人民群众都能且愿意接受这种线上方式，使得线上开庭这种模式得以发展持续下去。

如果采用常规的线上多方交互通信方式，法官、书记员和当事人都必须在互联网上，虽然能完成信息的交互，但案件信息的同步、庭审录像的导回等等都无疑给事前事后增加了大量工作，这种方式反而是造成了工作量上升和时间的浪费。

现有技术中，庭审业务协同处理主要借助如下方式实现：

1）SVC技术实现视频协同，该种技术把视频信号编码成分层的形式，当带宽不足时只对基本层的码流进行传输和解码，但这时解码的视频质量不高。当带宽慢慢变大时，可以传输和解码增强层的码流来提高视频的解码质量。

所谓分层编码就是在时间，空间，质量上进行划分，输出多层码流（包括基本层和增强层），其中基本层的数据可以使解码器完全正常的解码出基本视频内容，但是基本层的数据获得的视频图像可能帧率较低，分辨率较低，或者质量较低。在信道受限或信道环境复杂时，可以保证解码端能够接收到可以观看的流畅视频图像。当信道环境良好或信道资源丰富时，可以传递增强层数据，以提高帧率，或分辨率，或视频质量，而增强层是可以多层编码的，这就意味着，在视频码流总码率的范围内，接收到的码率越大，视频质量越好。

对于SVC技术，存在如下缺陷：对于质量分级和空域分级，同等质量需要大概多10%码率。时域分级的码率有所提高（实际上相当于I.P,B帧的扩展），但是对于运动强度比较大的场景，码率有所增加；对于质量分级和空域分级，运算量变大，软硬件编码器比较少。

2.利用SFU（Selective Forwarding Unit）实现视频协同，该种技术由一个服务器和多个终端组成，SFU 不对音视频进行混流，收到某个终端共享的音视频流后，就直接将该音视频流转发给房间内的其他终端。它实际上就是一个音视频路由转发器。

SFU 像是一个媒体流路由器，接收终端的音视频流，根据需要转发给其他终端。SFU在结构上显得简单很多，只是接收流然后转发给其他人。

对于SFU技术，存在如下缺陷：参与人同时观看多路视频，在多路视频窗口显示、渲染等会带来很多麻烦，尤其对多人实时通信进行录制，多路流也会带来很多回放的困难。

发明内容

本文用于解决现有庭审录像方法不适用于跨网系的音视频实时在线协同，存在实时性差、交流不畅、用户接入量有限的问题。

为了解决上述技术问题，本文第一方面提供一种跨网系的音视频实时在线协同***，包括：音视频交互服务器、音视频隔离交换设备、音视频交互云平台；

所述音视频交互服务器连接庭审主机，用于根据用户终端信息及所述庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流至所述音视频隔离交换设备；发送所述音视频隔离交换设备转发的用户音视频码流至庭审审判终端播放；

所述音视频隔离交换设备连接所述音视频交互服务器及音视频交互云平台，用于在所述音视频交互服务器及音视频交互云平台之间建立数据实时交换的安全通道；

所述音视频交互云平台连接用户终端，用于根据所述用户终端信息，确定并发送编解码方式至所述用户终端；发送所述用户终端上传的用户音视频码流至所述音视频隔离交换设备；接收并发送所述音视频隔离交换设备转发的适用于用户终端的庭审音视频码流至所述用户终端播放。

本文进一步实施例中，所述音视频交互云平台包括：多个云服务节点，分别部署于不同区域，用于接入不同区域的用户终端。

本文进一步实施例中，所述音视频交互服务器根据用户终端信息及所述庭审主机上传的庭审音视频码，确定适用于用户终端的庭审音视频码流，包括：

若所述庭审主机上传的庭审音视频码流包括多层码流，则根据用户终端信息，从所述庭审主机上传的庭审音视频码流中，匹配适用于用户终端的庭审音视频码流；

若所述庭审主机上传的庭审音视频码流仅包括一个分辨率的码流，则根据用户终端信息，确定是否需要降码处理，若需要，则将所述庭审主机上传的庭审音视频码流发送至音视频GPU处理服务器进行降码处理，将降码处理后的庭审音视频码流作为适用于用户终端的庭审音视频码流。

本文进一步实施例中，所述音视频交互云平台根据所述用户终端信息，确定并发送编码方式至用户终端，包括：

根据所述用户终端信息，确定用户终端音视频处理能力；

判断所述用户终端音视频处理能力是否符合预定软编需求；

若用户终端音视频处理能力符合预定软编需求，确定编解码方式为SVC分层编解码方式，发送SVC分层编解码方式至用户终端；

若用户终端音视频处理能力不符合预定软编需求，则确定编解码方式为硬件双编解码方式，发送硬件双编解码方式至用户终端。

本文进一步实施例中，所述音视频交互云平台根据所述用户终端信息，确定并发送编解码方式之后，还包括：

获取用户终端网络传输能力；

判断所述用户终端网络传输能力是否满足实时传输需求；

若所述用户终端网络传输能力不满足实时传输需求，则发送自适应处理方式至用户终端；其中，所述自适应处理方式包括对用户音视频码流进行码流、质量、帧率至少其中之一的处理。

本文进一步实施例中，跨网系的音视频实时在线协同***还包括：

音视频GPU处理服务器，连接所述音视频交互服务器，用于对所述庭审音视频码流及用户音视频码流进行汇聚、画面合成处理，将处理后的码流进行存储及发送至******播放。

本文第二方面提供一种跨网系的音视频实时在线协同方法，包括：

接收用户终端上传的用户终端信息及庭审主机上传的庭审音视频码流；

根据所述用户终端信息及庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流；

接收用户终端上传的用户音视频码流；

发送所述用户音视频码流至庭审审判终端播放。

本文第三方面提供一种跨网系的音视频实时在线协同方法，包括：

根据用户终端信息，确定并发送编解码方式至用户终端；

发送所述用户终端上传的用户音视频码流至音视频交互服务器；

接收所述音视频交互服务器发送的适用于用户终端的庭审音视频码流；

发送适用于用户终端的庭审音视频码流至所述用户终端播放。

本文第四方面提供一种音视频交互服务器，包括：

第一庭审音视频处理模块，用于接收用户终端上传的用户终端信息及庭审主机上传的庭审音视频码流；根据所述用户终端信息及庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流；

第一用户音视频处理模块，用于接收用户终端上传的用户音视频码流；发送所述用户音视频码流至庭审审判终端播放。

本文第五方面提供一种音视频交互云平台，包括：

第二用户音视频处理模块，用于根据用户终端信息，确定并发送编解码方式至用户终端；接收并发送所述用户终端上传的用户音视频码流；

第二庭审音视频处理模块，用于接收音视频交互服务器发送的适用于用户终端的庭审音视频码流；发送适用于用户终端的庭审音视频码流至所述用户终端播放。

本文第六方面提供一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行前述任一实施例所述方法的指令。

本文第七方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行前述任一实施例所述方法的指令。

本文提供的跨网系的音视频实时在线协同***及方法，通过将音视频交互服务器配置为根据用户终端信息及所述庭审主机上传的庭审音视频码流，确定适用于用户终端的庭审音视频码流，通过音视频隔离交换设备将适用于用户终端的庭审音视频码流至音视频交互平台，由音视频交互平台将适用于用户终端的庭审音视频码流转发至用户终端，能够降低法庭专网到互联网的宽带占用，使得***能够支持更大容量的数据承载以及支持各种类型及型号的用户终端接入，满足线上大容量的用户群体，使得异地线上办案成为可能。通过音视频交互云平台根据用户终端信息，确定并发送编解码方式至用户终端，使得用户终端能够使用最佳的编解码方式，提升用户终端的体验。

为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本文实施例跨网系的音视频实时在线协同***的第一结构图；

图2示出了本文实施例用户终端能力检测过程的第一流程图；

图3示出了本文实施例用户终端能力检测过程的第二流程图；

图4示出了本文实施例跨网系的音视频实时在线协同***的第二结构图；

图5示出了本文实施例跨网系的音视频实时在线协同***的第三结构图；

图6示出了本文实施例法庭专网侧的跨网系的音视频实时在线协同方法的流程图；

图7示出了本文实施例互联网侧的跨网系的音视频实时在线协同方法的流程图；

图8示出了本文实施例音视频交互服务器的结构图；

图9示出了本文实施例音视频交互云平台的结构图；

图10示出了本文实施例跨网系的音视频实时在线协同***的交互流程图；

图11示出了本文计算机设备的结构图。

附图符号说明：

110、音视频交互服务器；

120、音视频隔离交换设备；

130、音视频交互云平台；

140、音视频GPU处理服务器；

150、审判业务服务器；

160、移动端服务器；

210、庭审主机；

220、庭审审判终端；

230、用户终端；

810、第一庭审音视频处理模块；

820、第一用户音视频处理模块；

910、第二用户音视频处理模块；

920、第二庭审音视频处理模块；

1102、计算机设备；

1104、处理器；

1106、存储器；

1108、驱动机构；

1110、输入/输出模块；

1112、输入设备；

1114、输出设备；

1116、呈现设备；

1118、图形用户接口；

1120、网络接口；

1122、通信链路；

1124、通信总线。

具体实施方式

下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

现有技术中庭审录像方法不适用于跨网系的音视频实时在线协同，存在实时性差、交流不畅、用户接入量有限的问题。为了解决这些技术问题，本文的一实施例中，如图1所示，提供一种跨网系的音视频实时在线协同***，包括：音视频交互服务器110、音视频隔离交换设备120、音视频交互云平台130；

音视频交互服务器110连接庭审主机210，用于根据用户终端信息及庭审主机210上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流至音视频隔离交换设备120；发送音视频隔离交换设备120转发的用户音视频码流至庭审审判终端220播放；

音视频隔离交换设备120连接音视频交互服务器110及音视频交互云平台130，用于在音视频交互服务器110及音视频交互云平台130之间建立数据实时交换的安全通道；

音视频交互云平台130连接用户终端230，用于根据用户终端信息，确定并发送编解码方式至用户终端230；发送用户终端上传的用户音视频码流至音视频隔离交换设备120；接收并发送音视频隔离交换设备120转发的适用于用户终端的庭审音视频码流至用户终端230播放。具体的，音视频交互云平台130还用于将接入同一庭审的任一用户终端上传的用户音视频码流发送至其它用户终端播放，例如将原告音视频码流转发至被告终端等，将被告音视频码流转发至原告终端等。

本实施例通过将音视频交互服务器配置为根据用户终端信息及所述庭审主机上传的庭审音视频码流，确定适用于用户终端的庭审音视频码流，通过音视频隔离交换设备将适用于用户终端的庭审音视频码流至音视频交互平台，由音视频交互平台将适用于用户终端的庭审音视频码流转发至用户终端，能够降低专网到互联网的宽带占用，使得***能够支持更大容量的数据承载以及支持各种类型及型号的用户终端接入，满足线上大容量的用户群体。通过音视频交互云平台根据用户终端信息，确定并发送编解码方式至用户终端，使得用户终端能够使用最佳的编解码方式，提升用户终端的体验。

详细的说，本文所述的庭审主机210为法庭内现有的音视频采集和扩声设备。庭审审判终端220为法官和书记员使用的设备，例如为笔记本电脑、台式电脑等现有设备。用户终端230为当事人（包括原告、被告、代理律师等）所使用的移动终端，包括但不限于各种品牌、型号的智能手机，PAD，台式电脑、笔记本电脑等，只要能够接入互联网络进行通讯的设备均属于本文所述的移动终端。用户终端230上预先安装有接入法院专网的客户端（即APP），通过该客户端能够实现与法院专网的互联，以及各庭审视频的播放。

本文所述的音视频交互服务器110为高清流媒体交互服务器，部署于法庭专网，能够接入法庭现有的庭审主机210，实现庭审音视频码流的接入，根据用户终端信息及庭审主机210上传的庭审音视频码流，确定适用于用户终端的庭审音视频码流。具体的，用户终端信息于用户终端登入庭审专网时，由音视频交互云平台130从用户终端230采集，并将用户终端信息通过音视频隔离交换设备120转发至音视频交互服务器110。音视频交互服务器110根据用户终端信息及庭审主机210上传的庭审音视频码流，确定适用于用户终端的庭审音视频码流实施包括如下两种实施方式：

第一种：若庭审主机上传的庭审音视频码流包括多层码流，则根据用户终端信息，从所述庭审主机上传的庭审音视频码流中，匹配适用于用户终端的庭审音视频码流；

详细的说，用户终端信息至少包括：用户终端品牌名称、型号、处理器信息、摄像头性能、屏幕尺寸等。本案实施之前，可根据庭审主机上传的庭审音视频码流包括的层数及用户终端信息对用户终端进行分级，建立用户终端等级与不同层庭审音视频码流的对应关系，在匹配适用于用户终端的庭审音视频码流时，根据用户终端信息，确定用户终端等级，根据用户终端等级及用户终端等级与不同层庭审音视频码流的对应关系确定所属层的庭审音视频码流，确定出的庭审音视频码流即为适用于用户终端的庭审音视频码流。具体实施时，为了权衡传输效率与用户体验度的平衡，会限制用户终端分级数量，例如为2个。

其中，多层码流例如基本层和增强层，其中基本层的数据可以使解码器完全正常的解码出基本视频内容，但是基本层的数据获得的视频图像可能帧率较低，分辨率较低，或者质量较低。增强层正常码流，增强层数据，以提高帧率，或分辨率，或视频质量。

第二种，若所述庭审主机上传的庭审音视频码流仅包括一个分辨率的码流，则根据用户终端信息，确定是否需要降码处理（即判断用户终端是否可以处理庭审主机上传的码流），若需要，则将庭审主机上传的庭审音视频码流发送至音视频GPU处理服务器进行降码处理，将降码处理后的庭审音视频码流作为适用于用户终端的庭审音视频码流。其中，音视频GPU处理服务器为部署于法庭专网的设备，用于对码流进行降码、画面合成等处理。本方法可以概述为融合分层编解码的方式，能够对庭审音视频码流进行分层降码，提高用户体验。

上述两种方法可根据实际需求选择其中一种实施，本文对此不作限定。

本文所述的音视频隔离交换设备120包括：协议转换设备及光闸安全隔离交换设备。协议转换设备用于实现音视频交互服务器及音视频交互云平台发送音视频的协议转换。光闸安全隔离交换设备用于所述音视频隔离交换设备与音视频交互云平台之间的安全隔离。

本文所述的音视频交互云平台130部署于互联网端，可采用直流的SFU架构，实现互联网端用户音视频码流的接入，将适用于用户终端的庭审音视频码流转发至用户终端230以及将用户音视频码流转发至音视频隔离交换设备120。音视频交互云平台130还用于根据用户终端音视频处理能力分析并确定用户终端的编码方式，具体的，如图2所示，包括：

步骤210，根据所述用户终端信息，确定用户终端音视频处理能力；

步骤220，判断用户终端音视频处理能力是否符合预定软编需求；

若用户终端音视频处理能力符合预定软编需求，则执行步骤230；若用户终端音视频处理能力不符合预定软编需求，则执行步骤240；

步骤230，确定编解码方式为SVC（Scaled Video Coding）分层编解码方式，发送SVC分层编解码方式至用户终端；

步骤240，确定编解码方式为硬件双编解码方式，发送硬件双编解码方式至用户终端。

详细的说，用户终端音视频处理能力可由用户终端的摄像头性能、屏幕尺寸、CPU、GPU和内存等参数体现。根据摄像头采编能力自动选择720P和480P分辨率，进行双码流编码，如果CPU或GPU使用率大于设定阈值，则自动降低分辨率重新尝试。解码时，则根据本终端屏幕尺寸自动选择最佳视频分辨率，如果CPU或GPU使用率大于设定阈值，则自动降低分辨率重新尝试。SVC是一种能将视频流分割为多个分辨率、质量和帧速率层的技术，是对当今大多数视频会议设备所采用的H.264视频编解码标准的扩展，其具体编码算法可参考现有技术，本文对此不作具体限定。

硬件编码方式可以对用户终端采集的视频进行两种不同分辨率的编码，满足远端用户对不同视频质量的需求；非本终端采集的视频码流，则根据硬件解码性能及屏幕尺寸，采用硬件解码方式播放其中的一个码流。

本实施例通过音视频交互云平台130对用户终端音视频处理能力的判断，确定用户终端的最佳编解码方式，能够使得各类终端得到最佳的体验，避免二次编解码带来的延时损耗，可以支撑大量用户的使用，提升用户终端的体验。

进一步实施例中，为了能够使得用户终端在任何网络下，都可以进行远程实时交流，减少审判过程中交流不畅，上述音视频交互云平台根据用户终端信息，确定并发送编解码方式之后，如图3所示，还包括：

步骤250，按预定计划获取用户终端的网络传输能力；

步骤260，判断所述用户终端网络传输能力是否满足实时传输需求；

若所述用户终端网络传输能力不满足实时传输需求，则发送自适应处理方式至用户终端；其中，所述自适应处理方式包括对用户音视频码流进行码流、质量、帧率至少其中之一的处理。

其中，预定计划例如为每隔固定或非固定时间间隔，可根据实际需求进行设定，本文对其具体取值不做限定。

用户终端网络传输能力可由网络传输速度（比特率，bps）体现，按数据传输方向分为上行传输速度（推流）和下行传输速度（拉流）。

具体实施时，可根据用户终端网络传输能力及用户音视频码流的大小确定是否满足实时传输需求。

本实施例能够提高用户音视频码流传输效率，保证交互过程中的流畅度，提高用户体验。

本文一实施例中，为了能够接入各地域分布的用户终端，音视频交互云平台包括：多个云服务节点，分别部署于不同区域，用于接入不同区域的用户终端。其中，云服务器节点为台式电脑、笔记本电脑、服务器等设备。用户终端可使用终端摄像头或与用户终端相互连接的摄像头采集用户音视频码流。

云服务节点部署时可按照区域划分方式进行部署，例如每个城市或几个城市部署一台云服务节点，本文对云服务节点的具体部署方式不做限定。

本文一实施例中，如图4所示，跨网系的音视频实时在线协同***还包括：

音视频GPU处理服务器140，连接音视频交互服务器110，用于对庭审音视频码流及用户音视频码流进行汇聚、画面合成处理，将处理后的码流进行存储及发送至******播放。

详细的说，对庭审音视频码流及用户音视频码流进行汇聚、画面合成处理即将庭审音视频码流及用户音视频码流整合到一画面进行显示，例如庭审音视频码流包括法官和记录原的音视频码流，用户音视频码流包括原告音视频码流及被告音视频码流，通过音视频GPU处理服务器140进行处理后，可以将这四个码流合成一个画面，画面的表现形式例如为上下两排布局、水平布局、一大三小画面布局等等。具体实施时，还需要存储合成后的画面，以实现庭审录像，具体录像过程中可采用模拟法官角色的视角，采用数据镜像的实现方式，使得录制的音视频更佳真实有效。

******为连接互联网的直播***，普通参与庭审的人员可以通过登录******进行观看。

本文一实施例中，为了支持业务数据（word，excel，pdf等文件）的交换，如图5所示，跨网系的音视频实时在线协同***还包括审判业务服务器150及移动端服务器160。其中，审判业务服务器150中安装有审判业务***，移动端服务器160中安装有移动业务***。当用户需要上送业务数据时，用户通过用户终端230发送业务数据至移动业务***，移动业务***将业务数据通过数据隔离交换设备发送至审判业务***，庭审审判终端通过登录审判业务***可以看到业务数据。用户终端获取审判业务数据的过程类似，数据交换方向相反。

本文一实施例中，还提供一种适用于法庭专网侧的跨网系的音视频实时在线协同方法，如图6所示，包括：

步骤610，接收用户终端上传的用户终端信息及庭审主机上传的庭审音视频码流；

步骤620，根据所述用户终端信息及庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流；

步骤630，接收用户终端上传的用户音视频码流；

步骤640，发送所述用户音视频码流至庭审审判终端播放。

详细的说，上述步骤并非用于限定方法的执行步骤，具体实施时，庭审音视频码流的接收及发送过程与用户音视频码流的接收及发送同步进行。

本文一实施例中，还提供一种适用于互联网侧的跨网系的音视频实时在线协同方法，如图7所示，包括：

步骤710，根据用户终端信息，确定并发送编解码方式至用户终端；

步骤720，发送用户终端上传的用户音视频码流至音视频交互服务器；

步骤730，接收音视频交互服务器发送适用于用户终端的庭审音视频码流；

步骤740，发送适用于用户终端的庭审音视频码流至用户终端播放。

本文一实施例中，还提供一种音视频交互服务器，如图8所示，包括：

第一庭审音视频处理模块810，用于接收用户终端上传的用户终端信息及庭审主机上传的庭审音视频码流；根据用户终端信息及庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流；

第一用户音视频处理模块820，用于接收用户终端上传的用户音视频码流；发送所述用户音视频码流至庭审审判终端播放。

本文一实施例中，还提供一种音视频交互云平台，如图9所示，包括：

第二用户音视频处理模块910，用于根据用户终端信息，确定并发送编解码方式至用户终端；发送所述用户终端上传的用户音视频码流至音视频隔离交换设备；

第二庭审音视频处理模块920，用于接收音视频交互服务器发送适用于用户终端的庭审音视频码流；发送适用于用户终端的庭审音视频码流至用户终端播放。

本文通过将音视频交互服务器配置为根据用户终端信息及所述庭审主机上传的庭审音视频码流，确定适用于用户终端的庭审音视频码流，通过音视频隔离交换设备将适用于用户终端的庭审音视频码流至音视频交互平台，由音视频交互平台将适用于用户终端的庭审音视频码流转发至用户终端，能够降低专网到互联网的宽带占用，使得***能够支持更大容量的数据承载以及支持各种类型及型号的用户终端接入，满足线上大容量的用户群体，使得异地线上办案成为可能。通过音视频交互云平台根据用户终端信息，确定并发送编解码方式至用户终端，使得用户终端能够使用最佳的编解码方式，提升用户终端的体验。

为了更清楚说明本文技术方案，下面以一具体实施例进行详细说明，如图10所示，跨网系的音视频实时在线协同***的实施过程包括：

步骤1001，用户终端登录音视频交互云平台，发送用户终端信息至音视频交互云平台；

步骤1002，音视频交互云平台将用户终端信息发送至音视频隔离交换设备，根据所述用户终端信息，确定用户终端音视频处理能力；

判断所述用户终端音视频处理能力是否符合预定软编需求，根据判断结果发送相应编解码方式至用户终端。具体的，若用户终端音视频处理能力符合预定软编需求，确定编解码方式为SVC分层编解码方式，发送SVC分层编解码方式至用户终端；若用户终端音视频处理能力不符合预定软编需求，则确定编解码方式为硬件双编解码方式，发送硬件双编解码方式至用户终端。

步骤1003，音视频隔离交换设备对用户终端信息进行转协议等处理后发送至音视频交互服务器；

步骤1004，用户终端根据自身的编解码方式对用户音视频进行编码，得到用户音视频码流，将用户音视频码流发送至音视频交互云平台；

步骤1005，音视频交互云平台还定期获取用户终端网络传输能力，判断所述用户终端网络传输能力是否满足实时传输需求；若所述用户终端网络传输能力不满足实时传输需求，则发送自适应处理方式至用户终端，以由用户终端对用户音视频码流进行自适应处理；

步骤1006，音视频交互平台将用户音视频码流发送至音视频隔离交换设备；

步骤1007，音视频隔离交换设备对用户音视频码流进行转协议等处理后发送至音视频交互服务器；

步骤1008，音视频交互服务器将用户音视频码流发送至庭审审判终端播放；

步骤1009，音视频交互服务器接收庭审主机上传的庭审音视频码流，根据用户终端信息，确定是否需要降码处理，若需要，则将所述庭审主机上传的庭审音视频码流发送至音视频GPU处理服务器进行降码处理；根据用户终端信息，从原庭审音视频码流及降码后的庭审音视频码流中匹配适用于用户终端的庭审音视频码流，将适用于用户终端的庭审音视频码流发送至音视频隔离交换设备；

步骤1010，音视频隔离交换设备对接收到的庭审音视频码流进行转协议等处理后发送至音视频交互云平台；

步骤1011，音视频交互云平台根据用户终端信息，分发接收到的庭审音视频码流。

上述过程的步骤并非用于限定各步骤的执行顺序，庭审音视频码流的接收及发送过程与用户音视频码流的接收及发送同步进行。

本文提供的跨网系的音视频实时在线协同***及方法具有如下优势：

1）支持线上、线下及线上线下混合的场景，具备全面性，不改变法官原有的开庭方式，几乎没有***的学习成本；

2）由音视频交互云平台根据用户终端信息，确定用户终端的编解码方式（可以称之为分类选择算法），能够使得不同用户终端择优选择使用最佳的编解码方式，提升了用户终端的体验；

3）由音视频交互服务器根据用户终端信息及庭审主机上传的庭审音视频码流，确定适用于用户终端的庭审音视频码流（即融合分层编码技术），能够降低专网到互联网的带宽占用，使得***能够支持更大容量的数据承载，以及更大数量的用户；

4）结构上清晰，功能集中，无须额外硬件进行协议转换，所有协议转换均通过软件平台完成，这样***整体的交互时延最低。

本文所述的音视频交互云平台可以为一计算机设备，如图11所示，计算机设备1102可以包括一个或多个处理器1104，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1102还可以包括任何存储器1106，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器1106可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1102的固定或可移除部件。在一种情况下，当处理器1104执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1102可以执行相关联指令的任一操作。计算机设备1102还包括用于与任何存储器交互的一个或多个驱动机构1108，诸如硬盘驱动机构、光盘驱动机构等。

计算机设备1102还可以包括输入/输出模块1110（I/O），其用于接收各种输入(经由输入设备1112)和用于提供各种输出(经由输出设备1114))。一个具体输出机构可以包括呈现设备1116和相关联的图形用户接口1118(GUI)。在其他实施例中，还可以不包括输入/输出模块1110（I/O）、输入设备1112以及输出设备1114，仅作为网络中的一台计算机设备。计算机设备1102还可以包括一个或多个网络接口1120，其用于经由一个或多个通信链路1122与其他设备交换数据。一个或多个通信总线1124将上文所描述的部件耦合在一起。

通信链路1122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1122可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。

对应于图6-图7中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图6至图7所示的方法。

应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。

还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本文所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。

另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (12)

1.一种跨网系的音视频实时在线协同***，其特征在于，包括：音视频交互服务器、音视频隔离交换设备、音视频交互云平台；

所述音视频交互服务器连接庭审主机，用于根据用户终端信息及所述庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流至所述音视频隔离交换设备；发送所述音视频隔离交换设备转发的用户音视频码流至庭审审判终端播放；

所述音视频隔离交换设备连接所述音视频交互服务器及音视频交互云平台，用于在所述音视频交互服务器及音视频交互云平台之间建立数据实时交换的安全通道；

所述音视频交互云平台连接用户终端，用于根据所述用户终端信息，确定并发送编解码方式至所述用户终端；发送所述用户终端上传的用户音视频码流至所述音视频隔离交换设备；接收并发送所述音视频隔离交换设备转发的适用于用户终端的庭审音视频码流至所述用户终端播放。

2.如权利要求1所述的跨网系的音视频实时在线协同***，其特征在于，所述音视频交互云平台包括：多个云服务节点，分别部署于不同区域，用于接入不同区域的用户终端。

3.如权利要求1所述的跨网系的音视频实时在线协同***，其特征在于，所述音视频交互服务器根据用户终端信息及所述庭审主机上传的庭审音视频码，确定适用于用户终端的庭审音视频码流，包括：

若所述庭审主机上传的庭审音视频码流包括多层码流，则根据用户终端信息，从所述庭审主机上传的庭审音视频码流中，匹配适用于用户终端的庭审音视频码流；

若所述庭审主机上传的庭审音视频码流仅包括一个分辨率的码流，则根据用户终端信息，确定是否需要降码处理，若需要，则将所述庭审主机上传的庭审音视频码流发送至音视频GPU处理服务器进行降码处理，将降码处理后的庭审音视频码流作为适用于用户终端的庭审音视频码流。

4.如权利要求1所述的跨网系的音视频实时在线协同***，其特征在于，所述音视频交互云平台根据所述用户终端信息，确定并发送编码方式至用户终端，包括：

根据所述用户终端信息，确定用户终端音视频处理能力；

判断所述用户终端音视频处理能力是否符合预定软编需求；

若用户终端音视频处理能力符合预定软编需求，确定编解码方式为SVC分层编解码方式，发送SVC分层编解码方式至用户终端；

若用户终端音视频处理能力不符合预定软编需求，则确定编解码方式为硬件双编解码方式，发送硬件双编解码方式至用户终端。

5.如权利要求4所述的跨网系的音视频实时在线协同***，其特征在于，所述音视频交互云平台根据所述用户终端信息，确定并发送编解码方式之后，还包括：

获取用户终端网络传输能力；

判断所述用户终端网络传输能力是否满足实时传输需求；

若所述用户终端网络传输能力不满足实时传输需求，则发送自适应处理方式至用户终端；其中，所述自适应处理方式包括对用户音视频码流进行码流、质量、帧率至少其中之一的处理。

6.如权利要求1所述的跨网系的音视频实时在线协同***，其特征在于，还包括：

音视频GPU处理服务器，连接所述音视频交互服务器，用于对所述庭审音视频码流及用户音视频码流进行汇聚、画面合成处理，将处理后的码流进行存储及发送至******播放。

7.一种跨网系的音视频实时在线协同方法，其特征在于，包括：

接收用户终端上传的用户终端信息及庭审主机上传的庭审音视频码流；

根据所述用户终端信息及庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流；

接收用户终端上传的用户音视频码流；

发送所述用户音视频码流至庭审审判终端播放。

8.一种跨网系的音视频实时在线协同方法，其特征在于，包括：

根据用户终端信息，确定并发送编解码方式至用户终端；

发送所述用户终端上传的用户音视频码流至音视频交互服务器；

接收所述音视频交互服务器发送的适用于用户终端的庭审音视频码流；

发送适用于用户终端的庭审音视频码流至所述用户终端播放。

9.一种音视频交互服务器，其特征在于，包括：

第一庭审音视频处理模块，用于接收用户终端上传的用户终端信息及庭审主机上传的庭审音视频码流；根据所述用户终端信息及庭审主机上传的庭审音视频码流，确定并发送适用于用户终端的庭审音视频码流；

第一用户音视频处理模块，用于接收用户终端上传的用户音视频码流；发送所述用户音视频码流至庭审审判终端播放。

10.一种音视频交互云平台，其特征在于，包括：

第二用户音视频处理模块，用于根据用户终端信息，确定并发送编解码方式至用户终端；接收并发送所述用户终端上传的用户音视频码流；

第二庭审音视频处理模块，用于接收音视频交互服务器发送的适用于用户终端的庭审音视频码流；发送适用于用户终端的庭审音视频码流至所述用户终端播放。

11.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行权利要求7-8任意一项所述方法的指令。

12.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行权利要求7-8任意一项所述方法的指令。

Images