CN111385516A - 多媒体资源的传输方法、装置、***和可读存储介质 - Google Patents

Abstract

本发明提供了一种多媒体资源的传输方法、装置、***和可读存储介质，其中，传输方法包括：响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备；根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令；接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令；响应于传输响应指令，将多媒体资源发送至第一终端设备。通过本发明的技术方案，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

Description

多媒体资源的传输方法、装置、***和可读存储介质

技术领域

本发明涉及通信技术领域，具体而言，涉及一种多媒体资源的传输方法、一种多媒体资源的传输装置、一种多媒体资源的传输***和一种计算机可读存储介质。

背景技术

视频会议作为目前最先进的通讯技术，只需借助互联网、电话线、点到点专线即可实现高效高清的远程会议、办公，在持续提升用户沟通效率、缩减企业差旅费用成本、提高管理成效等方面具有得天独厚的优势，已部分取代商务出行，成为远程办公最新模式。近年来，视频会议的应用范围迅速扩大，从政府、公安、军队、法院到科技、能源、医疗、教育等领域随处可见，涵盖了社会生活的方方面面。

相关技术中，传统视频会议需要铺设专线，服务器端的中控MCU是放在主会场的，用于接收每一个分会场传过来的视频流合成后再推向每一台分会场的终端设备，分会场连接MCU是以H.323协议或SIP(Session Initiation Protocol，会话初始协议)为基础向MCU呼叫，MCU应答后建立连接，也即由MCU承担了音视频资源的后期处理任务，这就导致了至少以下技术缺陷：

(1)MCU的计算能力和负载能力局限了视频会议的规模。

(2)MCU的造价成本急剧升高，且硬件结构趋于巨型化。

(3)在MCU的计算量较大时，MCU的并发吞吐量可能会急剧降低，并可能导致服务器宕机或与会用户的观看不流畅。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提供一种多媒体资源的传输方法。

本发明的另一个目的在于提供一种多媒体资源的传输装置。

本发明的另一个目的在于提供一种多媒体资源的传输***。

本发明的另一个目的在于提供一种计算机可读存储介质。

为了实现上述目的，根据本发明的第一方面的实施例，提供了一种多媒体资源的传输方法，包括：响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备；根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令；接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令；响应于传输响应指令，将多媒体资源发送至第一终端设备。

在该技术方案中，通过响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，并根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令，进而接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令，最后响应于传输响应指令，将多媒体资源发送至第一终端设备，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

其中，第一终端设备指代多媒体资源交互过程中的接收端设备，第二终端设备指代多媒体资源交互过程中的发送端设备，多媒体资源可以是多路音频资源、多路视频资源或多路音视频混合资源。

本领域技术人员能够理解的是，根据本申请的技术方案，服务器仅需要转发信令和多媒体资源，而并不承担多媒体资源的后期处理工作，上述传输请求中包含了对多媒体资源的参数要求(可以人工修改或设置)，譬如采样率、码率、帧率和分辨率等，而第二终端设备作为数据源，同时承担了多媒体资源的后期处理工作，因此，第二终端设备通常为支持多采样率、多码率、多帧率和多分辨率的终端设备。

另外，第二终端设备在接收到指示指令时，根据自身的硬件参数和数据交互能力向服务器反馈相应的多媒体资源，以及第一终端设备根据接收到的多媒体资源进行相应的展示，也即第一终端设备接收到的多媒体资源的通常是不会高于上述参数要求的。

在上述任一技术方案中，优选地，响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，具体包括：接收第一终端设备发送的传输请求指令；根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息；确定作为多媒体资源的数据源的第二终端设备；其中，数据交互能力信息用于指示指定终端设备传输多媒体资源的能力信息，通信信道质量信息用于指示传输多媒体资源的通信信道的质量信息。

在该技术方案中，通过接收第一终端设备发送的传输请求指令，根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息，确定作为多媒体资源的数据源的第二终端设备，以供服务器确定第一终端设备进行数据交互的能力和通信信道的状态，并且向第二终端设备转发传输请求指令，一方面，多媒体资源的交互过程在第一终端设备的能力范围之内，且通信信道能够满足多媒体资源的流畅传输，另一方面，服务器可以根据数据交互能力信息和/或通信信道质量信息周期性地对缓冲区的大小和网络并发量进行调整，以提高多媒体资源的视听流畅度。

在上述任一技术方案中，优选地，响应于传输响应指令，将多媒体资源发送至第一终端设备，具体包括：在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源；根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备。

在该技术方案中，通过在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源，并且根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备，提高了多媒体资源的传输效率和可靠性，仅仅是将传输任务进行合并，而不需要进行多流的多媒体资源的编码或解码操作，有效地降低了服务器的计算压力和负载。

在上述任一技术方案中，优选地，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

在该技术方案中，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据，有利于提高与会用户对多媒体资源的视听感受，以及更加灵活地随时调整多媒体资源的播放参数，第一终端设备和第二终端设备均支持如AAC(Advanced Audio Coding，高级音频编码)和OPUS等多采样率和多码率的音频编解码算法，同时，第一终端设备和第二终端设备均支持如VP8、VP9、AVC(Advanced Video Coding，高级视频编码)、SVC(Scalable Video Coding，可伸缩视频编码)和HEVC(High Efficiency Coding，高效视频编码)等多帧率和多分辨率的视频编解码算法。

其中，OPUS是一款开源、免费、自由度高的有损音频编解码器。

另外，VP8和VP9均为谷歌提供的开源的免费编码解码器，HEVC的特性包括帧扫描(Progressive Scanned)、支持采样率到4320p(8192×4320)，增强的动态范围调整和噪声抑制等。

根据本发明的第二方面的技术方案，提供了一种多媒体资源的传输装置，包括：确定单元，用于响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备；发送单元，用于根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令；接收单元，用于接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令；发送单元还用于：响应于传输响应指令，将多媒体资源发送至第一终端设备。

在该技术方案中，通过响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，并根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令，进而接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令，最后响应于传输响应指令，将多媒体资源发送至第一终端设备，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

其中，第一终端设备指代多媒体资源交互过程中的接收端设备，第二终端设备指代多媒体资源交互过程中的发送端设备，多媒体资源可以是多路音频资源、多路视频资源或多路音视频混合资源。

本领域技术人员能够理解的是，根据本申请的技术方案，服务器仅需要转发信令和多媒体资源，而并不承担多媒体资源的后期处理工作，上述传输请求中包含了对多媒体资源的参数要求(可以人工修改或设置)，譬如采样率、码率、帧率和分辨率等，而第二终端设备作为数据源，同时承担了多媒体资源的后期处理工作，因此，第二终端设备通常为支持多采样率、多码率、多帧率和多分辨率的终端设备。

另外，第二终端设备在接收到指示指令时，根据自身的硬件参数和数据交互能力向服务器反馈相应的多媒体资源，以及第一终端设备根据接收到的多媒体资源进行相应的展示，也即第一终端设备接收到的多媒体资源的通常是不会高于上述参数要求的。

在上述任一技术方案中，优选地，接收单元还用于：接收第一终端设备发送的传输请求指令；确定单元还用于：根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息；确定单元还用于：确定作为多媒体资源的数据源的第二终端设备；其中，数据交互能力信息用于指示指定终端设备传输多媒体资源的能力信息，通信信道质量信息用于指示传输多媒体资源的通信信道的质量信息。

在该技术方案中，通过接收第一终端设备发送的传输请求指令，根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息，确定作为多媒体资源的数据源的第二终端设备，以供服务器确定第一终端设备进行数据交互的能力和通信信道的状态，并且向第二终端设备转发传输请求指令，一方面，多媒体资源的交互过程在第一终端设备的能力范围之内，且通信信道能够满足多媒体资源的流畅传输，另一方面，服务器可以根据数据交互能力信息和/或通信信道质量信息周期性地对缓冲区的大小和网络并发量进行调整，以提高多媒体资源的视听流畅度。

在上述任一技术方案中，优选地，确定单元还用于：在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源；发送单元还用于：根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备。

在该技术方案中，通过在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源，并且根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备，提高了多媒体资源的传输效率和可靠性，仅仅是将传输任务进行合并，而不需要进行多流的多媒体资源的编码或解码操作，有效地降低了服务器的计算压力和负载。

在上述任一技术方案中，优选地，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

在该技术方案中，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据，有利于提高与会用户对多媒体资源的视听感受，以及更加灵活地随时调整多媒体资源的播放参数，第一终端设备和第二终端设备均支持如AAC和OPUS等多采样率和多码率的音频编解码算法，同时，第一终端设备和第二终端设备均支持如VP8、VP9、AVC、SVC和HEVC等多帧率和多分辨率的视频编解码算法。

根据本发明的第三方面的技术方案，提供了一种多媒体资源的传输***，包括：第一终端设备，用于向数据交互装置请求发送多媒体资源的传输请求指令；第二终端设备，响应于数据交互装置的指示指令上传多媒体资源和相应的传输响应指令；数据交互装置，包括如上述任一项技术方案限定的多媒体资源的传输装置，关联于第一终端设备和第二终端设备，用于根据传输请求指令和传输响应指令控制第一终端设备和第二终端设备之间交互多媒体资源。

根据本发明的第四方面的技术方案，提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被执行时实现上述任一项技术方案限定的多媒体资源的传输方法。

本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了根据本发明的一个实施例的多媒体资源的传输方法的示意流程图；

图2示出了根据本发明的一个实施例的多媒体资源的传输装置的示意框图；

图3示出了根据本发明的一个实施例的多媒体资源的传输***的示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一：

图1示出了根据本发明的一个实施例的多媒体资源的传输方法的示意流程图。

如图1所示，根据本发明的一个实施例的多媒体资源的传输方法，包括：步骤S102，响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备；步骤S104，根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令；步骤S106，接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令；步骤S108，响应于传输响应指令，将多媒体资源发送至第一终端设备。

在该技术方案中，通过响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，并根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令，进而接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令，最后响应于传输响应指令，将多媒体资源发送至第一终端设备，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

其中，第一终端设备指代多媒体资源交互过程中的接收端设备，第二终端设备指代多媒体资源交互过程中的发送端设备，多媒体资源可以是多路音频资源、多路视频资源或多路音视频混合资源。

本领域技术人员能够理解的是，根据本申请的技术方案，服务器仅需要转发信令和多媒体资源，而并不承担多媒体资源的后期处理工作，上述传输请求中包含了对多媒体资源的参数要求(可以人工修改或设置)，譬如采样率、码率、帧率和分辨率等，而第二终端设备作为数据源，同时承担了多媒体资源的后期处理工作，因此，第二终端设备通常为支持多采样率、多码率、多帧率和多分辨率的终端设备。

另外，第二终端设备在接收到指示指令时，根据自身的硬件参数和数据交互能力向服务器反馈相应的多媒体资源，以及第一终端设备根据接收到的多媒体资源进行相应的展示，也即第一终端设备接收到的多媒体资源的通常是不会高于上述参数要求的。

在上述任一技术方案中，优选地，响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，具体包括：接收第一终端设备发送的传输请求指令；根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息；确定作为多媒体资源的数据源的第二终端设备；其中，数据交互能力信息用于指示指定终端设备传输多媒体资源的能力信息，通信信道质量信息用于指示传输多媒体资源的通信信道的质量信息。

在该技术方案中，通过接收第一终端设备发送的传输请求指令，根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息，确定作为多媒体资源的数据源的第二终端设备，以供服务器确定第一终端设备进行数据交互的能力和通信信道的状态，并且向第二终端设备转发传输请求指令，一方面，多媒体资源的交互过程在第一终端设备的能力范围之内，且通信信道能够满足多媒体资源的流畅传输，另一方面，服务器可以根据数据交互能力信息和/或通信信道质量信息周期性地对缓冲区的大小和网络并发量进行调整，以提高多媒体资源的视听流畅度。

在上述任一技术方案中，优选地，响应于传输响应指令，将多媒体资源发送至第一终端设备，具体包括：在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源；根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备。

在该技术方案中，通过在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源，并且根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备，提高了多媒体资源的传输效率和可靠性，仅仅是将传输任务进行合并，而不需要进行多流的多媒体资源的编码或解码操作，有效地降低了服务器的计算压力和负载。

在上述任一技术方案中，优选地，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

在该技术方案中，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据，有利于提高与会用户对多媒体资源的视听感受，以及更加灵活地随时调整多媒体资源的播放参数，第一终端设备和第二终端设备均支持如AAC和OPUS等多采样率和多码率的音频编解码算法，同时，第一终端设备和第二终端设备均支持如VP8、VP9、AVC、SVC和HEVC等多帧率和多分辨率的视频编解码算法。

实施例二：

图2示出了根据本发明的一个实施例的多媒体资源的传输装置的示意框图。

如图2所示，根据本发明的一个实施例的多媒体资源的传输装置200，包括：确定单元202，用于响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备；发送单元204，用于根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令；接收单元206，用于接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令；发送单元204还用于：响应于传输响应指令，将多媒体资源发送至第一终端设备。

在该技术方案中，通过响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，并根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令，进而接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令，最后响应于传输响应指令，将多媒体资源发送至第一终端设备，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

其中，第一终端设备指代多媒体资源交互过程中的接收端设备，第二终端设备指代多媒体资源交互过程中的发送端设备，多媒体资源可以是多路音频资源、多路视频资源或多路音视频混合资源。

本领域技术人员能够理解的是，根据本申请的技术方案，服务器仅需要转发信令和多媒体资源，而并不承担多媒体资源的后期处理工作，上述传输请求中包含了对多媒体资源的参数要求(可以人工修改或设置)，譬如采样率、码率、帧率和分辨率等，而第二终端设备作为数据源，同时承担了多媒体资源的后期处理工作，因此，第二终端设备通常为支持多采样率、多码率、多帧率和多分辨率的终端设备。

另外，第二终端设备在接收到指示指令时，根据自身的硬件参数和数据交互能力向服务器反馈相应的多媒体资源，以及第一终端设备根据接收到的多媒体资源进行相应的展示，也即第一终端设备接收到的多媒体资源的通常是不会高于上述参数要求的。

在上述任一技术方案中，优选地，接收单元206还用于：接收第一终端设备发送的传输请求指令；确定单元202还用于：根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息；确定单元202还用于：确定作为多媒体资源的数据源的第二终端设备；其中，数据交互能力信息用于指示指定终端设备传输多媒体资源的能力信息，通信信道质量信息用于指示传输多媒体资源的通信信道的质量信息。

在该技术方案中，通过接收第一终端设备发送的传输请求指令，根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息，确定作为多媒体资源的数据源的第二终端设备，以供服务器确定第一终端设备进行数据交互的能力和通信信道的状态，并且向第二终端设备转发传输请求指令，一方面，多媒体资源的交互过程在第一终端设备的能力范围之内，且通信信道能够满足多媒体资源的流畅传输，另一方面，服务器可以根据数据交互能力信息和/或通信信道质量信息周期性地对缓冲区的大小和网络并发量进行调整，以提高多媒体资源的视听流畅度。

在上述任一技术方案中，优选地，确定单元202还用于：在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源；发送单元204还用于：根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备。

在该技术方案中，通过在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源，并且根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备，提高了多媒体资源的传输效率和可靠性，仅仅是将传输任务进行合并，而不需要进行多流的多媒体资源的编码或解码操作，有效地降低了服务器的计算压力和负载。

在上述任一技术方案中，优选地，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

在该技术方案中，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据，有利于提高与会用户对多媒体资源的视听感受，以及更加灵活地随时调整多媒体资源的播放参数，第一终端设备和第二终端设备均支持如AAC和OPUS等多采样率和多码率的音频编解码算法，同时，第一终端设备和第二终端设备均支持如VP8、VP9、AVC、SVC和HEVC等多帧率和多分辨率的视频编解码算法。

实施例三：

图3示出了根据本发明的一个实施例的多媒体资源的传输***的示意框图。

如图3所示，根据本发明的实施例的多媒体资源的传输***300包括：第一终端设备302，用于向数据交互装置请求发送多媒体资源的传输请求指令；第二终端设备304，响应于数据交互装置的指示指令上传多媒体资源和相应的传输响应指令；数据交互装置306，包括如上述任一项技术方案限定的多媒体资源的传输装置200，关联于第一终端设备302和第二终端设备304，用于根据传输请求指令和传输响应指令控制第一终端设备302和第二终端设备304之间交互多媒体资源。

其中，上述多媒体资源的传输装置200可以兼容于或集成于局域网服务器、广域网服务器或中控MCU内，上述确定单元202可以是上述多媒体资源的传输装置200的处理器(CPU)、控制器(MCU)、嵌入式微控芯片和基带处理器等，上述发送单元204和接收单元206可以是上述多媒体资源的传输装置200的天线和载波调制模块等。

综上，上述实施例的多媒体资源的传输***300包括：

(1)服务器(中控MCU)仅负责信令接入、参数传递和多媒体数据转发。

(2)每个终端设备(即第一终端设备)在接收内容上(接收源)可以依据自身收听收看需求(这个需求即可以是可修改配置的缺省内建策略，也可以是由与会人员在参加视频会议的过程中随时修改的即时策略)，通过服务器向其它与会的终端设备(一个或者多个第二终端设备)请求音频数据和/或视频数据。

(3)每个终端设备(即第二终端设备)在发送内容上(发送源或数据源)可以依据自身能力，并结合所有对自己提出请求的传输总需求，确定发送的多媒体资源的内容、格式和压缩率等参数。

(4)服务器在接收到终端设备(即第二终端设备)发送来的多媒体资源后，依据终端设备(即第一终端设备)的请求，将最适合的数据转发给相应终端设备(即第一终端设备)。

(5)终端设备(即第一终端设备)在接收到多媒体资源后，依据实际接收到的数据进行合理展现。

实施例四：

根据本发明的实施例，还提出了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被执行时实现以下步骤：响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备；根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令；接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令；响应于传输响应指令，将多媒体资源发送至第一终端设备。

在该技术方案中，通过响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，并根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令，进而接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令，最后响应于传输响应指令，将多媒体资源发送至第一终端设备，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

其中，第一终端设备指代多媒体资源交互过程中的接收端设备，第二终端设备指代多媒体资源交互过程中的发送端设备，多媒体资源可以是多路音频资源、多路视频资源或多路音视频混合资源。

本领域技术人员能够理解的是，根据本申请的技术方案，服务器仅需要转发信令和多媒体资源，而并不承担多媒体资源的后期处理工作，上述传输请求中包含了对多媒体资源的参数要求(可以人工修改或设置)，譬如采样率、码率、帧率和分辨率等，而第二终端设备作为数据源，同时承担了多媒体资源的后期处理工作，因此，第二终端设备通常为支持多采样率、多码率、多帧率和多分辨率的终端设备。

另外，第二终端设备在接收到指示指令时，根据自身的硬件参数和数据交互能力向服务器反馈相应的多媒体资源，以及第一终端设备根据接收到的多媒体资源进行相应的展示，也即第一终端设备接收到的多媒体资源的通常是不会高于上述参数要求的。

在上述任一技术方案中，优选地，响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，具体包括：接收第一终端设备发送的传输请求指令；根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息；确定作为多媒体资源的数据源的第二终端设备；其中，数据交互能力信息用于指示指定终端设备传输多媒体资源的能力信息，通信信道质量信息用于指示传输多媒体资源的通信信道的质量信息。

在该技术方案中，通过接收第一终端设备发送的传输请求指令，根据传输请求指令确定第一终端设备的数据交互能力信息和/或通信信道质量信息，确定作为多媒体资源的数据源的第二终端设备，以供服务器确定第一终端设备进行数据交互的能力和通信信道的状态，并且向第二终端设备转发传输请求指令，一方面，多媒体资源的交互过程在第一终端设备的能力范围之内，且通信信道能够满足多媒体资源的流畅传输，另一方面，服务器可以根据数据交互能力信息和/或通信信道质量信息周期性地对缓冲区的大小和网络并发量进行调整，以提高多媒体资源的视听流畅度。

在上述任一技术方案中，优选地，响应于传输响应指令，将多媒体资源发送至第一终端设备，具体包括：在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源；根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备。

在该技术方案中，通过在接收到多个针对同一多媒体资源的传输响应指令时，将多个传输响应指令对应的多路多媒体资源确定为一组多媒体资源，并且根据数据交互能力信息和/或通信信道质量信息将一组多媒体资源发送至第一终端设备，提高了多媒体资源的传输效率和可靠性，仅仅是将传输任务进行合并，而不需要进行多流的多媒体资源的编码或解码操作，有效地降低了服务器的计算压力和负载。

在上述任一技术方案中，优选地，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

在该技术方案中，多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据，有利于提高与会用户对多媒体资源的视听感受，以及更加灵活地随时调整多媒体资源的播放参数，第一终端设备和第二终端设备均支持如AAC和OPUS等多采样率和多码率的音频编解码算法，同时，第一终端设备和第二终端设备均支持如VP8、VP9、AVC、SVC和HEVC等多帧率和多分辨率的视频编解码算法。

以上结合附图详细说明了本发明的技术方案，本发明提供了一种多媒体资源的传输方法、装置、多媒体资源的传输***和计算机可读存储介质，通过响应于第一终端设备请求数据交互装置发送多媒体资源的传输请求指令，确定作为多媒体资源的数据源的第二终端设备，并根据传输请求指令向第二终端设备发送需要生成并上传多媒体资源的指示指令，进而接收第二终端设备响应于指示指令上传的多媒体资源和相应的传输响应指令，最后响应于传输响应指令，将多媒体资源发送至第一终端设备，极大地扩展了终端用户的与会体验，提高了多媒体资源交互过程的灵活度和传输效率，适用于各种视频会议场景或直播应用场景，另外，有效地降低了服务器端的处理负载和计算压力，提高了服务器的并发吞吐能力。

本发明方法中的步骤可根据实际需要进行顺序调整、合并和删减。

本发明装置中的单元可根据实际需要进行合并、划分和删减。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多媒体资源的传输方法，适用于数据交互装置，其特征在于，所述多媒体资源的传输方法包括：

响应于第一终端设备请求所述数据交互装置发送多媒体资源的传输请求指令，确定作为所述多媒体资源的数据源的第二终端设备；

根据所述传输请求指令向所述第二终端设备发送需要生成并上传所述多媒体资源的指示指令；

接收所述第二终端设备响应于所述指示指令上传的多媒体资源和相应的传输响应指令；

响应于所述传输响应指令，将所述多媒体资源发送至所述第一终端设备。

2.根据权利要求1所述的多媒体资源的传输方法，其特征在于，响应于第一终端设备请求所述数据交互装置发送多媒体资源的传输请求指令，确定作为所述多媒体资源的数据源的第二终端设备，具体包括：

接收第一终端设备发送的传输请求指令；

根据所述传输请求指令确定所述第一终端设备的数据交互能力信息和/或通信信道质量信息；

确定作为所述多媒体资源的数据源的所述第二终端设备；

其中，所述数据交互能力信息用于指示指定终端设备传输所述多媒体资源的能力信息，所述通信信道质量信息用于指示传输所述多媒体资源的通信信道的质量信息。

3.根据权利要求2所述的多媒体资源的传输方法，其特征在于，所述响应于所述传输响应指令，将所述多媒体资源发送至所述第一终端设备，具体包括：

在接收到多个针对同一所述多媒体资源的传输响应指令时，将多个所述传输响应指令对应的多路多媒体资源确定为一组多媒体资源；

根据所述数据交互能力信息和/或通信信道质量信息将所述一组多媒体资源发送至所述第一终端设备。

4.根据权利要求1至3中任一项所述的多媒体资源的传输方法，其特征在于，

所述多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

5.一种多媒体资源的传输装置，适用于数据交互装置，其特征在于，所述多媒体资源的传输装置包括：

确定单元，用于响应于第一终端设备请求所述数据交互装置发送多媒体资源的传输请求指令，确定作为所述多媒体资源的数据源的第二终端设备；

发送单元，用于根据所述传输请求指令向所述第二终端设备发送需要生成并上传所述多媒体资源的指示指令；

接收单元，用于接收所述第二终端设备响应于所述指示指令上传的多媒体资源和相应的传输响应指令；

所述发送单元还用于：响应于所述传输响应指令，将所述多媒体资源发送至所述第一终端设备。

6.根据权利要求5所述的多媒体资源的传输装置，其特征在于，

所述接收单元还用于：接收第一终端设备发送的传输请求指令；

所述确定单元还用于：根据所述传输请求指令确定所述第一终端设备的数据交互能力信息和/或通信信道质量信息；

所述确定单元还用于：确定作为所述多媒体资源的数据源的所述第二终端设备；

其中，所述数据交互能力信息用于指示指定终端设备传输所述多媒体资源的能力信息，所述通信信道质量信息用于指示传输所述多媒体资源的通信信道的质量信息。

7.根据权利要求6所述的多媒体资源的传输装置，其特征在于，包括：

所述确定单元还用于：在接收到多个针对同一所述多媒体资源的传输响应指令时，将多个所述传输响应指令对应的多路多媒体资源确定为一组多媒体资源；

所述发送单元还用于：根据所述数据交互能力信息和/或通信信道质量信息将所述一组多媒体资源发送至所述第一终端设备。

8.根据权利要求5至7中任一项所述的多媒体资源的传输装置，其特征在于，

所述多媒体资源包括采用多采样率和多码率的音频编码算法生成的音频数据，和/或采用多帧率和多分辨率的视频编码算法生成的视频数据。

9.一种多媒体资源的传输***，其特征在于，包括：

第一终端设备，用于向数据交互装置请求发送多媒体资源的传输请求指令；

第二终端设备，响应于所述数据交互装置的指示指令上传多媒体资源和相应的传输响应指令；

所述数据交互装置，包括如权利要求5至8中任一项所述的多媒体资源的传输装置，关联于所述第一终端设备和所述第二终端设备，用于根据所述传输请求指令和所述传输响应指令控制所述第一终端设备和所述第二终端设备之间交互所述多媒体资源。

10.一种计算机可读存储介质，其特征在于，所述计算机程序被执行时，实现如权利要求1至4中任一项所述的多媒体资源的传输方法的步骤。

Images