CN107613409A - 多媒体数据的处理方法及装置 - Google Patents

Abstract

本发明实施例提供了一种多媒体数据的处理方法及装置，该方法包括：接收采用实时传输协议RTP传输的多媒体数据包，利用jrtplib开源库对多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区；当数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对数据缓冲区中的多媒体数据包按照播放时间进行排序；根据排序结果依次从数据缓冲区中读取多媒体数据包；利用FFMPEG开源库接口对读取的多媒体数据包进行解码；调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。本发明不仅实现了高效的编解码效率，降低数据传输实现复杂度，而且能够消除网路抖动，提高多媒体数据的通信质量。

Description

多媒体数据的处理方法及装置

技术领域

本发明涉及宽带集群通信技术领域，尤其涉及一种宽带集群通信中多媒体数据的处理方法及装置。

背景技术

随着全球公共安全、政务、交通、能源等行业的快速发展，行业用户在传统的语音集群基础上，对于宽带无线数据业务、多媒体集群调度的需求极为迫切。LTE(Long TermEvolution，长期演进)以其技术和产业优势成为无线专网宽带技术的选择，基于LTE技术的宽带集群技术也成为全球无线专网发展共识。我国率先开展了基于LTE技术的宽带集群B-TrunC(Broadband Trunking Communication，宽带集群通信)技术的标准化工作，立足自主创新，紧密联系行业应用需求，技术和产业发展迅速。目前B-TrunC一阶段行业标准已经正式发布，并成为ITU(International Telecommunication Union，国际电信联盟)推荐的首个PPDR(Public Protection and Disaster Relief，公共保护和救灾)的宽带集群空中接口标准。随着工信部发布了宽带数字集群专网频率规划，B-TrunC获得1.4GHz和1.8GHz频段的政策支持。目前B-TrunC***已经开始广泛应用于公共安全、政务、交通、能源等行业。

目前，宽带集群通信中调度台作为控制中心、监控中心、指挥管理中心等内部配置的重要组成部分，已经应用在多个行业领域，在地铁、电力、港口、酒店、公安、军队、应急等行业都有许多成功的案例，发挥了高效的生产能力。但是，对于多媒体数据的处理，由于其信息量大的特点，现有技术在编解码效率、数据传输实现复杂度以及媒体数据通信质量等方面仍有待进一步改进和提高。

发明内容

鉴于上述问题，本发明提出的多媒体数据的处理方法及装置，不仅实现了高效的编解码效率，降低数据传输实现复杂度，而且能够消除网路抖动，提高多媒体数据的通信质量。

本发明的第一方面，提供了一种多媒体数据的处理方法，该方法包括:

接收采用实时传输协议传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区；

当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序；

根据排序结果依次从所述数据缓冲区中读取多媒体数据包；

利用FFMPEG开源库接口对读取的多媒体数据包进行解码；

调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。

其中，所述方法还包括：

利用FFMPEG开源库接口采集多媒体数据；

利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

其中，在所述根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序之后，所述方法还包括：

根据排序结果判定是否存在丢失的多媒体数据包；

若存在丢包，则在丢包的位置***静默音包进行替代。

其中，所述将接收到的多媒体数据包缓存到预先创建的数据缓冲区包括：

根据当前接收到的多媒体数据包的时间戳和数据大小计算写指针的值；

判定当前接收到的多媒体数据包是否为第一个多媒体数据包；

若是，则初始化读指针为写指针，并根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间；

否则，判定所述当前接收到的多媒体数据包的时间戳是否大于上一次读取的数据包的时间戳；

若当前接收到的多媒体数据包的时间戳大于上一次读取的数据包的时间戳，则根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间，否则丢弃此包。

其中，所述根据排序结果依次从所述数据缓冲区中读取多媒体数据包包括：

根据排序结果，按照预设的定时周期依次从所述数据缓冲区中读取多媒体数据包。

本发明的第二方面，提供了一种多媒体数据的处理方法，包括：

利用FFMPEG开源库接口采集多媒体数据；

利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

其中，所述利用FFMPEG开源库接口采集多媒体数据包括:

根据所述多媒体数据的传输间隔参数设定定时器的定时时间；

根据所述定时时间，周期性调用所述FFMPEG开源库接口采集多媒体数据。

本发明的第三方面，提供了一种多媒体数据的处理装置，该装置包括：

接收模块，用于接收采用实时传输协议RTP传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区；

排序模块，用于当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序；

读写模块，用于根据排序结果依次从所述数据缓冲区中读取多媒体数据包；

第一编解码模块，用于利用FFMPEG开源库接口对读取的多媒体数据包进行解码；

播放模块，用于调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。

其中，所述装置还包括第一媒体采集模块和第一发送模块：

所述第一媒体采集模块，用于利用FFMPEG开源库接口采集多媒体数据；

所述第一编解码模块，还用于利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

所述第一发送模块，用于利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议将所述多媒体数据包发送给其他网元设备。

其中，所述装置还包括：

丢包判定模块，用于在所述根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序之后，根据排序结果判定是否存在丢失的多媒体数据包；

添加模块，用于当存在丢包时，在丢包的位置***静默音包进行替代。

本发明的第四方面，提供了一种多媒体数据的处理装置，包括：

第二媒体采集模块，用于利用FFMPEG开源库接口采集多媒体数据；

第二编解码模块，用于利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

第二发送模块，用于利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

其中，所述第二媒体采集模块包括：

定时子模块，用于根据所述多媒体数据的传输间隔参数设定定时器的定时时间；

采集子模块，用于根据所述定时时间，周期性调用所述FFMPEG开源库接口采集多媒体数据。

此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上第一方面所述方法的步骤。

此外，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述方法的步骤。

此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上第二方面所述方法的步骤。

此外，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述方法的步骤。

本发明实施例提供的多媒体数据的处理方法及装置，通过利用开源库ffmpeg进行多媒体数据采集和编解码，支持广泛的视频格式和高效的编解码效率；利用jrtplib开源库进行多媒体数据包的传输，方便了多媒体数据包的收发，降低了传输实现的复杂度；在接收到多媒体数据包时，采用预先创建的数据缓冲区缓存到达的多媒体数据包，并进行乱序排序，能够消除网路抖动，有效地提高了多媒体数据的通信质量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的一种多媒体数据的处理方法的流程图；

图2为本发明实施例中调度台***的通信上下文示意图；

图3为本发明另一实施例中调度台***的通信上下文示意图；

图4为本发明实施例中媒体数据发送线程的工作流程图；

图5为本发明实施例中媒体数据接收线程的工作流程图；

图6为本发明实施例中媒体数据播放线程的工作流程图；

图7为本发明实施例中视频防抖动处理过程中缓冲区写入数据的流程图；

图8为本发明实施例中视频防抖动处理过程中缓冲区读取数据的流程图；

图9为本发明另一实施例的一种多媒体数据的处理方法的流程图；

图10为本发明实施例中一种多媒体数据的处理装置的结构示意图；

图11为本发明另一实施例中一种多媒体数据的处理装置的结构示意图；

图12为本发明实施例的计算机设备的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明的目的在于，提供一种既适用于轨道交通指挥调度***等专网，也适用于企事业单位等私网的多媒体数据的处理方法，以实现高效的编解码效率，降低数据传输实现复杂度，而且能够消除网路抖动，提高宽带集群通信中多媒体数据的通信质量。

图1示意性示出了本发明一个实施例的多媒体数据的处理方法的流程图。参照图1，本发明实施例的多媒体数据的处理方法具体包括以下步骤：

S11、接收采用实时传输协议传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区。

本发明实施例中的多媒体数据包可以为视频数据和/或音频数据，具体适用于实际应用场景。其中，jrtplib开源库是一个用C++语言实现的RTP库。

实际应用中，调度台(DC，Dispatch Console)通过Ethernet接收其他网元或设备的多媒体数据包，并经过jrtplib开源库对所述多媒体数据包进行解封装。本实施例利用jrtplib开源库进行多媒体数据包的RTP封装发送和RTP包的接收解封装，有效地方便了多媒体数据包的收发，降低了传输实现的复杂度。

S12、当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序。

S13、根据排序结果依次从所述数据缓冲区中读取多媒体数据包。

S14、利用FFMPEG开源库接口对读取的多媒体数据包进行解码。

本实施例中，为了应对由于网络传输质量原因引起丢包、乱序、时延而导致的多媒体数据通信质量差的问题，本发明实施例还提供了对多媒体数据进行防抖动处理流程。通过预先创建一个数据缓冲区，缓存接收到的一部分数据后，以便后续以固定的速率利用FFMPEG开源库接口进行解码。多媒体数据根据RTP包的时间戳先后进行排序，以解决乱序问题，进而有效降低了网络抖动的影响。

S15、调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。

本实施例中，利用SDL(Simple DirectMedia Layer)开源库接口，把解码后的多媒体数据包通过SDL播放引擎进行播放，或者把解码后的多媒体数据包保存成媒体文件，进行保存。

本发明实施例提供的多媒体数据的处理方法，主要采用现有的开源库实现调度台视频播放和传输，同时加入了视频包防抖动处理，不仅实现了高效的编解码效率，降低数据传输实现复杂度，而且能够消除网路抖动，提高多媒体数据的通信质量。具体的，本发明实施例提供的多媒体数据的处理方法，通过利用开源库ffmpeg进行多媒体数据编解码，支持广泛的视频格式和高效的编解码效率；利用jrtplib开源库进行多媒体数据包的传输，方便了多媒体数据包的收发，降低了传输实现的复杂度；在接收到多媒体数据包时，采用预先创建的数据缓冲区缓存到达的多媒体数据包，并进行乱序排序，能够消除网路抖动，有效地提高了宽带集群通信中多媒体数据的通信质量。

在本发明的一个可选实施例中，调度台(DC，Dispatch Console)不仅可以实现对接收到的多媒体数据包的防抖处理和高质量播放，还实现了高效的多媒体数据的采集、编码和发送。具体实现流程如下：

利用FFMPEG开源库接口采集多媒体数据。本发明实施例中，多媒体数据采集利用FFMPEG开源库接口实现。

按照指定格式对采集的多媒体数据进行编码。本发明实施例中，多媒体数据编解码也是利用FFMPEG开源库接口，实现多媒体数据的编码或者解码，如把多媒体数据进行格式编码后发送，或者把接收到的多媒体数据解码成需要的格式。

利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。本发明实施例中，利用jrtplib开源库接口，实现多媒体数据包的RTP封装或者RTP解封装，同时，实现UDP Socket或者TCP Socket通信，发送或者接收多媒体数据包。

在实际应用中，调度台不仅可以通过Ethernet接收其他网元或设备的多媒体数据包，经过解码后调用SDL提供的播放引擎进行播放或者将其保存成媒体文件，同时还可以实现多媒体数据的采集、编码和发送。具体的，对于视频数据，利用FFMPEG开源库采集摄像头Camera或者视频文件的视频数据，经过编码后通过Ethernet发给其他网元或者设备，例如，用户设备，具体可参见图2；对于音频数据，利用FFMPEG开源库采集麦克风Microphone、扬声器loudspeaker或者音频文件的声音数据，经过编码后通过Ethernet发给其他网元或者设备，例如，用户设备，具体可参见图3。

本发明实施例提供的多媒体数据的处理方法，主要采用现有的开源库实现调度台视频的采集、播放和传输，同时加入了视频包防抖动处理，不仅实现了高效的编解码效率，降低数据传输实现复杂度，而且能够消除网路抖动，提高多媒体数据的通信质量。具体的，本发明实施例提供的多媒体数据的处理方法，通过利用开源库ffmpeg进行多媒体数据采集和编解码，支持广泛的视频格式和高效的编解码效率。

在本发明实施例中，在步骤S12中的根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序之后，所述方法还包括以下步骤：

根据排序结果判定是否存在丢失的多媒体数据包，若存在丢包，则在丢包的位置***静默音包进行替代。

在实际应用中，由于相邻多媒体数据包的时间戳增量是固定的，因此可根据数据缓冲区中相邻的多媒体数据包的时间戳确定两个多媒体数据包之间是否存在丢包，或是丢了几个包等情况。若判定结果为若存在丢包，则保存一个静默音包代替，这样能够达到平滑播放视频的效果，有效降低了网络抖动的影响。

调度台DC***通过创建媒体数据发送线程、媒体数据接收线程、媒体数据播放线程实现对视频、音频等多媒体数据的发送、接收和播放。

媒体数据发送线程主要用于***体数据采集、编码、发送过程。具体来说，就是线程周期性地调用媒体数据采集接口采集到媒体数据，然后调用媒体数据编解码接口按要求的格式进行编码，最后调用媒体数据传输接口把码流发送出去。

如图4所示，媒体数据发送线程的工作流程具体如下：

步骤1：程序启动完成相关初始化后，启动发送线程，进入步骤2。

步骤2：根据通信要求的数据格式和相应的传输间隔启动定时器，定时到则开始调用FFMPEG接口采集媒体外设数据，进入步骤3。

步骤3：如果没采集到数据，则返回步骤2启动下个采集周期定时器。如果采集到媒体数据则进入步骤4。

步骤4：同样调用FFMPEG接口按通信要求的数据格式进行编码，进入步骤5。

步骤5：把完成编码的媒体数据，调用jrtplib接口发送编码码流，进入步骤6。

步骤6：判断线程是否要停止，如果是，则进入步骤7；如果不是，则返回步骤2。

步骤7：退出线程。

媒体数据接收线程主要用于***体数据接收和媒体数据防抖动处理过程。具体来说，就是线程周期性调用媒体数据传输接口接收到媒体数据数据流，然后把它缓存在预设数据缓冲区对应的缓存空间里进行排序、丢包判断、时延判断等一系列算法处理。

如图5所示，媒体数据接收线程的工作流程具体如下：

步骤1：程序启动完成相关初始化后，启动接收线程，进入步骤2。

步骤2：此步骤开始不断在接收数据，如果接收到数据，则进入步骤3。

步骤3：把接收到的媒体数据进行防抖动处理，进入步骤4。

步骤4：判断线程是否要停止，如果是，则进入步骤5；如果不是，则返回步骤2。

步骤5：退出线程。

媒体数据播放线程定时从数据缓冲区里取到经过处理后的多媒体数据包，调用编解码接口按要求的格式进行解码，最后调用播放接口进行媒体数据播放或者将其保存成媒体文件。

如图6所示，媒体数据播放线程的工作流程具体如下：

步骤1：程序启动完成相关初始化后，启动播放线程，进入步骤2。

步骤2：根据通信要求的数据格式和相应的传输间隔，启动读取缓存的定时器，这样可以控制正常的播放速度，使播放不受网络抖动定影响，进入步骤3。

步骤3：定时器到，则进入步骤4，否则一直等到超时。

步骤4：读取数据缓冲区中缓存的数据，如果读取失败，则返回步骤2启动下一个读取周期的定时器；如果读取成功，怎进入步骤5。

步骤5：调用FFMPEG接口进行媒体数据解码，进入步骤6。

步骤6：调用SDL的接口进行媒体播放或者保存成媒体文件，进入步骤7。

步骤7：判断线程是否要停止，如果是，则进入步骤8；如果不是，则返回步骤2。

步骤8：退出线程。

本发明实施例中，所述将接收到的多媒体数据包缓存到预先创建的数据缓冲区具体通过以下步骤实现：

根据当前接收到的多媒体数据包的时间戳和数据大小计算写指针的值。在实际应用中，接收到多媒体数据包之后，在进行数据包缓存前，先判断数据缓冲区对应的缓存空间是否已经放满，如果是，则丢弃此数据包；如果不是，则根据当前接收到的多媒体数据包的时间戳和数据大小计算WP的值的步骤。其中，WP的值指向数据缓冲区的某个缓存位置。

判定当前接收到的多媒体数据包是否为第一个多媒体数据包；若是，则初始化读指针为写指针，并根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间；否则，判定所述当前接收到的多媒体数据包的时间戳是否大于上一次读取的数据包的时间戳；

若当前接收到的多媒体数据包的时间戳大于上一次读取的数据包的时间戳，则根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间，否则丢弃此包。

在一个具体示例中，媒体数据包的时间增量设定为一个固定值，如160，如果第一个数据包的时间戳是160，则第二个数据包的时间戳是320。如此类推，每个数据包的时间戳都是160的整数倍。若数据缓冲区对应的缓存空间的大小是最多能存20个数据包，那么这20个数据包在内存中的位置是固定的，对应的位置会有个编号，如，0、1、2……19，写指针WP就是这个编号。当收到一个数据包时，具体通过如下方式实现写指针的值计算：

若当前数据包的时间戳是2560，则该数据包对应的写指针WP:

WP＝(2560/160)％20＝16，其中，％是数学取模运算；

那么，这个数据包就应该保持在WP为16所指向的数据缓冲区的缓存位置。

若当前数据包的时间戳是7200，则该数据包对应的写指针WP:

WP＝(7200/160)％20＝5，其中，％是数学取模运算；

那么，这个数据包就应该保持在WP为5所指向的数据缓冲区的缓存位置。

如图7所示，视频防抖动处理过程中将接收到的多媒体数据包缓存到预先创建的数据缓冲区的写流程具体实现如下：

步骤1：从接收线程收到一个视频数据包，进入步骤2。

步骤2：把包放到缓存前，先判断数据缓冲区对应的缓存空间是否已经放满，如果是，则丢弃此数据包；如果不是，则进入步骤3。

步骤3：根据视频包里面的RTP的时间戳和缓存长度，计算出写指针WP的值，该值指向缓存空间的某个位置，进入步骤4。

步骤4：判断是否是接收到的第一个数据包，如果是，则进入步骤5；如果不是，则进入步骤6。

步骤5：初始化读指针RP，其值等于WP，进入步骤7。

步骤6：如果不是第一个数据包，则通过该包的时间戳和上一次读取的数据包的时间戳对比，如果小于，则认为此数据包是迟来的过时的数据包，则进入步骤8；如果是有效的数据包，则进入步骤7。

步骤7：根据计算出来的写指针WP把数据包保存在缓存里。

步骤8：丢弃此包。

本发明实施例中，所述根据排序结果依次从所述数据缓冲区中读取多媒体数据包具体通过以下步骤实现：根据排序结果，按照预设的定时周期依次从所述数据缓冲区中读取多媒体数据包。

如图8所示，视频防抖动处理过程中根据排序结果依次从所述数据缓冲区中读取多媒体数据包具体实现如下：

步骤1：按照预设的定时周期依次从缓存读取一个数据，进入步骤2。

步骤2：读取前，先判断缓存里是否有数据，如果没有数据，则进入步骤5；如果有数据，则进入步骤3。

步骤3：根据当前读指针RP判断所在的缓存位置里是否有数据，如果没有，则进入步骤5；如果有，则进入步骤4。

步骤4：置位返回值为成功，表示读取数据成功，然后进入步骤6。

步骤5：置位返回值为失败，表示读取数据失败，然后进入步骤7。

步骤6：根据读指针RP所指位置读取缓存里的数据，然后进入步骤7。

步骤7：计算出下个读周期读指针RP的值，然后返回读取结果。

与现有技术相比，本发明实施例提供的多媒体数据的处理方法具备如下有益效果：

1.利用开源库ffmpeg进行视频采集和编解码，支持广泛的视频格式和高效的编解码效率；

2.利用jrtplib开源库进行视频包的RTP(Real-time Transport Protocol，实时传输协议)封装发送和RTP包的接收，方便了多媒体数据包的收发，降低了传输实现的复杂度；

3.利用SDL(Simple DirectMedia Layer)开源库进行视频的播放，省去了自己实现视频播放控制；

4.视频流接收时，采用缓存器缓存到达的视频包，并进行乱序排序，然后以固定的速度播放，消除网络抖动，提高视频播放质量。

图9示意性示出了本发明另一个实施例的多媒体数据的处理方法的流程图。参照图9，本发明实施例的多媒体数据的处理方法具体包括以下步骤：

S21、利用FFMPEG开源库接口采集多媒体数据；

S22、利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

S23、利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

在本发明实施例中，步骤S21中的利用FFMPEG开源库接口采集多媒体数据具体可通过一下步骤实现：

根据所述多媒体数据的传输间隔参数设定定时器的定时时间；

根据所述定时时间，周期性调用所述FFMPEG开源库接口采集多媒体数据。

在实际应用中，需要根据通信要求的数据格式和相应的传输间隔参数设定定时器的定时时间，启动定时器，定时时间到则开始调用FFMPEG接口采集媒体外设的多媒体数据，如果没采集到数据，则启动下个采集周期定时器。如果采集到多媒体数据则同样调用FFMPEG接口按通信要求的数据格式进行编码，将完成编码的多媒体数据，调用jrtplib接口发送编码码流。

本发明实施例提供的多媒体数据的处理方法，主要采用FFMPEG开源库接口实现调度台视频的采集和编码，并通过利用jrtplib开源库对编码后的多媒体数据进行封装传输，不仅能够支持广泛的视频格式和高效的编解码效率，而且方便了多媒体数据包的收发，降低了传输实现的复杂度。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图10示意性示出了本发明一个实施例的多媒体数据的处理装置的结构示意图。参照图10，本发明实施例的多媒体数据的处理装置包括接收模块301、排序模块302、读写模块303、第一编解码模块304以及播放模块305，其中：

接收模块301，用于接收采用实时传输协议RTP传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区；

排序模块302，用于当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序；

读写模块303，用于根据排序结果依次从所述数据缓冲区中读取多媒体数据包；

第一编解码模块304，用于利用FFMPEG开源库接口对读取的多媒体数据包进行解码；

播放模块305，用于调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。

在本发明实施例中，所述装置还包括附图中未示出的第一媒体采集模块和第一发送模块，其中：

所述第一媒体采集模块，用于利用FFMPEG开源库接口采集多媒体数据；

所述第一编解码模块，还用于利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

相应的，所述第一发送模块，用于利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议将所述多媒体数据包发送给其他网元设备。

在本发明实施例中，所述装置还包括附图中未示出的丢包判定模块和添加模块，其中：

所述丢包判定模块，用于在所述根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序之后，根据排序结果判定是否存在丢失的多媒体数据包；

所述添加模块，用于当存在丢包时，在丢包的位置***静默音包进行替代。

在本发明的一个可选实施例中，所述接收模块301，具体还用于实现以下防抖动处理：

根据当前接收到的多媒体数据包的时间戳和数据大小计算写指针的值；判定当前接收到的多媒体数据包是否为第一个多媒体数据包；若是，则初始化读指针为写指针，并根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间；否则，判定所述当前接收到的多媒体数据包的时间戳是否大于上一次读取的数据包的时间戳；若当前接收到的多媒体数据包的时间戳大于上一次读取的数据包的时间戳，则根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间，否则丢弃此包。

在本发明的一个可选实施例中，所述读写模块303，具体用于根据排序结果，按照预设的定时周期依次从所述数据缓冲区中读取多媒体数据包。

图11示意性示出了本发明一个实施例的多媒体数据的处理装置的结构示意图。参照图11，本发明实施例的多媒体数据的处理装置包括第二媒体采集模块401、第二编解码模块402以及第二发送模块403，其中：

第二媒体采集模块401，用于利用FFMPEG开源库接口采集多媒体数据；

第二编解码模块402，用于利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

第二发送模块403，用于利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

在本发明实施例中，所述第二媒体采集模块401进一步包括定时子模块和采集子模块，其中：定时子模块，用于根据所述多媒体数据的传输间隔参数设定定时器的定时时间；采集子模块，用于根据所述定时时间，周期性调用所述FFMPEG开源库接口采集多媒体数据。

本发明实施例提供的多媒体数据的处理装置，第二媒体采集模块和第二编解码模块采用FFMPEG开源库接口实现调度台视频的采集和编码，第二发送模块通过利用jrtplib开源库对编码后的多媒体数据进行封装传输，不仅能够支持广泛的视频格式和高效的编解码效率，而且方便了多媒体数据包的收发，降低了传输实现的复杂度。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供的多媒体数据的处理方法及装置，通过利用开源库ffmpeg进行多媒体数据采集和编解码，支持广泛的视频格式和高效的编解码效率；利用jrtplib开源库进行多媒体数据包的传输，方便了多媒体数据包的收发，降低了传输实现的复杂度；在接收到多媒体数据包时，采用预先创建的数据缓冲区缓存到达的多媒体数据包，并进行乱序排序，能够消除网路抖动，有效地提高了宽带集群通信中多媒体数据的通信质量。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述方法的步骤。

本实施例中，所述多媒体数据的处理装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

图12为本发明实施例提供的计算机设备的示意图。本发明实施例提供的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述多媒体数据的处理方法实施例中的步骤，例如图1所示的S11、接收采用实时传输协议传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区。S12、当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序。S13、根据排序结果依次从所述数据缓冲区中读取多媒体数据包。S14、利用FFMPEG开源库接口对读取的多媒体数据包进行解码。S15、调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。再例如图9所示的S21、利用FFMPEG开源库接口采集多媒体数据；S22、利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；S23、利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。或者，所述处理器执行所述计算机程序时实现上述各多媒体数据的处理装置实施例中各模块/单元的功能，例如图10所示的接收模块301、排序模块302、读写模块303、第一编解码模块304以及播放模块305。再例如图11所示的第二媒体采集模块401、第二编解码模块402以及第二发送模块403。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述多媒体数据的处理装置中的执行过程。例如，所述计算机程序可以被分割成接收模块301、排序模块302、读写模块303、第一编解码模块304以及播放模块305。再例如，所述计算机程序可以被分割成第二媒体采集模块401、第二编解码模块402以及第二发送模块403。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图12仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种多媒体数据的处理方法，其特征在于，包括：

接收采用实时传输协议传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区；

当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序；

根据排序结果依次从所述数据缓冲区中读取多媒体数据包；

利用FFMPEG开源库接口对读取的多媒体数据包进行解码；

调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用FFMPEG开源库接口采集多媒体数据；

利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

3.根据权利要求1所述的方法，其特征在于，在所述根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序之后，所述方法还包括：

根据排序结果判定是否存在丢失的多媒体数据包；

若存在丢包，则在丢包的位置***静默音包进行替代。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将接收到的多媒体数据包缓存到预先创建的数据缓冲区包括：

根据当前接收到的多媒体数据包的时间戳和数据大小计算写指针的值；

判定当前接收到的多媒体数据包是否为第一个多媒体数据包；

若是，则初始化读指针为写指针，并根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间；

否则，判定所述当前接收到的多媒体数据包的时间戳是否大于上一次读取的数据包的时间戳；

若当前接收到的多媒体数据包的时间戳大于上一次读取的数据包的时间戳，则根据计算出的写指针的值将当前接收到的多媒体数据包保存在对应的缓存空间，否则丢弃此包。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据排序结果依次从所述数据缓冲区中读取多媒体数据包包括：

根据排序结果，按照预设的定时周期依次从所述数据缓冲区中读取多媒体数据包。

6.一种多媒体数据的处理方法，其特征在于，包括：

利用FFMPEG开源库接口采集多媒体数据；

利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

7.根据权利要求6所述的方法，其特征在于，所述利用FFMPEG开源库接口采集多媒体数据包括:

根据所述多媒体数据的传输间隔参数设定定时器的定时时间；

根据所述定时时间，周期性调用所述FFMPEG开源库接口采集多媒体数据。

8.一种多媒体数据的处理装置，其特征在于，包括：

接收模块，用于接收采用实时传输协议RTP传输的多媒体数据包，利用jrtplib开源库对所述多媒体数据包进行解封装，并将解封装后的多媒体数据包缓存到预先创建的数据缓冲区；

排序模块，用于当所述数据缓冲区中的数据包达到指定数量时，根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序；

读写模块，用于根据排序结果依次从所述数据缓冲区中读取多媒体数据包；

第一编解码模块，用于利用FFMPEG开源库接口对读取的多媒体数据包进行解码；

播放模块，用于调用媒体播放器对解码后的多媒体数据包进行播放，或将解码后的多媒体数据包生成媒体文件。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括第一媒体采集模块和第一发送模块：

所述第一媒体采集模块，用于利用FFMPEG开源库接口采集多媒体数据；

所述第一编解码模块，还用于利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

所述第一发送模块，用于利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议将所述多媒体数据包发送给其他网元设备。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

丢包判定模块，用于在所述根据数据包的时间戳对所述数据缓冲区中的多媒体数据包按照播放时间进行排序之后，根据排序结果判定是否存在丢失的多媒体数据包；

添加模块，用于当存在丢包时，在丢包的位置***静默音包进行替代。

11.一种多媒体数据的处理装置，其特征在于，包括：

第二媒体采集模块，用于利用FFMPEG开源库接口采集多媒体数据；

第二编解码模块，用于利用FFMPEG开源库接口按照指定格式对采集的多媒体数据进行编码；

第二发送模块，用于利用jrtplib开源库将编码后的多媒体数据封装成所述多媒体数据包，并采用实时传输协议发送给其他网元设备。

12.根据权利要求11所述的装置，其特征在于，所述第二媒体采集模块包括:

定时子模块，用于根据所述多媒体数据的传输间隔参数设定定时器的定时时间；

采集子模块，用于根据所述定时时间，周期性调用所述FFMPEG开源库接口采集多媒体数据。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-7任一项所述方法的步骤。

16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6-7任一项所述方法的步骤。