CN101262321A - 媒体数据处理方法、编码设备及媒体平台 - Google Patents

Abstract

本发明提供一种媒体数据处理方法、编码设备及媒体平台。所述方法包括步骤：A1.编码设备对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号；A2.编码设备将分片的媒体数据封装成UDP报文发送给媒体平台，并将已发送的媒体数据写入发送缓存区；A3.编码设备接收媒体平台发送的重传请求报文，根据重传请求报文中的帧序列号和包序列号，从发送缓存区中取出相应的媒体数据封装成UDP报文发送给媒体平台。依照本发明，媒体数据基于UDP协议进行传输，并根据帧序列号和包序列号对媒体数据进行标识和重传，在保证实况图像的低延时的同时，提高了录像的可靠性。

Description

媒体数据处理方法、编码设备及媒体平台

技术领域

本发明涉及数据处理***及方法，特别涉及一种媒体数据处理方法、编码设备及媒体平台。

背景技术

典型的数字化视频监控***(如图1所示)的媒体面一般由编码设备、媒体平台和解码设备组成。其中，编码设备负责采集模拟音视频信号，在完成数字化处理后，把媒体数据封装在IP报文中发送给媒体平台；媒体平台负责接收编码设备发送的媒体数据，一边分发媒体数据流给解码设备(称为实况)，一边生成录像文件存储起来，以便进行历史数据的回放；解码设备负责接收媒体平台转发的媒体数据，对媒体数据进行解码处理后输出模拟图像到显示设备(如监视器)上。

在上述***中，编码设备发送媒体数据时，一般选择承载在UDP或TCP报文上进行传输，以下分别介绍之。

(一)编码设备与媒体平台之间基于TCP协议传输媒体数据。

这种技术方案充分利用TCP的重传机制，实现媒体数据在编码设备与媒体平台之间的可靠传输，从而保证了生成的录像文件真实还原前端图像，一般情况下不会因为网络丢包而导致录像质量下降，点播获取的历史图像具有良好的连续性。

当编码设备与媒体平台之间的网络质量较差，丢包较为严重时，由于TCP的确认与重传机制，经媒体平台转发给解码客户端的报文的延时必然加大(相对于媒体数据生成时间)，这首先会导致实况图像的延时加大，实时性变差；其次，编码设备是按照一定的速率在生成媒体数据(如每秒采集25帧图像)的，当大量媒体数据由于TCP的重传而缓存在设备内部时，不能及时发出去时，必然大量消耗设备的内存资源，并导致新生成的数据丢失，最终体现在录像文件中所保存的媒体数据不连续。

(二)编码设备与媒体平台之间基于UDP协议传输媒体数据。

这种技术方案充分利用了UDP协议的无确认机制，媒体数据在编码设备和解码设备之间快速转发，保证了实况图像的低延时。当编码设备与媒体平台之间的网络质量较差，存在丢包时，媒体平台生成的录像文件中，必然丢失一些媒体数据，会导致从媒体文件中点播回放历史数据时，图像不连续或出现花屏。

在监控***中，一般要求解码端输出的实况图像时延要小，而且图像连续；同时，要求录像功能要可靠，录像文件能真实记录采集的图像信息，也就是要求录像功能有较好的抗丢包能力，点播获得的历史图像具有连续性。而从以上描述可知，现有技术采用UDP或TCP协议传送媒体数据都不能满足这些要求，因此，需要对现有技术方案进行改进和完善。

发明内容

本发明所要解决的技术问题是提供一种媒体数据处理方法、编码设备及媒体平台，以提高基于UDP协议传输媒体数据时录像的可靠性。

为解决上述技术问题，本发明提供技术方案如下：

一种媒体数据处理方法，包括如下步骤：

A1、编码设备对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号；

A2、编码设备将分片的媒体数据封装成UDP报文发送给媒体平台，并将已发送的媒体数据写入发送缓存区；

A3、编码设备接收媒体平台发送的重传请求报文，根据重传请求报文中的帧序列号和包序列号，从发送缓存区中取出相应的媒体数据封装成UDP报文发送给媒体平台。

上述的方法，步骤A2中，编码设备在将已发送的媒体数据写入发送缓存区前，还判断发送缓存区是否即将满，若是，删除发送缓存区中最老的媒体数据后，再将所述已发送的媒体数据写入发送缓存区。

上述的方法，步骤A3中，编码设备在接收到媒体平台发送的重传请求报文后，还判断重传请求报文中的帧序列号和包序列号对应的媒体数据是否存在于发送缓存区中，若所述对应的媒体数据不存在于发送缓存区中，则不对该重传请求报文进行响应。

上述的方法，步骤A3中，编码设备在进行所述UDP报文封装前，还对所述相应的媒体数据设置重传标记；

一种媒体数据处理方法，包括如下步骤：

B1、媒体平台接收编码设备发送的媒体数据，并将接收到的媒体数据写入接收缓存区；

B2、媒体平台判断接收缓存区中最老帧/帧组的媒体数据是否完整，若是，将该帧/帧组的媒体数据写入录像文件，否则，发送重传请求报文到编码设备，所述重传请求报文中包括所丢失媒体数据的帧序列号和包序列号；

上述的方法，步骤B1之后还包括：媒体平台判断接收缓存区是否达到预设的缓存上限，若是，直接将接收缓存区中的媒体数据写入录像文件。

上述的方法，媒体平台将接收缓存区中的媒体数据写入录像文件后，还将写入的媒体数据从接收缓存区中删除。

上述的方法，步骤B1中，媒体平台在接收到编码设备发送的媒体数据后，还将所述接收到的媒体数据转发给解码设备。

上述的方法，步骤B1中，媒体平台在接收到编码设备发送的媒体数据后，还判断所述接收到的媒体数据是否包含重传标记，若是，不对该包含重传标记的媒体数据进行转发。

一种编码设备，包括，媒体数据分片模块、媒体数据发送模块、发送缓存和重传请求报文接收模块，其中：

所述媒体数据分片模块，用于对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号；

所述媒体数据发送模块，用于将分片的媒体数据封装成UDP报文发送给媒体平台，并将已发送的媒体数据写入发送缓存，以及根据重传请求报文中的帧序列号和包序列号，从发送缓存中取出相应的媒体数据封装成UDP报文发送给媒体平台；

所述重传请求报文接收模块，用于接收媒体平台发送的包括所丢失媒体数据的帧序列号和包序列号的重传请求报文。

上述的编码设备，其中，所述媒体数据发送模块在将已发送的媒体数据写入发送缓存前，还判断发送缓存是否即将满，若是，删除发送缓存中最老的媒体数据后，再将所述已发送的媒体数据写入发送缓存。

上述的编码设备，其中，所述媒体数据发送模块在进行所述UDP报文封装前，还对所述相应的媒体数据设置重传标记。

一种媒体平台，包括，媒体数据接收模块、接收缓存、录像文件生成模块和重传请求报文发送模块，其中：

所述媒体数据接收模块，用于接收编码设备发送的媒体数据，并将接收到的媒体数据写入接收缓存；

所述录像文件生成模块，用于在确定接收缓存中最老帧/帧组的媒体数据完整时，将该帧/帧组的媒体数据写入录像文件；

所述重传请求报文发送模块，用于在确定接收缓存中最老帧/帧组的媒体数据不完整时，发送重传请求报文到编码设备，所述重传请求报文中包括所丢失媒体数据的帧序列号和包序列号。

上述的媒体平台，其中，所述录像文件生成模块，还用于判断接收缓存是否达到预设的缓存上限，若是，直接将接收缓存中的媒体数据写入录像文件。

上述的媒体平台，其中，所述录像文件生成模块将接收缓存中的媒体数据写入录像文件后，还将写入的媒体数据从接收缓存中删除。

上述的媒体平台，其中，还包括媒体数据转发模块：所述媒体数据转发模块，用于将媒体数据接收模块接收到的媒体数据转发给解码设备。

上述的媒体平台，其中，所述媒体数据转发模块还判断所述接收到的媒体数据是否包含重传标记，若是，不对该包含重传标记的媒体数据进行转发。

与现有技术相比，本发明的有益效果是：

媒体数据基于UDP协议进行传输，并根据帧序列号和包序列号对媒体数据进行标识和重传，在保证实况图像的低延时的同时，提高了录像的可靠性。

附图说明

图1为现有技术的数字化视频监控***结构示意图；

图2为本发明实施例的媒体数据处理***的结构示意图；

图3为图2中的编码设备工作流程图；

图4为图2中的媒体平台工作流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

请参照图2，本发明实施例的媒体数据处理***包括编码设备10、媒体平台20和解码设备30。编码设备10和媒体平台20之间、媒体平台20和解码设备30之间均通过IP网络互连。

具体地，编码设备10包括媒体数据分片模块11、媒体数据发送模块12、发送缓存13、重传请求报文接收模块14；媒体平台20包括媒体数据接收模块21、接收缓存22、录像文件生成模块23、重传请求报文发送模块24、媒体数据转发模块25。

编码设备10采集到模拟音视频信号后，对所述音视频信号进行数字化处理，生成媒体数据。媒体数据分片模块11用于对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号，编码设备基于帧序列号和包序列号管理媒体数据，一帧图像的所有媒体数据使用相同的帧序列号，同一帧图像的封装在不同IP报文中的媒体数据使用包序列号唯一标识；媒体数据发送模块12用于将分片的媒体数据封装成UDP报文发送给媒体平台20，并将已发送的媒体数据写入发送缓存13。其中，编码设备10使用帧序列号和包序列号来管理发送缓存13中的媒体数据。

媒体平台20中的媒体数据接收模块21用于接收编码设备10发送的媒体数据，并将接收到的媒体数据写入接收缓存22。其中，媒体平台20为每一路需要录像的媒体数据流创建一个接收缓存，也就是说，媒体平台20中包括多个接收缓存22。媒体数据接收模块21根据媒体数据的帧序列号和包序列号将该媒体数据写入到对应的接收缓存22中。

媒体平台20中的录像文件生成模块23用于判断接收缓存22中最老帧/帧组的媒体数据是否完整，若是，将该帧/帧组的媒体数据写入录像文件，否则，由重传请求报文发送模块24发送重传请求报文到编码设备10。

媒体平台20将一帧或一个帧组的全部媒体数据都接收完整后，即将该帧/帧组的媒体数据写入到录像文件中，以便进行历史数据的回放。其中，当第N个帧/帧组(N可设定，例如N＝2)的媒体数据到达媒体平台20时，如果接收缓存22中最前面一帧/帧组的媒体数据尚不完整，则可判定有媒体数据丢失，此时由重传请求报文发送模块24发送重传请求报文到编码设备10，请求编码设备10进行重传，所述重传请求报文中包括所丢失媒体数据的帧序列号和包序列号。

所述重传请求报文基于UDP协议进行传输，以下示例性的给出重传请求报文净荷格式的一种定义，如下表所示：

其中：

Number：4字节，本次请求的媒体数据分片的数量；

Frame Sequence：4字节，所请求的媒体数据分片所属帧的序列号；

Packet Sequence：4字节，所请求的媒体数据分配在所属帧内的包序列号；

可以看出，媒体平台20发送一个重传请求报文，可同时请求多个丢失的媒体数据分片。

编码设备10中的重传请求报文接收模块14用于接收媒体平20台发送的重传请求报文，媒体数据发送模块12根据重传请求报文中的帧序列号和包序列号从发送缓存13中查找相应的媒体数据，如果找到，则将所述相应的媒体数据封装成UDP报文发送给媒体平台20；否则，不对该重传请求报文进行响应。

其中，媒体平台20在接收到媒体数据后，还判断是否需要进行转发处理，若是，则通过媒体数据转发模块25将所述接收到的媒体数据转发给解码设备30。媒体平台20是否需要对媒体数据进行转发，可以由媒体平台20和解码设备30之间通过控制信令交互来确定。

解码设备30用于接收媒体平台20转发的媒体数据，对媒体数据进行解码处理后输出模拟图像到显示设备(如监视器)上。

在本发明实施例的媒体数据处理***中，编码设备10和媒体平台20之间基于UDP报文进行媒体数据的传输，保证了实况图像的低时延；根据帧序列号和包序列号对媒体数据进行标识和重传，不论媒体数据使用RTP over UDP还是直接使用UDP进行封装，都可以实现可靠录像，且报文封装格式完全透明。

在本发明另一实施例中，编码设备10中的媒体数据发送模块12还对需要进行重传的媒体数据设置重传标记，然后再将设置有重传标记的媒体数据封装成UDP报文后发送给媒体平台20。重传媒体数据的标识方法可根据报文的封装格式自由设定，比如媒体数据使用RTP格式封装时，设置RTP扩展字段中的第一个字节为0×5。

相应地，媒体平台20中的媒体数据转发模块25还判断媒体数据接收模块21接收到的媒体数据是否包含重传标记，若是，不对该包含重传标记的媒体数据进行转发。通过使用特殊的标记来区分正常媒体数据和重传媒体数据，在实现媒体数据重传功能的同时，能够保证解码设备30不会接收到重传的媒体数据(在实况转播时，该重传的媒体数据为无效数据)。

在本发明又一实施例中，媒体平台20中的录像文件生成模块23还判断接收缓存22是否达到预设的缓存上限(例如，70％)，若是，则不论接收缓存22中最老帧/帧组的媒体数据是否完整，立即将接收缓存22中的媒体数据写入录像文件，以释放缓存空间来接收新的媒体数据，避免了重传机制无限占用媒体平台20的内存资源。

请参照图3，编码设备的具体工作流程如下：

步骤301、编码设备启动后，分配发送缓存区；

步骤302、判断是否有新的媒体数据生成以及是否收到重传请求报文，在有新的媒体数据生成时，进入步骤303，在收到重传请求报文时，进入步骤309；

步骤303、对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号；

步骤304、将分片的媒体数据封装成UDP报文发送给媒体平台；

步骤305、判断发送缓存区是否即将满，若是，进入步骤306，否则，进入步骤307；

步骤306、删除发送缓存区中最老的媒体数据；

步骤307、将已发送的媒体数据写入发送缓存区；

步骤308、判断媒体数据是否已全部发送，若是，返回步骤302，否则，返回步骤304；

步骤309、获取媒体平台本次请求的媒体数据分片数量N；

步骤310，判断N是否大于0，若是，进入步骤311，否则，返回步骤302；

步骤311、根据重传请求报文中的帧序列号和包序列号判断对应的媒体数据是否存在于发送缓存区中，若是，进入步骤312，否则，不对该重传请求报文进行响应，返回步骤302；

步骤312、从发送缓存区中取出相应的媒体数据，对所述相应的媒体数据设置重传标记并封装成UDP报文发送给媒体平台；

步骤313、N值减1后返回步骤310。

请参照图4，媒体平台的具体工作流程图如下：

步骤401、媒体平台侦听媒体数据报文；

步骤402、判断是否收到媒体数据报文，若是，进入步骤403；

步骤403、判断所述媒体数据报文是否为重传的数据报文，若是，进入步骤404，否则，进入步骤409；

步骤404、判断是否需要进行录像，若是，进入步骤405，否则，返回步骤402；

步骤405、将接收到的媒体数据写入接收缓存区；

步骤406、判断接收缓存区中最老帧/帧组的媒体数据是否完整，若是，进入步骤407，否则，进入步骤408；

步骤407、将该帧/帧组的媒体数据写入录像文件，并将写入的媒体数据从接收缓存区中删除后返回步骤402；

步骤408、发送重传请求报文到编码设备，返回步骤402；

步骤409、判断是否需要转发给解码设备，若是，进入步骤410，否则，进入步骤404；

步骤410、将所述接收到的媒体数据转发给解码设备，进入步骤404。

在本发明实施例的***和方法中，媒体数据基于UDP协议进行传输，并根据帧序列号和包序列号对媒体数据进行标识和重传，在保证实况图像的低延时的同时，提高了录像的可靠性。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神范围，其均应涵盖在本发明的权利要求范围当中。

Claims (17)

1.一种媒体数据处理方法，其特征在于，包括如下步骤：

A1、编码设备对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号；

A2、编码设备将分片的媒体数据封装成UDP报文发送给媒体平台，并将已发送的媒体数据写入发送缓存区；

A3、编码设备接收媒体平台发送的重传请求报文，根据重传请求报文中的帧序列号和包序列号，从发送缓存区中取出相应的媒体数据封装成UDP报文发送给媒体平台。

2.如权利要求1所述的媒体数据处理方法，其特征在于：

步骤A2中，编码设备在将已发送的媒体数据写入发送缓存区前，还判断发送缓存区是否即将满，若是，删除发送缓存区中最老的媒体数据后，再将所述已发送的媒体数据写入发送缓存区。

3.如权利要求1所述的媒体数据处理方法，其特征在于：

步骤A3中，编码设备在接收到媒体平台发送的重传请求报文后，还判断重传请求报文中的帧序列号和包序列号对应的媒体数据是否存在于发送缓存区中，若所述对应的媒体数据不存在于发送缓存区中，则不对该重传请求报文进行响应。

4.如权利要求1所述的媒体数据处理方法，其特征在于：

步骤A3中，编码设备在进行所述UDP报文封装前，还对所述相应的媒体数据设置重传标记。

5.一种媒体数据处理方法，其特征在于，包括如下步骤：

B1、媒体平台接收编码设备发送的媒体数据，并将接收到的媒体数据写入接收缓存区；

B2、媒体平台判断接收缓存区中最老帧/帧组的媒体数据是否完整，若是，将该帧/帧组的媒体数据写入录像文件，否则，发送重传请求报文到编码设备，所述重传请求报文中包括所丢失媒体数据的帧序列号和包序列号。

6.如权利要求5所述的媒体数据处理方法，其特征在于，步骤B1之后还包括：

媒体平台判断接收缓存区是否达到预设的缓存上限，若是，直接将接收缓存区中的媒体数据写入录像文件。

7.如权利要求5或6所述的媒体数据处理方法，其特征在于：

媒体平台将接收缓存区中的媒体数据写入录像文件后，还将写入的媒体数据从接收缓存区中删除。

8.如权利要求5所述的媒体数据处理方法，其特征在于：

步骤B1中，媒体平台在接收到编码设备发送的媒体数据后，还将所述接收到的媒体数据转发给解码设备。

9.如权利要求8所述的媒体数据处理方法，其特征在于：

步骤B1中，媒体平台在接收到编码设备发送的媒体数据后，还判断所述接收到的媒体数据是否包含重传标记，若是，不对该包含重传标记的媒体数据进行转发。

10.一种编码设备，其特征在于，包括，媒体数据分片模块、媒体数据发送模块、发送缓存和重传请求报文接收模块，其中：

所述媒体数据分片模块，用于对媒体数据进行分片，为分片的媒体数据分配帧序列号和包序列号；

所述媒体数据发送模块，用于将分片的媒体数据封装成UDP报文发送给媒体平台，并将已发送的媒体数据写入发送缓存，以及根据重传请求报文中的帧序列号和包序列号，从发送缓存中取出相应的媒体数据封装成UDP报文发送给媒体平台；

所述重传请求报文接收模块，用于接收媒体平台发送的包括所丢失媒体数据的帧序列号和包序列号的重传请求报文。

11.如权利要求10所述的编码设备，其特征在于：

所述媒体数据发送模块在将已发送的媒体数据写入发送缓存前，还判断发送缓存是否即将满，若是，删除发送缓存中最老的媒体数据后，再将所述已发送的媒体数据写入发送缓存。

12.如权利要求10所述的编码设备，其特征在于：

所述媒体数据发送模块在进行所述UDP报文封装前，还对所述相应的媒体数据设置重传标记。

13.一种媒体平台，其特征在于，包括，媒体数据接收模块、接收缓存、录像文件生成模块和重传请求报文发送模块，其中：

所述媒体数据接收模块，用于接收编码设备发送的媒体数据，并将接收到的媒体数据写入接收缓存；

所述录像文件生成模块，用于在确定接收缓存中最老帧/帧组的媒体数据完整时，将该帧/帧组的媒体数据写入录像文件；

所述重传请求报文发送模块，用于在确定接收缓存中最老帧/帧组的媒体数据不完整时，发送重传请求报文到编码设备，所述重传请求报文中包括所丢失媒体数据的帧序列号和包序列号。

14.如权利要求13所述的媒体平台，其特征在于：

所述录像文件生成模块，还用于判断接收缓存是否达到预设的缓存上限，若是，直接将接收缓存中的媒体数据写入录像文件。

15.如权利要求13或14所述的媒体平台，其特征在于：

所述录像文件生成模块将接收缓存中的媒体数据写入录像文件后，还将写入的媒体数据从接收缓存中删除。

16.如权利要求13所述的媒体平台，其特征在于，还包括媒体数据转发模块：

所述媒体数据转发模块，用于将媒体数据接收模块接收到的媒体数据转发给解码设备。

17.如权利要求16所述的媒体平台，其特征在于：

所述媒体数据转发模块还判断所述接收到的媒体数据是否包含重传标记，若是，不对该包含重传标记的媒体数据进行转发。

Images