CN102595199A - 一种流媒体数据包的封装、传输方法及流媒体处理装置 - Google Patents

一种流媒体数据包的封装、传输方法及流媒体处理装置 Download PDF

Info

Publication number
CN102595199A
CN102595199A CN2011100046834A CN201110004683A CN102595199A CN 102595199 A CN102595199 A CN 102595199A CN 2011100046834 A CN2011100046834 A CN 2011100046834A CN 201110004683 A CN201110004683 A CN 201110004683A CN 102595199 A CN102595199 A CN 102595199A
Authority
CN
China
Prior art keywords
packet
code stream
media
data packet
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100046834A
Other languages
English (en)
Inventor
刘继年
李竹平
王芳
孙健
赵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2011100046834A priority Critical patent/CN102595199A/zh
Priority to PCT/CN2011/081273 priority patent/WO2012094916A1/zh
Publication of CN102595199A publication Critical patent/CN102595199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/326—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the transport layer [OSI layer 4]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种流媒体数据包的封装、传输方法及流媒体处理装置，在本发明中，发送端对数据包进行封装，其中，针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中；所述发送端将每个封装后的数据包通过同一个UDP通道发送给一个或多个接收端。本发明能够使多路媒体源在同一个UDP/IP网络通道传输，并能提供节目媒体码流提取和组合、丢包补偿等功能，实现了高效、高质量地封装和传输多媒体数据包的目的。

Description

一种流媒体数据包的封装、传输方法及流媒体处理装置
技术领域
本发明涉及多媒体数据传输技术领域，尤其涉及一种流媒体数据包的封装、传输方法及流媒体处理装置。
背景技术
随着无线3G，4G的数据传输带宽发展以及固网的高带宽接入，多媒体传输技术得到了广泛的应用，对音频、视频、字幕或动画等多媒体内容进行实时传送的流媒体传输技术应运而生。
流媒体服务器把音频、视频、字幕或动画等媒体内容打包为媒体流，媒体流以分组的形式在网络上进行实时连续传输，客户端不必等待媒体内容全部下载完毕，只需延迟很短时间就可以开始播放，媒体流边传输边播放直到媒体内容播放完毕或客户端中止操作。应用流媒体传输技术，可以显著缩短媒体播放等待时间、降低客户端缓存要求。
但是现有的流媒体传输协议存在一些不足之处，比如，标准组织IETF（Internet Engineering Task Force，互联网工程任务组）的RTP（Real-time Transport protocol，实时传输协议），无法直接做到较好的多种媒体同步功能和媒体信息标记功能；标准组织ISO（International Organization for Standardization，国际标准化组织）的MPEG-2（Moving Pictures Experts Group，运动图像专家组） TS（Transport Stream，传输流）标准则无法做到高效的网络传输。
发明内容
本发明要解决的技术问题提出一种流媒体数据包的封装、传输方法及流媒体处理装置，以保证多媒体传输的高效性以及增加用户体验质量。
为了解决上述问题，本发明提供一种流媒体数据包的封装方法，包括： 
针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中。
优选地，上述封装方法还包括： 
针对媒体码流的每个数据包：按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中。
优选地，上述封装方法还包括： 
针对媒体码流的每个数据包：按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
优选地，上述封装方法具有以下特点： 
若所述数据包为视频媒体码流的数据包，则所述媒体码流关键信息包括如下信息中的一种或多种：可扩展视频编码（SVC）属性和依赖关系、多视点视频编码（MVC）角度信息、视频帧的相关关键信息；
若所述数据包为音频码流的数据包，则所述媒体码流关键信息包括媒体码流的语种信息；
若所述数据包为字幕码流的数据包，则所述媒体码流关键信息包括媒体码流的字幕语音信息。
优选地，上述封装方法具有以下特点： 
所述视频帧的相关关键信息包括视频帧的相关帧信息和帧数据边界。
为了解决上述问题，本发明提供一种流媒体传输的方法，包括： 
发送端对数据包进行封装，其中，针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中；
所述发送端将每个封装后的数据包通过同一个用户数据包协议（UDP）通道发送给一个或多个接收端。
优选地，上述传输方法还包括： 
所述发送端针对媒体码流的每个数据包，按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中。
优选地，上述传输方法还包括： 
所述发送端针对媒体码流的每个数据包，按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
优选地，上述传输方法具有以下特点： 
若所述数据包为视频媒体码流的数据包，则所述媒体码流关键信息包括如下信息中的一种或多种：SVC属性和依赖关系、MVC角度信息、视频帧的相关关键信息；
若所述数据包为音频码流的数据包，则所述媒体码流关键信息包括媒体码流的语种信息；
若所述数据包为字幕码流的数据包，则所述媒体码流关键信息包括媒体码流的字幕语音信息。
优选地，上述传输方法具有以下特点： 
所述视频帧的相关关键信息包括视频帧的相关帧信息和帧数据边界。
优选地，上述传输方法具有以下特点：
在所述发送端将每个封装后的数据包通过同一个UDP通道发送给一个或多个接收端的步骤中，
所述发送端将一个以上封装后的数据包组合成大的数据包发送给接收端。
优选地，上述传输方法还包括： 
所述接收端接收到发送端发送的数据包后，根据数据包的数据包头中的媒体码流标识和媒体码流关键信息，对媒体码流进行分拣，选择需要的媒体码流进行转发或播放。
优选地，上述传输方法还包括： 
接收端从所述发送端直接或间接接收到数据包后，则根据数据包的数据包头中的媒体码流标识和数据包序号判断是否有丢包，如果有丢包，则从保存有相应媒体码流的服务器获取丢失的数据包。
优选地，上述传输方法还包括： 
所述接收端从所述发送端直接或间接接收到数据包后，根据数据包的数据包头中的时钟参考标识进行多路媒体码流的同步。
为了解决上述问题，本发明提供一种流媒体处理装置，包括封装模块，其中， 
所述封装模块用于对数据包进行封装，其中，针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中。
优选地，上述装置具有以下特点： 
所述封装模块进一步用于针对媒体码流的每个数据包：按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中；按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
优选地，上述装置还包括发送模块， 
所述发送模块用于将所述封装模块输出的每个封装后的数据包通过同一个UDP通道发送给一个或多个接收端。
 
本发明提出了高效，高质量的封装和传输多媒体数据包方式，具有以下优点：
1、封装后的数据包可以直接承载在UDP（User Datagram Protocol，用户数据包协议），TCP（Transmission Control Protocol，传输控制协议）等传输层协议上进行传输；
2、封装后的数据包也可以承载在RTP，HTTP（HyperText Transfer Protocol，超文本传输协议）等应用层协议上进行传输。
3、在任何传输承载方式上，该封装后的数据包都可以得到高效的数据传输；
4、在任何传输承载方式上，该封装后的数据包可以提供丢包补偿信息，也可以保证更好的多路码流同步效果；
5、在任何传输承载方式上，该封装后的数据包中包含媒体码流关键信息，在应用层次和设备层次可以根据该信息进行应用扩展。
附图说明
图1为本发明实施例的数据包结构示意图；
图2为本发明应用示例的数据包传输和应用示意图。
具体实施方式
面临当前多媒体传送的应用爆发式增加，为了保证多媒体传输的高效性以及增加用户体验质量，本发明提出了一种高效，高质量的封装和传输多媒体数据包方式。
具体地，可包括如下步骤：
步骤1，发送端将每个媒体码流划分成一个以上的数据包（媒体码流数据放入数据负载部分，如图1所示）。
步骤2，针对每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中。
可以通过媒体码流标识字段来区分不同类型的媒体类型包，例如，视频，音频，字幕，多角度视频的不同角度（MVC），可扩展视频的不同基本层和扩展层（SVC）。
另外，可选地，所述发送端可针对每个数据包，按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中，以及，按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
若所述数据包为视频媒体码流的数据包，则所述媒体码流关键信息可包括如下信息中的一种或多种：SVC（Scalable Video Coding，可扩展视频编码）属性和依赖关系、MVC（multi-view coding，多视点视频编码）角度信息、视频帧的相关关键信息；
其中，所述视频帧的相关关键信息可包括视频帧的相关帧信息和帧数据边界。
若所述数据包为音频码流的数据包，则所述媒体码流关键信息包括媒体码流的语种信息；
若所述数据包为字幕码流的数据包，则所述媒体码流关键信息包括媒体码流的字幕语音信息。
步骤3，发送端将封装后的每个数据包通过同一个UDP/IP通道发送给一个或多个接收端。
由于每个媒体类型的数据包可以通过媒体码流标识字段进行区分，所以，可以在UDP传输通道中采用一个端口资源通道进行传输，以保证：a、网络层端口资源的节省使用；b、媒体信息的同步保证。
另外，由于某些媒体数据量很少，例如，字幕，音频等，对于此种数据量较小的媒体，其封装时可以封装为较小的数据包，当该较小包在IP网络上传输时，可以由多个较小的数据包组合成一个大的数据包进行传输。
步骤4，接收端接收到发送端发送的数据包后，可根据数据包的数据包头中的媒体码流标识和媒体码流关键信息，对媒体码流进行分拣，选择需要的媒体码流进行转发或播放。
比如，根据不同的应用，媒体服务器接收到数据包后，可以根据不同媒体类型的标识字段进行选择传输。
另外，接收端从所述发送端直接或间接接收到数据包后，可根据数据包的数据包头中的媒体码流标识和数据包序号判断是否有丢包，如果有丢包，则从保存有相应媒体码流的服务器获取丢失的数据包。以及，可根据数据包的数据包头中的时钟参考标识进行多路媒体码流的同步。
下面对数据包的封装结构进一步说明：
如图1所示，封装后的数据包包括数据包头和数据负载。其中，数据包头可以扩展长度，包含多个字段。在本文中，定义了一些主要的关键字段，但不限于此，可以进一步扩展。
1、数据包格式负载长度标识
该字段标识该数据包的总长度，包含数据包头。该表示方法有助于应用层更为明确获得整体的数据包实际长度，而不仅仅是负载的长度字段。该字段定义的数据包长度为可变，应用层为了方便应用和传输设备，可以自行定义一组经验值或者通用值进行使用。该字段在多媒体应用中主要包含如下的应用优势：可以提升传输效率，可以灵活配置包长度。该字段可以采用8位以及8位以上进行定义。
2、媒体码流标识
该字段标识不同的媒体源类型；该标识字段可以采用4位以及4位以上进行标识，例如，定义8位，则可以定义256个不同的媒体类型，定义16位，则可以实现65536个不同的媒体类型。该字段在多媒体应用中主要包含如下的应用优势：由于存在该字段进行媒体源类型区分，所以，一路节目的多种媒体类型可以在同一个IP通道的同一个资源端口中传输，可以达到比较好的同步效果。
3、数据包序号
该字段标识该数据包在某种媒体类型中的包序号，该序号按照确定媒体类型源进行排序，序号采用8位以及8位以上进行标识，例如，定义8位，则可以标识256个包序号的循环排序，定义16位，则可以实现65536个包序号的循环排序。该字段在多媒体应用中主要包含如下的应用优势：根据包序号的连续性，可以比较容易在终端侧判断网络丢包，进而比较容易实现重传效果，提升体验质量。
4、时钟参考标识
该字段可以进行精确的编解码时钟定义，该时钟可以作为各个数据包编码同步的精确时钟参考；该时钟参考标识位数至少定义为32位，以及定义到32位以上。该字段在多媒体应用中主要包含如下的应用优势：该字段可以承载各路媒体源精确的时钟参考，以保证客户端进行精确的解码和同步。
5、媒体流关键信息标识字段
该字段可以采用8位以及8位以上位数进行表示，描述媒体码流的关键信息，该字段说明参见图1。
对于视频媒体码流，可以定义描述该码流的SVC属性和依赖关系，以及MVC角度信息，同时可以增加字段扩展视频帧的相关关键信息。
对于音频码流，可以定义描述该码流的语种信息；
对于字幕码流，可以定义描述该码流的字幕语言信息；
其中，视频帧的相关关键信息，可以进一步描述视频帧的相关帧信息和帧数据边界，以更好的实现将媒体关键信息提取到主要传输字段中，以更容易达到更为完整的多媒体应用。
通过该字段，可标识出视频媒体帧的如下信息：IDR_Start（IDR帧的起始）；IDR_Middle（IDR帧的中间）；IDR_end（IDR帧的结束）；ODR_Start（ODR帧的起始）；ODR_Middle（ODR帧的中间）；ODR_End（ODR帧的结束）；GDR_Start（GDR帧的起始）；GDR_Middle（GDR帧的中间）；GDR_End（GDR帧的结束）；B_Start（B帧的起始）；B_Middle（B帧的中间）；B_End（B帧的结束）；P_Start（P帧的起始）；P_Middle（P帧的中间）；P_End（P帧的结束）。
字段在多媒体应用中主要包含如下的应用优势：1、对于客户端的随机接入，可以方便的找到相关视频帧；2、可以方便剥离出关键帧进行多媒体应用；3、网络设备可以采用这些信息进行数据包缓冲，满足更多应用。
 
如图2所示，为利用此种数据包格式进行主要业务的一个全过程，将其作为一具体的应用示例进一步说明本发明。
首先，多媒体编码器进行采集视频源以及音频源，经过一定处理，形成节目码流，该节目码流可以考虑一个比较复杂模型进行说明，我们假设，该节目码流包含两个角度的视频码流，其中一个角度的视频码流是采用SVC进行编码的码流，我们称之为A视频码流，即A视频码流包含一个基本层次码流，称之为A视频基本层码流；以及一个增强层码流，称之为A视频增强层码流；同时，另外一路视频码流称之为B视频码流；同时包含英语音频码流和中文音频码流和一个字幕层码流。
综上所示，该节目码流一共包含六路媒体流，分别是A视频基本层码流，A视频增强层码流，B视频码流，英语音频码流，中文音频码流和字幕层码流；该六路媒体流根据前述说明，进行封装，封装方式必要字段按照上述说明进行，并且由多媒体编码器输出到IP网络上；此过程对应说明书附图中的箭头A标示。
下面对本例实现的功能或应用分别描述：
一、多路媒体源在同一个UDP/IP网络通道（同一个网络端口资源）传输。
该功能实现主要依靠该封装格式中的媒体码流标识字段实现，其中，封装和传输的步骤如下：
第一步，多媒体编码器采集相应的视音频，字幕媒体，按照所述发明进行封装：
按照数据包的媒体类型填写媒体码流标识字段，按照数据包的序号填写数据包序号字段，按照数据包的总长度填写数据包格式负载长度标识，以及，按照各个媒体码流的编码时间填写时钟参考标识字段，以及根据各个媒体码流的关键信息填写媒体流关键信息标识字段。
第二步，将每个媒体流数据包（实施例包含六个媒体流）按照确定好的顺序和UDP端口资源，从UDP协议的一个确定发送端口发送到一个确定的接收端口。
该节目码流在网络上的传输方式是一路节目的多路媒体在一个UDP通道确定的端口资源内传送。可以根据图2中的箭头B描述所示。
 
二、节目媒体码流提取和组合功能      
该功能实现主要依靠媒体码流标识字段和媒体流关键信息标识字段实现；以图2中媒体服务器进行说明：
按照图2中的箭头B标识过程，节目的多路媒体码流输出到媒体服务器。媒体服务器可以根据上述数据包格式，按照应用需求进行分拣，存储，缓冲。
比如，媒体服务器可以根据媒体码流标识字段和媒体流关键信息标识字段进行码流的分拣，然后组合成为一路用户需求的码流，发送给媒体播放器2进行播放解码，码流传输如图2中的F和G箭头标识；如果应用需要切换一路媒体流，例如更换A视频基本层码流为B视频码流；或者增加B视频码流；都可以通过H箭头标识进行反馈，由媒体服务器进行对应的更换码流或者增加对应码流发送。
 
三、丢包补偿功能实现
该功能实现主要依靠媒体码流标识字段和数据包序号字段实现；下面的以图2中媒体播放器1和媒体服务器进行说明：
第一步，媒体播放器1可以接收多媒体编码器输出的原始码流（如箭头C标识），可以根据媒体码流中的媒体码流标识字段和媒体流关键信息标识字段选择用户所需要的实际码流。
第二步，媒体播放器1可以根据接收到的媒体码流中的媒体码流标识字段和数据包序号进行网络丢包检测，发生丢包时，通过图中的箭头D标识向媒体服务器进行反馈，通过图中的箭头E标识由媒体服务器将缓冲的数据包进行补偿发送，提高用户体验质量。
 
四、传输资源充分利用
实现该功能主要依靠数据包格式负载长度标识字段实现，该数据包格式中的该字段为可变长定义，即每个数据包的长度是不同的。
一般地，对于视频码流，由于视频数据较多，可以确定该数据包长度接近于网络设备的MTU（Maximum Transmission Unit，最大传输单元）值；
一般地，对于音频码流或者字幕码流，由于类似媒体码流数据较少，可以为较小值的数据包长度；
不同长度的数据包，可以组合在一起承载在一个UDP传输包中进行传输。该种方法可以节省网络资源，使传输资源得到充分利用。
 
五、媒体流关键信息标识字段中的视频帧的相关关键信息应用
实现如下具体功能主要依靠媒体流关键信息标识字段中的视频帧的相关关键信息，下面对应用功能详细进行说明：
第一种应用，在码流传输数据包中包含I帧相关标识（IDR（Instantaneous Decoding Refresh，即时解码刷新帧），ODR（Open-GOP Decoding Refresh，开启图像组解码刷新帧），GDR（Gradual Decoding Refresh，渐进解码刷新帧））可以使相关应用层设备识别I帧，并且进行应用处理，比如，可以对I帧进行缓冲，用于频道快速切换（快速I帧发送或播放）；
第二种应用，在码流传输数据包中包含I帧相关标识（IDR，ODR，GDR）可以使相关应用层设备识别I帧，并且进行应用处理，比如可以根据I帧标识建立索引，用于特技模式实现；
第三种应用，在码流传输数据包中包含I帧相关标识（IDR，ODR，GDR）可以使相关应用层设备识别I帧，并且进行应用处理，比如，可以剥离存储，用于关键帧数据独立存储等。
第四种应用，在码流传输数据包中包含B帧相关标识，可以在网络资源不足时由网络设备直接不转发B帧，节省网络资源，达到更为多样的应用。
媒体流关键信息标识字段中的视频帧的相关关键信息相关的应用不能穷举。
 
六、时钟参考应用
实现如下具体功能主要依靠数据包格式中的时钟参考字段结合其他字段进行应用，下面对应用功能详细进行说明：
第一种应用，根据数据包中的该时钟参考和解析，在客户端可以完整完成多路媒体类型的严格同步。
第二种应用，该时钟参考可以作为播放器的解码恢复时钟参考。
 
相应地，本发明实施例的流媒体处理装置，包括封装模块和发送模块，其中，
所述封装模块用于对数据包进行封装，其中，针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中。
可选地，所述封装模块可进一步用于针对媒体码流的每个数据包：按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中；按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
所述发送模块用于将所述封装模块输出的每个封装后的数据包通过同一个UDP通道发送给一个或多个接收端。
 
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种流媒体数据包的封装方法，包括： 
针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中。
2.如权利要求1所述的方法，其特征在于，所述方法还包括： 
针对媒体码流的每个数据包：按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括： 
针对媒体码流的每个数据包：按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
4.如权利要求3所述的方法，其特征在于， 
若所述数据包为视频媒体码流的数据包，则所述媒体码流关键信息包括如下信息中的一种或多种：可扩展视频编码（SVC）属性和依赖关系、多视点视频编码（MVC）角度信息、视频帧的相关关键信息；
若所述数据包为音频码流的数据包，则所述媒体码流关键信息包括媒体码流的语种信息；
若所述数据包为字幕码流的数据包，则所述媒体码流关键信息包括媒体码流的字幕语音信息。
5.如权利要求4所述的方法，其特征在于， 
所述视频帧的相关关键信息包括视频帧的相关帧信息和帧数据边界。
6.一种流媒体传输的方法，包括： 
发送端对数据包进行封装，其中，针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中；
所述发送端将每个封装后的数据包通过同一个用户数据包协议（UDP）通道发送给一个或多个接收端。
7.如权利要求6所述的方法，其特征在于，所述方法还包括： 
所述发送端针对媒体码流的每个数据包，按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中。
8.如权利要求6或7所述的方法，其特征在于，所述方法还包括： 
所述发送端针对媒体码流的每个数据包，按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
9.如权利要求8所述的方法，其特征在于， 
若所述数据包为视频媒体码流的数据包，则所述媒体码流关键信息包括如下信息中的一种或多种：SVC属性和依赖关系、MVC角度信息、视频帧的相关关键信息；
若所述数据包为音频码流的数据包，则所述媒体码流关键信息包括媒体码流的语种信息；
若所述数据包为字幕码流的数据包，则所述媒体码流关键信息包括媒体码流的字幕语音信息。
10.如权利要求9所述的方法，其特征在于， 
所述视频帧的相关关键信息包括视频帧的相关帧信息和帧数据边界。
11.如权利要求6所述的方法，其特征在于，
在所述发送端将每个封装后的数据包通过同一个UDP通道发送给一个或多个接收端的步骤中，
所述发送端将一个以上封装后的数据包组合成大的数据包发送给接收端。
12.如权利要求8所述的方法，其特征在于，所述方法还包括： 
所述接收端接收到发送端发送的数据包后，根据数据包的数据包头中的媒体码流标识和媒体码流关键信息，对媒体码流进行分拣，选择需要的媒体码流进行转发或播放。
13.如权利要求6所述的方法，其特征在于，所述方法还包括： 
接收端从所述发送端直接或间接接收到数据包后，则根据数据包的数据包头中的媒体码流标识和数据包序号判断是否有丢包，如果有丢包，则从保存有相应媒体码流的服务器获取丢失的数据包。
14.如权利要求7所述的方法，其特征在于，所述方法还包括： 
所述接收端从所述发送端直接或间接接收到数据包后，根据数据包的数据包头中的时钟参考标识进行多路媒体码流的同步。
15.一种流媒体处理装置，其特征在于，包括封装模块，其中， 
所述封装模块用于对数据包进行封装，其中，针对媒体码流的每个数据包：按照该数据包的媒体类型，将媒体码流标识写入该数据包的数据包头中；按照该数据包在该媒体码流标识对应的媒体码流中的序号，将数据包序号写入该数据包的数据包头中；按照该数据包的总长度，将数据包格式负载长度标识写入该数据包的数据包头中。
16.如权利要求15所述的装置，其特征在于， 
所述封装模块进一步用于针对媒体码流的每个数据包：按照该数据包的媒体码流编码时间，将时钟参考标识写入该数据包的数据包头中；按照该数据包的媒体码流关键信息，将媒体流关键信息标识写入该数据包的数据包头中。
17.如权利要求15或16所述的装置，其特征在于，所述装置还包括发送模块， 
所述发送模块用于将所述封装模块输出的每个封装后的数据包通过同一个UDP通道发送给一个或多个接收端。
CN2011100046834A 2011-01-11 2011-01-11 一种流媒体数据包的封装、传输方法及流媒体处理装置 Pending CN102595199A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011100046834A CN102595199A (zh) 2011-01-11 2011-01-11 一种流媒体数据包的封装、传输方法及流媒体处理装置
PCT/CN2011/081273 WO2012094916A1 (zh) 2011-01-11 2011-10-25 一种流媒体数据包的封装、传输方法及流媒体处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100046834A CN102595199A (zh) 2011-01-11 2011-01-11 一种流媒体数据包的封装、传输方法及流媒体处理装置

Publications (1)

Publication Number Publication Date
CN102595199A true CN102595199A (zh) 2012-07-18

Family

ID=46483337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100046834A Pending CN102595199A (zh) 2011-01-11 2011-01-11 一种流媒体数据包的封装、传输方法及流媒体处理装置

Country Status (2)

Country Link
CN (1) CN102595199A (zh)
WO (1) WO2012094916A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917276A (zh) * 2012-11-12 2013-02-06 武汉市烽视威科技有限公司 一种应用于流媒体服务的音视频交错封装方法
CN103905922A (zh) * 2014-03-18 2014-07-02 深圳市云宙多媒体技术有限公司 一种基于http协议的流媒体协议封装方法及装置
CN104717257A (zh) * 2013-12-13 2015-06-17 腾讯科技（深圳）有限公司 传输数据报文的方法及装置
CN104811749A (zh) * 2015-03-18 2015-07-29 天脉聚源(北京)传媒科技有限公司 一种多媒体数据传输方法及装置
CN106060061A (zh) * 2016-06-22 2016-10-26 新奥特（北京）视频技术有限公司 一种流媒体交互的实现方法和装置
CN108322774A (zh) * 2018-03-01 2018-07-24 郑州云海信息技术有限公司 一种视频数据的传输方法、装置及介质
CN108989314A (zh) * 2018-07-20 2018-12-11 北京木瓜移动科技股份有限公司 一种流式数据传输、处理方法及装置
CN109842465A (zh) * 2017-11-24 2019-06-04 阿里巴巴集团控股有限公司 数据传输方法、数据端设备
CN110213618A (zh) * 2013-11-22 2019-09-06 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置及接收装置
CN110505038A (zh) * 2019-08-30 2019-11-26 苏州浪潮智能科技有限公司 一种数据传输方法及相关装置
CN111541916A (zh) * 2020-04-17 2020-08-14 海信视像科技股份有限公司 码流传输方法及设备
CN112422550A (zh) * 2020-11-16 2021-02-26 成都卓元科技有限公司 一种基于视频传输板卡的网络安全传输***
CN112653691A (zh) * 2020-12-18 2021-04-13 脸萌有限公司 一种数据处理方法、装置、设备及存储介质
CN112702353A (zh) * 2020-12-28 2021-04-23 咪咕文化科技有限公司 流媒体传输方法、电子设备和存储介质
CN113196720A (zh) * 2021-03-22 2021-07-30 华为技术有限公司 数据处理方法及传输设备、数据处理***
CN113301051A (zh) * 2021-05-27 2021-08-24 西安万像电子科技有限公司 数据的传输方法、装置、计算机存储介质和处理器
CN114125497A (zh) * 2021-11-19 2022-03-01 中国电信集团***集成有限责任公司 Sfu架构及其媒体传输方法及电子设备
CN114205429A (zh) * 2021-12-14 2022-03-18 深圳壹账通智能科技有限公司 基于udp协议的语音包处理方法、***、设备及存储介质
CN114531606A (zh) * 2022-02-22 2022-05-24 重庆紫光华山智安科技有限公司 封装待传输视频数据生成、视频传输方法、***及设备
WO2022183431A1 (zh) * 2021-03-04 2022-09-09 华为技术有限公司 数据处理方法和设备
CN115278323A (zh) * 2022-06-30 2022-11-01 海信视像科技股份有限公司 一种显示设备、智能设备和数据处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525629B2 (en) 2013-12-13 2016-12-20 Tencent Technology (Shenzhen) Company Limited Method and apparatus for transmitting data packets
CN104168185B (zh) * 2014-08-26 2019-06-21 高新兴物联科技有限公司 一种传输采集数据的方法及其装置
CN111279694A (zh) * 2018-11-28 2020-06-12 深圳市大疆创新科技有限公司 Gdr码流编码方法、终端设备、机器可读存储介质
CN113992980B (zh) * 2020-07-09 2023-05-26 杭州海康威视数字技术股份有限公司 攻击码流的生成方法、装置及设备
CN114339349A (zh) * 2021-12-10 2022-04-12 海信视像科技股份有限公司 一种显示设备、数据传输方法及存储介质
CN118118561A (zh) * 2022-11-29 2024-05-31 华为技术有限公司 传输层数据包的封装方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516184A (zh) * 2003-01-10 2004-07-28 华为技术有限公司 一种多媒体数据的处理方法
US7272658B1 (en) * 2003-02-13 2007-09-18 Adobe Systems Incorporated Real-time priority-based media communication
CN101330348A (zh) * 2007-06-19 2008-12-24 中兴通讯股份有限公司 数据封装装置和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1307841C (zh) * 2003-10-29 2007-03-28 中兴通讯股份有限公司 在基站内部传输实时业务数据的方法
CN101272205B (zh) * 2008-05-14 2011-07-13 中兴通讯股份有限公司 一种移动多媒体广播业务参数信息的传输方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516184A (zh) * 2003-01-10 2004-07-28 华为技术有限公司 一种多媒体数据的处理方法
US7272658B1 (en) * 2003-02-13 2007-09-18 Adobe Systems Incorporated Real-time priority-based media communication
CN101330348A (zh) * 2007-06-19 2008-12-24 中兴通讯股份有限公司 数据封装装置和方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917276B (zh) * 2012-11-12 2016-02-24 武汉市烽视威科技有限公司 一种应用于流媒体服务的音视频交错封装方法
CN102917276A (zh) * 2012-11-12 2013-02-06 武汉市烽视威科技有限公司 一种应用于流媒体服务的音视频交错封装方法
CN110213618B (zh) * 2013-11-22 2021-08-17 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置及接收装置
CN110213618A (zh) * 2013-11-22 2019-09-06 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置及接收装置
CN104717257B (zh) * 2013-12-13 2018-09-28 腾讯科技（深圳）有限公司 传输数据报文的方法及装置
CN104717257A (zh) * 2013-12-13 2015-06-17 腾讯科技（深圳）有限公司 传输数据报文的方法及装置
CN103905922A (zh) * 2014-03-18 2014-07-02 深圳市云宙多媒体技术有限公司 一种基于http协议的流媒体协议封装方法及装置
CN103905922B (zh) * 2014-03-18 2017-08-25 深圳市云宙多媒体技术有限公司 一种基于http协议的流媒体协议封装方法及装置
CN104811749A (zh) * 2015-03-18 2015-07-29 天脉聚源(北京)传媒科技有限公司 一种多媒体数据传输方法及装置
CN106060061B (zh) * 2016-06-22 2019-02-22 新奥特（北京）视频技术有限公司 一种流媒体交互的实现方法和装置
CN106060061A (zh) * 2016-06-22 2016-10-26 新奥特（北京）视频技术有限公司 一种流媒体交互的实现方法和装置
CN109842465A (zh) * 2017-11-24 2019-06-04 阿里巴巴集团控股有限公司 数据传输方法、数据端设备
WO2019165789A1 (zh) * 2018-03-01 2019-09-06 郑州云海信息技术有限公司 一种视频数据的传输方法、装置及介质
CN108322774A (zh) * 2018-03-01 2018-07-24 郑州云海信息技术有限公司 一种视频数据的传输方法、装置及介质
CN108989314A (zh) * 2018-07-20 2018-12-11 北京木瓜移动科技股份有限公司 一种流式数据传输、处理方法及装置
CN110505038A (zh) * 2019-08-30 2019-11-26 苏州浪潮智能科技有限公司 一种数据传输方法及相关装置
CN110505038B (zh) * 2019-08-30 2022-03-22 苏州浪潮智能科技有限公司 一种数据传输方法及相关装置
CN111541916B (zh) * 2020-04-17 2022-08-26 海信视像科技股份有限公司 码流传输方法及设备
CN111541916A (zh) * 2020-04-17 2020-08-14 海信视像科技股份有限公司 码流传输方法及设备
CN112422550A (zh) * 2020-11-16 2021-02-26 成都卓元科技有限公司 一种基于视频传输板卡的网络安全传输***
CN112653691A (zh) * 2020-12-18 2021-04-13 脸萌有限公司 一种数据处理方法、装置、设备及存储介质
CN112653691B (zh) * 2020-12-18 2023-04-18 脸萌有限公司 一种数据处理方法、装置、设备及存储介质
CN112702353A (zh) * 2020-12-28 2021-04-23 咪咕文化科技有限公司 流媒体传输方法、电子设备和存储介质
WO2022183431A1 (zh) * 2021-03-04 2022-09-09 华为技术有限公司 数据处理方法和设备
CN113196720A (zh) * 2021-03-22 2021-07-30 华为技术有限公司 数据处理方法及传输设备、数据处理***
CN113301051A (zh) * 2021-05-27 2021-08-24 西安万像电子科技有限公司 数据的传输方法、装置、计算机存储介质和处理器
CN114125497A (zh) * 2021-11-19 2022-03-01 中国电信集团***集成有限责任公司 Sfu架构及其媒体传输方法及电子设备
CN114125497B (zh) * 2021-11-19 2024-05-07 ***数智科技有限公司 Sfu架构及其媒体传输方法及电子设备
CN114205429A (zh) * 2021-12-14 2022-03-18 深圳壹账通智能科技有限公司 基于udp协议的语音包处理方法、***、设备及存储介质
CN114531606A (zh) * 2022-02-22 2022-05-24 重庆紫光华山智安科技有限公司 封装待传输视频数据生成、视频传输方法、***及设备
CN115278323A (zh) * 2022-06-30 2022-11-01 海信视像科技股份有限公司 一种显示设备、智能设备和数据处理方法

Also Published As

Publication number Publication date
WO2012094916A1 (zh) 2012-07-19

Similar Documents

Publication Publication Date Title
CN102595199A (zh) 一种流媒体数据包的封装、传输方法及流媒体处理装置
KR101972951B1 (ko) 오버헤드를 최소화한 헤더를 가지는 패킷 기반의 미디어 데이터 전송 방법
CN108306900B (zh) 用于在多媒体传输***中发送媒体数据的装置
CN108650528B (zh) 用于在多媒体传输***中发送媒体数据的方法和装置
US9635394B2 (en) Method and device for flexible MMT asset transmission and reception
RU2657175C2 (ru) Способ и устройство для инкапсуляции активов медиатранспорта стандарта экспертной группы по движущимся изображениям в международной организации стандартизации базовых медиафайлов
CN100568971C (zh) 一种mpeg-4的传输码流到互联网流媒体联盟流的实时转换方法
CN103947215B (zh) 传送媒体数据的方法和设备、接收媒体数据的设备和方法
US20230035998A1 (en) System and method for data stream fragmentation
US20150181003A1 (en) Method and apparatus for transmitting and receiving packets in hybrid transmission service of mmt
KR20170089863A (ko) 멀티미디어 및 파일 전송을 위한 전송 인터페이스
CN102860021A (zh) 用于传送和接收媒体数据的接口装置和方法
KR20130108198A (ko) Ｍｍｔ 패키지화된 ｓｖｃ 비디오 콘텐츠의 하이브리드 전송 방법 및 수신 방법
CN105144724A (zh) 发送方法
CN101924742B (zh) 媒体传输方法及设备、媒体存储方法及设备
US20150020138A1 (en) Mmt asset structure for supporting random access to systems for transmitting coded media data in heterogeneous networks, and method and apparatus for generating same
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
KR20120084202A (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US11363330B2 (en) Method, apparatus and computer-readable recording medium for transmitting or receiving VPCC data
KR20190018142A (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
CN1972453A (zh) 一种移动多媒体广播***的数据流封装方法
CN106576187B (zh) 发送方法、接收方法、发送装置以及接收装置
CN105900437B (zh) 通信设备、通信数据生成方法和通信数据处理方法
Pourmohammadi et al. Streaming MPEG-4 over IP and Broadcast Networks: DMIF based architectures
TW202032998A (zh) 用於經串流媒體資料之多個解碼器介面

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120718

RJ01 Rejection of invention patent application after publication