CN104394484A - 一种无线实时流媒体传输方法 - Google Patents

一种无线实时流媒体传输方法 Download PDF

Info

Publication number
CN104394484A
CN104394484A CN201410632486.0A CN201410632486A CN104394484A CN 104394484 A CN104394484 A CN 104394484A CN 201410632486 A CN201410632486 A CN 201410632486A CN 104394484 A CN104394484 A CN 104394484A
Authority
CN
China
Prior art keywords
grade
packet loss
frame
transmitting terminal
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410632486.0A
Other languages
English (en)
Inventor
王通
许宏吉
宋敬彬
刘琚
柳玉琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201410632486.0A priority Critical patent/CN104394484A/zh
Publication of CN104394484A publication Critical patent/CN104394484A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405Monitoring of the internal components or processes of the server, e.g. server load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种无线实时流媒体传输方法,通过主动检测无线网络连接速率和接收端反馈的丢包率来确定发送端的发送等级,根据发送等级确定发送的数据内容,当发送等级为最高等级时,发送端发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送端仅发送实时流媒体的关键帧。本发明的无线实时流媒体传输方法可以根据无线网络的网络状态,及时快速的调整发送端的发送等级,发送端根据发送等级的不同实时变更发送内容,保证了网络状态好时接收端可以接收到最完整的视频图像,又保证了在网络状态较差时,接收端可以实时接收到视频图像。

Description

一种无线实时流媒体传输方法
技术领域
本发明涉及一种无线传输技术领域,尤其涉及一种无线实时流媒体传输方法。
背景技术
随着无线网络的发展,在无线移动终端上对基于语音和视频的流媒体服务有很大需求。流媒体数据传输具有高网络带宽、低传输延迟及低延迟抖动的特点,给网络传输带来了巨大挑战,流媒体网络传输已成为网络研究的重点。
无线通信带宽的快速增长,为流媒体传输提供了更好的发展机遇。然而,无线信道具有错误率高以及时变的特性,无线信道的不可靠会导致严重抖动,从而使得保障无线流媒体传输服务质量面临着巨大挑战。
现有技术中无线实时流媒体的数据传输一般是发送端通过RTP/RTCP等协议向接收端发送经过编码之后的图像或者视频数据。但是由于无线网络连接的质量受环境因素的影响大,常常不能提供稳定的网络带宽。因此,如果发送端以恒定的速率发送数据,随着无线网络带宽的变化,则可能造成拥塞丢包。在目前很多的无线实时流媒体传输应用实现中,并没有对流量进行有效控制,缺乏传输质量保证,这样便限制了无线实时流媒体传输的使用场景。
基于上述原因,目前业界提出了多种流量控制方法来提高无线流媒体传输的服务质量、改善其传输效率。例如加增乘减(AIMD)算法,TCP友好速率控制(TFRC,TCP Friendly Rate Control)算法。但是上述算法存在适用性的缺陷:AIMD算法容易使传输速率发生锯齿状波动,不利于提高传输服务质量;而TFRC算法是根据网络资源使用最大化来进行速率调整,忽略了视频流的感知质量,对于实时的视频、音频数据采集传输,如果编码速率不变,单纯降低传输速度,会造成不可接受的时延。
发明内容
本发明实施例提供一种无线实时流媒体传输方法,可以根据无线网络的网络状态,及时快速的调整发送端的发送内容,保证了网络状态好时接收端可以接收到完整的视频图像,又保证了在网络状态较差时,接收端可以实时接收到流畅的视频图像。
本发明提供了一种无线实时流媒体传输方法:发送端实时检测网络连接速率,根据网络连接速率确定发送等级;发送端接收接收端反馈的丢包率,根据所述丢包率修正所述发送等级;发送端根据所述发送等级确定发送的实时流媒体的数据内容,当发送等级为最高等级时,发送端发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送端仅发送实时流媒体的关键帧。
优选的,当丢包率大于预先设定的第一阀值时,发送端降低发送等级;等丢包率小于预先设定的第二阀值时,发送端提高发送等级,所述第一阀值大于或等于第二阀值。
优选的,当发送端在一个预设的时间内未接收到接收端反馈的丢包率时,降低发送等级。
优选的,发送端对预设周期内的丢包率进行加权计算,根据加权计算的结果修正发送等级。
优选的,发送端根据所述丢包率计算出丢包率斜率,根据丢包率斜率修正发送等级。
优选的,当丢包率斜率大于预设的第一斜率时,减低发送等级;当丢包率斜率小于预设的第二斜率时,提高发送等级。
优选的,当所述发送等级为最高等级时,发送端发送实时流媒体的I帧、B帧和P帧;当发送等级为最低等级时,发送端仅发送实时流媒体的I帧。
优选的,所述发送等级分为第一等级、第二等级、第三等级和第四等级,其中第一等级为最高等级,当发送等级为第一等级时,发送端发送实时流媒体的I帧、B帧和P帧;当发送等级为第二等级时,发送端发送实时流媒体的I帧和B帧;当发送等级为第三等级时,发送端发送实时流媒体的I帧和P帧;当发送等级为第四等级时,发送端仅发送实时流媒体的I帧。
另外,本发明还提供了一种视频设备,所述视频设备对当前显示的画面进行视频编码获得实时流媒体,并将所述流媒体通过无线网络发送至接收端,所述视频设备包括发送单元、网络检测单元,所述网络检测单元实时对所述无线网络的网络连接速率进行检测,根据网络连接速率确定发送等级;所述网络检测单元接收所述接收端反馈的丢包率,根据所述丢包率修正所述发送等级;所述发送单元根据所述发送等级确定发送的实时流媒体的数据内容,当发送等级为最高等级时,发送单元发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送单元仅发送实时流媒体的关键帧。。
优选的,当丢包率大于预先设定的第一阀值时,所述网络检测单元降低发送等级;等丢包率小于预先设定的第二阀值时,所述网络检测单元提高发送等级,所述第一阀值大于或等于第二阀值。
优选的,当所述视频设备在一个预设的时间内未接收到接收端反馈的丢包率时,所述网络检测单元降低发送等级。
优选的,所述网络检测单元根据所述丢包率计算出丢包率斜率,根据丢包率斜率修正发送等级。
优选的,当所述发送等级为最高等级时,所述发送单元发送实施媒体流的I帧、B帧和P帧;当发送等级为最低等级时,所述发送单元仅发送实施媒体流的I帧。
根据本发明实施例提供的方法,发送端实时检测网络连接速率,根据网络连接速率确定发送等级,并根据发送等级确定发送的实时流媒体的数据内容:当网络良好时,发送等级较高,此时发送端发送实时媒体流的所有帧,这样就能保证在网络状况良好时,用户能在接收端观看到清晰的图像;而当网络状况较差时,发送等级较低,此时发送端仅发送关键帧,由于帧数减少,不会造成网络拥堵和时延,这样,用户在接收端就能收看到流畅的图像。
 
附图说明
图1为本发明实施例的实时流媒体数据传输方法的示意图。
图2为本发明实施例的视频设备的示意图。
 
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合说明书附图对本发明实施例做详细描述。
图1所示为本发明实施例的一种无线实时流媒体传输方法,该方法包括以下步骤:
步骤102,发送端实时检测网络连接速率,根据网络连接速率确定发送等级;
步骤104,发送端接收接收端反馈的丢包率,根据所述丢包率修正所述发送等级;
步骤106,发送端根据所述发送等级确定发送的实时流媒体的数据内容,当发送等级为最高等级时,发送端发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送端仅发送实时流媒体的关键帧。
其中,发送端可以是传送多媒体内容的各种终端,例如智能手机、平板电脑、笔记本电脑以及电视机等终端。接收端可以是接收多媒体内容的各种终端,例如智能手机、平板电脑、笔记本电脑、投影机以及电视机等终端。
发送等级至少分为两个等级,也可以是三个、四个及四个以上的等级,具体可以根据网络的情况确定。为了说明方便,接下来以发送等级为四个等级对本实施例的具体实现方式进行说明。四个等级分别为第一等级、第二等级、第三等级和第四等级,其中,第一等级为最高等级,以此类推,第四等级为最低等级。
步骤102,发送端实时检测网络连接速率,根据网络连接速率确定发送等级。
具体的,发送端不断的获取当前无线网络连接速率V,然后与需要的发送的流媒体速率Vth进行比较。流媒体速率Vth由如下公式确定:
Vth =(Ra+ Rv)* a
其中,Ra为流媒体的音频比特率;Rv为流媒体的视频比特率;a为修正系数,例如a可以取值为1≤a<1.5,也可以取值为1≤a<1.3,或者1.2≤a<1.6等等,具体取值根据当前网络的RTCP反馈周期以及其它额外开销来确定。
一般情况下,在当前无线网络连接速率V大于需要的发送的流媒体速率Vth时,表明网络状况良好,可以将发送等级定位最高等级或第一等级;而当前无线网络连接速率V小于需要的发送的流媒体速率Vth时,需要根据具体情况对发送等级进行确定。
为了说明和计算方便,下面使用Sendlevel表示根据无线网络状况计算出的发送速率等级,具体的确定方式如下:
1、如果V>Vth,表明网络状况良好,发送速率可以调整到等级1;
2、如果m* Vth<V≤V,说明发送速率应该调整到等级2;
3、如果n* Vth<V≤m* Vth,说明发送速率应该调整到等级3;
4、如果V≤n* Vth,说明发送速率应该调整到等级4。
这里,m和n都是可以预先设定的参数,m≥n。
m的取值范围可以为0.6-0.9或0.5-0.8等,n取值范围为0.2-0.6或0.3-0.5等。具体取值可以根据视频、音频编码比特率以及帧率来确定。
由于在当前对无线网络进行测试之前,发送端也是持续在发送流媒体,也对应一个发送等级,这里将当前的发送等级记为Currentlevel。一般情况下,可以根据步骤102计算出的Sendlevel确定发送等级,不考虑当前的发送等级Currentlevel。本实施例优选的将计算出的Sendlevel与Currentlevel进行比较,如果Currentlevel高于计算出的Sendlevel,则将Currentlevel调整到计算出的Sendlevel。而当Currentlevel低于或等于计算出的Sendlevel时,则保持Currentlevel不变,等待接收端反馈的丢包率来调整Currentlevel。
步骤104,发送端接收接收端反馈的丢包率,根据所述丢包率修正所述发送等级。
具体的,接收端计算出一个周期内的丢包率,然后封装在RR包中,通过RTCP协议发送到发送端;这一状态是周期性不断发送的。
在无线网络环境中,由于无线网络的带宽变化远比有线网络剧烈的多,因此这个时间间隔一般比较短,也就是发送周期相对较小,只有这样才能满足无线网络中实时流媒体的应用;当然,随着无线网络技术的发展,无线网络环境也会不断稳定,因此,这一周期的时间长短可以根据情况调节,当网络状况变化频繁,且变动幅度较大时,减少发送周期可以提高灵敏度。
发送端接收接收端发送来的丢包率信息;这一丢包率信息可以是封装在一个控制包里面,发送端接收这一控制包,然后判断接收到的控制包是否为RR包;如果接受到的是RR包,则通过解析该RR包,提取出丢包率,然后发送端对丢包率进行判断。当网络状况稳定时,网络传输的丢包率都在一个比较固定的范围内,例如万分之一、万分之五、十万分之二等等。而当网络状态变差时,丢包率会增加,反之,当网络状态变好时,丢包率会减少。
本实施例中,发送端对接收到的丢包率进行判断,当丢包率大于预先设定的第一阀值时,发送端降低发送等级;等丢包率小于预先设定的第二阀值时,发送端提高发送等级,所述第一阀值大于或等于第二阀值。这里的第一阀值和第二阀值可以是预先确定的,也可以是根据先前网络传输中某一时段的丢包率确定出来的。例如,第一阀值可以是万分之五,第二阀值可以是万分之二,当发送端对接收到的丢包率为万分之十,该丢包率大于第一阀值,可以确定当前的网络状态不够好,需要降低发送等级;而当发送端接收到的丢包率为十万分之八,这一丢包率小于第二阀值,可以确定当前的网络状态较好,可以提高发送等级。
有时,网络情况非常不好,以至于发送端没有接收到接收端反馈的丢包率信息,此时,如果还按照当前的发送等级进行流媒体发送,则这些流媒体数据可能会延迟较长时间才能发送到接收端,或者有大量的数据被丢弃。为了解决这一问题,本实施例可以在发送端设定超时计时器,如果在一定的时间或周期周期内没有收到接收端反馈的RR包,则说明当前网络状况很差,则立即降低Currentlevel,例如500毫秒、3个周期等。
由于无线网络的情况比较复杂,网络的传输速率和丢包率可能会在瞬时发生较大的变化,如果仅凭借一个周期或比较短的时间内的丢包率对发送端的发送等级进行频繁的调整,也可能会对整个流媒体的传输效果造成影响。
为了解决这一问题,优选的,本实施例在发送端对解析出的丢包率进行加权处理,例如对几个周期接收到的丢包率进行平滑处理,为了说明方便,这里将当前的丢包率记为Lost,平滑处理后的历史丢包率即为HistoryLost,从而通过计算获得一个新的丢包率NewLost,新丢包率为:
NewLost=b*HistoryLost+(1-b) Lost
其中b为0-1间的平滑因子。
接下来,发送端继续根据加权处理后的新丢包率NewLost对发送等级进行调整。同样,将新丢包率NewLost与预先设定的第三阀值和第四阀值作比较,当新丢包率NewLost大于预先设定的第三阀值时,发送端降低发送等级;等新丢包率NewLost小于预先设定的第四阀值时,发送端提高发送等级,所述第三阀值大于或等于第四阀值。这里的第三阀值和第四阀值可以是预先确定的,也可以是根据先前网络传输中某一时段的丢包率确定出来的。可以和前面的第一阀值、第二阀值相等,也可以不等。
优选的,本实施例通过以下方法对发送等级进行调整:设第三阀值为T1,代表低丢包率,第四阀值为T2,代表高丢包率,具体判断方法如下:
1、如果平滑处理后的丢包率NewLost大于T2,发送端则把Currentlevel减小两个等级或减小至最低等级;例如,如果当前Currentlevel为等级1,则把发送速率等级减小到等级3,如果当前Currentlevel为等级,2或等级3,则把发送速率等级减小到等级4。
2、如果平滑处理后的丢包率NewLost小于T1,发送端并不立即提高Currentlevel,而是当连续几个丢包率(例如4个)都小于T1时,才增加一个等级,增加流媒体的稳定性;如果当前发送速率等级为最高等级,则Currentlevel保持不变。
如果平滑处理后的丢包率NewLost在T1与T2之间,说明当前网络状况快要到达拥塞状态。如果这时丢包率不断增加,就有可能造成拥塞。超过T2之后,Currentlevel会减小两个等级,引起比较大的抖动,也会降低信道利用率。
这时,如果此时盲目的减小Currentlevel,就会造成信道利用率降低;而如果增加Currentlevel,则可能造成严重拥塞。所以此时要对缓冲区范围内的丢包率变化趋势进行更加详细的计算和分析。
为了更加有效的利用无线信道,本实施例优选的,发送端对丢包率斜率进行计算,根据丢包率斜率参数K对发送等级进行调整。
具体的,本实施例对连续F个在T1与T2范围内的丢包率进行斜率加权计算。计算公式如下:
K = K1 * f1 + K2 * f2 + … + KF * fK
其中,f1,f2…fK为各自所占的权重。具体取值可以根据F取值,进行分配。
如果得到的斜率K趋于0,说明当前网络状况稳定,不需要改变Currentlevel。
如果得到的斜率K大于第一斜率p(p取值范围可以为0到2之间的任意数值,具体取值可根据无线网络环境确定),说明丢包率在增加,这时,可以把Currentlevel减小一个等级。如果Currentlevel已经是最低等级,则Currentlevel不变。
如果得到的斜率K小于第二斜率q(q取值范围可以为-2到0之间的任意数值,具体取值可根据无线网络环境确定),说明丢包率在减小,这时,可以把当前Currentlevel增加一个等级。如果Currentlevel已经是最高等级,则Currentlevel不变。
步骤106,发送端根据所述发送等级确定发送的实时流媒体的数据内容,当发送等级为最高等级时,发送端发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送端仅发送实时流媒体的关键帧。
实时流媒体音视频编码流中,视频编码大部分采用H.264标准。在H.264标准中图像以序列为单位进行组织,一个序列是一段图像编码后的数据流,以I帧开始,到下一个I帧结束。一个序列的第一个图像叫做 IDR 图像(立即刷新图像),IDR 图像都是I帧图像。H.264引入IDR图像是为了解码的重同步,当解码器解码到IDR图像时,立即将参考帧队列清空,将已解码的数据全部输出或抛弃,重新查找参数集,开始一个新的序列。这样,如果前一个序列出现重大错误,在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。I帧又可以称为关键帧,I帧不需要参考其他画面而生成。P帧是前向预测编码帧,表示的是这一帧跟之前的一个关键帧(或P帧)的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面,也就是差别帧。B帧是双向预测内插编码帧,以前面的I或P帧和后面的P帧为参考帧进行编码。
下面就以H.264视频编码的实时流媒体为例继续对本发明实施例进行说明。
本实施例通过丢弃部分视频B、P帧对发送端发送速率定义了四个等级:当发送等级为第一等级时,发送端发送全部I、P、B帧;当发送等级为第二等级时,发送端只发送I帧和P帧;当发送等级为第三等级时,发送端只发送I帧和B帧;当发送等级为第四等级时,发送端只发送I帧。
当然,发送等级也可以是两个等级或三个等级或四个以上的等级,对应等级发送的视频帧的内容可以根据情况确定。例如,无论发送等级分为多少个等级,一般情况下,在网络条件允许,发送等级为最高等级时,发送端都可以将全部I、P、B帧发送给接收端,这样,可以保证接收端的视频质量。而网络情况很差时,也必须将I帧发送给接收端,否则接收端无法解码出完整的视频图像。
由于I、P、B帧各自的特点,当I、P、B帧全部发送时,接收端可以获得最完整的视频图像;而当仅发送I帧时,可以节约大量的网络资源,而在接收端也可以正常解码出视频图像。
本发明实施例根据不同的发送等级发送不同的视频帧,可以在网络状况变化时,做出快速的响应:当网络状态由好变差时,发送端可以及时调整发送内容,减少发送的视频帧,从而避免网络的拥堵;而当网络状态由差变好时,发送端可以及时调整发送内容,增加发送的视频帧,从而使接收端可以解码出更清晰的视频图像,这样,既保证了网络状态好时接收端可以接收到最完整的视频图像,又保证了在网络状态较差时,接收端可以实时接收到视频图像,从而解决了现有技术中,由于无线网络状态变化较快,不能同时保证实时流媒体的视频质量和避免延时的问题。
图2所述为本发明实施例的视频设备的示意图,视屏设备200包括发送单元202和网络检测单元204。
具体的,所述视频设备可以是传送多媒体内容的各种终端,例如智能手机、平板电脑、笔记本电脑以及电视机等终端。
视频设备200对当前显示的画面进行视频编码获得实时流媒体,并将所述流媒体通过无线网络发送至接收端;网络检测单元204实时对无线网络的网络连接速率进行检测,根据网络连接速率确定出一个发送等级;网络检测单元204还接收接收端反馈的丢包率,根据丢包率修正该发送等级;发送单元202根据发送等级确定发送的实时流媒体的数据内容。
较佳的,当丢包率大于预先设定的第一阀值时,所述网络检测单元降低发送等级;等丢包率小于预先设定的第二阀值时,所述网络检测单元提高发送等级,所述第一阀值大于或等于第二阀值。
较佳的,当所述视频设备在一个预设的时间内未接收到接收端反馈的丢包率时,所述网络检测单元降低发送等级。
较佳的,所述网络检测单元根据所述丢包率计算出丢包率斜率,根据丢包率斜率修正发送等级。
较佳的,当所述发送等级为最高等级时,所述发送单元发送实施媒体流的I帧、B帧和P帧;当发送等级为最低等级时,所述发送单元仅发送实施媒体流的I帧。
视频设备200的具体工作过程可参考图1的步骤,这里不再详细说明。
本发明实施提供的无线实时流媒体传输方法,通过主动检测无线网络连接速率确定发送等级,并根据接收端反馈的丢包率调整发送等级,可以根据无线网络的网络状态,及时快速的调整发送端的发送等级,发送端根据发送等级的不同实时变更发送内容,保证了网络状态好时接收端可以接收到最完整的视频图像,又保证了在网络状态较差时,接收端可以实时接收到视频图像。
本发明的无线实时流媒体传输方法尤其适用与双屏互传或多平互传,发送端通过将当前屏幕显示的内容进行视频编码,将编码后的实时流媒体通过无线网络发送至其他视频终端。此时,由于视频编码由发送端直接控制,因而发送端可以根据发送等级的不同采用不同的编码方法,例如,当当前网络状态较差时,发送端只发送关键帧至接收端,此时,发送端在视频编码时,只需要进行关键帧的编码即可,这样,既可以提高编码效率,又可以节省资源。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。 
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种无线实时流媒体传输方法,其特征在于:
发送端实时检测网络连接速率,根据网络连接速率确定发送等级;
发送端接收接收端反馈的丢包率,根据所述丢包率修正所述发送等级;
发送端根据所述发送等级确定发送的实时流媒体的数据内容,当发送等级为最高等级时,发送端发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送端仅发送实时流媒体的关键帧。
2.根据权利要求1所述的无线实时流媒体传输方法,其特征在于,所述发送端接收接收端反馈的丢包率,根据所述丢包率修正发送等级包括:当丢包率大于预先设定的第一阀值时,发送端降低发送等级;等丢包率小于预先设定的第二阀值时,发送端提高发送等级,所述第一阀值大于或等于第二阀值。
3.根据权利要求1所述的无线实时流媒体传输方法,其特征在于,所述发送端接收接收端反馈的丢包率,根据所述丢包率修正发送等级包括:当发送端在一个预设的时间内未接收到接收端反馈的丢包率时,降低发送等级。
4.根据权利要求1所述的无线实时流媒体传输方法,其特征在于,所述发送端接收接收端反馈的丢包率,根据所述丢包率修正发送等级包括:
发送端对预设周期内的丢包率进行加权计算,根据加权计算的结果修正发送等级。
5.根据权利要求1所述的无线实时流媒体传输方法,其特征在于,所述发送端接收接收端反馈的丢包率,根据所述丢包率修正发送等级包括:
发送端根据所述丢包率计算出丢包率斜率,根据丢包率斜率修正发送等级。
6.根据权利要求5所述的无线实时流媒体传输方法,其特征在于:
当丢包率斜率大于预设的第一斜率时,减低发送等级;
当丢包率斜率小于预设的第二斜率时,提高发送等级。
7.根据权利要求1-6任一所述的无线实时流媒体传输方法,其特征在于:
当所述发送等级为最高等级时,发送端发送实时流媒体的I帧、B帧和P帧;当发送等级为最低等级时,发送端仅发送实时流媒体的I帧。
8.根据权利要求1-6任一所述的无线实时流媒体传输方法,其特征在于:
所述发送等级分为第一等级、第二等级、第三等级和第四等级,其中第一等级为最高等级,当发送等级为第一等级时,发送端发送实时流媒体的I帧、B帧和P帧;当发送等级为第二等级时,发送端发送实时流媒体的I帧和B帧;当发送等级为第三等级时,发送端发送实时流媒体的I帧和P帧;当发送等级为第四等级时,发送端仅发送实时流媒体的I帧。
9.一种视频设备,所述视频设备对当前显示的画面进行视频编码获得实时流媒体,并将所述流媒体通过无线网络发送至接收端,其特征在于:
所述视频设备包括发送单元、网络检测单元,所述网络检测单元实时对所述无线网络的网络连接速率进行检测,根据网络连接速率确定发送等级;所述网络检测单元接收所述接收端反馈的丢包率,根据所述丢包率修正所述发送等级;所述发送单元根据所述发送等级确定发送的实时流媒体的数据内容,当发送等级为最高等级时,发送单元发送实时流媒体的全部数据帧;当发送等级为最低等级时,发送单元仅发送实时流媒体的关键帧。
10.根据权利要求9所述的视频设备,其特征在于:
当丢包率大于预先设定的第一阀值时,所述网络检测单元降低发送等级;等丢包率小于预先设定的第二阀值时,所述网络检测单元提高发送等级,所述第一阀值大于或等于第二阀值。
11.根据权利要求9所述的视频设备,其特征在于:当所述视频设备在一个预设的时间内未接收到接收端反馈的丢包率时,所述网络检测单元降低发送等级。
12.根据权利要求9所述的视频设备,其特征在于:所述网络检测单元根据所述丢包率计算出丢包率斜率,根据丢包率斜率修正发送等级。
13.根据权利要求9-12任一所述的视频设备,其特征在于:
当所述发送等级为最高等级时,所述发送单元发送实施媒体流的I帧、B帧和P帧;当发送等级为最低等级时,所述发送单元仅发送实施媒体流的I帧。
CN201410632486.0A 2014-11-12 2014-11-12 一种无线实时流媒体传输方法 Pending CN104394484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410632486.0A CN104394484A (zh) 2014-11-12 2014-11-12 一种无线实时流媒体传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410632486.0A CN104394484A (zh) 2014-11-12 2014-11-12 一种无线实时流媒体传输方法

Publications (1)

Publication Number Publication Date
CN104394484A true CN104394484A (zh) 2015-03-04

Family

ID=52612312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410632486.0A Pending CN104394484A (zh) 2014-11-12 2014-11-12 一种无线实时流媒体传输方法

Country Status (1)

Country Link
CN (1) CN104394484A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007500A (zh) * 2015-07-28 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频传输方法及装置
CN105227552A (zh) * 2015-09-25 2016-01-06 重庆邮电大学 一种td-lte应急终端语音业务质量保障方法
CN105898403A (zh) * 2015-11-16 2016-08-24 乐视云计算有限公司 在线媒体服务的码流自适应方法及***
CN105933934A (zh) * 2016-03-30 2016-09-07 维沃移动通信有限公司 一种多媒体信息的传输方法及移动终端
CN106357693A (zh) * 2016-11-09 2017-01-25 深圳市云之讯网络技术有限公司 实时媒体流丢包补偿方法
CN106713947A (zh) * 2016-12-13 2017-05-24 飞狐信息技术(天津)有限公司 减少直播时延和卡顿的方法及装置、直播***
WO2018228323A1 (zh) * 2017-06-13 2018-12-20 广东神马搜索科技有限公司 在线服务***的服务级别控制方法与***、可读存储介质
CN109194647A (zh) * 2018-08-30 2019-01-11 北京金山安全软件有限公司 数据传输方法、装置、电子设备及存储介质
CN109819322A (zh) * 2019-03-15 2019-05-28 网易(杭州)网络有限公司 视频传输方法、装置、计算机可读存储介质及电子设备
CN109951722A (zh) * 2019-02-27 2019-06-28 腾讯科技(深圳)有限公司 视频数据的传输方法及传输装置
CN110248256A (zh) * 2019-06-25 2019-09-17 腾讯科技(深圳)有限公司 数据的处理方法及装置、存储介质和电子装置
CN110868373A (zh) * 2018-08-27 2020-03-06 浙江宇视科技有限公司 多媒体数据传输方法、装置及计算机可读存储介质
CN112581192A (zh) * 2020-12-31 2021-03-30 北京秒针人工智能科技有限公司 关于提升快捷回复素材库应用部门权限控制的方法及***
CN113490020A (zh) * 2021-06-30 2021-10-08 众立智能科技(深圳)有限公司 网络传输音视频流媒体数据优先方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204182A (zh) * 2010-12-29 2011-09-28 华为技术有限公司 一种数据传输的拥塞控制方法及装置
CN102710374A (zh) * 2012-05-28 2012-10-03 天津大学 无线流媒体传输中的速率控制方法
CN103152649A (zh) * 2013-01-30 2013-06-12 北京佳讯飞鸿电气股份有限公司 一种流媒体分发传输分级别自动减帧控制方法
CN103167318A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 流媒体处理方法、装置和服务器、***
CN103391253A (zh) * 2013-08-05 2013-11-13 四川启程科技发展有限公司 网络拥塞的控制方法、装置及***
US20140096165A1 (en) * 2012-09-28 2014-04-03 Marvell World Trade Ltd. Enhanced user experience for miracast devices
CN103945281A (zh) * 2014-04-29 2014-07-23 中国联合网络通信集团有限公司 视频传输处理方法、装置和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204182A (zh) * 2010-12-29 2011-09-28 华为技术有限公司 一种数据传输的拥塞控制方法及装置
CN103167318A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 流媒体处理方法、装置和服务器、***
CN102710374A (zh) * 2012-05-28 2012-10-03 天津大学 无线流媒体传输中的速率控制方法
US20140096165A1 (en) * 2012-09-28 2014-04-03 Marvell World Trade Ltd. Enhanced user experience for miracast devices
CN103152649A (zh) * 2013-01-30 2013-06-12 北京佳讯飞鸿电气股份有限公司 一种流媒体分发传输分级别自动减帧控制方法
CN103391253A (zh) * 2013-08-05 2013-11-13 四川启程科技发展有限公司 网络拥塞的控制方法、装置及***
CN103945281A (zh) * 2014-04-29 2014-07-23 中国联合网络通信集团有限公司 视频传输处理方法、装置和***

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007500A (zh) * 2015-07-28 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频传输方法及装置
CN105227552A (zh) * 2015-09-25 2016-01-06 重庆邮电大学 一种td-lte应急终端语音业务质量保障方法
CN105898403A (zh) * 2015-11-16 2016-08-24 乐视云计算有限公司 在线媒体服务的码流自适应方法及***
CN105933934A (zh) * 2016-03-30 2016-09-07 维沃移动通信有限公司 一种多媒体信息的传输方法及移动终端
CN106357693B (zh) * 2016-11-09 2020-06-09 深圳市云之讯网络技术有限公司 实时媒体流丢包补偿方法
CN106357693A (zh) * 2016-11-09 2017-01-25 深圳市云之讯网络技术有限公司 实时媒体流丢包补偿方法
CN106713947A (zh) * 2016-12-13 2017-05-24 飞狐信息技术(天津)有限公司 减少直播时延和卡顿的方法及装置、直播***
WO2018228323A1 (zh) * 2017-06-13 2018-12-20 广东神马搜索科技有限公司 在线服务***的服务级别控制方法与***、可读存储介质
CN110868373A (zh) * 2018-08-27 2020-03-06 浙江宇视科技有限公司 多媒体数据传输方法、装置及计算机可读存储介质
CN109194647A (zh) * 2018-08-30 2019-01-11 北京金山安全软件有限公司 数据传输方法、装置、电子设备及存储介质
CN109194647B (zh) * 2018-08-30 2022-02-18 超级魔方(北京)科技有限公司 数据传输方法、装置、电子设备及存储介质
CN109951722A (zh) * 2019-02-27 2019-06-28 腾讯科技(深圳)有限公司 视频数据的传输方法及传输装置
CN109819322A (zh) * 2019-03-15 2019-05-28 网易(杭州)网络有限公司 视频传输方法、装置、计算机可读存储介质及电子设备
WO2020259448A1 (zh) * 2019-06-25 2020-12-30 腾讯科技(深圳)有限公司 数据的处理方法及装置、计算机可读存储介质和电子装置
CN110248256B (zh) * 2019-06-25 2021-09-10 腾讯科技(深圳)有限公司 数据的处理方法及装置、存储介质和电子装置
CN110248256A (zh) * 2019-06-25 2019-09-17 腾讯科技(深圳)有限公司 数据的处理方法及装置、存储介质和电子装置
US11848969B2 (en) 2019-06-25 2023-12-19 Tencent Technology (Shenzhen) Company Limited Video and audio data processing method and apparatus, computer-readable storage medium, and electronic apparatus
CN112581192A (zh) * 2020-12-31 2021-03-30 北京秒针人工智能科技有限公司 关于提升快捷回复素材库应用部门权限控制的方法及***
CN113490020A (zh) * 2021-06-30 2021-10-08 众立智能科技(深圳)有限公司 网络传输音视频流媒体数据优先方法及***

Similar Documents

Publication Publication Date Title
CN104394484A (zh) 一种无线实时流媒体传输方法
CN104702968B (zh) 一种视频帧丢帧方法及视频发送装置
CN104125429B (zh) 视频数据传输的调节方法及装置
CN104735470A (zh) 一种流媒体数据传输方法及装置
US20150146778A1 (en) Controlling Player Buffer and Video Encoder for Adaptive Video Streaming
CN115086779B (zh) 视频传输***
CN109729437B (zh) 流媒体自适应传输方法、终端和***
JP2015536594A (ja) 積極的なビデオフレームドロップ
MX2013004481A (es) Ajuste de configuracion de codigo dinamico.
CN107210999B (zh) 链路感知流送自适应
US9232244B2 (en) Efficient frame forwarding in large scale real-time screen content sharing meetings
US10003626B2 (en) Adaptive real-time transcoding method and streaming server therefor
CN109068187A (zh) 实时流量传送***和方法
JP4320024B2 (ja) 誤り訂正パケットを用いた伝送率制御方法およびそれを用いた通信装置
US20130055326A1 (en) Techniques for dynamic switching between coded bitstreams
US11722719B2 (en) Systems, methods, and devices for optimizing streaming bitrate based on variations in processor load
CN103002354A (zh) 一种消除视频数据传输网络抖动的方法及***
WO2015054833A1 (en) Method, apparatus and system to select audio-video data for streaming
US20060031564A1 (en) Methods and systems for streaming data at increasing transmission rates
CN108540745B (zh) 高清双流视频的传输方法、发送端、接收端及传输***
CN109862400A (zh) 一种流媒体传输方法、装置及其***
US10587518B2 (en) Identifying network conditions
US10270832B1 (en) Method and system for modifying a media stream having a variable data rate
SG190978A1 (en) Method and system for controlling data packet transmissions over lossy protocols
CN109379127B (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150304

RJ01 Rejection of invention patent application after publication