CN112866752A - 一种视频码流自适应网络带宽方法、装置、设备及介质 - Google Patents

一种视频码流自适应网络带宽方法、装置、设备及介质 Download PDF

Info

Publication number
CN112866752A
CN112866752A CN202110012363.7A CN202110012363A CN112866752A CN 112866752 A CN112866752 A CN 112866752A CN 202110012363 A CN202110012363 A CN 202110012363A CN 112866752 A CN112866752 A CN 112866752A
Authority
CN
China
Prior art keywords
video
network bandwidth
time domain
code stream
pressure coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110012363.7A
Other languages
English (en)
Inventor
杨锦生
梁添才
金晓峰
吴红军
刘红仁
卢冠霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinyi Technology Co Ltd
Original Assignee
Shenzhen Xinyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinyi Technology Co Ltd filed Critical Shenzhen Xinyi Technology Co Ltd
Priority to CN202110012363.7A priority Critical patent/CN112866752A/zh
Publication of CN112866752A publication Critical patent/CN112866752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频码流自适应网络带宽方法、装置、设备及介质，方法包括：建立多媒体码流发送端与多媒体码流接收端之间的连接；对数据传输的网络环境进行实时监测；根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；根据所述网络带宽压力系数，确定视频图像的编码码率；根据所述网络带宽压力系数，确定视频编码的时域信息；根据所述编码码率和所述时域信息，进行视频码流传输。提高了视频采集设备码流编码的灵活性，以及提高了视频码流传输的稳定性，可广泛应用于视频数据处理技术领域。

Description

一种视频码流自适应网络带宽方法、装置、设备及介质
技术领域
本发明涉及视频数据处理技术领域，尤其是一种视频码流自适应网络带宽方法、装置、设备及介质。
背景技术
随着视觉计算领域的发展，视频采集是视觉计算的重要基础，视频码流传输是视觉计算实时性的保障。生活中人们对视频高清分辨率的追求越来越高，视频码流越高清，相应的带宽占用越高，对网络带宽大小的要求越高。
目前我国在网络基础设施建设方面来越取得比较大的进步，网络带宽越来越大，但是生活中的网络环境比较复杂，大量的高清视频数据需要传输，对网络带宽也造成比较大的负载压力，视频码流网络传输很容易中断或者数据丢失，在网络带宽资源比较紧缺的情况下，视频码流传输如果超过了整个网络带宽的限制，可能会造成网络数据拥挤堵塞，从而造成码流数据的传输不及时或者数据丢失，影响视频播放的效果，视频码流稳定传输面临着挑战。
人们希望在视觉计算领域中，视频码流在复杂网络环境下传输也能够实现正常传输不中断，那么视频码流自适应网络带宽的方法就能够满足人们的这个需求。
市场上的视频采集设备大多采用设定固定码率CBR的模式，即不管网络带宽大小，视频采集设备采用固定的码率进行编码。在视频场景固定不变的情况下，视频码流大小恒定。在运动视频场景的情况下，视频码流大小比较大，对网络带宽压力更大。视频码流传输是否稳定主要由网络可用带宽决定。
一些视频采集设备采用设定可变码率VBR的模式，即不管网络带宽大小，视频采集设备采用可变的码率进行编码，编码的码率由视频场景决定，静止的场景编码码率比较小，运动场景编码码率比较大。视频码流大小比较固定。视频码流传输是否稳定主要还是由网络可用带宽决定。
市场上的视频采集设备大多采用设定固定码率CBR的模式，这种模式下的视频编码码率平稳，但是在视频画面内容复杂或者运动场景下，会造成图像质量的不稳定。如果网络中有其他数据占据了网络带宽资源，网络带宽可用资源减少，在视频采集设备码率固定的情况下，网络可用带宽资源可能不足，造成网络拥挤堵塞。
一些视频采集设备采用设定可变码率VBR的模式，这种模式下的视频编码码率允许波动，保证了图像质量稳定。在视频画面内容复杂或者运动场景下，视频编码码率会比较大，但是视频码流大小比较恒定。在网络可用带宽资源紧张的情况下，可能直接造成网络拥挤堵塞。
部分视频采集设备支持对网络带宽大小的探测，但是这种方式是以增加独立网络探测模块，另外发送网络探测包去探测的形式，新增的网络探测包额外增加了网络带宽压力，效率比较低。
发明内容
有鉴于此，本发明实施例提供一种视频码流自适应网络带宽方法、装置、设备及介质，以提高视频采集设备码流编码的灵活性，以及提高视频码流传输的稳定性。
本发明的第一方面提供了一种视频码流自适应网络带宽方法，包括：
建立多媒体码流发送端与多媒体码流接收端之间的连接；
对数据传输的网络环境进行实时监测；
根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；
根据所述网络带宽压力系数，确定视频图像的编码码率；
根据所述网络带宽压力系数，确定视频编码的时域信息；
根据所述编码码率和所述时域信息，进行视频码流传输。
在一些实施例中，所述根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数，包括：
确定数据帧的发送时间和接收时间；
根据所述发送时间和所述接收时间，确定数据传输时间；
将所述数据传输时间内的数据帧传输量，确定网络拥堵状况；
根据所述网络拥堵状况计算网络带宽压力系数。
在一些实施例中，所述将所述数据传输时间内的数据帧传输量，确定网络拥堵状况，包括：
由多媒体码流发送端生成多媒体数据发送表，并由多媒体码流接收端生成多媒体数据接收表；
根据所述多媒体数据发送表和所述多媒体数据接收表，确定多媒体码流传输过程中的丢包率以及数据包的平均传输速率。
在一些实施例中，所述根据所述网络拥堵状况计算网络带宽压力系数，包括：
根据所述丢包率和所述平均传输速率，确定数据包的网络带宽压力系数；
所述网络带宽压力系数的计算公式为：
X＝1/(βΔV xɑ(1-P))＝1/(β(Vr1+Vr2+...+Vrn)/Nr xɑ(1-P))
其中，X代表网络带宽压力系数；β代表平均速率权重因子系数；ΔV代表传输平均速率；ɑ代表丢包权重因子系数；P代表数据包丢包率；Vr1代表第一个接收数据包的传输速率；Vrn代表第n个接收数据包的传输速率；Nr代表接收数据包的个数。
在一些实施例中，所述根据所述网络带宽压力系数，确定视频图像的编码码率，包括：
当所述网络带宽压力系数大于预设的第一临界值时，将视频图像的编码码率确定为可变码率；
当所述网络带宽压力系数小于预设的第一临界值时，将视频图像的编码码率确定为固定码率。
在一些实施例中，所述根据所述编码码率和所述时域信息，进行视频码流传输，包括：
将时域划分为四种类型的时域层，并将视频编码的时域等级划分为第一等级、第二等级、第三等级和第四等级；所述时域层包括第一时域层、第二时域层、第三时域层和第四时域层；
当所述网络带宽压力系数大于或等于第二临界值且小于第三临界值时，采用第四等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第三临界值且小于第四临界值时，采用第三等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第四临界值且小于第五临界值时，采用第二等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第五临界值时，采用第一等级的视频编码帧模式进行视频码流传输。
在一些实施例中，所述第一等级的视频编码帧为第一时域层的编码帧数据；
所述第二等级的视频编码帧为第一时域层和第二时域层的编码帧数据；
所述第三等级的视频编码帧为第一时域层、第二时域层和第三时域层的编码帧数据；
所述第四等级的视频编码帧为第一时域层、第二时域层、第三时域层和第四时域层的编码帧数据。
本发明的另一方面提供了一种视频码流自适应网络带宽装置，包括：
连接模块，用于建立多媒体码流发送端与多媒体码流接收端之间的连接；
监测模块，用于对数据传输的网络环境进行实时监测；
计算模块，用于根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；
码率确定模块，用于根据所述网络带宽压力系数，确定视频图像的编码码率；
时域确定模块，用于根据所述网络带宽压力系数，确定视频编码的时域信息；
传输模块，用于根据所述编码码率和所述时域信息，进行视频码流传输。
本发明的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明的实施例在建立多媒体码流发送端与多媒体码流接收端之间的连接之后，对数据传输的网络环境进行实时监测；根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；根据所述网络带宽压力系数，确定视频图像的编码码率；根据所述网络带宽压力系数，确定视频编码的时域信息；根据所述编码码率和所述时域信息，进行视频码流传输。本发明经过自适应调整码流后，多媒体码流发送端和多媒体码流接收端之间的视频数据在网络带宽资源紧张的情况下也能够正常传输、预览，能够很好地适应复杂网络环境，提高了视频采集设备码流编码的灵活性，以及提高了视频码流传输的稳定性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频码流自适应网络带宽方法的流程图；
图2为本发明一个具体实施例的步骤流程示意图；
图3为本发明实施例提供的码流数据状况统计机制示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，不管是固定码率CBR模式、可变码率VBR模式或者其他视频编码模式，都是视频采集设备固定设置一种模式，没有考虑到网络带宽的实时变化带来的网络传输影响。如果视频码流网络传输过程中，网络带宽资源紧缺，那么带宽拥挤堵塞可能造成数据传输不及时或者丢失，从而导致视频播放卡顿延迟等问题的出现，很影响用户进行视频播放的体验。
新增网络探测包的模式又额外增加了网络带宽压力，对网络带宽资源紧张的情况下，增加网络带宽负担。
那么需要一种根据网络带宽情况自动实时地调整视频码流大小的方法解决复杂网络环境下视频播放卡顿或者延迟的问题，这种方法不需要额外发送大量数据包，还可以提高视频采集设备码流编码的灵活性，提高视频码流传输的稳定性，从而提高了整个视觉计算服务的综合性能。
本发明提出了一种复杂场景下的视频码流自适应网络带宽的方法，该方法直接利用视频码流数据作为探测网络带宽状况的探测包，而不需要另外发送网络探测包，节省了网络资源，更快捷和高效。
本发明首先需要实时确定当前网络可用带宽情况，因此提出了一个网络带宽压力系数X的概念，网络带宽压力系数反映了网络拥堵情况。网络带宽压力系数X需要统计视频码流网络发送情况和接收情况得到。在多媒体码流发送端和多媒体码流接收端建立起一套码流数据发送状态统计机制，多媒体码流发送端只需要记录发送数据的大小和时间戳，接收端只需要记录接收到数据的大小和接收时间，记录的信息数据量小，信息的传输占用带宽的影响基本可以忽略。多媒体码流发送端根据多媒体码流接收端反馈回来的数据进行统计，计算出一个针对码流数据的网络带宽压力系数X，作为多媒体码流控制调整的依据。
根据网络带宽压力系数X，本发明采用智能配置固定码率CBR和可变码率VBR模式的方式。视频采集端需要预设好网络带宽压力系数阈值，作为固定码率CBR模式和可变码率VBR模式调整切换的标准，在网络传输过程中实时切换设置。
除了智能配置固定码率CBR和可变码率VBR模式，本方法还引进了视频可伸缩性编码SVC模式，根据网络带宽压力系数X实时调整视频可伸缩性编码SVC模式，最大限度地使视频码流数据在复杂网络环境下能够正常实时传输。
具体地，如图1所示，本发明提供了一种视频码流自适应网络带宽方法，包括：
S1、建立多媒体码流发送端与多媒体码流接收端之间的连接；
S2、对数据传输的网络环境进行实时监测；
具体地，视频采集设备的网络环境主要是多媒体码流发送端和多媒体码流接收端之间的数据传输网络环境，网络环境的监控就是对多媒体码流发送端和多媒体码流接收端的数据传输的实时性进行监测。
S3、根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；
具体地，网络环境的拥堵等级主要从数据传输的实时性进行评估。多媒体码流发送端和多媒体码流接收端的时间是同步的，数据按照帧为单位进行传输，传输过程需要标记好帧发送时间和接收时间，通过数据量的大小和接收数据的时间评定当前网络环境拥拥堵等级，计算出网络带宽压力系数X。
S4、根据所述网络带宽压力系数，确定视频图像的编码码率；
S5、根据所述网络带宽压力系数，确定视频编码的时域信息；
S6、根据所述编码码率和所述时域信息，进行视频码流传输。
在一些实施例中，所述根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数，包括：
确定数据帧的发送时间和接收时间；
根据所述发送时间和所述接收时间，确定数据传输时间；
将所述数据传输时间内的数据帧传输量，确定网络拥堵状况；
根据所述网络拥堵状况计算网络带宽压力系数。
在一些实施例中，所述将所述数据传输时间内的数据帧传输量，确定网络拥堵状况，包括：
由多媒体码流发送端生成多媒体数据发送表，并由多媒体码流接收端生成多媒体数据接收表；
根据所述多媒体数据发送表和所述多媒体数据接收表，确定多媒体码流传输过程中的丢包率以及数据包的平均传输速率。
在一些实施例中，所述根据所述网络拥堵状况计算网络带宽压力系数，包括：
根据所述丢包率和所述平均传输速率，确定数据包的网络带宽压力系数；
所述网络带宽压力系数的计算公式为：
X＝1/(βΔV x ɑ(1-P))＝1/(β(Vr1+Vr2+...+Vrn)/Nr x ɑ(1-P))
其中，X代表网络带宽压力系数；β代表平均速率权重因子系数；ΔV代表传输平均速率；ɑ代表丢包权重因子系数；P代表数据包丢包率；Vr1代表第一个接收数据包的传输速率；Vrn代表第n个接收数据包的传输速率；Nr代表接收数据包的个数。
在一些实施例中，所述根据所述网络带宽压力系数，确定视频图像的编码码率，包括：
当所述网络带宽压力系数大于预设的第一临界值时，将视频图像的编码码率确定为可变码率；
当所述网络带宽压力系数小于预设的第一临界值时，将视频图像的编码码率确定为固定码率。
在一些实施例中，所述根据所述编码码率和所述时域信息，进行视频码流传输，包括：
将时域划分为四种类型的时域层，并将视频编码的时域等级划分为第一等级、第二等级、第三等级和第四等级；所述时域层包括第一时域层、第二时域层、第三时域层和第四时域层；
当所述网络带宽压力系数大于或等于第二临界值且小于第三临界值时，采用第四等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第三临界值且小于第四临界值时，采用第三等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第四临界值且小于第五临界值时，采用第二等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第五临界值时，采用第一等级的视频编码帧模式进行视频码流传输。
在一些实施例中，所述第一等级的视频编码帧为第一时域层的编码帧数据；
所述第二等级的视频编码帧为第一时域层和第二时域层的编码帧数据；
所述第三等级的视频编码帧为第一时域层、第二时域层和第三时域层的编码帧数据；
所述第四等级的视频编码帧为第一时域层、第二时域层、第三时域层和第四时域层的编码帧数据。
参照图2，本发明实施例的具体实施步骤如下：
1.本方案需要实时监测网络环境：
视频采集设备的网络环境主要是多媒体码流发送端和多媒体码流接收端之间的数据传输网络环境，网络环境的监控就是对多媒体码流发送端和多媒体码流接收端的数据传输的实时性进行监测。
2.实时评估网络环境拥堵等级，计算网络带宽压力系数X：
网络环境的拥堵等级主要从数据传输的实时性进行评估。多媒体码流发送端和多媒体码流接收端的时间是同步的，数据按照帧为单位进行传输，传输过程需要标记好帧发送时间和接收时间，通过数据量的大小和接收数据的时间评定当前网络环境拥拥堵等级，计算出网络带宽压力系数X。
具体实现步骤如下：
1)多媒体码流发送端和多媒体码流接收端分别建立起一套码流数据状况统计机制。示意图如图3所示。
1)多媒体码流发送端生成一份多媒体数据记录表Fs，发送端记录每分钟发送的数据包总个数Ns，数据包大小为Ds，其中第一个数据包大小Ds1，最后一个数据包大小Dsn，数据包发送时间为Ts，其中第一个数据包发送时间Ts1，最后一个数据包发送时间Tsn。
2)多媒体码流接收端生成一份多媒体数据记录表Fr，接收端记录每分钟接收的数据包个数Nr，数据包大小为Dr，其中第一个数据包大小Dr1，最后一个数据包大小Drn，数据包接收时间为Tr，其中第一个数据包接收数据时间Tr1，最后一个数据包接收数据时间Trn。
3)每间隔一分钟，多媒体码流接收端将媒体数据记录表Fr发送回多媒体码流发送端。
4)多媒体码流发送端接收到多媒体数据记录表Fr后，对比本地多媒体数据记录表Fs，统计数据丢包情况，其中丢包个数ΔN＝Ns-Nr，丢包率P＝ΔN/Ns。将多媒体数据记录表Fs数据剔除已经丢包的数据对应项，得到跟多媒体数据记录表Fr完全一一对应的新的记录表Fs。
5)统计每个已收数据包Dr的传输时间ΔTr＝Tr-Ts，其中第一个接收包的传输时间ΔTr1＝Tr1-Ts1，最后一个接收包的传输时间ΔTrn＝Trn-Tsn。数据包的传输速率Vr＝Dr/ΔT，其中第一个接收包的传输速率Vr1＝Dr1/ΔTr1，最后一个接收包的传输速率Vrn＝Drn/ΔTrn,则数据包平均传输速率ΔV＝(Vr1+Vr2+...+Vrn)/Nr。
6)网络带宽压力系数X由数据包平均传输速率ΔV和丢包率P共同决定，数据包平均传输速率ΔV越大，网络带宽压力系数X越小，丢包率P越大，网络带宽压力系数X越大。
7)丢包率P引入一个权重因子ɑ，数据包平均传输速率ΔV引入一个权重因子β，网络带宽压力系数
X＝1/(βΔV x ɑ(1-P))＝1/(β(Vr1+Vr2+...+Vrn)/Nr x ɑ(1-P))＝1/(β(Dr1/ΔTr1+Dr2/ΔTr2+...+Drn/ΔTrn)/Nr x ɑ(1-P))
即X＝1/(β(Dr1/(Tr1-Ts1)+Dr2/(Tr2-Ts2)+...+Drn/(Trn-Tsn))/Nr x ɑ(1-P))。
3.根据网络带宽压力系数X自动切换固定码率CBR和可变码率VBR：
视频采集摄像机端默认设定为固定码率CBR，同时需要先设定切换固定码率CBR和可变码率VBR的网络带宽压力系数临界值X0。
当网络带宽压力系数X超过网络带宽压力系数临界值X0(即为第一临界值)的时候，码率模式切换为可变码率CBR，这样可以减少部分编码后的数据量，降低网络带宽压力。同时根据当前网络带宽压力系数X调整可变码率VBR的压缩率，在可变码率范围内，进一步调整码流的大小。
当网络带宽压力系数X小于网络带宽压力系数临界值X0的时候，码率模式切换为固定码率CBR，这样可以平稳编码速率，保证视频图像质量。
4.根据网络带宽压力系数X，自动调整视频可伸缩性编码SVC模式：
SVC编码是视频可伸缩性编码，主要包括时域(帧率)、图像质量、空域(分辨率)等可分层。本方法主要从时域(帧率)分层实时调整视频码流大小，以适应复杂网络环境的网络带宽要求。
时域(帧率)分层将帧分成不同的等级，上层的帧只能参考同层或者底层的帧。包含有4种类型的时域层：T0、T1、T2和T3，其中T0为基本层。
定义SVC视频编码时域等级M，M分为第一等级M0、第二等级M1、第三等级M2和第四等级M3，四种不同的SVC视频编码时域等级和网络带宽压力系数X相对应,设定网络带宽压力系数X的四个临界值第二临界值X1、第三临界值X2、第四临界值X3、第五临界值X4，其中X0<X1<X2<X3<X4。
M0表示视频编码帧只考虑T0层编码帧数据，丢弃其他等级的视频帧，该M0等级下所有T0层的编码帧构成了的原视频码流的1/8帧。
M1表示视频编码帧只考虑T0和T1的组合帧，丢弃其他等级的视频帧，该M1等级下所有T0和T1的编码帧组合构成了的原视频码流的1/4帧。
M2表示视频编码帧只考虑T0、T1、T2的组合帧，丢弃其他等级的视频帧，该M2等级下所有T0、T1和T2的编码帧组合构成了的原视频码流的1/2帧。
M3表示视频编码帧考虑全部T0、T1、T2和T3的组合帧，该M3等级下的原视频码流帧保持足帧。
当网络带宽压力系数X>＝X4时，说明当前网络带宽资源非常紧缺，视频编码帧模式采用M0等级，最大限度地丢弃其他帧层数据，保留原视频码流的1/8帧数据进行网络传输，确保网络传输正常。
当网络带宽压力系数X3<＝X<X4时，说明当前网络带宽资源一般紧缺，视频编码帧模式采用M1等级，保留原视频码流的1/4帧数据进行网络传输。
当网络带宽压力系数X2<＝X<X3时，说明当前网络带宽资源比较正常，偶尔会出现网络带宽不足的情况，视频编码帧模式采用M2等级，保留原视频码流的1/2帧数据进行网络传输。
当网络带宽压力系数X1<＝X<X2时，说明当前网络带宽资源足够，视频编码帧模式采用M3等级，保留原视频码流进行网络传输。
5.调整后确认视频播放效果：
经过自适应调整码流后，多媒体码流发送端和多媒体码流接收端之间的视频数据在网络带宽资源紧张的情况下也能够正常传输、预览，能够很好地适应复杂网络环境。
综上所述，本发明可用于复杂网络环境下，视频码流自适应网络调整，解决视频码流传输后不稳定的问题，相较于现有技术，本发明包括多媒体码流发送端和多媒体码流接收端分别建立起一套码流数据状况简单统计机制，直接把视频码流数据包当成网络带宽探测的工具，利用单位时间内视频传输码流数据大小、数据发送时间、数据接收时间，通过数字公式计算获取网络带宽压力系数；另外，本发明根据网络带宽压力系数，判断当前网络的拥堵状况，智能调整编码参数和可伸缩性编码SVC策略的方法。
本发明提出的一种复杂场景下的视频码流自适应网络带宽的方法，该方法直接利用视频码流数据作为探测网络带宽状况的探测包，而不需要另外发送网络探测包，节省了网络资源，更快捷和高效。
该方法再根据网络带宽压力系数X实时自动调整视频码率类型和可伸缩性编码SVC模式策略，多种码流优化策略同时处理，最大程度地调整需要传输的码流的大小，以适应复杂的网络带宽环境，有效地解决视频卡顿和延时的问题。
本发明实施例还提供了一种视频码流自适应网络带宽装置，包括：
连接模块，用于建立多媒体码流发送端与多媒体码流接收端之间的连接；
监测模块，用于对数据传输的网络环境进行实时监测；
计算模块，用于根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；
码率确定模块，用于根据所述网络带宽压力系数，确定视频图像的编码码率；
时域确定模块，用于根据所述网络带宽压力系数，确定视频编码的时域信息；
传输模块，用于根据所述编码码率和所述时域信息，进行视频码流传输。
本发明实施例还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如图1所述的方法。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如图1所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.视频码流自适应网络带宽方法，其特征在于，包括：
建立多媒体码流发送端与多媒体码流接收端之间的连接；
对数据传输的网络环境进行实时监测；
根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；
根据所述网络带宽压力系数，确定视频图像的编码码率；
根据所述网络带宽压力系数，确定视频编码的时域信息；
根据所述编码码率和所述时域信息，进行视频码流传输。
2.根据权利要求1所述的视频码流自适应网络带宽方法，其特征在于，所述根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数，包括：
确定数据帧的发送时间和接收时间；
根据所述发送时间和所述接收时间，确定数据传输时间；
将所述数据传输时间内的数据帧传输量，确定网络拥堵状况；
根据所述网络拥堵状况计算网络带宽压力系数。
3.根据权利要求2所述的视频码流自适应网络带宽方法，其特征在于，所述将所述数据传输时间内的数据帧传输量，确定网络拥堵状况，包括：
由多媒体码流发送端生成多媒体数据发送表，并由多媒体码流接收端生成多媒体数据接收表；
根据所述多媒体数据发送表和所述多媒体数据接收表，确定多媒体码流传输过程中的丢包率以及数据包的平均传输速率。
4.根据权利要求3所述的视频码流自适应网络带宽方法，其特征在于，所述根据所述网络拥堵状况计算网络带宽压力系数，包括：
根据所述丢包率和所述平均传输速率，确定数据包的网络带宽压力系数；
所述网络带宽压力系数的计算公式为：
X＝1/(βΔVxɑ(1-P))＝1/(β(Vr1+Vr2+...+Vrn)/Nrxɑ(1-P))
其中，X代表网络带宽压力系数；β代表平均速率权重因子系数；ΔV代表传输平均速率；ɑ代表丢包权重因子系数；P代表数据包丢包率；Vr1代表第一个接收数据包的传输速率；Vrn代表第n个接收数据包的传输速率；Nr代表接收数据包的个数。
5.根据权利要求1所述的视频码流自适应网络带宽方法，其特征在于，所述根据所述网络带宽压力系数，确定视频图像的编码码率，包括：
当所述网络带宽压力系数大于预设的第一临界值时，将视频图像的编码码率确定为可变码率；
当所述网络带宽压力系数小于预设的第一临界值时，将视频图像的编码码率确定为固定码率。
6.根据权利要求1所述的视频码流自适应网络带宽方法，其特征在于，所述根据所述编码码率和所述时域信息，进行视频码流传输，包括：
将时域划分为四种类型的时域层，并将视频编码的时域等级划分为第一等级、第二等级、第三等级和第四等级；所述时域层包括第一时域层、第二时域层、第三时域层和第四时域层；
当所述网络带宽压力系数大于或等于第二临界值且小于第三临界值时，采用第四等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第三临界值且小于第四临界值时，采用第三等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第四临界值且小于第五临界值时，采用第二等级的视频编码帧模式进行视频码流传输；
当所述网络带宽压力系数大于或等于第五临界值时，采用第一等级的视频编码帧模式进行视频码流传输。
7.根据权利要求6所述的视频码流自适应网络带宽方法，其特征在于，
所述第一等级的视频编码帧为第一时域层的编码帧数据；
所述第二等级的视频编码帧为第一时域层和第二时域层的编码帧数据；
所述第三等级的视频编码帧为第一时域层、第二时域层和第三时域层的编码帧数据；
所述第四等级的视频编码帧为第一时域层、第二时域层、第三时域层和第四时域层的编码帧数据。
8.视频码流自适应网络带宽装置，其特征在于，包括：
连接模块，用于建立多媒体码流发送端与多媒体码流接收端之间的连接；
监测模块，用于对数据传输的网络环境进行实时监测；
计算模块，用于根据所述实时监测的结果对网络拥堵状况进行评估，计算网络带宽压力系数；
码率确定模块，用于根据所述网络带宽压力系数，确定视频图像的编码码率；
时域确定模块，用于根据所述网络带宽压力系数，确定视频编码的时域信息；
传输模块，用于根据所述编码码率和所述时域信息，进行视频码流传输。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202110012363.7A 2021-01-06 2021-01-06 一种视频码流自适应网络带宽方法、装置、设备及介质 Pending CN112866752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110012363.7A CN112866752A (zh) 2021-01-06 2021-01-06 一种视频码流自适应网络带宽方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110012363.7A CN112866752A (zh) 2021-01-06 2021-01-06 一种视频码流自适应网络带宽方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112866752A true CN112866752A (zh) 2021-05-28

Family

ID=76004152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110012363.7A Pending CN112866752A (zh) 2021-01-06 2021-01-06 一种视频码流自适应网络带宽方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112866752A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473228A (zh) * 2021-06-11 2021-10-01 深圳锐取信息技术股份有限公司 8k录播视频的传输控制方法、装置、存储介质及设备
CN114040442A (zh) * 2021-11-26 2022-02-11 珠海格力电器股份有限公司 一种无线网关传输***及其信息过滤方法、无线网关
CN114629894A (zh) * 2022-03-19 2022-06-14 苏州知微安全科技有限公司 一种物联网数据的传输方法及装置
CN115103451A (zh) * 2022-06-06 2022-09-23 中国联合网络通信集团有限公司 视频传输方法、装置、电子设备以及可读存储介质
CN115914756A (zh) * 2021-08-12 2023-04-04 花瓣云科技有限公司 基于网络分级的视频码率控制方法和设备
WO2024113869A1 (zh) * 2022-11-29 2024-06-06 华为云计算技术有限公司 视频编码方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724474A (zh) * 2012-05-17 2012-10-10 中南民族大学 自适应网络编码的便携式视频会议终端及实现方法
CN106385374A (zh) * 2016-08-17 2017-02-08 武汉精伦电气有限公司 一种局域网发送端的缓解网络拥塞的传输控制方法及***
CN108668166A (zh) * 2018-05-21 2018-10-16 深圳市梦网科技发展有限公司 一种编码方法、装置及终端设备
CN109600617A (zh) * 2018-12-19 2019-04-09 北京东土科技股份有限公司 视频数据的编码、转发方法、装置、设备及存储介质
CN109600610A (zh) * 2018-11-12 2019-04-09 深圳市景阳科技股份有限公司 一种数据编码方法及终端
CN110046794A (zh) * 2019-03-01 2019-07-23 深圳和而泰数据资源与云技术有限公司 网络质量的评估方法、装置、计算机设备和存储介质
CN111263160A (zh) * 2019-12-16 2020-06-09 陕西师范大学 一种适应无线传输动态变化的视频编码处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724474A (zh) * 2012-05-17 2012-10-10 中南民族大学 自适应网络编码的便携式视频会议终端及实现方法
CN106385374A (zh) * 2016-08-17 2017-02-08 武汉精伦电气有限公司 一种局域网发送端的缓解网络拥塞的传输控制方法及***
CN108668166A (zh) * 2018-05-21 2018-10-16 深圳市梦网科技发展有限公司 一种编码方法、装置及终端设备
CN109600610A (zh) * 2018-11-12 2019-04-09 深圳市景阳科技股份有限公司 一种数据编码方法及终端
CN109600617A (zh) * 2018-12-19 2019-04-09 北京东土科技股份有限公司 视频数据的编码、转发方法、装置、设备及存储介质
CN110046794A (zh) * 2019-03-01 2019-07-23 深圳和而泰数据资源与云技术有限公司 网络质量的评估方法、装置、计算机设备和存储介质
CN111263160A (zh) * 2019-12-16 2020-06-09 陕西师范大学 一种适应无线传输动态变化的视频编码处理方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473228A (zh) * 2021-06-11 2021-10-01 深圳锐取信息技术股份有限公司 8k录播视频的传输控制方法、装置、存储介质及设备
CN113473228B (zh) * 2021-06-11 2022-12-27 深圳锐取信息技术股份有限公司 8k录播视频的传输控制方法、装置、存储介质及设备
CN115914756A (zh) * 2021-08-12 2023-04-04 花瓣云科技有限公司 基于网络分级的视频码率控制方法和设备
CN114040442A (zh) * 2021-11-26 2022-02-11 珠海格力电器股份有限公司 一种无线网关传输***及其信息过滤方法、无线网关
CN114040442B (zh) * 2021-11-26 2023-11-14 珠海格力电器股份有限公司 一种无线网关传输***及其信息过滤方法、无线网关
CN114629894A (zh) * 2022-03-19 2022-06-14 苏州知微安全科技有限公司 一种物联网数据的传输方法及装置
CN114629894B (zh) * 2022-03-19 2024-03-19 敦和万物信息技术(苏州)有限公司 一种用于电子数据取证的物联网数据的传输方法及装置
CN115103451A (zh) * 2022-06-06 2022-09-23 中国联合网络通信集团有限公司 视频传输方法、装置、电子设备以及可读存储介质
WO2024113869A1 (zh) * 2022-11-29 2024-06-06 华为云计算技术有限公司 视频编码方法及相关装置

Similar Documents

Publication Publication Date Title
CN112866752A (zh) 一种视频码流自适应网络带宽方法、装置、设备及介质
US7974200B2 (en) Transmitting and receiving real-time data
US6873654B1 (en) Method and system for predictive control for live streaming video/audio media
JP4729570B2 (ja) トリックモードおよび速度移行
US20140233637A1 (en) Managed degradation of a video stream
TWI478584B (zh) 一種視訊編解碼的方法及其裝置
EP1407596B1 (en) Video stream switching
US8374236B2 (en) Method and apparatus for improving the average image refresh rate in a compressed video bitstream
CN109729437B (zh) 流媒体自适应传输方法、终端和***
JP2020043583A (ja) サーバにおいてマルチビットレートストリーミングメディアをアダプティブに提供するための方法及び装置
US20140181266A1 (en) System, streaming media optimizer and methods for use therewith
ITTO20090486A1 (it) Controllore dinamico della velocita&#39; di trasmissione indipendente dal gruppo di immagini
KR20160110472A (ko) 상이한 인코딩 파라미터를 이용해 인코딩되는 복수의 인코딩 스트리밍
CN115086779A (zh) 视频传输***
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
EP3322189B1 (en) Method and system for controlling video transcoding
CN112866746A (zh) 一种多路串流云游戏控制方法、装置、设备及存储介质
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
JP4447443B2 (ja) 画像圧縮処理装置
WO2000064187A1 (en) Image encoding device and its method
KR101636198B1 (ko) 무선 통신 환경에서 비디오 스트리밍의 트래픽 제어 방법 및 이를 구현하는 수신기 장치
EP4102836A1 (en) Processing video using masking windows
US11968426B2 (en) Systems, devices, and methods for selecting TV user interface transitions
Tripathi et al. Adaptive content-aware scaling for improved video streaming
KR101637840B1 (ko) 토큰 버킷 기법을 이용한 비디오 스트리밍 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528