CN115103216A - 直播数据的处理方法、装置、计算机设备及存储介质 - Google Patents
直播数据的处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115103216A CN115103216A CN202210854982.5A CN202210854982A CN115103216A CN 115103216 A CN115103216 A CN 115103216A CN 202210854982 A CN202210854982 A CN 202210854982A CN 115103216 A CN115103216 A CN 115103216A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- live broadcast
- data
- network environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000001960 triggered effect Effects 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及数据处理技术领域，揭露一种直播数据的处理方法，包括：响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；若是，则将直播关联端口的音视频数据进行丢帧处理。本发明能够实现直播数据在弱网环境中的持续播放，减缓弱网环境中直播数据产生的卡顿和高延时，提高网络直播效果。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及到直播数据的处理方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的发展，很多***络元素不断产生，其中，直播平台作为一种新兴的互动平台，已成为人们进行信息传递、交流互动的一种常用互通方式。
由于直播需要网络推流的，而且直播对网络要求比较高，如果网络不稳定，直播出来的效果就会很差，观众看到的直播就会发生卡顿现象。相关技术在弱网环境中，会出现直播中发起方最大比特率过高的情况，此时为了保证直播正常进行，会对直播数据进行丢帧处理，适当的丢帧能起到正面的视频加速效果。但是，丢帧的直播数据通常被放入缓冲队列，以便于用户进行延时追赶，如果缓冲队列中的数据过多，使得直播产生卡顿和高延时，影响网络直播效果。
发明内容
有鉴于此，本发明提供了一种直播数据的处理方法、装置、计算机设备及存储介质，主要目的在于解决现有技术中弱网环境会使得直播视频产生卡顿和高延时，影响网络直播效果的问题。
依据本发明一个方面，提供了一种直播数据的处理方法，该方法包括：
响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
若是，则将直播关联端口的音视频数据进行丢帧处理。
依据本发明另一个方面，提供了一种直播数据的处理装置，所述装置包括：
获取模块，用于响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
发送模块，用于当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断模块，用于判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
丢帧模块，用于若是，则将直播关联端口的音视频数据进行丢帧处理。
依据本发明又一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现直播数据的处理方法的步骤。
依据本发明再一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现直播数据的处理方法的步骤。
借由上述技术方案，本发明提供一种直播数据的处理方法、装置、计算机设备及存储介质，响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，该配置数据中包括发送队列最大时间跨度阈值，当触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列，判断待发送的音视频序列对应的首尾时间戳是否大于发送队列最大时间跨度阈值，若是，则将直播关联端口的音视频数据进行丢帧处理。与现有技术中使用丢帧方式对卡顿情况下的直播数据进行处理的方式相比，本申请并不是将卡顿情况的直播数据直接进行丢帧处理，而是在触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并重新调整音视频数据进行编码，进一步针对编码后音视频序列对应的首尾时间戳大于发送队列的最大跨度的音视频数据进行丢帧处理，实现在弱网环境下直播数据的持续播放，减缓弱网环境中直播数据产生的卡顿和高延时，进而提高网络直播效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明一实施例中直播数据的处理方法的一应用环境示意图；
图2是本发明一实施例中直播数据的处理方法的一流程示意图；
图3是本发明另一实施例中直播数据的处理方法的一流程示意图；
图4是图2中步骤S20的一具体实施方式流程示意图；
图5是图4中步骤S21的另一具体实施方式流程示意图；
图6是图2中步骤S40的一具体实施方式流程示意图；
图7是本发明另一实施例中直播数据的处理方法的一流程示意图；
图8是图7中步骤S60的一具体实施方式流程示意图；
图9是本发明实施例中直播数据的处理方法另一流程模块框图；
图10是本发明一实施例中直播数据的处理装置的一结构示意图；
图11是本发明一实施例中计算机设备的一结构示意图；
图12是本发明一实施例中计算机设备的另一结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供的直播数据的处理方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。服务端可以响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，该配置数据中包括发送队列最大时间跨度阈值，当触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列，判断待发送的音视频序列对应的首尾时间戳是否大于发送队列最大时间跨度阈值，若是，则在客户端将直播关联端口的音视频数据进行丢帧处理。在本发明中，在触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并重新调整音视频数据进行编码，进一步针对编码后音视频序列对应的首尾时间戳大于发送队列的最大跨度的音视频数据进行丢帧处理，实现在弱网环境下直播数据的持续播放，减缓弱网环境中直播数据产生的卡顿和高延时，进而提高网络直播效果。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
请参阅图2所示，图2为本发明实施例提供的直播数据的处理方法的一个流程示意图，包括如下步骤：
S10、响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据。
本发明实施例提供的直播数据的处理方法可应用于各种场景对应的网络直播平台，例如，游戏直播、卖场直播、综艺直播等。网络直播平台可通过服务端实现，该服务端分别连接用户端和直播设备端，一方面，通过通过实时向用户端发起直播邀请，另一方面，通过直播设备端可以实时获取直播数据，进一步向进入直播的用户端发送直播数据。具体在直播过程中，由于直播数据涉及到多个不同设备端的传输，网络环境在直播数据中起着十分重要的作用，一旦网络环境发生改变，直播数据的传输都会受到影响。
考虑到网络环境对直播效果的影响，通常情况在网络环境较差的情况下会对直播数据进行丢帧处理，进而降低码率，提高直播流畅度。这里会预先配置直播过程中丢帧相关的配置数据，可通过业务服务端配置，当直播应用启动时，通过请求业务服务端口获取丢帧相关的配置数据。具体丢帧相关的配置数据中可以包括发送队列最大时间跨度阈值，该发送队列最大时间跨度即为待发送音视频数据被允许的时间跨度阈值，如果待发送音视频数据对应的时间跨度大于时间跨度阈值，说明待发送音视频数据存在一定的卡顿或高延时情况。
S20、当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列。
在本发明实施例中，网络环境的好坏直接影响到直播效果，如果网络环境较差，可以针对待传输的音视频数据进行丢帧处理，以保证直播效果。一旦网络环境发生变化都会触发网络环境转换事件，这里的网络环境的变化可以受到无线信号强弱的影响、移动信号强弱的影响以及信号类型切换的影响。
进一步的，为了更好地对网络环境进行监控，以及时发现网络环境的变化，具体地，如图3所示，在步骤S20之前，也即当触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列之前，还包括如下步骤：
S50、使用网络检测工具对直播过程中的网络环境进行检测，若检测到网络直播环境符合转换条件，则触发网络环境转换事件。
其中，转换条件为至少发生以下几种情况之一：无线连接信号的强度变化幅度达到第一阈值、无线连接信号和移动网络信号发生转换、移动网络信号的强度变化幅度达到第二阈值，所述强度变化幅度为无线连接信号的强度在预设时间范围内产生的差值。
需要理解的是，丢帧相关的配置数据中还包括网络环境和音视频采样频率之间的映射关系，例如，网络环境表征网络状态量良好，对应视频采样频率为30fps，对应音频采样频率为44100HZ，网络环境表征网络状态较差，对应视频采样频率为15fps，对应音频采样频率为8000HZ。具体地，如图4所示，步骤S20，也即当触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列，包括如下步骤：
S21、当触发网络环境转换事件时，利用所述网络环境和音视频采样频率之间的映射关系重新设置音视频采样频率。
S22、通过代理模式获取从硬件采集设备接口回调的音视频数据，使用重新设置的音视频采样频率对所述音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列。
由于音频数据和视频数据具有不同的数据特性，这里音视频采样频率在初始采集的时候即使用不同的采样频率，当网络环境发生变化时，无论是网络环境由坏变好还是由好变坏，根据网络环境和音视频采样频率之间的映射关系确定分别当前网络环境对应的音频采样频率和视频采样频率，并使用重新确定的音频采样频率对音频数据进行采样，以及使用重新确定的视频采样频率对视频数据进行采样。
其中，音视频采样设备可以包括摄像头、照相机等视频采集设备以及麦克风等音频采样设备，通常情况下，智能终端会同时部署有音视频采集设备。考虑到应用程序中大多数音视频采样设备的采集都具有权限，在进行音视频采集之前都需要先判断摄像头和麦克风的权限，这里代理模式可以向用户来询问硬件采集设备的访问权限，进一步在获取到硬件采集设备允许访问的权限后，使用硬件采集设备回调相应的音视频数据。
需要理解的是，由于网络环境的切换对应有不同的波动状态，具体地，如图5所示，步骤S21中，也即当触发网络环境转换事件时，利用网络环境和音视频采样频率之间的映射关系重新设置音视频采样频率，包括如下步骤：
S211、当触发网络环境转换事件时，获取当前网络环境对应的状态信息，并根据所述当前网络环境对应的状态信息，利用所述网络环境和音视频采样频率之间的映射关系，查询所述当前网络环境适用的音视频采样频率范围。
S212、根据所述当前网络环境适用的音视频采样频率范围，重新设置音视频采样频率。
其中，网络环境对应的状态信息可以是直播设备对应接入网络的波动信息，例如，波动幅度、波动时长等，对于波动幅度较快或波动时间较长的情况，当前网络环境使用的音视频采样频率明显无法满足直播需求，需要重新设置音视频采样频率，并使用重新设置的音视频采样频率进行音视频数据采集，对于波动幅度较慢且波动时间较短的情况，当前网络环境使用的音视频采样频率可根据用户需求进行调整，如果用户可以接受短暂的网络延迟，则无需重新设置音视频采样频率。
可以理解的是，考虑到音视频采样频率选取的灵活性，这里网络环境和音视频采样频率之间的映射关系还可以设置为网络环境所适用不同音视频采样频率范围。
S30、判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值。
对于待发送的音视频序列对应的首尾时间戳大于发送队列最大时间跨度，说明受到网络影响传输数据发送较慢，使得当前传输的直播数据存在时间上的滞后，可能会产生卡顿或者高延时，如果还继续传输会影响直播效果，此时不适宜将直播数据发送至用户端进行展示，反之，直播数据会正常传输至用户端进行展示。
S40、若是，则将直播关联端口的音视频数据进行丢帧处理。
可以理解的是，音视频数据的丢帧数据可以从一定程度上缓解直播过程的卡顿和高延时，但是丢帧过程并不是针对所有的直播关联端口。具体地，如图6所示，步骤S40，也即将直播关联端口的音视频数据进行丢帧处理，包括如下步骤：
S41、分别获取直播关联采集端口中采集得到的音视频数据以及直播关联编码接口中正在编码的音视频数据。
S42、将所述采集得到的音视频数据以及所述正在编码的音视频数据进行丢帧处理。
这里主要是针对采集端口中采集的音视频数据进行丢帧处理的过程以及针对编码接口中正在编辑的音视频数据进行丢帧处理的过程。
进一步地，考虑到视频数据与音频数据在采集过程对应的采样频率不同，使得后续音视频同步过程会受到一定的影响。具体地，如图7所示，在步骤S40之后，也即在将直播关联端口的音视频数据进行丢帧处理之后，还包括如下步骤：
S60、利用所述丢帧相关的配置数据对所述待发送的音视频序列封包后执行音视频同步机制，以将音视频同步后的直播数据发送至内容分发网络对应的服务端。
其中，音视频同步机制是为了直播过程中直播数据中的音频和视频相对应，如果音频数据和视频数据不同步，用户端所观看到的直播视频与音频也会存在不一致，影响直播效果。由于音频帧采样频率远高于视频帧采样频率，通常情况下，音频数据帧会大于视频数据帧，可以根据视频帧和音频帧对应的比例关系执行音视频同步机制。
这里内容分发网络可构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需的直播内容。
进一步地，丢帧相关的配置数据中还包括视频帧超时的时间阈值，具体地，如图8所示，步骤S60，也即利用丢帧相关的配置数据对待发送的音视频序列封包后执行音视频同步机制，以将音视频同步后的直播数据发送至内容分发网络对应的服务端，包括如下步骤：
S61、从所述待发送的音视频序列中提取当前时刻待发送视频帧的时间戳，并计算上一时刻已发送音频帧对应的时间戳与所述当前时刻待发送视频帧的时间戳形成的时间戳差值。
S62、判断所述时间戳差值是否大于所述视频帧超时的时间阈值。
S63、若是，则判定所述待发送的音视频序列不满足音视频同步条件，并对直播关联编码接口中滞后的视频帧进行丢帧处理后，将音视频同步后的直播数据发送至内容分发网络对应的服务端。
对于上一时刻已发送音频对应的时间戳大于当前待发送时视频帧的时间戳的差值超过视频帧超时的时间阈值，说明视频帧已经滞后，需要丢掉编码接口中滞后的视频帧，包括I帧、P帧、B帧直到下一个I帧，以保证音视频同步。对于上一时刻已发送音频对应的时间戳大于当前待发送视频的时间戳的差值并未超过视频帧超时的时间阈值，说明视频帧与音频针同步，可以直接将音视频同步的直播数据发送至内容分发网络对应的服务端。
为了进一步说明直播数据的处理过程，如图9所示，本发明实例还提供了直播数据的处理方法另一流程框图，包括数据配置、数据采集、数据缓存、数据编码以及数据发送，具体执行过程如下：当直播应用启动时，获取配置模块会获取丢帧相关的配置数据，包括：发送队列最大时间跨度、视频帧超时的时间阈值、网络环境和音视频采样频率之间的映射关系，在直播应用启动的同时开启网络环境监听，在整个直播过程中会分别使用预先设置的音频采样频率采集音频数据和使用预先设置的视频采样频率采集视频数据，当监听到网络环境转换事件的触发时，利用网络环境和音视频采样频率之间的映射关系来重新设置采集模块中的音视频采样频率，并使用重新设置的音视频采样频率重新采集音视频数据，进一步对采集的到的音视频数据进行编码得到待发送的音视频序列，如果待发送的音视频序列的首尾时间戳相差大于发送队列最大时间跨度阈值，启动数据缓存中的丢帧指令对采集的到的音视频数据进行丢帧处理，以及启动数据编码中的丢帧指令对当前正在编码的音视频序列进行丢帧处理，并将丢帧处理后的音视频数据进行同步后封包处理，以将同步封包处理后的音视频数据发送至内容分发网络。
在一实施例中，提供一种直播数据的处理装置，该直播数据的处理装置与上述实施例中直播数据的处理方法一一对应。如图10所示，该直播数据的处理装置包括获取模块101、发送模块102、判断模块103、丢帧模块104。
各功能模块详细说明如下：
获取模块101，用于响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
发送模块102，用于当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断模块103，用于判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
丢帧单元104，用于若是，则将直播关联端口的音视频数据进行丢帧处理。
在一实施例中，所述装置还包括：
检测模块，可以用于在所述当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列之前，使用网络检测工具对直播过程中的网络环境进行检测，若检测到网络直播环境符合转换条件，则触发网络环境转换事件；
其中，所述转换条件为至少发生以下几种情况之一：无线连接信号的强度变化幅度达到第一阈值、无线连接信号和移动网络信号发生转换、移动网络信号的强度变化幅度达到第二阈值，所述强度变化幅度为无线连接信号的强度在预设时间范围内产生的差值。
在一实施例中，所述丢帧相关的配置数据中还包括网络环境和音视频采样频率之间的映射关系，所述发送模块，具体用于：
当触发网络环境转换事件时，利用所述网络环境和音视频采样频率之间的映射关系重新设置音视频采样频率；
通过代理模式获取从硬件采集设备接口回调的音视频数据，使用重新设置的音视频采样频率对所述音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列。
在一实施例中，所述发送模块，还用于：
当触发网络环境转换事件时，获取当前网络环境对应的状态信息，并根据所述当前网络环境对应的状态信息，利用所述网络环境和音视频采样频率之间的映射关系，查询所述当前网络环境适用的音视频采样频率范围；
根据所述当前网络环境适用的音视频采样频率范围，重新设置音视频采样频率。
在一实施例中，所述丢帧模块，具体用于：
分别获取直播关联采集端口中采集得到的音视频数据以及直播关联编码接口中正在编码的音视频数据；
将所述采集得到的音视频数据以及所述正在编码的音视频数据进行丢帧处理。
在一实施例中，所述装置还包括：
执行模块，用于在所述将直播关联端口的音视频数据进行丢帧处理之后，利用所述丢帧相关的配置数据对所述待发送的音视频序列封包后执行音视频同步机制，以将音视频同步后的直播数据发送至内容分发网络对应的服务端
在一实施例中，所述丢帧相关的配置数据中还包括视频帧超时的时间阈值，所述执行模块，具体用于：
从所述待发送的音视频序列中提取当前时刻待发送视频帧的时间戳，并计算上一时刻已发送音频帧对应的时间戳与所述当前时刻待发送视频帧的时间戳形成的时间戳差值；
判断所述时间戳差值是否大于所述视频帧超时的时间阈值；
若是，则判定所述待发送的音视频序列不满足音视频同步条件，并对直播关联编码接口中滞后的视频帧进行丢帧处理后，将音视频同步后的直播数据发送至内容分发网络对应的服务端。
本实施例提供了一种直播数据的处理装置，通过在触发网络环境转换事件时，利用丢帧相关的配置数据对音视频数据进行采集，并重新调整音视频数据进行编码，进一步针对编码后音视频序列对应的首尾时间戳大于发送队列的最大跨度的音视频数据进行丢帧处理，实现在弱网环境下直播数据的持续播放，减缓弱网环境中直播数据产生的卡顿和高延时，进而提高网络直播效果。
关于直播数据的处理装置的具体限定可以参见上文中对于直播数据的处理方法的限定，在此不再赘述。上述直播数据的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种直播数据的处理方法服务端侧的功能或步骤。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种直播数据的处理方法客户端侧的功能或步骤
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
若是，则将直播关联端口的音视频数据进行丢帧处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
若是，则将直播关联端口的音视频数据进行丢帧处理。
需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种直播数据的处理方法，其特征在于，所述方法包括：
响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
若是，则将直播关联端口的音视频数据进行丢帧处理。
2.根据权利要求1所述的方法，其特征在于，在所述当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列之前，所述方法还包括：
使用网络检测工具对直播过程中的网络环境进行检测，若检测到网络直播环境符合转换条件，则触发网络环境转换事件；
其中，所述转换条件为至少发生以下几种情况之一：无线连接信号的强度变化幅度达到第一阈值、无线连接信号和移动网络信号发生转换、移动网络信号的强度变化幅度达到第二阈值，所述强度变化幅度为无线连接信号的强度在预设时间范围内产生的差值。
3.根据权利要求1所述的方法，其特征在于，所述丢帧相关的配置数据中还包括网络环境和音视频采样频率之间的映射关系，所述当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列，具体包括：
当触发网络环境转换事件时，利用所述网络环境和音视频采样频率之间的映射关系重新设置音视频采样频率；
通过代理模式获取从硬件采集设备接口回调的音视频数据，使用重新设置的音视频采样频率对所述音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列。
4.根据权利要求3所述的方法，其特征在于，所述当触发网络环境转换事件时，利用所述网络环境和音视频采样频率之间的映射关系重新设置音视频采样频率，具体包括：
当触发网络环境转换事件时，获取当前网络环境对应的状态信息，并根据所述当前网络环境对应的状态信息，利用所述网络环境和音视频采样频率之间的映射关系，查询所述当前网络环境适用的音视频采样频率范围；
根据所述当前网络环境适用的音视频采样频率范围，重新设置音视频采样频率。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述将直播关联端口的音视频数据进行丢帧处理，具体包括：
分别获取直播关联采集端口中采集得到的音视频数据以及直播关联编码接口中正在编码的音视频数据；
将所述采集得到的音视频数据以及所述正在编码的音视频数据进行丢帧处理。
6.根据权利要求1-4中任一项所述的方法，其特征在于，在所述将直播关联端口的音视频数据进行丢帧处理之后，所述方法还包括：
利用所述丢帧相关的配置数据对所述待发送的音视频序列封包后执行音视频同步机制，以将音视频同步后的直播数据发送至内容分发网络对应的服务端。
7.根据权利要求6所述的方法，其特征在于，所述丢帧相关的配置数据中还包括视频帧超时的时间阈值，所述利用所述丢帧相关的配置数据对所述待发送的音视频序列封包后执行音视频同步机制，以将音视频同步后的直播数据发送至内容分发网络对应的服务端，具体包括：
从所述待发送的音视频序列中提取当前时刻待发送视频帧的时间戳，并计算上一时刻已发送音频帧对应的时间戳与所述当前时刻待发送视频帧的时间戳形成的时间戳差值；
判断所述时间戳差值是否大于所述视频帧超时的时间阈值；
若是，则判定所述待发送的音视频序列不满足音视频同步条件，并对直播关联编码接口中滞后的视频帧进行丢帧处理后，将音视频同步后的直播数据发送至内容分发网络对应的服务端。
8.一种直播数据的处理装置，其特征在于，所述装置包括：
获取模块，用于响应于网络直播的开启指令，获取直播过程中丢帧相关的配置数据，所述配置数据中包括发送队列最大时间跨度阈值；
发送模块，用于当触发网络环境转换事件时，利用所述丢帧相关的配置数据对音视频数据进行采集，并将采集得到的音视频数据编码成待发送的音视频序列；
判断模块，用于判断所述待发送的音视频序列对应的首尾时间戳是否大于所述发送队列最大时间跨度阈值；
丢帧模块，用于若是，则将直播关联端口的音视频数据进行丢帧处理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210854982.5A CN115103216B (zh) | 2022-07-19 | 2022-07-19 | 直播数据的处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210854982.5A CN115103216B (zh) | 2022-07-19 | 2022-07-19 | 直播数据的处理方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115103216A true CN115103216A (zh) | 2022-09-23 |
| CN115103216B CN115103216B (zh) | 2024-07-05 |
Family
ID=83298510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210854982.5A Active CN115103216B (zh) | 2022-07-19 | 2022-07-19 | 直播数据的处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115103216B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016015670A1 (zh) * | 2014-08-01 | 2016-02-04 | 广州金山网络科技有限公司 | 一种音频流解码方法及装置 |
| CN108495142A (zh) * | 2018-04-11 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| CN108769826A (zh) * | 2018-06-22 | 2018-11-06 | 广州酷狗计算机科技有限公司 | 直播媒体流获取方法、装置、终端及存储介质 |
| CN112822505A (zh) * | 2020-12-31 | 2021-05-18 | 杭州星犀科技有限公司 | 音视频丢帧方法、装置、***、存储介质和计算机设备 |
| CN112887742A (zh) * | 2021-01-14 | 2021-06-01 | 北京字节跳动网络技术有限公司 | 直播流处理方法、装置、设备及存储介质 |
| CN113037697A (zh) * | 2019-12-25 | 2021-06-25 | 深信服科技股份有限公司 | 一种视频帧处理方法、装置和电子设备及可读存储介质 |
| CN114640886A (zh) * | 2022-02-28 | 2022-06-17 | 深圳市宏电技术股份有限公司 | 自适应带宽的音视频传输方法、装置、计算机设备及介质 |
-
2022
- 2022-07-19 CN CN202210854982.5A patent/CN115103216B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016015670A1 (zh) * | 2014-08-01 | 2016-02-04 | 广州金山网络科技有限公司 | 一种音频流解码方法及装置 |
| CN108495142A (zh) * | 2018-04-11 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| CN108769826A (zh) * | 2018-06-22 | 2018-11-06 | 广州酷狗计算机科技有限公司 | 直播媒体流获取方法、装置、终端及存储介质 |
| CN113037697A (zh) * | 2019-12-25 | 2021-06-25 | 深信服科技股份有限公司 | 一种视频帧处理方法、装置和电子设备及可读存储介质 |
| CN112822505A (zh) * | 2020-12-31 | 2021-05-18 | 杭州星犀科技有限公司 | 音视频丢帧方法、装置、***、存储介质和计算机设备 |
| CN112887742A (zh) * | 2021-01-14 | 2021-06-01 | 北京字节跳动网络技术有限公司 | 直播流处理方法、装置、设备及存储介质 |
| CN114640886A (zh) * | 2022-02-28 | 2022-06-17 | 深圳市宏电技术股份有限公司 | 自适应带宽的音视频传输方法、装置、计算机设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115103216B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11228630B2 (en) | Adaptive bit rate media streaming based on network conditions received via a network monitor | |
| CN111135569A (zh) | 云游戏处理方法、装置、存储介质与电子设备 | |
| CN110121114B (zh) | 发送流数据的方法及数据发送设备 | |
| US10681413B2 (en) | Determining a quality of experience metric based on uniform resource locator data | |
| CN109600610B (zh) | 一种数据编码方法、终端及计算机可读存储介质 | |
| US20040202109A1 (en) | Data distribution server and terminal apparatus | |
| US9781595B2 (en) | Wireless communication device | |
| KR102656605B1 (ko) | 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체 | |
| CN113891175B (zh) | 直播推流方法、装置及*** | |
| CN106658065B (zh) | 音视频同步方法、装置及*** | |
| US20190349616A1 (en) | Method and device for transmitting video | |
| CN104639501B (zh) | 一种数据流传输的方法、设备及*** | |
| CN111479161B (zh) | 一种直播的质量数据上报方法和装置 | |
| CN115103216A (zh) | 直播数据的处理方法、装置、计算机设备及存储介质 | |
| CN110570614B (zh) | 一种视频监控***及智能相机 | |
| CN116962179A (zh) | 网络传输优化方法、装置、计算机可读介质及电子设备 | |
| CN114339869B (zh) | 网络管理方法、装置、电子设备和存储介质 | |
| CN112565337B (zh) | 请求传输方法、服务端、客户端、***及电子设备 | |
| CN110798700B (zh) | 视频处理方法、视频处理装置、存储介质与电子设备 | |
| US10728911B2 (en) | Wireless communication device | |
| EP3693865A1 (en) | Data communication device, communication system, data communication method, and program | |
| CN112217842A (zh) | 一种数据传输方法及装置 | |
| CN111131814A (zh) | 一种数据反馈方法、装置及机顶盒 | |
| US20130195170A1 (en) | Data transmission apparatus, data transmission method, and storage medium | |
| CN116506882A (zh) | 数据传输方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |