CN114339453B - 时间戳校准方法和装置、电子设备和存储介质 - Google Patents
时间戳校准方法和装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114339453B CN114339453B CN202210010833.0A CN202210010833A CN114339453B CN 114339453 B CN114339453 B CN 114339453B CN 202210010833 A CN202210010833 A CN 202210010833A CN 114339453 B CN114339453 B CN 114339453B
- Authority
- CN
- China
- Prior art keywords
- target
- value
- timestamp
- time stamp
- jump
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种时间戳校准的方法和装置、电子设备和存储介质，其中，该方法包括：获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值；确定目标视频流中的视频帧的标准时间戳差值；在目标跳变值大于预设阈值的情况下，根据预设阈值确定出当前视频帧对应的校准后时间戳，其中，校准后时间戳的跳变值小于或等于预设阈值，且大于标准时间戳差值；将目标时间戳修改为校准后时间戳，得到校准后视频数据流。通过将目标跳变值大于预设阈值的目标时间戳，修改为跳变值小于或等于预设阈值的目标时间戳，以及使校准后时间戳的跳变值大于标准时间戳差值，可以克服相关技术中因为部分视频数据丢失，导致画面出现卡顿以及音视频不同步的技术问题。
Description
技术领域
本申请涉及直播技术领域，尤其涉及一种时间戳校准方法和装置、电子设备和存储介质。
背景技术
目前，视频播放过程中会出现音频时间戳与视频时间戳不一致的情况，例如，缺少与音频时间戳相同的视频时间戳，该情况一般是由网络等原因引起的音视频的传输过程中为了缓解传输压力丢弃一部分视频数据而导致的，进而会导致画面卡顿以及音视频不同步的情况。并且相关技术中，未提供对这种情况进行处理的方案。
因此，相关技术中存在因为部分视频数据丢失，导致画面出现卡顿以及音视频不同步的技术问题。
发明内容
本申请提供了一种时间戳校准方法和装置、电子设备和存储介质，以至少解决相关技术中存在的因为部分视频数据丢失，导致画面卡顿以及音视频不同步的问题。
根据本申请实施例的一个方面，提供了一种时间戳校准方法，包括：
获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
确定所述目标视频流中的视频帧的标准时间戳差值，其中，所述标准时间戳差值为相邻两个所述视频帧在未发生跳变的情况下，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，其中，所述校准后时间戳的跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值；
将所述目标时间戳修改为所述校准后时间戳，得到校准后视频数据流。
可选地，如前述的方法，所述获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，包括：
确定位于所述当前视频帧前一帧的前一视频帧对应的前一时间戳；
通过计算所述目标时间戳与所述前一时间戳之间的差值，得到所述目标时间戳的所述目标跳变值。
可选地，如前述的方法，所述在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，包括：
将所述目标跳变值与所述预设阈值进行比对，得到比对结果；
在所述比对结果指示所述目标跳变值大于预设阈值的情况下，通过前一时间戳与预设跳变值之和计算得到所述校准后时间戳，其中，所述前一时间戳为位于所述当前视频帧前一帧的前一视频帧对应的时间戳，所述预设跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值。
可选地，如前述的方法，在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的出校准后时间戳之前，所述方法还包括：
确定出所述目标视频流的目标单位时间帧数，其中，所述目标单位时间帧数为所述目标视频流在未跳变情况下的单位时间中包括的所述视频帧的数量；
按照预设对应关系，确定出所述目标单位时间帧数对应的目标阈值，其中，所述预设对应关系中包括候选阈值与单位时间帧数之间的一一对应关系；
将所述目标阈值确定为所述预设阈值。
可选地，如前述的方法，在所述获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，所述方法包括：
确定出在历史时间段中的所有历史视频帧，以及与每个所述历史视频帧对应的历史跳变值；
对所有所述历史跳变值进行平均值计算，得到平均跳变值；
在所述平均跳变值大于预设跳变平均值的情况下，生成用于指示所述目标视频流对应的直播源存在故障的告警信息；
将所述告警信息发送至所述直播源。
可选地，如前述的方法，在所述获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，所述方法还包括：
在所述目标跳变值为负数的情况下，在所述目标视频流中对所述当前视频帧进行删除。
可选地，如前述的方法，在所述获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，所述方法还包括：
获取目标视频流中的当前音频帧对应的音频时间戳的音频跳变值；
在所述目标跳变值大于所述预设阈值的情况下，对所述音频跳变值与所述目标跳变值进行比对，得到音视频帧差值；
在所述音视频帧差值指示所述音频跳变值与所述目标跳变值的差值在预设差值范围内的情况下，停止对所述目标时间戳进行修改，并获取目标视频流中的当前视频帧之后的下一个视频帧对应的时间戳的跳变值。
根据本申请实施例的另一个方面，还提供了一种时间戳校准装置，包括：
获取模块，用于获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
第一确定模块，用于确定所述目标视频流中的视频帧的标准时间戳差值，其中，所述标准时间戳差值为相邻两个所述视频帧在未发生跳变的情况下，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
第二确定模块，用于在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，其中，所述校准后时间戳的跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值；
修改模块，用于将所述目标时间戳修改为所述校准后时间戳，得到校准后视频数据流。
根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中，采用时间戳校准的方式，通过获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；确定所述目标视频流中的视频帧的标准时间戳差值，其中，所述标准时间戳差值为相邻两个所述视频帧在未发生跳变的情况下，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，其中，所述校准后时间戳的跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值；将所述目标时间戳修改为所述校准后时间戳，得到校准后视频数据流。通过将目标跳变值大于预设阈值的目标时间戳，修改为跳变值小于或等于预设阈值的目标时间戳，可以减少当前视频帧的前一视频帧的播放时长，进而达到降低画面卡顿时长的目的，使校准后视频数据流的流畅度相对于目标视频流得到提升，让用户感官上感受不到视频卡顿或者跳变的情况，并且，通过使校准后时间戳的跳变值大于标准时间戳差值，可以达到通过延长当前视频帧的前一视频帧的展示时长，以在音频时间戳稳定的情况下，实现校准后视频数据流中的当前视频帧的时间戳可以追赶音频时间戳，进而可以在对目标时间戳校准的同时实现音视频同步的目的。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种可选的时间戳校准方法的流程示意图；
图2是根据本申请另一实施例的一种可选的时间戳校准方法的流程示意图；
图3是根据本申请另一实施例的一种可选的时间戳校准方法的示意图；
图4是根据本申请实施例的另一种可选的时间戳校准装置的结构框图；
图5是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种时间戳校准方法。可选地，在本实施例中，上述时间戳校准方法可以应用于由终端和服务器所构成的硬件环境中。服务器通过网络与终端进行连接，可用于为终端或终端上安装的客户端提供服务(如直播流推送服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器提供数据存储服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端可以并不限定于为PC、手机、平板电脑等。
本申请实施例的时间戳校准方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。其中，终端执行本申请实施例的时间戳校准方法也可以是由安装在其上的客户端来执行。
以由服务器来执行本实施例中的时间戳校准方法为例，图1为本申请实施例提供的一种时间戳校准方法，包括如下所述步骤：
步骤S101，获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个视频帧的时间戳与前一个视频帧的时间戳之间的差值。
本实施例中的时间戳校准方法可以应用于需要对直播视频流进行推流的场景，例如：对来自于直播源的视频流进行分发的场景等，也可以是对其他直播视频流进行推流的场景。在不矛盾的情况下，上述的时间戳校准方法同样适用。
在获取直播源的目标视频流的过程中，可以获取直播源的在获取目标视频流的当前视频帧之后，可以获取当前视频帧的时间戳，即目标时间戳。
在确定出当前视频帧的目标时间戳之后，可以通过确定前一视频帧的前一时间戳，然后计算目标时间戳与前一时间戳之间的差值，即可得到目标时间戳的跳变值。
例如，在目标时间戳为12，而前一时间戳为4的情况下，则目标跳变值为12-4＝8。
步骤S102，确定目标视频流中的视频帧的标准时间戳差值，其中，标准时间戳差值为相邻两个视频帧在未发生跳变的情况下，后一个视频帧的时间戳与前一个视频帧的时间戳之间的差值。
标准时间戳差值为相邻两个视频帧在未发生跳变的情况下，后一个视频帧的时间戳与前一个视频帧的时间戳之间的差值；并且，一般情况下，相邻两个视频帧在未发生跳变的情况下，标准时间戳差值为1。
进一步的，对于目标视频流中的音频帧，一般情况下单位时间中音频帧的数量保持稳定，且在音频帧未出现跳变的情况下，单位时间中音频帧的数量也是固定的，并且与未发生跳变情况下的视频帧的数量相同，因此，标准时间戳差值也即为相邻两个音频帧在未发生跳变的情况下，后一个音频帧的时间戳与前一个音频帧的时间戳之间的差值。
步骤S103，在目标跳变值大于预设阈值的情况下，根据预设阈值确定出当前视频帧对应的校准后时间戳，其中，校准后时间戳的跳变值小于或等于预设阈值，且大于标准时间戳差值；
在确定出目标跳变值之后，可以通过将目标跳变值与预设阈值进行比对，进而判断出目标跳变值与预设阈值之间的大小关系。
其中，预设阈值可以是预先设定的，用于指示视频帧无需进行时间戳校准的最大值，例如，在预设阈值为2的情况下，当目标跳变值为2时，则目标视频帧无需进行校准，当目标时间戳为12，而前一时间戳为4，目标跳变值为12-4＝8情况下，则需要对该目标时间戳进行校准，以得到校准后时间戳。
并且，对当前视频帧的时间戳进行校准所得到校准后时间戳，需要满足跳变值小于或等于预设阈值，且大于标准时间戳差值。例如，在标准时间戳差值为1，预设阈值为2，目标时间戳为12，而由于时间戳分别为5、6、7、8、9、10、11的视频帧都丢失，导致前一时间戳为4，因此目标跳变值为12-4＝8﹥2的情况下，则可选的时间为了使校准后时间戳的跳变值小于或等于预设阈值，且大于标准时间戳差值，因此可以将校准后时间戳的跳变值设为2，进而确定出校准后时间戳为6。并且通过此方式对目标时间戳进行校正之后，在当前视频帧之后的后一视频帧相对于当前视频帧未发生跳变(即，当时间戳差值为连续的整数时，对应的时间戳为13)的情况下，可以使后一视频帧相对于校准后时间戳的跳变值缩小为7，并且以单位时间中音频帧数量与视频帧数量一致，且音频帧未出现跳变的情况下，前一视频帧的时间戳为4，与时间戳为11的前一音频帧之间的时间戳差值为7，大于校准后时间戳6与时间戳为12的当前音频帧之间的时间戳差值6，进而可以实现校准后视频帧的校准后时间戳可以追赶音频时间戳的目的。
步骤S104，将目标时间戳修改为校准后时间戳，得到校准后视频数据流。
在确定出校准后时间戳之后，即可将目标时间戳修改为校准后时间戳，进而建立当前视频帧与校准后时间戳之间的对应关系，便可基于对应设置的当前视频帧与校准后时间戳得到对目标视频流进行校准得到的校准后视频数据流。
进一步的，若当前视频帧的下一视频帧对应的时间戳的跳变值仍然大于预设阈值，则可按照步骤S102至S103中的方法对下一视频帧对应的时间戳进行校准，并按此循环，直至视频帧对应的时间戳的跳变值小于或等于预设阈值为止。
通过本实施例的方法，通过将目标跳变值大于预设阈值的目标时间戳，修改为跳变值小于或等于预设阈值的目标时间戳，可以减少当前视频帧的前一视频帧的播放时长，进而达到降低画面卡顿时长的目的，使校准后视频数据流的流畅度相对于目标视频流得到提升，让用户感官上感受不到视频卡顿或者跳变的情况，并且，通过使校准后时间戳的跳变值大于标准时间戳差值，可以达到通过延长当前视频帧的前一视频帧的播放时长，以在音频时间戳稳定的情况下，实现校准后视频数据流中的当前视频帧的时间戳可以追赶音频时间戳，进而可以在对目标时间戳校准的同时实现音视频同步的目的。
如图2所示，作为一种可选的实施例，如前述的方法，所述步骤S101获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，包括如下所述步骤：
步骤S201，确定位于当前视频帧前一帧的前一视频帧对应的前一时间戳。
在获取目标视频流之后，可以获取目标视频流中的每一帧视频帧，因此，可以从中确定出当前视频帧前一帧的前一视频帧。
在确定出前一视频帧之后，通过确定其对应的时间戳，即可确定出前一视频帧对应的前一时间戳。
步骤S202，通过计算目标时间戳与前一时间戳之间的差值，得到目标时间戳的目标跳变值。
在确定出目标时间戳和前一时间戳之后，由于时间戳通过数字进行表征，因此只需通过计算目标时间戳与前一时间戳之间的差值，得到目标时间戳的目标跳变值。
通过本实施例中的方法，可以快速计算出目标时间戳的目标跳变值，以便于后期根据目标跳变值计算得到校准后时间戳。
如图3所示，作为一种可选的实施例，如前述的方法，所述步骤S103在目标跳变值大于预设阈值的情况下，根据预设阈值确定出当前视频帧对应的校准后时间戳，包括如下所述步骤：
步骤S301，将目标跳变值与预设阈值进行比对，得到比对结果。
在得到目标跳变值之后，可以通过将目标跳变值与预设阈值进行比对，以得到比对结果。
比对结果可以是用于指示目标跳变值与预设阈值之间的大小关系的信息。
步骤S302，在比对结果指示目标跳变值大于预设阈值的情况下，通过前一时间戳与预设跳变值之和计算得到校准后时间戳，其中，前一时间戳为位于当前视频帧前一帧的前一视频帧对应的时间戳，预设跳变值小于或等于预设阈值，且大于标准时间戳差值。
在得到该比对结果，并且在比对结果指示目标跳变值大于预设阈值的情况下，即可确定出需要对当前时间戳进行校准，并得到校准后时间戳。
为了降低视频的卡顿，因此需要使校准后时间戳相对于前一时间戳的跳变值小于目标跳变值，因此，预设跳变值小于或等于预设阈值；同时，为了使视频帧逐步追上音频帧，若使预设跳变值小于或等于标准时间戳差值，则会导致视频帧与音频帧的偏差会越来越大，即音视频不同步的情况会越来越严重，因此，使预设跳变值大于标准时间戳差值，进而即使将时间靠后的视频帧去提前显示，也可以在通过一帧或多帧视频帧的显示之后，使视频帧的时间戳和音频帧的时间戳越来越接近。
例如，在标准时间戳差值为1，且预设阈值为2的情况下，则预设跳变值为了满足预设跳变值小于或等于预设阈值，且大于标准时间戳差值的条件，预设跳变值可以是2，并且在前一时间戳为4的情况下，校准后时间戳为6。
通过本实施例中的方法，可以快速确定出校准后时间戳，并且通过该校准后时间戳，即可降低画面卡顿的情况，还可以逐步同步视频帧和音频帧。
作为一种可选的实施例，如前述的方法，在所述步骤S103目标跳变值大于预设阈值的情况下，根据预设阈值确定出当前视频帧对应的出校准后时间戳之前，方法还包括如下所述步骤：
步骤S401，确定出目标视频流的目标单位时间帧数，其中，目标单位时间帧数为目标视频流在未跳变情况下的单位时间中包括的视频帧的数量。
在确定出目标视频流之后，可以根据目标视频流的编码方式或者对目标视频流的单位时间的视频帧的数量，例如，每秒30帧、每秒60帧等等。
步骤S402，按照预设对应关系，确定出目标单位时间帧数对应的目标阈值，其中，预设对应关系中包括候选阈值与单位时间帧数之间的一一对应关系。
在确定出目标单位时间帧数之后，即可确定出在未跳变的情况下，每两帧视频帧之间的时间间隔，即，单位时间帧数越高，时间间隔越短，即相邻的两个时间戳之间的时间间隔越短。
因此，由于单位时间帧数越高，人眼越难分辨出是否存在跳帧，因此可以在目标单位时间帧数越高的情况下，目标阈值也越大。
并且预先建立候选阈值与单位时间帧数之间的一一对应关系，得到预设对应关系。
最后即可按照该预设对应关系，根据目标单位时间帧数匹配得到对应的目标阈值。
例如，当每秒30帧的情况下，设置对应的目标阈值为2，当每秒60帧的情况下，设置对应的目标阈值为4。当目标单位时间帧数为60帧的情况下，则可以匹配得到对应的目标阈值为4。
步骤S403，将目标阈值确定为预设阈值。
在确定出目标阈值之后，即可将其作为预设阈值，以便于后期根据该预设阈值对目标时间戳进行校正，以得到良好的视频流畅度。
通过本实施例中的方法，可以根据目标视频流的目标单位时间帧数确定出对应的目标阈值，进而可以便于后期对目标时间戳进行更优化的校正。
作为一种可选的实施例，如前述的方法，在所述步骤S101获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，方法包括如下所述步骤：
步骤S501，确定出在历史时间段中的所有历史视频帧，以及与每个历史视频帧对应的历史跳变值。
可以对每个视频帧的时间戳进行记录，以及每个视频帧的实际接收时间，进而可以按照预设时间长度以及具体的时间点，确定出历史时间段，然后按照每个视频帧的实际接收时间确定出历史时间段中的所有历史视频帧，并确定出每个历史视频帧对应的历史跳变值。
历史跳变值可以是在对各个视频帧的时间戳进行校准之前的跳变值。
步骤S502，对所有历史跳变值进行平均值计算，得到平均跳变值。
在确定出所有历史跳变值之后，可以对所有历史跳变值进行平均值计算，得到平均跳变值。
步骤S503，在平均跳变值大于预设跳变平均值的情况下，生成用于指示目标视频流对应的直播源存在故障的告警信息。
在得到平均跳变值之后，可以将平均跳变值与预设跳变平均值进行比对。
预设跳变平均值可以是用于指示平均跳变值是否过大，并指示直播云存在故障的数值。
在平均跳变值大于预设跳变平均值的情况下，则说明对应的直播源上传的目标视频流中视频帧丢失过多，因此可以生成用于指示目标视频流对应的直播源存在故障的告警信息。
步骤S504，将告警信息发送至直播源。
在生成该告警信息之后，可以将告警信息发送至直播源，以使直播源对本地端进行维护，提升直播的质量。
通过本实施例中的方法，通过生成告警信息，并发送至直播源，进而使直播源对应的人员可以得知目标视频流异常的信息，以提升直播视频流的质量。
作为一种可选的实施例，如前述的方法，在所述步骤S101获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，方法还包括如下所述步骤：
步骤S601，在目标跳变值为负数的情况下，在目标视频流中对当前视频帧进行删除。
在获取目标跳变值之后，若目标跳变值为负数的情况，则说明当前视频帧本应先于前至少一个视频帧，但是，若将当前视频帧继续分发给观看视频的终端，则会导致画面错乱的情况，更加影响用户的体验，因此，在目标视频流中对当前视频帧进行删除。
通过本实施例中的方法，可以在目标跳变值为负数的情况下，提升视频流的连贯性，避免发生画面跳转的情况。
作为一种可选的实施例，如前述的方法，在所述步骤S101获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，方法还包括如下所述步骤：
步骤S701，获取目标视频流中的当前音频帧对应的音频时间戳的音频跳变值。
在获取直播源的目标视频流的过程中，可以获取直播源的在获取目标视频流的当前音频帧之后，可以获取当前音频帧的时间戳，即音频时间戳。
在确定出当前音频帧的音频时间戳之后，可以通过确定前一音频帧的时间戳，然后计算音频时间戳与前一音频帧的时间戳之间的差值，即可得到音频时间戳的音频跳变值。
例如，在音频时间戳为12，而前一音频帧的时间戳为8的情况下，则目标跳变值为12-8＝4；在音频时间戳为12，而前一音频帧的时间戳为11的情况下，则目标跳变值为12-11＝1。
步骤S702，在目标跳变值大于预设阈值的情况下，对音频跳变值与目标跳变值进行差值计算，得到音视频帧差值。
在目标跳变值大于预设阈值的情况下，则表征当前视频帧发生跳变，因此可以将音频跳变值与目标跳变值进行差值计算，得到音视频帧差值。
步骤S703，在音视频帧差值指示音频跳变值与目标跳变值的差值在预设差值范围内的情况下，停止对目标时间戳进行修改，并获取目标视频流中的当前视频帧之后的下一个视频帧对应的时间戳的跳变值。
在目标跳变值大于预设阈值的情况下，则表征当前视频帧发生跳变，因此可以将音频跳变值与目标跳变值进行比对，得到音视频帧差值。
然后判断所述音视频帧差值与预设差值范围的之间的关系，预设差值范围可以是用于指示无需对目标时间戳进行修改的差值范围。例如，预设差值范围为[-2,2]时，则说明音频跳变值与目标跳变值的差值在[-2,2]内时，当前音频帧与当前视频帧虽然各自都存在跳变的情况，但是当前音频帧与当前视频帧之间满足同步的要求，因此无需对目标时间戳进行修改，并获取目标视频流中的当前视频帧之后的下一个视频帧对应的时间戳的跳变值，以便于判断是否需要对下一个视频帧对应的时间戳进行校准。
通过本实施例中的方法，可以在音频帧也发生跳变的情况下，保障音频帧与视频帧之间的同步。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述时间戳校准方法的时间戳校准装置。图4是根据本申请实施例的一种可选的时间戳校准装置的结构框图，如图4所示，该装置可以包括：
获取模块1，用于获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个视频帧的时间戳与前一个视频帧的时间戳之间的差值；
第一确定模块2，用于确定目标视频流中的视频帧的标准时间戳差值，其中，标准时间戳差值为相邻两个视频帧在未发生跳变的情况下，后一个视频帧的时间戳与前一个视频帧的时间戳之间的差值；
第二确定模块3，用于在目标跳变值大于预设阈值的情况下，根据预设阈值确定出当前视频帧对应的校准后时间戳，其中，校准后时间戳的跳变值小于或等于预设阈值，且大于标准时间戳差值；
修改模块4，用于将目标时间戳修改为校准后时间戳，得到校准后视频数据流。
需要说明的是，该实施例中的获取模块1可以用于执行上述步骤S101，该实施例中的第一确定模块2可以用于执行上述步骤S102，该实施例中的第二确定模块3可以用于执行上述步骤S103，该实施例中的修改模块4可以用于执行上述步骤S104。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如前述实施例所述的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种用于实施上述时间戳校准方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
根据本申请的另一个实施例，还提供一种电子设备，包括：如图5所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的程序时，实现如下步骤：
步骤S101，获取用于指示目标环境中存在故障的目标告警信息。
步骤S102，确定出目标告警信息对应的目标诊断流程，其中，目标诊断流程中包括多个按照预设次序排列的诊断子流程，诊断子流程用于确定目标环境的故障类型。
步骤S103，获取目标诊断流程中当前诊断子流程对目标环境诊断后的诊断结果。
步骤S104，在诊断结果表示目标环境存在当前诊断子流程用于诊断的预设故障类型的预设故障的情况下，确定触发生成目标告警信息的目标故障为预设故障。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processor，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种计算机可读存储介质，存储介质包括存储的程序，其中，程序运行时执行上述方法实施例的方法步骤。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种时间戳校准方法，其特征在于，包括：
获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
确定所述目标视频流中的视频帧的标准时间戳差值，其中，所述标准时间戳差值为相邻两个所述视频帧在未发生跳变的情况下，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，其中，所述校准后时间戳的跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值；
将所述目标时间戳修改为所述校准后时间戳，得到校准后视频数据流；
在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的出校准后时间戳之前，所述方法还包括：确定出所述目标视频流的目标单位时间帧数，其中，所述目标单位时间帧数为所述目标视频流在未跳变情况下的单位时间中包括的所述视频帧的数量；按照预设对应关系，确定出所述目标单位时间帧数对应的目标阈值，其中，所述预设对应关系中包括候选阈值与单位时间帧数之间的一一对应关系；将所述目标阈值确定为所述预设阈值。
2.根据权利要求1所述的方法，其特征在于，所述获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，包括：
确定位于所述当前视频帧前一帧的前一视频帧对应的前一时间戳；
通过计算所述目标时间戳与所述前一时间戳之间的差值，得到所述目标时间戳的所述目标跳变值。
3.根据权利要求1所述的方法，其特征在于，所述在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，包括：
将所述目标跳变值与所述预设阈值进行比对，得到比对结果；
在所述比对结果指示所述目标跳变值大于预设阈值的情况下，通过前一时间戳与预设跳变值之和计算得到所述校准后时间戳，其中，所述前一时间戳为位于所述当前视频帧前一帧的前一视频帧对应的时间戳，所述预设跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值。
4.根据权利要求1所述的方法，其特征在于，在所述获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，所述方法包括：
确定出在历史时间段中的所有历史视频帧，以及与每个所述历史视频帧对应的历史跳变值；
对所有所述历史跳变值进行平均值计算，得到平均跳变值；
在所述平均跳变值大于预设跳变平均值的情况下，生成用于指示所述目标视频流对应的直播源存在故障的告警信息；
将所述告警信息发送至所述直播源。
5.根据权利要求1所述的方法，其特征在于，在所述获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，所述方法还包括：
在所述目标跳变值为负数的情况下，在所述目标视频流中对所述当前视频帧进行删除。
6.根据权利要求1所述的方法，其特征在于，在所述获取目标视频流中的当前视频帧对应的目标时间戳的目标跳变值之后，所述方法还包括：
获取目标视频流中的当前音频帧对应的音频时间戳的音频跳变值；
在所述目标跳变值大于所述预设阈值的情况下，对所述音频跳变值与所述目标跳变值进行比对，得到音视频帧差值；
在所述音视频帧差值指示所述音频跳变值与所述目标跳变值的差值在预设差值范围内的情况下，停止对所述目标时间戳进行修改，并获取目标视频流中的当前视频帧之后的下一个视频帧对应的时间戳的跳变值。
7.一种时间戳校准装置，其特征在于，包括：
获取模块，用于获取目标视频流中当前视频帧对应的目标时间戳的目标跳变值，其中，跳变值为时序上相邻的两个视频帧中，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
第一确定模块，用于确定所述目标视频流中的视频帧的标准时间戳差值，其中，所述标准时间戳差值为相邻两个所述视频帧在未发生跳变的情况下，后一个所述视频帧的时间戳与前一个所述视频帧的时间戳之间的差值；
第二确定模块，用于在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的校准后时间戳，其中，所述校准后时间戳的跳变值小于或等于所述预设阈值，且大于所述标准时间戳差值；
修改模块，用于将所述目标时间戳修改为所述校准后时间戳，得到校准后视频数据流；
还包括一模块，用于在所述目标跳变值大于预设阈值的情况下，根据所述预设阈值确定出所述当前视频帧对应的出校准后时间戳之前，执行以下步骤：确定出所述目标视频流的目标单位时间帧数，其中，所述目标单位时间帧数为所述目标视频流在未跳变情况下的单位时间中包括的所述视频帧的数量；按照预设对应关系，确定出所述目标单位时间帧数对应的目标阈值，其中，所述预设对应关系中包括候选阈值与单位时间帧数之间的一一对应关系；将所述目标阈值确定为所述预设阈值。
8.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，
所述存储器，用于存储计算机程序；
所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至6中任一项所述的方法步骤。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项中所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210010833.0A CN114339453B (zh) | 2022-01-06 | 2022-01-06 | 时间戳校准方法和装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210010833.0A CN114339453B (zh) | 2022-01-06 | 2022-01-06 | 时间戳校准方法和装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114339453A CN114339453A (zh) | 2022-04-12 |
| CN114339453B true CN114339453B (zh) | 2023-11-03 |
Family
ID=81024926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210010833.0A Active CN114339453B (zh) | 2022-01-06 | 2022-01-06 | 时间戳校准方法和装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339453B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006254298A (ja) * | 2005-03-14 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 動画再生装置及び動画再生方法 |
| CN105846940A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 时间戳容错控制方法及装置 |
| CN111277919A (zh) * | 2020-02-27 | 2020-06-12 | 青岛海信传媒网络技术有限公司 | 流媒体的pts复位处理方法、显示设备及存储介质 |
| CN111464256A (zh) * | 2020-04-14 | 2020-07-28 | 北京百度网讯科技有限公司 | 时间戳的校正方法、装置、电子设备和存储介质 |
| CN113055718A (zh) * | 2021-06-02 | 2021-06-29 | 杭州星犀科技有限公司 | 时间戳均匀化处理的方法、***、电子装置和存储介质 |
| US11089386B1 (en) * | 2019-06-28 | 2021-08-10 | Amazon Technologies, Inc. | Accommodating irregular timing information in streamed media data |
-
2022
- 2022-01-06 CN CN202210010833.0A patent/CN114339453B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006254298A (ja) * | 2005-03-14 | 2006-09-21 | Matsushita Electric Ind Co Ltd | 動画再生装置及び動画再生方法 |
| CN105846940A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股（北京）有限公司 | 时间戳容错控制方法及装置 |
| US11089386B1 (en) * | 2019-06-28 | 2021-08-10 | Amazon Technologies, Inc. | Accommodating irregular timing information in streamed media data |
| CN111277919A (zh) * | 2020-02-27 | 2020-06-12 | 青岛海信传媒网络技术有限公司 | 流媒体的pts复位处理方法、显示设备及存储介质 |
| CN111464256A (zh) * | 2020-04-14 | 2020-07-28 | 北京百度网讯科技有限公司 | 时间戳的校正方法、装置、电子设备和存储介质 |
| CN113055718A (zh) * | 2021-06-02 | 2021-06-29 | 杭州星犀科技有限公司 | 时间戳均匀化处理的方法、***、电子装置和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Optimizing Synchronization of Tennis Professional League Live Broadcast Based on Wireless Network Planning;Tang Kai;MOBILE INFORMATION SYSTEMS;全文 * |
| 一种改进的基于时间戳的空间音视频同步方法;薛彬;徐京;王猛;;电子设计工程(11);全文 * |
| 一种新的音视频同步解决方案的研究;宋人杰;东北电力大学学报;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114339453A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI786647B (zh) | 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體 | |
| CN109089130B (zh) | 一种调整直播视频的时间戳的方法和装置 | |
| US9521179B2 (en) | Validation of live media stream based on predetermined standards | |
| US7965650B2 (en) | Method and system for quality monitoring of media over internet protocol (MOIP) | |
| US11025879B2 (en) | Image processing apparatus, image processing method, and storage medium storing program | |
| CN110933449B (zh) | 一种外部数据与视频画面的同步方法、***及装置 | |
| KR20190085562A (ko) | 미디어 채널 변경을 검출하고 이에 응답하기 위한 방법 및 시스템 | |
| JP2016530751A (ja) | 品質対ビットレートが変動するメディアデータストリームの品質を決定するための概念 | |
| KR101693564B1 (ko) | 미디어 품질 평가 방법 및 장치 | |
| CN112188225A (zh) | 用于直播回放的弹幕下发方法和直播视频弹幕回放方法 | |
| KR102311314B1 (ko) | 새로운 콘텐츠를 얻는데 있어서의 예상되는 레이턴시에 의거한 콘텐츠 수정을 위한 사전 준비 | |
| JP2011071956A (ja) | ポリシベースのビデオ品質評価 | |
| CN109040830B (zh) | 直播播放卡顿的预测方法、切换方法及装置 | |
| JP2015520548A (ja) | マルチメディア品質を評価する方法及び装置 | |
| CN113313036B (zh) | 一种节目播放状态的检测方法及检测*** | |
| CN112019873A (zh) | 视频码率调整方法、装置和电子设备 | |
| CN113852824A (zh) | 视频转码方法、装置、电子设备和存储介质 | |
| CN115150592A (zh) | 一种音视频传输方法、服务器、计算机可读存储介质 | |
| CN111182302B (zh) | 视频的图像编码方法、终端设备以及存储介质 | |
| US20200304885A1 (en) | Controlling Playout Of Advertisement Content During Video-On-Demand Video Streaming On An End-User Terminal | |
| CN115119009A (zh) | 视频对齐方法、视频编码方法、装置及存储介质 | |
| CN114339453B (zh) | 时间戳校准方法和装置、电子设备和存储介质 | |
| CN114513651A (zh) | 视频设备关键帧碰撞检测方法、数据传输方法及相关装置 | |
| CN111277919B (zh) | 流媒体的pts复位处理方法、显示设备及存储介质 | |
| JP4620516B2 (ja) | 画像比較方法、画像比較システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |