CN108495164B - 音视频同步处理方法及装置、计算机装置及存储介质 - Google Patents

音视频同步处理方法及装置、计算机装置及存储介质 Download PDF

Info

Publication number
CN108495164B
CN108495164B CN201810310294.6A CN201810310294A CN108495164B CN 108495164 B CN108495164 B CN 108495164B CN 201810310294 A CN201810310294 A CN 201810310294A CN 108495164 B CN108495164 B CN 108495164B
Authority
CN
China
Prior art keywords
frame
video
audio
difference value
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810310294.6A
Other languages
English (en)
Other versions
CN108495164A (zh
Inventor
刘秦涛
甘秋业
许琦
王喜望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allwinner Technology Co Ltd
Original Assignee
Allwinner Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allwinner Technology Co Ltd filed Critical Allwinner Technology Co Ltd
Priority to CN201810310294.6A priority Critical patent/CN108495164B/zh
Publication of CN108495164A publication Critical patent/CN108495164A/zh
Application granted granted Critical
Publication of CN108495164B publication Critical patent/CN108495164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种音视频同步处理方法及装置、计算机装置及存储介质，该方法包括确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧，判断解码后的视频帧是否正常，如是，输出视频帧和音频帧，根据音频帧产生第一差值，根据视频帧产生第二差值，判断第一差值和第二差值是否正常，如是，则输出第一播放信号，如不是，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。该装置用于实现上述的音视频同步处理方法。本发明还提供实现上述方法的计算机装置以及存储介质。本发明不仅可以消除卡顿音视频异步现象而且可以实现视频较平滑的目的。

Description

音视频同步处理方法及装置、计算机装置及存储介质
技术领域
本发明涉及音视频处理技术领域，具体的，涉及一种音视频同步处理方法以及实现这种方法的音视频同步处理装置，还涉及应用该方法的计算机装置以及存储介质。
背景技术
观看视频是人们获取资讯和娱乐消遣的重要方式。然而，当视频文件因制作、转码，网络传输等造成文件破损将引起音视频文件播放异常，比较典型的是回放时出现的花屏、卡顿，音视频异步等现象。
目前行业中有播放器对破损码流造成解码出现花屏帧的恢复方法，通过一定的方法能在一定程度上将花屏视频帧恢复为正常的视频帧输出显示，能在一定程度上将花屏帧还原为正常的帧，然而该方法耗时较长同时不能恢复严重破损的码流，卡顿与花屏仍然存在。
另外，还有一些播放器是在解码器中对码流进行检查后将解码输出的花屏视频帧，异常的音视频帧丢弃，然而因花屏的视频帧丢弃导致无视频帧刷新送显将引起有声音输出无视频播放的卡顿和音视频异步现象。
发明内容
本发明的第一目的是提供一种通过删除音频帧或视频帧做音视频同步对齐和调整播放器时钟的音视频同步处理方法。
本发明的第二目的是提供一种不仅可以消除卡顿音视频异步现象而且可以实现视频较平滑的音视频同步处理装置。
本发明的第三目的是提供一种能够实现上述音视频同步处理方法的计算机装置。
本发明的第四目的是提供一种能够实现上述音视频同步处理方法的存储介质。
为了实现上述的第一目的，本发明提供的音视频同步处理方法，包括确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧；判断解码后的视频帧是否未出现连续预设次数的花屏视频帧，如是，输出视频帧和音频帧，否则，确定视频帧不正常，并且重置解码器；根据音频帧产生第一差值，根据视频帧产生第二差值，第一差值为第n帧音频帧的时间戳与第一时钟值的差值，第二差值为第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值；判断第一差值和第二差值是否正常：若在送显第一帧音频帧时，检测到的第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定第一差值不正常；或者，若在送显第二帧视频帧时，检测到第二帧视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定第二差值不正常；若判断第一差值和第二差值正常，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。
由上述方案可见，本发明的音视频同步处理方法通过解码器读取有效码流进行解码，对解出的音视频帧检测并删除异常的音频帧或视频帧来确保用于送显的音视频帧均是正常帧。
此外，在播放送显流过程中可以检测到音视频帧时间戳的变化，当检测到异常的时间戳变化时删除音频或视频帧数据以做送显对齐操作，并调整播放器时钟然后输出播放信号。
进一步的方案是，若在解码后的视频帧中未出现连续预设次数的花屏视频帧，则确定视频帧正常；如在解码后的视频帧中出现连续预设次数的花屏视频帧，则确定视频帧不正常，并且重置解码器。
可见，设定遇到连续出现预设次数花屏帧是为了尽可能多的对有效码流进行解码，例如，预设次数的花屏帧可以是3帧、4帧或5帧，同时如果有较多的错误帧也可避免频繁的重置解码器引起解码耗时上升造成的卡顿。
进一步的方案是，在确定第一差值不正常时，删除第一时钟值与第一帧音频帧的时间戳之间的视频帧数据，其中，第一时钟值为送显第一帧音频帧时播放器的时钟值；在确定第二差值不正常时，删除第一帧视频帧的时间戳与第二帧视频帧的时间戳之间的音频帧数据。
可见，通过第n帧音频帧的时间戳与相应时钟值的差值和第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值来判断播放送显第n帧音频帧和视频帧是否正常。
若在送显第n帧音频帧时检测到第一差值大于预设的时间时，例如，预设的时间可以是100ms，则认为音频帧不连续，对此删除相应时钟值与第n帧音频帧的时间戳之间的视频帧数据。
若在送显第n帧视频帧时检测到第二差值大于预设的数值时，例如，预设的数值为2×1/Frame_Rate，其中，Frame_Rate为片源的帧率，则认为视频帧不连续，对此删除第n-1帧视频帧的时间戳与第n帧视频帧的时间戳之间的音频帧数据。
进一步的方案是，确定删除视频帧数据后，根据第一帧音频帧的时间戳重置播放器的时钟信号，并且输出第二播放信号。
可见，若在送显第n帧音频帧时检测到第一差值异常时，确定删除音频帧数据后，根据并用第n帧音频帧的时间戳重置播放器时钟然后播放。
或者，若在送显第n帧视频帧时检测到第二差值异常时，在确定删除视频帧数据后，并用第n帧视频帧的时间戳重置播放器时钟然后播放，从而消除卡顿和音视频异步。
为了实现上述的第二目的，本发明提供一种音视频同步处理装置，该装置包括解码模块，用于获取有效视频码流的数据，并且输出解码后的视频帧；判断模块，用于判断解码后的视频帧是否未出现连续预设次数的花屏视频帧，如是，输出视频帧和音频帧，否则，确定视频帧不正常，并且重置解码器；同步模块，根据音频帧产生第一差值，根据视频帧产生第二差值，第一差值为第n帧音频帧的时间戳与第一时钟值的差值，第二差值为第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值；同步模块还用于判断第一差值和第二差值是否正常：若在送显第一帧音频帧时，检测到的第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定第一差值不正常；或者，若在送显第二帧视频帧时，检测到第二帧视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定第二差值不正常；若判断第一差值和第二差值正常，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。
进一步的方案是，若在解码后的视频码流中未出现连续预设次数的花屏视频帧，则确定视频帧正常；如在解码后的视频码流中出现连续预设次数的花屏视频帧，则确定视频帧不正常，并且重置解码器。
进一步的方案是，在确定第一差值不正常时，删除第一时钟值与第一帧音频帧的时间戳之间的视频帧数据，其中，第一时钟值为送显第一帧音频帧时播放器的时钟值；在确定第二差值不正常时，删除第一帧视频帧的时间戳与第二帧视频帧的时间戳之间的音频帧数据。
进一步的方案是，确定删除视频帧数据后，根据第一帧音频帧的时间戳重置播放器的时钟信号，并且输出第二播放信号。
由上述方案可见，本发明的音视频同步处理装置通过解码模块读取有效码流进行解码，同步模块对解出的音视频帧检测并删除异常的音频帧或视频帧来确保用于送显的音视频帧均是正常帧。
此外，在播放送显流过程中可以检测到音视频帧时间戳的变化，当检测到异常的时间戳变化时删除音频或视频帧数据以做送显对齐操作，并调整播放器时钟然后输出播放信号。
为了实现上述第三目的，本发明提供的计算机装置包括处理器，处理器用于执行存储器中存储的计算机程序时实现如本发明音视频同步处理方法的各个步骤。
为了实现上述第四目的，本发明提供的存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如本发明音视频同步处理方法的各个步骤。
附图说明
图1是本发明音视频同步处理方法实施例的流程框图。
图2是本发明音视频同步处理方法实施例中破损片源播放音视频的示意图。
图3是本发明音视频同步处理装置实施例的原理框图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
本发明的音视频同步处理方法应用在诸如显示设备或者视频播放设备等终端上，例如，可以用在数字视频变换盒上，可有效的解决了其所遇破损片源引起的花屏卡顿音视频异步等异常现象。本发明音视频同步处理装置是应用在显示终端上用于实现音视频同步处理方法的装置。并且，本发明还提供一种计算机装置，该计算机装置包括有处理器，处理器可以执行应用程序的指令，从而实现上述音视频同步处理方法的各个步骤。本发明的提供的存储介质上存储有计算机程序，且计算机程序被处理器执行时实现上述的音视频同步处理方法的各个步骤。
音视频同步处理方法实施例：
如图1所示，本发明的音视频同步处理方法在对音视频数据进行处理时，首先，执行步骤S1，获取有效视频码流的数据，并且输出解码后的视频帧。其中，在确定解码器处于初始化状态后，解码器用于获取有效的视频码流的数据并解码输出。然后，执行步骤S2，判断解码后的视频帧是否正常。其中，若在解码后的视频帧中未出现连续预设次数的花屏视频帧，则确定视频帧正常。如在解码后的视频码流中出现连续预设次数的花屏视频帧，则确定视频帧不正常，并且重置解码器到初始化状态，参考队列清空并寻找下一个IDR帧进行解码，其中，IDR(Instantaneous Decoding Refresh)即时解码刷新，IDR帧的作用是立刻刷新，使错误不致传播，从IDR帧开始重新算一个新的序列开始编码。可见，设定遇到连续出现预设次数花屏帧是为了尽可能多的对有效码流进行解码，例如，预设次数的花屏帧可以是3帧、4帧或5帧，同时如果有较多的错误帧也可避免频繁的重置解码器引起解码耗时上升造成的卡顿。
接着，若确定解码后的视频帧正常，执行步骤S3，根据音频帧产生第一差值，根据视频帧产生第二差值。其中，第一差值为第n帧音频帧的时间戳与第一时钟值的差值，第二差值为第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值。在本实施例中，第一时钟值为送显第n帧音频帧时播放器4的时钟值。
然后，执行步骤S4，判断第一差值和第二差值是否正常。若判断结果为是，则执行步骤S5，输出播放信号至播放器。其中，若在送显第一帧音频帧时，检测到的第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定第一差值不正常。
或者，若在送显第二帧视频帧时，检测到第二帧视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定第二差值不正常。
然后，如确认第一差值或第二差值不正常后，执行步骤S6，根据时间戳删除异常视频帧的数据和音频帧的数据。其中，在确定第一差值不正常时，删除第一时钟值与第一帧音频帧的时间戳之间的视频帧数据；在确定第二差值不正常时，删除第一帧视频帧的时间戳与第二帧视频帧的时间戳之间的音频帧数据。
具体地，通过第n帧音频帧的时间戳与相应时钟值的差值、第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值来判断播放送显第n帧音频帧和视频帧是否正常。
若在送显第n帧音频帧时检测到第一差值大于预设的时间时，则认为音频帧不连续，对此删除相应时钟值与第n帧音频帧的时间戳之间的视频帧数据。当然，为了提高检测的准确性和高效性，需要通过是否达到预设的时间来判断第一差值是否在正常的范围内，优选地，预设的时间可以是100ms。
具体的，预设的时间可由使用者根据实际应用自行设定，使用者可根据具体使用环境及显示终端的运行性能来进行设定，对于时间的设定，上述实施例中的时间设定为100ms，也可以设置为100ms、90ms、110ms等其他数值，其中，在本实施例中，最优的预设时间为100ms。
若在送显第n帧视频帧时检测到第二差值大于预设的数值时，例如，预设的数值为2×1/Frame_Rate，其中，Frame_Rate为片源的帧率，则认为视频帧不连续，对此删除第n-1帧视频帧的时间戳与第n帧视频帧的时间戳之间的音频帧数据。
确定删除视频帧数据后，执行步骤S7，重置播放器4的时钟信号，其中，根据第一帧音频帧的时间戳重置播放器4的时钟信号，并且输出播放信号至播放器4。
例如，参见图2，a1、a2，a3为一一对应同步输出表现为正常播放的音频帧，p1、p2，p3为一一对应同步输出表现为正常播放的视频帧，在送显p4时检测到p4的时间戳与p3的时间戳大于2×1/Frame_Rate时，则删除p3的时间戳与p4的时间戳之间的音频帧数据来保证音视频帧送显对齐，并用p4的时间戳重置播放器4时钟，这样，音视频播放从(Time-A，a3，p3)直接跳到(Time-B，a4，p4)接着播放，从而消除卡顿和音视频异步。
可见，若在送显第n帧音频帧时检测到第一差值异常时，确定删除音频帧数据后，根据并用第n帧音频帧的时间戳重置播放器4时钟然后播放。
或者，若在送显第n帧视频帧时检测到第二差值异常时，在确定删除视频帧数据后，并用第n帧视频帧的时间戳重置播放器4时钟然后播放，从而消除卡顿和音视频异步。
所以，本发明的音视频同步处理方法通过解码器中读取有效码流进行解码，对解出的音视频帧检测并删除异常的音频帧或视频帧来确保用于送显的音视频帧均是正常帧。
此外，在播放送显流过程中可以检测到音视频帧时间戳的变化，当检测到异常的时间戳变化时删除音频或视频帧数据以做送显对齐操作，并调整播放器4时钟然后输出播放信号。
音视频同步处理装置实施例：
参见图3，本发明的音视频同步处理装置包括解码模块1、判断模块2，同步模块3以及播放器4。
解码模块1用于获取有效视频码流的数据，并且输出解码后的视频帧。优选地，解码模块1包括解码器，解码器能将数字视音频数据流解码还原成模拟视音频信号，在确定解码器处于初始化状态后，解码器用于获取有效的视频码流的数据并解码输出。
判断模块2用于判断解码后的视频帧是否正常，如是，输出视频帧和音频帧。其中，若在解码后的视频帧中未出现连续预设次数的花屏视频帧，则确定视频帧正常。如在解码后的视频帧中出现连续预设次数的花屏视频帧，则确定视频帧不正常，并且重置解码器到初始化状态，参考队列清空并寻找下一个IDR帧进行解码。
同步模块3根据音频帧产生第一差值，根据视频帧产生第二差值，同步模块3用于判断第一差值和第二差值是否正常，若判断结果为是，则输出播放信号至播放器4，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器4。其中，第一差值为第n帧音频帧的时间戳与第一时钟值的差值，第二差值为第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值。
所以，本发明的音视频同步处理装置通过解码模块1读取有效码流进行解码，同步模块3对解出的音视频帧检测并删除异常的音频帧或视频帧来确保用于送显的音视频帧均是正常帧。
此外，在播放送显流过程中可以检测到音视频帧时间戳的变化，当检测到异常的时间戳变化时删除音频或视频帧数据以做送显对齐操作，并调整播放器4时钟然后输出播放信号。
计算机装置实施例：
本实施例的计算机装置包括有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，例如用于实现上述信息处理方法的信息处理程序。处理器执行计算机程序时实现上述音视频同步处理方法的各个步骤。
例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
需要说明的是，终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
本发明所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
存储介质实施例：
本发明的存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可实现上述各个音视频同步处理方法的各个步骤。
其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，以上仅为本发明的优选实施例，但发明的设计构思并不局限于此，凡利用此构思对本发明做出的非实质性修改，也均落入本发明的保护范围之内。

Claims (8)

1.音视频同步处理方法，其特征在于，包括：
确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧；
判断所述解码后的视频帧是否未出现连续预设次数的花屏视频帧，如是，输出所述视频帧和音频帧，否则，确定所述视频帧不正常，并且重置所述解码器；
根据所述音频帧产生第一差值，根据所述视频帧产生第二差值，所述第一差值为第n帧音频帧的时间戳与第一时钟值的差值，第二差值为第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值，其中，所述第一时钟值为送显第n帧音频帧时播放器的时钟值；
判断所述第一差值和所述第二差值是否正常：若在送显第一帧音频帧时，检测到的所述第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定所述第一差值不正常；或者，若在送显第二帧视频帧时，检测到所述第二帧视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定所述第二差值不正常；
若判断所述第一差值和所述第二差值正常，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。
2.根据权利要求1所述的音视频同步处理方法，其特征在于：
在确定所述第一差值不正常时，删除所述第一时钟值与所述第一帧音频帧的时间戳之间的视频帧数据；
在确定所述第二差值不正常时，删除所述第一帧视频帧的时间戳与所述第二帧视频帧的时间戳之间的音频帧数据。
3.根据权利要求2所述的音视频同步处理方法，其特征在于，删除所述第一时钟值与所述第一帧音频帧的时间戳之间的视频帧数据，包括：
确定删除所述视频帧数据后，根据所述第一帧音频帧的时间戳重置所述播放器的时钟信号，并且输出第二播放信号。
4.音视频同步处理装置，其特征在于，所述装置包括：
解码模块，用于确定解码器处于初始化状态，并获取有效视频码流的数据，并且输出解码后的视频帧；
判断模块，用于判断所述解码后的视频帧是否未出现连续预设次数的花屏视频帧，如是，输出所述视频帧和音频帧，否则，确定所述视频帧不正常，并且重置所述解码器；
同步模块，根据所述音频帧产生第一差值，根据所述视频帧产生第二差值，所述第一差值为第n帧音频帧的时间戳与第一时钟值的差值，第二差值为第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值，其中，所述第一时钟值为送显第n帧音频帧时播放器的时钟值；
所述同步模块还用于判断所述第一差值和所述第二差值是否正常：若在送显第一帧音频帧时，检测到的所述第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定所述第一差值不正常；或者，若在送显第二帧视频帧时，检测到所述第二帧视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定所述第二差值不正常；
若判断所述第一差值和所述第二差值正常，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。
5.根据权利要求4所述的音视频同步处理装置，其特征在于：
在确定所述第一差值不正常时，删除所述第一时钟值与所述第一帧音频帧的时间戳之间的视频帧数据；
在确定所述第二差值不正常时，删除所述第一帧视频帧的时间戳与所述第二帧视频帧的时间戳之间的音频帧数据。
6.根据权利要求5所述的音视频同步处理装置，其特征在于，所述同步模块删除所述第一时钟值与所述第一帧音频帧的时间戳之间的视频帧数据，包括：
确定删除所述视频帧数据后，根据所述第一帧音频帧的时间戳重置所述播放器的时钟信号，并且输出第二播放信号。
7.一种计算机装置，其特征在于，包括处理器以及存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述音视频同步处理方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述音视频同步处理方法的步骤。
CN201810310294.6A 2018-04-09 2018-04-09 音视频同步处理方法及装置、计算机装置及存储介质 Active CN108495164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810310294.6A CN108495164B (zh) 2018-04-09 2018-04-09 音视频同步处理方法及装置、计算机装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810310294.6A CN108495164B (zh) 2018-04-09 2018-04-09 音视频同步处理方法及装置、计算机装置及存储介质

Publications (2)

Publication Number Publication Date
CN108495164A CN108495164A (zh) 2018-09-04
CN108495164B true CN108495164B (zh) 2021-01-29

Family

ID=63315051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810310294.6A Active CN108495164B (zh) 2018-04-09 2018-04-09 音视频同步处理方法及装置、计算机装置及存储介质

Country Status (1)

Country Link
CN (1) CN108495164B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089130B (zh) * 2018-09-18 2020-05-22 网宿科技股份有限公司 一种调整直播视频的时间戳的方法和装置
CN111131874B (zh) * 2018-11-01 2021-03-16 珠海格力电器股份有限公司 一种解决h.265码流随机接入点播放卡顿的方法、设备及计算机存储介质
CN109348247B (zh) * 2018-11-23 2021-03-30 广州酷狗计算机科技有限公司 确定音视频播放时间戳的方法、装置及存储介质
CN109905763B (zh) * 2019-03-20 2021-09-10 四川长虹电器股份有限公司 优化播放器音频播放卡顿的方法
TWI743774B (zh) * 2019-07-18 2021-10-21 瑞昱半導體股份有限公司 音訊與視訊同步方法與相關的裝置
CN112565016B (zh) * 2020-12-04 2022-09-30 北京奇艺世纪科技有限公司 异常时延的定位方法、***、装置、电子设备及存储介质
CN112770165B (zh) * 2020-12-28 2022-11-18 杭州电子科技大学 一种音视频流分布式同步方法
CN113225617A (zh) * 2021-04-28 2021-08-06 臻迪科技股份有限公司 播放视频处理方法、装置及电子设备
CN114121050A (zh) * 2021-11-30 2022-03-01 云知声智能科技股份有限公司 音频播放方法、装置、电子设备和存储介质
CN114143595B (zh) * 2021-12-08 2024-07-16 珠海豹趣科技有限公司 一种视频壁纸播放方法、装置、电子设备及可读存储介质
CN114390314B (zh) * 2021-12-30 2024-06-18 咪咕文化科技有限公司 可变帧率音视频处理方法、设备及存储介质
CN114666638B (zh) * 2022-03-11 2023-11-28 平安国际智慧城市科技股份有限公司 音视频数据同步方法、装置、设备及存储介质
CN115361574B (zh) * 2022-08-15 2023-09-15 广州市奥威亚电子科技有限公司 接收端视频处理方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191286A (ja) * 1997-07-28 1999-07-13 Sony Electron Inc オーディオとビデオの同期方法及びデジタルビデオプロセッサ
CN101827271A (zh) * 2009-03-04 2010-09-08 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
CN102075806A (zh) * 2011-01-26 2011-05-25 四川长虹电器股份有限公司 一种数字电视音视频同步方法
CN103607664A (zh) * 2013-11-22 2014-02-26 天津市北海通信技术有限公司 一种嵌入式多媒体播放***的音视频同步方法
CN103873952A (zh) * 2012-12-18 2014-06-18 风网科技（北京）有限公司 一种高效的视频播放丢帧控制***及其方法
CN104202611A (zh) * 2014-09-01 2014-12-10 赛特斯信息科技股份有限公司 基于视频解码器实现视频文件中花屏缺陷检测的方法
CN106612452A (zh) * 2015-10-22 2017-05-03 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置
CN107509100A (zh) * 2017-09-15 2017-12-22 深圳国微技术有限公司 音视频同步方法、***、计算机装置及计算机可读存储介质
CN107566890A (zh) * 2017-09-15 2018-01-09 深圳国微技术有限公司 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质
CN107801080A (zh) * 2017-11-10 2018-03-13 普联技术有限公司 一种音视频同步方法、装置及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
US20060093320A1 (en) * 2004-10-29 2006-05-04 Hallberg Bryan S Operation modes for a personal video recorder using dynamically generated time stamps
CN101138246A (zh) * 2005-03-07 2008-03-05 皇家飞利浦电子股份有限公司 视频流数据的缓冲

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191286A (ja) * 1997-07-28 1999-07-13 Sony Electron Inc オーディオとビデオの同期方法及びデジタルビデオプロセッサ
CN101827271A (zh) * 2009-03-04 2010-09-08 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
CN102075806A (zh) * 2011-01-26 2011-05-25 四川长虹电器股份有限公司 一种数字电视音视频同步方法
CN103873952A (zh) * 2012-12-18 2014-06-18 风网科技（北京）有限公司 一种高效的视频播放丢帧控制***及其方法
CN103607664A (zh) * 2013-11-22 2014-02-26 天津市北海通信技术有限公司 一种嵌入式多媒体播放***的音视频同步方法
CN104202611A (zh) * 2014-09-01 2014-12-10 赛特斯信息科技股份有限公司 基于视频解码器实现视频文件中花屏缺陷检测的方法
CN106612452A (zh) * 2015-10-22 2017-05-03 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置
CN107509100A (zh) * 2017-09-15 2017-12-22 深圳国微技术有限公司 音视频同步方法、***、计算机装置及计算机可读存储介质
CN107566890A (zh) * 2017-09-15 2018-01-09 深圳国微技术有限公司 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质
CN107801080A (zh) * 2017-11-10 2018-03-13 普联技术有限公司 一种音视频同步方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于AVS的嵌入式音视频同步传输***设计》;郭尧;《中国优秀硕士学位论文全文数据库》;20090415;全文 *
《流媒体***中音视频同步机制的设计与实现》;杨蓓;《中国优秀硕博士学位论文全文数据库》;20080515;全文 *

Also Published As

Publication number Publication date
CN108495164A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108495164B (zh) 音视频同步处理方法及装置、计算机装置及存储介质
US9794605B2 (en) Using time-stamped event entries to facilitate synchronizing data streams
US11217279B2 (en) Method and device for adjusting video playback speed
CN111277895A (zh) 一种视频插帧方法和装置
CN108156500B (zh) 多媒体数据时间修正方法、计算机装置、计算机可读存储介质
CN111225171A (zh) 一种视频录制方法、装置、终端设备及计算机存储介质
KR100490403B1 (ko) 오디오 스트림의 버퍼링 제어 방법 및 그 장치
CN104113778A (zh) 一种视频流解码方法及装置
CN113923472B (zh) 视频内容分析方法、装置、电子设备及存储介质
WO2020035036A1 (zh) 一种节目录制、播放方法及装置
CN116437161B (zh) 视频数据处理方法、注入方法、***、设备及存储介质
CN111949512A (zh) 应用程序的卡顿检测方法、装置、终端及介质
WO2023083213A1 (zh) 一种数据解码方法、装置、电子设备及可读存储介质
US9456180B2 (en) Image processing apparatus, communication system, and computer program
EP1388944A1 (en) Cross interleave reed-solomon code correction
CN116233411A (zh) 音视频同步测试的方法、装置、设备及计算机存储介质
US20200286120A1 (en) Advertising monitoring method, system, apparatus, and electronic equipment
CN110636380A (zh) 用于检测视频播放异常的机顶盒及方法、异常检测***
US11463493B2 (en) Method and apparatus for playing media file
CN113747159A (zh) 一种生成可变帧率视频媒体文件的方法、装置及相关组件
CN108335706B (zh) 一种多媒体文件的无缝播放方法、终端设备及存储介质
US11457287B2 (en) Method and system for processing video
CN117119128B (zh) 一种视频矩阵无缝切换的控制方法和视频矩阵***
US8699338B2 (en) Signal processing arrangement and method with adaptable signal reproduction rate
US10911819B2 (en) Multimedia pipeline device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant