CN102368835A - 一种音视频Seek同步策略 - Google Patents
一种音视频Seek同步策略 Download PDFInfo
- Publication number
- CN102368835A CN102368835A CN2011101796344A CN201110179634A CN102368835A CN 102368835 A CN102368835 A CN 102368835A CN 2011101796344 A CN2011101796344 A CN 2011101796344A CN 201110179634 A CN201110179634 A CN 201110179634A CN 102368835 A CN102368835 A CN 102368835A
- Authority
- CN
- China
- Prior art keywords
- seek
- video
- audio
- frame
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
一种音视频Seek同步策略，所属技术领域涉及多媒体音视频播放。本发明所要解决的问题为提供一种合理选择Seek同步点，使Seek操作快速完成的Seek同步策略。步骤如下：据同步的精确性设定阈值GT；若AT＞VT，则告知视频解码器，所有时间戳小于AT的视频帧只解码不输出，Seek的位置为AT，即同步点为AT；AT＜VT，则丢弃当前的音频帧，继续读取源文件，直到读到的音频时间戳CT接近VT，但要VT大于CT。然后告知音频解码器该帧音频解码后需丢掉VT-CT时间长度的数据。本发明对同步点的判定更加精准，并且将同步的判定放在解码前，省去了部分音频数据解码时间及输出时间，加快了Seek进程。
Description
技术领域
本发明涉及多媒体音视频播放领域，更具体的是视频播放过程中Seek操作的同步策略。
背景技术
在视频播放过程中，人们会将视频从一个时间点拖动到另一个时间点，来观看自己关心的内容，这一操作过程称为Seek。
在Seek操作这一环节中，一般选取与目标Seek点最接近的视频参考帧为Seek点，然后依次读出该位置之后的音频时间戳与视频时间戳送交解码器解码，但必须确保Seek后音视频同步输出，能否快速同步输出非常重要。因此采用合适的策略来保证Seek操作的快速响应，同步输出成为Seek操作的重中之重。
常规Seek策略为Seek拿到音频时间戳和视频时间戳后，选择其中最大的时间戳为同步点，同时将同步点告知音频输出单元和视频输出单元，音频和视频输出单元接收到音视频数据时，分别判断其时间戳与同步点的关系，若此时的音视频时间戳大于同步点则将数据送交硬件输出。当音视频均有输出时Seek过程结束，进入视频同步播放环节。使用该策略，可以满足大部分流Seek同步的需求，但是该策略Seek过程中会将一些不该输出的音频帧解码，不该显示的数据传输到音频和视频输出单元，增加了解码及传输时间。另外对于每帧音频持续时间(大于100毫秒)较长的流，当前帧音频小于同步点，但是下一帧音频则超出同步点很多，这给Seek同步造成较大的误差。
发明内容
本发明的目的是提供一种合理选择Seek同步点，使Seek操作快速完成的Seek同步策略。
一种视频播放过程中Seek同步策略包括以下步骤：
1、据同步的精确性设定阈值GT。假定Seek到的音频时间戳为AT，视频时间戳为VT。在数据读取端立即判断AT和VT之间的关系。若|AT-VT|＜＝GT，则认为Seek后音视频同步，Seek的位置为AT和VT中的最大值。否则执行下述2，3步骤。
2、T＞VT，则告知视频解码器，所有时间戳小于AT的视频帧只解码不输出，Seek的位置为AT，即同步点为AT。此时必须将视频帧送交视频解码器解码，否则在没有参考帧的情况下，视频解码就不完整，播放就会出现马赛克现象。
3、AT＜VT，则丢弃当前的音频帧，继续读取源文件，直到读到的音频时间戳CT接近VT，但要VT大于CT。然后告知音频解码器该帧音频解码后需丢掉VT-CT时间长度的数据。音频解码后根据每一帧音频的持续时间以及采样率可以计算得到丢掉多少字节的数据。此时Seek的位置为VT，即同步点位VT。
附图说明
图为Seek流程
具体实施方式
下面结合附图进一步阐述本发明：
图为视频播放过程中Seek流程，首先设定Seek同步阈值GT，这里选择30毫秒。当用户请求Seek时，首先确定最接近用户要求的参考帧在文件中的位置，然后从该位置之后依次读出Seek到的音频帧和视频帧，此后进入本发明的策略判定阶段，音频帧丢弃后直到读到与VT最接近的音频时间戳AT为止。然后送交音频解码器解码，在根据输出采样率计算出丢掉一定长度的音频数据就即可送交音频输出，此时音频流程Seek结束。视频帧经过AT和VT关系判定后，即刻送交视频解码，若视频不输出，则重复上述过程，否则视频帧送交视频输出，视频流程Seek结束，***进入正常播放环节。
其中计算需丢弃的音频帧长度计算公式如下：
假定音频采样率为Sa，每个采样点包含的字节数为N，需丢掉的时间长度为T毫秒，音频声道数为n，需要丢掉的字节数为L，则
L＝T/1000*Sa*N*n
公式
上述操作过程是本发明的一种典型的实施应用，已经在基于盈方微芯片的1080P多媒体解决方案中经百万级出货量验证，可以很好地满足用户的多媒体体验。对于本领域的一般技术人员，在上述实施例的基础上，可以做出多种变化，同样能实现本发明的目的。但是，这种变化显然是在本发明的权利要求书的保护范围内。
Claims (4)
1.一种音视频Seek同步策略，其特征在于包括以下步骤：
第一步骤，根据同步的精确性设定阈值GT。
第二步骤，若AT＞VT，则告知视频解码器，所有时间戳小于AT的视频帧只解码不输出，Seek的位置为AT，即同步点为AT。
第三步骤，若AT＜VT，则丢弃当前的音频帧，继续读取源文件，直到读到的音频时间戳CT接近VT，但要VT大于CT。
2.如权利要求1所述的一种音视频Seek同步策略，其特征在于：
所述第一步骤中，假定Seek到的音频时间戳为AT，视频时间戳为VT。在数据读取端立即判断AT和VT之间的关系。若|AT-VT|＜＝GT，则认为Seek后音视频同步，Seek的位置为AT和VT中的最大值。
3.如权利要求1所述的一种音视频Seek同步策略，其特征在于：
所述第二步骤中，若AT＞VT，则告知视频解码器，所有时间戳小于AT的视频帧只解码不输出，Seek的位置为AT，即同步点为AT时，必须将视频帧送交视频解码器解码，否则在没有参考帧的情况下，视频解码就不完整，播放就会出现马赛克现象。
4.如权利要求1所述的一种音视频Seek同步策略，其特征在于：
所述第三步骤中，应告知音频解码器该帧音频解码后需丢掉VT-CT时间长度的数据。音频解码后根据每一帧音频的持续时间以及采样率可以计算得到丢掉多少字节的数据。此时Seek的位置为VT，即同步点位VT。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011101796344A CN102368835A (zh) | 2011-06-28 | 2011-06-28 | 一种音视频Seek同步策略 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011101796344A CN102368835A (zh) | 2011-06-28 | 2011-06-28 | 一种音视频Seek同步策略 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102368835A true CN102368835A (zh) | 2012-03-07 |
Family
ID=45761384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011101796344A Pending CN102368835A (zh) | 2011-06-28 | 2011-06-28 | 一种音视频Seek同步策略 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102368835A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103414957A (zh) * | 2013-07-30 | 2013-11-27 | 广东工业大学 | 一种音视频数据同步的方法和装置 |
| CN104079974A (zh) * | 2014-06-19 | 2014-10-01 | 广东威创视讯科技股份有限公司 | 音视频处理方法和*** |
| CN106331820A (zh) * | 2015-06-29 | 2017-01-11 | 成都鼎桥通信技术有限公司 | 音视频的同步处理方法和装置 |
| CN106603543A (zh) * | 2016-12-22 | 2017-04-26 | 努比亚技术有限公司 | 校正流媒体音视频同步的方法及装置 |
| CN106686445A (zh) * | 2015-11-05 | 2017-05-17 | 北京中广上洋科技股份有限公司 | 对多媒体文件进行按需跳转的方法 |
| CN108737874A (zh) * | 2018-06-05 | 2018-11-02 | 武汉斗鱼网络科技有限公司 | 一种视频播放方法及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004015553A (ja) * | 2002-06-07 | 2004-01-15 | Sanyo Electric Co Ltd | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 |
| CN101902649A (zh) * | 2010-07-15 | 2010-12-01 | 浙江工业大学 | 一种基于h.264标准的音视频同步控制方法 |
-
2011
- 2011-06-28 CN CN2011101796344A patent/CN102368835A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004015553A (ja) * | 2002-06-07 | 2004-01-15 | Sanyo Electric Co Ltd | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 |
| CN101902649A (zh) * | 2010-07-15 | 2010-12-01 | 浙江工业大学 | 一种基于h.264标准的音视频同步控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郑阿奇: "数字视频音频实时同步传输探索与实现", 《南京师范大学学报（工程技术版）》, vol. 2, no. 3, 31 March 2002 (2002-03-31), pages 16 - 20 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103414957A (zh) * | 2013-07-30 | 2013-11-27 | 广东工业大学 | 一种音视频数据同步的方法和装置 |
| CN104079974A (zh) * | 2014-06-19 | 2014-10-01 | 广东威创视讯科技股份有限公司 | 音视频处理方法和*** |
| CN104079974B (zh) * | 2014-06-19 | 2017-08-25 | 广东威创视讯科技股份有限公司 | 音视频处理方法和*** |
| CN106331820A (zh) * | 2015-06-29 | 2017-01-11 | 成都鼎桥通信技术有限公司 | 音视频的同步处理方法和装置 |
| CN106331820B (zh) * | 2015-06-29 | 2020-01-07 | 成都鼎桥通信技术有限公司 | 音视频的同步处理方法和装置 |
| CN106686445A (zh) * | 2015-11-05 | 2017-05-17 | 北京中广上洋科技股份有限公司 | 对多媒体文件进行按需跳转的方法 |
| CN106686445B (zh) * | 2015-11-05 | 2019-06-11 | 北京中广上洋科技股份有限公司 | 对多媒体文件进行按需跳转的方法 |
| CN106603543A (zh) * | 2016-12-22 | 2017-04-26 | 努比亚技术有限公司 | 校正流媒体音视频同步的方法及装置 |
| CN106603543B (zh) * | 2016-12-22 | 2019-08-09 | 努比亚技术有限公司 | 校正流媒体音视频同步的方法及装置 |
| CN108737874A (zh) * | 2018-06-05 | 2018-11-02 | 武汉斗鱼网络科技有限公司 | 一种视频播放方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102368835A (zh) | 一种音视频Seek同步策略 | |
| TWI294085B (en) | Method and apparatus for synchronizing multimedia data stream | |
| EP2752023B1 (en) | Method to match input and output timestamps in a video encoder and advertisement inserter | |
| US10129587B2 (en) | Fast switching of synchronized media using time-stamp management | |
| WO2017067489A1 (zh) | 机顶盒音视频同步的方法及装置、存储介质 | |
| US8526501B2 (en) | Decoder and decoding method based on video and audio time information | |
| CN101478683B (zh) | 同步音频帧与视频帧 | |
| CN103686315A (zh) | 一种音视频同步播放方法及装置 | |
| CN101710997A (zh) | 基于mpeg-2***实现视、音频同步的方法及*** | |
| WO2017107516A1 (zh) | 网络视频播放方法及装置 | |
| CN106791994B (zh) | 一种低延时快速开播方法及装置 | |
| CN106658135B (zh) | 一种音视频播放方法及装置 | |
| EP2654309A1 (en) | Method and device for evaluating video quality | |
| CN109819312A (zh) | 基于动态缓冲区的播放器***及其控制方法 | |
| TW201528793A (zh) | 同步影音碼流的解碼器與解碼方法 | |
| CN102685507B (zh) | 一种mpeg-2传输流解码音视频同步方法和*** | |
| US20080037956A1 (en) | Systems and Methods of Generating Encapsulated MPEG Program Streams | |
| CN103581730A (zh) | 在数字机顶盒上实现音视频同步的方法 | |
| JP2018182677A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
| US20100166080A1 (en) | Video display apparatus | |
| US7961792B2 (en) | Robust system for maintaining audio/video synchronization during playback of multimedia streams with no embedded time stamps | |
| JP2018182617A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
| CN103179449A (zh) | 媒体文件的播放方法、电子设备和虚拟机架构 | |
| CN105451100A (zh) | 一种播放视频流的方法及装置 | |
| CN111131917B (zh) | 音频频谱实时同步方法、播放装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Applicant after: Shanghai InfoTM Microelectronics Co., Ltd. Address before: 201203, 11, Lane 572, Lane 115, blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Applicant before: Shanghai InfoTM Microelectronics Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: SHANGHAI INFOT MICROELECTRONICS CO., LTD. TO: SHANGHAI INFOTM MICROELECTRONICS CO., LTD. |
|
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120307 |