CN1291598C - 基于帧内编码图象检索的视频快进快退及恢复常速的方法 - Google Patents

基于帧内编码图象检索的视频快进快退及恢复常速的方法 Download PDF

Info

Publication number
CN1291598C
CN1291598C CN 200310123851 CN200310123851A CN1291598C CN 1291598 C CN1291598 C CN 1291598C CN 200310123851 CN200310123851 CN 200310123851 CN 200310123851 A CN200310123851 A CN 200310123851A CN 1291598 C CN1291598 C CN 1291598C
Authority
CN
China
Prior art keywords
frame
video
fast
time
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200310123851
Other languages
English (en)
Other versions
CN1556649A (zh
Inventor
戴琼海
曾涛
丁嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 200310123851 priority Critical patent/CN1291598C/zh
Publication of CN1556649A publication Critical patent/CN1556649A/zh
Application granted granted Critical
Publication of CN1291598C publication Critical patent/CN1291598C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种基于帧内编码图象检索的视频快进快退及恢复常速的方法,属于计算机多媒体应用技术领域。首先设视频流中的快进或快退速度为n倍速,停止播放音频;根据设定的快进或快退速度,对视频下一帧进行处理,使快进或快退延迟,以控制快进或快退的速度。本发明的视频恢复常速的方法,首先设视频流中的播放速度为正常速度;恢复播放音频;根据正常速度,得到下一帧视频;对下一帧视频进行处理直至播放完所有数据。利用本发明方法,快进快退时视频画面清晰,控制视频快进快退速度的算法简单,视频的快进快退速度稳定,而且速度能够随视频长度自适应快速变化。用户可以利用本发明方法提供的快进快退功能对视频节目进行快速浏览。

Description

基于帧内编码图象检索的视频快进快退及恢复常速的方法
技术领域  本发明涉及一种基于帧内编码图象检索的视频快进快退及恢复常速的方法,属于计算机多媒体应用技术领域,尤其涉及视频播放技术领域。
背景技术  通常一个多媒体播放器播放媒体文件需要经过的流程主要是:配置解码器->读取每一帧数据->选用合适的解码器解码->显示播放。
由于音视频数据的大小一般来说是十分巨大的,因此音视频的压缩编码/解码也是十分重要的。所以对于播放器来说,对于不同压缩格式的媒体文件,应该选择合适的解码器对数据进行解码,然后再进行显示和播放。
对于运动图象专家组标准(以下简称MPEG)视频流,其采用三种类型的图像:帧内图(以下简称I帧)、预测图(以下简称P帧)和差补图即双向预测图(以下简称B帧)。I帧可提供随机存取的存放位置,但压缩比不大,是一幅清晰的静态画面;P帧可以由I帧或前面的P帧进行预测,压缩比大于I帧;B帧是通过先前和后继的信息进行预测,因此压缩效果最显著。一个视频流序列沿时间轴方向可以按如下顺序进行排列:I B B PB B I B B P B B……
快进快退前进或后退所跳到的那一帧是必须保证为I帧的,如果跳到的是P帧或是B帧,因为P帧和B帧的解码都依赖于时序上的前一帧而不能单独解码,用户所看到的将是一幅马赛克画面,直到跳到I帧之后才重新恢复清晰。从用户的需求出发,显然马赛克是用户最难以接受的。因此,在快进快退时使用I帧检索技术,使新的起始时间点必须是I帧,才可以保证播放的时候用户看到的是一幅幅清晰的画面。
快进快退是盒式磁带录象机(以下简称VCR)中很重要的一项功能,对于一个多媒体播放器,实现稳定快速的快进快退技术是满足用户需求的重要保证。比如用户如果对当前的节目不是很感兴趣,则可以通过快进快退直接跳到节目的其他时间点上去。这使得用户变得更加的主动,可以选择收看节目的任意一部分。快进快退是多媒体播放中经常应用到的一项功能。目前的多媒体播放器所支持的快进快退技术一般是在拖动的基础上进行的改进。用户点击一次按钮,快进或快退一定的时间,这个时间可以由用户事先设定,然后从新的时间点的下一个I帧进行播放,这实际上和拖动操作的原理是一样的。这样避免了拖动的随机性,使用户可以一步步的快进快退到想看的时间点上。但是这种方法也是有一定的局限性:
1、用户只能一步一步的手动操作使视频快进快退,比较繁琐。
2、每次前进的步长虽然可设置,但快进快退过程中仍是固定不变的。
3、由于跳跃可能会错过一些关键帧,用户浏览的效果不佳。
4、由于是手动操作,每跳一步都要花费较长时间,快进快退速度受限制。
发明内容  本发明的目的是提出一种基于帧内编码图象检索的视频快进快退及恢复常速的方法,利用已有计算机中的视频播放技术,解决视频播放时的自动快进快退中操作繁琐、步长固定等问题,给用户提供播放多媒体文件自动快进快退的VCR功能,利用I帧检索技术改善快进快退的效果,以提高用户浏览视频的视觉效果。
本发明提出的基于帧内编码图象检索的视频快进快退的方法,包括以下步骤:
(1)设视频流中的快进或快退速度为n倍速,即每次向前或向后跳n个I帧;
(2)停止播放音频;
(3)根据上述设定的快进或快退速度,判断得到的视频下一帧是否为I帧,若不是I帧,则进行以下步骤(4),若是,则对I帧计数器加1,并判断I帧计数是否到达设定的倍数n,若已到达,进行以下步骤(6),若不到达,则进行以下步骤(4);
(4)若为快进状态,则跳到后一视频帧,若为快退状态,则跳回前一视频帧,并返回步骤(3);
(5)使快进或快退延迟,以控制快进或快退的速度;
(6)对步骤(3)中检索到的I帧视频进行解码,并显示该帧数据;
(7)重复上述步骤(3)~(6),以实现所有视频的自动快进或快退。
上述方法中,控制快进或快退速度的方法包括以下步骤:
(1)视频向前或向后跳一帧之后,利用下式计算使快进或快退延迟的时间:
延时时间=(最大跳跃时间-本次I帧跳跃时间+C1)×C2/最大视频时间,
上式中,C1、C2分别为两个相同或不相同的时间常数;
(2)对上述计算的延时时间进行判断,若超过本次I帧跳跃时间,则将延迟时间设成本次I帧跳跃时间,若没有超过本次I帧跳跃时间,则维持计算的延时时间不变。
本发明提出的基于帧内编码图象检索的视频恢复常速的方法,包括以下步骤:
(1)设视频流中的播放速度为正常速度;
(2)恢复播放音频;
(3)根据上述正常速度,得到下一帧视频;
(4)对下一帧视频进行解码,将解码后的数据存储,在播放时间到来时播放该数据;
(5)重复步骤(3)和(4),直至播放完所有数据。
本发明提出的基于帧内编码图象检索的视频快进快退及恢复常速的方法,其优点是:
1、快进快退时视频画面清晰,没有马赛克。
2、控制视频快进快退速度的算法简单,计算复杂度小,运算快速。
3、视频的快进快退速度稳定,而且速度能够随视频长度自适应快速变化。
4、用户可以根据自己的需要,通过配置参数,控制视频的快进快退速度。
5、本发明方法不仅适用于本地多媒体文件,同时也能扩展应用于远程VOD点播中。
6、用户可以利用本发明方法提供的快进快退功能对视频节目进行快速浏览。
附图说明
图1为本发明提出的自动快进快退的流程框图。
图2为本发明提出的恢复正常速度播放的流程框图。
具体实施方式
本发明提出的基于帧内编码图象检索的视频快进快退的方法,其流程如图1所示:
(1)设视频流中的快进或快退速度为n倍速,即每次向前或向后跳n个I帧;
(2)停止播放音频;
(3)根据上述设定的快进或快退速度,判断得到的视频下一帧是否为I帧,若不是I帧,则进行以下步骤(4),若是,则对I帧计数器加1,并判断I帧计数是否到达设定的倍数n,若已到达,进行以下步骤(6),若不到达,则进行以下步骤(4);
(4)若为快进状态,则跳到后一视频帧,若为快退状态,则跳回前一视频帧,并返回步骤(3);
(5)使快进或快退延迟,以控制快进或快退的速度;
(6)对步骤(3)中检索到的I帧视频进行解码,并显示该帧数据;
(7)重复上述步骤(3)~(6),以实现所有视频的自动快进或快退。
上述方法中,控制快进或快退速度的方法,首先视频向前或向后跳一帧之后,利用下式计算使快进或快退延迟的时间:
延时时间=(最大跳跃时间-本次I帧跳跃时间+C1)×C2/最大视频时间,
上式中,C1、C2分别为两个相同或不相同的时间常数;
然后对上述计算的延时时间进行判断,若超过本次I帧跳跃时间,则将延迟时间设成本次I帧跳跃时间,若没有超过本次I帧跳跃时间,则维持计算的延时时间不变。
本发明提出的基于帧内编码图象检索的视频恢复常速的方法,其流程如图2所示,包括以下步骤:
(1)设视频流中的播放速度为正常速度;
(2)恢复播放音频;
(3)根据上述正常速度,得到下一帧视频;
(4)对下一帧视频进行解码,将解码后的数据存储,在播放时间到来时播放该数据;
(5)重复步骤(3)和(4),直至播放完所有数据。
本发明提供了一种自动向前向后检索I帧并在I帧间跳跃的快进快退方式给用户使用。用户点击一次快进快退按钮后,节目自动在I帧上跳跃前进或后退,使用户可以方便的浏览节目,并且也使节目可以快速的快进快退到新的时间点,直到用户浏览到自己想看的节目时间点后,可以随时恢复正常播放,进行观看。对于这种方式,用户也可以根据自身的需求选择不同的快进快退速度。将这种方法应用到计算机多媒体播放上,可以满足用户更多的需求。在快进快退中我们必须要用到检索I帧的技术。
自动快进快退是通过在I帧之间进行向前向后的连续跳跃,实现快进快退的功能。由于可以设定间隔n个I帧显示一次,但每个I帧间的间隔又是不定的,因此n个I帧显示一次并不就等于正常播放速度的n倍。为此只能近似定义每间隔n个I帧显示一次作为n倍速的快进快退。用户在n倍快进(快退)的基础上点击一次快进(快退)按钮,则快进(快退)速度增为n+1倍;在n倍快进(快退)的基础上点击一次快退(快进)按钮,则快进(快退)速度减为n-1倍。
快进快退处理中,音频不需快进快退,仍按正常速度解码,但是不播放出来设置成静音。
快进快退处理中,由于只播放视频,因此将不进行音视频同步处理。另外,正常时解码后解码数据需缓冲到播放时刻再显示,但快进快退不按正常速度处理,等到缓冲再显示则显示的速度会远远落后于快进快退的速度,因此,解码后必须立即显示。
用户在快进快退过程中,当浏览到自己想看的时间点之后,可以选择恢复常速播放。这可以通过点击播放按钮或是通过点击与当前快进快退状态相反的按钮将快进快退速度降至0来实现。
在自动快进快退方法中,如果不设置延迟,连续地快速在I帧间跳跃检索,则快进快退的速度会相当的快,用户会来不及浏览到显示出来的每一个I帧。因此需要在找到I帧之后延迟一定的时间再显示出来。但这段时间如果设成固定的,则无法同时满足不同长度的节目。例如这段延迟时间较长,对于较长长度的节目,则会使用户等待很久。若延迟时间较短,对于较短长度的节目,用户还没来得及就很快会浏览完毕。因此,在控制延迟时间时需考虑实际的电影长度。另外每次I帧跳跃的时间也不是固定不变的,有时两个I帧间间隔很小,一下就跳到了;有时却间隔相当远,需要很长时间才跳跃到。这会给用户造成画面跳跃的速度不一致。为此,本发明方法采取的策略是,若本次跳跃的时间过长,接下来延迟的时间就尽可能短些,使得每次跳跃+延迟的总时间能维持在一个稳定的时间范围里。这样给用户的感觉就是画面以比较稳定的速度快进快退了。为此,所采取的算法如下:
定义:
maxtime:最大电影长度。单位秒
max_skiptime:最大跳跃时间,单位毫秒,这里设为10000毫秒即10秒
skiptime:本次I帧跳跃时间,即当前I帧同上一次所显示I帧之间的间隔时间。若此时间大于(max_skiptime)10秒,则作为10秒进行处理。单位毫秒
delay:所需计算的延迟时间。单位毫秒
算法:
delay=(max_skiptime-skiptime+C1)×C2/maxtime);C1,C2为常数,这里都取作1000。
如果电影节目过短,这样有可能造成delay的时间很长,甚至超过了每次跳跃的实际时间,这样就失去了快进快退的意义,因此如果延迟的时间超过了跳跃的时间,就将延迟的时间设成两帧间实际播放的时间间隔,作为最大的延迟。如下:
if(delay>skiptime)
delay=skiptime;
本发明所依据的原理是对I帧的检索与显示。这是利用用户所希望的宁可看到一幅静止清晰的画面也不愿意看一段时间的马赛克。为此,在快进快退时,利用I帧作为关键帧的特性进行检索,使得每次显示的帧都为I帧,这样就可以避免马赛克的画面。
下面介绍本发明的一个实施例:
本实施例通过播放本地mp4媒体文件来完成,所有操作皆由播放器完成。
播放器配置
CPU:Intel PIII 800MHz
内存:256M
操作***:Windows2000Professional
播放器:LSMP Media Player
参数设置
播放节目:mummy750a128.mp4(一部电影)
视频长度:7483191毫秒
本实施例的播放器快进快退实现方法,只需用户在界面上点击相应快进快退钮即可。
本实施例实现自动快进快退的方法具体测试数据如下:
  快进   快退
  设定速度  1   设定速度  1
  快进前视频最后一帧时间(ms)  2641820   快退前视频最后一帧时间(ms)  5333680
  快进前音频最后一帧时间(ms)  2641989   快退前音频最后一帧时间(ms)  5333786
  所跳I帧数  6   所跳I帧数  6
  恢复后视频第一帧时间(ms)  2684229   恢复后视频第一帧时间(ms)  5321837
  跳帧所花总时间(ms)  1613   跳帧所花时间(ms)  310
  延迟所花总时间(ms)  2304   延迟所花总时间(ms)  6315
  快进所花总时间(ms)  4507   快退所花总时间(ms)  7140
每次I帧跳跃的数据如下:
快进:
  跳跃次数   1   2   3   4   5   6
  跳过时间(ms)   9716   >10000   >10000   4253   6047   8716
  跳帧时间(ms)   381   361   250   140   241   240
  延迟时间(ms)   171   133   133   901   661   305
  总时间(ms)   552   494   383   1041   902   545
快退:
  跳跃次数   1   2   3   4   5   6
  跳过时间(ms)   2835   1876   3086   2668   1126   709
  跳帧时间(ms)   10   50   110   80   30   30
  延迟时间(ms)   1091   1219   1057   1113   1126   709
  总时间(ms)   1101   1269   1167   1193   1156   739
从上面的数据可以看出:
由于延迟的作用,一方面保证了快进快退的速度不会过快,另一方面使速度更加平均,因为跳帧时间越少的延迟一般越大,这样总时间就会更趋于平均。
另外,从快退处理时可以看到两个I帧间间隔很小,此时计算的延迟也更大,这使得一般情况下总跳跃时间大概能保持在1秒钟左右。用户也能收到较好的视觉效果。
由于跳帧的快速,一般总时间还是比跳过的时间小很多的,除非跳过时间很小,使得计算延迟时间小于跳过的时间(如快退的5,6),但由于加了保护,使总的时间不会大过跳过时间很多。

Claims (3)

1、一种基于帧内编码图象检索的视频快进快退的方法,其特征在于该方法包括以下步骤:
(1)设视频流中的快进或快退速度为n倍速,即每次向前或向后跳n个I帧;
(2)停止播放音频;
(3)根据上述设定的快进或快退速度,判断得到的视频下一帧是否为I帧,若不是I帧,则进行以下步骤(4),若是,则对I帧计数器加1,并判断I帧计数是否到达设定的倍数n,若已到达,进行以下步骤(6),若不到达,则进行以下步骤(4);
(4)若为快进状态,则跳到后一视频帧,若为快退状态,则跳回前一视频帧,并返回步骤(3);
(5)使快进或快退延迟,以控制快进或快退的速度;
(6)对步骤(3)中检索到的I帧视频进行解码,并显示该帧数据;
(7)重复上述步骤(3)~(6),以实现所有视频的自动快进或快退。
2、如权利要求1所述的方法,其特征在于,步骤(5)中所述的控制快进或快退速度,包括以下步骤:
(1)视频向前或向后跳一帧之后,利用下式计算使快进或快退延迟的时间:延时时间=(最大跳跃时间-本次I帧跳跃时间+C1)×C2/最大视频时间,上式中,C1、C2分别为两个相同或不相同的时间常数;
(2)对上述计算的延时时间进行判断,若超过本次I帧跳跃时间,则将延迟时间设成本次I帧跳跃时间,若没有超过本次I帧跳跃时间,则维持计算的延时时间不变。
3、一种基于帧内编码图象检索的视频恢复常速的方法,其特征在于该方法包括以下步骤:
(1)设视频流中的播放速度为正常速度;
(2)恢复播放音频;
(3)根据上述正常速度,得到下一帧视频;
(4)对下一帧视频进行解码,将解码后的数据存储,在播放时间到来时播放该数据;
(5)重复步骤(3)和(4),直至播放完所有数据。
CN 200310123851 2003-12-31 2003-12-31 基于帧内编码图象检索的视频快进快退及恢复常速的方法 Expired - Fee Related CN1291598C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200310123851 CN1291598C (zh) 2003-12-31 2003-12-31 基于帧内编码图象检索的视频快进快退及恢复常速的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200310123851 CN1291598C (zh) 2003-12-31 2003-12-31 基于帧内编码图象检索的视频快进快退及恢复常速的方法

Publications (2)

Publication Number Publication Date
CN1556649A CN1556649A (zh) 2004-12-22
CN1291598C true CN1291598C (zh) 2006-12-20

Family

ID=34338928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200310123851 Expired - Fee Related CN1291598C (zh) 2003-12-31 2003-12-31 基于帧内编码图象检索的视频快进快退及恢复常速的方法

Country Status (1)

Country Link
CN (1) CN1291598C (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698277B1 (ko) * 2005-07-15 2007-03-22 엘지전자 주식회사 영상표시장치 및 이를 이용한 방송신호 재생 방법
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
CN100551043C (zh) 2007-02-08 2009-10-14 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
CN101262600B (zh) * 2007-03-08 2010-05-26 凌阳科技股份有限公司 一种网络视频快进快退播放***和方法
CN101179704B (zh) * 2007-11-23 2010-07-21 华为终端有限公司 一种节目内容定位方法以及节目内容定位装置
CN101635847B (zh) * 2009-09-02 2011-11-30 中兴通讯股份有限公司 一种流媒体的传输方法、视频播放装置及终端
CN101795382B (zh) * 2010-04-01 2012-03-28 广东欧珀电子工业有限公司 一种控制画面快进和快退速度的方法
CN101841692B (zh) * 2010-04-23 2011-11-23 深圳市茁壮网络股份有限公司 视频流快进快退的方法
CN102469309B (zh) * 2010-11-16 2014-03-12 扬智科技股份有限公司 影像处理方法
CN102522097A (zh) * 2012-01-06 2012-06-27 顾宁 一种在触摸式设备上精准控制播放器进度的方法及播放器
CN104284249A (zh) * 2013-07-11 2015-01-14 腾讯科技(深圳)有限公司 视频播放方法及装置
CN106331871B (zh) * 2015-07-08 2020-01-17 阿里巴巴集团控股有限公司 一种实现视频流快进或快退的方法及装置
EP3249652B1 (en) * 2016-05-25 2020-07-15 Axis AB Method and apparatus for playing back recorded video

Also Published As

Publication number Publication date
CN1556649A (zh) 2004-12-22

Similar Documents

Publication Publication Date Title
CN1291598C (zh) 基于帧内编码图象检索的视频快进快退及恢复常速的方法
JP6562992B2 (ja) デジタルビデオストリーミングにおけるトリック再生
KR101248371B1 (ko) 비디오 프로세싱에서의 전력 및 연산 부하 관리 기술
US8483551B2 (en) Method for generating double-speed IDR-unit for trick play, and trick play system and method using the same
US20100046637A1 (en) Power and computational load management techniques in video processing
US20230269441A1 (en) Intermediate key frame selection and animation
CN101060624A (zh) 视频数据的处理方法及存储设备
EP1772016A2 (en) Trickmodes and speed transitions
EP2661084B1 (en) Method to play a video data stream, device and computer program
CN1390060A (zh) 使用画面类型转换的图象处理
US20100247066A1 (en) Method and apparatus for reverse playback of encoded multimedia content
CA2652779A1 (en) Method and system for processing digital video
CN1787635A (zh) 用于搜索移动通信终端视频的装置和方法
EP2635025A1 (en) Video processing method and video appliance implementing the method
US10555025B2 (en) Aggregating time-delayed sessions in a video delivery system
CN1503571A (zh) 声音图像多路复用数据生成装置和重放装置及移动图像译码装置
CN1925596A (zh) 个人用视频存储装置及其图像播放方法
US7974523B2 (en) Optimal buffering and scheduling strategy for smooth reverse in a DVD player or the like
lén Fernández et al. Browsing sport content through an interactive h. 264 streaming session
CN1669331A (zh) 编码装置、编码方法、解码装置与解码方法
Sung A rich media framework for communication-broadcasting converged IPTV
Psannis et al. MPEG-based interactive video streaming: a review.
US20090304089A1 (en) Reproduction processing apparatus, reproduction processing method, and computer program
EP2015305A1 (en) A device and method for smooth reverse playback of media
KR101667050B1 (ko) 인코딩된 멀티미디어 콘텐츠의 역방향 재생을 위한 방법 및 장치와 기계로 읽을 수 있는 저장 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061220

Termination date: 20141231

EXPY Termination of patent right or utility model