CN101232611B - 图像处理设备及其方法 - Google Patents
图像处理设备及其方法 Download PDFInfo
- Publication number
- CN101232611B CN101232611B CN2007101535511A CN200710153551A CN101232611B CN 101232611 B CN101232611 B CN 101232611B CN 2007101535511 A CN2007101535511 A CN 2007101535511A CN 200710153551 A CN200710153551 A CN 200710153551A CN 101232611 B CN101232611 B CN 101232611B
- Authority
- CN
- China
- Prior art keywords
- frame
- data
- image processing
- cushioned
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种图像处理设备和图像处理方法。所述图像处理设备包括:接收单元,用于接收运动图像数据;以及缓冲单元,用于优先缓冲构成运动图像数据的每一帧组中的预定数量的帧,从而提供连续流传输画面。
Description
技术领域
本发明的各方面涉及一种图像处理设备及其方法,更具体地说,涉及一种通过优先缓冲预定数量的帧来提供连续流传输图像的图像处理设备及其方法。
背景技术
流传输技术允许通过互联网实时发送和接收包括音频/视频的运动图像数据,而不需要等待下载这些数据。流传输技术还能够实现随着数据下载到足以进行处理的量而连续处理数据信息,而不是在信息被完全下载之后来处理所述信息。用户可使用传统图像处理设备直接播放运动图像数据,而不必等到全部运动图像数据被下载。可对运动图像数据进行流传输或者将其存储在文件中,从而用户可在任何期望的时间观看和收听所述运动图像数据。
对于流传输技术,需要缓冲运动图像数据的处理。在先前提到的传统图像处理设备中,运动图像数据的第一部分的预定量被缓冲以被播放。当用户设置快进模式时,根据网络的带宽,需要大约几秒到几分钟的时间来缓冲快进所需要的运动图像数据。在最坏的情况下,用户将需要重新连接网络。
同理,当帧移动(frame movement)被设置时,在所有先前帧被缓冲之后,在移动位置的帧被缓冲。根据网络的带宽,需要大约花费几秒到几分钟的缓冲处理来缓冲在移动位置的帧。在最坏的情况下,需要进行网络重新连接处理,这引起用户的不便。
发明内容
本发明的各方面涉及一种通过优先缓冲预定数量的帧来提供连续流传输图像的图像处理设备及其方法。
本发明的各方面还涉及一种最小化网络通信量的图像处理设备及其方法。
根据本发明的一方面,提供一种图像处理设备。所述图像处理设备包括: 接收单元,接收运动图像数据;以及缓冲单元,优先缓冲组成运动图像数据的多个帧组中的每一帧组中的预定数量的帧。
根据本发明的另一方面,图像处理设备还可包括:计算单元,基于包括在运动图像数据中的运动图像头部信息来计算每一帧组中将被缓冲的帧的数量;其中,缓冲单元优先缓冲每一帧组中计算的数量的帧。
根据本发明的另一方面,计算单元使用以下等式来计算将被缓冲的帧的数量:
BS=MS*(MB-NB)/MB
FN=Ceil(BS/(FS*GN))
If FN<1 then
FN=1
END IF
其中,BS是必需缓冲量,MS是运动图像数据的大小,MB是运动图像数据的带宽,NB是网络的带宽,FN是每一帧组中将被缓冲的帧的数量,FS是一帧的大小,GN是帧组(GOP)的数量。
根据本发明的另一方面,缓冲单元通过将索引号分配给计算的数量的帧中的每一帧来产生帧索引列表。
根据本发明的另一方面,图像处理设备还包括用于输入选择信号的输入单元。
根据本发明的另一方面,图像处理设备还包括:播放单元,用于当通过输入单元输入用于设置普通播放模式的选择信号时,按照帧索引列表中的索引号的顺序来播放缓冲的帧,其中,当播放单元播放缓冲的帧时,缓冲单元缓冲未缓冲帧。
根据本发明的另一方面,图像处理设备还包括:播放单元,用于当通过输入单元输入用于设置快进模式的选择信号时,按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧。
根据本发明的另一方面,图像处理设备还包括:播放单元,用于当通过输入单元输入用于设置帧移动的选择信号并且在移动位置的帧被缓冲时,优先播放在移动位置的帧,其中,如果在移动位置的帧没有被缓冲,则缓冲单元可缓冲在移动位置的帧。
根据本发明的另一方面,提供一种图像处理方法。所述方法包括:接收 运动图像数据,并优先缓冲组成运动图像数据的多个帧组中的每一帧组中的预定数量的帧。
根据本发明的另一方面,图像处理方法还包括:基于包括在运动图像数据中的运动图像头部信息,计算在一个帧组中将被缓冲的帧的数量;其中,缓冲步骤包括:优先缓冲每一帧组中的计算的数量的帧。
根据本发明的另一方面,计算步骤包括使用以下等式来计算将被缓冲的帧的数量:
BS=MS*(MB-NB)/MB
FN=Ceil(BS/(FS*GN))
If FN<1 then
FN=1
END IF
其中,BS是必需缓冲量,MS是运动图像数据的大小,MB是运动图像数据的带宽,NB是网络的带宽,FN是每一帧组中将被缓冲的帧的数量,FS是一帧的大小,GN是帧组(GOP)的数量。
根据本发明的另一方面,缓冲步骤包括通过将索引号分配给计算的数量的帧中的每一帧来产生帧索引列表。
根据本发明的另一方面,图像处理方法还包括:当输入用于设置普通播放模式的选择信号时,按照帧索引列表中的索引号的顺序来播放缓冲的帧,其中,缓冲步骤包括当播放被执行时,缓冲未缓冲帧。
根据本发明的另一方面,图像处理方法还包括:当输入用于设置快进模式的选择信号时,按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧。
根据本发明的另一方面,图像处理方法还包括:当输入用于设置帧移动的选择信号并且在移动位置的帧被缓冲时,优先播放在移动位置的帧,其中,缓冲步骤包括:如果在移动位置的帧没有被缓冲,则缓冲在移动位置的帧。
本发明的其它方面和/或优点将在以下描述中部分地阐述,部分通过以下描述变得清楚,或者可通过对本发明的实践而获得。
附图说明
通过下面结合附图进行的对实施例的描述,本发明的这些和/或其它方面和优点将会变得清楚和更加易于理解,其中:
图1是根据本发明实施例的图像处理设备的框图;
图2是根据本发明另一实施例的图像处理设备的框图;
图3是根据本发明另一实施例的解释将被缓冲的帧的示意图;
图4A、图4B和图4C是根据本发明另一实施例的解释图像处理技术的示意图;
图5是根据本发明另一实施例的解释图像处理技术的示意图;以及
图6到图10是根据本发明各个实施例的解释图像处理技术的流程图。
具体实施方式
现将详细参照本发明的所述实施例,其示例在附图中示出,其中,相同的标号始终指示相同的部件。以下通过参照附图来描述实施例以便解释本发明。
图1是根据本发明实施例的图像处理设备100的框图。图像处理设备100包括接收单元110和缓冲单元120。根据本发明的其它方面的图像处理设备100可包括附加部件;类似地,上述单元的功能可被组合为单个单元。图像处理设备100可以是桌上型计算机、便携式计算机、个人数字助理、个人娱乐装置、移动电话等,并且图像处理设备100可使用无线和/或有线协议连接到网络。
图像处理设备100分析包括在由接收单元110接收的运动图像数据中的运动图像头部信息,解析运动图像数据,缓冲解析的运动图像数据,并播放运动图像数据。缓冲单元120根据选择的信号来缓冲运动图像数据。信号的示例包括:播放信号(图像重放指示)、停止信号、暂停信号、快进信号、回退信号。
接收单元110接收运动图像数据。接收单元110从流传输服务器(未示出)接收运动图像数据,并将运动图像头部信息输出到缓冲单元120。运动图像头部信息被包括在接收的运动图像数据中。
缓冲单元120计算连续播放运动图像数据所需的运动图像数据量,并基于所述计算来缓冲运动图像数据。缓冲单元120可优先缓冲构成运动图像数据的每一帧组中的预定数量的帧。根据运动图像数据的种类,可将固定值(例如,对于每一帧组而言为1到2)应用于将被优先缓冲的帧的数量。基于运动图像数据的大小和/或其它因素(诸如,数据的类型、网络条件等)计算的 值可用于将被优先缓冲的帧的数量。当诸如播放、快进、帧移动等的操作被顺序执行时,没有被缓冲的其它帧(以下,称为“未缓冲帧”)被缓冲。
构成运动图像数据的帧根据构成运动图像数据的连续帧的颜色或转变的特征被划分为组。帧组是指图像组(GOP),每一组具有关键帧和多个普通帧。关键帧是指每一组的代表帧。当划分运动图像时可考虑其它因素,在本发明的其它方面中可按照不同的方式来定义组。
所述帧是指为了使得构成电影或TV屏幕上的画面的每一场景产生运动感觉而显示的每秒25到30帧。作为示例,每秒连续显示大约30帧,以实现运动图像。通过每秒帧数(FPS)来表示每秒钟的帧数。通常,256色以及640×480分辨率的一帧具有大约300KB(通过640×480×8÷8计算)的大小。为了实现具有上述数据量的运动图像,一分钟的数据量为300KB×30帧×60秒=540MB。所述帧的大小可根据各种因素变化,所述因素包括对于所述帧采用的压缩技术。
图2是根据本发明另一实施例的图像处理设备200的框图。图像处理设备200包括:接收单元210、输入单元220、缓冲单元230、计算单元240和播放单元250。根据本发明其它方面的图像处理设备200可包括附加部件,或者可将一个或多个单元的功能组合为单个部件。
接收单元210接收运动图像数据。输入单元220接收由用户输入的各种选择信号。输入单元220接收正由用户输入的选择信号。选择信号的示例包括:播放信号(图像重放指示)、停止信号、暂停信号、快进信号和回退信号以及用于设置普通播放模式、快进模式、帧移动等的选择信号。帧移动是用于移动到特定帧的信号,所述特定帧被称为在移动位置的帧。可通过遥控器、控制面板、在图像处理设备200的一侧设置的按钮或能够接收用户输入的任何装置来实现输入单元220。尽管未被要求,但是接收单元210可使用有线和/或无线连接接收运动图像数据。
缓冲单元230优先缓冲组成运动图像数据的每一帧组中的预定数量的帧。缓冲单元230优先缓冲每一帧组中将被缓冲的通过计算单元240计算的数量的帧。如果将被缓冲的帧的数量是FN,则对于每一帧组(GOP),优先缓冲FN个帧。
缓冲单元230通过将索引号分配给优先缓冲的帧来产生帧索引列表。索引号指示每一缓冲的帧在运动图像数据中的位置。在通过播放单元250播放 帧的同时,缓冲单元230缓冲跟在正被播放的帧后面的未缓冲帧。如果接收到用于将帧移动设置为在移动位置的帧的选择信号,并且在移动位置的帧没有被缓冲时,则缓冲单元230缓冲在移动位置的帧。
计算单元240基于包括在运动图像数据中的运动图像头部信息,计算在每一帧组中将被缓冲的帧的数量。可通过分析运动图像头部信息来计算运动图像数据的大小、GOP(帧组)的数量、播放时间等。
尽管未在所有方面中要求,但是计算单元240可使用等式1来计算将被缓冲的帧的数量:
等式1
BS=MS*(MB-NB)/MB
FN=Ceil(BS/(FS*GN))
If FN<1 then
FN=1
END IF
在等式1中,BS是必需缓冲量,MS是运动图像数据的大小,MB是运动图像数据的带宽,NB是网络的带宽,FN是每一帧组中将被缓冲的帧的数量,FS是一帧的大小,GN是图像组(GOP)的数量。Ceil( )是ceiling函数,该函数返回大于或等于输入值的最小整数。根据本发明其它方面的计算单元240可使用其它等式计算将被缓冲的帧的数量。
以下,以计算将被缓冲的帧的数量的方法作为示例进行描述。当MS为4MB,MB为1MB/sec,NB为500KB/sec,FS为25,GN为4000,并将这些值输入等式1时,
BS为4M×(1M-500K)/1M=2M,并且
FN为(2000K/(25×4000))=20。
计算单元240按照上述方式计算将被缓冲的帧的数量FN,并将计算的数量FN提供给缓冲单元230。
由于需要充分确保缓冲,所以计算单元240对将被缓冲的帧的数量进行四舍五入。由于每一组中的关键帧被无条件地缓冲,所以每一组中帧的数量不能小于1。因此,如果将被缓冲的帧的数量小于1,则将该数量定义为1。
播放单元250播放运动图像数据。播放单元250在播放时间播放缓冲的帧。当通过输入单元220输入用于设置普通播放模式的选择信号时,播放单 元250按照帧索引列表中的索引号的顺序来播放缓冲的帧。在缓冲的帧被播放的同时,通过缓冲单元230来缓冲未缓冲的帧,以提供连续的流传输图像。
当通过输入单元220输入用于设置快进模式的选择信号时,播放单元250按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧。由于在快进时使用的所有关键帧被缓冲,所以连续流传输画面被提供,而不需要进行额外的缓冲。
当通过输入单元220输入用于设置帧移动的选择信号,并且在移动位置的帧被缓冲时,播放单元250优先播放在移动位置的帧。如果通过播放单元250播放的帧之前的帧没有被缓冲,则可在不缓冲未缓冲的先前帧的情况下播放运动图像数据。
图3是根据本发明另一实施例的解释将被缓冲的帧的示意图。图3示出由计算单元240确定的,在每一帧组(GOP)300中将被优先缓冲的预定数量的帧310。图3所示的运动图像数据具有6个GOP 300以及每个GOP 300中将被优先缓冲的两帧。每组300中将被缓冲的帧310包括一关键帧和一普通帧。
如上所述,将被缓冲的帧的数量可以是固定值或通过诸如等式1的公式计算的值。在图3中,每GOP中,最开始的两帧被优先缓冲。然而,将被优先缓冲的帧的位置可被改变。例如,如果如图3所示,每一GOP包括5帧,则可只有第三帧和第四帧被优先缓冲,而不是图3所示的第一帧和第二帧被优先缓冲。每一GOP 300尽管在图3中示为具有5帧,但是可具有任何数量的帧;类似地,GOP 300不需要均具有相同数量的帧。
当将被优先缓冲的帧被缓冲,并且普通播放模式被设置时,由于在每一GOP 300中的缓冲的帧310被播放的同时未缓冲帧被缓冲,所以图像处理设备100、200可提供连续的流传输画面。
图4A到图4C是根据本发明另一实施例的解释图像处理技术的示意图。图4A和图4C示出对于运动图像数据的每一帧组的在图像处理设备100、200中被优先缓冲的预定数量的帧。当帧移动被设置并且播放位置410的帧被缓冲时,缓冲的帧被播放。在播放位置410之后的未缓冲帧被缓冲。因此,如图4C所示,在播放位置420和430被移动的同时,未缓冲帧均被缓冲。
如图4A所示,当帧移动被设置并且播放位置410-1的帧没有被缓冲时,未缓冲帧被缓冲。由于未缓冲帧被缓冲并且下一帧被优先缓冲,所以与传统 方式相比,缓冲未缓冲帧所需的时间被缩短。如果在设置帧移动的播放位置410之前的帧没有被缓冲,则在播放位置410之前的未缓冲帧不被缓冲,从而最小化网络通信量。
图5是根据本发明另一实施例的解释图像处理技术的示意图。在图5中,在图像处理设备100、200中,快进模式被设置。图像处理设备100、200缓冲将被优先缓冲的帧。索引号被分配给缓冲的帧,并且将带有索引号的缓冲的帧记录在帧索引列表中。
当在普通播放510期间由用户设置快进模式时,进行快进520。在快进520期间,基于帧索引列表,只有关键帧被播放。当用户随后设置普通播放模式时,在普通播放模式被播放的点530的缓冲的帧被播放。在缓冲的帧被播放的同时,未缓冲帧被缓冲,以提供连续流传输画面。
图6到图10是根据本发明各个实施例的解释图像处理技术的流程图。参照图6,在操作610,图像处理设备100、200接收运动图像数据(诸如从流传输服务器接收)。在操作S620,对于运动图像数据的每一帧组,预定数量的帧被优先缓冲。当运动图像数据被播放时,在优先缓冲的帧被播放的同时,正在被播放的组中的未缓冲帧被缓冲,从而提供连续流传输画面。
参照图7,在操作S710,图像处理设备100、200从流传输服务器接收运动图像数据。在操作S720,基于包括在运动图像数据中的运动图像头部信息来计算将被缓冲的帧的数量。可使用上述等式1来计算将被缓冲的帧的数量。在操作S730,每一帧组中计算的数量的帧被缓冲。
参照图8,在操作S810,在运动图像数据的每一帧组中将被优先缓冲的预定数量的帧被缓冲之后,用于设置普通播放模式的选择信号被输入。在操作S820,图像处理设备100、200按照帧索引列表中的索引号的顺序来播放缓冲的帧。在操作S830,在缓冲的帧被播放的同时,未缓冲帧被缓冲。因此,连续流传输画面被提供。
参照图9,在操作S910,在按照运动图像数据的每一帧组将被优先缓冲的预定数量的帧被缓冲之后,设置快进模式的选择信号被输入。在操作S920,图像处理设备100、200按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧。由于在快进时使用的所有关键帧已经被缓冲,所以在快进期间提供连续流传输画面,而不需要额外的缓冲。
参照图10,在操作S1010,在按照运动图像数据的每一帧组将被优先缓 冲的预定数量的帧被缓冲之后,用于设置帧移动的选择信号被输入。如果在移动位置的帧被缓冲,则在操作S1030,图像处理设备100、200优先播放在移动位置的帧。
如果在移动位置的帧没有被缓冲,则在操作S1040,图像处理设备缓冲在移动位置的帧。由于仅在移动位置的预定数量的帧被缓冲,并且所述帧被优先缓冲,所以与传统方式相比,缓冲时间被缩短。即使在被播放的帧之前的帧没有被缓冲,图像处理设备可在没有缓冲未缓冲帧的情况下播放运动图像数据。结果,网络通信量被最小化。
如上所述,根据基于本发明各方面的图像处理设备和图像处理方法,预定数量的帧被优先缓冲,从而提供连续流传输画面并最小化网络通信量。尽管针对网络进行了以上描述,但是应理解:本发明的各个方面可用于非网络应用,诸如,缓冲从信息存储介质读取的AV数据的媒体播放器。尽管针对运动图像数据进行了以上描述,但是应理解:本发明的各方面可用于除了运动图像数据之外或代替运动图像数据的其它数据,诸如音频数据、图像数据和/或软件数据。
可将根据本发明各方面的缓冲技术记录在包括程序指令的计算机可读介质中,所述指令用于实现通过计算机执行的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等,或者所述介质还可通过组合的形式包括上述程序指令、数据文件、数据结构等。计算机可读介质的示例包括:磁介质(诸如硬盘、软盘和磁带)、光介质(诸如CD和DVD)、磁光介质(诸如光盘)和专门配置以存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)、以及以载波实现的包括压缩源代码段和加密源代码段的计算机数据信号(诸如通过互联网的数据传输)。还可将计算机可读记录介质分布于联网的计算机***,从而以分布方式存储并执行计算机可读代码。程序指令的示例包括诸如由编译器产生的机器码和包含可由计算机使用解释器执行的较高层代码的文件。可将所述硬件装置配置为充当一个或多个软件模块,以便执行本发明的上述实施例的操作。
尽管已经示出并描述了本发明的若干实施例,但是本领域的技术人员应理解:在不脱离本发明的原理的情况下,可对所述实施例进行改变,其中,本发明的范围在权利要求及其等同物中限定。
Claims (28)
1.一种图像处理设备,包括:
接收单元,用于接收运动图像数据;以及
缓冲单元,用于在重放运动图像数据的多个帧组之前,优先缓冲所述多个帧组中的每一帧组中的预定数量的帧,而不缓冲所述多个帧组中剩余的帧。
2.如权利要求1所述的图像处理设备,还包括:
计算单元,用于基于包括在运动图像数据中的运动图像头部信息来计算每一帧组中将被缓冲的帧的数量;
其中,缓冲单元优先缓冲每一帧组中计算的数量的帧。
3.如权利要求2所述的图像处理设备,其中,计算单元使用以下等式来计算将被缓冲的帧的数量:
BS=MS*(MB-NB)/MB
FN=Ceil(BS/(FS*GN))
If FN<1then
FN=1
END IF
其中,BS是必需缓冲量,MS是运动图像数据的大小,MB是运动图像数据的带宽,NB是网络的带宽,Ceil()是ceiling函数,该函数返回大于或等于输入值的最小整数,FN是每一帧组中将被缓冲的帧的数量,FS是一帧的大小,GN是帧组GOP的数量。
4.如权利要求2所述的图像处理设备,其中,缓冲单元通过将索引号分配给计算的数量的帧中的每一帧来产生帧索引列表。
5.如权利要求4所述的图像处理设备,还包括:输入单元,用于输入选择信号。
6.如权利要求5所述的图像处理设备,还包括:
播放单元,用于当通过输入单元输入用于设置普通播放模式的选择信号时,按照帧索引列表中的索引号的顺序来播放缓冲的帧,
其中,在播放单元播放缓冲的帧的同时,缓冲单元缓冲在所述缓冲的帧之后的未缓冲帧。
7.如权利要求5所述的图像处理设备,还包括:
播放单元,用于当通过输入单元输入用于设置快进模式的选择信号时,按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧,而不缓冲剩余的未缓冲帧。
8.如权利要求5所述的图像处理设备,还包括:
播放单元,用于当通过输入单元输入用于设置帧移动的选择信号并且在移动位置的帧被缓冲时,优先播放在移动位置的帧;
其中,如果在移动位置的帧没有被缓冲,则缓冲单元缓冲在移动位置的帧,而不缓冲在移动位置的帧之前的未缓冲帧。
9.一种图像处理方法,包括:
接收运动图像数据;以及
在重放运动图像数据的多个帧组之前,优先缓冲所述多个帧组中的每一帧组中的预定数量的帧,而不缓冲所述多个帧组中剩余的帧。
10.如权利要求9所述的图像处理方法,还包括:
基于包括在运动图像数据中的运动图像头部信息,计算在一个帧组中将被缓冲的帧的数量;
其中,缓冲步骤包括:优先缓冲每一帧组中的计算的数量的帧。
11.如权利要求10所述的图像处理方法,其中,计算步骤包括使用以下等式来计算将被缓冲的帧的数量:
BS=MS*(MB-NB)/MB
FN=Ceil(BS/(FS*GN))
If FN<1then
FN=1
END IF
其中,BS是必需缓冲量,MS是运动图像数据的大小,MB是运动图像数据的带宽,NB是网络的带宽,Ceil()是ceiling函数,该函数返回大于或等于输入值的最小整数,FN是每一帧组中将被缓冲的帧的数量,FS是一帧的大小,GN是帧组GOP的数量。
12.如权利要求10所述的图像处理方法,其中,缓冲步骤包括通过将索引号分配给计算的数量的帧中的每一帧来产生帧索引列表。
13.如权利要求11所述的图像处理方法,其中,缓冲步骤包括通过将索引号分配给计算的数量的帧中的每一帧来产生帧索引列表。
14.如权利要求12所述的图像处理方法,还包括:
当输入用于设置普通播放模式的选择信号时,按照帧索引列表中的索引号的顺序来播放缓冲的帧;
其中,缓冲步骤包括:在播放缓冲的帧的同时,缓冲在所述缓冲的帧之后的未缓冲帧。
15.如权利要求12所述的图像处理方法,还包括:
当输入用于设置快进模式的选择信号时,按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧,而不缓冲剩余的未缓冲帧。
16.如权利要求12所述的图像处理方法,还包括:
当输入用于设置帧移动的选择信号并且在移动位置的帧被缓冲时,优先播放在移动位置的帧;
其中,缓冲步骤包括:如果在移动位置的帧没有被缓冲,则缓冲在移动位置的帧,而不缓冲在移动位置的帧之前的未缓冲帧。
17.如权利要求13所述的图像处理方法,还包括:
当用于设置普通播放模式的选择信号被输入时,按照帧索引列表中的索引号的顺序来播放缓冲的帧;以及
其中,缓冲步骤包括:在播放缓冲的帧的同时,缓冲未缓冲帧。
18.如权利要求13所述的图像处理方法,还包括:
当用于设置快进模式的选择信号被输入时,按照帧索引列表中的索引号的顺序来顺序播放缓冲的帧,而不缓冲剩余的未缓冲帧。
19.如权利要求13所述的图像处理方法,还包括:
当用于设置帧移动的选择信号被输入,并且在移动位置的帧被缓冲时,优先播放在移动位置的帧;
其中,缓冲步骤包括:如果在移动位置的帧没有被缓冲,则缓冲在移动位置的帧,而不缓冲在移动位置的帧之前的未缓冲帧。
20.一种最小化涉及流传输数据的网络通信量的方法,所述方法包括:
优先缓冲组成所述数据的多个帧组中的每一帧组的数据中的预定数量的帧,而不缓冲所述多个帧组中剩余的帧,其中,所述数据中的预定数量的帧包括至少一个关键帧;
接收用于从当前位置快进数据的命令;以及
至少显示每一群组中优先缓冲的关键帧,而不显示剩余的未缓冲帧,从而快进所述数据。
21.一种最小化涉及流传输数据的网络通信量的方法,所述方法包括:
优先缓冲组成所述数据的多个帧组中的每一帧组的数据中的预定数量的帧,而不缓冲所述多个帧组中剩余的帧;
接收用于从当前帧移动到所述数据中的选择的帧的命令;
如果选择的帧是缓冲的所述预定数量的帧之一,则从所选择的帧开始再现数据;以及
如果选择的帧不是缓冲的预定数量的帧之一,则在从选择的帧开始再现数据之前缓冲所选择的帧,而不缓冲前面的帧。
22.一种再现设备,包括:
接收单元,用于接收数据;
缓冲单元,用于优先缓冲组成数据的多个帧组中的每一帧组中的预定数量的帧,而不缓冲所述多个帧组中剩余的帧;
输入单元,用于接收输入;以及
播放单元,用于基于优先缓冲的帧以及从输入单元接收的输入来播放数据。
23.如权利要求22所述的再现设备,其中:
当通过输入单元接收到用于快进的命令时,播放单元至少播放包括在所述多个帧组中的每一帧组中的关键帧,而不重放剩余的未缓冲帧。
24.如权利要求22所述的再现设备,其中:
当通过输入单元接收到用于跳至选择的帧的命令并且选择的帧没有被缓冲时,缓冲单元缓冲所选择的帧,而不缓冲前面的未缓冲帧;以及
播放单元从选择的帧开始播放数据。
25.如权利要求22所述的再现设备,其中:
当通过输入单元输入用于跳至选择的帧的命令时,播放单元从选择的帧开始播放数据,并在选择的帧被播放的同时缓冲所述帧组的剩余的帧。
26.如权利要求22所述的再现设备,还包括:
计算单元,用于基于包括在数据中的头部信息来确定将由缓冲单元缓冲的每一帧组中的预定帧的数量。
27.如权利要求22所述的再现设备,其中,每一帧组中的预定帧彼此相邻。
28.如权利要求22所述的再现设备,其中,每一帧组中的预定帧不是彼此相邻。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070007003 | 2007-01-23 | ||
KR10-2007-0007003 | 2007-01-23 | ||
KR1020070007003A KR100884400B1 (ko) | 2007-01-23 | 2007-01-23 | 영상처리장치 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101232611A CN101232611A (zh) | 2008-07-30 |
CN101232611B true CN101232611B (zh) | 2011-11-09 |
Family
ID=39641312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101535511A Expired - Fee Related CN101232611B (zh) | 2007-01-23 | 2007-09-21 | 图像处理设备及其方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20080175559A1 (zh) |
KR (1) | KR100884400B1 (zh) |
CN (1) | CN101232611B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008504793A (ja) | 2004-06-07 | 2008-02-14 | スリング メディア,インク. | パーソナルメディア放送システム |
CN101321265B (zh) * | 2007-06-07 | 2011-03-16 | 中兴通讯股份有限公司 | 对等网络媒体点播跨帧播放方式的实现方法及*** |
US8532472B2 (en) * | 2009-08-10 | 2013-09-10 | Sling Media Pvt Ltd | Methods and apparatus for fast seeking within a media stream buffer |
EP2687969A3 (en) * | 2012-07-16 | 2015-11-11 | Samsung Electronics Co., Ltd | Electronic apparatus and control method of the same |
US20140186009A1 (en) * | 2012-12-31 | 2014-07-03 | International Business Machines Corporation | Streaming media buffer points reflecting user behavior and interests |
US9455913B2 (en) * | 2013-02-15 | 2016-09-27 | Broadcom Corporation | Management of traffic buffering in internal and external memories in a passive optical network |
WO2016086100A1 (en) * | 2014-11-25 | 2016-06-02 | Arris Enterprises, Inc. | Filler detection during trickplay |
WO2018125590A1 (en) | 2016-12-30 | 2018-07-05 | Tivo Solutions Inc. | Advanced trick-play modes for streaming video |
US10665210B2 (en) * | 2017-12-29 | 2020-05-26 | Intel Corporation | Extending asynchronous frame updates with full frame and partial frame notifications |
US11171853B2 (en) * | 2020-01-30 | 2021-11-09 | Ciena Corporation | Constraint-based event-driven telemetry |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1068926A (zh) * | 1991-07-22 | 1993-02-10 | 国际商业机器公司 | 多源图像实时混合和防混淆的方法和装置 |
US6353700B1 (en) * | 1998-04-07 | 2002-03-05 | Womble Multimedia, Inc. | Method and apparatus for playing an MPEG data file backward |
CN1349351A (zh) * | 2000-10-13 | 2002-05-15 | 北京算通数字技术研究中心有限公司 | 数据流索引文件生成及用该文件访问帧和切变镜头的方法 |
CN1399472A (zh) * | 2001-07-23 | 2003-02-26 | 三星电子株式会社 | 多信道图像编码装置及其编码方法 |
CN1664915A (zh) * | 2004-03-04 | 2005-09-07 | 埃里克·沃格斯伯格 | 用于在视频监视器上显示的多个全动态视频流的合成 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5414455A (en) * | 1993-07-07 | 1995-05-09 | Digital Equipment Corporation | Segmented video on demand system |
US6014706A (en) * | 1997-01-30 | 2000-01-11 | Microsoft Corporation | Methods and apparatus for implementing control functions in a streamed video display system |
US6076340A (en) * | 1998-01-20 | 2000-06-20 | Inter-American Vanguard Corporation | Sugar cane combine harvester |
US6327421B1 (en) * | 1998-03-10 | 2001-12-04 | International Business Machines Corporation | Multiple speed fast forward/rewind compressed video delivery system |
US6097422A (en) * | 1998-10-05 | 2000-08-01 | Panasonic Technologies, Inc. | Algorithm for fast forward and fast rewind of MPEG streams |
US6438630B1 (en) * | 1999-10-06 | 2002-08-20 | Sun Microsystems, Inc. | Scheduling storage accesses for multiple continuous media streams |
US7027713B1 (en) * | 1999-11-30 | 2006-04-11 | Sharp Laboratories Of America, Inc. | Method for efficient MPEG-2 transport stream frame re-sequencing |
FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
EP1386492A2 (en) * | 2001-03-23 | 2004-02-04 | Popwire.com | Method and apparatus for streaming video |
US20040128343A1 (en) * | 2001-06-19 | 2004-07-01 | Mayer Daniel J | Method and apparatus for distributing video programs using partial caching |
JP2003069981A (ja) | 2001-08-29 | 2003-03-07 | Nec Corp | 動画送信方式および動画送信方法 |
US6738980B2 (en) * | 2001-11-15 | 2004-05-18 | Industrial Technology Research Institute | Methods and systems for video streaming with VCR functionality |
US7290057B2 (en) * | 2002-08-20 | 2007-10-30 | Microsoft Corporation | Media streaming of web content data |
KR100458089B1 (ko) | 2004-08-06 | 2004-11-18 | 주식회사 텔레칩스 | 휴대형 멀티미디어 재생기에서 파일 버퍼링 방법 |
KR20060059782A (ko) * | 2004-11-29 | 2006-06-02 | 엘지전자 주식회사 | 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법 |
US8055783B2 (en) * | 2005-08-22 | 2011-11-08 | Utc Fire & Security Americas Corporation, Inc. | Systems and methods for media stream processing |
US8713195B2 (en) * | 2006-02-10 | 2014-04-29 | Cisco Technology, Inc. | Method and system for streaming digital video content to a client in a digital video network |
TW200735665A (en) * | 2006-03-03 | 2007-09-16 | Hon Hai Prec Ind Co Ltd | System and method for processing streaming data |
US20070274313A1 (en) * | 2006-05-25 | 2007-11-29 | Ming-Tso Hsu | Method for Routing Data Frames from a Data Content Source to a Destination Device with Buffering of Specific Data and Device Thereof |
-
2007
- 2007-01-23 KR KR1020070007003A patent/KR100884400B1/ko active IP Right Grant
- 2007-08-23 US US11/844,044 patent/US20080175559A1/en not_active Abandoned
- 2007-09-21 CN CN2007101535511A patent/CN101232611B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1068926A (zh) * | 1991-07-22 | 1993-02-10 | 国际商业机器公司 | 多源图像实时混合和防混淆的方法和装置 |
US6353700B1 (en) * | 1998-04-07 | 2002-03-05 | Womble Multimedia, Inc. | Method and apparatus for playing an MPEG data file backward |
CN1349351A (zh) * | 2000-10-13 | 2002-05-15 | 北京算通数字技术研究中心有限公司 | 数据流索引文件生成及用该文件访问帧和切变镜头的方法 |
CN1399472A (zh) * | 2001-07-23 | 2003-02-26 | 三星电子株式会社 | 多信道图像编码装置及其编码方法 |
CN1664915A (zh) * | 2004-03-04 | 2005-09-07 | 埃里克·沃格斯伯格 | 用于在视频监视器上显示的多个全动态视频流的合成 |
Also Published As
Publication number | Publication date |
---|---|
KR20080069370A (ko) | 2008-07-28 |
CN101232611A (zh) | 2008-07-30 |
US20080175559A1 (en) | 2008-07-24 |
KR100884400B1 (ko) | 2009-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101232611B (zh) | 图像处理设备及其方法 | |
US20170221520A1 (en) | Systems and methods to play secondary media content | |
CN103190092B (zh) | 用于流数字内容的同步重放的***和方法 | |
US11930250B2 (en) | Video assets having associated graphical descriptor data | |
US8244897B2 (en) | Content reproduction apparatus, content reproduction method, and program | |
CN112822502B (zh) | 直播去抖动的智能缓存与直播方法、设备及存储介质 | |
CN101272478A (zh) | 内容分发***及方法、服务器装置及接收装置 | |
US20240107087A1 (en) | Server, terminal and non-transitory computer-readable medium | |
JP2009038420A (ja) | コンテンツ評価ソフトウェア及びサービス提供システム | |
JP4998775B2 (ja) | 情報配信システム及び方法とその情報配信装置、受信端末、情報中継装置 | |
JP4526294B2 (ja) | ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム | |
JP2008204397A (ja) | コンテンツデータ変換装置、コンテンツ再生装置、コンテンツデータ配信装置、コンテンツデータ配信システム、コンテンツ再生システム、並びに、コンテンツデータ変換プログラム、コンテンツ再生プログラム、コンテンツデータ配信プログラム、およびそれらプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN109495776A (zh) | 一种音频发送、播放的方法及智能终端 | |
KR20090001707A (ko) | 멀티미디어 컨텐츠 재생방법 및 시스템과 멀티미디어컨텐츠 재생장치와 프로그램 기록매체 | |
KR101731829B1 (ko) | 디지털 영상 수신기의 디지털 콘텐츠 처리 장치 및 방법 | |
JP2007013358A (ja) | デジタル放送受信装置 | |
JP4368125B2 (ja) | コンテンツ受信および音声通話が可能な通信端末装置 | |
JP2020517195A (ja) | ユーザが製作したコンテンツの第三者コンテンツストリーム中へのリアルタイム取り込み | |
JP2012156808A (ja) | 画像伝送システムおよび画像再生装置 | |
CN108924618A (zh) | 一种音视频延迟的确定方法及装置 | |
US20240040161A1 (en) | Method and server for handling streaming data | |
KR101311931B1 (ko) | 비실시간 전송 프로토콜에 따라 수신 중인 파일에 대한실시간 재생방법 및 이를 적용한 영상기기 | |
KR102050491B1 (ko) | 요청 응답 방식의 적응형 컨텐츠 재생 방법 | |
US20230156267A1 (en) | Multiview synchronized communal system and method | |
KR20140048917A (ko) | 적응형 스트리밍 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111109 Termination date: 20190921 |