CN1301016C - 使用移动通信终端中的输出缓冲的多媒体再现装置和方法 - Google Patents
使用移动通信终端中的输出缓冲的多媒体再现装置和方法 Download PDFInfo
- Publication number
- CN1301016C CN1301016C CNB200410045931XA CN200410045931A CN1301016C CN 1301016 C CN1301016 C CN 1301016C CN B200410045931X A CNB200410045931X A CN B200410045931XA CN 200410045931 A CN200410045931 A CN 200410045931A CN 1301016 C CN1301016 C CN 1301016C
- Authority
- CN
- China
- Prior art keywords
- data
- video
- frame
- output
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010295 mobile communication Methods 0.000 title claims abstract description 43
- 230000003139 buffering effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 30
- 239000000872 buffer Substances 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 6
- 241001269238 Data Species 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013016 damping Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mobile Radio Communication Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种移动通信终端中的多媒体再现装置,包括:数据分析部分,用于将多媒体数据划分为视频数据和其它数据,并随后对所述视频数据和其它数据进行分析;视频数据处理部分,用于解码所分析的视频数据;媒体延迟输出控制器,用于根据所述视频数据处理部分的缓冲信息对由所述数据分析部分分析和发送的其它数据进行延迟,输出所延迟的数据,并产生同步信号;音频数据处理部分,用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据;视频数据输出部分,用于读取和输出所述视频数据;和同步部分,用于同步和输出所述视频数据。
Description
技术领域
本发明涉及一种移动通信终端中的多媒体再现装置。
背景技术
通常,在朝着高度面向信息社会的发展中,信息和通信作为社会基础结构其重要性日益增加,并且通信服务重要性的中心正从传统有线通信移动到无线通信,无线通信将重要性注重在移动。另外,一个将因特网和移动通信联合、被称作无线互联网的新市场正以高速发展。
如上所述,随着用户对信息和通信的依赖的巨大增加,以及无线通信技术的提高,第一代模拟***已经变成第二代数字***,现在正在研发一种致力于数据通信的第三代移动通信(IMI-2000)。
那样的第三代移动通信***不仅提供话音还提供诸如电视会议、因特网服务等的宽带多媒体服务。另外,第三代***在办公环境中提供最大值达到2Mbps的数据服务,从而提供真正的无线多媒体服务。
为了在第三代移动通信***中实现多媒体服务,以MPEG-4的类型来执行发送和接收。MPEG-4是一种减小多媒体文件大小的标准技术,以便能够向计算机、移动通信终端、TV机顶盒等以更高速度提供双向视频服务,并且对于2.5代和第三代的移动通信终端,能够应用于诸如普通广播、因特网广播、电影和包括图像的游戏的所有类型的多媒体数据。
在上述的第三代移动通信终端中,多媒体数据的再现功能是必需的。然而,多媒体服务具有数据量巨大并需要大量计算的特点。另外,因为存在各种各样的规范,例如第三代伙伴计划(3GPP)、第三代伙伴计划2(3GPP2)、韩国3代(K3G)、实时传输协议(RTP),因此需要根据各种规范的不同的解码器。尤其是,视频数据以低速处理并且在帧之间的位数具有较大差异的情况下。因此,为了解码视频数据,多媒体服务需要比指定要求(也就是多个帧的平均处理时间)的处理容量至少两倍或三倍长的处理容量,从而可以处理瞬间增加的帧(例如内部帧)。
图1是图解说明传统移动通信终端的示例的方框图。在图1所示的该移动通信终端中,控制器100处理和控制各种各样的功能,包括简短信息服务(SMS)、电话呼叫和无线因特网连接。移动通信终端包括多媒体再现装置,该多媒体再现装置在本发明中用于执行多媒体再现操作。
存储器102包括:只读存储器(ROM),其中存储了用于处理和控制控制器100的程序的微代码和各种参考数据;随机存取存储器(RAM),被提供用作控制器100的工作存储器;以及闪存RAM,提供用于存储包括多媒体数据的各种可更新的存储数据的区。与控制器100连接的话音处理部分104通过麦克风和扬声器处理电话呼叫、话音记录、输入的报警输出等。显示部分106显示所接收的数据和当前显示所需要的信息。
更具体的,在本发明中,话音处理部分104和显示部分106执行话音处理和用于再现多媒体数据的话音处理。键输入部分108包括数字键“0”到“9”以及多个功能键,包括“菜单”、“发送”、“删除”、“结束”、“*”、“#”、和“音量”,并且向控制器100提供对应于由用户所按的键的键输入数据。无线电部分110通过天线向收发器基站(BTS)发送无线电信号和从收发器基站接收无线电信号。
图2图解说明了传统移动通信终端中的多媒体再现装置的实施例。这里,虽然以K3G型多媒体再现装置为例,但是描述也同样适用于对其他格式的多媒体数据进行解码的其他多媒体再现装置,例如3GPP、3GPP2等。
参考图2,移动通信终端的多媒体再现装置包括:K3G型分析器202,用于将多媒体数据201的首标文件分析为K3G格式;媒体控制器203,用于将所分析的信息划分成视频数据和音频数据,向解码器发送具有相应控制信息的划分的数据,并输出同步信号,以便使视频数据与音频数据相互同步;用于解码视频数据的MPEG4(运动图像专家组4)视频解码器204和H.263解码器205;MPEG4AAC(高级音频编码)解码器206;EVRC(增强可变频率编码)解码器207;用于解码音频数据的MIDI解码器208;视频同步部分210,用于根据媒体控制器203的同步信号而输出解码的视频信号,从而与音频信息同步而输出解码的视频信号;以及音频同步部分211,用于根据媒体控制器203的同步信号而输出解码的音频信息,从而与视频信息同步而输出解码的音频信息。
当使用那样的多媒体再现装置进行移动通信终端的多媒体输出时,因为各个媒体数据需要彼此不同的解码时间,因此用于同步它们的方法和用于提供最佳的输出临界时间的方法正变成重要的问题。尤其是,从不具有许多资源的移动通信终端中的资源的有效使用的观点来看,考虑视频数据与音频数据之间的解码时间差来确定输出临界时间是重要的主题。
首先,参考图3和4来描述对于每一帧的处理时间与输出临界时间之间的关系。通常,因为音频帧的解码时间比视频帧的解码时间短得多,所以仅考虑视频帧的解码处理就足够了。因此,下面的描述将集中于视频帧的处理。
图3图解说明了当输出临界时间被设定为100微秒时对于每帧类别的解码定时,图4图解说明了根据视频帧的视频解码处理所需的时间分布。参考图解说明了每一帧的解码时间的图3,视频数据被分类为内部帧302和中间帧301、303和304,所述内部帧需要将被解码的整个屏幕,所述中间帧需要将被解码的变化部分屏幕。应当注意,音频帧的解码时间比视频帧的解码时间少得多。而且,在100毫秒的输出临界时间中,中间帧和音频帧的占用时间较短,而平均每10帧就产生一次的内部帧的占用时间较长。因此,在具有有限资源的移动通信终端中,必须有效地减少图3中用“a”指定的等待时间。
参考图4,通常,多个帧之间的处理时间的差大约是20毫秒。然而,在用41、42、43和44指定的场景变化部分,此刻相应帧的位数立刻大大地增加,从而它们的解码时间也大大地增加。那样的帧称作内部帧,并且显示帧处理时间之间的差大约是60~100毫秒。因此,为了处理所有帧,必须将输出临界时间设定为大约100毫秒,这是解码时间的最大值。也就是,当在图4中的每个帧的平均解码时间不大于46毫秒时,输出临界时间必须被设定为100毫秒或更多,以便处理具有大约60~100毫秒的处理时间差的内部帧。如图4所示,内部帧不是连续的,并且内部帧的特征是在瞬间峰值之后平坦部分持续一段相当长的期间。在那样的平坦部分中,解码时间是20毫秒左右。使用峰值与平坦部分之间的关系,考虑大约每10个帧出现一个峰值(一个内部帧)。因此,当对于平均每10帧出现一次的内部帧来设定输出临界时间时,在处理其他帧时会增加不必要的资源消耗。因此,需要能够有效利用资源的解决方案。
图5图解说明了在输出临界时间被设定为70毫秒的情况下每帧类别的解码定时。根据图5,可以得知,等待时间“a”与图3相比明显减少,因为输出临界时间被设定为70毫秒。然而,当部分302处理内部帧时,因为输出临界时间较短,在超过由附图标记51表示的临界时间对内部帧解码,从而可能仅有音频输出而没有视频输出。而且,视频和音频之间的同步可能失败,如附图标记52所示。
如上所述,在通过一种减少输出临界时间的方法来减少等待时间从而有效利用移动通信终端的有限资源的情况下,不能满足服务质量(QOS),服务质量是多媒体再现中最重要的因素之一。因此,在移动通信终端的多媒体数据再现中,要求对能够有效利用资源的方法进行研究。
发明内容
因此,本发明被专门用来解决现有技术中出现的上面和其他问题,并且本发明的一方面是提供一种在移动通信终端中使用输出缓冲的多媒体再现装置和方法,能够通过输出数据的缓冲来有效地利用移动通信终端中的有限资源。
本发明的另一方面是提供一种支持移动通信终端的数据服务中的服务质量的多媒体再现装置和方法。
为了实现上面的和其他方面,提供一种在移动通信终端中使用输出缓冲的多媒体再现装置。所述装置包括:数据分析部分,用于将多媒体数据划分为视频数据和其它数据,并随后对所述视频数据和其它数据进行分析;视频数据处理部分,用于按照帧对从所述数据分析部分发送的分析视频数据进行解码,并且对预定数量的解码的数据的视频帧进行缓冲;媒体延迟输出控制器,用于根据所述视频数据处理部分的缓冲信号对由所述数据分析部分分析和发送的其它数据进行延迟,输出所延迟的数据,并产生同步信号;音频数据处理部分,用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据;视频数据输出部分,用于通过使用从所述媒体延迟输出控制器输出的其它数据中的控制数据来按照帧读取和输出由所述视频数据处理部分缓冲的视频数据;和同步部分,用于根据所述媒体延迟输出控制器的同步信号,同步和输出从所述视频数据输出部分输出的视频数据和从所述音频数据处理部分输出的音频数据。
根据本发明的另一方面,提供一种在移动通信终端中使用输出缓冲来再现多媒体数据的控制方法。所述控制方法包括步骤:(1)所述移动通信终端接收所述多媒体数据,将多媒体数据划分为视频数据和其它数据,并分别分析所述视频数据和其它数据;(2)存储在步骤(1)分析的视频数据的视频帧起始地址,按照帧解码所述视频数据,并缓冲预定数量的视频帧;(3)在延迟所述其它数据与在步骤(2)缓冲的预定数量的视频帧一样多的其他数据之后,输出在步骤(1)分析的其它数据;(4)按照帧解码和输出其中音频数据包含在步骤(3)中输出的数据中的音频数据,和根据包含在步骤(3)输出的数据中的控制信息输出在步骤(2)中缓冲的视频帧;和(5)根据时间信息同步和输出在步骤(4)输出的视频帧和音频帧。
附图说明
结合附图,通过下列详细的描述,本发明的上面和其它方面、特征、和优点将变得更加明显,其中:
图1是图解说明普通移动通信终端的示例的方框图;
图2图解说明了传统移动通信终端中的多媒体再现装置的实施例;
图3图解说明了在输出临界时间被设定为100ms的情况下对于每种类别的解码定时;
图4图解说明了根据视频帧视频编码处理所需的时间的分布;
图5图解说明了在输出临界时间被设定为70ms的情况下对于每种类别的解码定时;
图6图解说明了根据本发明实施例的移动通信终端中的多媒体再现装置;
图7图解说明了根据对于视频帧的缓冲能力视频解码处理所需的时间的分布;以及
图8图解说明了根据本发明实施例的移动通信终端中的多媒体数据的再现。
具体实施方式
下面将参考附图来详细描述根据本发明优选实施例在移动通信终端中使用输出缓冲进行多媒体再现的装置和方法。注意整个附图中相同的元件使用相同的参考标记。另外,在本发明的下列描述中,当此处并入的已知功能和结构可能使本发明的主题更不清楚时将省略对其的详细描述。
本发明被专门用来解决现有技术中出现的问题,并且本发明有效地利用移动通信终端中的有限资源和对于视频输出使用输出缓冲,从而确保多媒体服务中的服务质量。
图6图解说明了根据本发明实施例的移动通信终端中的多媒体再现装置。这里,虽然以K3G型多媒体再现装置为例,但是该描述对其他多媒体再现装置也同样适用,所述其他多媒体再现装置对诸如3GPP、3GPP2等的其他格式的多媒体数据进行解码。
如图6所示,根据本发明的移动通信终端的多媒体再现装置将多媒体数据601划分为视频部分和剩余的多媒体部分,并且对划分的部分分别进行解码。也就是,根据本发明的移动通信终端的多媒体再现装置包括:视频模块,包括K3G型视频分析器602、视频控制器603、MPEG4视频解码器604、H.263解码器605、源数据缓冲器606、和视频数据输出部分609;剩余的多媒体模块,包括K3G型分析器607、媒体延迟输出控制器608、MPEG4高级音频编码(AAC)解码器610、增强可变速率编码(EVRC)解码器611、和MIDI解码器612;以及输出同步模块,包括视频同步部分613和音频同步部分614。
首先,通过分析K3G视频型数据的K3G型视频分析器602和分析除了视频型数据以外的剩余的多媒体信息(主要是音频数据)的K3G型分析器607划分多媒体数据601为不同的部分,根据数据类型、以不同方式对所述不同部分进行解码。
视频控制器603接收所分析的视频数据,并根据帧将所接收的数据输入到MPEG4视频解码器604和H.263解码器605。这时,视频控制器603根据源数据缓冲器606的缓冲信息来确定输入操作。而且,对音频数据的多个帧,而不是音频数据的一个帧进行解码,并且每一视频数据帧输出,从而视频控制器603向媒体延迟输出控制器608提供视频帧输入信息,因此视频与音频同步。MPEG4视频解码器604和H.263解码器605对视频数据进行解码。
源数据缓冲器606对已经由MPEG4视频解码器604和H.263解码器605解码的预定数量的视频数据帧进行缓冲,并且根据视频数据控制部分609的控制信号按照帧输出视频数据。如上所述,根据本发明的多媒体再现装置对于输出操作之前的预定帧周期执行缓冲操作,而不象传统装置那样在解码数据时输出数据。因此,能够通过使用即使当对于各个帧的解码时间互不相同时平均解码时间也是不变的这一点来减少输出临界时间。即,通过使用每十个帧中仅存在一个需要相对长的解码时间的内部帧并且所述内部帧不连续的特性来输出对于多个帧的平均解码时间,从而因为一个内部帧,能够减少已经被设定为一个大的值的输出临界时间。用根据对于视频帧的缓冲特性的视频解码处理所需的时间的分布视图来描述这个处理,其中在图7中示出了这个分布视图。
图7图解说明了根据对于视频帧的缓冲特性的视频解码处理所需的时间的分布。参考图7,没有缓冲“A”,因为对于各个帧的解码时间之间的差达到最大值97ms,因此对应于那些差,输出临界时间必须被设定为100ms。然而,当有4帧缓冲时,平均解码时间是41ms,并且从缓冲器的输出时间也具有相同的值。因此,能够将输出临界时间减少到50ms。而且,当有6帧缓冲时,平均解码时间是38ms,并且从缓冲器的输出时间具有相同的值。因此,能够将输出临界时间减少到50ms以下。
K3G型分析器607对除了视频数据的控制数据和多媒体数据进行分析,并且媒体延迟输出控制器608输出时间同步信号,以便同步视频数据和音频数据的输出。媒体延迟输出控制器608根据视频控制器603的控制信号按照帧输入除了视频数据的控制数据和多媒体数据。在这种情况下,除了视频数据的控制数据和多媒体数据对于一帧视频数据具有更多的帧,从而一帧视频数据不需要仅一帧不同的多媒体。也就是,在移动通信终端中,视频数据以8fps(帧每秒)的速度发送,而音频数据以25~35fps的速度发送。因此,媒体延迟输出控制器608将缓冲视频数据的时间延迟预定数量的帧,从视频控制器603接收表示源数据缓冲器606已满的信息,并且对应于从缓冲器输出的视频帧的时间信息而输出控制数据和多媒体数据,所述多媒体数据将视频数据从视频源数据中排除在外。
MPEG4AAC解码器610、EVRC解码器611、和MIDI解码器612对除了视频数据的多媒体数据(即音频数据)进行解码,并将其输出,其中多媒体数据是从媒体延迟输出控制器608提供的。视频数据输出部分609从媒体延迟输出控制器608接收控制信号,从源数据缓冲器606读取视频帧,并输出所读取的视频帧。
根据从媒体延迟输出控制器608输入的时间同步信息,视频同步部分613和音频同步部分614对从视频数据输出部分609输出的视频信息和从MPEG4AAC解码器610、EVRC解码器611、和MIDI解码器612输出的音频信息进行同步,并将其输出。
图8是图解说明在根据本发明实施例的移动通信终端中再现多媒体数据的流程图。参考图8,首先,将多媒体数据输入到根据本发明的移动通信终端的多媒体再现装置(步骤801)。在本发明的实施例中,虽然描述了输入多媒体数据是K3G型的数据情况下,但是本发明同样适用于用于解码诸如3GPP、3GPP2等的其他格式的多媒体数据的其他多媒体再现方法。
接着,分析输入多媒体数据的首标(步骤802),以便将该数据划分为视频信息和除了视频信息的其他多媒体信息。这里,对于视频信息,存储视频帧的起始地址(步骤803),并且根据帧对所存储的视频帧进行解码(步骤804)。
接着,缓冲所解码的视频帧(步骤805)。随后,如果缓冲的帧的数量不小于预先定义的缓冲的帧的数量n(步骤806),则产生缓冲结束信号,并且经历一段预定时间(即输出所缓冲的帧的等待时间)的等待状态(步骤807),并且在预定时间过后,再次执行步骤806。然而,如果缓冲的帧的数量小于预先定义的缓冲的帧的数量N(步骤806),则在步骤808确定是否存在另一个缓冲的帧。然后,如果存在任何缓冲的帧,则执行步骤804,如果不存在缓冲的帧,则结束处理。
在分析输入视频流的首标的处理期间,通过使用下列因素来确定缓冲的帧的预先定义的数量N。首先,所编码的帧的大小越大,则确定的数量N就越大,这可以被判断为帧的首标之间的数据的实际大小。数量N可以根据技术的使用而增加,例如直流(DC)和交流(AC)的估计、4运动矢量(4MV)模式、无约束MV等,需要大量的计算,通常增加了图像的压缩比。而且,当考虑在无线环境中使用例如Resync标记器、数据划分等的误差弹性技术时,可能增加数量N,其中在无线环境中大量的误差是在视频CODEC中产生的。根据大量的试验,确定那些因素可能使数量N每个因素增加0.5。
使用除了视频信息以外的其他媒体信息,存储有关各个媒体的控制信息(步骤809),按照帧将控制信息和数据发送到解码器610到612和视频数据输出部分609(步骤810)。
接着,解码器610到612根据时间信息按照帧对音频数据进行解码(步骤813)并且输出音频帧(步骤814)。而且,视频数据输出部分609根据时间信息从缓冲器读取视频帧(步骤811),并且根据时间信息输出所读取的视频帧(步骤812)。
随后,根据时间信息确定在步骤812和814中执行的视频帧和音频帧的输出是否彼此同步(步骤815)。如果同步,则将视频信号和音频信息输出到每个输出部分(例如,显示部分106和声音处理部分104)(步骤816),并且重复这个处理直到最后一帧(步骤817)。
然而,当根据时间信息确定在步骤812和814执行的视频帧和音频帧的输出不互相同步时(步骤815),视频帧或音频帧必须等待同步(步骤818),并且随后使视频帧或音频帧彼此同步,并将其输出(步骤816和817)。
根据上面描述的本发明,当再现移动通信终端的多媒体数据时,对输出数据进行缓冲,从而可以有效地使用移动通信终端的有限资源。而且,本发明具有支持服务质量同时使用很少的资源来提供移动通信终端的多媒体数据的效果。
可以将根据本发明的上述方法实现为程序并将其存储在记录介质(CDROM、RAM、软盘、硬盘、磁光盘等)上作为能够由计算机读取的格式。
虽然已经参考本发明的某些优选实施例示出和描述了本发明,但是本领域的技术人员应当理解,在不背离由所附权利要求定义的本发明的精神和范围的情况下,可以对其在形式和细节上做出各种变化。因此,本发明的范围不由上面的实施例所限定,而由权利要求及其等效物限定。
Claims (12)
1.一种在移动通信终端中使用输出缓冲的多媒体再现装置,所述装置包括:
数据分析部分,用于将多媒体数据划分为视频数据和其它数据,并随后对所述视频数据和其它数据进行分析;
视频数据处理部分,用于按照帧对从所述数据分析部分发送的分析视频数据进行解码,并且对预定数量的解码的数据的视频帧进行缓冲;
媒体延迟输出控制器,用于根据所述视频数据处理部分的缓冲信号对由所述数据分析部分分析和发送的其它数据进行延迟,输出所延迟的数据,并产生同步信号;
音频数据处理部分,用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据;
视频数据输出部分,用于通过使用从所述媒体延迟输出控制器输出的其它数据中的控制数据来按照帧读取和输出由所述视频数据处理部分缓冲的视频数据;和
同步部分,用于根据所述媒体延迟输出控制器的同步信号,同步和输出从所述视频数据输出部分输出的视频数据和从所述音频数据处理部分输出的音频数据。
2.如权利要求1所述的多媒体再现装置,其中所述视频数据处理部分包括:
视频控制器,用于按照帧输出从所述数据分析部分接收的已分析的视频数据;
视频解码器;用于对通过所述视频控制器对按照帧接收的视频数据按照帧进行解码;和
缓冲器,用于缓冲预定数量的已解码的视频数据的视频帧,并当已经缓冲了预定数量的视频帧时,向所述视频控制器发送缓冲结束信号,所述视频控制器根据从所述缓冲器接收的缓冲结束信号向所述媒体延迟输出控制器发送缓冲信息。
3.如权利要求1所述的多媒体再现装置,其中所述媒体延迟输出控制器的同步信号是时间信息。
4.如权利要求1所述的多媒体再现装置,其中缓冲了预定数量的视频帧,从而按预定数量的缓冲了的视频帧的平均解码时间来输出所述视频数据。
5.如权利要求1所述的多媒体再现装置,其中所述多媒体数据是韩国第三代类型的数据。
6.如权利要求1所述的多媒体再现装置,其中所述多媒体数据是第三代伙伴计划类型的数据。
7.如权利要求1所述的多媒体再现装置,其中所述多媒体数据是第三代伙伴计划2类型的数据。
8.如权利要求1所述的多媒体再现装置,其中所述多媒体数据是实时传输协议类型的数据。
9.一种在移动通信终端中使用输出缓冲来再现多媒体数据的控制方法,所述控制方法包括步骤:
(1)在所述移动通信终端中,接收所述多媒体数据,将多媒体数据划分为视频数据和其它数据,并分别分析所述视频数据和其它数据;
(2)存储在步骤(1)分析的视频数据的视频帧起始地址,按照帧解码所述视频数据,并缓冲预定数量的视频帧;
(3)在延迟所述其它数据与在步骤(2)缓冲的预定数量的一样多的视频帧之后,输出在步骤(1)分析的其它数据;
(4)按照帧解码和输出音频数据,其中音频数据包含在步骤(3)中输出的数据中,以及根据包含在步骤(3)输出的数据中的控制信息输出在步骤(2)中缓冲的视频帧;和
(5)根据时间信息同步和输出在步骤(4)输出的视频帧和音频帧。
10.如权利要求9所述的控制方法,还包括步骤(6):当在步骤(2)已经缓冲了预定数量的视频帧时,产生缓冲结束控制信号,发送所述缓冲结束控制信号,并且控制要被执行的步骤(3)的延迟处理。
11.如权利要求9所述的控制方法,其中缓冲和输出所述预定数量的视频帧,从而按视频帧的预定和缓冲数量的平均解码时间来输出所述视频帧。
12.如权利要求9所述的控制方法,其中,在步骤(5),当在步骤(4)输出的视频帧和音频帧的时间信息不互相对应时,具有在前时间信息的帧等待所述视频帧和音频帧中的另一个帧,从而执行同步。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030059037A KR100651566B1 (ko) | 2003-08-26 | 2003-08-26 | 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법 |
KR59037/2003 | 2003-08-26 | ||
KR59037/03 | 2003-08-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1592392A CN1592392A (zh) | 2005-03-09 |
CN1301016C true CN1301016C (zh) | 2007-02-14 |
Family
ID=34101841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200410045931XA Expired - Fee Related CN1301016C (zh) | 2003-08-26 | 2004-05-25 | 使用移动通信终端中的输出缓冲的多媒体再现装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050047417A1 (zh) |
EP (1) | EP1511326B1 (zh) |
KR (1) | KR100651566B1 (zh) |
CN (1) | CN1301016C (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE602005027837D1 (de) * | 2004-05-13 | 2011-06-16 | Qualcomm Inc | Zustellung von informationen über einen kommunikationskanal |
KR100602954B1 (ko) * | 2004-09-22 | 2006-07-24 | 주식회사 아이큐브 | 미디어 게이트웨이 |
KR100677441B1 (ko) * | 2005-03-11 | 2007-02-02 | 엘지전자 주식회사 | 휴대단말기의 영상과 음성신호 동기장치 및 방법 |
KR100619994B1 (ko) * | 2005-03-23 | 2006-09-06 | 엘지전자 주식회사 | 이동통신 단말기의 멀티미디어 재생 방법 |
US7532638B2 (en) * | 2005-06-01 | 2009-05-12 | Broadcom Corporation | Wireless terminal baseband processor high speed turbo decoding module supporting MAC header splitting |
CN101968959A (zh) * | 2010-09-19 | 2011-02-09 | 北京航空航天大学 | 一种基于faad2 main模式的多路音频实时解码软件设计方法 |
KR101672253B1 (ko) * | 2010-12-14 | 2016-11-03 | 삼성전자주식회사 | 휴대용 단말기에서 스트리밍 서비스를 제공하기 위한 장치 및 방법 |
KR20130058584A (ko) * | 2011-11-25 | 2013-06-04 | 삼성전자주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
CN104219509A (zh) * | 2014-10-11 | 2014-12-17 | 四川九洲电器集团有限责任公司 | 车载智能终端及其数据传输方法 |
EP3013013B1 (en) * | 2014-10-21 | 2019-09-25 | Provenance Asset Group LLC | Networking device and method for buffer management in video streaming over a network |
US10432988B2 (en) * | 2016-04-15 | 2019-10-01 | Ati Technologies Ulc | Low latency wireless virtual reality systems and methods |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1278386A (zh) * | 1997-09-05 | 2000-12-27 | 松下电器产业株式会社 | 解码方法和记录解码程序的记录媒体 |
US20020001351A1 (en) * | 2000-06-30 | 2002-01-03 | Kabushiki Kaisha Toshiba | Method of decoding time information of video image |
US20020012398A1 (en) * | 1999-12-20 | 2002-01-31 | Minhua Zhou | Digital still camera system and method |
US20020101933A1 (en) * | 2001-01-30 | 2002-08-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processsing program code |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5396497A (en) * | 1993-02-26 | 1995-03-07 | Sony Corporation | Synchronization of audio/video information |
US5543853A (en) * | 1995-01-19 | 1996-08-06 | At&T Corp. | Encoder/decoder buffer control for variable bit-rate channel |
US5623483A (en) * | 1995-05-11 | 1997-04-22 | Lucent Technologies Inc. | Synchronization system for networked multimedia streams |
CN1115045C (zh) * | 1995-09-29 | 2003-07-16 | 松下电器产业株式会社 | 对媒体进行位流交错录放的方法及装置 |
TW436777B (en) * | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
US6148135A (en) * | 1996-01-29 | 2000-11-14 | Mitsubishi Denki Kabushiki Kaisha | Video and audio reproducing device and video decoding device |
AU2632399A (en) * | 1998-02-27 | 1999-09-15 | Ridgeway Systems And Software Limited | Audio-video packet synchronisation at network gateway |
GB9817292D0 (en) * | 1998-08-07 | 1998-10-07 | Nokia Mobile Phones Ltd | Digital video coding |
US6414996B1 (en) * | 1998-12-08 | 2002-07-02 | Stmicroelectronics, Inc. | System, method and apparatus for an instruction driven digital video processor |
CA2371795C (en) * | 1999-05-26 | 2012-02-07 | Bigband Networks, Inc. | Communication management system and method |
US6775267B1 (en) * | 1999-12-30 | 2004-08-10 | At&T Corp | Method for billing IP broadband subscribers |
US6826173B1 (en) * | 1999-12-30 | 2004-11-30 | At&T Corp. | Enhanced subscriber IP alerting |
US6778493B1 (en) * | 2000-02-07 | 2004-08-17 | Sharp Laboratories Of America, Inc. | Real-time media content synchronization and transmission in packet network apparatus and method |
US6631410B1 (en) * | 2000-03-16 | 2003-10-07 | Sharp Laboratories Of America, Inc. | Multimedia wired/wireless content synchronization system and method |
WO2001093052A2 (en) * | 2000-05-31 | 2001-12-06 | Broadcom Corporation | Multiprotocol computer bus interface adapter and method |
US6879581B1 (en) * | 2000-08-22 | 2005-04-12 | Qualcomm Incorporated | Method and apparatus for providing real-time packetized voice and data services over a wireless communication network |
US7234126B2 (en) * | 2000-08-23 | 2007-06-19 | Interuniversitair Microelektronica Centrum | Task concurrency management design method |
US7424279B1 (en) * | 2000-09-15 | 2008-09-09 | Delphi Technologies, Inc. | Method for enhancing in real-time the playback of an audio broadcast signal |
US7346698B2 (en) * | 2000-12-20 | 2008-03-18 | G. W. Hannaway & Associates | Webcasting method and system for time-based synchronization of multiple, independent media streams |
FI118830B (fi) * | 2001-02-08 | 2008-03-31 | Nokia Corp | Tietovirran toisto |
EP1261204A2 (en) * | 2001-03-29 | 2002-11-27 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for data reproduction |
JP2003046949A (ja) * | 2001-07-30 | 2003-02-14 | Hitachi Ltd | データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム |
US7110416B2 (en) * | 2001-09-04 | 2006-09-19 | Nokia Corporation | Method and apparatus for reducing synchronization delay in packet-based voice terminals |
FI20011871A (fi) * | 2001-09-24 | 2003-03-25 | Nokia Corp | Multimediadatan prosessointi |
US6906755B2 (en) | 2002-01-04 | 2005-06-14 | Microsoft Corporation | Method and apparatus for synchronizing audio and video data |
US7124163B2 (en) * | 2002-05-24 | 2006-10-17 | Convedia Corporation | Data server |
US20030222843A1 (en) * | 2002-05-28 | 2003-12-04 | Birmingham Blair B.A. | Systems and methods for encoding control signals initiated from remote devices |
TWI265697B (en) * | 2002-06-06 | 2006-11-01 | Ibm | Digital contents distribution system, digital contents distribution method, computer readable recording medium storing the program therein, and server and client therefor |
WO2004008673A2 (en) * | 2002-07-16 | 2004-01-22 | Nokia Corporation | Method for enabling packet transfer delay compensation in multimedia streaming |
US7290057B2 (en) * | 2002-08-20 | 2007-10-30 | Microsoft Corporation | Media streaming of web content data |
US20040128342A1 (en) * | 2002-12-31 | 2004-07-01 | International Business Machines Corporation | System and method for providing multi-modal interactive streaming media applications |
US6888821B2 (en) * | 2003-02-10 | 2005-05-03 | Nokia Corporation | Dynamic media authorization in mobile networks |
US20050005025A1 (en) * | 2003-07-04 | 2005-01-06 | Michael Harville | Method for managing a streaming media service |
-
2003
- 2003-08-26 KR KR1020030059037A patent/KR100651566B1/ko not_active IP Right Cessation
-
2004
- 2004-04-12 US US10/822,309 patent/US20050047417A1/en not_active Abandoned
- 2004-05-25 CN CNB200410045931XA patent/CN1301016C/zh not_active Expired - Fee Related
- 2004-05-28 EP EP04012768A patent/EP1511326B1/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1278386A (zh) * | 1997-09-05 | 2000-12-27 | 松下电器产业株式会社 | 解码方法和记录解码程序的记录媒体 |
US20020012398A1 (en) * | 1999-12-20 | 2002-01-31 | Minhua Zhou | Digital still camera system and method |
US20020001351A1 (en) * | 2000-06-30 | 2002-01-03 | Kabushiki Kaisha Toshiba | Method of decoding time information of video image |
US20020101933A1 (en) * | 2001-01-30 | 2002-08-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processsing program code |
Also Published As
Publication number | Publication date |
---|---|
US20050047417A1 (en) | 2005-03-03 |
EP1511326B1 (en) | 2012-04-04 |
EP1511326A1 (en) | 2005-03-02 |
CN1592392A (zh) | 2005-03-09 |
KR20050021812A (ko) | 2005-03-07 |
KR100651566B1 (ko) | 2006-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101008764B1 (ko) | 쌍방향 미디어 응답 시스템에서 시각 단서를 제공하는 방법 | |
CN101394469B (zh) | 一种音视频同步方法、装置及一种数字电视芯片 | |
CN101635848B (zh) | 一种视频文件的编辑方法和装置 | |
JP4949591B2 (ja) | ビデオ誤り回復方法 | |
CN1301016C (zh) | 使用移动通信终端中的输出缓冲的多媒体再现装置和方法 | |
CN102347042B (zh) | 一种音轨切换方法、***及音视频文件播放设备 | |
CN1798383A (zh) | 用于提供终端中的广播流的暂停功能的装置和方法 | |
CN101917613B (zh) | 一种流媒体采集编码服务*** | |
CN1977554A (zh) | 交互式广播*** | |
CN1977516A (zh) | 无线通信***上传输的多媒体数据的报头压缩 | |
CN102067551B (zh) | 媒体流处理 | |
CN101051465B (zh) | 用于解码被编码的有用数据的方法和解码装置 | |
JP2003114845A (ja) | メディア変換方法およびメディア変換装置 | |
CN1992897A (zh) | 视频处理方法以及计算机可读取储存媒体 | |
US20060140591A1 (en) | Systems and methods for load balancing audio/video streams | |
CN102595114A (zh) | 一种在低端嵌入式产品上播放视频的方法及终端 | |
CN107438192A (zh) | 音视频播放同步的方法及相关***和多媒体播放终端 | |
US7574169B2 (en) | Contents providing system and mobile communication terminal therefor | |
CN1829316A (zh) | 使用伪流技术来向移动终端传输运动画面数据的方法 | |
CN108924631B (zh) | 一种基于音视频分流存储的录像生成方法 | |
CN114333933B (zh) | 一种Linux平台上安卓应用低延迟音频输出方法 | |
CN1859046A (zh) | 接收数字多媒体广播的装置和方法 | |
EP2405649B1 (en) | Method and terminal for synchronously recording sounds and images of opposite ends based on circuit domain video telephone | |
CN104023260A (zh) | 硬件解码实现方法、装置及播放器 | |
CN113873176B (zh) | 一种媒体文件合并方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070214 Termination date: 20180525 |