CN101558648A - 流媒体中内容的自适应*** - Google Patents

流媒体中内容的自适应*** Download PDF

Info

Publication number
CN101558648A
CN101558648A CNA2007800413765A CN200780041376A CN101558648A CN 101558648 A CN101558648 A CN 101558648A CN A2007800413765 A CNA2007800413765 A CN A2007800413765A CN 200780041376 A CN200780041376 A CN 200780041376A CN 101558648 A CN101558648 A CN 101558648A
Authority
CN
China
Prior art keywords
buffer
content
media data
data
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800413765A
Other languages
English (en)
Inventor
J·卡尔伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101558648A publication Critical patent/CN101558648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333—Processing operations in response to a pause request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种***接收流媒体数据和把与主要内容有关的所接收数据存储在第一缓冲器中。该***从第一缓冲器中选择性地提取所接收数据，以开始回放主要内容。当缓冲器到达在第一缓冲器中的、适合于重新填充第一缓冲器的位置时，该***暂停回放，并用所接收的、代表主要内容的流媒体数据重新填充缓冲器。刚一暂停回放主要内容，该***就切换到改而播放来自附加缓冲器的附加内容。当附加内容已被播放和第一缓冲器已被重新填充时，该***将再次从第一缓冲器中提取媒体数据，以再继续主要内容的回放。

Description

流媒体中内容的自适应***
发明领域
这里所描述的实现总的涉及流媒体，更具体地，涉及流媒体的自适应缓冲。更明确地，藉助于例子予以描述的本发明涉及用于处理流媒体以便在流媒体中自适应地***内容的方法和设备。
背景
流媒体典型地包括在诸如互联网那样的通信链路上以流播(streaming)或连续方式传送的音频和视频。和在下载后被播放的、诸如声音文件或视频文件之类的媒体数据文件不同，流媒体在请求它的几秒钟内被播放，并且数据并不永久地存储在计算机中。如果流媒体被直播(broadcast live)，则有时它被称为“实时媒体”。然而，在技术上，实时意味着没有延迟，但在流媒体中有内在的延迟。在流媒体概念所基于的基本思想是，在音乐或对话中听见瞬时的短促尖音信号或看见视频信号中的冻结的或交错的帧是令人讨厌的，而在诸如互联网那样的不稳定网络上对此进行补偿的唯一方式是在开始回放之前使某些音频数据进入用户设备中。在流播音频时，客户机(即用户设备)和服务器合作达到不中断的声音。客户机侧在开始发送声音到诸如扬声器或显示器的专用输出设备之前在缓冲器中存储几秒钟的声音。在整个会话过程中，它连续地提前接收媒体数据。所以，在流媒体应用中，流播的音频和/或视频数据可以在不用首先完全下载数据的情况下被回放。流媒体因此可以在数据被接收时以准“实时”方式被观看或收听。流媒体可以是受用户控制的，例如立即响应式的(on-demand)、按观看付费的电影等等，或可以是受服务器控制的，例如网播(webcasting)。
有几种基于互联网的流播服务，例如包括音频书、新闻和播客(Podcast)。播客可包括在互联网上分发供用户观看和/或收听的实时流播的音频和/或视频数据。播客典型地牵涉到自动递送的新音频和/或视频内容的预订馈送。话音或音乐内容的音频流播可包括在互联网上分发供用户收听的包含话音或音乐的媒体。
与流媒体有关的问题在于，通过其提供流媒体的通信链路的带宽有时候可能不均匀和不足。在低带宽连接上流媒体的递送，如果由于缓冲器中的数据耗尽而需要缓冲，使得连续流经常被中断，则可能导致差的用户体验。对于到诸如互联网那样的通信网的有线连接，以及在经由无线电的空中通信链路上，比如IEEE 802.11 WLAN连接，或通过诸如WCDMA网络那样的移动电话网络的连接，情况可能都是这样，并且在带宽通常更受限的移动应用中，所述问题通常会更普遍。
发明概要
所以，本发明的总的目的是提供一种用于处理流媒体信号以使得用户体验改善的解决方案。
按照第一方面，这个目的是藉助于一种用于在用户设备中处理流媒体的方法而完成的，该方法包括以下步骤：
接收流媒体数据；
把代表第一内容的所接收数据存储在第一缓冲器中；
从第一缓冲器提取所接收数据的一些部分，以开始回放第一内容；
暂停回放第一内容；
从第二缓冲器提取代表第二内容的所接收数据的一些部分，以开始回放第二内容，而同时重新填充第一缓冲器；以及
再继续回放第一内容。
在一个实施例中，该方法可包括以下步骤：
在回放第一内容期间，分析在第一缓冲器中剩余的媒体数据，以便识别暂停回放的位置；
当第一缓冲器到达在第一缓冲器中所识别的位置时，暂停回放第一内容。
在一个实施例中，分析在第一缓冲器中剩余的媒体数据的步骤是当第一缓冲器被腾空到预定的水平时实行的。
在一个实施例中，所述预定的水平是第一缓冲器的存储容量的某个百分比。
在一个实施例中，分析在第一缓冲器中剩余的媒体数据的步骤包括以下步骤：识别在第一缓冲器中的存储非活动期(inactive period)的位置。
在一个实施例中，分析在第一缓冲器中剩余的媒体数据的步骤包括以下步骤：识别媒体数据中的暂停标记。
在一个实施例中，非活动期包括在流媒体数据的音频部分中的静默期(silent period)。
在一个实施例中，静默期包括在被包含于音频部分内的语音中的停顿。
在一个实施例中，非活动期包括在流媒体数据的视频部分中的静止期(still period)。
在一个实施例中，第一缓冲器的容量的某个百分比包括20％。
在一个实施例中，接收流媒体数据的步骤包括以下步骤：
接收代表第一内容的媒体数据；以及
接收代表第二内容的媒体数据，其中该方法还包括以下步骤：
把第二内容的所接收数据存储在第二缓冲器中。
在一个实施例中，接收流媒体数据的步骤包括以下步骤：
接收代表第一内容的媒体数据；以及
接收代表两个或更多个附加内容组的媒体数据，其中该方法还包括以下步骤：
把附加内容组的所接收数据存储在分开的缓冲器中。
在一个实施例中，该方法包括以下步骤：
从多个附加内容组中选择第二内容，其中这些内容组的媒体数据被存储在分开的缓冲器中。
在一个实施例中，该方法包括以下步骤：
确定对于第一缓冲器的适当的重新填充时间段；
从多个附加内容组中选择第二内容，这是根据被选择的第二内容具有超过所确定的重新填充时间段的回放时间来进行的，其中这些内容组的媒体数据被存储在分开的缓冲器中。
在一个实施例中，确定适当的重新填充时间段的步骤包括以下步骤：
确定通过其接收流媒体数据的通信链路中的网络带宽；
确定对于第一内容的比特速率；
根据所确定的带宽和比特速率，确定在第一缓冲器中达到预定的水平所需要的时间段。
在一个实施例中，接收流媒体数据的步骤包括以下步骤：
接收代表第一内容的媒体数据；
接收代表第二内容的媒体数据；以及
接收包含有关至少第二内容的信息的头标，其中该方法还包括以下步骤：
读取所接收的头标，以及
根据头标中的信息，把第二内容的所接收数据存储到第二缓冲器中。
在一个实施例中，根据先前在重新填充第一缓冲器的同时已播放了所述附加内容组中的哪些附加内容组来选择第二内容。
在一个实施例中，根据在所述附加内容组之间的优先权次序来选择第二内容。
在一个实施例中，该方法包括以下步骤：
存储有关在重新填充第一缓冲器期间已播放了附加内容组中的哪些附加内容组的信息；
把所存储的信息的报告传送到服务供应者。
在一个实施例中，再继续回放第一内容的步骤是在第二内容到达结束点时实行的。
在一个实施例中，再继续回放第一内容的步骤是在第一缓冲器被重新填充到预定的水平时实行的。
在一个实施例中，所述预定的水平是第一缓冲器的存储容量的某个百分比。
在一个实施例中，第一缓冲器的容量的某个百分比包括80％。
按照第二方面，这个目的是藉助于一种用于回放流媒体的用户设备而完成的，该用户设备包括：
信号接收机，用于接收流媒体数据；
第一缓冲器，用于存储所接收的、代表第一内容的流媒体数据；
第二缓冲器，用于存储代表第二内容的媒体数据；
缓冲器控制器，被配置成：
从第一缓冲器提取数据的一些部分，以开始媒体回放；
暂停回放第一内容；
从第二缓冲器提取媒体数据的一些部分，以开始第二内容的媒体回放，而同时重新填充第一缓冲器；以及
再继续回放第一内容。
在一个实施例中，该用户设备包括：
被连接到缓冲器的媒体播放器，其被配置成提供所提取的媒体数据的媒体回放；
被连接到媒体播放器的输出设备，其被配置成提供用户可感知的媒体输出。
在一个实施例中，该用户设备包括：
缓冲器分析器，被配置成：在回放来自第一缓冲器的媒体期间，分析在第一缓冲器中剩余的媒体数据，以便识别暂停回放的位置；其中缓冲器控制器被配置成：当第一缓冲器到达所识别的位置时，暂停回放来自第一缓冲器的内容。
在一个实施例中，缓冲器控制器被配置成：当第一缓冲器被腾空到预定的水平时，分析在第一缓冲器中剩余的媒体数据。
在一个实施例中，所述预定的水平是第一缓冲器的存储容量的某个百分比。
在一个实施例中，缓冲器控制器被配置成：通过识别在第一缓冲器中的存储非活动期的位置，从而分析在第一缓冲器中剩余的媒体数据。
在一个实施例中，缓冲器控制器被配置成：通过识别在媒体数据中的暂停标记，从而分析在第一缓冲器中剩余的媒体数据。
在一个实施例中，所述非活动期包括在流媒体数据的音频部分中的静默期。
在一个实施例中，静默期包括在被包含于音频部分内的语音中的停顿。
在一个实施例中，所述非活动期包括在流媒体数据的视频部分中的静止期。
在一个实施例中，第一缓冲器的容量的某个百分比包括20％。
在一个实施例中，该用户设备包括：
多个分开的缓冲器，用于存储代表附加内容组的媒体数据，其中缓冲器控制器被配置成从该多个缓冲器之一中选择第二内容。
在一个实施例中，缓冲器控制器被配置成：
确定对于第一缓冲器的适当的重新填充时间段；
从该多个分开的缓冲器之一中选择第二内容，这是根据所选择的第二内容具有超过所确定的重新填充时间段的回放时间而进行的。
在一个实施例中，缓冲器控制器被配置成：根据先前在重新填充第一缓冲器的同时已播放了所述附加内容组中的哪些附加内容组，从该多个分开的缓冲器之一中选择第二内容。
在一个实施例中，缓冲器控制器被配置成：根据在所述附加内容组之间的优先权次序，从该多个分开的缓冲器之一中选择第二内容。
在一个实施例中，该用户设备包括：
信号发射机；
数据存储器；
数据记录器，其被配置成：把有关在重新填充第一缓冲器期间播放了附加内容组中的哪些附加内容组的信息存储在数据存储器中，并把所存储的信息的报告传送到内容供应者。
在一个实施例中，缓冲器控制器被配置成：当第二内容到达结束点时，再继续回放来自第一缓冲器的内容。
在一个实施例中，缓冲器控制器被配置成：当第一缓冲器被重新填充到预定的水平时，再继续回放来自第一缓冲器的内容。
在一个实施例中，所述预定的水平是第一缓冲器的存储容量的某个百分比。
在一个实施例中，第一缓冲器的容量的某个百分比包括80％。
在一个实施例中，该用户设备被配置成接收数据流，该数据流包括：
头标，后面跟随代表第二内容的媒体数据，后面跟随代表第一内容的媒体数据；该用户设备包括：
被连接到信号接收机的预缓冲器，其中缓冲器控制器被配置成：
读取在预缓冲器中的头标，以便检索有关第二内容的信息；以及
根据头标中的信息，把第二内容的媒体数据存储在第二缓冲器中，以及把第一内容的媒体数据存储在第一缓冲器中。
按照第三方面，这个目的是藉助于一种流媒体数据信号而完成的，该流媒体数据信号包括：
代表第一内容的媒体数据；
代表附加内容的媒体数据；
头标，其包括有关第一内容和附加内容的信息。
在一个实施例中，头标在附加内容的媒体数据之前被传送，以及其中附加内容的媒体数据在第一内容的媒体数据之前被传送。
在一个实施例中，头标包括有关附加内容的回放时间的信息。
在一个实施例中，头标包括有关附加内容的尺寸的信息。
在一个实施例中，头标包括有关附加内容的结束部分在流中的位置的信息。
附图简述
被合并到本申请书中并构成本申请书的一部分的附图图示了本发明的一个或多个实施例，并连同描述一起解释本发明。在图上：
图1图示在其中可以实施本发明的诸方面的示例性***；
图2图示在其中可以采用按照本发明的实施例配置的用户设备的、包括蜂窝网的示例性***；
图3图示符合本发明的原理的示例性用户设备，和用于接收流媒体的不同的装置；
图4图示被配置成按照本发明的原理运行的用户设备的示例性框图；以及
图5示意性地图示按照本发明的原理的流播数据信号，以及它如何在用户设备中被接收。
实施例详细说明
本发明的以下的详细描述参考附图。在不同图上的相同的参考标号可以标识相同的或类似的单元。本发明的诸方面可以以方法和/或计算机程序产品的方式来实施。因此，本发明可以以硬件和/或以软件(包括固件、驻留软件、微代码等等)来体现。而且，本发明可以采取在计算机可用的或计算机可读的存储介质上的计算机程序产品的形式，该计算机程序产品具有被包含在该介质上的计算机可用的或计算机可读的程序代码，以供指令执行***使用或结合指令执行***使用。被使用来实施符合本发明原理的诸方面的实际的软件代码或专用控制硬件并不限制本发明。因此，这些方面的运行和性能在不参照具体的软件代码的情况下描述，应当明白，本领域技术人员将能够根据这里的描述设计出实施这些方面的软件和控制硬件。
而且，本发明的某些部分可被实施为执行一个或多个功能的“逻辑”。这个逻辑可包括硬件、软件或硬件与软件的组合，所述的硬件诸如是专用集成电路或现场可编程门阵列。
在本申请中使用的单元、动作或指令不应当被解释为对于本发明是关键性的或必不可少的，除非这样明显地描述。另外，正如这里使用的，冠词“a”打算包括一个或多个项目。在打算指仅仅一个项目的场合下，使用名词“one(一个)”或类似的语言。而且，词组“根据”打算是指“至少部分地根据”，除非另外明显地阐述。还应当强调，术语“包括”在被使用于本申请书时被用来规定所陈述的特征、整体、步骤、部件或组的存在，但不排除一个或多个其它特征、整体、步骤、部件或它们的组的存在或添加。
而且，本发明的不同的实施例和诸方面在这里将参照用户设备被描述，流媒体数据信号在用户设备中被接收和处理以便进行回放。在本上下文中，用户设备可以通过连线被连接到递送流媒体信号的源，或者它可以典型地藉助于无线电通信链路通过空中被无线地连接。用户设备可以是固定的或便携的计算机，或者它可以是某种其它形式的媒体呈现单元设备，用于按照本发明的诸方面接收和呈现流媒体。然而，本发明在这里主要是在移动通信的上下文中予以描述的，其中用户设备优选地是被配置成在无线电网络中运行的便携式电子设备。更明确地，在优选实施例中，该用户设备是被配置成在无线电网络中，优选地是在分组交换网络服务中运行的移动电话。其例子包括3GPP WCDMA网络，或GPRS GSM网络。而且，应当指出，参照概述的实施例被描述的本发明涉及到在用户设备中在回放之前处理接收的流播数据信号，但并不是必需该用户设备实际地合并有对于呈现流媒体信号代表的内容所需要的装置。相反，该用户设备可以很好地连接到另一个分开的呈现设备，诸如是一个或多个扬声器和/或在其上显示媒体内容的分开的显示设备。
按照本发明的方面，提供了一种自适应缓冲技术，它在第一缓冲器被消耗到某种程度时暂停媒体播放并用流媒体数据重新填充第一或主要的缓冲器，以及它切换到提供代表来自第二缓冲器的附加内容的媒体数据，以用于在重新填充第一缓冲器期间回放。优选地，这是在从媒体上下文观点看来是适当时执行的。例如，当在被包含于媒体数据内的语音中有自然的停顿时，不管缓冲器有多满或多空，回放可以被暂停。按照本发明的方面，自然的停顿可以被延长对于缓冲附加的流媒体数据所需要的时间量。现有的缓冲技术在重新填充缓冲器之前会一直等待，直至缓冲器被腾空流播数据。缓冲器的这种重新填充与正在被播放的实际媒体毫不相关地发生，这意味着，重新填充可能出现在例如句子的中间或甚至在字的中间。相反，在例如媒体的自然停顿处重新填充缓冲器比起当缓冲器被腾空或达到预定的水平时完全地重新填充缓冲器可能打扰要少。而且，通过当第一缓冲器的回放被暂停以便进行重新填充时呈现附加内容，允许了呈现附加内容或信息。典型地，在其间需要暂停第一缓冲器的内容的回放以便提供适当的重新填充的时间是相当短的，可能是仅仅几秒钟的量级。所以，附加内容可以是非常短暂的，用于这种用途的适当的内容类型是商业广告。
现在参照图1和2描述与本发明有关的一些总的方面。
图1图示在其中可以实施本发明的诸方面的示例性***100。***100可包括流媒体源110和一个或多个用户设备120-1到120-N，在这里个体地被称为“用户设备120”，它们通过使用无线或有线的连接链路经由网络130被连接到流媒体源110。网络130可包括一个或多个任何类型的子网络，包括局域网(LAN)、广域网(WAN)、卫星网络、城域网(MAN)、电话网——诸如公共交换电话网(PSTN)或公共地面移动网(PLMN)、内联网、互联网、存储设备或网络的组合。PLMN还可包括分组交换子网络，诸如象通用分组无线电服务(GPRS)、蜂窝数字分组数据(CDPD)或移动IP子网络。
用户设备120可包括个人计算机、电话、蜂窝无线电话、个人通信***(PCS)终端等等。PCS终端可以组合蜂窝无线电话与数据处理、传真和/或数据通信能力。用户设备120还可包括个人数字助理(PDA)、传统的膝上型和/或掌上型接收机，或包括无线电话收发信机的另外的器具，等等。PDA可包括无线电话、寻呼机、互联网/内联网接入、web浏览器、组织器、日历和/或全球定位***(GPS)接收机。
流媒体源110可包括服务器实体，它可以经由网络130传送流媒体到用户设备120-1到120-N。流媒体源110可连接到媒体存储装置140。媒体存储装置140可以存储媒体内容，该媒体内容可被媒体源110检索，并作为流媒体被传送到用户设备120-1到120-N。
图2图示通过使用蜂窝网实施的***100的一个例子。如图2所示，在***100中，用户设备120可包括移动站，网络130可包括PLMN，例如，蜂窝电话网。如所显示的，***100可包括被连接到蜂窝网130的用户设备120。蜂窝网130可包括一个或多个基站控制器(BSC)205a和205b、多个基站(BS)210a-210f、多个基站天线阵列215a-215f、一个或多个移动交换中心(MSC)——诸如MSC 220、以及一个或多个网关(GW)——诸如GW 225。
蜂窝网130可以由传统地用于传送去往和来自用户设备120及流媒体源110(未示出)的数据的部件组成。这样的部件可包括基站天线阵列215a-215f，这些天线阵列经由适当的数据信道传送和接收来自在它们的邻近区域内的移动站的数据。基站210a-210f连接到它们各自的天线阵列215a-215f，并按照传统的技术格式化要传送到天线阵列215a-215f或从其接收的数据，以用于与BSC 205a-205b或与诸如用户设备120那样的移动站通信。除了其它功能以外，BSC 205a-205b还可以把接收的数据路由到MSC 220或基站(例如，BS 210a-210c或210d-210f)。MSC 220把接收的数据路由到BSC 205a或205b。GW 225可以把从外部域(未示出)接收的数据路由到适当的MSC(诸如MSC 220)，或把数据从MSC路由到适当的外部域。流媒体源110(图2上未示出)可以经由另外的网络(例如互联网)和GW 225而连接到蜂窝网130。
图3图示在其中可以实施本发明的实施例的、具有移动电话形状的用户设备的外观，而图4通过框图示意性地图示该用户设备的功能特征。应当指出，图4上所示的单元不一定必须按所显示的方式被物理地划分，主要感兴趣的是功能关系。而且，对于移动电话的具体的实施例，用户设备的外观不需要取图3所示的形状，而是该用户设备可以是蛤壳型、折刀型等等。
在一个实施例中，用户设备120被配置成通过有线连接35从对应于网络130的互联网32接收流媒体。作为可选的或附加的特征，用户设备120被配置成在无线电通信网30中运行，以便接收流媒体。无线电通信网30例如可以是3G网络，其能够提供来自互联网32的流媒体。对于流播的音频，这在今天已经是通过许多移动电话运营商可得到的。对于在移动网上的流播的视频，一种可能的技术是在3GPP中规定的、在WCDMA网络中使用的多媒体广播和多播服务(MBMS)。另一个备选是在用于CDMA2000的3GPP2中规定的广播和多播服务(BCMCS)。这两种技术是已知的，它们在许多方面是互相类似的，并且都可被使用来在3G移动电话网上提供流播的视频给移动终端。术语广播和多播被替换地使用，虽然它们并不是精确地指相同的东西。对于在3G网络上使用例如MBMS的电视信道的视频流播，最可能使用多播，因为它通常是预订服务。另外地，或作为可选的特征，用户设备120可以配备有无线电信号接收机，其被配置成在IEEE 802.11WLAN中运行，以从被连接到互联网32的WLAN发射机或接入点33接收包括音频和视频的流媒体。作为再一个选项，或附加特征，用户设备120可包括接收机，用于接收来自诸如无线电台或电视台那样的广播台34的广播或多播媒体信号。对于传统的无线电传输，头戴耳机线被用作为接收FM无线电台的天线。对于视频的数字传输，DVB-h(数字视频广播-手持)是一种基于DVB的技术，DVB已被ETSI采用来作为用于把广播服务引入到手持设备的标准技术规范，它至少部分地在ETSI EN 302304中被描述。DVB-h基本上是在数字电视网中使用的数字技术的移动版本。DMB(数字多媒体广播)是不利用移动电话网的另一种数字传输***，它用于发送数据、无线电和电视到移动设备，诸如是移动电话。它可以经由卫星(S-DMB)或地面(T-DMB)传输而运行。DMB是基于Eureka 147 DAB标准，并且与DVB-h具有某些相似性。
总之，有多种不同的接收数字媒体--音频和视频的方式，它们都可以在用户设备120中使用。然而，所使用的实际的技术或载体对于本发明并不具有头等的重要性，所以，在图4上仅仅描绘了一单个流媒体数据接收机20，虽然可以有一种以上类型的接收机。在各种不同的实施例中，接收机20也可以充当发射机，所以也可以被称为收发信机20。替换地，可以利用单独的发射机(未示出)来用于信号传输。用户设备120优选地包括用户接口，它包括输入部分，该输入部分优选地包括一组按键11，以及另外地或可选地包括触敏显示器。用户接口的输出部分可包括显示器12，用于向用户呈现信息。为了进行语音通信，用户设备120优选地还包括话筒13和扬声器14。除了扬声器14，此外还可以采用附加扬声器15，用于给终端用户提供告警信号和用作为扩音器。
图4以框图形式图示用户设备120。在用户设备120被配置成充当移动电话的实施例中，它的与移动电话有关的实际功能对于本发明并不是至关重要的，所以不作详细描述。接收机20被包括来用于接收来自一个或多个流媒体源110的流媒体数据。接收机20可包括与通信网进行有线连接的插座35。然而在所示的实施例中，天线21被连接到接收机20，以便通过无线电信号输入流媒体数据。接收机或收发信机20可包括本领域技术人员熟知的收发信机电路，用于在诸如网络30的网络中经由天线21接收和可选地发射码元序列。接收机20例如可包括传统的RAKE接收机，还可包括用于估计接收的码元序列的信号干扰比(SIR)的机构。
用户设备120被配置成接收流媒体数据，并把该数据转换成用户可感知的信号，诸如是声音或图像。为此，该用户设备的一个实施例优选地包括处理单元22，它在优选实施例中代表包括相关联的存储空间、操作软件和应用软件的微处理器***，其被配置成控制在用户设备120中实行的处理。处理单元22尤其被配置成按照本发明控制缓冲，这将更详细地被描述。用户设备120还包括缓冲器单元23，其包括两个或更多个缓冲器，它们被配置成在处理单元22的控制下被填充以输入的流媒体数据，以及被取出流媒体数据用于回放。缓冲器单元23因此被连接到媒体播放器24，后者被配置成把媒体数据转换成适合于通过媒体输出设备输出的媒体信号。对于音频媒体内容，媒体播放器24因此可被连接到扬声器14、扩音器15和/或连接到连接器16，其中连接器16可通信地连接到外部头戴耳机17或外部扬声器(未示出)。这样的头戴耳机17或扬声器可以藉助于Bluetooth
Figure A20078004137600191
(蓝牙)等等而能连接到连接器16中的无线电信号收发信机。替换地，或另外地，连接器16可包括与外部头戴耳机17或扬声器进行有线捆绑连接的插座。对于视频内容，媒体播放器24可被连接到用户接口的显示器12，或被连接到连接器18，其用于与外部显示器19连接。连接器18也可以提供用于与视频内容相关联的音频的连接，该音频要经由外部显示器19中的扬声器被回放。用户设备120的媒体输出设备因此可以是扬声器14或15、显示器12、或者连接器16或18。作为电源，用户设备120优选地还包括电池(未示出)，和/或用于电力网电源插座的连接器。
图4的框图还公开了被配置成实行按照本发明原理的自适应缓冲的实施例。按照本发明，用户设备120包括第一或主要缓冲器231，和至少一个附加缓冲器。在所显示的实施例中，在缓冲器单元23中有三个附加缓冲器232、233、234。处理单元22的缓冲器控制器221被配置成控制缓冲处理。优选地，还包括有缓冲器分析器222，其被配置成分析在第一缓冲器231中的媒体数据的内容。第一缓冲器231被配置成接收和存储来自接收机20的所接收的流媒体数据，其中缓冲器控制器221优选地控制流媒体数据在第一缓冲器231中的顺序存储，以及控制从第一缓冲器231中检索数据，以用于由媒体播放器24回放。第一缓冲器231被配置成用于主要内容的缓冲。在本上下文中，主要内容典型地是指用户想要看或听的内容，诸如音频演出、电影、电视演出等等。附加缓冲器或缓冲器232、233、234、235被配置成接收和存储代表附加内容的媒体数据，附加内容通常是与主要内容不同的。在优选实施例中，附加缓冲器232-235还被配置成在缓冲器控制器221的控制下接收和存储来自接收机20的接收的流媒体数据。然而，应当理解，代表附加内容的媒体数据可以通过与从接收机20接收流媒体数据不同的其它方式被存储在缓冲器232-235中。另一种可能的解决方案是下载媒体文件到附加缓冲器232-235中。在一个实施例中，附加缓冲器232-235不必与第一缓冲器231一样大，所以其被画成小得多。然而，在替换实施例中，第一缓冲器231和附加缓冲器232-235具有类似的尺寸，或甚至是相同的。还应当指出，图4上的五个附加缓冲器232-235的具体数目仅仅是可用来描述本发明的特征的一个例子。在各种不同的实施例中，缓冲器单元23可包括任意数目的附加缓冲器，但至少是一个。
按照本发明的方面，当第一缓冲器231需要重新填充，从而第一缓冲器231的内容的回放被暂停时，存储于至少一个附加缓冲器232-235中的内容被提供给媒体播放器。当用户想要取出被存储在第一缓冲器231中的第一或主要内容的一部分时，触发缓冲器控制器221以从第一缓冲器231中提取媒体数据，并把提取的媒体数据提供到媒体播放器24，媒体播放器24经由专用输出设备把流媒体数据播放给用户。例如，媒体播放器24可以译码来自第一缓冲器231的音频数据，这是在使用扬声器15把译码的数据从电信号转换成听觉输出信号之前。作为另一个例子，媒体播放器24可以在使用显示器12把视频数据转换成视觉表示之前译码来自第一缓冲器231的视频数据。
在用户设备120接收和呈现主要内容的流媒体的操作期间，媒体数据被顺序地存储在第一缓冲器231中，并从第一缓冲器231中被提取到媒体播放器24。尤其取决于媒体数据的比特速率和通过其输送流媒体到接收机20的通信链路的带宽，第一缓冲器231可能比重新填充它更快地被消耗。当是这种情形时，第一缓冲器231最后将完全被取尽，除非来自第一缓冲器231的内容的回放被暂停，以使得第一缓冲器231只是被重新填充。在一个实施例中，一旦第一缓冲器231被完全腾空，就仅仅执行第一缓冲器231的重新填充。在另一个实施例中，当第一缓冲器231被腾空到预定的水平时，则仅仅执行重新填充。这个水平可以是第一缓冲器231的总容量的某个百分比，诸如5％、10％、15％、20％、25％、或某个其它百分比水平。
在另一个实施例中，使用一种自适应方法来重新填充第一缓冲器231。在这个实施例中，用户设备120包括缓冲器分析器222，其被配置成分析存储在第一缓冲器231中的数据，以便识别在流媒体中的适合于暂停内容回放的特定时期，其优选地对应于“非活动”期。这样的非活动期例如可包括音频数据静默的时期，例如语音中的自然停顿，或视频数据“静止”的时期，所述“静止”例如是对于多个帧而言在视频中逐帧地很少或没有改变，或是存在有代表例如照相机改变或场景改变的冻结帧。作为替换的或另外的解决方案，缓冲器分析器222可被配置成分析在第一缓冲器231中剩余的媒体数据，以便定位被存储在媒体数据中的暂停标记。这样的暂停标记可以由主要内容的制作者或由内容供应者***。
缓冲器分析器222可被配置成不断地分析当前被存储在第一缓冲器231中的数据。替换地，当第一缓冲器231被腾空到预定的水平，诸如是到第一缓冲器231的总容量的某个百分比时，触发缓冲器分析器222以分析在第一缓冲器231中剩余的数据。作为例子，缓冲器控制器221可被配置成当第一缓冲器231被腾空到其总容量的20％时触发缓冲器分析器222以分析在第一缓冲器231中剩余的数据。因而，当第一缓冲器231随后被消耗到其中代表非活动期或暂停标记的媒体数据要被提取、或已正好被提取的点时，缓冲器控制器221***体播放器24暂停回放第一内容，而接收机20仍旧把媒体数据传递到第一缓冲器231以便重新填充它。
当来自第一缓冲器231的媒体数据内容的回放被暂停时，缓冲器控制器221被配置成改而从第二缓冲器中提取媒体数据给媒体播放器24。在只有一个附加缓冲器232的情形下，该附加缓冲器232代表第二缓冲器。在替换实施例中，其中有多个附加缓冲器232、233、234、235，那些附加缓冲器之一将被选择作为第二缓冲器，或一次选择一个附加缓冲器作为第二缓冲器。在使用媒体播放器24回放第二缓冲器的内容的同时，第一缓冲器被重新填充以代表第一内容的媒体数据。应当指出，在本上下文中，重新填充不必是指完全重新填充。当满足某个准则时，缓冲器控制器被配置成切换回来以从第一缓冲器231中提取媒体数据，从而再继续第一内容的回放。这个准则可包括缓冲器分析器确定第一缓冲器231被重新填充到至少预定的程度。要被满足的替换的或附加的准则可以是，在重新填充第一缓冲器231的同时被回放的第二内容到达结束点。该结束点可以是在第二缓冲器的媒体数据中的识别的结束点位置，或者它可以仅仅是当第二缓冲器被腾空时。藉助于这些实施例中的任何一个，在第一缓冲器被重新填充的同时，取用由用户设备120播放的内容的一部分的任何用户将被提供以附加内容，这意味着，在所播放的内容中将有较少的停顿。在优选实施例中，第一内容的回放在如上略述的、所定位的非活动期被暂停。这提供了额外的好处：从第二缓冲器被***的附加内容在第一或主要的内容中将被感知为打扰较少。
在一个实施例中，被存储在附加缓冲器232、233、234、235中的附加内容代表商业广告，优选地具有与被存储在第一缓冲器231中的主要内容相同的媒体类型，即音频和/或视频。当主要内容的回放被暂停时，改而在短的一段时间内回放商业广告。当第一缓冲器231被重新填充到至少预定的水平时，和/或在商业广告被播放到它的结尾后，商业广告的回放可被暂停。优选地，被存储在附加缓冲器232、233、234、235中的所述的商业广告或每一个商业广告就回放时间而言是相当短的，诸如在2至10秒之间，这在许多应用中将足以适当地重新填充第一缓冲器231。
图5图示在本发明的实施例中可以如何藉助于数据流而把流媒体提供到用户设备120的接收机20。在这个实施例中，要被存储在第一缓冲器231中的媒体数据以及要被存储在附加缓冲器232、233、234、235中的媒体数据在同一个数据流50中被接连地接收。优选地，流50包括头标51，其描述数据流50的内容，头标51优选地首先被传送。在一个实施例中，头标51包括有关在该流中将提供多少个内容组的信息，在本例中是四个。头标51还可包括有关对于在该流中所提供的每个内容的、或至少对于除最后的主要内容之外的每一内容的媒体数据的尺寸的信息。可选地，头标51还可包括有关不同的所包括内容组的回放时间的信息。头标51还可包括在数据流50中提供的标记或其它手段的标识，其标识对于每个单独的内容的媒体数据的开始和/或结束。优选地，缓冲器控制器221被配置成扫描接收的媒体流，具体地是读取头标51。通过解译被包含在头标51中的信息，并可能把包含该信息的数据存储在存储器25中，缓冲器控制器221被配置成把所接收的对于不同内容组的媒体数据中继到在缓冲器单元23中的不同的缓冲器。
在图5的图示的实施例中，媒体流50包括头标51，后面跟随用于四个小的内容组A、B、C和D的媒体数据。在这些较小的内容组后，提供主要内容。接收数据流50的用户设备120可以按照图4被配置。通过读取接收的头标51，缓冲器控制器221确定该数据流包括代表四个不同的内容组A、B、C、D和MAIN(主)的媒体数据。在一个实施例中，缓冲器单元23可包括在接收机20与缓冲器231-235之间的预缓冲器236，在该预缓冲器236中，头标和/或所接收的媒体数据被读取，以确定所接收的媒体数据要被存储在缓冲器231-235的哪一个中。如果主要内容是由用户设备120的用户请求的，则它的标识可以在某种程度上是事先已知的，而较小的内容组A、B、C和D典型地不是由用户选择的。相反，附加内容组A、B、C、D完全不需要与主要内容有关。在优选实施例中，附加内容组代表不同的商业广告，它们或者是音频或视频的形式、或者是二者。这些附加内容组将被如何使用，在某种程度上取决于通过其传送数据流50的通信链路的带宽和该链路的稳定程度。然而，头标51还可包括有关用于如何呈现数据流50中附加内容的优先权次序的信息，该优先权次序可以是缓冲器控制器22必须遵循的规则，或仅仅是指南。头标51还可包括有关通信地址的信息，诸如是IP地址、SMS地址、电子邮件地址等等，用户设备120被请求向这些通信地址报告已回放了哪些附加内容组。替换地，通过其流播媒体数据的通信链路是双向链路，头标因而只包括给用户设备120的提示：当流播的数据已被回放时通过该链路进行回复。头标51中所包含的任何信息，对于接收的数据流50的处理都是重要的或有用的，缓冲器控制器221可以把它们存储在存储器25中。
下面描述按照本发明的实施例可以如何实现流媒体的处理的一个例子：
1)具有流媒体源110的服务供应者创建包括主要内容和附加内容的数据流50。这个步骤之前可以是用户设备120的用户选择主要或第一内容来播放。在这个实施例中，数据流的附加内容包括四个不同的和单独的商业广告A、B、C和D。在这个例子中，主要内容是包括音频和视频数据的情景喜剧(sitcom)集。典型地，附加的内容组，即商业广告，因此也包括视频内容，但它们可以仅仅包括音频内容。在一个例子中，不同的商业广告的回放时间是变化的，其中A具有3秒的回放时间，B具有3秒的回放时间，C具有5秒的回放时间，以及D具有8秒的回放时间。服务供应者也流播要由进行接收的用户设备120使用的设置值，优选地是在流50的头标部分51中流播。
2)服务供应者通过通信链路首先在流50中流播单独的内容A-D的媒体数据，优选地在其前面是头标51，然后开始流播该喜剧集，即主要内容。
3)在用户设备120中接收数据流50的流媒体，缓冲器控制器221把接收的媒体存储在缓冲器单元23的不同的缓冲器231-235中。在这个实施例中，广告接收机的数目正好匹配于缓冲器单元23中附加缓冲器的数目。如果情况不是这样，则必须应用另外的规则。如果在流50中提供有比附加缓冲器数目更多的附加内容组，则可以通过在头标51中给出的优先权次序来确定要在那些附加缓冲器中存储的附加内容。替换地，附加内容组被顺序地存储，以使得与附加缓冲器的数目一致的第一数目的附加内容组被存储在附加缓冲器中，而在流50中的任何另外的附加内容组被忽略。优选地，在流50中，诸如在头标51中，被流播的设置值由缓冲器控制器221在预缓冲器236中进行分析，所接收的媒体数据从预缓冲器236中被传递到不同的缓冲器231-235。由于附加内容的媒体数据首先被流播，并因而也首先被接收，所以代表该附加内容的媒体数据首先被传递到各个分开的缓冲器，以使得例如内容A被存储在缓冲器232中，内容B被存储在缓冲器233中，内容C被存储在缓冲器234中，以及内容D被存储在缓冲器235中。当主要内容的媒体数据最后被接收时，它被存储在第一缓冲器231中。
4)媒体数据然后从第一缓冲器231中被提取，并被传递到媒体播放器24，以便开始该情景喜剧的回放。从第一缓冲器231的数据提取在理论上可以一旦在第一缓冲器231中存储有任何媒体数据就开始。然而在优选实施例中，直到第一缓冲器231被填充到上限阈值，诸如其总容量的80％，才开始数据的提取。
5)在主要内容回放一段时间后，第一缓冲器231被消耗到某一程度，在这个程度上适合于在任何更多的媒体数据可被提取之前重新填充第一缓冲器。如前所述，这可以是当第一缓冲器231被完全腾空时。然而，在优选实施例中，暂停主要内容中的回放的适当位置由主要内容中的暂停标记或非活动期定义。在后面那些实施例的一个实施例中，当第一缓冲器达到较低的阈值，诸如像其总容量的20％时，触发缓冲器分析器222以开始查找这样的适当的暂停位置。在一个实施例中，当主要内容的播放暂停时，缓冲器控制器221还计算第一缓冲器231必要的重新填充的预期时间长度的估值。这可以是基于在暂停之前的适当时期期间的平均网络带宽的估值，以及在相同时期期间主要内容的平均比特速率的估值。这可以提供把第一缓冲器重新填充到例如上限阈值所需要的时间的测度。
6)当第一缓冲器231被消耗到检测出的适当的暂停位置时，媒体播放器24暂停回放来自第一缓冲器231的内容，由此第一缓冲器231仅仅被重新填充以用于主要内容的媒体数据。在这个时间点，开始附加内容的回放。在一个实施例中，不同的附加内容组按在附加缓冲器232-235被接收和被存储那样顺序地播放。在另一个实施例中，它们以由所接收流50的头标51中的信息确定的次序被播放。在另一个实施例中，它们以与估计的、重新填充第一缓冲器231所需要的时间长度相关的，就播放时间而言由它们各自的尺寸所确定的次序进行播放。在一个实施例中，正如这里公开的，应用了这些选择规则的组合。在该实施例中，已估计出对于适当地重新填充第一缓冲器231需要2.5秒。所以，缓冲器控制器221选择具有至少2.5秒的回放时间的第一附加内容作为第二内容，在本例中是商业广告A。来自附加缓冲器232的媒体数据因此被提取到媒体播放器24，由此商业广告A优选地在与播放主要内容的相同的输出设备上播放，例如在显示器12上被播放。应当强调指出，所需要的时间的估计，以及当主要内容被暂停时播放哪个附加内容的选择，优选地在主要内容被实际暂停之前执行，使得能从第一缓冲器231快速和平滑地切换到(所选择的)第二缓冲器232。
7)当满足某些准则时，再继续进行第一内容的回放。优选地，所选择的附加内容匹配于所估计的需要的重新填充时间，并且直至所选择的内容，即商业广告A，被播放到结束点，才切换回来以播放来自第一缓冲器231的主要内容。在本上下文中，结束点可以是指内容A的最后的结束，或是该附加内容内的中间的结束点，其例如通过在媒体数据中的标记而分隔开商业广告A的不同的内容部分。替换地，当确定第一缓冲器231已被适当地重新填充到例如预定的阈值水平时终止内容A的回放，而不考虑内容A是否被中断。当缓冲器被填充且商业广告A被播放时，开始播放该情景喜剧。如果有可能在不必暂停和重新填充的情况下播放主要内容的剩余部分，则当主要内容的媒体数据的最后部分被提取和播放时，该方法结束。然而，对于诸如情景喜剧那样的较长的演出，不一定是这种情形，所以将需要更多的暂停。在那些暂停中，可以采用选择哪些附加内容来播放的不同的规则。以下的步骤8-10概述了一个实施例可以如何被实现的一个说明性例子。
8)一旦已经再继续主要内容的回放，处理过程实际上就最终再次回到步骤5。这一次同样地，在步骤6中，所估计的需要的重新填充时间是3秒。然而，由于商业广告A上次被播放，所以代之以播放商业广告B。然后重复步骤7，以便再继续主要内容的回放。
9)当处理过程再次回到步骤5时。这次估计的用于缓冲的时间是4秒。缓冲器控制器221然后可以选择商业广告C，但替代地它选择了商业广告D，因为在接收的流50的头标52中提供的优先权次序规定了这种选择次序。背景例如可以是服务供应者得到支持商业广告D的公司的更多酬金。当商业广告D的整个内容已被回放时，重复步骤7以便再继续主要内容的回放。
10)在主要内容中提供的情景喜剧集结束。在一个实施例中，用户设备120在结束会话之前向内容供应者报告：它已播放商业广告A、B和D一次，这是缓冲器控制器优选地已存储在存储器25中的信息。替换地，这个信息在以后阶段被提供到内容供应者，并且有可能使用另外的通信介质。与哪个内容已被播放有关的数据的传输例如可以以一定的间隔对于媒体服务的常规订户进行。
符合本发明原理的实现的以上说明提供了例图和描述，但不打算是穷举的，或是把本发明限于所公开的精确的形式。本发明的至少某些优点包括这样的效果：代替当缓冲时冻结画面和声音，用户得到可观看和/或收听的某些东西。服务供应者和媒体拥有者还被提供以潜在的收入来源，这个收入来源是与提供包括商业广告在内的附加内容、而并不实际上延长它被***到的主要内容的回放时间的思想相关联的。假如用户接受当用户设备在缓冲媒体数据时被呈现以广告，那么使用这样的对于流媒体的服务——这里当图像或音频在其它情况下将冻结时提供附加内容，也可以形成被补贴的媒体服务的基础。修改和改变鉴于以上的教导是可能的，或者是可以从本发明的实践中获得的。

Claims (49)

1.一种用于在用户设备中处理流媒体的方法，包括以下步骤：
接收流媒体数据；
把代表第一内容的所接收数据存储在第一缓冲器中；
从第一缓冲器提取所接收数据的一些部分，以开始回放第一内容；
暂停回放第一内容；
从第二缓冲器提取代表第二内容的所接收数据的一些部分，以开始回放第二内容，而同时重新填充第一缓冲器；以及
再继续回放第一内容。
2.权利要求1的方法，包括以下步骤：
在回放第一内容期间，分析在第一缓冲器中剩余的媒体数据，以便识别暂停回放的位置；
当第一缓冲器到达第一缓冲器中所识别的位置时，暂停回放第一内容。
3.权利要求2的方法，其中，所述分析在第一缓冲器中剩余的媒体数据的步骤是当第一缓冲器被腾空到预定的水平时实行的。
4.权利要求3的方法，其中，所述预定的水平是第一缓冲器的存储容量的某个百分比。
5.权利要求2的方法，其中所述分析在第一缓冲器中剩余的媒体数据的步骤包括以下步骤：识别在第一缓冲器中的存储非活动期的位置。
6.权利要求2的方法，其中所述分析在第一缓冲器中剩余的媒体数据的步骤包括以下步骤：识别媒体数据中的暂停标记。
7.权利要求5的方法，其中所述非活动期包括在流媒体数据的音频部分中的静默期。
8.权利要求7的方法，其中所述静默期包括在被包含于音频部分内的语音中的停顿。
9.权利要求5的方法，其中所述非活动期包括在流媒体数据的视频部分中的静止期。
10.权利要求4的方法，其中第一缓冲器的容量的某个百分比包括20％。
11.权利要求1的方法，其中所述接收流媒体数据的步骤包括以下步骤：
接收代表第一内容的媒体数据；以及
接收代表第二内容的媒体数据，其中该方法还包括以下步骤：
把第二内容的所接收数据存储在第二缓冲器中。
12.权利要求1的方法，其中所述接收流媒体数据的步骤包括以下步骤：
接收代表第一内容的媒体数据；以及
接收代表两个或更多个附加内容组的媒体数据，其中该方法还包括以下步骤：
把附加内容组的所接收数据存储在分开的缓冲器中。
13.权利要求1的方法，包括以下步骤：
从多个附加内容组中选择第二内容，其中这些内容组的媒体数据被存储在分开的缓冲器中。
14.权利要求1的方法，包括以下步骤：
确定对于第一缓冲器的适当的重新填充时间段；
从多个附加内容组中选择第二内容，这是根据被选择的第二内容具有超过所确定的重新填充时间段的回放时间而进行的，其中这些内容组的媒体数据被存储在分开的缓冲器中。
15.权利要求14的方法，其中所述确定适当的重新填充时间段的步骤包括以下步骤：
确定通过其接收流媒体数据的通信链路中的网络带宽；
确定对于第一内容的比特速率；
根据所确定的带宽和比特速率，确定在第一缓冲器中达到预定的水平所需要的时间段。
16.权利要求1的方法，其中所述接收流媒体数据的步骤包括以下步骤：
接收代表第一内容的媒体数据；
接收代表第二内容的媒体数据；以及
接收包含有关至少第二内容的信息的头标，其中该方法还包括以下步骤：
读取所接收的头标，以及
根据头标中的信息，把第二内容的所接收数据存储到第二缓冲器中。
17.权利要求13的方法，其中，根据先前在重新填充第一缓冲器的同时已播放了所述附加内容组中的哪些附加内容组来选择第二内容。
18.权利要求13的方法，其中，根据在所述附加内容组之间的优先权次序来选择第二内容。
19.权利要求13的方法，包括以下步骤：
存储有关在重新填充第一缓冲器期间已播放了所述附加内容组中的哪些附加内容组的信息；
把所存储的信息的报告传送到服务供应者。
20.权利要求1的方法，其中，所述再继续回放第一内容的步骤是在第二内容到达结束点时实行的。
21.权利要求1的方法，其中，所述再继续回放第一内容的步骤是在第一缓冲器被重新填充到预定的水平时实行的。
22.权利要求21的方法，其中所述预定的水平是第一缓冲器的存储容量的某个百分比。
23.权利要求22的方法，其中第一缓冲器的容量的某个百分比包括80％。
24.一种用于回放流媒体的用户设备，包括：
信号接收机，用于接收流媒体数据；
第一缓冲器，用于存储所接收的、代表第一内容的流媒体数据；
第二缓冲器，用于存储代表第二内容的媒体数据；
缓冲器控制器，被配置成：
从第一缓冲器提取数据的一些部分，以开始媒体回放；
暂停回放第一内容；
从第二缓冲器提取媒体数据的一些部分，以开始第二内容的媒体回放，而同时重新填充第一缓冲器；以及
再继续回放第一内容。
25.权利要求24的用户设备，包括：
被连接到缓冲器的媒体播放器，其被配置成提供所提取的媒体数据的媒体回放；
被连接到媒体播放器的输出设备，其被配置成提供用户可感知的媒体输出。
26.权利要求24的用户设备，包括：
缓冲器分析器，被配置成：在回放来自第一缓冲器的媒体期间，分析在第一缓冲器中剩余的媒体数据，以便识别暂停回放的位置；其中所述缓冲器控制器被配置成：当第一缓冲器到达所识别的位置时，暂停回放来自第一缓冲器的内容。
27.权利要求26的用户设备，其中所述缓冲器控制器被配置成：当第一缓冲器被腾空到预定的水平时，分析在第一缓冲器中剩余的媒体数据。
28.权利要求26的用户设备，其中所述预定的水平是第一缓冲器的存储容量的某个百分比。
29.权利要求26的用户设备，其中所述缓冲器控制器被配置成：通过识别在第一缓冲器中的存储非活动期的位置，从而分析在第一缓冲器中剩余的媒体数据。
30.权利要求26的用户设备，其中所述缓冲器控制器被配置成：通过识别媒体数据中的暂停标记，从而分析在第一缓冲器中剩余的媒体数据。
31.权利要求29的用户设备，其中所述非活动期包括在流媒体数据的音频部分中的静默期。
32.权利要求31的用户设备，其中所述静默期包括在被包含于音频部分内的语音中的停顿。
33.权利要求29的用户设备，其中所述非活动期包括在流媒体数据的视频部分中的静止期。
34.权利要求28的用户设备，其中第一缓冲器的容量的某个百分比包括20％。
35.权利要求28的用户设备，包括：
多个分开的缓冲器，用于存储代表附加内容组的媒体数据，其中所述缓冲器控制器被配置成从该多个缓冲器之一中选择第二内容。
36.权利要求35的用户设备，其中所述缓冲器控制器被配置成：
确定对于第一缓冲器的适当的重新填充时间段；
从该多个分开的缓冲器之一中选择第二内容，这是根据被选择的第二内容具有超过所确定的重新填充时间段的回放时间而进行的。
37.权利要求35的用户设备，其中所述缓冲器控制器被配置成：根据先前在重新填充第一缓冲器的同时已播放了所述附加内容组中的哪些附加内容组，从该多个分开的缓冲器之一中选择第二内容。
38.权利要求35的用户设备，其中所述缓冲器控制器被配置成：根据在所述附加内容组之间的优先权次序，从该多个分开的缓冲器之一中选择第二内容。
39.权利要求35的用户设备，包括：
信号发射机；
数据存储器；
数据记录器，其被配置成：把有关在重新填充第一缓冲器期间播放了附加内容组中的哪些附加内容组的信息存储在数据存储器中，并把所存储的信息的报告传送到内容供应者。
40.权利要求24的用户设备，其中所述缓冲器控制器被配置成：当第二内容到达结束点时，再继续回放来自第一缓冲器的内容。
41.权利要求24的用户设备，其中所述缓冲器控制器被配置成：当第一缓冲器被重新填充到预定的水平时，再继续回放来自第一缓冲器的内容。
42.权利要求41的用户设备，其中所述预定的水平是第一缓冲器的存储容量的某个百分比。
43.权利要求41的用户设备，其中第一缓冲器的容量的某个百分比包括80％。
44.权利要求24的用户设备，被配置成接收数据流，该数据流包括：
头标，后面跟随代表第二内容的媒体数据，后面跟随代表第一内容的媒体数据；该用户设备包括：
被连接到信号接收机的预缓冲器，其中所述缓冲器控制器被配置成：
读取在预缓冲器中的头标，以便检索有关第二内容的信息；以及
根据头标中的信息，把第二内容的媒体数据存储在第二缓冲器中，以及把第一内容的媒体数据存储在第一缓冲器中。
45.一种流媒体数据信号，包括：
代表第一内容的媒体数据；
代表附加内容的媒体数据；
头标，其包括有关第一内容和附加内容的信息。
46.权利要求45的流媒体数据信号，其中头标在附加内容的媒体数据之前被传送，以及其中附加内容的媒体数据在第一内容的媒体数据之前被传送。
47.权利要求45的流媒体数据信号，其中头标包括有关附加内容的回放时间的信息。
48.权利要求45的流媒体数据信号，其中头标包括有关附加内容的尺寸的信息。
49.权利要求45的流媒体数据信号，其中头标包括有关附加内容的结束部分在流中的位置的信息。
CNA2007800413765A 2006-11-07 2007-04-19 流媒体中内容的自适应*** Pending CN101558648A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/557,114 2006-11-07
US11/557,114 US20080109556A1 (en) 2006-11-07 2006-11-07 Adaptive insertion of content in streaming media

Publications (1)

Publication Number Publication Date
CN101558648A true CN101558648A (zh) 2009-10-14

Family

ID=38327035

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800413765A Pending CN101558648A (zh) 2006-11-07 2007-04-19 流媒体中内容的自适应***

Country Status (6)

Country Link
US (1) US20080109556A1 (zh)
EP (1) EP2084908B1 (zh)
CN (1) CN101558648A (zh)
AT (1) ATE473596T1 (zh)
DE (1) DE602007007657D1 (zh)
WO (1) WO2008055713A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802075A (zh) * 2012-08-24 2012-11-28 乐视网信息技术（北京）股份有限公司 一种在线播放缓冲***和方法
CN107005725A (zh) * 2014-12-08 2017-08-01 罗伯特·博世有限公司 用于重现媒体流的方法
CN113396568A (zh) * 2019-01-29 2021-09-14 微软技术许可有限责任公司 用于处理编解码器切换的同步抖动缓冲器
CN114503600A (zh) * 2019-10-31 2022-05-13 六科股份有限公司 具有延迟缓冲器特征的内容修改***

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7779142B1 (en) * 2007-01-23 2010-08-17 Juniper Networks, Inc. Bandwidth allocation to support fast buffering
US9654737B2 (en) * 2007-03-27 2017-05-16 Sony Corporation Methods, systems and apparatuses to enhance broadcast entertainment
US8489702B2 (en) 2007-06-22 2013-07-16 Apple Inc. Determining playability of media files with minimal downloading
KR101472748B1 (ko) * 2007-12-06 2014-12-15 삼성전자주식회사 휴대 단말기의 분산 스트리밍 서비스 제공 방법 및 시스템
US8775647B2 (en) 2007-12-10 2014-07-08 Deluxe Media Inc. Method and system for use in coordinating multimedia devices
JP2011520302A (ja) 2007-12-10 2011-07-14 デラックス・デジタル・スタジオズ，インコーポレイテッド マルチメディアデバイスを連係させる際に使用するための方法およびシステム
JP2009253348A (ja) * 2008-04-01 2009-10-29 Alps Electric Co Ltd データ処理方法及びデータ処理装置
US8055785B2 (en) * 2008-09-17 2011-11-08 Futurewei Technologies, Inc. Rate control for stream switching
US8418197B2 (en) * 2008-10-29 2013-04-09 Goldspot Media Method and apparatus for browser based advertisement insertion
US9336528B2 (en) * 2008-12-16 2016-05-10 Jeffrey Beaton System and method for overlay advertising and purchasing utilizing on-line video or streaming media
US9078031B2 (en) * 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8908103B2 (en) 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US20120114118A1 (en) * 2010-11-05 2012-05-10 Samsung Electronics Co., Ltd. Key rotation in live adaptive streaming
US20130054825A1 (en) * 2011-08-23 2013-02-28 General Instrument Corporation Content streaming in communication system
US9270718B2 (en) * 2011-11-25 2016-02-23 Harry E Emerson, III Internet streaming and the presentation of dynamic content
KR20130089844A (ko) * 2012-01-06 2013-08-13 삼성전자주식회사 광고 제공 장치 및 방법
EP2815582B1 (en) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9888280B2 (en) * 2012-04-17 2018-02-06 Excalibur Ip, Llc Method and system for providing contextual information during video buffering
US20130290514A1 (en) * 2012-04-27 2013-10-31 Alcatel-Lucent Usa Inc. Dynamic interstitial transitions
CN103096131B (zh) * 2013-02-06 2016-06-08 天脉聚源(北京)传媒科技有限公司 一种直播流处理方法和装置
US10171887B2 (en) * 2013-03-13 2019-01-01 Comcast Cable Communications, Llc Methods and systems for intelligent playback
US9634910B1 (en) * 2013-06-14 2017-04-25 Google Inc. Adaptive serving companion shared content
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US10334300B2 (en) * 2014-12-04 2019-06-25 Cynny Spa Systems and methods to present content
US9524278B2 (en) * 2014-12-04 2016-12-20 Cynny Spa Systems and methods to present content
US10264293B2 (en) 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) * 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
GB2551320A (en) * 2016-06-07 2017-12-20 Nomad Spectrum Ltd Communication systems
US10063939B1 (en) * 2017-04-26 2018-08-28 International Business Machines Corporation Intelligent replay of user specific interesting content during online video buffering
US10425683B2 (en) * 2017-05-31 2019-09-24 Netflix, Inc. Temporal placement of a rebuffering event
US10965984B1 (en) * 2019-05-28 2021-03-30 Amazon Technologies, Inc. Minimization of video re-buffering using local animation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328448B2 (en) * 2000-08-31 2008-02-05 Prime Research Alliance E, Inc. Advertisement distribution system for distributing targeted advertisements in television systems
CA2303522A1 (en) * 2000-03-30 2001-09-30 Abraham Reichmann A system and method for enhanced streaming media viewing
US6885987B2 (en) * 2001-02-09 2005-04-26 Fastmobile, Inc. Method and apparatus for encoding and decoding pause information
JP2002359833A (ja) * 2001-03-27 2002-12-13 Hitachi Ltd データ通信システムおよび送信装置、通信端末
GB0406442D0 (en) * 2004-03-23 2004-04-28 Koninkl Philips Electronics Nv Audiovisual display apparatus and method
KR100812678B1 (ko) * 2005-09-29 2008-03-19 하나로미디어(주) 주문형 비디오의 처리와 연계된 셋톱박스에서의광고제공시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802075A (zh) * 2012-08-24 2012-11-28 乐视网信息技术（北京）股份有限公司 一种在线播放缓冲***和方法
CN102802075B (zh) * 2012-08-24 2015-05-20 乐视致新电子科技（天津）有限公司 一种在线播放缓冲***和方法
CN107005725A (zh) * 2014-12-08 2017-08-01 罗伯特·博世有限公司 用于重现媒体流的方法
CN113396568A (zh) * 2019-01-29 2021-09-14 微软技术许可有限责任公司 用于处理编解码器切换的同步抖动缓冲器
CN114503600A (zh) * 2019-10-31 2022-05-13 六科股份有限公司 具有延迟缓冲器特征的内容修改***

Also Published As

Publication number Publication date
WO2008055713A1 (en) 2008-05-15
EP2084908B1 (en) 2010-07-07
EP2084908A1 (en) 2009-08-05
ATE473596T1 (de) 2010-07-15
DE602007007657D1 (de) 2010-08-19
US20080109556A1 (en) 2008-05-08

Similar Documents

Publication Publication Date Title
CN101558648A (zh) 流媒体中内容的自适应***
CN101422036B (zh) 基于预测的下一频道选择来管理视频数据的方法和***
US8281077B2 (en) Local media cache with leader files
KR100409101B1 (ko) 휴대통신 단말기용 인터넷 방송 중계 시스템 및 방송 중계 방법
EP1769597B1 (en) Virtual radio
CN1842978B (zh) 提供业务选择和获得业务
US7584291B2 (en) System and method for limiting dead air time in internet streaming media delivery
US20100257566A1 (en) Broadcast storage arrangement
US8180277B2 (en) Smartphone for interactive radio
US20060161872A1 (en) Marking and/or sharing media stream in the cellular network terminal
US8504709B2 (en) Adaptive streaming buffering
WO2009005620A4 (en) Internet protocol television network and method of operating thereof
CN101416477A (zh) 向移动无线终端的用户通告音频和视频内容的方法和***
JP2009544247A (ja) オーデイオ情報を配信するための改良された方法及び装置
US20070037557A1 (en) Method and system for multimedia messaging service
CN101160959A (zh) 一种数字广播中的内容播放方法、***及接收终端
CN103069827B (zh) 用于在通信设备上对内容进行接收和同步的***和方法
CN102546537A (zh) 媒体消息的处理方法和***
JP2003216863A (ja) 端末装置、広告情報サーバ、情報提供方法、およびそのプログラム
CN102413234A (zh) 移动终端媒体资源加载方法和移动终端
JP4550440B2 (ja) 放送データの受信端末
KR20120018945A (ko) 웹 상의 개인화 된 컨텐츠를 제공하는 인터넷 텔레매틱스 서비스 제공 시스템 및 방법
US20190373340A1 (en) Reading of multimedia content
Holma et al. UMTS services
KR100880743B1 (ko) 방송 서비스를 제공하기 위한 방송 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20091014

C20 Patent right or utility model deemed to be abandoned or is abandoned