CN101822048A - 用于流式接收音频和/或视频数据分组的设备 - Google Patents

用于流式接收音频和/或视频数据分组的设备 Download PDF

Info

Publication number
CN101822048A
CN101822048A CN200880110550A CN200880110550A CN101822048A CN 101822048 A CN101822048 A CN 101822048A CN 200880110550 A CN200880110550 A CN 200880110550A CN 200880110550 A CN200880110550 A CN 200880110550A CN 101822048 A CN101822048 A CN 101822048A
Authority
CN
China
Prior art keywords
time
adaptive
equipment
cache
receiving equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880110550A
Other languages
English (en)
Inventor
J-N·屈奥普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sagem SA
Sagemcom Broadband SAS
Original Assignee
Sagem SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagem SA filed Critical Sagem SA
Publication of CN101822048A publication Critical patent/CN101822048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种用于连续接收从源服务器(101)经由网络(104)传送的音频和/或视频数据分组的设备(108)。本发明仅仅适用于连续传送的数据领域。该设备(108)包括可以存储分组并且显现出可变存储器***时间的网络缓存存储器(110)，以及用于适配缓存存储器***时间、以便改善回放性能的装置(120)。该设备(108)还包括用于本地确定至少一个服务质量指示符(135、136、137)的值的装置，用于适配缓存存储器***时间的装置(120)根据指示符的值来适配该时间。

Description

用于流式接收音频和/或视频数据分组的设备
技术领域
本发明涉及一种用于流式接收从源服务器经由网络传送的音频和/或视频数据分组的设备。本发明只适用于以流模式传送数据的领域，由此涉及必须实时播放的数据：本发明不涉及最初被下载和记录在接收设备上并且随后播放的数据。更具体地，本发明涉及的是与不具有服务质量保证的IP(“因特网协议”)类型数据分组传输网络相连的设备的领域，现有的IP网络架构被称为“尽力而为”架构，该架构并不提供有保证的服务质量。应用于分组交换网络的术语QoS(“服务质量”的首字母缩写语)表示的是根据需求来提供服务的能力，特别地，所述需求是响应时间、带宽或分组损失方面的需求。换句话说，本发明不适于那些提供了与不同类型的业务量相适应的QoS的ATM(“异步传输模式”)类型的网络。通常，流传输是用于“实况”内容传输的原则。这种在因特网上频繁使用的原则允许在传送音频或视频流的同时对其进行回放(就VoD“视频点播”或因特网上的数字电视而言)。由此，它不同于通过下载进行的传输，其中通过下载进行的传输需要在可以听或观看视频之前收集所有视频片段或剪辑的数据。因此，音频和/或视频数据分组由服务器经由因特网网络传送并由设备接收，其中所述设备可以是数字电视解码器、或是与网络相连且用于回放音频-视频数据(“媒体播放器”)的其他任何类型的设备(移动终端，例如电话或个人助理)。
背景技术
由此，用于流式接收音频和/或视频数据分组的设备收集所述数据分组，并且将所述数据分组放置在与RAM(“随机存取存储器”)类型的存储器或是任何快速存取存储器(例如硬盘、USB key)的一部分相对应的缓存存储器中。在下文中，所述存储器是用术语“网络缓存存储器”表示的。网络缓存存储器的存在说明在用户“召唤”(例如通过点击超文本链接)因特网上所述部分或电影的时刻与开始回放音频-视频文件的时刻之间存在延迟。出于若干原因，这种缓存处理是必要的：
第一种需要该缓存处理的现象是抖动，所述抖动是一种信号波动现象。这种波动有可以是相位滑动或时间离散。因此，由于分组是以“尽力而为”的模式传送的，该数据有可能较快或较慢到达，并且在恢复数据时，所述抖动将会导致输出错误。由此，为了能够保持回放同步，用于接收分组的设备对接收到的数据进行缓存，以便消除传输时间和/或传输速率的变化。此外还值得注意的是，数据分组并不是始终按顺序到达的，由此，较为恰当的是在网络缓存存储器中对其进行重组，并且按照正确的顺序来对其进行排列。
此外，在通常用分组丢失来表征高传输差错率的因特网网络上的音频-视频图像的传输的上下文中，较为恰当的是使用诸如前向纠错(FEC)码之类的纠错码等等来保护数据分组。在传送音频/视频信号之前，FEC在数据中添加了关于数字消息的冗余元素，由此可以在接收时对其进行验证，从而减小与干扰接收的传输相关联的出错的风险。“Pro MPEG Forum”的“FEC COP#3r2”标准描述了FEC功能的一种实施方式。
越来越多的运营商使用了FEC编码：典型地通过使初始分组数量过载大约20％，遗失分组的数量将会显著减少。当然，这些校正码的引入将会导致产生附加计算时间，并且在此期间必须对数据进行缓存(即，将其保存在缓存存储器中)。
此外，如果要将用于实时传输的RTP(“实时传输协议”)类型的数据传输协议与用于控制数据流的RTCP(“实时传输控制协议”)类型的协议结合使用，那么同样需要使用网络缓存存储器。该设备借助RTP协议接收分组；当其检测到遗失分组时，它会根据RTCP协议而在返回信道上传送请求，以便请求该遗失分组。由此，在从服务器返回遗失分组的时间里(通常是300ms)有必要保存数据剩余部分。RTP协议和RTCP协议符合文档RFC 3550、RFC4588和RFC4585的描述。
用于数据分组的网络缓存存储器的缺失将会导致降级图像(屏幕上的干扰，诸如间歇性图像或冻结图像)和/或声音(例如，杂乱或刺耳的声音)。
另一方面，如果使用这种临时存储被设备接收的分组的网络缓存存储器，则意味着必须在缓存时间与预期图像和/或声音质量之间找到很好的折衷。如果所预期的是很好的质量，则需要冗长的缓存时间(对数字电视解码器来说高达1s～3s)，由此将会导致极大占用RAM并且延长了用户的连接时间。同样，举例来说，对“多播”电视传输(也就是点到多点传输，该传输可以通过只传送一个分组(即便在该分组针对多个目的地的时候也是如此)来节约带宽)来说，改变频道所耗费的时间(“用遥控器转换频道”或“电视冲浪”)同样将会延长。对VoD来说，快进和快退操作模式(“技巧模式”)、视频初始化或文件列表(“播放列表”)中的序列的初始化同样也会受到影响。这些模式实际并不是在本地执行的；由于他们使用了服务器，因此它需要较长的缓存时间。
一种响应该折衷需求的已知解决方案包括：借助服务器与接收设备之间的交换来适配缓存时间。由此，接收设备具有可变缓存时间。该接收设备发送请求来调整缓存时间，并且接收来源于源服务器的信号，其中所述源服务器对存储时间的适配进行控制。
然而，用于配置缓存时间(以下有时也称作“缓存补偿(bufferisation)”)的这种解决方案的执行造成某些困难。
因此，这种解决方案的第一个缺点是导致业务量增长。这种增长的业务量将会干扰网络接入，并导致不可忽视的成本增长。
此外，该解决方案还需要为网络添加设备(尤其是就用于头端的设备而言)。
发明内容
因此，本发明的目的是提供一种用于流式接收从源服务器经由网络传送的音频和/或视频数据分组的设备，其中该设备允许有效调整缓存时间，以便在克服前述问题的同时补偿网络固有的干扰。
为此目的，本发明提出了一种用于流式接收从源服务器经由网络传送的音频和/或视频数据分组的设备，该接收设备包括：
-可以存储所述分组的网络缓存存储器，其中该网络缓存存储器显现出可变的缓存时间，
-用于适配分组缓存时间来改进回放性能的装置，
该设备的特征在于：它包括用于本地确定至少一个服务质量指示符的值的装置，用于适配缓存时间的装置根据QoS指示符的值来适配缓存时间。
作为本发明的结果，缓存时间是在没有来自服务器的控制信号的情况下通过确定至少一个QoS指示符而在本地确定的：接收设备的这种本地处理导致产生了下列优点：
-缓存时间的持续时间并非由网络适配(由此没有网络超载)，
-由于一切都在本地执行，因此，运营商在执行适配方面没有支出费用，
-本发明可以应用于“多播”和“单播”传输，
-用户不必借助感觉复杂的配置菜单来操作设备。
根据本发明的设备负责确定缓存时间、预期图像和/或声音质量以及VoD中的连接和导航时间之间的最佳可能折衷。由此，很短的缓存补偿时间将会导致：
-在线路质量中等的情况下具有平均的图像和声音质量，
-在VoD中具有标称的连接和导航时间。
相反，较长的缓存补偿时间将会导致：
-即使在线路质量中等的情况下也具有良好的图像和声音质量，
-在VoD中具有很长的连接时间和导航时间(比标称情形高出1s～2s)。
接收问题通常是特定于每一个用户的，由此，根据本发明的设备的优点在于，所述适配是在用户不必请求运营商配置设备或是自行配置缓存器大小的情况下动态执行的。
根据本发明的设备还可以具有一个或多个下列特征，这些特征既可以单独考虑，也可以根据所有技术上可行的组合来考虑。
非常有利的是，缓存时间小于3s(优选小于2s)并且大于100ms。
非常有利的是，服务质量指示符是从下列指示符中选出的：
-遗失分组的数量，
-遗失分组请求期间的等待时间(例如在对遗失分组进行RTP/RTCP类型的检测的单播传输的情况下)，
-视觉听觉呈现。
根据一个实施例，用于适配缓存时间的装置是根据服务质量指示符的值与接收设备的使用的持续时间之间的比值来适配缓存补偿时间的。
根据一个变型，用于适配缓存时间的装置是在服务质量指示符的值超出临界阈值的时候适配时间的。该适配可以在服务质量指示符的值至少在规定时间里超出临界阈值的时候执行。
非常有利的是，用于适配缓存时间的装置是根据数据分组的类型而被适配的，所述装置能够根据数据分组是视频点播类型还是电视类型来做出不同的反应。
根据一个变型，数据分组是与电视信号相对应的分组，根据本发明的设备包括：用于检测用户最特别观看的频道的装置，以及用于对缓存时间进行适配的装置对用于存储与所述检测到的频道相对应的分组的时间进行专门的适配。
非常有利的是，所述用于本地确定至少一个服务质量指示符的值的装置包括：用于重新初始化所述值的装置。
非常有利的是，所述用于适配分组缓存时间来改善回放质量的装置通过训练而会随着时间的流逝更为精确。
特别地，根据本发明的设备适合电视解码器领域。
附图说明
本发明更进一步的特征和优点将从在以下中结合附图1提供的描述中清楚显现，其中所述描述只用于示例目的，而没有对本发明进行限制，所述附图1是使用了根据本发明的设备的架构的简化示意图。
具体实施方式
图1显示的是使用了根据本发明的设备108的架构100。在所显示的示例中，设备108是数字电视解码器。
架构100进一步包括：
-电视接收机119、电话机106以及微计算机107，
-调制解调器105，
-因特网类型的网络104，
-音频视频数据的远端来源101，例如远端服务器。
调制解调器105是ADSL(“非对称数字用户线”)类型的“三合一”调制解调器，它向用户提供了针对三种服务的访问，这三种服务是借助电视机119的电视或视频点播VoD、借助电话机106的电话通讯以及借助微计算机107的因特网。
服务器101包括编码器102和封装设备103。
无论VoD还是电视信号均以本地音频视频信号S1为基础，其中该信号会在编码器102中经历MPEG-2类型的压缩和编码，以便产生MPEG-2信号S2。虽然本说明书是以MPEG-2视频编码标准为基础的，但是其他类似的标准也是可以使用的，例如MPEG-4或H263。
在分布式网络上104，音频视频信号S2并不是按照其在压缩和编码成MPEG-2的阶段之后显现的基本格式传送的。该信号被拆分成了音频视频分组，这些音频视频分组彼此复用并封装成一个用于传送的特定流，其中所述流被称为MPEG-2TS(“传送流”)。这个单个流将被拆分并***RTP(“实时传输协议”)分组，其中所述拆分和***有可能是利用FEC类型的纠错***执行的。然后，分组被封装到UDP(“用户数据报协议”)或TCP(“传输控制协议”)分组中，其中这些分组包含了在IP数据包中传送的程序自身重建所需要的所有构成元素。值得一提的是，本发明只适用于通过“流式传输”传送的音频视频分组(由此必须在电视接收机119上实时播放的数据)的情形。
数据分组是经由未显示的DSLAM复用器(“数字用户线接入复用器”)由调制解调器105接收的，该调制解调器105向解码器108的分组接收设备109传送这些分组。
针对电视频道或VoD的访问需要使用解码器108，其中该解码器108的基本功能是对压缩成MPEG-2格式的视频数据流进行解码。数字数据接收设备109和调制解调器105是通过以太网电缆123连接的。值得一提的是，该连接还可以是WiFi或WiMAX连接。
解码器108包括：
-网络缓存存储器110，
-受位于程序存储器117中的程序控制的微处理器116，
-数据存储器118，
-总线112、114、115，用于数据地址和控制，能够将解码器108的不同部件相互连接，并且还允许微处理器116与这些部件进行通信，以便对其进行管理，
-MPEG-2类型的数据解码器设备111。
解码器108经由接收机109来接收经过压缩的数据分组，这些数据分组然后被传送到网络缓存存储器110，然后则传送到MPEG-2解码器111，以便经由SCART插孔124而在电视接收机119上回放。值得一提的是，MPEG-2解码器111使用了音频-视频(AV)缓存存储器113。因此，对MPEG-2标准的视频序列来说，所述视频序列可以包括三种图像：I(帧内)、P(预测)和B(双向)。这些图像并非全部以相同方式处理和压缩。P图像是从在先的I或P图像中预测的。B图像同样预测图像，但是它们特别地能从过去和/或未来的I或P图像中内插得到。B图像则可以仅仅在充当参考(尤其是未来的图像)I或P图像可用的时候才被解码。这就说明了AV缓存存储器113的存在性，其中在MPEG-2解码器111解码后续P和B图像的时候，该存储器临时存储已经被MPEG-2解码器111解码的I和P图像。然后，这些图像会按照其正常顺序被替换。在这里可以看出，AV缓存存储器113取决于所使用的压缩算法的类型，并且其功能完全不同于网络缓存存储器110。
传送到解码器108的数据吞吐量通常可以在1.5Mb/s与12Mb/s之间改变。如上所述，分组是为了补救不同问题而在其被接收的时候被网络缓存存储器110临时记录的，其中举例来说，所述问题可以是：
-与抖动相关联的问题，
-导致附加计算时间的FEC类型的纠错码的使用，
-需要附加等待时间来发送请求和接收遗失分组的RTP/RTCP类型协议的使用。
值得一提的是，在没有返回信道的多播或单播传输中，只有FEC编码是可行的，其中RTCP协议的运用则包含了返回信道的存在性。在具有返回信道的单播传输中，有可能具有：
-FEC编码
-使用RTP/RTCP协议
-FEC编码+RTP/RTCP协议的组合(例如请求未必被FEC编码纠正的分组)。
在这里有必要发现缓存时间、希望的图像和/或声音质量以及VoD中的纠正和导航时间之间的最佳可能折衷。因此，很短的缓存补偿时间将会导致：
-在线路质量中等的情况下具有平均的图像和声音质量，
-在VoD中具有标称的连接和导航时间。
相反，较长的缓存补偿时间将会导致：
-即使在线路质量中等的情况下也具有良好的图像和声音质量，
-在VoD中具有很长的连接和导航时间(比标称情形高出1s～2s)。
网络缓存存储器110可以形成RAM类型的存储器的一部分，其中对于数字电视解码器来说，该存储器的总体大小可以是例如128MB或256MB，并且其具有大约512KB～5MB的部分是专用于网络缓存存储器110的。
为了实施这种折衷，缓存时间是可变的：对于数字电视解码器来说，这个时间通常可以在100ms与3s之间变化(优选小于2s乃至1s)，其默认值则大约是300ms。附带地，在这里应该指出的是，如果运营商知道解码器是为哪个国家设计的，那么该默认值可以根据解码器的目的地而改变。
特别地，数据存储器118被用于存储解码器操作所需要的各种信息、数值或参数。由此，数据存储器尤其包括不同数值的QoS指示符，其中举例来说，可以是：
-遗失分组的数量135，
-用于请求遗失分组的等待时间136。
-电视接收机119上的听觉视觉呈现137，其中举例来说，所述呈现借助的是与冻结图像相对应的差错数量的指示符。
遗失分组的数量对应于未被递送的数据分组的数量，这其中大部分时间是因为网络拥塞造成的。这个遗失分组数量是由连续性计数器提供的，其中该计数器的值是在用于MPEG-2***标准ISO/IEC13818-1定义的TP分组(“传输分组”)的4个比特上编码的。如果使用的是RTP协议(RFC 3550)，那么报头的“sequence_number”字段(16比特上编码)同样是可以使用的。
遗失分组请求期间的等待时间是借助RTP/RTCP协议确定的：当根据RTP(RFC 3550)传送遗失分组请求时，等待时间对应的是在传输请求与借助RTCP返回遗失分组之间经过的时间。
考虑听觉视觉呈现指示符，对MPEG-2解码器111来说，与AV缓存存储器113的填充速率相关联的主要出错情形有两种：
-“欠流”类型的错误：与数据到达相比，MPEG-2解码器111消耗数据的速度更快。如果MPEG-2解码器111没有更多数据，那么它有可能不再解压缩后续图像，在这种情况下，已经能被压缩的最新图像会在电视接收机屏幕119上保持冻结。
-“过流”类型的错误：与MPEG-2解码器111能够消耗的数据相比，数据到达的速度更快：AV缓存存储器113溢出并且数据由此丢失。其结果是在电视接收机119的屏幕上可以看到干扰。
MPEG-2解码器111在每次遭遇到这种差错时都会产生警报(例如中断)，由此可以借助指示符来监视这些差错(由此是听觉视觉的呈现)。
值得一提的是，这些指示符仅仅是作为示例提供的，本发明还涉及其他类型的指示符。值得一提的是，解码器108既可以使用多个指示符，也可以仅仅使用一个指示符。
数据存储器118还包括一个供应用户使用解码器108的持续时间的指示符138(也就是电视接收机119上的显示小时数量)。
特别地，程序存储器117旨在管理将要执行的不同操作，以便实施解码器108的不同功能。它包括多个软件装置(应用)，这其中的某些软件装置是专用于实施本发明的。在解码器108的其他示例实施例中，这些软件装置可以用特定的电子电路来替代。
由此，程序存储器117包括：
-用于为了改进回放质量而适配分组缓存时间的装置120，
-用于在本地确定服务质量指示符135、136和/或137中的至少一个的值的装置121，
-用于计算QoS指示符的平均值与显示持续时间的比值的装置122。
因此，解码器108持续借助装置121而在本地记忆来自至少一个QoS指示符135、136和/或137的监视数据。
在经过预定时段(例如一天、一周或一月)之后，解码器108计算QoS指示符之一的平均值(例如遗失分组数量135)与使用持续时间138的比值。如果该比值超出特定阈值，则解码器108激活其装置120，以便增大网络缓存存储器110中的分组存储时间，从而改善图像的回放性能。相反，如果该比值低于另一个阈值，则解码器108可以减小网络缓存存储器110中的存储时间，从而改善VoD中的“技巧模式”时滞或是没有返回信道的TV流中的连接时间(电视频道转换)。
由此，解码器108周期性地重新调整缓存补偿时间。用于本地确定至少一个QoS指示符的值的装置121还包括：用于在每一次调整了缓存补偿时间之后将QoS值重新初始化成零的装置。每一个解码器108都会根据本地计算的一个或多个QoS指示符(由此是在不被源自网络的信号控制的情况下)来与传输线的质量相适配；具有良好接收质量(举例来说，其原因是所述传输是借助光纤进行的，或者用户位于靠近DSLAM的地方)的解码器在VoD情况下将会具有半即时的“技巧模式”，在没有返回信道的TV流的情况下将会具有半即时的连接时间，以及减小的缓存补偿时间，这是因为QoS指示符将会指示良好的质量。相反，对靠近电梯或电车轨道居住并且在接收质量难度很大(例如电磁干扰)的用户来说，缓存补偿时间将会较长，以便有助于图像质量(由此具有较长的VoD“技巧模式”或TV连接时间)。由此，解码器108是一个“智能”***，它会依据服务质量来执行动态和本地的自适应处理，而不需要对受网络控制的缓存补偿时间进行任何修改。
应该指出的是，根据本发明的解码器是能够学习的。换句话说，随着解码器保持的QoS值的历史记录的增加，缓存补偿时间的调整将会更为精确(也就是说，通过训练，随着时间的流逝，为了改善回放性能而对分组缓存时间进行适配的装置120将会变得更为精确)。
此外，在这里还可以依照数据分组类型乃至提供给用户的服务来适配缓存补偿时间：因此，根据所述服务是电视(用术语“实况”表示)还是VoD，装置120可以不同地调整缓存补偿时间。
在下文中将会描述根据本发明的解码器训练示例。
在某些TV节目套餐中共存着具有不同传输速率的不同类型的服务：
-以MPEG-2形式传输的频道，其传输速率约为4Mb/s：在下文中将这些服务称为MPEG-2群组，
-以H264形式传输的频道，其传输速率约为1.7Mb/s，在下文中将这些服务称为H264群组。
随着传输速率的提升，恶劣接收质量对于线路的影响将会更为显著：
-MPEG-2群组具有中等质量，在QoS指示符中的差错数量增大，
-H264群组具有平均质量，在QoS指示符中的差错数量很少。
现在假设用户主要观看的是MPEG-2群组的频道，因为它们组成了优质套餐。以下循环将被投入实施：
步骤1-D日：
-用户安装根据本发明的设备，
-缓存补偿时间＝默认值＝500ms。
步骤2-D日+2：
-所述指示符如下：
○MPEG-2群组：非常糟糕的QoS指示符，并且显示持续时间＝5h。
○H264群组：平均的QoS指示符，并且显示持续时间＝20分钟。
步骤3-D日+2：
-设备将缓存补偿升至最大值(无论服务是什么，缓存都相等)：缓存补偿时间＝2s。
步骤4-D日+2：
-指示符被重新初始化成零。
步骤5-D日+4：
-指示符如下所示：
○MPEG-2群组：优秀的QoS指示符，并且显示持续时间＝5h
○H264群组：优秀的QoS指示符，并且显示持续时间＝20分钟。
步骤6-D日+4：
-设备减小缓存补偿：缓存补偿时间＝1s。
步骤7-D日+4：
-指示符被初始化成0。
步骤8-D日+6：
指示符如下：
○MPEG-2群组：平均QoS指示符，并且显示持续时间＝5h。
○H264群组：很好的QoS指示符，并且显示持续时间＝20分钟。
步骤9-D日+6：
-设备轻微提升缓存补偿：缓存补偿时间＝1.2s。
步骤10-D日+6：
-指示符被重新初始化成0
步骤11-D日+8：
-指示符如下所示：
○MPEG-2群组：良好的QoS指示符，并且显示持续时间＝5h
○H264群组：优秀的QoS指示符，并且显示持续时间＝20分钟
步骤12-D日+8：
-设备不修改参数，因为：
○MPEG-2群组具有令人满意的QoS指示符与很长的显示持续时间的比值
○H264：指示符“过于”良好(换台时间不必要地受到影响)，但是具有不长的显示持续时间
步骤13：D日+20：
-指示符如下所示：
○MPEG-2群组：平均/良好的QoS指示符，显示持续时间＝30h
○H264：优秀的QoS指示符，并且显示持续时间＝2h(被认为是一个很长的持续时间)
步骤14-D日+20：
-设备根据服务类型来实施不同的处理：
○MPEG-2群组：缓存补偿时间轻微提升至1.3s
○H264群组：缓存补偿时间减少到0.8s。
步骤15-D日+20：
-指示符被重新初始化成0
步骤16-D日+30：
-指示符如下所示：
○MPEG-2群组：良好的QoS指示符，显示持续时间＝20h
○H264群组：良好的QoS指示符，显示持续时间＝2h。
步骤17：
-设备不执行改变。
在本示例中，根据本发明的设备花了30天来以最佳方式适配。但是，如果运营商改变传输参数(例如因为某些优质套餐服务变为H264，或者因为用户在解码器与ADSL调制解调器之间使用了WiFi模块(增加干扰))，那么将会自动再次重新调整参数。
虽然QoS指示符是实时确定的，但值得一提的是，缓存时间的修改仅仅会在下一次连接到解码器108的流(例如对应于多播TV流情形中的换台或VoD情形中的技巧模式)的时候才会生效。实时修改缓存补偿时间必然导致产生用户可以看到的干扰。
根据本发明的变型，在每次QoS指示符之一超出临界阈值的时候都可以适配缓存时间；举个例子，如果听觉视觉呈现指示符每隔5s指示一个冻结图像，则装置120将会立即增大缓存补偿时间，并且这个新缓存补偿时间会在解码器108下一次连接的时候产生结果。
此外还可以通过执行下列处理来组合这两个实施例：
-利用可能的调整而在每个周期(日、周或月)执行一次计算，
-如果超出临界阈值，则执行***调整(与计算周期无关)。
由于每一个频道都不具有相同的传输速率和编码等级(举例来说，某些频道有可能使用较多或较少的帧内图像，而这会影响出现干扰的风险)，因此可以为每一个电视频道实现更精确的适配。由此，缓存补偿时间的调整可以随着电视频道而改变。
对用户特别地观看的电视频道缓存补偿时间的特定调整同样是可以实施的。由此，设备108包含了用于检测用户更特别地观看的频道的装置125，并且用于适配缓存补偿时间的装置120专门适配用于存储与检测到的频道相对应的分组的时间。另一方面，其他电视频道可以保持默认的缓存补偿时间。由此，解码器优先考虑了观看最多的频道的图像质量。
当然，本发明并不局限于已经描述的实施例。
特别地，在例证的示例中，该实施例涉及的是一个用于流式接收分组的设备，并且该设备是一个数字电视解码器。而本发明同样涉及在ADSL调制解调器中包括的接收设备，甚至涉及一种位于ADSL调制解调器与解码器之间的用于接收分组的独立设备。
此外，本发明还涉及用于通过流式传输来接收数据分组的其他类型的终端，例如移动终端(电话或个人助理)。
但是，本发明并不涉及缓存补偿时间比3s长的接收设备，例如微计算机。
最后，任何装置都是可以用等价装置替换的。

Claims (12)

1.一种用于流式接收从源服务器(101)经由网络(104)传输的音频和/或视频数据分组的设备(108)，所述接收设备(108)包括：
-可以存储所述分组的网络缓存存储器(110)，所述网络缓存存储器(110)显现出可变的缓存时间，
-用于适配所述分组的缓存时间，以便改善所述分组的回放性能的装置(120)，
所述设备(108)的特征在于：它包括用于本地确定至少一个服务质量指示符(135、136、137)的值的装置(121)，所述用于适配缓存时间的装置(120)根据所述指示符(135、136、137)的值来适配所述时间。
2.根据前述权利要求的接收设备(108)，其特征在于：所述缓存时间小于3s。
3.根据前述任一权利要求的接收设备(108)，其特征在于：所述缓存时间大于100ms。
4.根据前述任一权利要求的接收设备(108)，其特征在于：所述至少一个服务质量指示符是从下列指示符中选出的：
-遗失分组的数量(135)，
-请求遗失分组期间的等待时间(136)，
-听觉视觉呈现(137)。
5.根据前述任一权利要求的接收设备(108)，其特征在于：所述用于适配缓存时间的装置(120)根据所述至少一个服务质量指示符的值(135)与所述接收设备的使用持续时间(138)之间的比值来适配所述时间。
6.根据前述任一权利要求的接收设备(108)，其特征在于：所述用于适配缓存时间的装置(120)在所述至少一个服务质量指示符的值(137)超出临界阈值的时候适配所述时间。
7.根据前述任一权利要求的接收设备(108)，其特征在于：所述用于适配缓存时间的装置(120)是根据数据分组的类型而被适配的。
8.根据前述权利要求的接收设备(108)，其特征在于：所述用于适配缓存时间的装置(120)根据数据分组是视频点播类型还是电视类型而做出不同的反应。
9.根据权利要求7或8的接收设备(108)，其特征在于：数据分组是对应于电视信号的数据分组，所述设备包括用于检测用户最特别地观看的频道的装置(125)，并且所述用于适配缓存时间的装置(120)对用于存储与所述检测到的频道相对应的分组的时间进行专门地适配。
10.根据前述任一权利要求的接收设备(108)，其特征在于：所述用于本地确定至少一个服务质量指示符(135、136、137)的值的装置(121)包括用于重新初始化所述值的装置。
11.根据前述任一权利要求的接收设备(108)，其特征在于：所述用于适配分组缓存时间、以便改善回放性能的装置(120)经过训练随着时间的流逝而变得更为精确。
12.根据前述任一权利要求的接收设备(108)，其特征在于：所述设备是数字电视解码器。
CN200880110550A 2007-10-10 2008-10-06 用于流式接收音频和/或视频数据分组的设备 Pending CN101822048A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0758195A FR2922401B1 (fr) 2007-10-10 2007-10-10 Dispositif de reception en continu de paquets de donnees audio et/ou video
FR0758195 2007-10-10
PCT/FR2008/051801 WO2009053595A1 (fr) 2007-10-10 2008-10-06 Dispositif de reception en continu de paquets de donnees audio et/ou video

Publications (1)

Publication Number Publication Date
CN101822048A true CN101822048A (zh) 2010-09-01

Family

ID=39367002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880110550A Pending CN101822048A (zh) 2007-10-10 2008-10-06 用于流式接收音频和/或视频数据分组的设备

Country Status (7)

Country Link
US (1) US20100299448A1 (zh)
EP (1) EP2218256A1 (zh)
CN (1) CN101822048A (zh)
BR (1) BRPI0817882A2 (zh)
CO (1) CO6382187A2 (zh)
FR (1) FR2922401B1 (zh)
WO (1) WO2009053595A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137563A (zh) * 2012-02-28 2014-11-05 高通股份有限公司 在无线显示***中的宿设备处的基于应用认知的定制缓存

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010692B1 (en) * 2009-11-05 2011-08-30 Adobe Systems Incorporated Adapting audio and video content for hardware platform
US10841352B2 (en) * 2012-11-27 2020-11-17 International Business Machines Corporation Non-chronological buffering of segments of a media file
JP6593053B2 (ja) * 2015-09-15 2019-10-23 株式会社リコー コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム
KR102479513B1 (ko) * 2018-02-26 2022-12-21 삼성전자주식회사 전자장치 및 그 제어방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377972B1 (en) * 1999-01-19 2002-04-23 Lucent Technologies Inc. High quality streaming multimedia
US6747999B1 (en) * 1999-11-15 2004-06-08 Siemens Information And Communication Networks, Inc. Jitter buffer adjustment algorithm
DE60032458T2 (de) * 2000-04-14 2007-04-12 Alcatel Selbstanpassender Zitterspufferspeicher
WO2002047384A1 (en) * 2000-12-05 2002-06-13 Starguide Digital Networks, Inc. Method and apparatus for ip multicast content distribution system having national and regional demographically targeted advertisement insertion
US7095729B2 (en) * 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
US20020085536A1 (en) * 2000-12-29 2002-07-04 Rudrapatna Ashok N. System and method for implementing a wireless isochronous data service
US7130316B2 (en) * 2001-04-11 2006-10-31 Ati Technologies, Inc. System for frame based audio synchronization and method thereof
US20020194609A1 (en) * 2001-06-18 2002-12-19 Tran Thanh T. Video client with dynamically allocable video buffer for efficiently streaming video
ES2223986T3 (es) * 2002-03-28 2005-03-01 Siemens Schweiz Ag Procedimiento para el ajuste de una memoria intermedia inestable en una central de acceso internacional de medios.
AU2003294162A1 (en) * 2003-01-31 2004-08-23 Koninklijke Philips Electronics N.V. Inter-application control to improve the performance of playback of stored interactive-tv applications
EP1593046A2 (en) * 2003-02-13 2005-11-09 Nokia Corporation Rate adaptation method and device in multimedia streaming
US7088741B2 (en) * 2003-05-01 2006-08-08 Genesis Microchip Inc. Using an auxilary channel for video monitor training
KR100782835B1 (ko) * 2005-01-29 2007-12-06 삼성전자주식회사 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
US7616664B2 (en) * 2005-02-18 2009-11-10 Hewlett-Packard Development Company, L.P. System and method of sending video and audio data over a network
FR2888441A1 (fr) * 2005-07-11 2007-01-12 Thomson Licensing Sas Soc Par Appareil et procede d'estimation du taux de remplissage des tampons d'entree de clients d'une distribution de contenu temps reel.
CN100442858C (zh) * 2005-10-11 2008-12-10 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
EP1879347B1 (en) * 2006-07-14 2012-05-30 Sony Europe Limited System and method of audio/video streaming

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104137563A (zh) * 2012-02-28 2014-11-05 高通股份有限公司 在无线显示***中的宿设备处的基于应用认知的定制缓存

Also Published As

Publication number Publication date
FR2922401B1 (fr) 2010-04-16
CO6382187A2 (es) 2012-02-15
US20100299448A1 (en) 2010-11-25
WO2009053595A1 (fr) 2009-04-30
BRPI0817882A2 (pt) 2019-09-24
FR2922401A1 (fr) 2009-04-17
EP2218256A1 (fr) 2010-08-18

Similar Documents

Publication Publication Date Title
US8996719B2 (en) System and method of adaptive transport of multimedia data
US10623785B2 (en) Streaming manifest quality control
CN101690078B (zh) 多视频流传输中的带宽分配控制
US7274661B2 (en) Flow control method for quality streaming of audio/video/media over packet networks
JP4690280B2 (ja) メディアデータをストリーミングする方法、システム及びクライアント装置
CN101305612B (zh) 用于对等订户小区的多源和弹性按需点播视频流媒体***
CN100420250C (zh) 通信设备操作方法、数据呈现方法和设备
US7652993B2 (en) Multi-stream pro-active rate adaptation for robust video transmission
CN102318311B (zh) 多视频流传输中的带宽分配控制方法
US7652994B2 (en) Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
US7881335B2 (en) Client-side bandwidth allocation for continuous and discrete media
EP2759111B1 (en) Statistical multiplexing of streaming media
KR102079155B1 (ko) 적응형 스트리밍 클라이언트의 동작을 원격으로 관리하는 방법
KR20010020498A (ko) 네트웍을 통한 적합한 비디오/오디오의 전송을 위한 시스템
US20100257572A1 (en) Apparatus and method for simulcast over a variable bandwidth channel
CN101822048A (zh) 用于流式接收音频和/或视频数据分组的设备
WO2009103351A1 (en) Method and apparatus for obtaining media over a communications network
CN101090369B (zh) 一种在流媒体***中控制数据包发送速率的方法
Yahia et al. When HTTP/2 rescues DASH: Video frame multiplexing
CN102740131A (zh) 基于实时传输协议的网络电视直播方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100901