CN1914878B - 分类的媒体体验质量 - Google Patents

分类的媒体体验质量 Download PDF

Info

Publication number
CN1914878B
CN1914878B CN2004800416134A CN200480041613A CN1914878B CN 1914878 B CN1914878 B CN 1914878B CN 2004800416134 A CN2004800416134 A CN 2004800416134A CN 200480041613 A CN200480041613 A CN 200480041613A CN 1914878 B CN1914878 B CN 1914878B
Authority
CN
China
Prior art keywords
quality metric
frame
quality
stream
continuous media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN2004800416134A
Other languages
English (en)
Other versions
CN1914878A (zh
Inventor
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiwan Semiconductor Manufacturing Co TSMC Ltd
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1914878A publication Critical patent/CN1914878A/zh
Application granted granted Critical
Publication of CN1914878B publication Critical patent/CN1914878B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种用于报告流处理质量的方法，其中至少一个连续媒体流流传输到客户机(601)，以及其中所述流处理通过在所述客户机(601)与服务器(600)之间操作的协议(109)来控制，包括选择至少一个质量度量以及从至少两个质量度量类别的预定义集之中选择质量度量类别，而且以所述至少一个所选质量度量和所述所选质量度量类别为基础向所述服务器(600)报告所述流处理的质量。所述协议(109)优选地是在3GPP分组交换流处理服务PSS环境下与会话描述协议SDP相组合的实时流处理协议RTSP。本发明还涉及一种计算机程序、计算机程序产品、***、客户机、服务器和协议。

Description

分类的媒体体验质量
技术领域
本发明涉及用于在流处理***中报告流处理质量的方法、计算机程序、计算机程序产品、***、客户机、服务器和协议，其中至少一个连续媒体流流传输到客户机，以及其中所述流处理通过在所述客户机与服务器之间操作的协议来控制。
背景技术
流处理是指在客户机中安设立的应用在比如音频流和视频流的同步媒体流通过数据网络递送到客户机的同时以连续的方式播放这些流的能力。
能够在流处理服务顶上构建的应用可以分类成按需信息递送和现场信息递送应用。第一类的例子是按需音乐和新闻应用。无线和电视节目的现场递送是第二类的例子。
固定因特网协议(IP)网络上的流处理现今已经是主要应用了。尽管因特网工程任务组(IETF)和万维网联盟(W3C)已经开发了在固定IP流处理服务中使用的协议集，但是仍然没有定义完整的标准化流处理框架。对于第三代(3G)移动通信***，根据由第三代伙伴项目(3GPP)开发的标准，3G分组交换流处理服务(PSS，3GPP TS 26.233)填补了例如下载应用的3G多媒体消息接发服务(MMS)与对话服务之间的隔阂。
PSS实现了移动流处理应用，其中终端的复杂性低于对话服务要求的复杂性，这是因为不要求媒体输入设备和编码器，以及因为能够使用较少的复杂协议。PSS包括流处理控制协议、传送协议、媒体编码解码器和场景描述协议的基本集。
图1示意性地描绘了对可流传输内容和不可流传输内容在内容或媒体服务器与客户机之间的传输进行控制的PSS协议栈1。
比如视频、音频和语音的可流传输内容101首先转换成适配层中实时传送协议(RTP)102的有效载荷格式103。如IETF所定义的所述RTP提供了通过使用底层用户数据报协议(UDP)104的服务来发送实时或流处理数据的手段，该协议104又使用底层因特网协议(IP)105的服务。
例如静止图像、位图和矢量图形、文本、定时文本和合成音频的不可流传输内容106由超文本传输协议(HTTP)107传输，该协议107使用底层传送控制协议(TCP)108和更底层IP 105的服务。
尽管对于不可流传输内容106而言，HTTP 107的内置会话设立和控制能力足以传输该内容，但是在可流传输内容101的情况下须调用高级会话设立和控制协议，例如用以开始、停止和暂停经由RTP/UDP/IP从内容服务器传输到客户机的流处理视频。此任务通过实时流处理协议(RTSP)109来执行，该协议109可以使用底层TCP 108或底层UDP 104。RTSP要求表示描述110至少设立流处理会话。这样的表示描述110例如可以以会话描述协议(SDP)文件的形式可用。所述SDP文件包含对会话的描述，例如会话名称和作者、要表示的媒体类型、要接收所述媒体的信息(比如实例地址、端口、格式等)以及媒体的比特速率。
如果要在客户机侧例如在移动终端查看流处理内容，则所述终端的用户首先具有与他的终端相配的具体内容的通用资源标识符(URI)。此URI可以来自于WWW服务器、无线应用协议(WAP)服务器，或者可以已经经由终端的小键盘人工地录入。该URI指定了流处理或RTSP服务器以及内容在这一或另一内容服务器上的地址。对应的SDP文件现在可以以许多方式来获得。它可以在用户例如经由嵌入标记符下载的HTML页面内部的链接中来提供，或者也可以直接通过将它作为URI键入来获得。SDP文件即表示描述110例如经由如图1的协议栈的中间列中指示的HTTP 107来传输。替选地，它也可以通过如图1中协议栈的右列所指示的RTSP 109信令来获得，例如通过使用RTSP 109的DESCRIBE方法。请注意该表示描述可以完全等同地由所述RTP 102来递送。然而，为了表示的简单，在图1中没有包括这一可能性。
后续的会话建立是如下过程，在该过程中浏览器或移动终端的用户调用流处理客户机以设立针对内容服务器的会话。终端希望具有能够在会话建立信令的开始时实现基于IP包递送的现用无线承运商。
流处理服务的后续设立是通过为客户机所选的每个媒体流发送RTSP SETUP消息来完成的。这就将UDP 104和/或TCP 108端口返回到为相应的媒体流所用。客户机将RTSP PLAY消息发送到内容服务器，然后内容服务器开始通过IP网络发送一个或多个流。
为了向PSS***中的服务提供商赋予对该端用户流处理经历进行评价的手段，在PSS***中已经引入流处理服务质量度量，如3GPP技术文献(Tdoc)S4-030806中呈现的：“Draft Rel-6 PSS Quality MetricsPermanent Document v.0.10”，这是指2003年11月24-28日在芬兰坦佩雷的3GPP TSG-SA4会议第29号。流处理客户机测量与实际流处理应用的质量有关的信息而且将该信息反馈到流处理服务器，其中所述质量是在所述质量度量方面加以定义。所述流处理服务器例如可以是RTSP服务器，而所述质量度量例如可以通过使用所述RTSP和SDP来传送。
由于该服务对于RAN和CN类型是透明的，所以只有流处理客户机和流处理服务器受到PSS质量度量影响。这样的一个结果是测量可能不依赖于来自RTP层以下的协议层(例如UDP、IP、PDCP、RLC)的信息。
具有质量反馈的PSS***中的终端负责根据测量定义来执行质量测量，将它们聚集成流处理客户机质量度量，而且将该度量报告给流处理服务器。这一要求没有排除流处理客户机报告原始的质量测量以由流处理服务器处理成质量度量的可能。
流处理服务器负责以信号激活流处理客户机的质量度量报告而且收集流处理客户机的质量度量。流处理服务器可以对接收的流处理客户机的质量度量进行处理以构建聚集的质量度量。例如它能够接收原始的丢失包报告，而且针对特定流处理客户机构建Min、Max和Std包丢失率。
质量度量定义的目标在于获得跨内容类型、终端和无线接入网(RAN)类型的一致测量。
约束在于最小化要发送到流处理服务器的质量度量报告的大小以及对于终端的复杂性。
质量度量能够划分成3个不同类型：
第一组度量是由基于终端的(在解码器之内测量的或者在解码器输入处预测的)媒体质量测量来计算的，例如损坏持续时间，它定义为从第一损坏媒体(音频/语音/视频)解码的帧开始到第一后续解码有效帧开始或者到报告时段结束的时间(无论哪个较早的)，不包括缓冲冻结/间隙和暂停冻结/间隙。
第二组度量是由终端基于一般的PSS协议以及实现流处理应用的播放器的操作来计算的。例如会话异常终止。
第三组质量度量是基于终端测量的网络特性来计算的。例如连续的包丢失的数目。
正如已经提到的，在PSS***中RTSP用于根据质量度量的质量报告反馈。图2a列举了用于在流处理客户机与流处理服务器之间协商质量度量的RTSP协议数据单元报头2a QoE-Metrics的定义，而图2b列举了用于将质量度量从流处理客户机实际反馈到服务器的RTSP协议数据单元报头2b QoE-Feedback的定义，其中QoE代表“体验质量”。
能够以两种方式使用图2a的协商报头2a：
1.如果仅使用Off参数，则这是流处理服务器或流处理客户机想要取消质量度量监视和报告的指示。
2.如果报头2a包含其它参数，则要求开始(或者在中间会话监视的情况下是重新开始)质量度量递送。
如果协商报头2a与RTSP会话控制url信息一起使用，则在会话级使用QoE-Metrics。如果url是RTSP媒体控制url，则在媒体级使用QoE-Metrics而且每个媒体获得它自身的QoE-Metrics行。
要求设置发送速率。如果Sending-rate值是0，则流处理客户机能够依赖于在流处理客户机中出现的事件在任何时间发送反馈消息。值≥1指示了精确的消息-发送间隔。最短间隔是每秒一次，而最长间隔未定义。反馈发送间隔能够因不同媒体而不同，但是推荐保持一类同步以避免上行链路方向上的额外业务。值End指示了在会话结束时发送仅一个消息。Range字段能够用来定义反馈发送的时间限制。以此方式有可能在协商阶段期间判决监视时间范围。
实际的质量度量反馈能够借助图2b的反馈报头2b通过使用RTSP的SET_PARAMETER方法传达到PSS服务器。
在图2b的反馈报头2b中，Stream-url是用于反馈参数的RTSP会话或媒体控制URL标识符。参数定义中的Metrics字段包含度量/测量的名称(例如损坏持续时间等)，而且它与协商QoE报头2a(QoE-Metrics)中的Metrics字段相同。推荐保持度量顺序相同以简化解析。Value字段指示了结果。有可能相同的事件在监视时段期间出现多次。在该情况下度量值能够出现多次，这向服务器指示了事件的数目。可选的Timestamp指示了自从会话开始起当事件(或测量)出现时或者当计算度量时的时间。也能够不报告事件(使用SP-空间)。可选的Range指示了报告时段。
质量度量报告通常由PSS客户机使用RTSP的SET_PARAMETER方法来完成。然而在特定情况下，使用其它方法来携带例如TEARDWON消息或PAUSE消息的信息是更有效率的。
回到作为由基于终端的媒体质量测量而计算的第一组质量度量之代表的损坏持续时间的上述质量度量定义，容易看出：在这一质量度量定义与“损坏”和“报告时段”的进一步定义无关的情况下，这一质量度量定义特别地依赖于“有效帧”的定义。
有效帧是未损坏的(即不含任何冻结/间隙或质量降级的)媒体(音频/语音/视频)解码帧。为了推断视频或音频有效，在Tdoc S4-030860中介绍了如下定义：“有效帧是在最后的丢失之后的N帧中的较早帧或者完整的I-帧之中的较早帧，其中N是(a)以信号发送的或者(b)默认为∞(对于视频)或1(对于音频)”。
这一定义的应用不是强制性的，这造成了对有效帧定义的宽范围解释。因此不同的流处理客户机可以报告不同的流处理质量，因为针对相同的质量度量(例如损坏持续时间)，对于“有效帧”应用了不同的定义。当不同的终端使用不同的错误跟踪算法时出现了类似的多义性，使得即使使用相同的“有效帧”定义时，在相同质量度量方面所报告的流处理质量仍然在终端上有所不同。这些多义性造成所报告的质量度量不精确以及在有效性上毫无价值。
发明内容
鉴于上述问题，本发明的目的尤其是提供一种允许改进的特别是更有意义的流质量报告的方法、计算机程序、计算机呈现产品、***、客户机、服务器和协议。
提出一种用于报告流处理质量的方法，其中至少一个连续媒体流流传输到客户机，以及其中所述流通过在所述客户机与服务器之间操作的协议来控制，包括：选择至少一个质量度量以及从至少两个质量度量类别的预定义集之中选择质量度量类别；以及以所述至少一个所选质量度量和所述所选质量度量类别为基础向所述服务器报告所述流处理的质量。
所述至少一个连续媒体流例如可包含从例如内容服务器的服务器连续地递送到所述客户机的而且以同步的方式表现在其中设立有所述客户机的终端上的视频、音频或语音信息。该流可以在流处理会话中发生，其中数个媒体流可以同时地流传输到所述客户机。所述流处理是通过例如作为RTSP的流处理协议的所述协议来控制的，而且例如可以允许开始、停止和/或暂停流处理。所述RTSP是通过在所述客户机中和在所述服务器中的协议实体来操作的，而且可以基于SDP。所述服务器可以与所述连续媒体实际上所起源于的内容服务器协同定位或者甚至是与之相同，或者可以是不同的实例。根据所述至少一个质量度量，例如损坏持续时间或重新缓冲事件，在客户机处对所述流处理的质量进行确定。所述质量度量类别至少部分地定义须如何确定所述至少一个质量度量。例如，如果所述至少一个质量度量依赖于对于所述连续媒体流的帧是否为有效帧的判决，则所述质量度量类别可以定义须如何达成这一判决。预定义了所述至少两个质量度量类别的集合。在所述选择步骤中，至少所述客户机或所述服务器例如从预定义的质量度量集之中选择至少一个质量度量，而且至少所述客户机或所述服务器从所述至少两个定义的质量度量类别的预定义集之中选择质量度量类别。所述预定义集例如可以定义于RTSP和/或SDP之内。所述选择步骤还可以包括在所述客户机与服务器之间与所述质量度量和质量度量类别中至少一个有关的协商。所述协商可以通过例如RTSP和SDP的所述协议在所述客户机与服务器之间完成。以所述至少一个所选质量度量和所述所选质量度量类别为基础，所述客户机然后将所述流处理的所述质量报告给所述服务器。
因此，根据本发明的第一方面，结合附加质量度量类别就限制了对质量度量定义的解释，因此有助于使得质量报告更有意义和简洁。根据本发明的第二方面，结合所述附加质量度量类别在质量度量的定义中添加了附加的自由度。例如，如果将损坏持续时间选择为质量度量，该损坏持续时间尤其地依赖于对于所述连续媒体流的帧是有效帧还是损坏帧的判决，则这一质量度量能够通过对质量度量类别的选择来进一步专门化，这例如可以提供对有效帧的多样化定义。因此，在不放松质量度量本身的简洁性情况下，由于固定地规定了根据质量度量类别的每个有效帧的定义，所以扩展了质量度量的应用范围。
根据本发明的方法，可以优选的是，所述选择所述质量度量类别的步骤包括在所述客户机与所述服务器之间协商所述质量度量类别的步骤。所述协商可以以例如与SDP相组合的RSTP的也对所述流进行控制的所述协议为基础，而且还可以包括所述至少一个质量度量的协商。
根据本发明的方法，可以优选的是，所述协议在它的协议数据单元中的至少一个协议数据单元之内定义质量度量类别字段，其中所述质量度量类别字段能标识所述至少两个质量度量类别的预定义集中的每个质量度量类别。每个质量度量类别例如可以分配有唯一编号，而且所述质量度量类别字段然后包含已被选择的质量度量类别的编号。类似地，所述协议数据单元还可以包含用于对所述至少一个所选质量度量进行标识的字段以及用于携带已经根据所述至少一个质量度量和所述质量度量类别而确定的反馈值的字段。所述协议数据单元可以是用于协商的协议数据单元或者是用于反馈的协议数据单元。在协商期间以信号发送所述所选质量度量可能是充分的，使得可以不要求在反馈协议数据单元中的字段。所述字段可以是在所述协议数据单元中的可选字段或强制字段。
根据本发明的方法，可以优选的是，所述质量度量类别字段位于所述至少一个协议数据单元的报头部分中。可选地，它也可以包括于所述至少一个协议数据单元的有效载荷部分中。
根据本发明的方法，可以优选的是，所述至少一个所选质量度量是至少部分地以对于所述至少一个连续媒体流中的至少一帧是否为有效帧的判决为基础的体验质量(QoE)度量。所述质量度量例如可以是损坏持续时间，其中所述损坏持续时间可以定义为在损坏帧与下一有效帧之间的时间。
根据本发明的方法，可以优选的是，所述至少两个质量度量类别的预定义集中的每个质量度量类别关于如何判决所述连续媒体流中的帧是否为有效帧定义了不同的规则集。所述质量度量类别例如可以以错误跟踪算法或者解码质量评价算法为基础。
根据本发明的方法，可以优选的是，由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：判决以下帧中的较早帧为有效帧：所述至少一个连续媒体流的完整接收的I-帧，或者在最后的错误或丢失之后所述至少一个连续媒体流的第N个完整接收的帧，其中整数N是以信号发送的或者在视频帧的情况下默认为∞而在音频帧的情况下默认为1；以及如果完整地接收跟随有效帧之后的所述至少一个连续媒体流中的帧，则判决所述帧为有效帧，否则判决所述帧和在下一有效帧之前的所有后续帧为损坏的。所述I-帧例如可以是在编码视频流之内的帧，其中所述帧包含完整像素信息。在H.264或MPEG-4高级视频编码(AVC)编码解码器的情况下，所述I-帧代表IDR-帧。如果所述客户机能够由额外的信息，例如由用于AVC视频的AVC恢复点补充增强信息(SEI)消息而获得的信息，导出N的实际要求值，则该值可以不考虑以信号发送的或默认的N值。如果正确地接收对所述帧进行编码的所有比特而且没有出现比特错误，则所述帧可以理解为完整地接收。
根据本发明的方法，可以优选的是，由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：基于错误跟踪算法将所述至少一个连续媒体流中的编码帧判决为有效帧。
根据本发明的方法，可以优选的是，由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：如果在所述客户机处完整地接收了所述至少一个连续媒体流的内部编码的帧，则判决它为有效帧，否则判决其为损坏帧，或者如果在所述客户机处完整地接收了所述至少一个连续媒体流中的预测性编码帧而且如果所有它的预测参考采样属于有效帧，则判决它为有效帧，否则判决其为损坏帧。所述内部编码的帧对于视频而言可以理解为没有时间运动补偿预测但是可能在该帧之内去除空间冗余的帧，而所述预测性编码的帧对于视频而言可以理解为具有时间运动补偿预测的帧，该时间运动补偿预测用以通过利用视频帧中的强相关性来减少时间冗余。所述预测参考采样例如在视频情况下可以是预测参考像素。
根据本发明的方法，可以优选的是，由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：根据解码质量评价算法将所述至少一个连续媒体中的编码帧判决为有效帧。
根据本发明的方法，可以优选的是，由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：如果在所述客户机处完整地接收了所述至少一个连续媒体流中的内部编码的帧，则判决它为有效帧，否则判决其为损坏帧；或者如果在所述客户机处完整地接收了所述至少一个连续媒体流中的预测性编码帧而且所有它的预测参考采样属于有效帧，或者如果完整地接收了所述帧的至少一部分，所述帧的所述完整接收部分的所有预测参考采样(例如用于视频的参考像素)属于有效帧，而且认为所述帧的所有隐藏部分有效，则判决它为有效帧，其中通过将错误隐藏算法应用到所述帧的解码版本的丢失或出错部分来获得所述帧的隐藏部分，以及其中如果所述帧的所述隐藏部分与周围完整接收和解码的部分之间的平均边界差在阈值以下，则认为所述隐藏部分有效。所述隐藏例如可以包括以所述像素的空间和/或时间近邻为基础对丢失或出错像素的重建估计。所述平均边界差可以量化在隐藏部分的边缘处的像素之间的亮度差之和。所述阈值例如可以等于3。
根据本发明的方法，可以优选的是，所述协议是在第三代移动通信***的分组交换流处理服务PSS环境下与会话描述协议SDP相组合的实时流处理协议RTSP。所述SDP例如可以提供RTSP所要求的描述以便控制所述流。
根据本发明的方法，可以优选的是，所述SDP包括对至少一个质量度量类别字段进行定义的至少一个SDP属性，其中所述质量度量类别字段能标识所述至少两个质量度量类别的预定义集中的每个质量度量类别。每个质量度量类别例如可以分配有唯一编号，而且所述质量度量类别字段然后包含已被选择的质量度量类别的编号。类似地，所述SDP属性还可以包含用于对所述至少一个所选质量度量进行标识的字段。
根据本发明的方法，可以优选的是，所述RTSP用来至少部分地以所述SDP属性为基础在所述客户机与所述服务器之间协商质量度量类别。SDP例如可以用来启动对质量度量和质量度量类别的协商。然后有利的是将所述字段添加到用于协商启动的SDP属性。
根据本发明的方法，可以优选的是，所述RTSP将DESCRIBE方法用于所述协商。例如可以通过使用与所述SDP属性相组合的所述RTSP DESCRIBE方法来启动所述协商。
还提出一种计算机程序，该计算机程序具有可操作用以使处理器执行上述方法步骤的指令。所述计算机程序例如可以在集成于所述客户机或所述服务器中的处理器上运行。
还提出一种包括计算机程序的计算机程序产品，该计算机程序具有可操作用以使处理器执行上述方法步骤的指令。
还提出一种包括至少一个客户机和至少一个服务器的流处理***，其中至少一个连续媒体流流传输到所述至少一个客户机，以及其中所述流处理通过在所述至少一个客户机与所述至少一个服务器之间操作的协议来控制，其中选择至少一个质量度量以及从至少两个质量度量类别的预定义集之中选择质量度量类别，以及其中将以所述至少一个所选质量度量和所述所选质量度量类别为基础的所述流处理的质量报告给所述至少一个服务器。
还提出一种在流处理***中的客户机，包括：用于操作对至少一个连续媒体流到所述客户机的流处理进行控制的协议的装置；用于选择至少一个质量度量以及从至少两个质量度量类别的预定义集之中选择质量度量类别的装置；以及用于以所述至少一个所选质量度量和所述所选质量度量类别为基础将所述流处理的质量报告给服务器的装置。
还提出一种在流处理***中的服务器，包括：用于操作对至少一个连续媒体流到客户机的流处理进行控制的协议的装置；用于选择至少一个质量度量以及从至少两个质量度量类别的预定义集之中选择质量度量类别的装置；以及用于从所述客户机接收报告的所述流处理的质量装置，其中以所述至少一个所选质量度量和所述所选质量度量类别为基础来报告所述质量。
还提出一种用于流处理***的协议，包括：用于对至少一个连续媒体流到客户机的流传输进行控制的规则；对至少一个质量度量以及对至少两个质量度量类别的集合的定义；用于选择至少一个质量度量以及从所述至少两个质量度量类别的集合之中选择质量度量类别的规则；以及用于以所述至少一个所选质量度量和所述所选质量度量类别为基础将所述流处理的质量报告给服务器的规则。所述协议例如可以是在3G PSS***环境下与SDP相组合的RTSP。
参考下文描述的实施例，将使得本发明的这些和其它方面变得明显而且得以阐明。
附图说明
在附图中：
图1：根据现有技术的分组交换流处理服务(PSS)协议栈的示意性表示，
图2a：根据现有技术的实时流处理协议(RTSP)协商报头的定义，
图2b：根据现有技术的RTSP反馈报头的定义，
图3：根据本发明的经修改的RTSP协商报头的定义，
图4：根据本发明用于错误隐藏算法的示例性宏块(MB)状态图，
图5：根据本发明用于平均边界差计算的方法的图示，
图6：本发明方法的流程图，以及
图7：根据本发明的***的示意性表示。
具体实施方式
对于本发明，图1的协议栈以及如图2b中定义的反馈RTSP报头仍然适用。然而，定义了如图3中列举的经修改的协商RTSP报头3。
图3的经修改的协商RTSP报头提供了可以具有值“0”、“1”或“2”的附加RTSP字段Metrics-class。
因此在流处理客户机与流处理服务器之间的协商期间，不仅通过利用图3的经修改的协商RTSP报头3的Metrics-RTSP字段来对要在流处理客户机的后续质量反馈中使用的质量度量达成共识，而且通过利用Metrics-class RTSP字段来对质量度量种类进行协商。
如果使用SDP启动QoE度量协商，则也可以将Metrics-class字段添加到用于QoE协商启动的SDP属性。
本发明提出用以判断流传输到流处理客户机的连续媒体流的帧是否为有效帧(或者认为它们是损坏帧)的不同方法。每个所述相应方法通过Metrics-class RTSP字段所能分配到的值“0”、“1”和“2”中的一个值来唯一地标识。假设质量度量至少部分地基于帧是有效帧还是损坏帧的判决，例如如果质量度量是损坏持续时间，则遵循于根据所选质量度量种类的判断方法的质量度量的总信息内容要简洁和重要得多。另外，实现了质量度量的专门化，因为至少部分地基于有效帧判决的每个质量度量现在划分成三个质量度量，每个质量度量具有不同的有效帧判断方法。
在本说明书的下文中将讨论如本发明所提出的三种判断方法。
第一种判断方法
第一种方法类似于Tdoc S4-030860中公布的方法，同时有一些增加的修改。该方法描述如下：
有效帧是以下帧之中较早的帧1)完整接收的I-帧(对于H.264或MPEG-4高级视频编码(AVC)视频是IDR-帧)或者2)在最后的错误或丢失之后第N个完整接收的帧，其中N是以信号发送的或者默认为∞(对于视频)或1(对于音频)。如果客户机能够从额外的信息，例如从用于AVC视频的AVC恢复点补充增强信息(SEI)消息中获得的信息，导出N的实际要求值，则该值就不考虑上面指定的值。“完整接收”意味着接收所有比特而且不出现比特错误。
如果完整接收跟随有效帧之后的帧，则它是有效帧。否则从有问题的帧(包含该帧)到下一有效帧(不含该帧)的所有后续帧都是损坏帧。
第二种判断方法
第二种方法的特征在于应用错误跟踪算法。第二种方法的一个可能实施例描述如下：
对于内部编码的帧，如果完整接收它，则它是有效帧。否则它是损坏帧。
对于预测性编码的帧，如果完整接收它而且所有它的预测参考采样都属于有效帧，则它是有效帧。否则它是损坏帧。
第三种判断方法
第三种方法的特征在于应用某一解码质量评价算法。第三种判断方法的可能实施例将在下文中进行描述。
第三种方法的实例至少部分地基于预测性编码帧的丢失或出错部分的隐藏。因此所应用的预测性编码帧错误隐藏策略应***在第三种方法的实例表示之前。
假设帧的出错或不完整部分未经解码而是在解码之前就丢弃，因此不执行完整性检查或比特错误检测。首先对画面的所有正确接收部分进行解码，然后隐藏丢失部分。在实践中，在帧的基于宏块(MB)的状态图中保持记录。只要MB所在的部分可用于解码，状态图中MB的状态就是“正确接收”，否则就是“丢失”。在对帧进行解码之后，如果状态图包含“丢失”的MB，则启动隐藏。
给定了帧的正确接收部分和丢失部分的结构以及帧的基于MB的状态图，所应用的隐藏算法就是基于MB的。由状态图中标记为“丢失”的MB所覆盖的遗漏帧区域(像素)是逐个MB地(16×16个Y像素，8×8个U、V像素)加以隐藏的，其中Y指代亮度像素，而U和V指代色度像素。在已经隐藏MB之后，在状态图中将其标记为“隐藏”。只要没有“丢失”MB的“正确接收”紧接近邻存在，“正确接收”的MB和“隐藏”的MB二者在隐藏过程中就视为可靠的近邻。在这样的情况下，未成功隐藏的MB可能造成这一隐藏错误传播到数个近邻的隐藏MB。因此，“丢失”MB的隐藏顺序至关重要。该处理从帧边界处的MB列开始，然后逐列向内移动。这一处理顺序有助于防止在帧的通常“困难”的(不连续的运动区域，大的编码预测错误)中央部分中所犯的典型隐藏错误传播到帧的“容易”的(连续的运动区域，数帧上的相似运动)部分。
图4示出了状态图在隐藏阶段期间的快照，其中已经隐藏的MB402具有“隐藏”状态、正确接收的MB403具有“接收”状态，丢失的MB400具有“丢失”状态，而当前处理(正在隐藏)的MB401标记为“当前MB”。图4还指示了只能包括隐藏MB402或丢失MB400的丢失部分404。
如果至少两个“正确接收”的近邻MB 403是可用的，则仅将这样的MB用于隐藏。否则在平均运算中也使用近邻的“隐藏”MB 402。
取代了在像素域中直接运算，更为高效的方式用来由空间或时间近邻的可用运动信息通过一些预测方案对遗漏像素区域(MB)400中的运动进行“猜测”。然后将这一“猜测的”运动矢量(MV)用于通过使用参考帧而进行的运动补偿。
复制的像素值给出了用于隐藏的最终重建像素值，而且不使用附加的像素域运算。
首先研究当前画面的正确接收部分(正确接收的MB403组)的运动活动。如果平均MV小于预定义的阈值(当前对于每个MV分量是1/4像素)，则通过从参考帧中的空间上对应的位置进行复制来隐藏所有丢失部分404。否则使用运动补偿错误隐藏，而且如以下段落中描述地对丢失MB400的MV进行预测。
依赖于统计观察，由空间近邻MB的运动来预测“丢失”MB400的运动，空间近邻帧区域的这一运动是高度隐藏的。例如，在移动前景场景物体所覆盖的帧区域中，MV字段是连续的，这意味着它易于预测。
由近邻MB(或8×8个块)之一来预测“丢失”MB400的MV。此方式假设了近邻MB(或块)之一的MV对当前MB中的运动很好地进行建模。在先前的实验中发现，在所有近邻的MV上的中间值或平均没有给出更好的结果。为求简单，在当前实施中，单独作为预测来考虑的最小近邻块大小设立为8×8个Y像素。将任何8×8个块的运动计算为空间上对应的4×4个或其它形状(例如4×8个)的块的运动平均。
对于使用哪个近邻的MV作为用于当前MB 500的预测的判决是基于隐藏(重建)的平稳度来做出的，而且将参照图5进行说明。在这一试验过程期间，使用每个候选(运动补偿的像素值)的MV 501a-d来计算MB 500的隐藏像素值。对于当块500在帧中***到它的位置中时在块边界502a-d上造成最小亮度变化的MV 501a-d进行选择。总是考虑零MV情况，而且与其它MV候选相似地评价这一复制隐藏(从参考帧中的空间上对应的MB复制像素值)。
胜出的预测MV是使侧边匹配失真dsm最小的MV，该dsm是当前块500的边界502-d处的内块503和邻近外块504像素的绝对Y像素值差之和，如式子(1)中所示：
min arg dir ∈ { top , bot , left , right } ⟨ d sm = 1 N Σ j = 1 N | Y ^ j JN ( mv dir ) - Y j OUT | ⟩ - - - ( 1 )
其中是使用mvdir来预测MV时内块503中第j个隐藏的Y值，而Yj OUT是外块504中第j个重建的Y值，并且N是计算的边界像素的总数。
当“正确接收”的近邻MB403存在时，仅针对它们计算侧边匹配失真。否则在计算中包括“隐藏”的近邻MB 402。
第三种方法的可能实施例现在能够描述如下：
对于内部编码的帧，如果完整地接收它，则它是有效帧。否则它是损坏帧。
对于预测性编码的帧：
a)如果完全/正确地接收它而且所有它的预测参考采样属于有效帧，则它是有效帧；
b)如果完全/正确地接收帧的至少一部分，而且完整/正确接收的部分的预测参考采样属于有效帧，则使用步骤c对该帧进行判断。否则该帧损坏。
c)对该帧进行解码，而且使用上面描述的错误隐藏算法来隐藏丢失或出错部分。如果隐藏部分与周围完整/正确接收和解码的部分之间的平均边界差即式子(1)的侧边匹配失真小于阈值，则认为隐藏部分有效。如果所有隐藏部分有效，则该帧是有效帧。否则该帧损坏。
此方法中的阈值例如可以选择为等于3。
图6描绘了根据本发明用于报告流处理质量的方法的流程图。通过在流处理服务器600与流处理客户机601之间交换的请求和确认来代表方法步骤，其中所述请求和确认遵循于RTSP。另外，容易看出这些方法步骤能够分类成协商步骤602和反馈步骤603。
质量度量协商从流处理服务器600对流处理客户机601的DESCRIBE请求604的响应605开始。借助于会话描述协议(SDP)数据，将流处理服务器600所希望的用于未来质量报告的至少一个质量度量和质量度量类别嵌入到所述响应605中。如果流处理客户机601支持质量度量，则它将发送SETUP请求606，该请求包含用于正在设立的会话级或媒体级的所选/所修改的质量度量和质量度量类别。
为了流处理客户机601指示会话级和媒体级质量度量都得到支持，客户机可以发送与媒体级有关的所有所支持/所修改的质量度量。它也可以在SETUP请求的至少一个中发送所选的会话级质量度量。在上面的SETUP请求606中，与在服务器600的响应605中包含的初始SDP描述相比较，客户机仅修改用于控制URL的质量度量的发送速率。
接收到这一SETUP请求606，流处理服务器600返回200/OK响应607，该响应包含由流处理客户机601返回的经接受的质量度量和质量度量类别(以重新确认变化)。它也可以拒绝流处理客户机601做出的变化。如果流处理服务器600拒绝这些变化，则它能够设置新的值而且将修改的质量度量和质量度量类别重新发送回到流处理客户机601，或者它能够简单地忽略质量度量和质量度量类别而且不重新确认它们。
如果流处理服务器600不批准流处理客户机601进行的修改，则它们能够继续重新协商，直至RTSP PLAY请求608和流处理服务器600的RTSP PLAY响应609返回包括所有会话和媒体级度量值的最终协商的质量度量和质量度量类别为止。
然后例如基于如图2b中定义的RTSP反馈报头2b，在至少一个步骤610中执行根据协商的质量度量和质量度量类别的实际反馈。
应当注意每当在RTSP请求中发送QoE-Metrics报头字段时，它也将出现在对应于该特定请求的响应中。否则响应的接收者假定另一端并不支持质量度量。这也可以同样适用于QoE-Metrics-Class报头字段。
图7示意性地描绘了根据本发明的***的功能部件。PSS***包括流处理客户机601和流处理服务器600，其中客户机601和服务器600二者具有能操作RTSP的至少一个RTSP实体701、700。RTSP实体700、701使用由更多协议实体操作的底层协议层的服务，其中仅示出了TCP/UDP实体702、703和IP实体704、705。流处理客户机601还连接到流处理质量监视器实例707，该监视器实例在协商的质量度量和质量度量类别方面监视实际流处理应用的质量而且将监视的质量值输入到所述RTSP实体701中。所述流处理质量监视器例如可以由其中设立有所述流处理客户机的终端来提供。所述监视的质量值经由RTSP传输到流处理服务器600中的RTSP对等实体，它们在这里输入到质量数据处理实例706中用于评价和分析，如果发现重新缓冲事件变得太频，则该处理实例例如可以针对于通过增强流处理应用的数据速率来改进流处理应用的质量。
上面已经借助优选实施例对本发明进行了描述。应当注意，有对于本领域技术人员来说明显的替选方式和变形，而且能够在不脱离所附权利要求书的范围和精神情况下加以实施。特别地，质量度量类别可以用来使得对至少部分地基于有效帧决策的任何质量度量的定义更为精确，而且同时允许所述质量度量的专门化。例如，质量度量类别可以提供对于要在损坏本身之下来理解的内容的不同定义，或者可以针对不同程度的帧损坏提供定义，然后这些定义与至少部分地依赖于损坏定义的质量度量相组合地允许对流处理质量的简洁得多的报告。本发明的范围决不限制于第三代移动通信***中的应用。也可以想象到在不同的无线而且甚至是有线流处理***中的应用。

Claims (17)

1.一种用于报告流处理质量的方法，包括：
-以至少一个所选质量度量为基础报告去往客户机的至少一个连续媒体流的流处理的质量，其中所述流处理由在所述客户机和服务器之间操作的协议来控制，其中所述至少一个所选质量度量是至少部分地以对于所述至少一个连续媒体流中的至少一帧是否为有效帧的判决为基础的体验质量度量，其中所述报告所述流处理的所述质量还以所选的质量度量类别为基础，其中所述所选的质量度量类别是从至少两个质量度量类别的预定义集中选出来的，其中所述至少两个质量度量类别的预定义集中的每个质量度量类别定义如何判决所述至少一个连续媒体流中的帧是否为有效帧的不同的规则集。
2.根据权利要求1所述的方法，还包括在所述客户机与所述服务器之间协商所述质量度量类别。
3.根据权利要求1所述的方法，其中所述协议在它的协议数据单元中的至少一个协议数据单元之内定义质量度量类别字段，其中所述质量度量类别字段能标识所述至少两个质量度量类别的预定义集中的每个质量度量类别。
4.根据权利要求3所述的方法，其中所述质量度量类别字段位于所述至少一个协议数据单元的报头部分中。
5.根据权利要求1所述的方法，其中由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：
-判决以下帧中的较早帧为有效帧：
-所述至少一个连续媒体流的完整接收的I-帧，或者
-在最后的帧错误或丢失之后第N个完整接收的所述至少一个连续媒体流的帧，
其中整数N是以信号发送的或者在视频帧的情况下默认为∞而在音频帧的情况下默认为1，以及
-如果完整地接收了跟随有效帧之后的所述至少一个连续媒体流中的帧，则判决所述帧为有效帧，否则判决所述帧和在下一有效帧之前的所有后续帧为损坏的。
6.根据权利要求1所述的方法，其中由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：
-根据错误跟踪算法将所述至少一个连续媒体流中的编码帧判决为有效帧。
7.根据权利要求6所述的方法，其中由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：
-如果在所述客户机处完整地接收了所述至少一个连续媒体流的内部编码的帧，则判决它为有效帧，否则判决其为损坏帧，或者
-如果在所述客户机处完整地接收了所述至少一个连续媒体流中的预测性编码帧而且如果所有它的预测参考采样属于有效帧，则判决它为有效帧，否则判决其为损坏帧。
8.根据权利要求1所述的方法，其中由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：
-根据解码质量评价算法将所述至少一个连续媒体流中的编码帧判决为有效帧。
9.根据权利要求8所述的方法，其中由所述质量度量类别中的至少一个质量度量类别定义的所述规则集包括：
-如果在所述客户机处完整地接收了所述至少一个连续媒体流中的内部编码的帧，则判决它为有效帧，否则判决其为损坏帧，或者
-如果在所述客户机处完整地接收了所述至少一个连续媒体流中的预测性编码帧而且所有它的预测参考采样属于有效帧，或者
如果完整地接收所述帧的至少一部分，所述帧的所述完整接收部分的所有预测参考采样属于有效帧，而且认为所述帧的所有隐藏部分有效，则判决它为有效帧，其中通过将错误隐藏算法应用到所述帧的解码版本的丢失或出错部分来获得所述帧的隐藏部分，以及其中如果所述帧的所述隐藏部分与周围完整接收和解码的部分之间的平均边界差在阈值以下，则认为所述隐藏部分有效。
10.根据权利要求1所述的方法，其中所述协议是在第三代移动通信***的分组交换流处理服务PSS环境下与会话描述协议SDP相组合的实时流处理协议RTSP。
11.根据权利要求10所述的方法，其中所述SDP包括对至少一个质量度量类别字段进行定义的至少一个SDP属性，其中所述质量度量类别字段能标识所述至少两个质量度量类别的预定义集中的每个质量度量类别。
12.根据权利要求11所述的方法，其中所述RTSP用来至少部分地以所述SDP属性为基础在所述客户机与所述服务器之间协商质量度量类别。
13.根据权利要求12所述的方法，其中所述RTSP将DESCRIBE方法用于所述协商。
14.一种用于接收报告的流处理质量的方法，包括：
在服务器处接收报告的去往客户机的至少一个连续媒体流的流处理质量，其中所述流处理由在所述客户机和所述服务器之间操作的协议来控制，并且其中以至少一个所选质量度量为基础报告所述质量，其中所述至少一个所选质量度量是至少部分地以对于所述至少一个连续媒体流中的至少一帧是否为有效帧的判决为基础的体验质量度量，其中还以所选的质量度量类别为基础报告所述流处理的所述质量，其中所述所选的质量度量类别是从至少两个质量度量类别的预定义集中选出来的，其中所述至少两个质量度量类别的预定义集中的每个质量度量类别定义如何判决所述至少一个连续媒体流中的帧是否为有效帧的不同的规则集。
15.一种流处理***，包括：
-至少一个客户机，以及
-至少一个服务器，
其中至少一个连续媒体流流传输到所述至少一个客户机，其中所述流处理由在所述至少一个客户机和所述至少一个服务器之间操作的协议来控制，以及其中将以至少一个所选质量度量为基础将所述流处理的质量报告给所述至少一个服务器，其中所述至少一个所选质量度量是至少部分地以对于所述至少一个连续媒体流中的至少一帧是否为有效帧的判决为基础的体验质量度量，其中还以所选的质量度量类别为基础报告所述流处理的所述质量，其中所述所选的质量度量类别是从至少两个质量度量类别的预定义集中选出来的，其中所述至少两个质量度量类别的预定义集中的每个质量度量类别定义如何判决所述至少一个连续媒体流中的帧是否为有效帧的不同的规则集。
16.一种在流处理***中的客户机，所述客户机包括：
-一种装置，用于操作对去往所述客户机的至少一个连续媒体流的流处理进行控制的协议，以及
-一种装置，用于以至少一个所选质量度量为基础报告所述流处理的质量，其中所述至少一个所选质量度量是至少部分地以对于所述至少一个连续媒体流中的至少一帧是否为有效帧的判决为基础的体验质量度量，其中所述报告所述流处理的所述质量还以所选的质量度量类别为基础，其中所述所选的质量度量类别是从至少两个质量度量类别的预定义集中选出来的，其中所述至少两个质量度量类别的预定义集中的每个质量度量类别定义如何判决所述至少一个连续媒体流中的帧是否为有效帧的不同的规则集。
17.一种在流处理***中的服务器，所述服务器包括：
-一种装置，用于操作对去往客户机的至少一个连续媒体流的流处理进行控制的协议，以及
-一种装置，用于接收报告的所述流处理的质量，其中以至少一个所选质量度量为基础来报告所述质量，其中所述至少一个所选质量度量是至少部分地以对于所述至少一个连续媒体流中的至少一帧是否为有效帧的判决为基础的体验质量度量，其中还以所选的质量度量类别为基础报告所述流处理的所述质量，其中所述所选的质量度量类别是从至少两个质量度量类别的预定义集中选出来的，其中所述至少两个质量度量类别的预定义集中的每个质量度量类别定义如何判决所述至少一个连续媒体流中的帧是否为有效帧的不同的规则集。
CN2004800416134A 2004-02-12 2004-02-12 分类的媒体体验质量 Expired - Lifetime CN1914878B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2004/000356 WO2005088929A1 (en) 2004-02-12 2004-02-12 Classified media quality of experience

Publications (2)

Publication Number Publication Date
CN1914878A CN1914878A (zh) 2007-02-14
CN1914878B true CN1914878B (zh) 2011-04-27

Family

ID=34957046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800416134A Expired - Lifetime CN1914878B (zh) 2004-02-12 2004-02-12 分类的媒体体验质量

Country Status (8)

Country Link
US (5) US8452884B2 (zh)
EP (2) EP1714456B1 (zh)
JP (1) JP5356652B2 (zh)
CN (1) CN1914878B (zh)
AU (1) AU2004317109B2 (zh)
BR (1) BRPI0418527A (zh)
ES (1) ES2509292T3 (zh)
WO (1) WO2005088929A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0418527A (pt) 2004-02-12 2007-05-15 Nokia Corp método para relatar uma qualidade de transmissão em fluxo, programa de computação com instruções operáveis, produto de programa de computação, sistema de transmissão em fluxo, cliente em um sistema de transmissão em fluxo, servidor em um sistema de transmissão em fluxo, e, protocolo para um sistema de transmissão em fluxo
KR100636147B1 (ko) * 2004-06-24 2006-10-18 삼성전자주식회사 네트워크를 통한 컨텐츠의 제어 방법 및 장치, 컨텐츠제공 방법 및 장치
WO2006101131A1 (ja) * 2005-03-22 2006-09-28 Matsushita Electric Industrial Co., Ltd. ストリームデータ記録装置、ストリームデータ記録再生装置、ストリームデータ再生装置、ストリームデータ編集装置、ストリーム記録方法、及びストリーム再生方法
US20070271590A1 (en) * 2006-05-10 2007-11-22 Clarestow Corporation Method and system for detecting of errors within streaming audio/video data
WO2008010695A1 (en) * 2006-07-21 2008-01-24 Samsung Electronics Co., Ltd. Method and system for enhanced parameter negotiation in evdo communication systems
RU2402877C1 (ru) * 2006-08-18 2010-10-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для отчета о степени приема потоковой услуги терминалом в системе мобильного вещания и система на их основе
US8280994B2 (en) * 2006-10-27 2012-10-02 Rockstar Bidco Lp Method and apparatus for designing, updating and operating a network based on quality of experience
US20080107108A1 (en) * 2006-11-03 2008-05-08 Nokia Corporation System and method for enabling fast switching between psse channels
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US20080137552A1 (en) * 2006-12-06 2008-06-12 Hyun Woo Lee APPARATUS AND METHOD OF MEASURING AND MANAGING REAL-TIME SPEECH QUALITY IN VoIP NETWORK
CN101202743A (zh) * 2006-12-14 2008-06-18 联想(北京)有限公司 一种ims终端、叠加服务器及ims业务处理方法
US8959239B2 (en) * 2006-12-29 2015-02-17 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for reporting streaming media quality
US7773510B2 (en) 2007-05-25 2010-08-10 Zeugma Systems Inc. Application routing in a distributed compute environment
CN101690100B (zh) * 2007-06-29 2016-11-02 法国电信公司 管理会话的多流传送方法、网络设备和***
CN101350741A (zh) 2007-07-20 2009-01-21 华为技术有限公司 实时流协议事件通知方法、装置及***
US7706291B2 (en) * 2007-08-01 2010-04-27 Zeugma Systems Inc. Monitoring quality of experience on a per subscriber, per session basis
CN101325806B (zh) * 2007-09-14 2012-05-09 中兴通讯股份有限公司 跨***切换优化方法
US8374102B2 (en) 2007-10-02 2013-02-12 Tellabs Communications Canada, Ltd. Intelligent collection and management of flow statistics
CN101483578B (zh) * 2008-01-09 2012-11-07 华为技术有限公司 媒体协商方法、***及装置
US7873727B2 (en) * 2008-03-13 2011-01-18 Board Of Regents, The University Of Texas Systems System and method for evaluating streaming multimedia quality
US7979557B2 (en) * 2008-04-11 2011-07-12 Mobitv, Inc. Fast setup response prediction
US20090276402A1 (en) * 2008-05-01 2009-11-05 Mobitv, Inc. Search system using media metadata tracks
US7814221B1 (en) * 2008-06-13 2010-10-12 West Corporation Real-time streaming protocol gateway and proxy for serving and caching static media over a low bandwidth connection
EP2583432B1 (en) * 2010-06-18 2019-02-20 Nokia Technologies Oy Method and apparatus for generating and handling streaming media quality-of-experience metrics
WO2012004638A1 (en) * 2010-07-08 2012-01-12 Manipal Institute Of Technology Delivery of multimedia service in mobile network
JP5884076B2 (ja) * 2010-12-22 2016-03-15 パナソニックＩｐマネジメント株式会社 無線伝送端末及び無線伝送方法、それに用いる符号化装置及び符号化方法、並びにコンピュータ・プログラム
US20120209952A1 (en) * 2011-02-11 2012-08-16 Interdigital Patent Holdings, Inc. Method and apparatus for distribution and reception of content
KR101617816B1 (ko) 2011-02-14 2016-05-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼 도메인 잡음 형상화를 사용하는 선형 예측 기반 코딩 방식
BR112013020700B1 (pt) 2011-02-14 2021-07-13 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificação e decodificação de posições de pulso de faixas de um sinal de áudio
EP2676270B1 (en) * 2011-02-14 2017-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding a portion of an audio signal using a transient detection and a quality result
MX2013009344A (es) 2011-02-14 2013-10-01 Fraunhofer Ges Forschung Aparato y metodo para procesar una señal de audio decodificada en un dominio espectral.
US20140181266A1 (en) * 2011-09-29 2014-06-26 Avvasi Inc. System, streaming media optimizer and methods for use therewith
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
GB2497915B (en) * 2011-10-25 2015-09-09 Skype Estimating quality of a video signal
US9438883B2 (en) 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
JP5525005B2 (ja) * 2012-05-10 2014-06-18 コア ワイアレス ライセンシング エス アー アール エル 分類されたメディア経験の質
US20130326551A1 (en) * 2012-05-30 2013-12-05 Debdeep CHATTERJEE Wireless multimedia quality of experience reporting
US10489389B2 (en) 2012-06-07 2019-11-26 Wormhole Labs, Inc. Experience analytic objects, systems and methods
AU2012385919B2 (en) 2012-07-17 2016-10-20 Thomson Licensing Video quality assessment at a bitstream level
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
GB2513090B (en) 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
US9137091B2 (en) * 2013-02-20 2015-09-15 Novatel Wireless, Inc. Dynamic quality of service for control of media streams using feedback from the local environment
CN103327320B (zh) * 2013-03-27 2016-06-22 中山大学 一种用于伪高码率视频的鉴定方法
CN104349220A (zh) * 2014-11-25 2015-02-11 复旦大学 一种用于智能电视终端的服务质量监测***
CN105791833B (zh) * 2014-12-17 2018-09-04 深圳Tcl数字技术有限公司 选择视频编解码硬件平台的方法及装置
US11410243B2 (en) * 2019-01-08 2022-08-09 Clover Health Segmented actuarial modeling

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402143A (zh) * 2002-09-29 2003-03-12 清华大学 一种基于客户端反馈的流量控制方法
CN1433177A (zh) * 2001-11-16 2003-07-30 和记黄埔第三代网际（巴哈马）有限公司 无线电网络中的流式业务

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181738B1 (en) * 1998-02-13 2001-01-30 Northern Telecom Limited Reverse link power control using a frame quality metric
US6643496B1 (en) * 1998-03-31 2003-11-04 Canon Kabushiki Kaisha System, method, and apparatus for adjusting packet transmission rates based on dynamic evaluation of network characteristics
EP0954117A1 (en) * 1998-04-30 1999-11-03 ICO Services Ltd. Transmission quality reporting
BR9913984A (pt) * 1998-09-22 2001-06-19 Siemens Ag Procedimento e disposição para a avaliação da qualidade de transmissão de um sinal de informações digital
US6119174A (en) * 1998-10-13 2000-09-12 Hewlett-Packard Company Methods and apparatus for implementing quality-of-service guarantees in data storage systems
DE60017356T2 (de) * 2000-03-02 2005-06-02 Matsushita Electric Industrial Co., Ltd., Kadoma Datenübertragung über ein unzuverlässiges Netz
US6877043B2 (en) * 2000-04-07 2005-04-05 Broadcom Corporation Method for distributing sets of collision resolution parameters in a frame-based communications network
US6876705B2 (en) 2001-03-05 2005-04-05 Intervideo, Inc. Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder
EP1248431B1 (en) * 2001-03-27 2007-10-31 Sony Deutschland GmbH Method for achieving end-to-end quality of service negotiation for distributed multimedia applications
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP3606259B2 (ja) * 2002-01-16 2005-01-05 ソニー株式会社 通信装置とその方法、ならびにプログラムとその記録媒体
US7010598B2 (en) * 2002-02-11 2006-03-07 Akamai Technologies, Inc. Method and apparatus for measuring stream availability, quality and performance
JP2003259371A (ja) * 2002-02-28 2003-09-12 Toshiba Corp 動画像受信装置及びこれに用いる動画像処理用集積回路
US20030221014A1 (en) * 2002-05-24 2003-11-27 David Kosiba Method for guaranteed delivery of multimedia content based on terminal capabilities
JP2003341822A (ja) 2002-05-25 2003-12-03 Yokozaki Co Ltd 選別装置の被選別物供給装置
JP2003348155A (ja) 2002-05-27 2003-12-05 Hitachi Ltd 通信品質計測システム
EP1453269A1 (en) * 2003-02-25 2004-09-01 Matsushita Electric Industrial Co., Ltd. A method of reporting quality metrics for packet switched streaming
CN1839597B (zh) * 2003-08-21 2010-07-21 维迪亚特企业公司 对无线通信网络的质量体验(qoe)度量
ATE458343T1 (de) * 2003-09-02 2010-03-15 Nokia Corp Übertragung eingebetteter informationen bezüglich einer dienstqualität
BRPI0418527A (pt) 2004-02-12 2007-05-15 Nokia Corp método para relatar uma qualidade de transmissão em fluxo, programa de computação com instruções operáveis, produto de programa de computação, sistema de transmissão em fluxo, cliente em um sistema de transmissão em fluxo, servidor em um sistema de transmissão em fluxo, e, protocolo para um sistema de transmissão em fluxo

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1433177A (zh) * 2001-11-16 2003-07-30 和记黄埔第三代网际（巴哈马）有限公司 无线电网络中的流式业务
CN1402143A (zh) * 2002-09-29 2003-03-12 清华大学 一种基于客户端反馈的流量控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Frederic Gabin M., NEC technologies.Draft Rel-6 PSS Quality Metrics Permanent Document.3GPP TSG-SA4, Meeting 29, no. Tdoc S4-030860.2003,3(4294030860),第6,8-11页. *
FredericGabinM. NEC technologies.Draft Rel-6 PSS Quality Metrics Permanent Document.3GPP TSG-SA4

Also Published As

Publication number Publication date
US20070237098A1 (en) 2007-10-11
US20200296150A1 (en) 2020-09-17
EP1714456A1 (en) 2006-10-25
ES2509292T3 (es) 2014-10-17
JP2007527664A (ja) 2007-09-27
WO2005088929A1 (en) 2005-09-22
EP2770694A1 (en) 2014-08-27
US10225312B2 (en) 2019-03-05
US10652306B2 (en) 2020-05-12
EP1714456B1 (en) 2014-07-16
US8452884B2 (en) 2013-05-28
US20130297786A1 (en) 2013-11-07
US20190327285A1 (en) 2019-10-24
US20170339208A1 (en) 2017-11-23
US9641587B2 (en) 2017-05-02
JP5356652B2 (ja) 2013-12-04
BRPI0418527A (pt) 2007-05-15
AU2004317109A1 (en) 2005-09-22
AU2004317109B2 (en) 2008-05-22
CN1914878A (zh) 2007-02-14

Similar Documents

Publication Publication Date Title
CN1914878B (zh) 分类的媒体体验质量
CN1951083B (zh) 流传输服务中的改进的质量反馈
US7873727B2 (en) System and method for evaluating streaming multimedia quality
TWI568252B (zh) 具有視訊定向協調（ｃｖｏ）之串流技術
KR101398319B1 (ko) 실시간 비디오 검출기
CN1914876B (zh) 定时体验质量的度量
US9369508B2 (en) Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming
CN101179480B (zh) 一种转发流媒体的方法
Shen et al. Dynamic video transcoding in mobile environments
US8763049B2 (en) Server apparatus, video image quality measurement system, video image quality measurement method and program
CN101094159B (zh) 一种媒体流私网穿透的方法
Belda et al. Hybrid FLUTE/DASH video delivery over mobile wireless networks
Linck et al. Adaptive multimedia streaming using a simulation test bed
CN101188605A (zh) 一种转发流媒体的***
KR100808982B1 (ko) 클래스화된 미디어 경험 품질
JP5525005B2 (ja) 分類されたメディア経験の質
CN102209078B (zh) 定时体验质量的度量
Othman Objective video quality metric aware Adaptation mechanisms for video streaming based on DASH
Meyer Adaptation mechanism for streaming server applications optimized for the use on mobile devices with limited resources
US9369503B2 (en) Adaptable data stream transmission
MICHALKO VIDEO STREAMING IN WIRELESS NETWOKS USING AVISMO CONCEPT
KR100808981B1 (ko) 사용자 경험 품질 메트릭스의 타이밍

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NOKIA 2011 PATENT TRUST CO.

Free format text: FORMER OWNER: NOKIA OY

Effective date: 20120208

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee

Owner name: 2011 INTELLECTUAL PROPERTY ASSET TRUST CO.

Free format text: FORMER NAME: NOKIA 2011 PATENT TRUST CO.

CP01 Change in the name or title of a patent holder

Address after: Delaware

Patentee after: 2011 Intellectual Property Asset Trust

Address before: Delaware

Patentee before: NOKIA 2011 patent trust

TR01 Transfer of patent right

Effective date of registration: 20120208

Address after: Delaware

Patentee after: NOKIA 2011 patent trust

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

ASS Succession or assignment of patent right

Owner name: CORE WIRELESS LICENSING S.A.R.L.

Free format text: FORMER OWNER: 2011 INTELLECTUAL PROPERTY ASSET TRUST CO.

Effective date: 20120417

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120417

Address after: Luxemburg Luxemburg

Patentee after: NOKIA Inc.

Address before: Delaware

Patentee before: 2011 Intellectual Property Asset Trust

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 12 Jean Green Street, L-1466 Luxembourg

Patentee after: Kangweisheng Wireless Licensing Co.,Ltd.

Address before: Luxemburg Luxemburg

Patentee before: NOKIA Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221109

Address after: Taiwan, Hsinchu, China Science Industry Park, Hsinchu Road, force six, No. eight

Patentee after: Taiwan Semiconductor Manufacturing Co.,Ltd.

Address before: 12 Jean Green Street, L-1466 Luxembourg

Patentee before: Kangweisheng Wireless Licensing Co.,Ltd.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20110427