CN103621145A - 移动内容体验质量的实时全参考计算 - Google Patents

移动内容体验质量的实时全参考计算 Download PDF

Info

Publication number
CN103621145A
CN103621145A CN201180071732.4A CN201180071732A CN103621145A CN 103621145 A CN103621145 A CN 103621145A CN 201180071732 A CN201180071732 A CN 201180071732A CN 103621145 A CN103621145 A CN 103621145A
Authority
CN
China
Prior art keywords
data
video
qoe
frame
service provider
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180071732.4A
Other languages
English (en)
Other versions
CN103621145B (zh
Inventor
N·切霍查里拉
A·土勒西安
H·拉马萨努
G·P·库姆勒里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of CN103621145A publication Critical patent/CN103621145A/zh
Application granted granted Critical
Publication of CN103621145B publication Critical patent/CN103621145B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/10Flow control between communication endpoints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/25Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408Monitoring of the upstream path of the transmission network, e.g. client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/06Testing, supervising or monitoring using simulated traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04Registration at HLR or HSS [Home Subscriber Server]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

总体描述了用于在无线内容发送环境中计算体验质量(QoE)的技术。可由服务提供商/内容提供商/用户装置选择音频和/或视频内容的发送给用户装置的部分,并将其从用户装置发送回以用于实时QoE计算。可基于实时QoE计算来调节发送质量。另选地,可存储内容的所选择的部分以用于后续计算和改进。数据的所选择的部分可以是被标记的帧,可基于标记的帧来选择参考帧。

Description

移动内容体验质量的实时全参考计算
相关申请的交叉引用
本申请要求2011年4月20日提交于印度的申请号为1369/CHE/2011的对应专利申请的优先权,其整个内容以引用方式并入本文。
背景技术
除非本文另有指示,否则在此部分中描述的材料不是针对本申请中的权利要求的现有技术,并且不能由于被包括在此部分中而被认定是现有技术。
通过诸如蜂窝网络的无线网络提供的视频在类似智能电话、台式计算机等的移动或固定装置的日常使用中很常见。这样的视频和/或音频内容由服务提供商(如,蜂窝服务提供商)直接提供或者通过无线网络服务提供商而来自第三方内容提供商(如,搜索引擎、内容创建者等)。由于高吞吐量要求和装置移动性,无线提供的内容的体验质量(QoE)可能变差。通常,服务提供商缺少实时可用的准确QoE计算。
本公开认为在移动内容发送中用于QoE计算的已知技术有若干局限。视频发送的全参考或无参考QoE计算是一些常用方法。然而,无参考模型不具有高准确性。全参考模型在计算上开销很高/计算密集,因此在实时方面不可行。另外,由于移动环境中的高下载带宽要求,因此将参考视频内容发送给移动装置以用于全参考QoE计算是不可行的。
发明内容
根据一些示例,本公开描述了一种用于在二级网络中静默时间段管理的方法。所述方法可包括在无线***中确定体验质量(QoE)。所述方法可包括发送将在一个或多个用户装置处回放的数据,从用户装置接收发送的数据的一个或多个选择的部分,以及利用所述发送的数据的接收的部分执行QoE计算。
根据其他示例,本公开描述了使得能够在无线***中计算体验质量(QoE)的另一方法。所述另一方法可包括:接收将回放的数据,确定接收的数据中将被发送给服务提供商或内容提供商中的一者以用于QoE计算的部分,捕获所述数据的将被发送给所述服务提供商或所述内容提供商中的一者的所述部分,以及将所述数据的所述部分发送给所述服务提供商。
根据其他示例,本公开描述了一种经由无线网络提供进行体验质量(QoE)计算的音频/视频发送服务的服务器。所述服务器可包括适于与一个或多个用户装置无线地通信的通信模块、适于存储指令的存储器、连接到所述通信模块和所述存储器的处理器。所述处理器可适于:发送将在一个或多个用户装置处回放的数据,从用户装置接收发送的数据的一个或多个选择的部分,以及利用所述发送的数据的接收的部分执行QoE计算。
根据另外的示例,本公开描述了一种用于经由无线网络接收进行体验质量(QoE)计算的音频/视频发送服务的计算装置。所述计算装置可包括适于存储指令的存储器和连接到通信模块和存储器的处理器。所述处理器可适于:接收将回放的数据;确定接收的数据中将被发送给所述服务提供商以用于QoE计算的部分;捕获所述数据中将被发送给所述服务提供商的所述部分;以及将所述数据的所述部分发送给所述服务提供商。
以上的发明内容仅是示意性的,并非意在以任何方式进行限制。除了上述的示意性方面、实施方式和特征以外,通过参照附图和下面的具体描述,其它的方面、实施方式和特征将变得明显。
附图说明
根据结合附图的下列描述和所附权利要求,本公开的下面描述的以及其它的特征将变得更加清楚。理解到这些附图仅描述了根据本公开的一些实施例,从而不被认为限制其范围,将通过使用附图用更多特征和细节来描述本公开,在附图中:
图1是将视频内容发送给多种用户装置的示意性示例***的示意图;
图2在概念上示出基于从用户装置接收的视频帧进行全参考QoE计算的示例视频发送***;
图3示出基于从用户装置接收的视频帧进行全参考QoE计算的示例视频发送***的主要区块;
图4示出可用于在视频发送***中实现全参考QoE计算的通用计算装置;
图5示出可用于在发送无线视频的服务提供商处实现全参考QoE计算的专用处理器;
图6示出可用于在用户装置中使得能够在发送无线视频的服务提供商处进行全参考QoE计算的专用处理器;
图7是示出用于在发送无线视频的服务提供商处采用全参考QoE计算的示例方法的流程图,所述方法可由诸如图4中的装置400的计算装置或诸如图5的处理器590的专用处理器来执行;
图8是示出用于使得能够在发送无线视频的服务提供商处进行全参考QoE计算的示例方法的流程图,所述方法可由包含诸如图6的处理器690的专用处理器的用户计算装置来执行;
图9示出由无线视频发送服务的服务器使用的示例计算机程序产品的框图;
图10示出由无线视频发送服务的用户装置使用的示例计算机程序产品的框图,
所有图均依据本文所述的至少一些实施方式来布置。
具体实施方式
在以下详细描述中,参照了形成说明书一部分的附图。在附图中,类似的附图标记通常表示类似部件,除非上下文有相反的说明。在详细的说明书、附图和权利要求中描述的例示性实施方式并非是限制性的。在不背离本文介绍的主题的精神或者范围的情况下,可以利用其它实施方式,并且可以进行其它改变。容易理解的是如这里总体描述并且在附图中例示的,本公开的多个方面可以按各种不同配置进行排列、替换、组合和设计,所有这些不同配置在这里是明确想得到的。
除其它方面外,本公开总体上被描述为与无线环境中所发送的内容的全参考体验质量计算有关的方法、设备、***、装置和/或计算机程序产品。
简言之,发送给用户装置的音频和/或视频内容的部分可被服务提供商/内容提供商/用户装置选择并发送回以用于实时的体验质量(QoE)计算。可基于实时QoE计算来调节发送质量。另选地,可以存储选择的内容部分以用于后续计算和改进。选择的数据部分可以是被如此标记的帧,可基于该标记的帧选择参考帧。
图1是将视频内容发送给多种用户装置的示意性示例***的示意图。尽管本文以视频发送为例进行描述,可在经无线网络向移动和固定用户装置发送视频和/或音频内容的***中实现实施方式。
示意图100示出从一个或多个内容提供商102接收内容(音频/视频)的服务提供商104。内容提供商102可以是服务提供商的一部分或者是单独的实体。例如,服务提供商104可以是本身可产生一些内容的蜂窝服务提供商。其他内容可接收自第三方内容产生者。服务提供商104可促进各种用户装置之间的通信和/或经一个或多个网络向用户装置发送内容。所述发送可涉及发射塔、接入点和类似的收发器(106,108)。
在示意图100的示例***中,收发器106和108与诸如膝上型计算机110、台式计算机112、便携式计算机114、智能电话116、蜂窝电话118和无线个人数字助理(PDA)120的用户装置无线地通信。用户装置可包括能够无线通信和回放接收的内容的其他便携或固定的计算装置。
在3G蜂窝***中同时的高带宽上行链路和下行链路是可用的。然而,在移动视频服务期间上传带宽通常未充分利用。根据一些实施方式的***可利用可用的上行链路带宽将选择的一组视频帧从移动装置发送给移动运营商,以实时地计算全参考QoE计算,而剩余数据加可以添加时间戳和位置戳并被存档。许多移动装置的计算能力和存储可与传统计算机相当,以存储接收的视频并同时将接收的视频帧解码并发送回。服务提供商能够利用云计算技术来计算多个移动装置的QoE。QoE通常是指***中的性能的主观量度。如本文所用,QoE是指由无线***的用户接收的内容的质量。例如,接收的视频或音频的质量可通过将原始发送的内容与接收的内容进行比较以确定发送过程中的劣化程度来测量。
移动视频收视率极大地依赖于一天中的时段和位置。根据其他实施方式,当上传信道未处于繁忙使用中时(静默时间段),后台进程可将完整视频帧发送回服务提供商,以执行准确的事后且离线的全参考QoE计算。QoE计算可与瞬时服务质量(QoS)、位置、用户装置的移动性、用户装置处的信号强度、用户装置处的可用存储器、用户装置的处理能力和/或通信网络上的负载相关,其中在发送数据的服务提供商或向服务提供商提供数据的内容提供商中的一者处执行QoE计算。
静默时间段可包括低带宽需求时间段。估计QoE的一种方法是将发送的视频与接收的视频进行比较。发送的数据可通过服务提供商获得,接收的数据可在移动装置处获得。因此,QoE计算可包括将发送数据的一部分的未受损的参考帧的各像素与所发送数据的接收部分的对应帧的各像素进行比较,所述方法还可包括执行未受损的参考帧与对应帧之间的空间和/或时间对准中的至少一种。根据实施方式的***提供实时地基于可用资源确定实时QoE值的能力,并且随着更多的资源变得可用,可以提供更准确的QoE值。
图2在概念上示出依据本文所描述的至少一些实施方式布置的基于从用户装置接收的视频帧具有全参考QoE计算的示例视频发送***。
示意图200示出根据一些实施方式的***的一个示例配置,其中在服务提供商104处从外部内容提供商202接收视频内容,并且在服务提供商104处执行QoE计算。在其他实施方式中,可在服务提供商104处产生内容,并且可在内容提供商202处执行QoE计算,或者至少一些QoE计算可在用户装置230处执行。
根据示例情景,服务提供商104(如,移动运营商)可从内容提供商202接收视频内容,在处理模块222处理内容,并经由收发器228发送给用户装置230。所述处理可包括选择用于由用户装置230后续发送回的内容部分,以及标记选择的部分以指示给用户装置。在其他实施方式中,用户装置230可选择将要发送回的内容部分,并经由收发器228将它们发送给服务提供商104的QoE***224。如果在用户装置230处选择所述部分,则QoE***224可从处理模块222接收对应的参考部分。QoE***224可将计算结果提供给处理模块222,使得可以实时地调节服务质量参数或调节服务质量参数用于将来的发送。QoE***224还可将结果提供给其他***226,以用于统计计算、报告、质量控制、核算等。
图3在概念上示出依据本文所描述的至少一些实施方式布置的基于从用户装置接收的视频帧具有全参考QoE计算的示例视频发送***的主要模块。
在示意图300所示的示例情景中,可在转码器332(服务提供商)处从内容提供商202接收视频内容334,所述转码器332将视频内容进行转码并发送(336)给它的订户(用户装置230)。订户端的用户装置230显示接收的内容(视频336)。用户装置230可定期地或者基于预定义的算法选择一组帧以及那些帧中的像素值,并利用可用的上传信道将选择的样本帧338发送回服务提供商(QoE***224)。QoE***224可执行QoE计算并将结果(342)提供给转码器332,以用于实时地调节服务质量参数。另选地,可将QoE结果342提供给诸如数据仓库的其他***,QoE结果342可存储在那里以用于后续分析和QoS参数调节。
如果上传信道可用,则可连续地将样本帧338发送回QoE***224,并且可以将能够通过上传信道实时可靠地发送的最大可能数量的帧发送回服务提供商。另一方面,如果上传和下载业务由同一信道共享,则用户装置230可在类似广告间歇的不太有趣时间段或者类似深夜的较少使用时间段的时间将帧序列发送回。在这些时间段,***可通过降低发送质量来释放额外带宽用于上传。
参考帧可根据一些实施方式由服务提供商(或内容提供商)选择并被标记。用户装置230可将那些帧发送回服务提供商,从而减少装置方所需的处理。根据替代实施方式,用户装置230可基于上行链路带宽的可用性、装置的处理能力或类似参数来选择将发送回的帧,并通过如此标识它们(如,指定帧号码)将选择的帧发送回运营商。服务提供商处的测量***可基于接收的帧号码选择参考帧。
尽管上面利用图1至图3中的特定示例、部件、情景和配置讨论了实施方式,但是它们旨在提供将用于移动内容发送环境中的QoE计算的一般准则。这些示例不构成对实施方式的限制,实施方式可利用本文所描述的原理使用其他部件、帧选择方案和配置来实现。另外,实施方式可以实现为用于在固定或车载装置处接收的内容,并且可应用于音频、视频或类似的内容。
图4示出依据本文所描述的至少一些实施方式布置的可用于实现视频发送***中全参考QoE计算的通用计算装置。在最基本配置402中,计算装置400通常包括一个或多个处理器404以及***存储器406。存储器总线408可用于处理器404与***存储器406之间的通信。
根据期望的配置,处理器404可为任何类型,包括(但不限于)微处理器(μΡ)、微控制器(μθ)、数字信号处理器(DSP)或其任何组合。处理器404可包括一级缓存或多级缓存(例如缓存412)、处理器核414和寄存器414。示例处理器核414可包括运算逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任何组合。示例存储器控制器418也可与处理器404一起使用,或者在一些实现方式中,存储器控制器415可以是处理器404的内部部件。
根据期望的配置,***存储器406可为任何类型,包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存等)或其任何组合。***存储器406可包括操作***420、通信服务422、一个或多个内容应用426和QoE模块427。***存储器406还可包括程序数据424和帧/QoE数据428。通信服务422可向用户提供音频/视频内容。内容应用426可以均与将要提供给用户的特定类型的内容相关联。QoE模块427可基于从用户装置接收的部分发送内容执行QoE计算,并实时调节或随后调节发送参数。帧/QoE428数据可存储在本地或远程数据仓库中以便于后续使用。这里所描述的基本配置402在图4中通过内侧虚线内的那些部件示出。
计算装置400可具有附加特征或功能以及附加接口,以方便基本配置402与任何期望的装置和接口之间的通信。例如,总线/接口控制器430可用于经由存储接口总线434方便基本配置402与一个或多个数据存储装置432之间的通信。数据存储装置432可以是可移除存储装置434、不可移除存储装置438或其组合。作为示例,可移除存储装置和不可移除存储装置的示例包括诸如软盘驱动器和硬盘驱动器(HDD)的磁盘装置、诸如压缩盘(CD)驱动器或数字多功能盘(DVD)驱动器的光盘驱动器、固态驱动器(SSD)以及磁带驱动器等等。示例的计算机存储介质可以包括以任何方法或技术实现的用于存储信息(例如,计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可移除和不可移除介质。
***存储器406、可移除存储装置436和不可移除存储装置438是计算机存储介质的示例。计算机存储介质包括(但不限于)RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置、或者可用于存储期望的信息并且可由计算装置400访问的任何其他介质。任何这样的计算机存储介质可以是计算装置400的一部分。
计算装置400还可包括接口总线440以方便经由/接口控制器430从各种接口装置(如,输出装置442、***接口444和通信装置666)到基本配置402的通信。示例输出装置442包括图形处理单元448和音频处理单元450,其可被配置为经由一个或多个A/V端口452与诸如显示器或扬声器的各种外部装置通信。示例***接口444包括串行接口控制器454或并行接口控制器456,其可被配置为经由一个或多个I/O端口458与诸如输入装置(如,键盘、鼠标、笔、语音输入装置、触摸输入装置等)或其他***装置(如,打印机、扫描仪等)的外部装置通信。示例通信装置466包括网络控制器460,其可被布置为方便经由一个或多个通信端口464通过网络通信链路与一个或多个其他计算装置462通信。
网络通信连接是通信介质的一个示例。通信介质典型地可以体现为计算机可读指令、数据结构、程序模块或调制数据信号中的其它数据(例如,载波或其它传输机制),并包括任何信息传递介质。“调制的数据信号”可以是具有以对信号中的信息进行编码的方式设置或改变的一个或多个自身特征的信号。通过举例但并非限制,通信介质可以包括有线介质(例如有线网络或直接有线连接)和无线介质(例如声学、射频(RF)、红外(IR)和其它无线介质)。这里使用的术语计算机可读介质可以包括存储介质和通信介质两者。
计算装置400可被实现为包括上述任何功能的物理服务器、虚拟服务器、计算云、或混合装置的一部分。计算装置400还可被实现为个人计算机,所述个人计算机包括膝上型计算机和非膝上型计算机配置两者。此外,计算装置400可被实现为联网***或实现为通用或专用服务器的一部分。
用于包括计算装置600的联网***的网络可包括服务器、客户机、交换机、路由器、调制解调器、互联网服务提供商以及任何适当通信介质(如,有线或无线通信)的任何拓扑。根据实施方式的***可具有静态或动态网络拓扑。网络可包括诸如企业网络(如,LAN、WAN或WLAN)的安全网络、诸如无线开放网络(如,IEEE802.11无线网络)的不安全网络或全球网络(如,互联网)。网络还可包括适于一起操作的多个不同的网络。这样的网络被配置为提供本文所描述的节点之间的通信。作为示例而非限制,这些网络可包括诸如声音、RF、红外和其它无线介质的无线介质。另外,这些网络可以是同一网络的部分,或者是单独的网络。
图5示出依据本文所描述的至少一些实施方式布置的用于在发送无线视频的服务提供商处实现全参考QoE计算的专用处理器。示意图500中的处理器590可以是通信地连接到收发器550的计算装置(如,服务提供商或内容提供商处的服务器)的一部分,该收发器550可方便通过网络510-2与无线接收器装置580通信。处理器590还可经由网络510-1与存储内容数据的视频内容源570通信。
处理器590可包括诸如视频发送模块596和QoE模块598的多个处理模块。经由网络510-1从视频内容源570获取的视频内容数据592可被提供给视频发送模块596用于发送给接收器装置580。QoE模块598可基于所发送数据的接收部分执行QoE计算(如,通过将选择的帧与参考帧进行比较),并将质量控制数据594存储在存储器591中以用于调节发送参数(以提高所发送视频的质量)。视频内容数据592和质量控制数据594可在处理期间存储在作为处理器590的缓存的存储器591中或外部存储器(如,在处理器590外部的存储器)中。处理器590还可以通信地连接到数据仓库560,在数据仓库560中可以存储这些数据中的至少一些。
图6示出依据本文所描述的至少一些实施方式布置的可用在用户装置中以使得能够在发送无线视频的服务提供商处进行全参考QoE计算的专用处理器。示意图600中的处理器690可以是通过网络610-2通信地连接到服务提供商604的计算装置(如,移动用户装置)的一部分,并从服务提供商604接收视频内容。处理器690还可控制显示器680将接收的视频内容呈现给用户。
处理器690可包括诸如视频处理模块696的许多处理模块。经由网络610-2从服务提供商604接收的视频内容数据692可提供给视频处理模块696以便于发送给显示器680。视频处理模块696还可选择用于QoE计算的帧,这些帧可通过处理器690发送给服务提供商604。视频内容数据692和帧选择数据694可在处理期间存储在作为处理器690的缓存的存储器691)中或外部存储器(如,处理器690外部的存储器)中。
尽管针对QoE计算以视频内容为例描述了图5和图6,本文所描述的原理也适用于音频和类似内容。此外,由处理器590和690执行的任务可按照各种组合在服务提供商和/或内容提供商的服务器的处理器与用户装置的处理器之间共享。
示例实施方式还可包括方法。这些方法可按照包括本文所描述的结构的任何数量的方式来实现。一种这样的方式是通过本公开所描述的类型的装置的机器操作。另一种可选的方式是:对于方法的各个操作中的一个或多个操作结合执行某些操作的一个或多个操作人员来执行,而其它操作由机器执行。这些操作人员不需要彼此搭配,而是每个人都可以只与执行一部分程序的机器搭配。在其它示例中,诸如通过预先选择的机器自动化的标准,人机交互可自动化。
图7是示出依据本文所描述的至少一些实施方式布置的用于在发送无线视频的服务提供商处采用全参考QoE计算的示例方法的流程图,所述方法可由诸如图4中的装置400的计算装置或诸如图5的处理器590的专用处理器来执行。因此,控制器装置710可以是图5的处理器590或图4的计算装置400。计算机可读介质720可存储与示例方法关联的将由控制器装置710执行的指令。
根据实施方式的示例处理可以操作722“接收视频内容”来开始,其中服务提供商可从内容提供商接收视频内容以便于发送给用户装置。操作722之后可以是可选操作724“确定参考帧”,其中服务提供商可定期地或者基于预定义的算法来选择参考帧(未受损的)。可选操作724之后可以是操作726“将视频内容发送给用户装置”,其中服务提供商可经一个或多个无线网络将接收的视频内容发送给用户装置。
操作726之后可以是可选操作728“发送帧选择信息”,其中服务提供商还可以例如通过对帧进行标记来将选择的帧的信息发送给用户装置。在随后的操作730,“从用户装置接收选择的帧”,服务提供商可从用户装置接收由该用户装置所接收的(受损的)选择的帧。操作730之后可以是操作732,“执行QoE计算”,其中服务提供商可基于接收的帧执行QoE计算,并且可选地调节发送参数以提高发送的视频质量。
图8是示出依据本文所描述的至少一些实施方式布置的使得能够在发送无线视频的服务提供商处进行全参考QoE计算的示例方法的流程图,所述方法可由包含诸如图6的处理器690的专用处理器的用户计算装置来执行。因此,控制器装置810可以是处理器690,其执行存储在计算机可读介质820上的指令以便于接收和显示视频内容。
根据实施方式的示例处理可以开始于操作822“接收视频数据”,其中用户装置可通过无线网络从服务提供商接收视频数据。操作822之后可以是可选的操作824“接收帧选择数据”,其中用户装置还可接收将发送回服务提供商以用于QoE计算的选择的帧的指示。可选的操作824之后可以是操作826“捕获选择的帧”,其中用户装置可捕获选择的帧以便于发送给服务提供商。根据一些实施方式,用户装置可选择并捕获帧,而无需来自服务提供商的输入。操作826之后可以是操作828“将捕获的帧发送给服务提供商以用于QoE计算”,其中用户装置可将捕获的帧发送给服务提供商,使得可基于选择的帧执行QoE计算,并可选地调节发送参数以提高发送的视频质量。
上述图7和图8的处理中所包括的操作是出于示意性目的。用于无线地发送的内容的全参考QoE计算可通过具有更少或附加操作的类似处理来实现。在一些示例中,操作可按照不同的顺序执行。在一些其他示例中,可去除多种操作。在其他示例中,可将各种操作分为附加的操作,或者组合成更少的操作。尽管示出为顺序的操作,但是在一些实现方式中,可按照不同的顺序执行各种操作,或者在一些情况下可基本上同时地执行各种操作。
图9示出依据本文所描述的至少一些实施方式布置的由无线视频发送服务的服务器使用的示例计算机程序产品的框图。
在一些示例中,如图9所示,计算机程序产品900可包括信号承载介质902,信号承载介质902还可包括机器可读指令904,所述机器可读指令904在例如被处理器执行时可提供上面针对图1至图3描述的功能。因此,例如,参照处理器590,可响应于通过介质902传送给处理器590的指令904来进行图9所示的一个或多个任务,以执行与本文所描述的实时的移动内容体验质量计算关联的动作。这些指令中的一些可包括如先前所描述的选择参考帧、发送视频和/或帧选择信息、接收选择的帧以及执行QoE计算。
在一些实现方式中,图9中所示的信号承载介质902可包括计算机可读介质906,例如但不限于硬盘驱动器、压缩盘(CD)、数字多功能盘(DVD)、数字磁带、存储器等。在一些实现方式中,信号承载介质902可包括可记录介质908,例如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现方式中,信号承载介质902可包括通信介质910,例如但不限于数字和/或模拟通信介质(如,光缆、波导、有线通信链路、无线通信链路等)。因此,例如,可通过RF信号承载介质902将计算机程序产品900传送给处理器904,其中信号承载介质902通过无线通信介质910(如,符合IEEE802.11标准的无线通信介质)来传送。
图10示出依据本文所描述的至少一些实施方式布置的由无线视频发送服务的用户装置使用的示例计算机程序产品的框图。
在一些示例中,如图10所示,计算机程序产品1000可包括信号承载介质1002,信号承载介质1002还可包括机器可读指令1004,所述机器可读指令1004在被例如处理器执行时可提供上面针对图1至图3所描述的功能。因此,例如,参照处理器690,可响应于通过介质1002传送给处理器690的指令1004来执行图10所示的一个或多个任务,以执行与本文所描述的实时的移动内容QoE计算关联的动作。这些指令中的一些可包括如先前所描述的接收视频和/或帧选择信息、捕获选择的帧以及将选择的帧发送给服务提供商。
在一些实现方式中,图10中所示的信号承载介质1002可包括计算机可读介质1006,例如但不限于硬盘驱动器、压缩盘(CD)、数字多功能盘(DVD)、数字磁带、存储器等。在一些实现方式中,信号承载介质1002可包括可记录介质1008,例如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现方式中,信号承载介质1002可包括通信介质1010,例如但不限于数字和/或模拟通信介质(如,光缆、波导、有线通信链路、无线通信链路等)。因此,例如,可通过RF信号承载介质1002将计算机程序产品1000传送给处理器1004,其中信号承载介质1002通过无线通信介质1010(如,符合IEEE802.11标准的无线通信介质)来传送。
尽管针对QoE计算以视频内容为例描述了图9和图10,但是本文所描述的原理也适用于音频和类似内容。此外,响应于所述指令执行的任务可按照各种组合在服务提供商、内容提供商和用户装置之间共享。
根据一些示例,本公开描述了用于在二级网络中静默时间段管理的方法。所述方法可包括确定体验质量(QoE)。所述方法可包括发送将在一个或多个用户装置处回放的数据,从用户装置接收发送的数据的一个或多个选择的部分;利用发送的数据的接收的部分执行QoE计算。数据可以是视频数据和/或音频数据。
根据其他示例,所述方法还可包括:确定将选择所述发送的数据中的哪些部分,向所述一个或多个用户装置发送与所述发送的数据的将被选择的部分相关联的信息,和/或使用所述发送的数据的将被选择的部分作为参考数据部分,以通过将所述参考部分与所述发送的数据的所述接收的部分进行比较来执行QoE计算。所述发送的数据的所述选择的部分和所述参考部分是视频帧,发送与所述发送的数据的将被选择的部分相关联的信息包括标记将由所述用户装置选择的视频帧。
根据另外的示例,所述方法还可包括:通过上传信道接收所述发送的数据的所述选择的部分,并基于QoE计算实时地调节一个或多个服务质量(QoS)参数。该方法还可包括:通过减少用于下载信道的可用带宽,增加一个或多个非高峰数据发送时间段中用于上传信道的可用带宽,其中非高峰数据发送时间段包括广告间歇和节目中断中的一个或多个。
根据其他示例,该方法还可包括:基于QoE计算调节一个或多个将来的服务质量(QoS)参数,在一个或多个静默时间段期间接收所述发送的数据的所述选择的部分,以及存储所述发送的数据的所述接收的部分以用于后续QoE计算。静默时间段可以包括低带宽需求时间段。QoE计算可包括将所述发送的数据的一部分中未受损参考帧的各像素与所述发送的数据的所述接收的部分中对应帧的各像素进行比较,所述方法还可包括执行未受损参考帧与对应帧之间空间和/或时间对准中的至少一个。可以使QoE计算的结果与下面中的一个或多个相关:瞬时QoS参数、用户装置的位置、用户装置的移动性、用户装置处的信号强度、用户装置处的可用存储器、用户装置的处理能力和/或通信网络上的负载,其中在发送数据的服务提供商或将数据提供给所述服务提供商的内容提供商中的一者处执行QoE计算。
根据其他示例,本公开描述了使得能够在无线***中计算体验质量(QoE)的另一方法。该另一方法可包括:接收将回放的数据,确定接收的数据中将被发送给服务提供商或内容提供商中的一者以用于QoE计算的部分,捕获所述数据的将被发送给所述服务提供商或所述内容提供商中的一者的所述部分,将所述数据的所述部分发送给所述服务提供商或所述内容提供商中的一者。根据该另一方法的数据还可包括视频数据和/或音频数据中的至少一个。所述另一方法还可包括:从所述服务提供商或所述内容提供商中的一者接收与所述接收的数据中哪些部分将被选择相关联的信息,所述接收的数据的所述选择的部分是视频帧,与所述接收的数据的将被选择的部分关联的信息包括由所述服务提供商或所述内容提供商中的一者标记的视频帧。根据另外的示例,所述接收的数据的所述选择的部分是视频帧,在用户装置处选择所述接收的数据的将被发送给所述服务提供商或所述内容提供商中的一者的视频帧。
根据其他示例,所述另一方法可包括:将选择的视频帧的标识符发送给所述服务提供商或所述内容提供商中的一者,使得在所述服务提供商或所述内容提供商中的一者处确定用于QoE计算的参考帧,其中基于上传信道可用性、用户装置的位置、用户装置的移动性、用户装置处的信号强度、用户装置处的可用存储器和/或用户装置的处理能力中的一个或多个来选择视频帧。如果可获得足够的带宽以通过上传信道发送选择的视频帧,则发送能够被可靠地发送的最大可能数量的视频帧以用于在服务提供商或内容提供商中的一者处的实时QoE计算。如果没有足够的带宽用于发送选择的视频帧,则在静默时间段期间或在非高峰时间段期间发送选择的视频帧,以用于在服务提供商或内容提供商中的一者处的后续QoE计算。
根据另外的示例,所述另一方法还可包括:以周期性间隔选择视频帧,通过专用上传信道和共享信道中的一个发送所述接收的数据的选择的部分,通过将所述接收的数据的所述部分与测试数据进行比较来执行QoE计算;以及将QoE计算结果发送给所述服务提供商或所述内容提供商中的一者。所述接收的数据的将用于QoE计算的部分包括一个或多个视频帧,所述方法还可包括:将所述一个或多个视频帧的标识符发送给所述服务提供商或所述内容提供商中的一者,以及接收对应的测试视频帧。可在服务提供商或内容提供商中的一者或者将所述数据提供给所述服务提供商或内容提供商中的一者的内容提供商中的一者处执行所述QoE计算。
根据其他示例,本公开描述了经由无线网络提供进行体验质量(QoE)计算的音频/视频发送服务的服务器。所述服务器可包括适于与一个或多个用户装置无线地通信的通信模块、适于存储指令的存储器以及连接接到通信模块和存储器的处理器。所述处理器可适于:发送将在一个或多个用户装置处回放的数据,从用户装置接收发送的数据的一个或多个选择的部分,基于所述发送的数据的接收的部分执行QoE计算。所述数据可以是视频数据和/或音频数据。
根据另外的示例,所述服务器的处理器可确定将选择所述发送的数据的哪些部分,向所述一个或多个用户装置发送与所述发送的数据的将被选择的部分相关联的信息,和/或使用所述发送的数据的将被选择的部分作为参考数据部分,以通过将所述参考部分与所述发送的数据的所述接收的部分进行比较来执行QoE计算。根据一些示例,所述发送的数据的所述选择的部分和所述参考部分是视频帧,所述处理器可通过标记将由所述用户装置选择的视频帧来发送与所述发送的数据的将被选择的部分关联的信息。
根据其他示例,所述服务器的处理器可通过上传信道接收所述发送的数据的所述选择的部分,基于所述QoE计算实时地调节一个或多个服务质量(QoS)参数,通过减少用于下载信道的可用带宽,增加一个或多个非高峰视频数据发送时间段时用于所述上传信道的可用带宽,在一个或多个静默时间段期间接收所述发送的数据的所述选择的部分,和/或存储所述发送的数据的所述接收的部分以用于后续QoE计算。
所述服务器的处理器还可基于后续QoE计算,调节一个或多个将来的服务质量(QoS)参数,其中静默时间段包括低带宽需求时间段。所述处理器还可将所述发送的数据的一部分中未受损参考帧的各像素与所述发送的数据的所述接收的部分中对应帧的各像素进行比较。所述服务器可以是发送所述数据的服务提供商或将所述数据提供给所述服务提供商的内容提供商中的一者的一部分。所述处理器还可使QoE计算的结果与下面中的一个或多个相关:瞬时QoS参数、所述用户装置的位置、所述用户装置的移动性、所述用户装置处的信号强度、所述用户装置处的可用存储器、所述用户装置的处理能力和/或通信网络上的负载。
根据另外的示例,本公开描述了用于经由无线网络接收进行体验质量(QoE)计算的音频/视频发送服务的计算装置。所述计算装置可包括适于存储指令的存储器以及连接接到通信模块和存储器的处理器。所述处理器可适于:接收将回放的数据,确定接收的数据中将被发送给所述服务提供商以用于QoE计算的部分,捕获所述数据中将被发送给所述服务提供商的所述部分,以及将所述数据的所述部分发送给所述服务提供商。所述数据可以是视频数据和/或音频数据。
所述计算装置的处理器可从所述服务提供商接收与所述接收的数据中哪些部分将被选择相关联的信息,其中所述接收的数据的所述选择的部分是视频帧,与所述接收的数据的将被选择的部分关联的信息包括由所述服务提供商标记的视频帧。所述接收的数据的所述选择的部分是视频帧,在所述计算装置处选择所述接收的数据的将被发送给所述服务提供商的视频帧。
所述计算装置的处理器还可适于将选择的视频帧的标识符发送给所述服务提供商,使得在所述服务提供商处确定用于QoE计算的参考帧,其中基于下列中的一个或多个选择视频帧:上传信道可用性、所述计算装置的位置、所述计算装置的移动性、所述计算装置处的信号强度、所述计算装置处的可用存储器和/或所述用户装置的处理能力。
如果可获得足够的带宽以通过上传信道发送选择的视频帧,则发送能够被可靠地发送的最大可能数量的视频帧,用于在所述服务提供商处的实时QoE计算。如果没有足够的带宽以发送选择的视频帧,则在静默时间段期间或在非高峰时间段期间发送选择的视频帧,用于在所述服务提供商处的后续QoE计算。所述处理器还可以周期性间隔选择所述视频帧。所述计算装置可以是台式计算机、手持计算机、车载计算机、智能电话或便携式电视中的一个。
***的多个方面的硬件和软件实现方式之间几乎没有区别;使用硬件或软件总体上是代表成本相对于效率的权衡的设计选择(但并非总是这样,因为在特定的环境中硬件和软件之间的选择会变得重要)。存在可以实现本文所描述的处理和/或***和/或其它技术的各种载体(如,硬件、软件和/或固件),并且优选的载体将随着采用这些处理和/或***和/或其它技术的环境而改变。例如,如果实施者确定速度和精度是最重要的,则实施者会主要选用硬件和/或固件载体;如果灵活性是最重要的,则实施者会主要选用软件实现方式;或者,再另选地,实施者可以选用硬件、软件和/或固件的一些组合。
通过使用框图、流程图和/或示例,以上详述已阐述了装置和/或处理的各种实施方式。在这样的框图、流程图和/或示例包含一个或多个功能和/或操作的范围内,本领域技术人员将理解的是,可以由大范围的硬件、软件、固件或实际上其任何组合单独地和/或共同地实现这样的框图、流程图或示例内的各个功能和/或操作。在一种实施方式中,本文所描述的主题的若干部分可经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它集成的形式来实现。然而,本领域技术人员将认识到,本文所公开的实施方式的一些方面可以作为在一个或多个计算机上运行的一个或多个计算机程序(如,作为在一个或多个计算机***上运行的一个或多个程序)、作为在一个或多个处理器上运行的一个或多个程序(如,作为在一个或多个微处理器上运行的一个或多个程序)、作为固件、或者作为实际上它们的任何组合全部地或部分地等效地实现在集成电路中,并且将认识到,根据该公开,设计电路和/或针对软件或固件编写代码完全属于在本领域技术人员的技能之内。
本公开不限于根据本申请所描述的特定实施方式,这些实施方式旨在作为各个方面的例示。对于本领域技术人员明显的是,在不偏离本发明的精神和范围的情况下可做出多种修改和变型。根据前面的描述,本公开范围内的除在本文所列举的之外的在功能上等同的方法和设备对于本领域技术人员将是明显的。这些修改和变型旨在落入所附权利要求的范围内。仅由所附权利要求的条款连同这些权利要求所保护的等价物的全部范围来限定本公开。应当理解,本公开不限于特定的方法、***或组件,其当然可以变化。还应理解,本文使用的术语仅为了描述特定实施方式,并非旨在进行限制。
另外,本领域技术人员将理解的是,本文所描述的主题的机制能够被发布为各种形式的程序产品,并且,本文所描述的主题的示例性实施方式的应用与用于实际进行发布的信号承载介质的具体类型无关。信号承载介质的示例包括但不限于:诸如软盘、硬盘驱动器、光盘(CD)、数字通用光盘(DVD)、数字磁带、计算机存储器等的可记录型介质;以及诸如数字和/或模拟通信介质(如,光缆、波导、有线通信链路、无线通信链路等)的传输型介质。
本领域技术人员将认识到,以本文所阐述的方式描述装置和/或处理并且其后使用工程实践将这样描述的装置和/或处理集成到数据处理***中是本领域中常见的。也就是说,通过合理次数的实验,可以将本文描述的至少一部分装置和/或处理集成到数据处理***中。本领域技术人员将认识到,典型的数据处理***一般包括下列项中的一个或多个:***单元壳体、视频显示装置、诸如易失性存储器和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作***、驱动器、图形用户界面和应用程序的计算实体、诸如触摸板或屏幕的一个或多个交互设备和/或包括反馈回路的控制***。
可以利用任何适合的市售部件(诸如那些通常可以在数据计算/通信和/或网络计算/通信***中找到的部件)来实现通常的数据处理***。本文所描述的主题有时例示了包含在不同的其它部件中的或与不同的其它部件相连接的不同的部件。应理解的是,所描述的这种架构仅仅是示例性的,并且实际上,可以实现许多获得了相同的功能的其它架构。在概念上,用于获得相同功能的部件的任何配置都是有效地“关联”的,使得获得期望的功能。因此,不考虑架构或中间部件,可以将本文中被组合以获得特定的功能的任何两个部件视为是彼此“相关联”的,使得期望的功能被实现。同样,如此相关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦接”,以实现期望的功能,并且能够如此关联的任何两个部件也可以被视为彼此“可操作地可耦接”,以实现期望的功能。可操作地可耦接的具体示例包括但不限于物理上可连接和/或物理上交互的部件和/或可无线地交互和/或无线地交互的部件和/或逻辑上交互和/或可逻辑上交互的部件。
针对在本文中基本上任何复数和/或单数术语的使用,本技术领域技术人员可以从复数转化为单数和/或从单数转化为复数以适合于上下文和/或应用。为了清楚起见,可以在此明确地阐述各种单数/复数的置换。
本领域技术人员将理解的是,一般来说,本文所使用的措词,特别是在所附权利要求(例如,所附权利要求的主体)中使用的措词,通常旨在是“开放式”措词(例如,措词“包括”应被理解为“包括但不限于”,措词“具有”应被理解为“至少具有”,措词“包含”应被理解为“包含但不限于”等)。本领域技术人员将进一步理解的是,如果所引入的权利要求记载中的特定的数目是有意图的,则这样的意图将在权利要求中明确地记载,并且在没有这样的记载时,不存在这样的意图。例如,作为对理解的辅助,下面所附的权利要求可以包含对“至少一个”和“一个或多个”的引入性用语的使用,以引入权利要求记载。然而,即使当相同的权利要求包括引入性用语“一个或多个”或者“至少一个”以及诸如“一”或“一个”的不定冠词(例如,“一”和/或“一个”应被解释为表示“至少一个”或“一个或多个”)时,使用这样的用语也不应被解释为暗示由不定冠词“一”或“一个”所引入的权利要求记载将包含这种所引入的权利要求记载的任何特定的权利要求限制到仅包含一个这样的记载的实施方式;对于使用用于引入权利要求记载的定冠词来说也是如此。另外,即使明确地记载了所引入的权利要求记载的特定数目,本领域技术人员将理解的是,这样的记载也应该被理解为至少表示所记载的数目(例如,在没有其它修饰的情况下,“两个记载”的无修饰的记载表示至少两个记载或者两个或更多个记载)。
此外,在使用与“A、B和C中的至少一个等”类似的常规表述的情况下,一般来说,这种结构旨在表示本领域技术人员将理解的该常规表述的含义(例如,“具有A、B和C中的至少一个的***”将包括但不限于仅具有A的***、仅具有B的***、仅具有C的***、具有A和B的***、具有A和C的***、具有B和C的***和/或具有A、B和C的***等)。在使用与“A、B或C中的至少一个等”类似的常规表述的情况下,一般来说,这种结构旨在表示本领域技术人员将理解的该常规表述的含义(例如,“具有A、B或C中的至少一个的***”将包括但不限于仅具有A的***、仅具有B的***、仅具有C的***、具有A和B的***、具有A和C的***、具有B和C的***和/或具有A、B和C的***等)。本领域技术人员将进一步理解的是,示出两个或更多个替代性措词的几乎任何转折词和/或短语,无论是在说明书、权利要求或附图中,都应被理解为考虑可能包括措词中的一个、措词中任一个或全部措词。例如,短语“A或B”将被理解为可能包括“A”或“B”或“A和B”。
此外,当本公开的特征和方面被描述为马库什组合的措辞时,本领域技术人员将认识到,本公开因此还可按照该马库什组合中任意独立构件或构件的子组合来描述。
如本领域技术人员将理解的,针对任何目的及全部目的,例如以提供撰写的说明书的形式,本文所公开的全部范围还包括任何及全部可能的子范围及其子范围的组合。所列出的任何范围可以容易地被理解为充分地描述和实现了被划分为至少相等的两等份、三等份、四等份、五等份、十等份等的相同范围。作为非限制性示例,本文讨论的每个范围可容易地划分为前三分之一、中间三分之一和后三分之一等。如本领域技术人员将理解的,例如“达到”、“至少”、“大于”“小于”等这样的所有语言,包括所记载的数目,并指代上述随后可划分成子范围的范围。最后,如本领域技术人员将理解的,范围包括各个单独构件。因此,例如,具有1至3个元素的组指代具有1个、2个或3个元素的组。类似地,具有1至5个元素的组指代具有1个、2个、3个、4个或5个元素的组,以此类推。
虽然已在本文中公开了多个方面和实施方式,但是其它方面和实施方式对于本领域技术人员而言将是明显的。本文中公开的各个方面和实施方式是出于例示的目的而非旨在进行限制,本发明真正的范围和精神由所附权利要求来指示。

Claims (58)

1.一种用于在无线***中确定体验质量QoE的方法,所述方法包括:
发送将在一个或多个用户装置处回放的数据;
从用户装置接收发送的数据的一个或多个选择的部分;以及
利用所述发送的数据的接收的部分执行QoE计算。
2.根据权利要求1所述的方法,其中所述数据包括视频数据和/或音频数据中的至少一个。
3.根据权利要求2所述的方法,所述方法还包括:
确定将选择所述发送的数据中的哪些部分。
4.根据权利要求3所述的方法,所述方法还包括:
向所述一个或多个用户装置发送与所述发送的数据的将被选择的部分相关联的信息。
5.根据权利要求4所述的方法,所述方法还包括:
使用所述发送的数据的将被选择的部分作为参考数据部分,以通过将所述参考部分与所述发送的数据的所述接收的部分进行比较来执行QoE计算。
6.根据权利要求5所述的方法,其中所述发送的数据的所述选择的部分和所述参考部分是视频帧。
7.根据权利要求6所述的方法,其中发送与所述发送的数据的将被选择的部分相关联的信息包括标记将由所述用户装置选择的视频帧。
8.根据权利要求2所述的方法,所述方法还包括:
通过上传信道接收所述发送的数据的所述选择的部分;
基于QoE计算实时地调节一个或多个服务质量QoS参数。
9.根据权利要求8所述的方法,所述方法还包括:
通过减少用于下载信道的可用带宽,增加一个或多个非高峰数据发送时间段中用于所述上传信道的可用带宽。
10.根据权利要求9所述的方法,其中非高峰数据发送时间段包括广告间歇和节目中断中的一个或多个。
11.根据权利要求2所述的方法,所述方法还包括:
基于QoE计算,调节一个或多个将来的服务质量QoS参数。
12.根据权利要求2所述的方法,所述方法还包括:
在一个或多个静默时间段期间接收所述发送的数据的所述选择的部分;以及
存储所述发送的数据的所述接收的部分以用于后续QoE计算。
13.根据权利要求12所述的方法,其中所述静默时间段包括低带宽需求时间段。
14.根据权利要求2所述的方法,其中所述QoE计算包括将所述发送的数据的一部分中未受损参考帧的各像素与所述发送的数据的所述接收的部分中对应帧的各像素进行比较。
15.根据权利要求14所述的方法,所述方法还包括:
执行所述未受损参考帧与所述对应帧之间空间和/或时间对准中的至少一个。
16.根据权利要求2所述的方法,所述方法还包括:
使所述QoE计算的结果与下面中的一个或多个相关:瞬时QoS参数、所述用户装置的位置、所述用户装置的移动性、所述用户装置处的信号强度、所述用户装置处的可用存储器、所述用户装置的处理能力和/或通信网络上的负载。
17.根据权利要求1所述的方法,其中在发送所述数据的服务提供商或将所述数据提供给所述服务提供商的内容提供商中的一者处执行所述QoE计算。
18.一种使得能够在无线***中计算体验质量QoE的方法,所述方法包括:
接收将回放的数据;
确定接收的数据中将被发送给服务提供商或内容提供商中的一者以用于QoE计算的部分;
捕获所述数据的将被发送给所述服务提供商或所述内容提供商中的一者的所述部分;以及
将所述数据的所述部分发送给所述服务提供商。
19.根据权利要求18所述的方法,其中所述数据包括视频数据和/或音频数据中的至少一个。
20.根据权利要求19所述的方法,所述方法还包括:
从所述服务提供商或所述内容提供商中的一者接收与所述接收的数据中哪些部分将被选择相关联的信息。
21.根据权利要求19所述的方法,其中所述接收的数据的所述选择的部分是视频帧,与所述接收的数据的将被选择的部分关联的信息包括由所述服务提供商或所述内容提供商中的一者标记的视频帧。
22.根据权利要求19所述的方法,其中所述接收的数据的所述选择的部分是视频帧,在用户装置处选择所述接收的数据的将被发送给所述服务提供商或所述内容提供商中的一者的视频帧。
23.根据权利要求22所述的方法,所述方法还包括:
将选择的视频帧的标识符发送给所述服务提供商或所述内容提供商中的一者,使得在所述服务提供商或所述内容提供商中的一者处确定用于QoE计算的参考帧。
24.根据权利要求22所述的方法,其中基于上传信道可用性、所述用户装置的位置、所述用户装置的移动性、所述用户装置处的信号强度、所述用户装置处的可用存储器和/或所述用户装置的处理能力中的一个或多个来选择所述视频帧。
25.根据权利要求22所述的方法,所述方法还包括:
如果可获得足够的带宽以通过上传信道发送选择的视频帧,则发送能够被可靠地发送的最大可能数量的视频帧以用于在所述服务提供商或所述内容提供商中的一者处的实时QoE计算。
26.根据权利要求22所述的方法,所述方法还包括:
如果没有足够的带宽用于发送选择的视频帧,则在静默时间段期间或在非高峰时间段期间发送选择的视频帧,以用于在所述服务提供商或所述内容提供商中的一者处的后续QoE计算。
27.根据权利要求22所述的方法,所述方法还包括:
以周期性间隔选择所述视频帧。
28.根据权利要求19所述的方法,所述方法还包括:
通过专用上传信道和共享信道中的一个来发送所述接收的数据的所述选择的部分。
29.根据权利要求19所述的方法,所述方法还包括:
通过将所述接收的数据的所述部分与测试数据进行比较来执行QoE计算;以及
将QoE计算结果发送给所述服务提供商或所述内容提供商中的一者。
30.根据权利要求29所述的方法,其中所述接收的数据的将用于QoE计算的部分包括一个或多个视频帧。
31.根据权利要求30所述的方法,所述方法还包括:
将所述一个或多个视频帧的标识符发送给所述服务提供商或所述内容提供商中的一者;以及
接收对应的测试视频帧。
32.根据权利要求18所述的方法,其中在所述服务提供商或所述内容提供商中的一者处执行所述QoE计算。
33.一种经由无线网络提供进行体验质量QoE计算的音频/视频发送服务的服务器,所述服务器包括:
通信模块,所述通信模块适于与一个或多个用户装置无线地通信;
存储器,所述存储器适于存储指令;以及
处理器,所述处理器连接到所述通信模块和所述存储器,所述处理器适于:
发送将在一个或多个用户装置处回放的数据;
从用户装置接收发送的数据的一个或多个选择的部分;以及
利用所述发送的数据的接收的部分执行QoE计算。
34.根据权利要求33所述的服务器,其中所述数据包括视频数据和/或音频数据中的至少一个。
35.根据权利要求34所述的服务器,其中所述处理器还适于:
确定将选择所述发送的数据的哪些部分。
36.根据权利要求34所述的服务器,其中所述处理器还适于:
向所述一个或多个用户装置发送与所述发送的数据的将被选择的部分相关联的信息。
37.根据权利要求34所述的服务器,其中所述处理器还适于:
使用所述发送的数据的将被选择的部分作为参考数据部分,以通过将所述参考部分与所述发送的数据的所述接收的部分进行比较来执行QoE计算。
38.根据权利要求37所述的服务器,其中所述发送的数据的所述选择的部分和所述参考部分是视频帧。
39.根据权利要求37所述的服务器,其中所述处理器还适于通过标记将由所述用户装置选择的视频帧来发送与所述发送的数据的将被选择的部分关联的信息。
40.根据权利要求34所述的服务器,其中所述处理器还适于:
通过上传信道接收所述发送的数据的所述选择的部分;以及
基于所述QoE计算实时地调节一个或多个服务质量QoS参数。
41.根据权利要求40所述的服务器,其中所述处理器还适于:
通过减少用于下载信道的可用带宽,增加一个或多个非高峰视频数据发送时间段时用于所述上传信道的可用带宽。
42.根据权利要求34所述的服务器,其中所述处理器还适于:
在一个或多个静默时间段期间接收所述发送的数据的所述选择的部分;以及
存储所述发送的数据的所述接收的部分以用于后续QoE计算。
43.根据权利要求42所述的服务器,其中所述处理器还适于:
基于所述后续QoE计算,调节一个或多个将来的服务质量QoS参数。
44.根据权利要求42所述的服务器,其中所述静默时间段包括低带宽需求时间段。
45.根据权利要求34所述的服务器,其中所述处理器还适于:
将所述发送的数据的一部分中未受损参考帧的各像素与所述发送的数据的所述接收的部分中对应帧的各像素进行比较。
46.根据权利要求34所述的服务器,其中所述服务器是发送所述数据的服务提供商或将所述数据提供给所述服务提供商的内容提供商中的一者的一部分。
47.根据权利要求34所述的服务器,其中所述处理器还适于:
使所述QoE计算的结果与下面中的一个或多个相关:瞬时QoS参数、所述用户装置的位置、所述用户装置的移动性、所述用户装置处的信号强度、所述用户装置处的可用存储器、所述用户装置的处理能力和/或通信网络上的负载。
48.一种用于经由无线网络接收进行体验质量QoE计算的音频/视频发送服务的计算装置,所述计算装置包括:
通信模块,所述通信模块适于与服务提供商无线地通信;
存储器,所述存储器适于存储指令;
处理器,所述处理器连接到所述通信模块和所述存储器,所述处理器适于:
接收将回放的数据;
确定接收的数据中将被发送给所述服务提供商以用于QoE计算的部分;
捕获所述数据中将被发送给所述服务提供商的所述部分;以及
将所述数据的所述部分发送给所述服务提供商。
49.根据权利要求48所述的计算装置,其中所述数据包括视频数据和/或音频数据中的至少一个。
50.根据权利要求49所述的计算装置,其中所述处理器还适于:
从所述服务提供商接收与所述接收的数据中哪些部分将被选择相关联的信息。
51.根据权利要求50所述的计算装置,其中所述接收的数据的所述选择的部分是视频帧,与所述接收的数据的将被选择的部分关联的信息包括由所述服务提供商标记的视频帧。
52.根据权利要求49所述的计算装置,其中所述接收的数据的所述选择的部分是视频帧,在所述计算装置处选择所述接收的数据的将被发送给所述服务提供商的视频帧。
53.根据权利要求52所述的计算装置,其中所述处理器还适于:
将选择的视频帧的标识符发送给所述服务提供商,使得在所述服务提供商处确定用于QoE计算的参考帧。
54.根据权利要求52所述的计算装置,其中基于下列中的一个或多个选择视频帧:上传信道可用性、所述计算装置的位置、所述计算装置的移动性、所述计算装置处的信号强度、所述计算装置处的可用存储器和/或所述用户装置的处理能力。
55.根据权利要求52所述的计算装置,其中所述处理器还适于:
如果可获得足够的带宽以通过上传信道发送选择的视频帧,则发送能够被可靠地发送的最大可能数量的视频帧,用于在所述服务提供商处的实时QoE计算。
56.根据权利要求52所述的计算装置,其中所述处理器还适于:
如果没有足够的带宽以发送选择的视频帧,则在静默时间段期间或在非高峰时间段期间发送选择的视频帧,用于在所述服务提供商处的后续QoE计算。
57.根据权利要求52所述的计算装置,其中所述处理器还适于:
以周期性间隔选择所述视频帧。
58.根据权利要求49所述的计算装置,其中所述计算装置是台式计算机、手持计算机、车载计算机、智能电话或便携式电视中的一个。
CN201180071732.4A 2011-04-20 2011-06-20 移动内容体验质量的实时全参考计算方法、装置 Expired - Fee Related CN103621145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN1369CH2011 2011-04-20
IN1369/CHE/2011 2011-04-20
PCT/IB2011/052687 WO2012143764A1 (en) 2011-04-20 2011-06-20 Full-reference computation of mobile content quality of experience in real-time

Publications (2)

Publication Number Publication Date
CN103621145A true CN103621145A (zh) 2014-03-05
CN103621145B CN103621145B (zh) 2017-03-29

Family

ID=47041101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071732.4A Expired - Fee Related CN103621145B (zh) 2011-04-20 2011-06-20 移动内容体验质量的实时全参考计算方法、装置

Country Status (5)

Country Link
US (1) US9060191B2 (zh)
EP (1) EP2700267B1 (zh)
JP (1) JP5883500B2 (zh)
CN (1) CN103621145B (zh)
WO (1) WO2012143764A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144311A (zh) * 2013-05-07 2014-11-12 中兴通讯股份有限公司 一种自适应调节视频的方法及***
CN105474650A (zh) * 2013-06-19 2016-04-06 米夏埃尔·凯尔光学通讯有限公司 用于确定具有变化的质量对比特率的媒体数据流的质量的概念
CN111770309A (zh) * 2020-06-24 2020-10-13 浙江大华技术股份有限公司 一种视频上传方法、装置、电子设备及存储介质
CN114071063A (zh) * 2021-11-15 2022-02-18 深圳市健成云视科技有限公司 基于双向选择权的信息分享方法、装置、设备及介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848058B2 (en) 2007-08-31 2017-12-19 Cardiac Pacemakers, Inc. Medical data transport over wireless life critical network employing dynamic communication link mapping
US8395498B2 (en) 2007-08-31 2013-03-12 Cardiac Pacemakers, Inc. Wireless patient communicator employing security information management
US8812841B2 (en) 2009-03-04 2014-08-19 Cardiac Pacemakers, Inc. Communications hub for use in life critical network
US8319631B2 (en) 2009-03-04 2012-11-27 Cardiac Pacemakers, Inc. Modular patient portable communicator for use in life critical network
WO2011018868A1 (ja) * 2009-08-10 2011-02-17 日本電気株式会社 配信システム
EP2700267B1 (en) * 2011-04-20 2017-02-22 Empire Technology Development LLC Full-reference computation of mobile content quality of experience in real-time
CN103703825B (zh) 2011-08-29 2017-05-03 英派尔科技开发有限公司 以应用为基础在终端上输出估计的QoE的方法
US20130301415A1 (en) * 2011-09-29 2013-11-14 Avvasi Inc. Methods and systems for managing media traffic based on network conditions
US20140181266A1 (en) * 2011-09-29 2014-06-26 Avvasi Inc. System, streaming media optimizer and methods for use therewith
US20150082345A1 (en) * 2011-09-29 2015-03-19 Avvasi Inc. System for generating enhanced advertizements and methods for use therewith
US20130304934A1 (en) * 2011-09-29 2013-11-14 Avvasi Inc. Methods and systems for controlling quality of a media session
WO2013095480A1 (en) 2011-12-22 2013-06-27 Empire Technology Development Llc Apparatus, mobile terminal, and method to estimate quality of experience of application
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
US9300991B2 (en) * 2013-11-13 2016-03-29 International Business Machines Corporation Use of simultaneously received videos by a system to generate a quality of experience value
CN103763633B (zh) * 2014-02-20 2017-05-03 中国科学院声学研究所 基于OpenFlow的3D视频传输方法
KR102656605B1 (ko) * 2014-11-05 2024-04-12 삼성전자주식회사 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체
US9756112B2 (en) 2015-02-11 2017-09-05 At&T Intellectual Property I, L.P. Method and system for managing service quality according to network status predictions
US10021462B2 (en) * 2016-03-16 2018-07-10 Time Warner Cable Enterprises Llc Content distribution and encoder testing techniques
FR3067897B1 (fr) * 2017-06-14 2020-09-11 Bouygues Telecom Sa Procede d'evaluation de l'experience utilisateur lors de la lecture d'un contenu video sur un terminal mobile
US10693575B2 (en) 2018-08-31 2020-06-23 At&T Intellectual Property I, L.P. System and method for throughput prediction for cellular networks
US10880616B2 (en) * 2018-09-28 2020-12-29 Viasat, Inc. Systems and methods for quality-of-experience driven in-transport communications
US10735742B2 (en) 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
US10868726B2 (en) 2018-12-07 2020-12-15 At&T Intellectual Property I, L.P. Apparatus and method for selecting a bandwidth prediction source
US11490149B2 (en) 2019-03-15 2022-11-01 At&T Intellectual Property I, L.P. Cap-based client-network interaction for improved streaming experience
WO2022201225A1 (ja) * 2021-03-22 2022-09-29 日本電信電話株式会社 制御装置、制御方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246584A (ja) * 2008-03-31 2009-10-22 Nagoya Institute Of Technology 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
JP3687293B2 (ja) * 1997-08-11 2005-08-24 横河電機株式会社 動画通信管理装置
US6453315B1 (en) 1999-09-22 2002-09-17 Applied Semantics, Inc. Meaning-based information organization and retrieval
US7149223B2 (en) * 2000-03-06 2006-12-12 Juniper Networks, Inc. Enhanced fiber nodes with CMTS capability
JP2002344913A (ja) 2001-05-16 2002-11-29 Nec Yonezawa Ltd ネットワークにおける映像データの変換処理装置及び変換処理方法並びに変換処理サービス
US6865374B2 (en) * 2001-09-18 2005-03-08 Koninklijke Philips Electronics N.V. Video recovery system and method
US7328345B2 (en) * 2002-01-29 2008-02-05 Widevine Technologies, Inc. Method and system for end to end securing of content for video on demand
CA2536391A1 (en) * 2003-08-21 2005-03-10 Vidiator Enterprises Inc. Quality of experience (qoe) metrics for wireless communication networks
CA2457969A1 (en) * 2004-01-14 2005-07-14 Yaron Mayer System and method for improving the balance between download and upload traffic on the internet and/or other networks
AU2004317111B2 (en) 2004-02-13 2009-01-08 Nokia Corporation Timing of quality of experience metrics
CN1993928B (zh) 2004-08-11 2011-04-13 维迪亚特企业公司 多播和广播串流方法和***
JP4817246B2 (ja) * 2006-07-31 2011-11-16 Kddi株式会社 映像品質の客観評価装置
US20080049755A1 (en) 2006-08-25 2008-02-28 Motorola, Inc. Method and system for optimizing resource allocations based on quality of service needs of one or more applications
US8424049B2 (en) * 2006-08-25 2013-04-16 Verizon Laboratories Inc. Measurement of video quality at customer premises
US7729381B2 (en) * 2006-09-15 2010-06-01 At&T Intellectual Property I, L.P. In-band media performance monitoring
US7945166B2 (en) * 2006-12-20 2011-05-17 Hoya Corporation Usa Independent upstream/downstream bandwidth allocations in a common hybrid telecommunications network
US8081609B2 (en) * 2007-02-14 2011-12-20 Alcatel Lucent Proxy-based signaling architecture for streaming media services in a wireless communication system
US20090025052A1 (en) * 2007-07-18 2009-01-22 General Instrument Corporation Method and Apparatus for Controlling the Bandwidth of SDV Programming Supplied to an Edge Device in a n SDV System
KR100922898B1 (ko) * 2007-12-17 2009-10-20 한국전자통신연구원 IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8347344B2 (en) * 2008-12-18 2013-01-01 Vmware, Inc. Measuring remote video playback performance with embedded encoded pixels
US8745677B2 (en) * 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US20130298170A1 (en) * 2009-06-12 2013-11-07 Cygnus Broadband, Inc. Video streaming quality of experience recovery using a video quality metric
US20110255589A1 (en) * 2009-08-03 2011-10-20 Droplet Technology, Inc. Methods of compressing data and methods of assessing the same
US8516137B2 (en) 2009-11-16 2013-08-20 Microsoft Corporation Managing virtual hard drives as blobs
US8345569B2 (en) * 2009-11-23 2013-01-01 Dialogic Corporation Multiple watermarks for fidelity assessment
US8495250B2 (en) 2009-12-16 2013-07-23 International Business Machines Corporation Asynchronous file operations in a scalable multi-node file system cache for a remote cluster file system
US20110271307A1 (en) * 2009-12-18 2011-11-03 Tektronix International Sales Gmbh Video data stream evaluation systems and methods
US8385221B2 (en) * 2010-02-28 2013-02-26 International Business Machines Corporation System and method for monitoring of user quality-of-experience on a wireless network
US9965771B2 (en) * 2010-07-02 2018-05-08 Dialogic Corporation System and method of tracking video advertisements
US8781447B2 (en) * 2010-09-24 2014-07-15 Intel Corporation Techniques to wirelessly transmit data
EP2700267B1 (en) * 2011-04-20 2017-02-22 Empire Technology Development LLC Full-reference computation of mobile content quality of experience in real-time
KR101680948B1 (ko) * 2011-07-06 2016-11-29 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 최적의 디스플레이를 위한 컨텐츠의 트랜스코딩 검출 및 조정
US9154610B2 (en) * 2012-05-14 2015-10-06 International Business Machines Corporation Inferring quality in UT calls based on real-time bi-directional exploitation of a full reference algorithm
US20140033242A1 (en) * 2012-07-24 2014-01-30 Srinivasa Rao Video service assurance systems and methods in wireless networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246584A (ja) * 2008-03-31 2009-10-22 Nagoya Institute Of Technology 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO WANG,XIANGMIN WEN,SUN YONG,ZHENG WEI: "A New Approach Measuring Users’QoE in the IPTV", 《2009 PACIFIC-ASIA CONFERENCE ON CIRCUITS,COMMUNICATIONS AND SYSTEM》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144311A (zh) * 2013-05-07 2014-11-12 中兴通讯股份有限公司 一种自适应调节视频的方法及***
CN105474650A (zh) * 2013-06-19 2016-04-06 米夏埃尔·凯尔光学通讯有限公司 用于确定具有变化的质量对比特率的媒体数据流的质量的概念
CN105474650B (zh) * 2013-06-19 2019-07-12 米夏埃尔·凯尔光学通讯有限公司 用于确定具有变化的质量对比特率的媒体数据流的质量的概念
US10687122B2 (en) 2013-06-19 2020-06-16 Opticom Dipl.-Ing. Michael Keyhl Gmbh Concept for determining the quality of a media data stream with varying quality-to-bitrate
CN111770309A (zh) * 2020-06-24 2020-10-13 浙江大华技术股份有限公司 一种视频上传方法、装置、电子设备及存储介质
CN114071063A (zh) * 2021-11-15 2022-02-18 深圳市健成云视科技有限公司 基于双向选择权的信息分享方法、装置、设备及介质

Also Published As

Publication number Publication date
EP2700267A1 (en) 2014-02-26
US20130133011A1 (en) 2013-05-23
US9060191B2 (en) 2015-06-16
JP2014518029A (ja) 2014-07-24
CN103621145B (zh) 2017-03-29
WO2012143764A1 (en) 2012-10-26
JP5883500B2 (ja) 2016-03-15
EP2700267A4 (en) 2015-01-07
EP2700267B1 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103621145A (zh) 移动内容体验质量的实时全参考计算
US10069705B2 (en) Data usage profiles for users and applications
Verkasalo Contextual patterns in mobile service usage
US9766993B2 (en) Quality of information assessment in dynamic sensor networks
DK1763174T3 (da) Systemer og fremgangsmåder til netværkstilslutning af digitale videooptagere
US20150244645A1 (en) Intelligent infrastructure capacity management
US20180302692A1 (en) Providing Advanced Playback And Control Functionality To Video Client
CN104981768A (zh) 基于云的串流数据接收机和保存程序
CN103649968B (zh) 用于最佳显示的转码检测和内容调整
US20210194774A1 (en) System and method for a generic key performance indicator platform
US11722371B2 (en) Utilizing unstructured data in self-organized networks
US20220163958A1 (en) Methods and systems for managing a pipe network of natural gas
Fernández-Fernández et al. Energy efficiency and network performance: A reality check in SDN-based 5G systems
CN107710263A (zh) 商店访问数据创建和管理
Beshley et al. A self-optimizing technique based on vertical handover for load balancing in heterogeneous wireless networks using big data analytics
Wu et al. Spice: Socially-driven learning-based mobile media prefetching
US20170264923A1 (en) Dynamic manifest for content programming
US20140358996A1 (en) Distributed encoding and decoding system, method, and device
CN103488657A (zh) 一种数据表关联方法及装置
Sahinel et al. Resource management in converged optical and millimeter wave radio networks: a review
Chen et al. A distributed algorithm for maximizing utility of data collection in a crowd sensing system
CN103154978B (zh) 用于调度改变的***和方法
US9213844B2 (en) Virtual datacenter private sublets for quarantined access to data
Beaty et al. Fog Computing.
US8270986B1 (en) Allocating drop zones in a mobile communication network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170329

Termination date: 20190620

CF01 Termination of patent right due to non-payment of annual fee