CN107087160A - 一种基于BP‑Adaboost神经网络的用户体验质量的预测方法 - Google Patents

一种基于BP‑Adaboost神经网络的用户体验质量的预测方法 Download PDF

Info

Publication number
CN107087160A
CN107087160A CN201710291022.1A CN201710291022A CN107087160A CN 107087160 A CN107087160 A CN 107087160A CN 201710291022 A CN201710291022 A CN 201710291022A CN 107087160 A CN107087160 A CN 107087160A
Authority
CN
China
Prior art keywords
adaboost
data
user experience
training
kpi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710291022.1A
Other languages
English (en)
Inventor
魏昕
黄若尘
高赟
毛佳丽
周亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710291022.1A priority Critical patent/CN107087160A/zh
Publication of CN107087160A publication Critical patent/CN107087160A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于BP‑Adaboost神经网络的用户体验质量的预测方法,该方法用于解决现有IPTV视频业务中对于用户体验质量的预测准确性不高的缺陷,本发明的实施流程包括:首先从IPTV机顶盒采集到的数据中抽取KPI数据,并提取特征,特别设计了用户观看率作为其中的重要特征,而后基于Adaboost框架,并将BP神经网络嵌入其中,作为弱分类器,完成BP‑Adaboost神经网络模型的训练,而后对未知用户体验质量的KPI数据进行预测。采用本发明的方法,能够有助于从用户主观感受出发,更好地预测用户体验质量,并且所设计的新型的模型训练和预测方法可以更加准确、高效地预测用户体验质量。

Description

一种基于BP-Adaboost神经网络的用户体验质量的预测方法
技术领域
本发明涉及视频业务中的用户体验质量分析技术领域,尤其涉及一种基于BP-Adaboost 神经网络的用户体验质量的预测方法。
背景技术
随着有线4K、移动2K、AR/VR等业务的兴起以及通信和网络技术的飞速发展,原本已 经炙手可热的视频服务更是红得发紫,产业链热情被极大点燃,包括视频服务商、运营商、 互联网服务提供商、设备商等在内的各个环节都积极投身于大视频热潮。在大视频时代下, 各种网络中蓬勃发展的视频服务强调的已不仅仅是速度、是带宽、是视频质量,更是用户的 感受和体验。面对海量的视频服务,用户最终根据的还是自身的体验去做出判断和选择。对 于视频服务提供商和网络运营商而言,用户体验的优劣直接影响到视频服务的普及度。只有 变被动运维为主动感知,提升服务质量,从而实现持续提升用户的认可度和黏度,将网络资 源和运营活动定位到最有价值的用户群体中,实现用户群的稳定和资源的优化,才能在激烈 的竞争中实现产业收入的持续增长。
科学地定义度量用户体验的标准,对于提升体验而言是首先需要解决的问题。当前,体 验质量(Quality of Experience,QoE)常用来评价和描述用户的主观感受。QoE越好,说明IPTV 提供的视频服务越好。故而,对于用户体验质量的预测变得尤为重要。虽然针对用户QoE预 测的机器学习模型和方法很多,但往往存在模型的适应性不够灵活,忽略不同特征之间的独 立性,导致预测的准确度不够高等缺点。因此,需要设计高效、准确地用户QoE预测方法。 而本发明能够很好地解决上面的问题。
发明内容
本发明目的在于解决上述现有技术的不足,提出了一种基于BP-Adaboost神经网络的用户 体验质量的预测方法,该方法应用于解决现有IPTV视频业务中对于用户体验质量的预测准 确性不高的问题,该方法首先从IPTV机顶盒采集到的数据中抽取KPI数据,并提取特征, 特别设计了用户观看率作为其中的重要特征,而后基于Adaboost框架,并将BP神经网络嵌 入其中,作为弱分类器,完成BP-Adaboost神经网络模型的训练,而后对未知用户体验质量 的KPI数据进行预测。采用本发明的方法,能够有助于从用户主观感受出发,更好地预测用 户体验质量,并且所设计的新型的模型训练和预测方法可以更加准确、高效地预测用户体验 质量。
本发明解决其技术问题所采取的技术方案是:一种基于BP-Adaboost神经网络的用户体 验质量的预测方法,该方法包括如下步骤:
步骤1:数据预处理,确定影响用户满意度的因素。
(1-1)从IPTV机顶盒收集的视频业务的关键性能指标(KPI)原始记录中,挑选固定时 间长度的KPI数据,每条KPI数据中包含5个属性:设备传输时延df、设备丢包率lp、媒体丢失率lm、用户观看视频的开始时间start_time、观看视频的结束时间end_time;
(1-2)计算节目观看率Vr,其计算公式如下:
在上式中,program_time为该节目的总时长,其可以由节目的id号,通过查询视频供应商 的节目单,映射得到。最终每个KPI数据的特征为:{df,lp,lm,Vr};KPI数据集为其对应的标签为Y={y1,...,yi,...,yN},其中当yi=1表示用户体验不佳, yi=0表示用户体验正常。
(1-3)对KPI数据集进行标准化,即,先求出的均值μ和方差Σ,标准化后的数据为: X={x1,...,xi,...,xN}。
步骤2:训练模型。输入预处理后的数据,训练得到BP_Adaboost模型,具体过程如下:
(2-1)初始化训练数据的权重D1=(w11,…,w1i,…,w1N),其中w1i=1/N,i=1,2,…,N,N表示 数据量;此外,令迭代次数m=1,设定总迭代次数为M;
(2-2)开始迭代,采用选择一个三层神经网络,其包含输入层—隐层—输出层,各层的 节点数分别为4、8、2,采用标准的反向传导(BP)算法,训练得到弱分类器Gm(X),需要说明的是Gm(X)的输出为0或1。
(2-3)计算训练数据在当前分类器Gm(X)下的错误率:
其中I(.)为指示函数,括号中的式子成立时,其值为1;不成立时,其值为0。wmi来自第m 次迭代后的权重分布集合Dm
(2-4)计算Gm(X)的系数αm
αm表示Gm(X)在最终分类器中的重要程度,即得到的基本分类器Gm(X)在最终分类器中所占 的比重。
(2-5)更新权重分布集合为Dm+1=(wm1,…,wmi,…,wmN),其中wmi的计算公式如下:
其中,用于对上式进行规范化。
(2-6)判断是否终止迭代。如果m<M,则跳转到步骤(2-2),迭代次数加1(m=m+1),继续下一次迭代;否则,终止迭代,输出完成BP-Adaboost神经网络分类器的训练过程。
步骤3:完成KPI数据的用户体验质量的预测。
(3-1)对于未知用户体验质量标签y'的KPI数据首先根据步骤1完成预处理,得到x'。
(3-2)将x'作为输入,代入训练好的BP-Adaboost神经网络分类器,如下:
其中,为经过步骤2训练后得到的输出。
有益效果:
1.本发明对数据进行预处理,能够很好地将传统的网络性能传输参数与用户体验相关因 素相结合,特别是将节目观看率作为重要的特征属性,本发明能够有助于从用户主观感受出 发,更好地预测用户体验质量。
2.本发明能够很好地将BP神经网络和Adaboost算法进行有机结合,所设计的新型的模 型训练方法可以更加准确、高效地预测用户体验质量。
附图说明
图1为本发明的方法流程图。
图2为在三种数据集下本发明的方法BP_Ada和BP,SVM的平均绝对误差对比。
图3为在三种数据集下本发明的方法BP_Ada和BP,SVM的均方误差对比。
图4为在三种数据集下本发明的方法BP_Ada和BP,SVM的绝对误差对比。
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细说明。
如图1所示,本发明提供了一种基于BP-Adaboost神经网络的用户体验质量的预测方法, 该方法包括如下步骤:
步骤1:数据预处理,确定影响用户满意度的因素。
(1-1)从IPTV机顶盒收集的视频业务的关键性能指标(KPI)原始记录中,挑选固定时 间长度的KPI数据,每条KPI数据中包含5个属性:设备传输时延df、设备丢包率lp、媒体丢失率lm、用户观看视频的开始时间start_time、观看视频的结束时间end_time;
(1-2)计算节目观看率Vr,其计算公式如下:
在上式中,program_time为该节目的总时长,其可以由节目的id号,通过查询视频供应商 的节目单,映射得到。最终每个KPI数据的特征为:{df,lp,lm,Vr};KPI数据集为其对应的标签为Y={y1,...,yi,...,yN},其中当yi=1表示用户体验不佳, yi=0表示用户体验正常。
(1-3)对KPI数据集进行标准化,即,先求出的均值μ和方差Σ,标准化后的数据为: X={x1,...,xi,...,xN}。
步骤2:训练模型。输入预处理后的数据,训练得到BP_Adaboost模型,具体过程如下:
(2-1)初始化训练数据的权重D1=(w11,…,w1i,…,w1N),其中w1i=1/N,i=1,2,…,N,N表示 数据量;此外,令迭代次数m=1,设定总迭代次数为M;
(2-2)开始迭代,采用选择一个三层神经网络,其包含输入层—隐层—输出层,各层的 节点数分别为4、8、2,采用标准的反向传导(BP)算法,训练得到弱分类器Gm(X),需要说明的是Gm(X)的输出为0或1。
(2-3)计算训练数据在当前分类器Gm(X)下的错误率:
其中I(.)为指示函数,括号中的式子成立时,其值为1;不成立时,其值为0。wmi来自第m 次迭代后的权重分布集合Dm
(2-4)计算Gm(X)的系数αm
αm表示Gm(X)在最终分类器中的重要程度,即得到的基本分类器Gm(X)在最终分类器中所占 的比重。
(2-5)更新权重分布集合为Dm+1=(wm1,…,wmi,…,wmN),其中wmi的计算公式如下:
其中,用于对上式进行规范化。
(2-7)判断是否终止迭代。如果m<M,则跳转到步骤(2-2),迭代次数加1(m=m+1),继续下一次迭代;否则,终止迭代,输出完成BP-Adaboost神经网络分类器的训练过程。
步骤3:完成KPI数据的用户体验质量的预测。
(3-1)对于未知用户体验质量标签y'的KPI数据首先根据步骤1完成预处理,得到x'。
(3-2)将x'作为输入,代入训练好的BP-Adaboost神经网络分类器,如下:
其中,为经过步骤2训练后得到的输出。
性能评价:
本发明按上述流程进行实验,首先进行数据预处理,选择特征属性参数,而后采用BP-Adaboost神经网络模型完成训练和预测。所用的数据集包括IPTV机顶盒搜集的不同用户 的100000记录,随机分成三个数据集,对每个数据集,将其中90%作为训练数据,通过步骤 2训练出预测模型。其余10%作为待预测数据,通过步骤3完成预测任务。为了分析结果,采用平均绝对误差(MAE)、均方误差(MSE)以及绝对误差来对比本发明方法和两种有代 表性的现有方法——支持向量机(SVM)以及BP神经网络的预测性能。
图2对比了BP_Ada(BP-Adaboost的缩写,本发明方法),BP和SVM算法在三种数据集下的平均绝对误差(MAE),从图中可看出,本发明采用的算法比其他两种方法性能更好,其平均绝对误差更低。传统的机器学习方法SVM比其他两种算法的MAE值高,这说明BP 和BP_Ada在一定程度上提高了预测的准确度,SVM并没有神经网络的预测性能好。此外, 与BP的性能相比,BP_Ada的性能有了进一步的提升,其原因主要是BP_Ada调整了BP神 经网络的权重,进一步地提高了预测准确率。
图3对比了BP_Ada,BP,SVM算法在三种数据集下的均方误差(MSE),可以看出, 本发明具有最低的均方误差,即说明BP_Ada的预测准确度最高。
图4对比了BP_Ada,BP,SVM的绝对误差。图中横坐标为随机选取出的21个用户。 从图中可以看出,本发明的方法通过在将BP神经网络嵌入Adaboost框架,有效地提高了预 测的准确度。

Claims (5)

1.一种基于BP-Adaboost神经网络的用户体验质量的预测方法,其特征在于,所述方法包括如下步骤:
步骤1:数据预处理,确定影响用户满意度的因素;
步骤2:训练模型,输入预处理后的数据,训练得到BP_Adaboost模型;
步骤3:完成KPI数据的用户体验质量的预测。
2.根据权利要求1所述的一种基于BP-Adaboost神经网络的用户体验质量的预测方法,其特征在于,所述步骤1包括:
(1-1)从IPTV机顶盒收集的视频业务的关键性能指标(KPI)原始记录中,挑选固定时间长度的KPI数据,每条KPI数据中包含5个属性:设备传输时延df、设备丢包率lp、媒体丢失率lm、用户观看视频的开始时间start_time、观看视频的结束时间end_time;
(1-2)计算节目观看率Vr,其计算公式如下:
在上式中,start_time和end_time分别为节目的开始和结束时刻,program_time为该节目的总时长,其根据节目的id号,通过查询视频供应商的节目单,映射得到;最终每个KPI数据的特征为:{df,lp,lm,Vr};KPI数据集为其对应的标签为Y={y1,...,yi,...,yN},其中当yi=1表示用户体验不佳,yi=0表示用户体验正常;
(1-3)对KPI数据集进行标准化,即,先求出的均值μ和方差Σ,标准化后的数据为:X={x1,...,xi,...,xN}。
3.根据权利要求1所述的一种基于BP-Adaboost神经网络的用户体验质量的预测方法,其特征在于,所述步骤2包括:
(2-1)初始化训练数据的权重D1=(w11,…,w1i,…,w1N),其中w1i=1/N,i=1,2,…,N,N表示数据量;此外,令迭代次数m=1,设定总迭代次数为M;
(2-2)开始迭代,采用选择一个三层神经网络,其包含输入层—隐层—输出层,各层的节点数分别为4、8、2,采用标准的反向传导(BP)算法,训练得到弱分类器Gm(X),需要说明的是Gm(X)的输出为0或1;
(2-3)计算训练数据在当前分类器Gm(X)下的错误率:
其中I(.)为指示函数,括号中的式子成立时,其值为1;不成立时,其值为0,wmi来自第m次迭代后的权重分布集合Dm
(2-4)计算Gm(X)的系数αm
αm表示Gm(X)在最终分类器中的重要程度,即得到的基本分类器Gm(X)在最终分类器中所占的比重;
(2-5)更新权重分布集合为Dm+1=(wm1,…,wmi,…,wmN),其中wmi的计算公式如下:
其中,用于对上式进行规范化;
(2-6)判断是否终止迭代,如果m<M,则跳转到步骤(2-2),迭代次数加1(m=m+1),继续下一次迭代;否则,终止迭代,输出完成BP-Adaboost神经网络分类器的训练过程;其中M为预先设定的总迭代次数,在本发明中可以取10~20中的任意整数。
4.根据权利要求1所述的一种基于BP-Adaboost神经网络的用户体验质量的预测方法,其特征在于,所述步骤3包括:
(3-1)对于未知用户体验质量标签y'的KPI数据首先根据步骤1完成预处理,得到x';
(3-2)将x'作为输入,代入训练好的BP-Adaboost神经网络分类器,如下:
其中,为经过步骤2训练后得到的输出。
5.根据权利要求1所述的一种基于BP-Adaboost神经网络的用户体验质量的预测方法,其特征在于:所述方法首先从IPTV机顶盒采集到的数据中抽取KPI数据,并提取特征,特别设计了用户观看率作为其中的重要特征,而后基于Adaboost框架,并将BP神经网络嵌入其中,作为弱分类器,完成BP-Adaboost神经网络模型的训练,而后对未知用户体验质量的KPI数据进行预测。
CN201710291022.1A 2017-04-28 2017-04-28 一种基于BP‑Adaboost神经网络的用户体验质量的预测方法 Pending CN107087160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710291022.1A CN107087160A (zh) 2017-04-28 2017-04-28 一种基于BP‑Adaboost神经网络的用户体验质量的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710291022.1A CN107087160A (zh) 2017-04-28 2017-04-28 一种基于BP‑Adaboost神经网络的用户体验质量的预测方法

Publications (1)

Publication Number Publication Date
CN107087160A true CN107087160A (zh) 2017-08-22

Family

ID=59613041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710291022.1A Pending CN107087160A (zh) 2017-04-28 2017-04-28 一种基于BP‑Adaboost神经网络的用户体验质量的预测方法

Country Status (1)

Country Link
CN (1) CN107087160A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483511A (zh) * 2017-10-10 2017-12-15 山东大学 一种基于软件定义网络SDN的流媒体QoE控制***
CN107563394A (zh) * 2017-09-19 2018-01-09 广东工业大学 一种预测图片流行度的方法及***
CN107733705A (zh) * 2017-10-10 2018-02-23 锐捷网络股份有限公司 一种用户体验质量评估模型建立方法及设备
CN109905382A (zh) * 2019-02-15 2019-06-18 南京邮电大学 Iptv视频流业务用户体验质量主客观综合评估方法
CN109934627A (zh) * 2019-03-05 2019-06-25 中国联合网络通信集团有限公司 建立满意度预测模型的方法及装置
CN110446112A (zh) * 2019-07-01 2019-11-12 南京邮电大学 基于双向LSTM-Attention的IPTV用户体验预测方法
CN111343484A (zh) * 2018-12-19 2020-06-26 飞思达技术(北京)有限公司 基于人工智能的iptv/ott智能质量告警方法
CN111369091A (zh) * 2018-12-26 2020-07-03 ***通信集团四川有限公司 用户感知画像分析的方法、装置、设备和介质
CN112231621A (zh) * 2020-10-13 2021-01-15 电子科技大学 基于BP-adaboost降低元素检出限的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946613A (zh) * 2012-10-10 2013-02-27 北京邮电大学 一种用于测量用户业务体验质量的方法
US20130148525A1 (en) * 2010-05-14 2013-06-13 Telefonica, S.A. Method for calculating perception of the user experience of the quality of monitored integrated telecommunications operator services
WO2016109916A1 (zh) * 2015-01-05 2016-07-14 华为技术有限公司 用户体验质量QoE预测装置、网络设备和方法
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置
CN106534976A (zh) * 2016-10-12 2017-03-22 南京邮电大学 Iptv视频业务中用户满意度的智能化预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148525A1 (en) * 2010-05-14 2013-06-13 Telefonica, S.A. Method for calculating perception of the user experience of the quality of monitored integrated telecommunications operator services
CN102946613A (zh) * 2012-10-10 2013-02-27 北京邮电大学 一种用于测量用户业务体验质量的方法
WO2016109916A1 (zh) * 2015-01-05 2016-07-14 华为技术有限公司 用户体验质量QoE预测装置、网络设备和方法
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置
CN106534976A (zh) * 2016-10-12 2017-03-22 南京邮电大学 Iptv视频业务中用户满意度的智能化预测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563394A (zh) * 2017-09-19 2018-01-09 广东工业大学 一种预测图片流行度的方法及***
CN107563394B (zh) * 2017-09-19 2021-01-26 奇秦科技(北京)股份有限公司 一种预测图片流行度的方法及***
CN107483511A (zh) * 2017-10-10 2017-12-15 山东大学 一种基于软件定义网络SDN的流媒体QoE控制***
CN107733705A (zh) * 2017-10-10 2018-02-23 锐捷网络股份有限公司 一种用户体验质量评估模型建立方法及设备
CN111343484A (zh) * 2018-12-19 2020-06-26 飞思达技术(北京)有限公司 基于人工智能的iptv/ott智能质量告警方法
CN111369091A (zh) * 2018-12-26 2020-07-03 ***通信集团四川有限公司 用户感知画像分析的方法、装置、设备和介质
CN109905382A (zh) * 2019-02-15 2019-06-18 南京邮电大学 Iptv视频流业务用户体验质量主客观综合评估方法
CN109934627A (zh) * 2019-03-05 2019-06-25 中国联合网络通信集团有限公司 建立满意度预测模型的方法及装置
CN110446112A (zh) * 2019-07-01 2019-11-12 南京邮电大学 基于双向LSTM-Attention的IPTV用户体验预测方法
CN112231621A (zh) * 2020-10-13 2021-01-15 电子科技大学 基于BP-adaboost降低元素检出限的方法
CN112231621B (zh) * 2020-10-13 2021-09-24 电子科技大学 基于BP-adaboost降低元素检出限的方法

Similar Documents

Publication Publication Date Title
CN107087160A (zh) 一种基于BP‑Adaboost神经网络的用户体验质量的预测方法
CN107027023B (zh) 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN109905696B (zh) 一种基于加密流量数据的视频服务体验质量的识别方法
CN103179592B (zh) 基于树形分层结构的QoE综合评价方法
WO2016101464A1 (zh) 用户体验质量QoE评估方法、装置、终端及服务器
CN108696403A (zh) 一种基于网络流特征构造学习的加密视频QoE评测方法
CN109346063B (zh) 一种语音数据增强方法
CN102946613B (zh) 一种用于测量用户业务体验质量的方法
CN102904773B (zh) 一种网络业务质量的测量方法和装置
CN105050125A (zh) 一种面向用户体验的移动数据业务质量评测方法及装置
WO2021051623A1 (zh) 基于微服务框架的灰度发布方法、装置和计算机设备
CN103259805B (zh) 基于用户评价的域名访问控制方法及***
CN106487906B (zh) 一种情境感知的移动Web应用协议切换方法
US10284712B2 (en) Voice quality evaluation method, apparatus, and system
CN106339507A (zh) 流媒体消息推送方法和装置
CN111401447B (zh) 一种基于人工智能的流量作弊识别方法、装置、电子设备
CN107438083A (zh) 一种Android环境下钓鱼网站检测方法及其检测***
CN109873797A (zh) 基于统计分析的会话视频业务QoE-QoS参数映射方法
CN106534976A (zh) Iptv视频业务中用户满意度的智能化预测方法
CN109359686A (zh) 一种基于校园网流量的用户画像方法及***
CN104246713A (zh) 利用者体感品质推测装置、终端瓶颈判定装置、类似操作抽出装置及方法以及程序
CN110149280A (zh) 网络流量分类方法和装置
CN105245362A (zh) 一种sdn环境中重要节点信息采集方法
CN110855669B (zh) 基于神经网络适用于加密流量的视频QoE指标预测方法
CN110008402A (zh) 一种基于社交网络的去中心化矩阵分解的兴趣点推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170822

WD01 Invention patent application deemed withdrawn after publication