CN108390775B - 一种基于spice的用户体验质量评价方法及*** - Google Patents

一种基于spice的用户体验质量评价方法及*** Download PDF

Info

Publication number
CN108390775B
CN108390775B CN201810111479.4A CN201810111479A CN108390775B CN 108390775 B CN108390775 B CN 108390775B CN 201810111479 A CN201810111479 A CN 201810111479A CN 108390775 B CN108390775 B CN 108390775B
Authority
CN
China
Prior art keywords
user experience
experience quality
quality
mapping relation
spice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810111479.4A
Other languages
English (en)
Other versions
CN108390775A (zh
Inventor
王斌
严毅康
李伟民
盛津芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201810111479.4A priority Critical patent/CN108390775B/zh
Publication of CN108390775A publication Critical patent/CN108390775A/zh
Application granted granted Critical
Publication of CN108390775B publication Critical patent/CN108390775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及计算机虚拟化领域，公开了一种基于SPICE的用户体验质量评价方法及***，以增强自适应能力，减少误差，针对不同用户不同场景的用户体验需求和反馈，改善服务质量，提高用户的使用效益；该方法包括：采集有关用户体验的平均主观得分差作为实际用户体验质量；通过SPICE协议采集服务端、网络层以及客户端在不同场景中与实际用户体验质量对应的相关数据指标；建立相关数据指标与实际用户体验质量之间的映射关系，根据映射关系得到预测用户体验质量，采用DBN与BP神经网络计算预测用户体验质量与实际用户体验质量之间的损失函数，基于损失函数，对映射关系进行优化，进一步完成对用户体验质量的自动评价。

Description

一种基于SPICE的用户体验质量评价方法及***
技术领域
本发明涉及计算机虚拟化领域，尤其涉及一种基于SPICE的用户体验质量评价方法及***。
背景技术
随着计算机网络和虚拟化技术的发展，桌面虚拟化解决方案日益成熟，在企业办公、在线学习等诸多领域得到了广泛应用，为用户提供了高效、安全和快捷的用户交互体验。SPICE作为一个开源的虚拟桌面解决方案，为客户端访问提供远程显示和设备，如键盘、鼠标、音频等的支持，并尝试分担部分CPU和GPU密集型的任务到客户端，充分发挥客户端的性能来改善用户的使用体验情况。由于虚拟桌面基于网络访问过程的复杂性，涉及服务端、客户端和虚拟机的多重数据传输，考虑用户不同的实际使用场景，目前这方面对用户体验质量(QoE,Quality of Experience)评价还不是很完善，此外，在使用虚拟桌面时，用户体验质量不仅与客观的网络质量、服务端或客户端性能相关，还与使用者所处的环境情景有一定的关系。
因此，现需提供一种自适应能力强，误差小，可以针对不同用户不同场景的用户体验需求和反馈，改善服务质量，提高用户的使用效益的基于SPICE的用户体验质量评价方法及***。
发明内容
本发明目的在于提供一种基于SPICE的用户体验质量评价方法和***，以增强自适应能力，减少误差，针对不同用户不同场景的用户体验需求和反馈，使虚拟桌面服务商改善自身的服务质量，提高用户的使用效益。
为实现上述目的，本发明提供了一种采集有关用户体验的平均主观得分差作为实际用户体验质量；
通过SPICE协议采集服务端、网络层以及客户端在不同场景中与所述实际用户体验质量对应的相关数据指标；
建立所述相关数据指标与所述实际用户体验质量之间的映射关系，根据所述映射关系得到预测用户体验质量，采用DBN与BP神经网络计算所述预测用户体验质量与所述实际用户体验质量之间的损失函数为：
Figure BDA0001569322050000021
式中，m表示输入数据组数，i表示第i组输入数据，yi表示实际用户体验质量，ui表示预测用户体验质量；
基于所述损失函数，对所述映射关系进行优化，然后获取实时相关数据指标，将所述实时相关数据指标通过优化后的映射关系进行映射分析以自动生成用户体验质量的评价结果。
优选地，所述相关数据指标包括网络带宽、时延、丢包率、客户端CPU、服务端虚拟机的CPU利用率、内存利用率以及带宽利用率。
作为一个总的技术构思，本发明还提供一种基于SPICE的用户体验质量评价***，包括：
第一单元：用于采集有关用户体验的平均主观得分差作为实际用户体验质量；
第二单元：用于通过SPICE协议采集服务端、网络层以及客户端在不同场景中与所述实际用户体验质量对应的相关数据指标；
第三单元：用于建立所述相关数据指标与所述实际用户体验质量之间的映射关系，根据所述映射关系得到预测用户体验质量，采用DBN与BP神经网络计算所述预测用户体验质量与所述实际用户体验质量之间的损失函数为：
Figure BDA0001569322050000022
式中，m表示输入数据组数，i表示第i组输入数据，yi表示实际用户体验质量，ui表示预测用户体验质量；
第四单元：用于基于所述损失函数，对所述映射关系进行优化，然后获取实时相关数据指标，将所述实时相关数据指标通过优化后的映射关系进行映射分析以自动生成用户体验质量的评价结果。
优选地，所述第二单元中的相关数据指标包括网络带宽、时延、丢包率、客户端CPU、服务端虚拟机的CPU利用率、内存利用率以及带宽利用率。
本发明具有以下有益效果：
本发明提供一种基于SPICE的用户体验质量评价方法和***，首先初步建立实际用户体验质量与服务端、网络层以及客户端的相关数据之间的映射关系，然后通过DBN与BP神经网络优化该映射关系以综合相关数据和该映射关系完成对用户体验质量的自动评价，该方法和***增强使用的自适应能力，减少误差，达到可以针对不同用户不同场景的用户体验需求和反馈，使虚拟桌面服务商改善自身的服务质量，更好地优化虚拟桌面的各方面性能指标，提高用户的使用效益的目的。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的方法流程图；
图2是本发明优选实施例的映射关系图；
图3是本发明优选实施例的神经网络示意图；
图4是本发明优选实施例的归一化结果示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
参见图1，本实施例提供一种基于SPICE的用户体验质量评价方法，包括以下步骤：
采集有关用户体验的平均主观得分差作为实际用户体验质量；
通过SPICE协议采集服务端、网络层以及客户端在不同场景中与实际用户体验质量对应的相关数据指标；
建立相关数据指标与实际用户体验质量之间的映射关系，根据映射关系得到预测用户体验质量，采用DBN与BP神经网络计算预测用户体验质量与实际用户体验质量之间的损失函数为：
Figure BDA0001569322050000031
式中，m表示输入数据组数，i表示第i组输入数据，yi表示实际用户体验质量，ui表示预测用户体验质量；
基于损失函数，对映射关系进行优化，然后获取实时相关数据指标，将实时相关数据指标通过优化后的映射关系进行映射分析以自动生成用户体验质量的评价结果。
作为本实施例优选的实施方式，相关数据指标包括网络带宽、时延、丢包率、客户端CPU、服务端虚拟机的CPU利用率、内存利用率以及带宽利用率。
在无网络因素限制的情况下，即无带宽限制、零时延、零丢包率，采集用户在不同使用场景下使用SPICE客户端的MOS值，如下表1所示：
表1用户体验质量表
Figure BDA0001569322050000032
Figure BDA0001569322050000041
通过上述表1可知，MOS值越大表示用户体验质量越好。由于用户实际上通过SPICE客户端使用虚拟机桌面，同时采集服务端中虚拟机的CPU、内存和带宽的利用率。需要说明的是，上述不同使用场景指文字阅读、网页浏览、文档办公以及视频播放等不同的使用状态，由于网络在上述不同使用场景中的相关数据指标例如带宽等利用率不一样，即在视频播放场景时对服务端和客户端的CPU、带宽都有很强的依赖，而在网页浏览时，对客户端CPU的依赖性十分微弱。具体地，不同场景中相关数据的采集具体步骤为：
1、使用iptraf监听SPICE客户端的流量出入口以获取网络带宽、丢包率数据。
2、基于SPICE对鼠标点击/释放、键盘点击等输入通道事件进行监控，当监控事件从客户端封包发出时，再发送一个PING包，PING包内元素包括测试数据包序号(ID)和时间戳(Timestamp)。
需要说明的是，ID为自增长属性，timestamp为g_get_monotonic_time函数，其中，g_get_monotonic_time函数为t1，即glib库中通过查询***时钟计算时间的函数，精度在微秒级别，并且不受NTP时间矫正和同步的影响，能更好的测量时间。
3、在服务端接受此类输入通道事件的处理时，立即向客户端反馈相同ID和timestamp的数据包，标记为PONG，当客户端接受到服务端的PONG包时，用当前计算机的接收时间t2与t1做差法，即为一个传输往返的时延RTT：RTT＝t2-t1。
值得指出的是，在众多指标中，时延是一个最主要的因素，即测量客户端每一次鼠标、键盘输入操作在服务端的虚拟机中的实际响应时间。才第三方抓包软件测量一般都存在外部误差不能保证精确度，优选地，本实施例通过修改SPICE实现对时延的测量，计算精准有效。
4、采集客户端CPU数据，由于SPICE服务端在首次与客户端建立链接时，会主动监测客户端的性能和状态来分配不同的渲染模式，若客户端支持Cairo和OpenGL且网络良好，则允许在客户端进行矢量图渲染和部分图形硬件加速，即定义为客户端承担部分任务的模式开启；若客户端不支持Cairo、OpenGL或网络不佳，则不开启，此项为0。开启时则衡量为CPU利用率。
5、通过虚拟化平台Libvirt-API分别采集虚拟机的CPU、内存和带宽利用率。
通过上述步骤，可获得不同使用场景中相关数据指标的利用情况如下表2所示：
表2不同使用场景中相关数据指标的利用情况
Figure BDA0001569322050000042
Figure BDA0001569322050000051
通过上述表2可知在不同场景中影响用户体验质量的指标不同，因此，可以根据服务端的资源利用率推测出不同的使用场景，且，采用DBN(深度信念网络)和BP神经网络可以将该种特点黑盒化，即通过神经网络的反复学习可以得到使用场景与用户体验质量之间的关系，进一步分析与建立相关数据指标与用户体验质量之间的映射关系，如图2所示。需要说明的是，通过该映射关系，可以反映出用户体验质量与来自服务端、网络层以及客户端的相关数据指标之间的联系，能在一定程度上促使虚拟桌面服务商改善自身的服务质量，更好地优化虚拟桌面的各方面性能指标。
进一步地，对采集的用户体验质量和相关数据指标进行整理，建立从相关数据指标到实际用户体验质量之间的映射关系。即，首先根据无网络因素限制和不同网络控制下对MOS值做差求出该用户在此使用场景下的DMOS值。
DMOS＝MOSorigial-MOSdistory，
式中，MOSorigial表示无网络因素限制下的用户体验值，MOSdistory表示各种条件限制下的用户体验值，其中DMOS值越大表示用户体验越差。
然后，如图3所示，将采集的与上述用户体验质量对应的带宽、时延、丢包率等相关数据指标作为输入向量，通过DBN进行多层全连接，对该映射关系进行反复无监督学习，并将该学习结果作为BP神经网络的输入进行BP神经网络学习，用自适应学习率梯度下降算法优化训练过程，设定修正权值
Figure BDA0001569322050000052
其中，η表示学习速率，
Figure BDA0001569322050000053
表示k-1层第i个神经元到k层第j个神经元的连接权重w。并采用Sigmoid将BP神经网络的输出DMOS结果归一化到0-1区间，以能更快速地对输出结果进行分析。如图4所示，其中，0代表用户体验极佳，数值越低越好。
进一步地，通过DBN与BP神经网络的反复学习与计算后，得到预测用户体验质量与实际用户体验质量之间的损失函数为：
Figure BDA0001569322050000054
式中，m表示输入数据组数，i表示第i组输入数据，yi表示实际用户体验质量，ui表示预测用户体验质量。
最后，当损失函数低于预先设定的阈值时视为学习成功，并基于该损失函数优化上述映射关系，以能根据实时相关数据指标和该优化后的映射关系自动生成用户体验质量的评价结果。需要说明的是，该映射关系能反映出相关数据指标对用户体验质量的影响，所以将实时的相关数据通过映射关系进行映射分析能自动生成用户体验质量的评价结果，同时，还能进一步分析不同场景中的相关数据指标所带来的影响，能方便服务商可以针对不同用户不同场景的用户体验需求和反馈，提供更好地网络性能，达到改善服务质量，提高用户的使用效益的目的。
实施例2
与上述方法实施例相对应地，本实施例提供一种基于SPICE的用户体验质量评价***，包括：
第一单元：用于采集有关用户体验的平均主观得分差作为实际用户体验质量；
第二单元：用于通过SPICE协议采集服务端、网络层以及客户端在不同场景中与实际用户体验质量对应的相关数据指标；
第三单元：用于建立相关数据指标与实际用户体验质量之间的映射关系，根据映射关系得到预测用户体验质量，采用DBN与BP神经网络计算预测用户体验质量与实际用户体验质量之间的损失函数为：
Figure BDA0001569322050000061
式中，m表示输入数据组数，i表示第i组输入数据，yi表示实际用户体验质量，ui表示预测用户体验质量；
第四单元：用于基于损失函数，对映射关系进行优化，然后获取实时相关数据指标，将实时相关数据指标通过优化后的映射关系进行映射分析以自动生成用户体验质量的评价结果。
作为本实施例优选的实施方式，第二单元中的相关数据指标包括网络带宽、时延、丢包率、客户端CPU、服务端虚拟机的CPU利用率、内存利用率以及带宽利用率。
上述各单元的具体处理过程可参照上述方法实施例，不再赘述。
如上所述，本发明提供一种基于SPICE的用户体验质量评价方法和***，首先初步建立实际用户体验质量与服务端、网络层以及客户端的相关数据之间的映射关系，然后通过DBN与BP神经网络优化该映射关系以综合相关数据和该映射关系完成对用户体验质量的自动评价，该方法和***增强使用的自适应能力，减少误差，达到可以针对不同用户不同场景的用户体验需求和反馈，使虚拟桌面服务商改善自身的服务质量，更好地优化虚拟桌面的各方面性能指标，提高用户的使用效益的目的。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于SPICE的用户体验质量评价方法，其特征在于，包括以下步骤：
采集有关用户体验的平均主观得分差作为实际用户体验质量；
通过SPICE协议采集服务端、网络层以及客户端在不同场景中与所述实际用户体验质量对应的相关数据指标；
建立所述相关数据指标与所述实际用户体验质量之间的映射关系，根据所述映射关系得到预测用户体验质量，采用DBN与BP神经网络计算所述预测用户体验质量与所述实际用户体验质量之间的损失函数为：
Figure FDA0002820373410000011
式中，m表示输入数据组数，i表示输入数据组的序号，yi表示实际用户体验质量，ui表示预测用户体验质量；
基于所述损失函数，对所述映射关系进行优化，然后获取实时相关数据指标，将所述实时相关数据指标通过优化后的映射关系进行映射分析以自动生成用户体验质量的评价结果。
2.根据权利要求1所述的基于SPICE的用户体验质量评价方法，其特征在于，所述相关数据指标包括网络带宽、时延、丢包率、客户端CPU、服务端虚拟机的CPU利用率、内存利用率以及带宽利用率。
3.一种基于SPICE的用户体验质量评价***，其特征在于，包括：
第一单元：用于采集有关用户体验的平均主观得分差作为实际用户体验质量；
第二单元：用于通过SPICE协议采集服务端、网络层以及客户端在不同场景中与所述实际用户体验质量对应的相关数据指标；
第三单元：用于建立所述相关数据指标与所述实际用户体验质量之间的映射关系，根据所述映射关系得到预测用户体验质量，采用DBN与BP神经网络计算所述预测用户体验质量与所述实际用户体验质量之间的损失函数为：
Figure FDA0002820373410000012
式中，m表示输入数据组数，i表示输入数据组的序号，yi表示实际用户体验质量，ui表示预测用户体验质量；
第四单元：基于所述损失函数，对所述映射关系进行优化，然后获取实时相关数据指标，将所述实时相关数据指标通过优化后的映射关系进行映射分析以自动生成用户体验质量的评价结果。
4.根据权利要求3所述的基于SPICE的用户体验质量评价***，其特征在于，所述第二单元中的相关数据指标包括网络带宽、时延、丢包率、客户端CPU、服务端虚拟机的CPU利用率、内存利用率以及带宽利用率。
CN201810111479.4A 2018-02-05 2018-02-05 一种基于spice的用户体验质量评价方法及*** Active CN108390775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810111479.4A CN108390775B (zh) 2018-02-05 2018-02-05 一种基于spice的用户体验质量评价方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810111479.4A CN108390775B (zh) 2018-02-05 2018-02-05 一种基于spice的用户体验质量评价方法及***

Publications (2)

Publication Number Publication Date
CN108390775A CN108390775A (zh) 2018-08-10
CN108390775B true CN108390775B (zh) 2021-03-30

Family

ID=63074463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810111479.4A Active CN108390775B (zh) 2018-02-05 2018-02-05 一种基于spice的用户体验质量评价方法及***

Country Status (1)

Country Link
CN (1) CN108390775B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255160B (zh) * 2018-08-17 2020-10-16 东南大学 基于神经网络的单元延时预测方法和单元延时灵敏度计算方法
CN110855669B (zh) * 2019-11-14 2020-10-09 北京理工大学 基于神经网络适用于加密流量的视频QoE指标预测方法
CN111459592B (zh) * 2020-03-31 2021-10-22 华为技术有限公司 分布式处理ux元素的方法及装置
CN114077469A (zh) * 2020-08-19 2022-02-22 中国电信股份有限公司 用于优化虚拟桌面管理的方法、***和装置
US11520692B1 (en) 2021-09-08 2022-12-06 International Business Machines Corporation Performing software testing with best possible user experience

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130219043A1 (en) * 2012-02-20 2013-08-22 Moritz M. Steiner Method and apparatus for automatic migration of application service
CN104144349B (zh) * 2014-07-09 2017-08-29 中电科华云信息技术有限公司 基于h264的spice视频编解码扩展方法及***
CN105828069B (zh) * 2016-04-06 2019-01-18 上海交通大学 一种基于主观质量评估的编码器自适应调整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《The optimization of Transparent-Desktop service mechanism based on SPICE》;李伟民等;《CONCURRENCY AND COMPUTATION-PRACTICE & EXPERIENCE》;20160527;全文 *

Also Published As

Publication number Publication date
CN108390775A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN108390775B (zh) 一种基于spice的用户体验质量评价方法及***
US20210326729A1 (en) Recommendation Model Training Method and Related Apparatus
WO2015103964A1 (en) Method， apparatus， and device for determining target user
WO2018130201A1 (zh) 确定关联账号的方法、服务器及存储介质
WO2019184640A1 (zh) 一种指标确定方法及其相关设备
CN114357455B (zh) 一种基于多维属性信任评估的信任方法
US20120317069A1 (en) Throughput sustaining support system, device, method, and program
CN112870726B (zh) 图形处理器的资源分配方法、装置和存储介质
CN111460384A (zh) 策略的评估方法、装置和设备
US8180716B2 (en) Method and device for forecasting computational needs of an application
CN112907128A (zh) 基于ab测试结果的数据分析方法、装置、设备及介质
Zhang et al. IgS-wBSRM: A time-aware Web Service QoS monitoring approach in dynamic environments
CN114780233A (zh) 基于微服务链路分析和强化学习的调度方法及装置
Aboutorabi et al. An Optimized Meta-heuristic Bees Algorithm for Players' Frame Rate Allocation Problem in Cloud Gaming Environments.
WO2020220437A1 (zh) 一种基于AdaBoost-Elman的虚拟机软件老化预测方法
Jiang et al. Performance analysis and improvement of replica selection algorithms for key-value stores
JP2015012361A (ja) ＱｏＥ推定装置、ＱｏＥ推定方法及びプログラム
CN113543160A (zh) 5g切片资源配置方法、装置、计算设备及计算机存储介质
Carvalho et al. Transfer learning-based qoe estimation for different cloud gaming contexts
CN111291957A (zh) 生成客服调度信息的方法及装置、电子设备、存储介质
CN111598390B (zh) 服务器高可用性评估方法、装置、设备和可读存储介质
García et al. Probabilistic analysis and interdependence discovery in the user interactions of a video news on demand service
CN114490405A (zh) 资源需求量确定方法、装置、设备及存储介质
Zhu et al. Load balancing algorithm for web server based on weighted minimal connections
CN115130026A (zh) 目标对象的确定方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant