CN107943678B - 一种评价应用访问过程的方法及评价服务器 - Google Patents

一种评价应用访问过程的方法及评价服务器 Download PDF

Info

Publication number
CN107943678B
CN107943678B CN201711131904.8A CN201711131904A CN107943678B CN 107943678 B CN107943678 B CN 107943678B CN 201711131904 A CN201711131904 A CN 201711131904A CN 107943678 B CN107943678 B CN 107943678B
Authority
CN
China
Prior art keywords
response time
application
accessing
access
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711131904.8A
Other languages
English (en)
Other versions
CN107943678A (zh
Inventor
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruijie Networks Co Ltd
Original Assignee
Ruijie Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruijie Networks Co Ltd filed Critical Ruijie Networks Co Ltd
Priority to CN201711131904.8A priority Critical patent/CN107943678B/zh
Publication of CN107943678A publication Critical patent/CN107943678A/zh
Application granted granted Critical
Publication of CN107943678B publication Critical patent/CN107943678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例公开一种评价应用访问过程的方法及评价服务器，涉及通信技术领域，能够对访问应用过程中的响应时间进行准确评价，从而更加准确的反映该应用的访问体验。该方法包括：获取用户访问应用的响应时间样本库；所述响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间；根据所述响应时间样本库，确定响应时间阈值；根据用户访问所述应用时所耗费的响应时间与所述响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。本申请应用于在基于访问应用的响应时间，对应用评价场景。

Description

一种评价应用访问过程的方法及评价服务器
技术领域
本申请涉及通信技术领域，尤其涉及一种评价应用访问过程的方法及评价服务器。
背景技术
随着互联网技术的蓬勃发展，全球信息化技术的速度不断加快，我们可以利用不同应用从互联网中获取需要的信息。例如，通过访问WEB(World Wide Web，万维网)网页了解各种新闻资讯、学习各种专业知识，利用各种软件进行聊天、开视频会议等。此时，访问该应用时的响应速度会直接影响到该应用的访问体验。例如，若打开一个WEB页面需要耗时10秒，那这样的速度对于用户是无法忍受的，用户体验太差，最终导致用户的流失，网站被用户抛弃访问，网站投资无法带来回报，这是我们所不愿意看到的。为了挽回这种局面，我们需要对每次应用的访问过程进行评价，进而得到用户的访问体验数据，为后续访问体验的改善提供数据支撑。
目前，在现有技术中，为了对应用的访问过程进行评价，通常采用在网络中部署传统的APM(Application Performance Management&Monitoring，应用性能管理)设备，或者通过在客户端/业务服务器上安装探针的方式获取应用的响应时间，之后根据获取的响应时间与预设的响应时间阈值的大小关系，对本次访问过程进行评价，得到用户的访问体验数据。
但发明人发现，在上述现有技术中都是根据固定的响应时间阈值来对应用的访问过程进行评价，而实际评价时由于不同应用的服务内容、采用的软件架构、硬件配置、所处网络环境等情况也各不相同。这些差异带来了各个应用的体验情况也不相同。我们无法采取比如：WEB页面响应时间小于1s才是好的体验，这种一刀切的方式来进行体验的度量。同时我们也无法准确的定义出对于不同应用而言，好的体验的响应时间阈值。因此现有技术中根据固定的响应时间阈值来对应用的访问过程进行评价的方法，存在不能客观的反映出应用的访问体验的情况。
发明内容
本申请提供一种评价应用访问过程的方法及评价服务器，用于对访问应用过程中的响应时间进行准确评价，从而更加准确的反映该应用的访问体验。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种评价应用访问过程的方法，包括：
获取用户访问应用的响应时间样本库；所述响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间，其中所述N为大于1的正整数；根据响应时间样本库，确定响应时间阈值；其中，在N个历史响应时间中，根据每个历史响应时间对应的经验分布函数值确定经验分布函数值小于或等于预设参数的历史响应时间集合；在历史响应时间集合中选择响应时间最长的历史响应时间作为响应时间阈值；根据用户访问所述应用时所耗费的响应时间与所述响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
第二方面，提供了一种评价服务器，包括：
获取单元，用于获取用户访问应用的响应时间样本库；所述响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间，其中所述N为大于1的正整数；确定单元，用于在所述获取单元获取应用的响应时间样本库后，根据所述响应时间样本库，确定响应时间阈值；其中，在N个历史响应时间中，根据每个历史响应时间对应的经验分布函数值确定经验分布函数值小于或等于预设参数的历史响应时间集合；在历史响应时间集合中选择响应时间最长的历史响应时间作为响应时间阈值；评价单元，用于在所述确定单元确定响应时间阈值后，根据用户访问所述应用时所耗费的响应时间与所述响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
本申请实施例提供的评价应用访问过程的方法及评价服务器，通过事先设定不同体验的访问次数占总访问次数的比例(例如事先设定满意的用户占70％，不满意的用户占30％)即设定一个预设参数。再根据响应时间样本库，通过确定经验分布函数值小于等于预设参数的历史响应时间中的最大值的方式来确定响应时间阈值，从而获取一个能够准确反映该应用的访问情况的响应时间阈值。最终根据上述响应时间阈值来对本次访问应用的过程进行评价。相比现有技术中根据固定的响应时间阈值来对应用的访问过程进行评价的技术方案，本申请所述方案解决了由于应用之间的差异性而导致采用固定响应时间阈值无法反映出各应用的访问体验的问题，以及在评价应用访问过程时无法准确定义出各应用的体验好的响应时间阈值的标准的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请的实施例提供的一种经验分布函数Fn(x)的图像示意图；
图2为本申请的实施例提供的一种评价应用访问过程的流程示意图；
图3为本申请的实施例提供的一种确定响应时间阈值的具体方法的流程图；
图4为本申请的实施例提供的一种网络***的结构图；
图5为本申请的实施例提供的一种评价应用访问过程的流程示意图；
图6为本申请的实施例提供的一种WEB业务***的配置和下发的流程示意图；
图7为本申请的实施例提供的一种评价服务器的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
首先，对本申请中涉及的统计学相关内容进行介绍：
顺序统计量：设(X1,X2,…,Xn)是总体X的一个样本集，若
Figure BDA0001469744280000031
是样本集(X1,X2,…,Xn)这样的函数：它总是取样本集(X1,X2,…,Xn)从小到大排序后第i个值为自己的观测值。那么就称
Figure BDA0001469744280000032
为顺序统计量。顺序统计量可以简记为：
Figure BDA0001469744280000033
其中，
Figure BDA0001469744280000034
为样本集的最小值；
Figure BDA0001469744280000035
为样本集的最大值。并且称
Figure BDA0001469744280000036
为样本集的极差。
经验分布函数(EDF，Empirical Distribution Functions)：设x1,x2,…,xn是总体X的一组容量为n的样本观察值，将它们按从小到大的顺序重新排列为x*1,x*2,…,x*n，对于任意实数x，定义函数:
Figure BDA0001469744280000037
则称Fn(x)为总体X的经验分布函数。它还可以简记为Fn(x)＝1/n·*{x1,x2,…,xn}，其中，*{x1,x2,…,xn}表示x1,x2,…,xn中不大于x的个数。
另外一种常见的表示形式为:
Figure BDA0001469744280000038
其中，I是indicator function,即
Figure BDA0001469744280000039
因此，求经验分布函数Fn(x)在一点x处的值，只要求出随机变量X的n个观测值x1,x2,…,xn中小于等于x的个数，再除以观测次数n即可。由此可见，Fn(x)就是在n次重复独立实验中事件{X≤x}出现的频率。
经验分布函数Fn(x)的图像如图1所示，是一条呈跳跃上升的阶梯形曲线。如果样本观测值x1,x2,…,xn中没有重复的数值，则每一跳跃为1/n，若有重复a次的值，则按1/n的a倍跳跃上升。图中圆滑曲线是总体X的理论分布函数F(x)的图形。若把经验分布函数的图形连成折线，那么它实际就是累积频率直方图的上边。这和概率分布函数的性质是一致的。
格利文科定理(Glivenko Theorem)：根据大数定理可知，当试验次数增大时，事件的频率稳定于概率。那么，当试验次数增大时，表示事件{X≤x}出现频率的经验分布函数是否接近于表示事件{X≤x}出现概率的总体分布函数，则由格利文科定理来解决。
设总体X的分布函数F(x)，经验分布函数Fn(x)，则有：
Figure BDA0001469744280000041
该定理揭示了总体X的理论分布函数与经验分布函数之间的内在联系。它指出当样本容量足够大时，从样本算得的经验分布函数Fn(x)与总体分布函数F(x)相差的最大值也可以足够小，这就是用样本来推断总体的数学依据。
应用性能指数(Application Performance Index)：即Apdex指数，该指数能够将用户对应用性能满意度进行量化，提供了一种统一的测量和报告用户体验的方法。
Apdex定义了三个用户满意度区间：
满意：这样的响应时间让用户感到很愉快。例如打开页面少于3秒钟。容忍:慢了一点，但还可以接受，继续这个网站访问过程。例如打开页面在3～12秒。不满意:太慢了，无法接受，用户决定放弃这个网站访问。例如打开页面超过12秒。
具体的，Apdex指数的计算公式为：
Figure BDA0001469744280000042
这样，采样结果被量化为一个0到1之间的数值即“Apdex指数”，0代表没有满意用户，1则代表所有用户都满意。
本申请所述方法的原理是：通常在访问一个应用时，大多数用户的访问体验都是好的或者用户默认为都是好的，而我们对访问过程中响应时间的评价的关注点就是为了找到多次访问中用户体验不好的情况，并针对这些体验不好的情况找出问题进行解决。处于上述发明构思，我们可以事先设定出各种体验效果占总访问次数的比例，再根据各种体验效果占总访问次数的比例，利用经验分布函数从响应时间样本库里获取不同体验效果对应的响应时间阈值。之后再根据获取的响应时间阈值与本次访问中的响应时间进行对比，进而对本次访问过程进行评价。
基于上述原理，本申请提供一种评价应用访问过程的方法，可应用在对WEB页面、WEB业务***、游戏、视频会议***等应用的响应时间的评价场景中。如图2所示，该方法包括以下步骤：
S101、获取用户访问应用的响应时间样本库。
其中，该响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间。
具体的，为了获取更加高效的响应时间样本库，进而得到更加准确的响应时间阈值，步骤S101可以包括以下S1011-S1013的步骤：
S1011、获取该应用的历史访问记录。其中，历史访问记录中包括每次访问该应用的过程中所耗费的响应时间。
S1012、当历史访问记录中包括的响应时间的个数大于等于第一预设个数时，根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间，生成响应时间样本库。
具体的，由于样本库的生成直接影响了之后所确定的响应时间阈值的准确性，根据前文中的格里文科定理可知当样本库中的样本越多时，事件的频率会稳定于理论频率，也就是说当样本库中的样本越多时确定的响应时间阈值就越准确。
因此，本申请中采用了通过当判断历史访问记录中包括的响应时间的个数大于等于第一预设个数时，根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间生成响应时间样本库。进而确保了响应时间样本库中的样本个数，避免了获取的响应时间阈值不够准确的问题。
S1013、当历史访问记录中包括的响应时间的个数大于等于第二预设个数时，根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间，更新响应时间样本库。其中第二预设个数大于第一预设个数。
具体的，为了在保证响应时间样本库中样本个数的前提下，能够快速确定响应时间阈值。本申请中通过设定两个预设个数，当历史访问记录中的响应时间的个数大于等于第一预设个数时，就可以开始根据历史访问记录中的响应时间来生成响应时间样本库。同时为了得到更加准确的响应时间阈值，可以在当历史访问记录中的响应时间的个数大于等于第二预设个数时，对响应时间样本库进行更新，进而通过获取更多的响应时间样本，确定更加准确的响应时间阈值。
由此，在本申请中通过上述S1012-S1013的方式生成响应时间样本库，能够当历史访问记录中的响应时间样本个数初步满足响应时间样本库的个数要求时，即历史访问记录中包括的响应时间的个数大于等于第一预设个数时，先根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间生成响应时间样本库，利用该样本库先确定一个响应时间阈值，进而能够快速对访问应用的过程进行评价。之后，当历史访问记录中的响应时间样本个数完全满足响应时间样本库的个数要求时，即历史访问记录中的响应时间的个数大于等于第二预设个数时，则对响应时间样本库进行更新。从而在保证样本库中的响应时间个数的情况下，获取到更为有效的响应时间样本库。
示例性的，在对某个URL的访问过程进行评价的场景中，当该URL的历史访问记录中的访问记录数超过100条时，则根据这100多条访问记录生成响应时间样本库，例如可以直接将这100多条访问记录中的响应时间作为响应时间样本库。当该URL的历史访问记录中的访问记录数超过1000条时，则根据1000多次访问的响应时间生成响应时间样本库，例如可以直接将这1000条访问记录中的响应时间作为响应时间样本库。
在一种实施例中，还可以通过让用户根据需要自行选择历史访问记录中特定时间区间内每次访问该应用的响应时间，作为响应时间样本库。
S102、根据响应时间样本库，确定响应时间阈值。
其中，在N个历史响应时间中，根据每个历史响应时间对应的经验分布函数值确定经验分布函数值小于或等于预设参数的历史响应时间集合；在历史响应时间集合中选择响应时间最长的历史响应时间作为响应时间阈值。其中，预设参数表示不同体验的访问次数占总访问次数的比例。
在一种实施例中，根据响应时间样本库，确定响应时间阈值，包括：当预设参数为第一预设参数时，确定满意时间阈值。
示例性的，在对某个URL的访问过程进行评价的场景中，响应时间样本库中包括100个历史响应时间，这100个历史响应时间分别为1ms、2ms…99ms、100ms，若假设满意的访问次数占总访问次数的70％，则预设参数为0.7，则确定响应时间的阈值为70ms。
在另一种实施例中，本申请中还可以根据需要，设置多个响应时间阈值。具体的，响应时间阈值可以包括满意时间阈值和容忍时间阈值；其中，当所述预设参数为第二预设参数时，确定满意时间阈值；当所述预设参数为第三预设参数时，确定容忍时间阈值；其中，所述第二预设参数小于所述第三预设参数。
例如，响应时间样本库中包括100个历史响应时间，这100个历史响应时间分别为1ms、2ms…99ms、100ms，若假设满意的访问次数占总访问次数的70％，可以容忍的访问次数占总访问次数的20％，则第二预设参数为0.7、第三预设参数为0.9，则确定满意响应时间的阈值为70ms、容忍时间阈值为90ms。
如图3所示，可以通过每隔预定时间对是否需要生成/更新响应时间样本库进行一次判断的方式，实现上述步骤S101-102。具体的，假设每2分钟进行一次判断，当2分钟定时到达后，先判断该WEB业务***是否生成响应时间阈值。若已经生成响应时间阈值，则判断响应时间阈值是根据100条样本还是根据1000条样本生成的。若根据1000条样本生成的，则不对响应时间样本库进行更新。若根据100条生成的，则判断历史访问记录中的历史响应时间是否大于等于1000条，若历史访问记录中的历史响应时间大于等于1000条，则对响应时间样本库进行更新并确定响应时间阈值，若历史访问记录中的历史响应时间还没有到达1000条，则不对响应时间样本库进行更新。当还没有生成响应时间阈值，则说明之前统计中历史访问记录中的历史响应时间还不够100条，则判断此时历史访问记录中的历史响应时间是否到达100条，若是则生成响应时间样本库并确定响应时间阈值。
S103、根据用户访问该应用时所耗费的响应时间与响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
在一种实施例中，当响应时间阈值为满意时间阈值时，若用户访问应用时所耗费的响应时间小于等于满意时间阈值，则确定本次访问所述应用的过程为一次满意的访问体验。
例如，在确定时间阈值为70ms后，若用户访问该应用时所耗费的响应时间为50ms，则确定本次访问该应用的过程是一次满意的访问。
进一步的，当响应时间阈值包括：满意时间阈值和容忍时间阈值时，则步骤S103具体包括：
当用户访问应用时所耗费的响应时间小于等于满意时间阈值时，确定本次访问应用的过程为一次满意的访问体验；
当用户访问应用时所耗费的响应时间大于满意时间阈值且小于等于容忍时间阈值时，确定本次访问应用的过程为一次可以容忍的访问体验；
当用户访问应用时所耗费的响应时间大于容忍时间阈值时，确定本次访问应用的过程为一次不满意的访问体验。
例如，若将确定满意响应时间的阈值为70ms、容忍时间阈值为90ms，则若用户访问该应用时所耗费的响应时间为30ms，则确定本次访问过程为一次满意的访问体验。
在一种实施例中，还可以利用Apdex指数，将评价结果进行量化，当采用百分制来评分时，一次满意的访问体验为100分，一次可以容忍的访问体验为50分，一次不满意的访问体验为0分。进而可以更加直观的表现访问过程的评价结果，同时也方便计算多次访问的整体体验满意度。
本申请实施例提供的评价应用访问过程的方法，通过事先设定不同体验的访问次数占总访问次数的比例(例如事先设定满意的用户占70％，不满意的用户占30％)即设定一个预设参数。再根据响应时间样本库，通过确定经验分布函数值小于等于预设参数的历史响应时间中的最大值的方式来确定响应时间阈值，从而获取一个能够准确反映该应用的访问情况的响应时间阈值。最终根据上述响应时间阈值来对本次访问应用的过程进行评价。相比现有技术中根据固定的响应时间阈值来对应用的访问过程进行评价的技术方案，本申请所述方案解决了由于应用之间的差异性而导致采用固定响应时间阈值无法反映出各应用的访问体验的问题，以及在评价应用访问过程时无法准确定义出各应用的体验好的响应时间阈值的标准的问题。
当将本申请上述实施例应用于评价用户访问WEB业务***的访问体验时，本申请还提供另一种评价应用访问过程的方法。
本申请中的WEB业务***可以包括单个的WEB页面，也可以指网站的一个子网站，例如新浪网这个综合性门户网站中的新闻、娱乐、军事等细分业务的专业性子网站，也可以指网站，例如平时办公用的考勤***、财务***、物流***等网站。
如图4所示，本申请中提供一种网络***的结构图，该网络***包括：业务服务器、出口网关设备、终端设备以及评价服务器。其中终端设备利用互联网通过出口网关设备访问业务服务器进而访问WEB业务***；评价服务器与出口网关设备连接，用于从出口网关设备获取该WEB业务***的访问情况。
在一种实施例中，考虑到每个学校的校园网都部署了出口网关设备，因此本申请应用于普通教育城域网中。
具体的，如图5所示，该评价应用访问过程的方法，包括：
S201、WEB业务***的配置和下发。
具体的，在出口网关设备进行WEB页面访问数据的收集前，需要先在评价服务器定义需要评价的WEB业务***。定义内容包括：WEB业务***的名称、该业务***所匹配的URL，由于一个业务***可能包括多个子业务或者子页面，因此URL地址可以采用定义通配符的方式。例如下表1所示：
Figure BDA0001469744280000091
表1
在完成WEB业务***定义后，如图6所示，还包括以下步骤：S01、在评价服务器上启动TCP端口侦听服务，在出口网关设备上匹配评价服务器的地址和端口；S02、在评价服务器上配置待评价WEB业务***；S03、完成TCP连接数据通道的建立；S04、评价服务器向出口网关设备下发WEB业务***配置；S05、出口网关设备保存WEB业务***配置；S06、评价服务器修订WEB业务***配置；S07、出口网关设备同步WEB业务***配置。
数据传输的格式定义为传统的TLV格式即可。由于WEB业务***访问数据会不断生成，TCP连接数据通道采取长连接方式，避免频繁建立带来的性能损耗。
S202、采集WEB业务***访问数据。其中访问数据中包括访问业务***的响应时间。
其中，WEB业务***访问的原始数据由出口网关设备的HTTP解析模块进行生成。HTTP解析模块在收到TCP数据报文后，解析GET报文的HOST字段是否匹配度量业务中配置的URL，如果匹配，则增加访问统计节点，在后续收到HTTP请求的RESPONE报文后，计算出本次访问业务***的响应时间。
需要注意的时，在根据HTTP协议规范计算页面响应时间的时候，当存在chunk(分片)报文，要对此报文完成组装才能计算出最后的响应时间。另外需要注意的是，一个WEB页面可能会包含很多子页面，子页面的访问HOST字段虽然无法匹配中配置的URL，但是子页面里面的referer字段表示的来源页面可能就是配置的URL，需要将所有referer为此URL的时间进行统计，取最大的时间为本次访问这个页面的响应时间。
在一种实施例中，采集到的访问数据包括：出口网关设备标识、访问的URL、页面访问的时间、终端IP地址、业务服务器IP地址等。因此，如下表2所示，最终出口网关设备传输给评价服务器的WEB业务***访问数据包括以下字段：
Figure BDA0001469744280000101
表2
S203、存储WEB业务***访问数据。
具体的，将上述步骤S202中出口网关设备发送给评价服务器的WEB业务***访问数据进行存储。其中，为了方便查询，可以采用分表方式进行存储，例如采取按天存储的方式。
S204、获取用户访问WEB业务***的响应时间样本库。
具体的，评价服务器在获取WEB业务***访问数据后，可以从WEB业务***访问数据中获取用户访问WEB业务***的响应时间样本库。
S205、根据响应时间样本库，确定响应时间阈值。
S206、根据用户访问该应用时所耗费的响应时间与响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
具体的，上述步骤S204-S206其具体的实现方式及效果可以参见上述步骤S101-S103的内容，重复之处不再赘述。
S207、对L个用户中每个用户在预定时间段内每次访问WEB业务***的过程进行评价。其中，L个用户在预定时间段内通过目标出口网关设备访问WEB业务***。
S208、根据L个用户中每个用户在预定时间段内每次WEB业务***过程的评价结果，确定L个用户中每个用户在预定时间内访问WEB业务***的体验满意度。
具体的，为了得到在预定时间段内每个用户通过目标出口网关设备访问WEB业务***的整体体验，本申请实施例中通过对该用户在预定时间段内的每次访问过程进行评价，进而可以确定该用户在预定时间段内的整体体验。
在一种实施例中，可以设定一个对多次访问过程进行整体体验的评判标准：当第一预设比例以上的访问体验为满意/优时，确定整体体验为优；当第二预设比例以上的访问体验为不满意/差时，确定整体体验为差；统计结果在优和差之间时，确定整体体验为良。
示例性的，若参见上述步骤S103中的示例，将每次访问WEB业务***过程的评价结果分为满意、可以容忍、不满意三种情况，并且分别对三种情况进行评分一次满意的访问体验为100分，一次可以容忍的访问体验为50分，一次不满意的访问体验为0分。进一步的，设定一个对多次访问过程进行整体体验的评判标准：当确定90％以上的访问体验为满意时，确定整体体验为优；当确定40％以上的访问体验为不满意时，确定整体体验为差；统计结果在优和差之间时，确定整体体验为良。
此时，若用户A在预定时间段内通过目标出口网关设备访问了10次该WEB业务***，其中这10次访问的评价结果包括6次满意、3次可以容忍以及1次不满意，那么可以确定用户A在预定时间内通过目标出口网关设备访问WEB业务***的体验满意度为良。
另外也可以对用户A的这10次访问的评价结果计算平均值来反映整体体验，进而可得用户A在预定时间内通过目标出口网关设备访问WEB业务***的体验平均分为(100×6+50×3)/10＝75分。
S209、根据L个用户中每个用户在所述预定时间内访问该WEB业务***的体验满意度，确定在预定时间段内通过目标出口网关设备访问该WEB业务***的体验满意度。
例如，若有10个用户在预定时间段内通过目标出口网关设备访问WEB业务***，其中这10个用户的体验满意度包括7次优、2次良、1次差。则由于其中评价为优的用户占总用户的70％，不满足90％以上的访问体验为优的条件，因此在预定时间段内通过目标出口网关设备访问WEB业务***的体验满意度为良。同时，在预定时间段内通过目标出口网关设备访问WEB业务***的体验平均分为(100×7+50×2)/10＝80分。
在一种实施例中，可以将预定时间段内通过目标出口网关设备访问WEB业务***的体验满意度，存储在数据库中。其中数据库记录中包括如下表3所示字段：
字段 说明
Device_id 出口网关设备id，可以用uuid来标识。
Web_id 业务***的id，对应到配置的业务***名称
ApdexScore 体验平均分，百分制。
ApdexRate 体验满意度，比如：优100分，良50分，差0分。
SatisfyNum 满意用户数
TolerateNum 容忍用户数
ClientNum 用户总数
Logtime 该时间段对应的时间
表3
进一步的，在一种实现方式中，该方法还包括：
确定待评价时间区间内每个预定时间段内通过目标出口网关设备访问该WEB业务***的体验满意度。
根据待评价时间区间内每个预定时间段内通过目标出口网关设备访问该WEB业务***的体验满意度，确定在待评价时间区间内通过目标出口网关设备访问该WEB业务***的整体体验趋势。
示例性的，若每个预定时间段为30分钟，待评价时间区间为1天，那么可以根据一天中每30分钟内(共48个预定时间段)通过目标出口网关设备访问该WEB业务***的体验满意度，确定在一天内通过目标出口网关设备访问该WEB业务***的整体体验趋势。例如，下表所示，为出口网关设备A上“知识管理***”的WEB业务***在1天内在8个预定时间段内有访问量，并产生了对应8个预定时间段的记录：
Figure BDA0001469744280000131
则可以通过该记录确定当天设备A上的“知识管理***”的整体体验趋势，具体的可以确定在“9:00-9:30”、“11:30-12:00”、“13：00-13:30”以及“14:30-15:00”的区间内体验满意度为50，由此可以确定在这一天中的早上和中午的体验较差。同时，还可以根据上述数据计算出设备A的“知识管理***”当天的体验评分为：
(80+88+85+78+68+90+92+78)/8＝82，
当天体验满意用户占比为
(8+11+7+17+5+10+20+14)/(10+12+8+20+6+11+22+15)＝92/102＝90.19％
按照满意度评判标准，则设备A的考知识管理***当天的体验为优。
S210、根据在预定时间段内通过WEB业务***所使用的所有出口网关中每个出口网关设备访问WEB业务***的体验满意度，确定在预定时间段内WEB业务***的体验满意度。
具体的，在确定在预定时间段内通过目标出口网关设备访问WEB业务***的体验满意度后，可以根据在预定时间段内通过WEB业务***所使用的所有出口网关中每个出口网关设备访问WEB业务***的体验满意度，确定在预定时间段内通过所有出口网关访问WEB业务***的整体体验满意度。
S211、根据在预定时间段内通过目标出口网关设备访问的所有WEB业务***中每个WEB业务***的体验满意度，确定在预定时间段内目标出口网关设备的体验满意度。
具体的，根据在预定时间段内通过目标出口网关设备访问的所有WEB业务***中每个WEB业务***的体验满意度，可以确定在预定时间段内通过目标出口网关设备访问所有WEB业务***时的整体体验满意度。
S212、根据在预定时间段内通过所有出口网关设备中每个出口网关设备访问的所有WEB业务***中每个WEB业务***的体验满意度，确定预定时间段内所有出口网关设备的整体体验满意度。
基于上述评价应用访问过程的方法，本申请实施例还提供一种评价服务器。图7示出所涉及评价服务器的一种可能的结构示意图。具体的，该评价服务器30包括：获取单元301、确定单元302、评价单元303，其中：
获取单元301，用于获取用户访问应用的响应时间样本库；响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间；其中所述N为大于1的正整数；
确定单元302，用于在所述获取单元301获取应用的响应时间样本库后，根据所述响应时间样本库，确定响应时间阈值；其中，在N个历史响应时间中，根据每个历史响应时间对应的经验分布函数值确定经验分布函数值小于或等于预设参数的历史响应时间集合；在所述历史响应时间集合中选择响应时间最长的历史响应时间作为所述响应时间阈值；
评价单元303，用于在所述确定单元302确定响应时间阈值后，根据用户访问所述应用时所耗费的响应时间与所述响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
在一种实施例中，
获取单元301，具体用于获取所述应用的历史访问记录，所述历史访问记录中包括每次访问所述应用的过程中所耗费的响应时间；当历史访问记录中包括的响应时间的个数大于等于第一预设个数时，根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间，生成响应时间样本库。
或者，获取单元301，具体用于获取所述应用的历史访问记录，所述历史访问记录中包括每次访问所述应用的过程中所耗费的响应时间；当历史访问记录中包括的响应时间的个数大于等于第一预设个数时，根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间，生成响应时间样本库；当历史访问记录中包括的响应时间的个数大于等于第二预设个数时，根据历史访问记录中包括的每次访问应用的过程中所耗费的响应时间，更新响应时间样本库；其中第二预设个数大于第一预设个数。
在另一种实施例中，
所述确定单元302，具体用于当所述预设参数为第一预设参数时，确定满意时间阈值。
所述评价单元303，具体用于若所述用户访问所述应用时所耗费的响应时间小于等于所述满意时间阈值时，确定本次访问所述应用的过程为一次满意的访问体验。
在另一种实施例中，所述响应时间阈值包括满意时间阈值和容忍时间阈值；
确定单元302，还用于当所述预设参数为第二预设参数时，确定满意时间阈值；当所述预设参数为第三预设参数时，确定容忍时间阈值；其中，所述第二预设参数小于所述第三预设参数。
所述评价单元303，具体用于若所述用户访问所述应用时所耗费的响应时间大于所述满意时间阈值且小于或等于所述容忍时间阈值，则确定本次访问所述应用的过程为一次可以容忍的访问体验；若所述用户访问所述应用时所耗费的响应时间大于所述容忍时间阈值，则确定本次访问所述应用的过程为一次不满意的访问体验。
在另一种实施例中，
所述应用包括WEB业务***；
所述评价单元303，还用于对L个用户中每个用户在预定时间段内每次访问所述WEB业务***的过程进行评价；其中所述L个用户在所述预定时间段内通过目标出口网关设备访问所述WEB业务***；
所述确定单元302，还用于在所述评价单元对L个用户中每个用户在预定时间段内每次访问所述WEB业务***的过程进行评价后，根据所述L个用户中每个用户在预定时间段内每次访问所述WEB业务***过程的评价结果，确定所述L个用户中每个用户在所述预定时间内访问所述WEB业务***的体验满意度；
所述确定单元302，还用于根据所述L个用户中每个用户在所述预定时间内访问所述WEB业务***的体验满意度，确定在所述预定时间段内通过目标出口网关设备访问所述WEB业务***的体验满意度。
在另一种实施例中，
所述确定单元302，还用于根据在所述预定时间段内通过所述WEB业务***所使用的所有出口网关中每个出口网关设备访问所述WEB业务***的体验满意度，确定在所述预定时间段内所述WEB业务***的体验满意度。
由于本申请实施例中的评价服务器可以应用于实施上述方法实施例，因此，其所能获得的技术效果也可参考上述方法实施例，本申请实施例在此不再赘述。
需要说明的是，获取单元301、确定单元302、评价单元303可以为单独设立的处理器，也可以集成在某一个处理器中实现，此外，也可以以程序代码的形式存储于控制器的存储器中，由控制器的某一个处理器调用并执行以上各单元的功能。这里所述的处理器可以是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
此外，还提供一种存储一个或多个程序的计算机可读存储介质(或媒体)，包括在被执行时进行上述实施例中的方法的操作的计算机可读指令。
另外，还提供一种计算机程序产品，包括上述计算机可读媒体(或介质)。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称:read-only memory，英文简称：ROM)、随机存取存储器(英文全称：random access memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种评价应用访问过程的方法，其特征在于，包括：
获取用户访问应用的响应时间样本库；所述响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间；其中所述N为大于1的正整数；
根据所述响应时间样本库，确定响应时间阈值；其中，在N个历史响应时间中，根据每个历史响应时间对应的经验分布函数值确定经验分布函数值小于或等于预设参数的历史响应时间集合；在所述历史响应时间集合中选择响应时间最长的历史响应时间作为所述响应时间阈值；
根据用户访问所述应用时所耗费的响应时间与所述响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
2.根据权利要求1所述方法，其特征在于，
所述获取用户访问应用的响应时间样本库，包括：
获取所述应用的历史访问记录，所述历史访问记录中包括每次访问所述应用的过程中所耗费的响应时间；
当所述历史访问记录中包括的响应时间的个数大于等于第一预设个数时，根据所述历史访问记录中包括的每次访问所述应用的过程中所耗费的响应时间，生成所述响应时间样本库；
或者，
当所述历史访问记录中包括的响应时间的个数大于等于第二预设个数时，根据所述历史访问记录中包括的每次访问所述应用的过程中所耗费的响应时间，更新所述响应时间样本库；其中所述第二预设个数大于所述第一预设个数。
3.根据权利要求1所述方法，其特征在于，当所述预设参数为第一预设参数时，确定响应时间阈值为满意时间阈值；
若所述用户访问所述应用时所耗费的响应时间小于等于所述满意时间阈值，则确定本次访问所述应用的过程为一次满意的访问体验。
4.根据权利要求1所述方法，其特征在于，所述响应时间阈值包括满意时间阈值和容忍时间阈值；其中，当所述预设参数为第二预设参数时，确定满意时间阈值；当所述预设参数为第三预设参数时，确定容忍时间阈值；其中，所述第二预设参数小于所述第三预设参数；
若所述用户访问所述应用时所耗费的响应时间大于所述满意时间阈值且小于或等于所述容忍时间阈值，则确定本次访问所述应用的过程为一次可以容忍的访问体验；
若所述用户访问所述应用时所耗费的响应时间大于所述容忍时间阈值，则确定本次访问所述应用的过程为一次不满意的访问体验。
5.根据权利要求1-4任一项所述方法，其特征在于，所述应用包括万维网WEB业务***；
所述方法还包括：
对L个用户中每个用户在预定时间段内每次访问所述WEB业务***的过程进行评价；其中所述L个用户在所述预定时间段内通过目标出口网关设备访问所述WEB业务***；
根据所述L个用户中每个用户在预定时间段内每次访问所述WEB业务***过程的评价结果，确定所述L个用户中每个用户在所述预定时间内访问所述WEB业务***的体验满意度；
根据所述L个用户中每个用户在所述预定时间内访问所述WEB业务***的体验满意度，确定在所述预定时间段内通过目标出口网关设备访问所述WEB业务***的体验满意度。
6.根据权利要求5所述方法，其特征在于，
所述方法还包括：
根据在所述预定时间段内通过所述WEB业务***所使用的所有出口网关中每个出口网关设备访问所述WEB业务***的体验满意度，确定在所述预定时间段内所述WEB业务***的体验满意度。
7.一种评价服务器，其特征在于，包括：
获取单元，用于获取用户访问应用的响应时间样本库；所述响应时间样本库中包括N个历史响应时间，其中一个历史响应时间表示在一次访问所述应用的过程中所耗费的响应时间；其中所述N为大于1的正整数；
确定单元，用于在所述获取单元获取应用的响应时间样本库后，根据所述响应时间样本库，确定响应时间阈值；其中，在N个历史响应时间中，根据每个历史响应时间对应的经验分布函数值确定经验分布函数值小于或等于预设参数的历史响应时间集合；在所述历史响应时间集合中选择响应时间最长的历史响应时间作为所述响应时间阈值；
评价单元，用于在所述确定单元确定响应时间阈值后，根据用户访问所述应用时所耗费的响应时间与所述响应时间阈值的大小关系，对本次访问所述应用的过程进行评价。
8.根据权利要求7所述评价服务器，其特征在于，
所述获取单元，具体用于获取所述应用的历史访问记录，所述历史访问记录中包括每次访问所述应用的过程中所耗费的响应时间；当所述历史访问记录中包括的响应时间的个数大于等于第一预设个数时，根据所述历史访问记录中包括的每次访问所述应用的过程中所耗费的响应时间，生成所述响应时间样本库；
或者，
当所述历史访问记录中包括的响应时间的个数大于等于第二预设个数时，根据所述历史访问记录中包括的每次访问所述应用的过程中所耗费的响应时间，更新所述响应时间样本库；其中所述第二预设个数大于所述第一预设个数。
9.根据权利要求7所述评价服务器，其特征在于，
所述确定单元，具体用于当所述预设参数为第一预设参数时，确定满意时间阈值；
所述评价单元，具体用于若所述用户访问所述应用时所耗费的响应时间小于等于所述满意时间阈值时，确定本次访问所述应用的过程为一次满意的访问体验。
10.根据权利要求7所述评价服务器，其特征在于，所述响应时间阈值包括满意时间阈值和容忍时间阈值；
所述确定单元，还用于当所述预设参数为第二预设参数时，确定满意时间阈值；当所述预设参数为第三预设参数时，确定容忍时间阈值；其中，所述第二预设参数小于所述第三预设参数；
所述评价单元，具体用于若所述用户访问所述应用时所耗费的响应时间大于所述满意时间阈值且小于或等于所述容忍时间阈值，则确定本次访问所述应用的过程为一次可以容忍的访问体验；若所述用户访问所述应用时所耗费的响应时间大于所述容忍时间阈值，则确定本次访问所述应用的过程为一次不满意的访问体验。
11.根据权利要求7-10任意一项所述评价服务器，其特征在于，所述应用包括WEB业务***；
所述评价单元，还用于对L个用户中每个用户在预定时间段内每次访问所述WEB业务***的过程进行评价；其中所述L个用户在所述预定时间段内通过目标出口网关设备访问所述WEB业务***；
所述确定单元，还用于在所述评价单元对L个用户中每个用户在预定时间段内每次访问所述WEB业务***的过程进行评价后，根据所述L个用户中每个用户在预定时间段内每次访问所述WEB业务***过程的评价结果，确定所述L个用户中每个用户在所述预定时间内访问所述WEB业务***的体验满意度；
所述确定单元，还用于根据所述L个用户中每个用户在所述预定时间内访问所述WEB业务***的体验满意度，确定在所述预定时间段内通过目标出口网关设备访问所述WEB业务***的体验满意度。
12.根据权利要求11所述评价服务器，其特征在于，
所述确定单元，还用于根据在所述预定时间段内通过所述WEB业务***所使用的所有出口网关中每个出口网关设备访问所述WEB业务***的体验满意度，确定在所述预定时间段内所述WEB业务***的体验满意度。
13.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如权利要求1至6任一项所述的方法。
CN201711131904.8A 2017-11-15 2017-11-15 一种评价应用访问过程的方法及评价服务器 Active CN107943678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711131904.8A CN107943678B (zh) 2017-11-15 2017-11-15 一种评价应用访问过程的方法及评价服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711131904.8A CN107943678B (zh) 2017-11-15 2017-11-15 一种评价应用访问过程的方法及评价服务器

Publications (2)

Publication Number Publication Date
CN107943678A CN107943678A (zh) 2018-04-20
CN107943678B true CN107943678B (zh) 2021-01-15

Family

ID=61932328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711131904.8A Active CN107943678B (zh) 2017-11-15 2017-11-15 一种评价应用访问过程的方法及评价服务器

Country Status (1)

Country Link
CN (1) CN107943678B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308243B (zh) * 2018-09-12 2022-11-18 杭州朗和科技有限公司 数据处理方法、装置、计算机设备和介质
CN111897703A (zh) * 2019-05-05 2020-11-06 北京神州泰岳软件股份有限公司 一种网站性能评价方法和装置
CN111858272B (zh) * 2020-06-29 2023-07-14 深圳优地科技有限公司 判断程序执行延迟方法、装置及终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486129A (zh) * 2014-12-24 2015-04-01 中国科学院计算技术研究所 分布式环境下保障应用服务质量的方法及***
CN106789439A (zh) * 2016-12-30 2017-05-31 郑州云海信息技术有限公司 一种服务状态监测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7475292B2 (en) * 2005-10-26 2009-01-06 Siemens Corporate Research, Inc. System and method for triggering software rejuvenation using a customer affecting performance metric
US9785454B2 (en) * 2013-07-25 2017-10-10 Login VSI B.V. Virtual session benchmarking tool for measuring performance and/or scalability of centralized desktop environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486129A (zh) * 2014-12-24 2015-04-01 中国科学院计算技术研究所 分布式环境下保障应用服务质量的方法及***
CN106789439A (zh) * 2016-12-30 2017-05-31 郑州云海信息技术有限公司 一种服务状态监测方法及装置

Also Published As

Publication number Publication date
CN107943678A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
Peng et al. Modeling and predicting extreme cyber attack rates via marked point processes
US20220164813A1 (en) System and method for demographic profiling of mobile terminal users based on network-centric estimation of installed mobile applications and their usage patterns
CN107404408B (zh) 一种虚拟身份关联识别方法及装置
CN107026750B (zh) 一种用户上网QoE评价方法及装置
CN107305611B (zh) 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置
CN107943678B (zh) 一种评价应用访问过程的方法及评价服务器
WO2016101464A1 (zh) 用户体验质量QoE评估方法、装置、终端及服务器
CN107967488B (zh) 一种服务器的分类方法及分类***
CN110648172B (zh) 一种融合多种移动设备的身份识别方法和***
WO2019062405A1 (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN108985048B (zh) 模拟器识别方法及相关装置
CN108449307B (zh) 一种用于识别风险设备的方法
CN112101692A (zh) 移动互联网质差用户的识别方法及装置
CN113726783A (zh) 异常ip地址识别方法、装置、电子设备及可读存储介质
WO2019062404A1 (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN114245185B (zh) 视频推荐方法、模型训练方法、装置、电子设备及介质
CN109525933B (zh) 位置隐私保护方法及装置
EP2816518A2 (en) Methods and apparatuses to identify user dissatisfaction from early cancelation
CN115086140A (zh) 宽带业务的质量评估方法、装置、电子设备及存储介质
CN110460593B (zh) 一种移动流量网关的网络地址识别方法、装置及介质
CN110290513B (zh) 一种重入网用户的识别方法和***
CN109634649B (zh) 页面流程实验方法、***、设备及可读存储介质
CN112488143A (zh) 一种网络资产国产化识别方法、装置、设备及存储介质
CN113840157B (zh) 访问检测方法、***及装置
CN114722385A (zh) 一种流量信息分析方法、***及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant