CN103530347A - 一种基于大数据挖掘的互联网资源质量评估方法及*** - Google Patents

Abstract

本发明提供了一种基于大数据挖掘的互联网资源质量评估方法及***，所述方法包含：步骤101）采集互联网数据，采用抽样或随机的方式得到海量样本数据；步骤102）通过数据挖掘去除样本数据的噪声点，使样本数据具有平滑性；步骤103）使用K-Means算法得出样本数据的及格值和刻度，从而确定样本数据的若干指标的分数；步骤104）依据互联网资源质量评估的相关指标，确定互联网资源的质量评估模型；步骤105）基于得到的各指标的分数和质量评估模型，确定互联网资源质量的评估结果。本发明的技术方案可以为网络运营商和ICP运营商提高用户感知质量提供数据决策支持完善和健全的质量评分模型，使得最终数据的质量分数更加准确。

Description

一种基于大数据挖掘的互联网资源质量评估方法及***

技术领域

本发明属于互联网质量分析领域，具体涉及一种基于大数据挖掘的互联网资源质量评估方法及***。

背景技术

目前，大多数移动运营商和ICP厂商为了解决因互联网资源数量多且复杂而带来的无法确定其数据质量情况的问题，大部分采用抽取少量样本数据进行分析其质量情况的好坏，并且只能给出资源的质量的等级或专家预测的分数，不能给出一个合理的精确的分数，其分析结果并不能真正反应其资源的质量情况，也有一部分厂商采用基于大量进行的数据挖掘，但是其处理周期较长、效率低、成本高、复杂度高，如果过程中有失误和纰漏将重新进行处理，大大增加了处理周期和成本。

发明内容

本发明的目的在于，解决因互联网资源数据量多且复杂而带来的无法确定其数据质量情况问题，从而提供一种基于大数据挖掘的互联网资源质量评估方法。

为实现上述目的，本发明提供了一种基于大数据挖掘的互联网资源质量评估方法，所述方法包含：

步骤101）采集互联网数据，采用抽样或随机的方式得到海量样本数据；

步骤102）通过数据挖掘去除样本数据的噪声点，使样本数据具有平滑性；

步骤103）使用K-Means算法得出样本数据的及格值和刻度，从而确定样本数据的若干指标的分数，所述指标包含：DNS解析时间、TCP建链时间、第一字节时间和剩余时间；

步骤104）依据得到的及格值和刻度进行网络资源质量评估；

其中，所述DNS解析时间、TCP建链时间、第一字节时间以及剩余时间均以秒为单位。

上述步骤102）进一步包含：

步骤102-1）依据互联网资源质量评估相关指标项，选取所需的数据，并将选取的数据整合成用于数据挖掘的数据集，所述相关指标包含DNS解析时间、TCP建链时间、第一字节时间和剩余时间；

步骤102-2）基于数据集通过清理和归约操作，生成供挖掘核心使用的目标数据。

上述步骤103）进一步包含：

步骤103-1）从n个数据对象中，任意选择k个对象作为初始聚类中心；而对于所剩下其它数据对象，根据剩余数据对象与这些初始聚类中心的相似度，分别将剩余数据对象中的每一个数据对象分配至与数据对象最相似的某个初始聚类中心中；

步骤103-2）计算每个所获新聚类的聚类中心，不断重复这一过程直到标准测度函数开始收敛为止，得到及格值和刻度值，所述及格值为标准测度函数开始收敛为止所对应的聚类中心的重心点，所述刻度值为标准测度函数开始收敛为止所对应的聚类中心的半径与某一设定值的商，所述设定值的取值范围为：0-100；

步骤103-3）基于得到的及格值和刻度值得到各指标的分数，公式为：

各指标的分数=阈值-(指标项-及格值)/刻度；

其中，指标项的取值为对互联网资源进行质量评估而采集的实际的各指标项的数值大小，该指标项的数值大小是由专门的互联网资源质量探测***采集获得，所述指标项包含：DNS解析时间、TCP建链时间、第一字节时间和剩余字节时间；所述阈值的大小与计算指标分数时采用的分制相关，具体为该阈值为满分的百分之六十，即当采用百分制时该处的阈值为60，当采用150分值时该处固定值为90。

上述技术方案中，数据对象与聚类中心的相似度通过数据对象与聚类中心的距离进行衡量；所述新聚类的聚类中心是指该聚类中心所包含的所有数据对象的均值。

上述标准测度函数采用均方差。

上述步骤104）进一步包含：

步骤104-1）依据互联网资源质量评估的相关指标，确定互联网资源的质量评估模型，并设定质量评估模型中各指标的权重值；

步骤104-2）基于得到的各指标的分数和质量评估模型，确定互联网资源质量的评估结果。

上述步骤104-1）采用如下质量评估模型得出互联网资源质量的评分：

最终得分=DNS解析分数S1*DNS解析权重W1+TCP建链分数S2*TCP建链权重W2+第一字节S3*第一字节权重W3+剩余字节分数S4*剩余字节权重W4；

其中，DNS解析权重S1、TCP建链权重W2、第一字节权重W3和剩余字节权重W4是设置的各指标的权重值，这些权重值均是个百分数，且四个权重值之和为百分之一百。

为了实现上述方法，本发明还提供了一种基于大数据挖掘的互联网资源数据质量评估***，其特征在于，所述***包含：

获取样本数据的模块，用于采集互联网数据，得到样本数据；

样本数据预处理模块，用于通过数据挖掘去除样本数据的噪声点，使样本数据具有平滑性；

指标分数获取模块，用于使用K-Means算法得出样本数据的及格值和刻度，从而确定样本数据的若干指标的分数，所述指标包含：DNS解析时间、TCP建链时间、第一字节时间和剩余时间；

质量评估模型设计模块，用于依据互联网资源质量评估的相关指标，确定互联网资源的质量评估模型，所述相关指标包含：DNS解析时间、TCP建链时间、第一字节时间和剩余字节时间；

评估结果计算输出模块，用于基于得到的各指标的分数和质量评估模型，确定互联网资源质量的评估结果；

其中，所述DNS解析时间、TCP建链时间、第一字节时间以及剩余时间均以秒为单位。

上述样本数据预处理模块进一步包含：数据集获取子模块，用于依据互联网资源质量评估指标相关性，从样本数据中选取所需的数据，并将选取的数据整合成用于数据挖掘的数据集；

目标数据获取子模块，用于基于数据集通过清理和归约操作，生成供挖掘核心使用的目标数据。

上述指标分数获取模块进一步包含：

初始聚类中心及新聚类生成子模块，用于从海量样本数据中，任意选择k个对象作为初始聚类中心；而对于所剩下其它数据对象，根据剩余数据对象与这些初始聚类中心的相似度，分别将剩余数据对象中的每一个数据对象分配至与数据对象最相似的初始聚类中心中，得到各初始聚类对应的新聚类；

及格值和刻度值获取子模块，用于计算每个所获新聚类的聚类中心，不断重复这一过程直到标准测度函数开始收敛为止，得到及格值和刻度值，所述及格值为标准测度函数开始收敛为止所对应的某个新聚类的聚类中心的重心点，所述刻度值为标准测度函数开始收敛为止所对应的某个新聚类的聚类中心的半径与某一固定值的商，所述固定值的取值范围为：0-100；

指标分数获取子模块，用于基于得到的及格值和刻度值得到各指标的分数，公式为：

各指标的分数=阈值-(指标项-及格值)/刻度；

其中，指标项的取值为各指标项的数值，该数值是由对互联网资源进行质量拨测得来，所述指标项包含：DNS解析时间、TCP建链时间、第一字节时间和剩余字节时间；所述阈值的大小与计算指标分数时采用的分制相关，具体为该阈值为满分的的百分之六十，即当采用百分制时该处的阈值为60，当采用150分值时该处固定值为90。

与现有技术相比，本发明的技术优势在于：本发明技术方案充分利用了基于大数据的数据学习和挖掘以及数据建模技术，能够更加快速高效的对海量样本数据进行数据挖掘，完善和健全的质量评分模型使得最终数据的质量分数更加准确，为移动运营商和ICP厂商提高用户感知质量提供数据决策支持。总之本发明的技术方案可以有效解决互联网资源大量数据确定其质量情况问题。

附图说明

图1本发明提供基于大数据挖掘的互联网资源质量评估方法的流程图。

具体实施方式

下面结合实施例对本发明的技术方案进行详细阐述。

如图1所示，本发明提供了一种缓解互联网资源无法确定其质量的方法，该方法用于互联网资源大量数据的情况给出其数据的质量评分，所述方法包含：

步骤101）准备大量的原始样本数据，至少五百万条数据；

步骤102）通过数据挖掘，对样本数据去除数据噪点，使数据具有平华性；

步骤103）使用K-Means算法得出数据的及格值和刻度，从而确定数据的各指标分数；

步骤104）确定其质量评分模型；

步骤105）通过质量评分模型确定互联网资源的质量评分。

实施例

以某省某电信运营商互联网资源管理平台为例：

首先，对该省所关注的重点网站的大约1000W域名进行质量情况的探测，获得大约1000万的采样数据，其次，对采样数据进行数据挖掘去除噪点，使得数据更具有平滑性，再次，使用K-Means算法结合数据质量模型获得域名质量相关的指标的刻度和及格值，最后，使用质量评分方法和评分模型获得域名的最终质量分数，该运营商使用该专利后，可以很精确的获得该省的域名质量情况，为该运营商后续的进行资源引入和资源调度提供数据支持，大大的提升了本省用户的感知质量，为该运营商节省了大量的成本的同时，也获得更高的用户满意度。

综上所述，本发明采用以上方法后，可以对互联网上的任意网站或域名的质量情况进行评估，并能给出具体的质量分数，为网络运营商和ICP运营商提高用户感知质量提供数据决策支持，本发明充分利用了基于大数据的数据学习和挖掘以及数据建模技术，能够更加快速高效的对海量样本数据进行数据挖掘，完善和健全的质量评分模型使得最终数据的质量分数更加准确。

以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于大数据挖掘的互联网资源质量评估方法，所述方法包含：

步骤101）采集互联网数据，采用抽样或随机的方式得到海量样本数据；

步骤102）通过数据挖掘去除样本数据的噪声点，使样本数据具有平滑性；

步骤103）使用K-Means算法得出样本数据的及格值和刻度，从而确定样本数据的若干指标的分数，所述指标包含：DNS解析时间、TCP建链时间、第一字节时间和剩余时间；

步骤104）依据得到的及格值和刻度进行网络资源质量评估；

其中，所述DNS解析时间、TCP建链时间、第一字节时间以及剩余时间均以秒为单位。

2.根据权利要求1所述的基于大数据挖掘的互联网资源质量评估方法，其特征在于，所述步骤102）进一步包含：

步骤102-1）依据互联网资源质量评估相关指标项，选取所需的数据，并将选取的数据整合成用于数据挖掘的数据集，所述相关指标包含DNS解析时间、TCP建链时间、第一字节时间和剩余时间；

步骤102-2）基于数据集通过清理和归约操作，生成供挖掘核心使用的目标数据。

3.根据权利要求1所述的基于大数据挖掘的互联网资源质量评估方法，其特征在于，所述步骤103）进一步包含：

步骤103-1）从n个数据对象中，任意选择k个对象作为初始聚类中心；而对于所剩下其它数据对象，根据剩余数据对象与这些初始聚类中心的相似度，分别将剩余数据对象中的每一个数据对象分配至与数据对象最相似的某个初始聚类中心中；

步骤103-2）计算每个所获新聚类的聚类中心，不断重复这一过程直到标准测度函数开始收敛为止，得到及格值和刻度值，所述及格值为标准测度函数开始收敛为止所对应的聚类中心的重心点，所述刻度值为标准测度函数开始收敛为止所对应的聚类中心的半径与某一设定值的商，所述设定值的取值范围为：0-100；

步骤103-3）基于得到的及格值和刻度值得到各指标的分数，公式为：

各指标的分数=阈值-(指标项-及格值)/刻度；

其中，指标项的取值为对互联网资源进行质量评估而采集的实际的各指标项的数值大小，该指标项的数值大小是由专门的互联网资源质量探测***采集获得，所述指标项包含：DNS解析时间、TCP建链时间、第一字节时间和剩余字节时间；所述阈值的大小与计算指标分数时采用的分制相关，具体为该阈值为满分的百分之六十，即当采用百分制时该处的阈值为60，当采用150分值时该处固定值为90。

4.根据权利要求3所述的基于大数据挖掘的互联网资源质量评估方法，其特征在于，

数据对象与聚类中心的相似度通过数据对象与聚类中心的距离进行衡量；

所述新聚类的聚类中心是指该聚类中心所包含的所有数据对象的均值。

5.根据权利要求3所述的基于大数据挖掘的互联网资源质量评估方法，其特征在于，所述标准测度函数采用均方差。

6.根据权利要求1所述的直观显示互联网资源质量评分的方法，其特征在于，所述步骤104）进一步包含：

步骤104-1）依据互联网资源质量评估的相关指标，确定互联网资源的质量评估模型，并设定质量评估模型中各指标的权重值；

步骤104-2）基于得到的各指标的分数和质量评估模型，确定互联网资源质量的评估结果。

7.根据权利要求6所述的直观显示互联网资源质量评分的方法，其特征在于，所述步骤104-1）采用如下质量评估模型得出互联网资源质量的评分：

最终得分=DNS解析分数S1*DNS解析权重W1+TCP建链分数S2*TCP建链权重W2+第一字节S3*第一字节权重W3+剩余字节分数S4*剩余字节权重W4；

其中，DNS解析权重S1、TCP建链权重W2、第一字节权重W3和剩余字节权重W4是设置的各指标的权重值，这些权重值均是个百分数，且四个权重值之和为百分之一百。

8.一种基于大数据挖掘的互联网资源数据质量评估***，其特征在于，所述***包含：

获取样本数据的模块，用于采集互联网数据，得到样本数据；

样本数据预处理模块，用于通过数据挖掘去除样本数据的噪声点，使样本数据具有平滑性；

指标分数获取模块，用于使用K-Means算法得出样本数据的及格值和刻度，从而确定样本数据的若干指标的分数，所述指标包含：DNS解析时间、TCP建链时间、第一字节时间和剩余时间；

质量评估模型设计模块，用于依据互联网资源质量评估的相关指标，确定互联网资源的质量评估模型，所述相关指标包含：DNS解析时间、TCP建链时间、第一字节时间和剩余字节时间；

评估结果计算输出模块，用于基于得到的各指标的分数和质量评估模型，确定互联网资源质量的评估结果；

其中，所述DNS解析时间、TCP建链时间、第一字节时间以及剩余时间均以秒为单位。

9.根据权利要求8所述的基于大数据挖掘的互联网资源数据质量评估***，其特征在于，所述样本数据预处理模块进一步包含：数据集获取子模块，用于依据互联网资源质量评估指标相关性，从样本数据中选取所需的数据，并将选取的数据整合成用于数据挖掘的数据集；

目标数据获取子模块，用于基于数据集通过清理和归约操作，生成供挖掘核心使用的目标数据。

10.根据权利要求8所述的基于大数据挖掘的互联网资源数据质量评估***，其特征在于，所述指标分数获取模块进一步包含：

初始聚类中心及新聚类生成子模块，用于从海量样本数据中，任意选择k个对象作为初始聚类中心；而对于所剩下其它数据对象，根据剩余数据对象与这些初始聚类中心的相似度，分别将剩余数据对象中的每一个数据对象分配至与数据对象最相似的初始聚类中心中，得到各初始聚类对应的新聚类；

及格值和刻度值获取子模块，用于计算每个所获新聚类的聚类中心，不断重复这一过程直到标准测度函数开始收敛为止，得到及格值和刻度值，所述及格值为标准测度函数开始收敛为止所对应的某个新聚类的聚类中心的重心点，所述刻度值为标准测度函数开始收敛为止所对应的某个新聚类的聚类中心的半径与某一固定值的商，所述固定值的取值范围为：0-100；

指标分数获取子模块，用于基于得到的及格值和刻度值得到各指标的分数，公式为：

各指标的分数=阈值-(指标项-及格值)/刻度；

其中，指标项的取值为各指标项的数值，该数值是由对互联网资源进行质量拨测得来，所述指标项包含：DNS解析时间、TCP建链时间、第一字节时间和剩余字节时间；所述阈值的大小与计算指标分数时采用的分制相关，具体为该阈值为满分的的百分之六十，即当采用百分制时该处的阈值为60，当采用150分值时该处固定值为90。

Images