CN108900619B - 一种独立访客统计方法及装置 - Google Patents

Abstract

本说明书提供一种独立访客统计方法及装置。所述方法包括：至少一个标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识；所述至少一个标识获取节点将所述去重用户标识发送至标识合并节点；所述标识合并节点将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。利用本说明书中各个实施例，降低了数据传输量，提高了独立访客统计的计算上限，提高了数据传输效率。

Description

一种独立访客统计方法及装置

技术领域

本说明书属于计算机技术领域，尤其涉及一种独立访客统计方法及装置。

背景技术

随着互联网技术的发展，各种网站的出现丰富了人们的日常生活，浏览不同网站的用户数量会有所不同。在进行网络数据统计时，可以通过统计访问同一个网站的独立访客的数量，分析该网站的用户流量，为后续网站的管理等提供数据基础。

访问网站的一个客户端可以称为一个独立访客，随着访问网站的用户量的增加，独立访客的统计的数据处理量随之增加。现有技术中，通常使用外部存储将获得的用户标识去重，实现独立访客的统计，这种方法外部存储压力比较大，存储成本比较高。在计算量达到一定程度时，计算性能通常已经达到上限，无法进行扩展，在一些场景下，可能无法满足业务需求。

发明内容

本说明书目的在于提供一种独立访客统计方法、装置、电子设备，降低了独立访客统计的数据传输量，提高了独立访客统计的数据处理效率和计算上限。

第一方面本说明书实施例提供了一种独立访客统计方法，包括：

至少一个标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识；

所述至少一个标识获取节点分别将所述去重用户标识发送至标识合并节点；

所述标识合并节点将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

进一步地，所述方法的另一个实施例中，所述至少一个标识获取节点分别将所述用户标识进行去重，获得去重用户标识，包括：

至少一个标识获取节点分别利用基数估计法将所述用户标识进行去重，获得所述去重用户标识。

进一步地，所述方法的另一个实施例中，所述分别将所述用户标识进行去重，获得去重用户标识，包括：

分别利用布隆过滤器将所述用户标识进行去重，获得所述去重用户标识。

进一步地，所述方法的另一个实施例中，所述方法还包括：

实时或每隔预设时间进行一次独立访客统计，更新所述独立访客信息。

进一步地，所述方法的另一个实施例中，所述至少一个标识获取节点获取用户标识，包括：

所述至少一个标识获取节点分别获取所述待统计网站的页面浏览数据，根据所述页面浏览数据获取所述用户标识。

进一步地，所述方法的另一个实施例中，所述用户标识包括：访问所述待统计网站的客户端的设备标识。

第二方面，本说明书实施例还提供了一种独立访客统计方法，包括：

标识获取模块，用于获取访问待统计网站的用户标识；

标识去重模块，用于将所述用户标识进行去重，获得去重用户标识；

标识发送模块，用于将所述去重用户标识发送至标识合并节点；

标识合并模块，用于将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

进一步地，所述装置的另一个实施例中，所述标识去重模块具体用于：

利用基数估计法将所述用户标识进行去重，获得所述去重用户标识。

进一步地，所述装置的另一个实施例中，所述标识去重模块具体用于：

利用布隆过滤器将所述用户标识进行去重，获得所述去重用户标识。

进一步地，所述装置的另一个实施例中，所述标识获取节点和所述标识合并节点还用于：

用于实时或每隔预设时间进行一次独立访客统计，更新所述独立访客信息。

进一步地，所述装置的另一个实施例中，所述标识获取模块具体用于：

获取所述待统计网站的页面浏览数据，根据所述页面浏览数据获取所述用户标识。

进一步地，所述装置的另一个实施例中，所述用户标识包括：访问所述待统计网站的客户端的设备标识。

第三方面，本说明书实施例还提供了一种独立访客统计***，包括：标识合并节点和至少一个标识获取节点，所述标识合并节点和所述标识获取节点分别包括至少一个处理器以及用于存储处理器可执行指令的存储器，其中，所述处理器执行所述指令时实现包括以下步骤：

所述标识获取节点中的处理器执行所述指令时实现包括以下步骤：

标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识；

将所述去重用户标识发送至标识合并节点；

所述标识合并节点中的处理器执行所述指令时实现包括以下步骤：

将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

第四方面，本说明书实施例还提供了一种独立访客统计方法，包括：

利用标识获取节点获取访问待统计网站的用户标识，分别将所述标识获取节点中的用户标识进行去重，获得去重用户标识；

将各个标识获取节点中的所述去重用户标识发送至标识合并节点；

将所述标识合并节点中的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

第五方面，本说明书实施例还提供了一种独立访客统计处理设备，包括：

至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现包括以下步骤：

利用标识获取节点获取访问待统计网站的用户标识，分别将所述标识获取节点中的用户标识进行去重，获得去重用户标识；

将各个标识获取节点中的所述去重用户标识发送至标识合并节点；

将所述标识合并节点中的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

本说明书提供的独立访客统计方法、装置、处理设备、***，利用标识获取节点获取访问待统计网站的用户标识，并将获取到的用户标识进行去重处理，获得去重用户标识。标识合并节点获取上游标识获取节点获得的去重用户标识，并将获取到的表示去重节点进行合并，确定出待统计网站的独立访客信息。标识获取节点在用户标识传输前对获取到的用户标识进行了去重操作，在标识获取节点将用户标识向下游节点传输时，将全量的用户标识明细信息传输，转换成去重后的用户标识的数据传输，降低了数据传输量，提高了独立访客统计的计算上限，提高了数据传输效率。并且，可以不需要外部存储模块，也可以不需要改变原有的独立访客统计***，降低了独立访客统计的成本。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书一个实施例中零钱兑换***的工作流程示意图；

图2是本说明书实施例中独立访客统计的原理框架图；

图3是现有技术中一种独立访客统计的原理框架示意图；

图4是本说明书提供的独立访客统计装置一个实施例的模块结构示意图；

图5是本说明书实施例提供的独立访客统计***的结构示意图；

图6是本说明书又一实施例提供的独立访客统计方法的流程示意图；

图7是应用本发明实施例的一种独立访客统计服务器的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

独立访客可以表示不同的、通过互联网访问、浏览一个网页的自然人或客户端。例如：一个局域网对外是相同的一个IP(Internet Protocol Address，互联网协议地址)，但是有10个人同时访问，则独立访客为10，唯一IP仅为1；若一个用户，上网时频繁掉线，拔号10次均打开了受统计网站，此时，独立访客仅计为1，而IP数则被计为10。

可以通过统计网站的独立访客的数量，统计浏览网站的用户数量，为网站的大数据分析提供数据基础。

本说明书实施例中，利用标识获取节点获取用户标识，并在将用户标识发送至下一节点之前对获取得到的用户标识进行去重处理，将去重后的用户标识发送至下一节点即标识合并节点，利用标识合并节点进一步对去重后的用户标识进行合并，统计确定出独立访客信息。将全量的用户标识明细数据传输，转换成了去重后的用户标识数据传输，降低了数据传输量，提高了数据传输效率，提高了独立访客统计计算上限。同时，本说明书实施例提供的独立访客统计方法，不需要外部存储设备，不需要增加新的装置，降低了独立访客统计的成本。

具体的，图1是本说明书一个实施例中零钱兑换***的工作流程示意图，如图1所示，本说明书一个实施例中提供的独立访客统计方法可以包括：

步骤102、至少一个标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识。

图2是本说明书实施例中独立访客统计的原理框架图，如图2所示，本说明书实施例中提供的独立访客统计方法可以通过标识获取节点获取访问待统计网站的用户标识，用户标识可以包括访问待统计网站的客户端的设备标识(如：机器号)、用户的注册信息等。如图2所示，标识获取节点通常情况下可以是2个或2个以上，当然，去除故障的标识获取节点以及不参与独立访客统计的表示获取节点。当然，根据实际需要，也可能是一个标识获取节点。每个标识获取节点获取到的用户标识可能不同，各个标识获取节点在获取到用户标识后，可以分别对获取到的用户标识进行去重处理，去除获取到的用户标识中重复的用户标识，获得去重用户标识。

例如：图2中有2个标识获取节点，2个标识获取节点分别获取用户标识，有些用户可能在一个客户端上多次浏览待统计网站的网页，标识获取节点获取到的用户标识可能会有多个重复的用户标识。如：其中一个标识获取节点获取到的用户标识包括：(u0、u2、u5、u1、u2、u6、u4、u0、u6、u3、u7)，可以看出，其中用户标识u0、u2、u6出现重复，该标识获取节点可以对获取到的标识进行去重处理，将重复的用户标识只保留一个，多余的用户标识进行删除，获得去重用户标识为：u0、u2、u5、u1、u6、u4、u3、u7。同样的，另外一个标识获取节点可以进行相同的操作，获取去重用户标识。需要说明的是，本说明书实施例中的用户标识u0、u2等仅仅是示意性的表示，用户标识的实际表示形式可以根据实际需要进行设置，如：可以是浏览网站的客户端的机器号或其他的设备标识等，本说明书实施例不作具体限定。

本说明书一个或多个实施例中，用户标识的获取方法可以包括：所述标识获取节点获取待统计网站的页面浏览数据，根据所述页面浏览数据获取所述用户标识。页面浏览数据可以表示待统计网站的页面浏览量(PV，page view)，用户每一次对网站中每个网页的访问都可以被记录一次，用户对同一页面的多次访问，访问量可以累计。标识获取节点可以根据待统计网站的页面浏览数据获取每一次访问待统计网站的用户标识。不同的标识获取节点可能获取待统计网站的不同网页的页面浏览数据，进一步统计出访问该待统计网站的该网页的用户标识。可以设置多个标识获取节点，分别用于获取待统计网站不同网页的用户标识。此时，各个标识获取节点可以同时获取访问不同网页的用户标识，也可以在不同的时间获取访问不同网页的用户标识，本说明书实施例不作具体限定。利用待统计网站的页面浏览数据获取用户标识，方法简单，容易操作。

当然，不同的标识获取节点也可以用户获取不同时间段访问待统计网站同一网页或所有网页的用户标识，如：标识获取节点1用于获取8：00-9：00访问待统计网站的用户标识，标识获取节点2可以用于获取9:00-10:00访问待统计网站的用户标识。可以根据实际需要设置标识获取节点获取用户标识的规则，本说明书实施例不作具体限定。

步骤104、所述至少一个标识获取节点分别将所述去重用户标识发送至标识合并节点。

如图2所示，标识获取节点在将获取到的用户标识进行去重处理后，可以将获得的去重用户标识分别发送至下游的标识合并节点。本说明书一个或多个实施例中，标识合并节点可以只有一个，各个标识获取节点均可以将获取到的去重用户标识分别发送至标识合并节点。标识获取节点可以同时将获取到的去重用户标识发送至标识合并节点，也可以在不同的时间点将获取到的去重用户标识发送至标识合并节点，标识获取节点可以在获取到去重用户标识后实时将去重用户标识发送至标识合并节点，也可以在获取到去重用户标识后一定时间后将去重用户标识发送至标识合并节点，本说明书实施例不作具体限定。

步骤106、所述标识合并节点将接收到的所述去重用户标识进行合并，确定出独立访客信息。

标识合并节点获取到的去重用户标识是由多个标识获取节点发送的，标识合并节点接收到的去重用户标识中可能仍有重复的用户标识。如：标识获取节点1将获取到的用户标识去重后，获得的去重用户标识包括：(u0、u2、u5、u1、u6、u4、u3、u7)；标识获取节点2将获取到的用户标识去重后，获得的去重用户标识包括：(u2、u4、u0、u8、u3、u1、u7、u3)。标识合并节点在将获取到的去重用户标识进行合并时，可以将各个标识获取节点发送的去重用户标识进行再次去重操作，即将重复的用户标识只保留一个，删除多余的用户标识。如：上述实施例接收到的去重用户标识(u0、u2、u5、u1、u6、u4、u3、u7)和(u2、u4、u0、u8、u3、u1、u7、u3)，合并后为：(u0、u2、u5、u1、u6、u4、u3、u7、u8)。将去重用户标识合并后，可以确定出待统计网站的独立访客信息，独立访客信息可以包括访问待统计网站的独立访客的用户标识和/或独立访客的数量。可以将确定出的待统计网站的独立访客信息进行保存，如图2所示，可以将确定的待统计网站的独立访客信息保存至数据库中，为后续待统计网站的数据分析提供数据基础。

本说明书一个或多个实施例中，可以实时获取待统计网站的用户标识，进行独立访客的实时统计，实时统计可以理解为识别到有用户访问待统计网站时即进行独立访客的统计更新，或者也可以理解为实时监测待统计网站的访问情况，识别到有用户访问待统计网站时在指定时间段内进行独立访客的统计。本说明书一个实施例也可以每隔预设时间监测一次待统计网站的访问情况，进行一次独立访客统计。如：每隔预设时间标识获取节点获取一次待统计网站的用户标识，并进行去重，获得去重用户标识，将去重用户标识发送至标识合并节点，标识合并节点将获取到的去重用户标识进行合并，确定出待统计网站的独立访客信息，获得更新后的独立访客信息。预设时间的设置可以根据需要选择，本说明书实施例不作具体限定。可以将每一次统计获得的独立访客信息进行保存，为后续待统计网站的数据分析提供数据基础。

此外，本说明书一个或多个实施例中，可以实时统计待统计网站的独立访客信息，也可以统计指定时间段了待统计网站的独立访客信息，以分析不同时间段内待统计网站的访问情况。

本说明书实施例提供的独立访客统计方法，利用标识获取节点获取访问待统计网站的用户标识，并将获取到的用户标识进行去重处理，获得去重用户标识。标识合并节点获取上游标识获取节点获得的去重用户标识，并将获取到的表示去重节点进行合并，确定出待统计网站的独立访客信息。标识获取节点在用户标识传输前对获取到的用户标识进行了去重操作，标识获取节点将用户标识向下游节点传输时，实现了将全量的用户标识明细信息传输，转换成去重后的用户标识的数据传输，降低了数据传输量，提高了独立访客统计的计算上限，提高了数据传输效率。并且，可以不需要外部存储模块，也可以不需要改变原有的独立访客统计***，降低了独立访客统计的成本。

在上述实施例的基础上，本说明书一个实施例中，所述将所述用户标识进行去重，获得去重用户标识，可以包括：

利用基数估计法将所述用户标识进行去重，获得所述去重用户标识。

基数估计法可以用来估计一个集合中不同的元素(或数)的个数，不是数据总量的估计，也不是基数的精确计算，而是用概率算法的思想，来用低空间和时间成本，以一个很低的误差度来估计数据的基数。基数可以表示一个集合中不同的元素(或数)的个数。各个标识获取节点可以利用基数估计法对获取到的用户标识进行去重处理，生成基数数据块，基数数据块中可以包括去重后的去重用户标识。利用基数估计对获取到的用户标识进行去重，可以理解为将原本的全量的用户标识明细进行信息压缩(如：将原本10亿的用户标识明细，约50GB，可以压缩到64KB大小)，可以减少后续的数据传输量。

本说明书一个实施例中，在使用基数估计法对用户标识进行去重时，标识合并节点可以利用基数估计的可合并性质对获取到的去重用户标识进行合并。

例如：标识获取节点1将获取到的用户标识进行基数估计去重后获得的去重用户标识为(u0、u2、u5、u1、u6、u4、u3、u7)，标识获取节点2将获取到的用户标识进行基数估计去重后获得的去重用户标识为(u2、u4、u0、u8、u3、u1、u7、u3)，标识合并节点利用基数估计法的可合并性质可以获得合并后的用户标识为：(u0、u2、u5、u1、u6、u4、u3、u7、u8)，独立访客的数量为9个。

本说明书又一个实施例中，还可以使用布隆过滤器将所述用户标识进行去重，获得所述去重用户标识。布隆过滤器可以是一个很长的二进制向量和一系列随机映射函数，可以用于检索一个元素是否在一个集合中。标识获取节点可以使用布隆过滤器依次判断用户标识是否在去重用户标识集合中，实现对用户标识的去重。当然，根据实际需要还可以选择其他的方法对用户标识进行去重，本说明书实施例不作具体限定。

本说明书实施例利用基数估计法或布隆过滤器可以实现对获取到的用户标识进行去重，实现了全量用户标识信息的压缩处理，降低了后续数据传输量，提高了独立访客统计的计算上限和数据处理效率。

图3是现有技术中一种独立访客统计的原理框架示意图，如图3所示，现有技术中，利用外部存储进行去重的独立访客统计方法中，需要mapper节点(如：mapper0节点、mapper1节点)获取用户标识，并将获取到的所有的用户标识中相同的用户标识发送至下游相同的merge节点(如：merge0节点、merge1节点)。如：mapper0节点将获取到的(u0、u4、u2、u6…)用户标识发送至merge0节点中，将获取到的(u1、u3、u7、u5…)用户标识发送至merge1节点中。mapper1节点将获取到的(u2、u4、u0、u8…)用户标识发送至merge0节点中，将获取到的(u3、u1、u7、u3…)用户标识发送至merge1节点中。merge0节点和merge1节点通过外部存储设备，将重复的用户标识去重，再将去重的用户标识发送至统计节点，统计节点进行相加，确定出独立访客信息，存储到数据库中。通过外部存储设备进行用户标识去重，外部存储压力太大，当用户数量级很大时，计算响应(读取存储用户id的响应时间)以及存储成本太高(需要存储全量用户的用户标识，10亿的用户标识明细，约需要50GB空间)，可以支持100w/s的独立访客计算，主要瓶颈在于存储节点的响应速度。并且，mapper节点向merge节点发送用户标识数据时，发送的是全量的用户标识数据，数据传输量比较大，影响数据传输效率。

本说明书实施例提供的独立访客统计方法将全量的用户标识数据传输方案做了优化以及改造，转换成了去重后的用户标识的数据传输(如：基数估计数据传输)，降低了数据传输量。例如：1000w/s的独立访客计算，预计需要带宽500MB/s带宽，本说明书实施例可以使用64KB的基数估计，假设有100个并发节点，只需要6.4MB/s带宽即可以完成独立访客统计计算。本说明书一个实施例的测试效果可以达到5000w/s的独立访客统计计算。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

基于上述所述的独立访客统计方法，本说明书一个或多个实施例还提供一种独立访客统计装置。所述的装置可以包括使用了本说明书实施例所述方法的***(包括分布式***)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

具体地，图4是本说明书提供的独立访客统计装置一个实施例的模块结构示意图，如图4所示，本说明书中提供的独立访客统计装置包括：标识获取模块41、标识去重模块42、标识发送模块43、标识合并模块44，其中：

标识获取模块41，可以用于获取访问待统计网站的用户标识；

标识去重模块42，可以用于将所述用户标识进行去重，获得去重用户标识；

标识发送模块43，可以用于将所述去重用户标识发送至标识合并节点；

标识合并模块44，可以用于将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

本说明书实施例提供的独立访客统计装置，利用标识获取节点获取访问待统计网站的用户标识，并将获取到的用户标识进行去重处理，获得去重用户标识。标识合并节点获取上游标识获取节点获得的去重用户标识，并将获取到的表示去重节点进行合并，确定出待统计网站的独立访客信息。标识获取节点在用户标识传输前对获取到的用户标识进行了去重操作，在标识获取节点将用户标识向下游节点传输时，将全量的用户标识明细信息传输，转换成去重后的用户标识的数据传输，降低了数据传输量，提高了独立访客统计的计算上限，提高了数据传输效率。并且，可以不需要外部存储模块，也可以不需要改变原有的独立访客统计***，降低了独立访客统计的成本。

在上述实施例的基础上，所述标识去重模块具体用于：

利用基数估计法将所述用户标识进行去重，获得所述去重用户标识。

在上述实施例的基础上，所述标识去重模块具体用于：

利用布隆过滤器将所述用户标识进行去重，获得所述去重用户标识。

本说明书实施例提供的独立访客统计装置，利用基数估计法或布隆过滤器可以实现对获取到的用户标识进行去重，实现了全量用户标识信息的压缩处理，降低了后续数据传输量，提高了独立访客统计的计算上限和数据处理效率。

在上述实施例的基础上，所述标识获取节点和所述标识合并节点还用于：

用于实时或每隔预设时间进行一次独立访客统计，更新所述独立访客信息。

本说明书实施例，可以实现实时或定期独立访客统计，为后续待统计网站的数据分析提供数据基础。

在上述实施例的基础上，所述标识获取模块具体用于：

获取所述待统计网站的页面浏览数据，根据所述页面浏览数据获取所述用户标识。

本说明书实施例，为后续待统计网站的数据分析提供数据基础。

在上述实施例的基础上，所述用户标识包括：访问所述待统计网站的客户端的设备标识。

本说明书实施例，利用访问待统计网站的客户端的设备标识，可以准确的统计出访问待统计网站的访客数量，为后续待统计网站的数据分析提供数据基础。

需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

图5是本说明书实施例提供的独立访客统计***的结构示意图，如图5所示，本说明书一个实施例中独立访客统计***可以包括标识合并节点和至少一个标识获取节点，独立合并节点通常只有一个，所述标识合并节点和所述标识获取节点分别包括至少一个处理器以及用于存储处理器可执行指令的存储器，其中，所述处理器执行所述指令时实现包括以下步骤：

所述标识获取节点中的处理器执行所述指令时实现包括以下步骤：

标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识；

将所述去重用户标识发送至标识合并节点；

所述标识合并节点中的处理器执行所述指令时实现包括以下步骤：

将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

本说明书实施例提供的独立访客统计***，利用标识获取节点获取访问待统计网站的用户标识，并将获取到的用户标识进行去重处理，获得去重用户标识。标识合并节点获取上游标识获取节点获得的去重用户标识，并将获取到的表示去重节点进行合并，确定出待统计网站的独立访客信息。标识获取节点在用户标识传输前对获取到的用户标识进行了去重操作，在标识获取节点将用户标识向下游节点传输时，将全量的用户标识明细信息传输，转换成去重后的用户标识的数据传输，降低了数据传输量，提高了独立访客统计的计算上限，提高了数据传输效率。

图6是本说明书又一实施例提供的独立访客统计方法的流程示意图，如图6所示，本说明书实施例提供的独立访客统计方法可以包括：

步骤602：利用标识获取节点获取访问待统计网站的用户标识，分别将所述标识获取节点中的用户标识进行去重，获得去重用户标识。

用户标识的定义可以参考上述实施例的记载，此处不再赘述。本说明书实施例可以利用标识获取节点获取访问待统计网站的用户标识，具体获取用户标识的方法可以参考上述实施例的记载，如：通过获取页面浏览数据获取，本说明书实施例不作赘述。获取到用户标识后，可以分别将标识获取节点中的用户标识进行去重处理，如：可以通过基数估计法、布隆过滤器等方法对获取到的用户标识进行去重处理，获得各个标识获取节点对应的去重用户标识。标识获取节点的数量可以是2个或2个以上，当然，根据实际需要，也可以为1个。

步骤604：将各个标识获取节点中的所述去重用户标识发送至标识合并节点。

获取到去重用户标识后，可以将各个标识获取节点中的去重用户标识发送至标识合并节点。各个标识获取节点可以包括参与独立访客统计的所有的标识获取节点，也可以将没有获取用户标识、没有进行用户去重、出现故障等特殊情况的标识获取节点去除后的标识获取节点。

步骤606：将所述标识合并节点中的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

将标识合并节点中的去重用户标识进行合并，可以表示将各个标识获取节点发送的去重用户标识进行进一步去重，如：可以利用基数估计的可合并性质将去重用户标识中重复的用户标识删除，获得待统计网站的独立访客信息。独立访客信息可以包括访问待统计网站的独立访客的客户端的设备标识、用户的注册信息等，具体可以参考上述实施例的记载，此处不再赘述。

本说明书实施例提供的独立访客统计方法，利用标识获取节点获取访问待统计网站的用户标识，并将获取到的用户标识进行去重处理，获得去重用户标识。标识合并节点获取上游标识获取节点获得的去重用户标识，并将获取到的表示去重节点进行合并，确定出待统计网站的独立访客信息。标识获取节点在用户标识传输前对获取到的用户标识进行了去重操作，在标识获取节点将用户标识向下游节点传输时，将全量的用户标识明细信息传输，转换成去重后的用户标识的数据传输，降低了数据传输量，提高了独立访客统计的计算上限，提高了数据传输效率。并且，可以不需要外部存储模块，也可以不需要改变原有的独立访客统计***，降低了独立访客统计的成本。

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。因此，本说明书还提供一种独立访客统计处理设备，包括处理器及存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括以下步骤：

利用标识获取节点获取访问待统计网站的用户标识，分别将所述标识获取节点中的用户标识进行去重，获得去重用户标识；

将各个标识获取节点中的所述去重用户标识发送至标识合并节点；

将所述标识合并节点中的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

需要说明的，上述所述的处理设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图7是应用本发明实施例的一种独立访客统计服务器的硬件结构框图。如图7所示，服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本邻域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图7中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图7所示不同的配置。

存储器200可用于存储应用软件的软件程序以及模块，如本发明实施例中的搜索方法对应的程序指令/模块，处理器100通过运行存储在存储器200内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本说明书还提供一种独立访客统计***，所述***可以为单独的独立访客统计***，也可以应用在多种独立访客统计处理***中。所述的***可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、***(包括分布式***)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述异常销售人员识别***可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤，例如可以实现如下步骤：

利用标识获取节点获取访问待统计网站的用户标识，分别将所述标识获取节点中的用户标识进行去重，获得去重用户标识；

将各个标识获取节点中的所述去重用户标识发送至标识合并节点；

将所述标识合并节点中的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息。

需要说明的，上述所述的***根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

需要说明的是，本说明书上述所述的装置或者***根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

尽管本说明书实施例内容中提到使用中位数计算标准折扣率、获取一定范围内的交易对象以及交易信息之类的获取、定义、交互、计算、判断等操作和数据描述，但是，本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种独立访客统计方法，包括：

至少一个标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识；

所述至少一个标识获取节点分别将所述去重用户标识发送至标识合并节点；

所述标识合并节点将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息；

其中，所述至少一个标识获取节点获取访问待统计网站的用户标识，分别将所述用户标识进行去重，获得去重用户标识，包括：

所述至少一个标识获取节点分别利用基数估计法将所述用户标识进行去重，生成基数数据块，所述基数数据块中可以包括去重后的去重用户标识；

所述标识合并节点将接收到的所述去重用户标识进行合并，包括：

所述标识合并节点利用基数估计的可合并性质对接收到的基数数据块进行合并。

2.如权利要求1所述的方法，所述分别将所述用户标识进行去重，获得去重用户标识，包括：

分别利用布隆过滤器将所述用户标识进行去重，获得所述去重用户标识。

3.如权利要求1所述的方法，所述方法还包括：

实时或每隔预设时间进行一次独立访客统计，更新所述独立访客信息。

4.如权利要求1所述的方法，所述至少一个标识获取节点获取用户标识，包括：

所述至少一个标识获取节点分别获取所述待统计网站的页面浏览数据，根据所述页面浏览数据获取所述用户标识。

5.如权利要求1所述的方法，所述用户标识包括：访问所述待统计网站的客户端的设备标识。

6.一种独立访客统计装置，包括：

标识获取模块，用于获取访问待统计网站的用户标识；

标识去重模块，用于将所述用户标识进行去重，获得去重用户标识；

标识发送模块，用于将所述去重用户标识发送至标识合并节点；

标识合并模块，用于将接收到的所述去重用户标识进行合并，确定所述待统计网站的独立访客信息；

所述标识去重模块具体用于：利用基数估计法将所述用户标识进行去重，生成基数数据块，所述基数数据块中可以包括去重后的去重用户标识；

所述标识合并模块具体用于：所述标识合并节点利用基数估计的可合并性质对接收到的基数数据块进行合并。

7.如权利要求6所述的装置，所述标识去重模块具体用于：

利用布隆过滤器将所述用户标识进行去重，获得所述去重用户标识。

8.如权利要求6所述的装置，所述装置还用于：

实时或每隔预设时间进行一次独立访客统计，更新所述独立访客信息。

9.如权利要求6所述的装置，所述标识获取模块具体用于：

获取所述待统计网站的页面浏览数据，根据所述页面浏览数据获取所述用户标识。

10.如权利要求6所述的装置，所述用户标识包括：访问所述待统计网站的客户端的设备标识。

11.一种独立访客统计***，包括：标识合并节点和至少一个标识获取节点，所述标识合并节点和所述标识获取节点分别包括至少一个处理器以及用于存储处理器可执行指令的存储器，其中，所述处理器执行所述指令时实现包括以下步骤：

所述标识获取节点中的处理器执行所述指令时实现包括以下步骤：

标识获取节点获取访问待统计网站的用户标识，分别利用基数估计法将所述用户标识进行去重，生成基数数据块，所述基数数据块中可以包括去重后的去重用户标识；

将所述去重用户标识发送至标识合并节点；

所述标识合并节点中的处理器执行所述指令时实现包括以下步骤：

利用基数估计的可合并性质对接收到的基数数据块进行合并，确定所述待统计网站的独立访客信息。

12.一种独立访客统计方法，包括：

利用标识获取节点获取访问待统计网站的用户标识，利用基数估计法将分别将所述标识获取节点中的用户标识进行去重，生成基数数据块，所述基数数据块中可以包括去重后的去重用户标识；

将各个标识获取节点中的所述去重用户标识发送至标识合并节点；

利用基数估计的可合并性质将所述标识合并节点接收到的基数数据块进行合并，确定所述待统计网站的独立访客信息。

13.一种独立访客统计处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现包括以下步骤：

利用标识获取节点获取访问待统计网站的用户标识，利用基数估计法将分别将所述标识获取节点中的用户标识进行去重，生成基数数据块，所述基数数据块中可以包括去重后的去重用户标识；

将各个标识获取节点中的所述去重用户标识发送至标识合并节点；

利用基数估计的可合并性质将所述标识合并节点接收到的基数数据块进行合并，确定所述待统计网站的独立访客信息。

Images