CN108090089B - 探测网站中热点数据的方法、装置和*** - Google Patents
探测网站中热点数据的方法、装置和*** Download PDFInfo
- Publication number
- CN108090089B CN108090089B CN201611042616.0A CN201611042616A CN108090089B CN 108090089 B CN108090089 B CN 108090089B CN 201611042616 A CN201611042616 A CN 201611042616A CN 108090089 B CN108090089 B CN 108090089B
- Authority
- CN
- China
- Prior art keywords
- data
- access
- amount
- detection period
- website
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种探测网站中热点数据的方法、装置和***。其中,该方法包括:确定至少一种访问类型的数据;获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;根据第一访问量和第二访问量,确定网站中的热点数据。本发明解决了现有技术难以根据用户访问量的波动情况采集网站中的热点数据的技术问题。
Description
技术领域
本发明涉及数据探测领域,具体而言,涉及一种探测网站中热点数据的方法、装置和***。
背景技术
随着互联网技术的高速发展,越来越多的网站比以往更加迫切地希望掌握网站的热点数据,以便有针对性地根据用户关注度调整网站推广信息和运营状况,从而吸引更多的网站用户的访问和关注。
但实际情况中,网站管理者面临的现实考验是由于难以确定和掌握热点数据,网站管理者不能得到热点数据也就意味着难以获知用户群体的关注热点以及用户群体的来源热点区域等等,例如,一方面,网站管理者不知道哪些热点信息更受网站用户的关注,不能掌握是哪些区域的网站用户的更关注热点信息;就不能有针对性地根据用户关注度调整网站推广信息;网站管理者的统计数据也难以为上层管理者以及的决策者提供决策支持。
另一方面,网站用户不能明确看到其所关注的热点,难以实时了解政府网站经营和推广的业务。以政府网站为例,政府网站的用户会比较关注某一维度上的热点。虽然,政府网站管理者想知道最近网站用户都在关注哪一具体维度上的热点信息,但是由于不能采集到网站中的热点信息,难以根据数据的波动情况确定网站中的热点数据,不利于政府部门工作业务的开展。
针对上述现有技术难以根据用户访问量的波动情况采集网站中的热点数据的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种探测网站中热点数据的方法、装置和***,以至少解决现有技术难以根据用户访问量的波动情况采集网站中的热点数据的技术问题。
根据本发明实施例的一个方面,提供了一种探测网站中热点数据的方法,包括:确定至少一种访问类型的数据;获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;根据第一访问量和第二访问量,确定网站中的热点数据。
根据本发明实施例的另一方面,还提供了一种探测网站中热点数据的装置,包括:第一确定模块,用于确定至少一种访问类型的数据;第一获取模块,用于获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;第二获取模块,用于获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;第二确定模块,根据第一访问量和第二访问量,确定网站中的热点数据。
根据本发明实施例的另一方面,还提供了一种探测网站中热点数据的***,包括:主控设备,用于存储网站的数据信息;处理设备,与主控设备进行通讯,用于通过发起任务请求从主控设备中获取网站信息,其中,在主控设备中处理任务请求对应的任务信息;处理设备还用于在处理设备的进程接收到任务信息之后,通过触发进程启动对应的任务子进程来执行任务信息。
在本发明实施例中,采用数据探测的方式,通过确定至少一种访问类型的数据;获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量,根据第一访问量和第二访问量,确定网站中的热点数据,进而达到了根据不同类型的用户访问量的变化幅度信息,探测网站中的热点数据的目的,从而解决了现有技术难以根据用户访问量的波动情况采集网站中的热点数据的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种探测网站中热点数据的方法流程图;
图2是根据本发明实施例的一种可选的探测网站中热点数据的方法流程图;
图3是根据本发明实施例的一种可选的探测网站中热点数据的方法流程图;
图4是根据本发明实施例的一种可选的探测网站中热点数据的方法流程图;
图5是根据本发明实施例的一种探测网站中热点数据的装置示意图;
图6是根据本发明实施例的一种可选的探测网站中热点数据的装置示意图;
图7是根据本发明实施例的一种可选的探测网站中热点数据的装置示意图;
图8是根据本发明实施例的一种可选的探测网站中热点数据的装置示意图;以及
图9是根据本发明实施例的一种探测网站中热点数据的***示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种探测网站中热点数据的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种探测网站中热点数据的方法流程图,如图1所示,该方法包括如下步骤:
步骤S102,确定至少一种访问类型的数据。
在上述步骤S102中,访问类型包括但不限于网站业务所关注的访问类型,具体的,上述访问类型的数据可以为不同的维度的数据,其中,维度用于表征网站业务所关注的对象,例如,该对象可以但不限于站外搜索关键词、站内搜索关键词、导航来源、省份、专题、着陆页标题等维度。
需要说明的是,当选取维度时,可以是一个或是多个维度。
通过上述实施例中的步骤S102,网站管理者可以确定业务领域内所关注的访问类型的数据,对探测热点数据的范围,网站管理者可以自由限定,以求最大范围的达到探测热点数据的目的。
步骤S104,获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量。
在上述步骤S104中,在探测用户访问量时,可以通过确定待探测的用户访问量的类型来选取网站业务领域所关注的一种或多种访问类型的数据;具体的,上述选取的内容可以包括选取不同的探测维度。可以但不限于确定至少两个待探测的探测周期,待探测的探测周期中可以包括当前探测周期。
具体的,在上述步骤中,可以通过统计当前探测周期内每种访问类型的数据的访问量,对统计得到的每种访问类型的数据的访问量进行排序处理,得到当前探测周期内每种访问类型的数据的用户访问量数据的排序结果,把处理得到的排序结果的数据与预设条件的数据进行对比,选出满足预设条件的每种访问类型的数据的访问量,作为第一访问量。
需要说明的是,上述预设条件可以但不限于用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据,其中上述预定访问量的数据、预定排名可以是网站创建时的默认值,也可以是网站管理者根据具体情况设置的,不作具体限定。
通过上述步骤S104,网站管理者可以根据关注的访问类型的数据,适应性确定待探测周期,通过设定预设条件,采集满足预设条件的每种访问类型的数据,对得到的每种访问类型的数据进行排序处理,筛选出当前探测周期内满足预设条件的每种访问类型的数据,进而获取得到当前探测周期内满足预设条件的每种访问类型的数据的第一访问量。
在一种可选的实施例中,以网站业务为例进行说明,可以是网站管理者通过选取业务领域所关注的一个或者多个维度,例如,站外搜索关键词、站内搜索关键词、导航来源、省份、专题、着陆页标题等维度,统计上述网站中本周内一个或者多个维度的用户访问人次,选出访问人次的排名在前1000的数据,作为确定热点数据的第一访问量。
步骤S106,获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量。
基于上述步骤S106所提供的方案,具体的,在上述步骤中,可以在获取得到当前探测周期内满足预设条件的每种访问类型的数据的第一访问量之后,可以统计当前探测周期之前的至少一个连续的历史探测周期内的每种访问类型的数据,具体的,当前探测周期之前的至少一个连续的历史探测周期可以是当前周期的上一个周期、上两个周期等等。
需要说明的是,当前探测周期之前的至少一个连续的历史探测周期可以但不限于上述任意一种探测周期。
通常情况下,可以在获取上述至少一个连续的历史探测周期内的每种访问类型的数据之后,筛选出与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据,进而将获取到的所对应的数据的访问量作为第二访问量。上述所对应的数据可以为与当前探测周期获取到的第一访问量的访问类型相一致的访问类型的数据。
此处还需要说明的是,可以将获取到的每种用户访问类型的数据以及满足预设条件的数据等数据储存在主控设备中,在上述获取到的每种访问类型的数据中。
在一种可选的实施例中,仍以网站业务为例进行说明,在本网站中统计上一个周内一个或者多个维度的用户访问量,并在采集到每种访问类型的数据之后,筛选出与本周的用户访问量的排名在前1000的数据相一致的访问类型的访问类型的数据,作为确定网站中热点数据的第二访问量。
步骤S108,根据第一访问量和第二访问量,确定网站中的热点数据。
在上述步骤S108中,可以通过选取任意一个或多个待探测的探测周期,探测得到探测周期内每种访问类型的用户访问量的数据,根据筛选得到满足网站预设条件的第一访问量,具体的,第二访问量可以是通过统计每种访问类型的数据之后,根据与筛选出的第一访问量比较得出的,在得到第一访问量和第二访问量之后,可以根据比较第一访问量和第二访问量计算得到网站中的热点数据。
需要说明的是,上述当前探测周期和历史探测周期可以是网站创建时默认的,也可以是网站管理者根据实际情况设置的,但不限于上述任意一种情况;相应地,上述预设条件可以但不限于用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据。
仍需要说明的是,上述任意一种访问类型的数据的取值范围和单位不唯一,可以根据选取的访问类型的不同相应地进行调动。
在本发明实施例中,采用数据探测的方式,通过确定至少一种访问类型的数据;获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;根据第一访问量和第二访问量,确定网站中的热点数据,从而达到了根据不同类型的用户访问量的变化幅度信息,探测网站中的热点数据的目的,进而解决了现有技术难以根据用户访问量的波动情况采集网站中的热点数据的技术问题。
可选的,图2是根据本发明实施例的一种可选的探测网站中热点数据的方法流程图。如图2所示,在执行步骤S104,即获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量,该方法包括如下步骤:
步骤S202,统计得到当前探测周期内每种访问类型的数据。
步骤S204,对当前探测周期内每种访问类型的数据进行排序,得到第一排序结果。
步骤S206,从第一排序结果筛选出当前探测周期内满足预设条件的每种访问类型的数据。
步骤S208,获取满足预设条件的每种访问类型的数据的访问量作为第一访问量。
在上述步骤S202至步骤S208中,通过统计当前探测周期内每种访问类型的数据,对当前探测周期内每种访问类型的数据进行排序,得到第一排序结果,把处理得到的排序结果与预设条件的数据相比较,从第一排序结果筛选出当前探测周期内满足预设条件的每种访问类型的数据,获取每种访问类型的数据的访问量作为第一访问量。
此处需要说明的是,上述预设条件可以但不限于用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据,其中上述预定访问量的数据、预定排名可以是网站创建时的默认值,也可以是网站管理者根据具体情况设置的,不作具体限定。
在一种可选的实施例中,还以网站业务进行说明,可以是网站管理者通过选取业务领域所关注的一个或者多个维度,统计上述网站中本周内,一个或者多个维度的用户访问量数据,可以筛选出用户访问人次的排名在前1000的数据,作为确定热点数据的第一访问量。
可选的,图3是根据本发明实施例的一种可选的探测网站中热点数据的方法流程图。如图3所示,在执行步骤S106,即获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量,该方法包括如下步骤:
步骤S302,统计每个历史探测周期内的每种访问类型的数据。
步骤S304,从每个历史探测周期内的每种访问类型的数据中筛选出与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据。
步骤S306,获取所对应的数据的访问量作为第二访问量。
在上述步骤S302至步骤S306中,通过统计历史探测周期内的每种访问类型的数据,从每个历史探测周期内的每种访问类型的数据中筛选出与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据,获取所对应的数据的访问量作为第二访问量。
在一种可选的实施例中,通过选取网站的业务领域中所关注的一个或者多个类型的数据,确定上周和上上周为两个待探测的探测周期,获取统计网站中上上周内每种用户访问类型的数据,并从采集到每种访问类型的数据中选择与上周内的访问人次的排名在前1000的每种访问类型的数据相一致的访问类型的数据,作为确定热点数据的第二访问量。
可选的,图4是根据本发明实施例的一种可选的探测网站中热点数据的方法流程图。如图4所示,在执行步骤S108时,即根据第一访问量和第二访问量,确定网站中的热点数据,该方法包括如下步骤:
步骤S402,根据第一访问量和第二访问量,得到当前探测周期相对于当前探测周期之前的至少一个连续的历史探测周期中满足预设条件的每种访问类型的数据的用户访问量的增长幅度。
步骤S404,比较用户访问量的增长幅度与预设增长幅度。
步骤S406,若用户访问量的增长幅度超出预设增长幅度,确定用户访问量对应的数据为网站中的热点数据。
在上述步骤S402至步骤S406中,通过第一访问量和第二访问量确定热点数据,具体的,热点数据的确定方法可以为:根据第一访问量和第二访问量,得到当前探测周期相对于当前探测周期之前的至少一个连续的历史探测周期中满足预设条件的每种访问类型的数据的用户访问量的增长幅度,将探测得到的用户访问量的增长幅度与预先设定的增长幅度相比较,若用户访问量的增长幅度超出预设增长幅度,则确定用户访问量对应的数据为网站中的热点数据。
此处需要说明的是,上述预设条件可以但不限于用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据,其中上述预定访问量的数据、预定排名可以是网站创建时的默认值,也可以是网站管理者根据具体情况设置的,不作具体限定。
此处还需要说明的是,上述预设增长幅度可以为网站创建时预先设定的数据值,也可以为网站管理者根据实际情况设定的。具体的,预设增长幅度的取值范围和幅度值的单位不作具体限定,可以根据选取的数据类型的不同相应地进行调动。
在一种可选的实施例中,确定热点数据的方法可以是上周热点计算方法,可以是根据预设条件分别统计出上周、上上周用户访问量排名在前1000名的每种类型的数据,比较上周相对于上上周的用户访问量的增长幅度是否超过预设增长幅度,筛选出增长幅度超过预设增长幅度的用户访问量所对应每种访问类型的数据,确定为热点数据。
可选的,在执行步骤S108,即根据第一访问量和第二访问量,确定网站中的热点数据之后,该方法包括如下步骤:
步骤S110,根据用户访问量的增长幅度对热点数据进行排序,得到第二排序结果。
步骤S112,从第二排序结果中筛选出满足预设排名的热点数据。
作为一种可选的实施例,可以根据用户访问量的增长幅度对热点数据进行排序,具体的,用户访问量的增长幅度越高的排名越靠前。在得到一个排序结果之后,从排序结果中筛选出热点数据的前5名或者前10名。
需要说明的是,上述预设排名可以但不限于上述任意一种。
实施例2
根据本发明实施例,还提供了一种探测网站中热点数据的装置实施例。
图5是根据本发明实施例的一种探测网站中热点数据的装置示意图,如图5所示,该装置包括:第一确定模块50、第一获取模块52、第二获取模块54、第二确定模块56。
其中,第一确定模块50,用于确定至少一种访问类型的数据;第一获取模块52,用于获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;第二获取模块54,用于获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;第二确定模块56,根据第一访问量和第二访问量,确定网站中的热点数据。
在本发明实施例中,上述装置采用数据探测的方式,通过第一确定模块来确定至少一种访问类型的数据;第一获取模块用于获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;第二获取模块用于获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;第二确定模块,用于根据第一访问量和第二访问量,确定网站中的热点数据,达到了根据不同类型的用户访问量的变化幅度信息,探测网站中的热点数据的目的,进而解决了现有技术难以根据用户访问量的波动情况采集网站中的热点数据的技术问题。
此处需要说明的是,上述第一确定模块50、第一获取模块52、第二获取模块54、第二确定模块56对应于实施例一中的步骤S102至步骤S108,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
可选的,图6是根据本发明实施例的一种可选的探测网站中热点数据的装置示意图,如图6所示,在一种可选的实施例中,第一获取模块52包括:第一统计单元521,第一排序单元523,第一筛选单元525,第一获取单元527。
其中,第一统计单元521,用于统计得到当前探测周期内每种访问类型的数据;第一排序单元523,用于对当前探测周期内每种访问类型的数据进行排序,得到第一排序结果;第一筛选单元525,用于从第一排序结果筛选出当前探测周期内满足预设条件的每种访问类型的数据;第一获取单元527,用于获取满足预设条件的每种访问类型的数据的访问量作为第一访问量。
此处需要说明的是,上述第一统计单元521,第一排序单元523,第一筛选单元525、第一获取单元527对应于实施例一中的步骤S202至步骤S208,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
可选的,图7是根据本发明实施例的一种可选的探测网站中热点数据的装置示意图,如图7所示,在一种可选的实施例中,第二获取模块54包括:第二统计单元541,第二筛选单元543,第二获取单元545。
其中,第二统计单元541,用于统计得到每个历史探测周期内的每种访问类型的数据;第二筛选单元543,用于从每个历史探测周期内的每种访问类型的数据中筛选出与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据;第二获取单元545,用于获取所对应的数据的访问量作为第二访问量。
此处需要说明的是,上述第二统计单元541,第二筛选单元543,第二获取单元545对应于实施例一中的步骤S302至步骤S306,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
可选的,图8是根据本发明实施例的一种可选的探测网站中热点数据的装置示意图,如图8所示,在一种可选的实施例中,第二确定模块56还包括:第一确定单元561,第一比较单元563,第二确定单元565。
其中,第一确定单元561,用于根据第一访问量和第二访问量,得到当前探测周期相对于当前探测周期之前的至少一个连续的历史探测周期中满足预设条件的每种访问类型的数据的的用户访问量的增长幅度;第一比较单元563,用于比较用户访问量的增长幅度与预设增长幅度;第二确定单元565,用于若用户访问量的增长幅度超出预设增长幅度,确定用户访问量对应的数据为网站中的热点数据。
此处需要说明的是,上述第一确定单元561,第一比较单元563,第二确定单元565对应于实施例一中的步骤S402至步骤S406,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在一种可选的实施例中,探测网站中热点装置还包括:第一排序模块58、第一筛选模块60。
其中,第一排序模块58,根据用户访问量的增长幅度对热点数据进行排序,得到第二排序结果;第一筛选模块60,从第二排序结果中筛选出满足预设排名的热点数据。
此处需要说明的是,上述第一排序模块58、第一筛选模块60对应于实施例一中的步骤S110、步骤S112,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
实施例3
根据本发明实施例,还提供了一种探测网站中热点数据的***实施例。
图9是根据本发明实施例的一种探测网站中热点数据的***示意图,如图9所示,在本发明的一种实施例中,该***可以包括:主控设备901、处理设备903。
其中,主控设备901,用于存储网站的数据信息;处理设备903,与主控设备进行通讯,用于通过发起任务请求从主控设备中获取网站信息,其中,在主控设备中处理任务请求对应的任务信息;处理设备903还用于在处理设备的进程接收到任务信息之后,通过触发进程启动对应的任务子进程来执行任务信息。
下面结合图9对该探测网站中热点数据的***中的主控设备901和处理设备903之间的数据交互情况进行说明:
主控设备901,可以用来存储网站的访问类型的数据信息,在探测用户访问量的热点数据的情况下,处理设备903,可以与主控设备进行通讯,用于通过发起任务请求从主控设备中获取网站的访问类型的数据信息,处理设备903可以选取网站业务领域所关注的一种或多种类型的数据,上述选取方式可以包括选取不同的探测维度,确定待探测的探测周期。
由上可知,处理设备903可以通过统计当前探测周期内每种访问类型的数据,对当前探测周期内每种访问类型的数据进行排序,得到第一排序结果,处理设备903把处理得到的排序结果与预设条件的数据进行比较,筛选出当前探测周期内满足预设条件的每种访问类型的数据,获取每种访问类型的数据的访问量作为第一访问量。主控设备901存储选筛选出的第一访问量。
进一步的,处理设备903可以统计每个历史探测周期内的每种访问类型的数据,其中,可以将获取到的每种用户访问类型的数据结果储存在主控设备901中,在获取到的每种访问类型的数据中,处理设备903,从每个历史探测周期内的每种访问类型的数据中筛选出与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据,得到第二访问量。主控设备901存储筛选出的第二访问量。
处理设备903可以根据第一访问量和第二访问量,比较用户访问量的增长幅度与预设增长幅度,在用户访问量的增长幅度超过预设增长幅度的情况下,确定网站中的热点数据。在得到热点数据之后,处理设备903可以根据用户访问量的增长幅度对热点数据进行排序,从排序结果中选择满足预设条件的热点数据,主控设备901存储得到的网站中的热点数据。
在一种具体实施例中,网站管理者可以统计本周内一个或者多个维度的用户访问人次,选出访问人次的排名在前1000的数据,作为确定热点数据的第一访问量;统计网站中上周内一个或者多个维度的用户访问人次,并选出与本周访问人次的排名在前1000的数据相一致的每种类型的访问类型的数据,作为确定热点数据的第二访问量。根据第一访问量和第二访问量,得到本周相对于上周的用户访问量的增长幅度,比较上述增长幅度与预设增长幅度,若用户访问量的增长幅度超过预设增长幅度,确定用户访问量对应的数据为网站中的热点数据。之后可以得到热点数据的前10名,达到了根据用户访问量的变化幅度信息,确定网站中的热点数据的目的。
在本发明实施例中,采用数据探测的方式,通过确定至少一种访问类型的数据;获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;根据第一访问量和第二访问量,确定网站中的热点数据,从而达到了根据不同类型的用户访问量的变化幅度信息,探测网站中的热点数据的目的,进而解决了现有技术难以根据用户访问量的波动情况采集网站中的热点数据的技术问题。
上述探测网站中热点数据的***包括处理器和存储器,上述第一排序单元,第一筛选单元,第一获取单元,第一确定模块和第一获取模块等等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元。上述预设条件、预设值都可以存储在存储器中。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数解析文本内容。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品的实施例,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:确定至少一种访问类型的数据;获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取当前探测周期之前的至少一个连续的历史探测周期内与当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;根据第一访问量和第二访问量,确定网站中的热点数据。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种探测网站中热点数据的方法,其特征在于,包括:
确定至少一种访问类型的数据;
获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;
获取所述当前探测周期之前的至少一个连续的历史探测周期内与所述当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;
根据所述第一访问量和所述第二访问量,确定网站中的热点数据;
其中,所述预设条件用于选取用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据;
其中,根据所述第一访问量和所述第二访问量,确定网站中的热点数据,包括:
根据所述第一访问量和所述第二访问量,得到当前探测周期相对于当前探测周期之前的至少一个连续的历史探测周期中满足所述预设条件的每种访问类型的数据的用户访问量的增长幅度;
比较所述用户访问量的增长幅度与预设增长幅度;
若所述用户访问量的增长幅度超出所述预设增长幅度,确定所述用户访问量对应的数据为网站中的热点数据。
2.根据权利要求1所述的方法,其特征在于,获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量,包括:
统计得到所述当前探测周期内每种访问类型的数据;
对所述当前探测周期内每种访问类型的数据进行排序,得到第一排序结果;
从所述第一排序结果筛选出当前探测周期内满足预设条件的每种访问类型的数据;
获取所述满足预设条件的每种访问类型的数据的访问量作为第一访问量。
3.根据权利要求1所述的方法,其特征在于,获取所述当前探测周期之前的至少一个连续的历史探测周期内与所述当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量,包括:
统计每个所述历史探测周期内的每种访问类型的数据;
从每个所述历史探测周期内的每种访问类型的数据中筛选出与所述当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据;
获取所述所对应的数据的访问量作为第二访问量。
4.根据权利要求1至3任意一项所述的方法,其特征在于,在根据所述第一访问量和所述第二访问量,确定网站中的热点数据之后,还包括:
根据所述用户访问量的增长幅度对所述热点数据进行排序,得到第二排序结果;
从所述第二排序结果中筛选出满足预设排名的所述热点数据。
5.一种探测网站中热点数据的装置,其特征在于,包括:
第一确定模块,用于确定至少一种访问类型的数据;
第一获取模块,用于获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;
第二获取模块,用于获取所述当前探测周期之前的至少一个连续的历史探测周期内与所述当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;
第二确定模块,根据所述第一访问量和所述第二访问量,确定网站中的热点数据;
其中,所述预设条件用于选取用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据;
其中,所述第二确定模块还包括:
第一确定单元,用于根据所述第一访问量和所述第二访问量,得到当前探测周期相对于当前探测周期之前的至少一个连续的历史探测周期中满足所述预设条件的每种访问类型的数据的用户访问量的增长幅度;
第一比较单元,用于比较所述用户访问量的增长幅度与预设增长幅度;
第二确定单元,用于若所述用户访问量的增长幅度超出所述预设增长幅度,确定所述用户访问量对应的数据为网站中的热点数据。
6.根据权利要求5所述的装置,其特征在于,所述第一获取模块包括:
第一统计单元,用于统计得到所述当前探测周期内每种访问类型的数据;
第一排序单元,用于对所述当前探测周期内每种访问类型的数据进行排序,得到第一排序结果;
第一筛选单元,用于从所述第一排序结果筛选出当前探测周期内满足预设条件的每种访问类型的数据;
第一获取单元,用于获取所述满足预设条件的每种访问类型的数据的访问量作为第一访问量。
7.根据权利要求5所述的装置,其特征在于,所述第二获取模块包括:
第二统计单元,用于统计得到每个所述历史探测周期内的每种访问类型的数据;
第二筛选单元,用于从每个所述历史探测周期内的每种访问类型的数据中筛选出与所述当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据;
第二获取单元,用于获取所述所对应的数据的访问量作为第二访问量。
8.根据权利要求5至7任意一项所述的装置,其特征在于,所述装置还包括:
第一排序模块,根据所述用户访问量的增长幅度对所述热点数据进行排序,得到第二排序结果;
第一筛选模块,从所述第二排序结果中筛选出满足预设排名的所述热点数据。
9.一种探测网站中的热点数据的***,其特征在于,包括:
主控设备,用于存储网站的数据信息;
处理设备,与所述主控设备进行通讯,用于通过发起任务请求从所述主控设备中获取网站信息,其中,在所述主控设备中处理所述任务请求对应的任务信息;
所述处理设备还用于在所述处理设备的进程接收到所述任务信息之后,通过触发进程启动对应的任务子进程来执行所述任务信息;
其中,所述处理设备还用于确定至少一种访问类型的数据,并获取当前探测周期内满足预设条件的每种访问类型的数据的第一访问量;获取所述当前探测周期之前的至少一个连续的历史探测周期内与所述当前探测周期内满足预设条件的数据的访问类型相同的每种访问类型所对应的数据的第二访问量;根据所述第一访问量和所述第二访问量,确定网站中的热点数据;
其中,所述预设条件用于选取用户访问量大于等于预定访问量的数据,或用户访问量的排名超过预定排名的数据;
其中,所述***还用于根据所述第一访问量和所述第二访问量,得到当前探测周期相对于当前探测周期之前的至少一个连续的历史探测周期中满足所述预设条件的每种访问类型的数据的用户访问量的增长幅度;比较所述用户访问量的增长幅度与预设增长幅度;若所述用户访问量的增长幅度超出所述预设增长幅度,确定所述用户访问量对应的数据为网站中的热点数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611042616.0A CN108090089B (zh) | 2016-11-23 | 2016-11-23 | 探测网站中热点数据的方法、装置和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611042616.0A CN108090089B (zh) | 2016-11-23 | 2016-11-23 | 探测网站中热点数据的方法、装置和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108090089A CN108090089A (zh) | 2018-05-29 |
CN108090089B true CN108090089B (zh) | 2021-01-22 |
Family
ID=62171017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611042616.0A Active CN108090089B (zh) | 2016-11-23 | 2016-11-23 | 探测网站中热点数据的方法、装置和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108090089B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104627B (zh) * | 2018-10-29 | 2023-04-07 | 北京国双科技有限公司 | 一种热点事件的预测方法及装置 |
CN110381153A (zh) * | 2019-07-24 | 2019-10-25 | 深圳市网心科技有限公司 | 一种文件部署方法、部署设备、***及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079727A (zh) * | 2006-05-24 | 2007-11-28 | 中兴通讯股份有限公司 | 一种流媒体数据内容管理方法 |
CN101093510A (zh) * | 2007-07-25 | 2007-12-26 | 北京搜狗科技发展有限公司 | 一种针对网页作弊的反作弊方法及*** |
CN103177005A (zh) * | 2011-12-21 | 2013-06-26 | 深圳市腾讯计算机***有限公司 | 一种数据访问的处理方法和*** |
CN104504077A (zh) * | 2014-12-22 | 2015-04-08 | 北京国双科技有限公司 | 网页访问数据的统计方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020052929A1 (en) * | 2000-05-31 | 2002-05-02 | Walker John David | Method, apparatus and system for electronic advertising and managing information on the internet |
-
2016
- 2016-11-23 CN CN201611042616.0A patent/CN108090089B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079727A (zh) * | 2006-05-24 | 2007-11-28 | 中兴通讯股份有限公司 | 一种流媒体数据内容管理方法 |
CN101093510A (zh) * | 2007-07-25 | 2007-12-26 | 北京搜狗科技发展有限公司 | 一种针对网页作弊的反作弊方法及*** |
CN103177005A (zh) * | 2011-12-21 | 2013-06-26 | 深圳市腾讯计算机***有限公司 | 一种数据访问的处理方法和*** |
CN104504077A (zh) * | 2014-12-22 | 2015-04-08 | 北京国双科技有限公司 | 网页访问数据的统计方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108090089A (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271420B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN106294508B (zh) | 一种刷量工具检测方法及装置 | |
KR101999471B1 (ko) | 정보 추천 방법 및 장치 | |
CN107797894B (zh) | App用户行为分析方法和装置 | |
CN112364202B (zh) | 视频推荐方法、装置及电子设备 | |
CN106487664B (zh) | 一种信息推荐的方法、装置及移动终端 | |
CN108416616A (zh) | 投诉举报类别的排序方法和装置 | |
CN106874165B (zh) | 网页检测方法和装置 | |
CN105005582A (zh) | 多媒体信息的推荐方法及装置 | |
CN103246713A (zh) | 一种网页浏览方法及装置 | |
JP6756744B2 (ja) | 位置情報提供方法及び装置 | |
CN108366012B (zh) | 一种社交关系建立方法、装置及电子设备 | |
CN106202126B (zh) | 一种用于物流监控的数据分析方法和装置 | |
CN113505272B (zh) | 基于行为习惯的控制方法和装置、电子设备和存储介质 | |
CN104408640A (zh) | 应用软件推荐方法及装置 | |
CN106998336B (zh) | 渠道中的用户检测方法和装置 | |
CN114780606B (zh) | 一种大数据挖掘方法及*** | |
CN108090089B (zh) | 探测网站中热点数据的方法、装置和*** | |
CN109918048B (zh) | 目标对象提取方法、装置、***及计算机可读存储介质 | |
CN113609389A (zh) | 一种社区平台信息推送方法及*** | |
CN110929129B (zh) | 一种信息检测方法、设备及机器可读存储介质 | |
CN113609409B (zh) | 一种推荐浏览信息的方法及其***、电子设备、存储介质 | |
CN110377821A (zh) | 生成兴趣标签的方法、装置、计算机设备和存储介质 | |
CN111625700B (zh) | 防抓取的方法、装置、设备及计算机存储介质 | |
CN107704494B (zh) | 一种基于应用软件的用户信息收集方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |