CN111737556B - 一种大数据信息热度分析方法及云平台装置 - Google Patents

一种大数据信息热度分析方法及云平台装置 Download PDF

Info

Publication number
CN111737556B
CN111737556B CN202010631854.5A CN202010631854A CN111737556B CN 111737556 B CN111737556 B CN 111737556B CN 202010631854 A CN202010631854 A CN 202010631854A CN 111737556 B CN111737556 B CN 111737556B
Authority
CN
China
Prior art keywords
target terminal
terminal device
privacy
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010631854.5A
Other languages
English (en)
Other versions
CN111737556A (zh
Inventor
周赞和
梁成敏
梁福基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEYU HEALTH TECHNOLOGY Co.,Ltd.
Original Assignee
Heyu Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heyu Health Technology Co ltd filed Critical Heyu Health Technology Co ltd
Priority to CN202010631854.5A priority Critical patent/CN111737556B/zh
Publication of CN111737556A publication Critical patent/CN111737556A/zh
Application granted granted Critical
Publication of CN111737556B publication Critical patent/CN111737556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种大数据信息热度分析方法及云平台装置。在该方法中,首先获取实时热度值超过设定阈值的目标大数据信息的操作记录,其次对操作记录进行解析以确定出多个设备签名信息并生成请求指令进而将请求指令发送给搜索引擎服务器,然后获取搜索引擎服务器基于请求指令反馈的设备通信标识,最后从设备通信标识对应的目标终端设备中提取通信行为数据并根据通信行为数据判断目标大数据信息的实时热度值是真值还是假值。这样,能够对大数据信息在设定时段内的通信行为数据进行分析和追踪,从而判断出目标大数据信息对应的多个目标终端设备是否存在热度炒作行为,进而确保目标大数据信息的实时热度值的可信度。

Description

一种大数据信息热度分析方法及云平台装置
技术领域
本公开涉及大数据处理技术领域,特别涉及一种大数据信息热度分析方法及云平台装置。
背景技术
随着大数据的井喷式发展,现代社会的日常生产生活已然离不开大数据信息。大数据信息对现代社会而言具有很多方面的指导意义,通过对大数据信息进行分析,能够准确全面地挖掘和掌握现代社会的运行特点和发展规律,从而为构建高效便捷的数字化社会提供决策依据。在对大数据信息进行分析时,热度是大数据信息的一个重要指标,能够反映出大数据信息的实时关注度。因此,准确确定出大数据信息的热度能够为当下的生产生活提供可靠的指导依据。然而相关的确定大数据信息热度的方法大多存在可信度较低的技术问题。
发明内容
为改善相关技术中存在的上述技术问题,本公开提供了一种大数据信息热度分析方法及云平台装置。
第一方面,提供一种大数据信息热度分析方法,应用于热度分析服务器,所述热度分析服务器与搜索引擎服务器通信,所述搜索引擎服务器与多个终端设备通信,所述方法包括:
实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
第二方面,提供一种大数据信息热度分析云平台装置,应用于热度分析服务器,所述热度分析服务器与搜索引擎服务器通信,所述搜索引擎服务器与多个终端设备通信,所述装置包括:
记录获取模块,用于实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
请求发送模块,用于对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
标识获取模块,用于获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
热度分析模块,用于从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
本发明公开的大数据信息热度分析方法及云平台装置,首先获取实时热度值超过设定阈值的目标大数据信息的操作记录,其次对操作记录进行解析以确定出多个设备签名信息并生成请求指令进而将请求指令发送给搜索引擎服务器,然后获取搜索引擎服务器基于请求指令反馈的设备通信标识,最后从设备通信标识对应的目标终端设备中提取通信行为数据并根据通信行为数据判断目标大数据信息的实时热度值是真值还是假值。这样,能够对大数据信息在设定时段内的通信行为数据进行分析和追踪,从而判断出目标大数据信息对应的多个目标终端设备是否存在热度炒作行为,进而确保目标大数据信息的实时热度值的可信度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的大数据信息热度分析***的通信架构示意图。
图2是根据本公开所涉及的大数据信息热度分析方法的流程图。
图3是根据本公开所涉及的大数据信息热度分析云平台装置的功能模块框图。
图4是根据本公开所涉及的热度分析服务器的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
发明人经调查和研究发现,现有技术在确定大数据信息的热度时,仅仅通过对搜索引擎上的相关大数据信息的点击记录或搜索记录进行统计。然而在实际网络环境中,某个大数据信息的热度可能是刻意炒作起来的,如果通过现有技术来确定大数据信息的热度,并不能够确保热度的可信度。
为了改善现有技术的上述问题,本发明实施例提供了一种大数据信息热度分析方法及云平台装置,能够对大数据信息在设定时段内的点击记录或搜索记录对应的终端设备的通信行为数据进行分析和追踪,从而判断出终端设备是否存在热度炒作行为,这样可以确保大数据信息在设定时段内的热度的可信度。
为了便于对上述的大数据信息热度分析方法进行详细阐述,请结合参阅图1,提供了本发明实施例所公开的大数据信息热度分析***100的通信架构示意图。其中,所述大数据信息热度分析***100可以包括热度分析服务器200、搜索引擎服务器300以及多个与所述搜索引擎服务器300通信的终端设备400,所述数据分析服务器200与所述搜索引擎服务器300通信连接。
在具体的实施方式中,热度分析服务器200和搜索引擎服务器300均可以是台式电脑、平板电脑、笔记本电脑或者其他能够实现数据处理以及数据通信的电子设备,终端设备400可以是手机或电脑等电子设备,在此不作过多限定。
在上述基础上,请结合参阅图2,为本发明实施例所提供的大数据信息热度分析方法的流程示意图,所述大数据信息热度分析方法可以应用于图1中的所述热度分析服务器200,进一步地,所述大数据信息热度分析方法具体可以包括以下步骤S21-步骤S24所描述的内容。
步骤S21,实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录。
在本实施例中,所述操作记录包括所述搜索引擎服务器在设定时段内统计得到的所述目标大数据信息的每条用户行为记录,所述用户行为记录为针对所述目标大数据信息的点击记录或者搜索记录。
步骤S22,对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器。
在本实施例中,所述设备签名信息是用户行为记录对应的终端设备在所述搜索引擎服务器中执行一次点击操作或者一次搜索操作所保留的操作痕迹。
步骤S23,获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识。
在本实施例中,每个设备通信标识与所述搜索引擎服务器通信的其中一个终端设备相对应,所述设备通信标识可以是通信IP地址,每个终端设备400的通信IP地址是固定不变的。
步骤S24,从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
在本实施例中,通信行为数据包括目标终端设备在设定时段内与其它设备进行通信的通信清单信息,其他设备没有与搜索引擎服务器300通信。
在执行上述步骤S21-步骤S24所描述的内容时,可以实现如下的有益技术效果:首先获取实时热度值超过设定阈值的目标大数据信息的操作记录,其次对操作记录进行解析以确定出多个设备签名信息并生成请求指令进而将请求指令发送给搜索引擎服务器,然后获取搜索引擎服务器基于请求指令反馈的设备通信标识,最后从设备通信标识对应的目标终端设备中提取通信行为数据并根据通信行为数据判断目标大数据信息的实时热度值是真值还是假值。这样,能够对大数据信息在设定时段内的通信行为数据进行分析和追踪,从而判断出目标大数据信息对应的多个目标终端设备是否存在热度炒作行为,进而确保目标大数据信息的实时热度值的可信度。
在一种可以实现的方式中,步骤S24所描述的依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为,具体可以包括以下步骤(11)-步骤(14)所描述的内容。
(11)提取每个通信行为数据中的目标终端设备在设定时段内与其它设备进行通信的通信清单信息,从所述通信清单信息中确定出其他设备的目标通信IP地址;其中,每个目标终端设备在所述设定时段内与一个其他设备进行通信。
(12)计算确定出的所有目标通信IP地址中的相同目标通信IP地址的累计值,并判断所述累计值是否超过预设阈值。
(13)若所述累计值超过所述预设阈值,则判定与所述累计值对应的目标通信IP地址的其他设备通信的目标终端设备存在所述热度炒作行为。
(14)若所述累计值没有超过所述预设阈值,则判定每个目标终端设备不存在所述热度炒作行为。
在具体实施时,通过上述步骤(11)-步骤(14)所描述的内容,能够根据设定时段内与每个目标终端设备通信的其他设备的目标通信IP地址的一致性准确确定出目标终端设备是否存在热度炒作行为,这样可以判断目标大数据信息的实时热度值是真实的热度值还是炒作的热度值。
可以理解,上述步骤(11)-步骤(14)是通过确定不同的目标终端设备对应的其他设备的目标通信IP地址的一致性来判断热度炒作行为的。然而在一些场景下,还可能通过在同一个目标终端设备上登录不同的账号信息来进行热度炒作。因此,为了确保对热度炒作行为进行准确且全面地判断,步骤S24所描述的依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为,具体可还可以包括以下步骤(21)-步骤(23)所描述的内容。
(21)抽取每个通信行为数据中的目标终端设备在设定时段内的登录信息。
(22)针对每个目标终端设备对应的每个登录信息,解析该登录信息得到对应的登录路径,通过所述登录路径确定每个登录信息对应的登录服务器;其中,所述登录服务器可以是不同搜索引擎对应的服务器。
(23)判断每个目标终端设备对应的多个登录服务器是否相同;若每个目标终端设备对应的多个登录服务器是相同,则判定所述目标终端设备存在热度炒作行为;否则,判定所述目标终端设备不存在热度炒作行为。
基于上述步骤(21)-(23)所描述内容,能够对同一个目标终端设备的不同登录信息进行分析,从而基于不同登录信息对应的登录服务器的一致性判断目标终端设备是否存在热度炒作行为。如此,能够对热度炒作行为进行准确且全面地判断。
发明人在应用上述方法时发现,热度分析服务器200在获取目标终端设备的通信行为数据时,可能会由于目标终端设备的隐私保护机制的启用而导致热度分析服务器200无法从目标终端设备中获取通信行为数据,这样会导致后续的热度炒作判断无法顺利进行。为了改善上述问题,在步骤S24中,从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据,具体可以包括以下步骤S241-步骤S244所描述的内容。
步骤S241,从每个设备通信标识中确定出每个设备通信标识对应的目标终端设备的协议签名以及各数据隐私等级;在基于所述协议签名确定出每个目标终端设备中包含有***隐私数据组的前提下,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级与每个目标终端设备在其对应的***隐私数据组下的各数据隐私等级之间的隐私权重比值。
步骤S242,将每个目标终端设备在其对应的业务隐私数据组下的与在其对应的***隐私数据组下的数据隐私等级之间的隐私权重比值位于设定数值区间内的数据隐私等级转移到所述***隐私数据组下。
步骤S243,在每个目标终端设备对应的业务隐私数据组下包含有多个数据隐私等级的前提下,依据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级之间的隐私权重比值;基于所述各数据隐私等级之间的隐私权重比值对每个目标终端设备对应的业务隐私数据组下的各数据隐私等级进行标记;通过每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列为上述标记所得到的每一个目标数据隐私等级设置隐私安全系数,并将每一个目标数据隐私等级按照其对应的隐私安全系数的由大到小的顺序依次转移到所述***隐私数据组下;其中,所转移的目标数据隐私等级的数量不超过预定值。
步骤S244,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求并将所述通信连接请求发送给对应的目标终端设备;获取每个目标终端设备基于所述通信连接请求反馈的接口验证码,根据所述接口验证码与每个目标终端设备建立通信连接并提取每个目标终端设备对应的通信行为数据。
可以理解,在执行上述步骤S241-步骤S244所描述的内容时,能够基于设备通信标识对目标终端设备的数据隐私等级进行分析和调整,从而根据目标终端设备对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求。从而通过通信连接请求与目标终端设备建立通信连接,这样能够避免目标终端设备的隐私保护机制对热度分析服务器的数据获取行为的拦截。如此,能够确保热度分析服务器200顺利地从目标终端设备中获取通信行为数据,进而实现对目标大数据信息的实时热度值的真假值判定。
在具体实施时,为了避免搜索引擎服务器300对热度分析服务器200发送的请求指令进行误删除,在步骤S22中,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,具体可以包括以下步骤S2221-步骤S2223所描述的内容。
步骤S2221,根据所述设备签名信息生成第一校验码,采用预设校验算法对所述第一校验码和所述热度分析服务器的设备mac地址进行校验计算得到第一校验结果。
步骤S2222,将所述第一校验结果和所述设备签名信息发送给所述搜索引擎服务器;其中,所述搜索引擎服务器在接收到所述第一校验结果和所述设备签名信息后,采用所述预设校验算法对所述设备签名信息对应的第二校验码以及预存的目标mac地址进行校验计算得到第二校验结果,并在判断出所述第一校验结果和所述第二校验结果一致时向所述热度分析服务器反馈授权信息,并将所述热度分析服务器对应的数字签名列入预设白名单中。
步骤S2223,在接收到所述授权信息时,根据所述设备签名信息生成所述请求指令并将所述热度分析服务器的数字签名植入所述请求指令中。
基于上述步骤S2221-步骤S2223能够达到如下技术效果:通过预先使搜索引擎服务器300对热度分析服务器200进行授权认证,从而将热度分析服务器200的数字签名列入预设白名单中,而热度分析服务器200在生成请求指令之后将数字签名进行植入,这样能够避免搜索引擎服务器300对热度分析服务器200发送的请求指令进行误删除。
在实际应用中,不同时段的热度值分布是不同的,为了减少热度分析服务器200的处理负荷并且提高热度值分析的准确性,在步骤S21的基础上,还可以包括以下步骤(31)和步骤(32)所描述的内容。
(31)获取用于对所述设定阈值进行修改的修改指令;其中,所述修改指令根据当前时段信息进行配置。
(32)根据所述修改指令对所述设定阈值进行修改。
可以理解,通过上述步骤(31)和步骤(32)所描述的内容,能够对不同时段的设定阈值进行灵活修改,这样能够减少热度分析服务器的处理负荷并且提高热度值分析的准确性。
在一个可替换的实施方式中,为了准确确定出设备签名信息以避免设备签名信息的遗漏,在步骤S22中,对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,具体可以包括以下步骤S2211-步骤S2215所描述的内容。
步骤S2211,确定每条用户行为记录对应的注册信息集合以及每条用户行为记录对应的密钥随机数集合;其中,所述注册信息集合用于表征每条用户行为记录对应的设备注册信息,所述密钥随机数集合用于表征每条用户行为记录对应的加密密钥序列,所述注册信息集合和所述密钥随机数集合分别包括多个不同信息关联度的信息包。
步骤S2212,获得所述每条用户行为记录在所述注册信息集合中的其中一个信息包的状态参数,将所述密钥随机数集合中具有最大信息关联度的信息包确定为基准信息包。
步骤S2213,基于所述操作记录的列表记录信息确定所述状态参数在所述基准信息包中的变换参数;依据所述状态参数与所述变换参数之间的参数特征的匹配度建立所述每条用户行为记录的注册信息集合和密钥随机数集合之间的映射路径。
步骤S2214,以所述变换参数为参考在所述基准信息包中查找签名字段序列,并基于所述映射路径中与所述签名字段序列对应的路径节点之间的映射顺序将所述签名字段序列映射到所述状态参数所在信息包中,在所述状态参数所在信息包中得到所述签名字段序列对应的签名权限信息。
步骤S2215,根据所述签名权限信息从每条用户行为记录的埋点信息中确定出与所述签名权限信息对应的权限等级相匹配的设备签名信息。
在执行上述步骤S2211-步骤S2215所描述的内容时,能够根据签名权限等级准确确定出设备签名信息,从而避免设备签名信息的遗漏。
基于上述同样的发明构思,请结合参阅图3,提供了一种大数据信息热度分析云平台装置210,所述装置包括:
记录获取模块211,用于实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
请求发送模块212,用于对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
标识获取模块213,用于获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
热度分析模块214,用于从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
可选地,所述热度分析模块214,具体用于:
提取每个通信行为数据中的目标终端设备在设定时段内与其它设备进行通信的通信清单信息,从所述通信清单信息中确定出其他设备的目标通信IP地址;其中,每个目标终端设备在所述设定时段内与一个其他设备进行通信;计算确定出的所有目标通信IP地址中的相同目标通信IP地址的累计值,并判断所述累计值是否超过预设阈值;若所述累计值超过所述预设阈值,则判定与所述累计值对应的目标通信IP地址的其他设备通信的目标终端设备存在所述热度炒作行为;若所述累计值没有超过所述预设阈值,则判定每个目标终端设备不存在所述热度炒作行为;
或用于:
抽取每个通信行为数据中的目标终端设备在设定时段内的登录信息;针对每个目标终端设备对应的每个登录信息,解析该登录信息得到对应的登录路径,通过所述登录路径确定每个登录信息对应的登录服务器;其中,所述登录服务器可以是不同搜索引擎对应的服务器;判断每个目标终端设备对应的多个登录服务器是否相同;若每个目标终端设备对应的多个登录服务器是相同,则判定所述目标终端设备存在热度炒作行为;否则,判定所述目标终端设备不存在热度炒作行为。
可选地,所述热度分析模块214,具体用于:
从每个设备通信标识中确定出每个设备通信标识对应的目标终端设备的协议签名以及各数据隐私等级;在基于所述协议签名确定出每个目标终端设备中包含有***隐私数据组的前提下,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级与每个目标终端设备在其对应的***隐私数据组下的各数据隐私等级之间的隐私权重比值;
将每个目标终端设备在其对应的业务隐私数据组下的与在其对应的***隐私数据组下的数据隐私等级之间的隐私权重比值位于设定数值区间内的数据隐私等级转移到所述***隐私数据组下;
在每个目标终端设备对应的业务隐私数据组下包含有多个数据隐私等级的前提下,依据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级之间的隐私权重比值;基于所述各数据隐私等级之间的隐私权重比值对每个目标终端设备对应的业务隐私数据组下的各数据隐私等级进行标记;通过每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列为上述标记所得到的每一个目标数据隐私等级设置隐私安全系数,并将每一个目标数据隐私等级按照其对应的隐私安全系数的由大到小的顺序依次转移到所述***隐私数据组下;其中,所转移的目标数据隐私等级的数量不超过预定值;
根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求并将所述通信连接请求发送给对应的目标终端设备;获取每个目标终端设备基于所述通信连接请求反馈的接口验证码,根据所述接口验证码与每个目标终端设备建立通信连接并提取每个目标终端设备对应的通信行为数据。
可选地,所述请求发送模块212,具体用于:
根据所述设备签名信息生成第一校验码,采用预设校验算法对所述第一校验码和所述热度分析服务器的设备mac地址进行校验计算得到第一校验结果;
将所述第一校验结果和所述设备签名信息发送给所述搜索引擎服务器;其中,所述搜索引擎服务器在接收到所述第一校验结果和所述设备签名信息后,采用所述预设校验算法对所述设备签名信息对应的第二校验码以及预存的目标mac地址进行校验计算得到第二校验结果,并在判断出所述第一校验结果和所述第二校验结果一致时向所述热度分析服务器反馈授权信息,并将所述热度分析服务器对应的数字签名列入预设白名单中;
在接收到所述授权信息时,根据所述设备签名信息生成所述请求指令并将所述热度分析服务器的数字签名植入所述请求指令中。
关于上述功能模块的描述请参阅对图2所示的方法的描述,在此不作更多说明。
在上述基础上,请结合参阅图4,提供了热度分析服务器200的硬件结构示意图,所述热度分析服务器200包括互相之间通信的执行处理器221和非易失性存储器222,所述执行处理器221用于从非易失性存储器222读取计算机程序并通过执行所述计算机程序实现图2所示的步骤S21-步骤S24所描述的方法步骤。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种大数据信息热度分析方法,其特征在于,应用于热度分析服务器,所述热度分析服务器与搜索引擎服务器通信,所述搜索引擎服务器与多个终端设备通信,所述方法包括:
实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值;
其中,依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为,包括:提取每个通信行为数据中的目标终端设备在设定时段内与其它设备进行通信的通信清单信息,从所述通信清单信息中确定出其他设备的目标通信IP地址;其中,每个目标终端设备在所述设定时段内与一个其他设备进行通信;计算确定出的所有目标通信IP地址中的相同目标通信IP地址的累计值,并判断所述累计值是否超过预设阈值;
若所述累计值超过所述预设阈值,则判定与所述累计值对应的目标通信IP地址的其他设备通信的目标终端设备存在所述热度炒作行为;若所述累计值没有超过所述预设阈值,则判定每个目标终端设备不存在所述热度炒作行为。
2.根据权利要求1所述的大数据信息热度分析方法,其特征在于,依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为,包括:
抽取每个通信行为数据中的目标终端设备在设定时段内的登录信息;
针对每个目标终端设备对应的每个登录信息,解析该登录信息得到对应的登录路径,通过所述登录路径确定每个登录信息对应的登录服务器;其中,所述登录服务器可以是不同搜索引擎对应的服务器;
判断每个目标终端设备对应的多个登录服务器是否相同;若每个目标终端设备对应的多个登录服务器是相同,则判定所述目标终端设备存在热度炒作行为;否则,判定所述目标终端设备不存在热度炒作行为。
3.根据权利要求1所述的大数据信息热度分析方法,其特征在于,从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据,包括:
从每个设备通信标识中确定出每个设备通信标识对应的目标终端设备的协议签名以及各数据隐私等级;在基于所述协议签名确定出每个目标终端设备中包含有***隐私数据组的前提下,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级与每个目标终端设备在其对应的***隐私数据组下的各数据隐私等级之间的隐私权重比值;
将每个目标终端设备在其对应的业务隐私数据组下的与在其对应的***隐私数据组下的数据隐私等级之间的隐私权重比值位于设定数值区间内的数据隐私等级转移到所述***隐私数据组下;
在每个目标终端设备对应的业务隐私数据组下包含有多个数据隐私等级的前提下,依据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级之间的隐私权重比值;基于所述各数据隐私等级之间的隐私权重比值对每个目标终端设备对应的业务隐私数据组下的各数据隐私等级进行标记;通过每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列为上述标记所得到的每一个目标数据隐私等级设置隐私安全系数,并将每一个目标数据隐私等级按照其对应的隐私安全系数的由大到小的顺序依次转移到所述***隐私数据组下;其中,所转移的目标数据隐私等级的数量不超过预定值;
根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求并将所述通信连接请求发送给对应的目标终端设备;获取每个目标终端设备基于所述通信连接请求反馈的接口验证码,根据所述接口验证码与每个目标终端设备建立通信连接并提取每个目标终端设备对应的通信行为数据。
4.根据权利要求1-3任一项所述的大数据信息热度分析方法,其特征在于,所述方法还包括:
获取用于对所述设定阈值进行修改的修改指令;其中,所述修改指令根据当前时段信息进行配置;
根据所述修改指令对所述设定阈值进行修改。
5.根据权利要求4所述的大数据信息热度分析方法,其特征在于,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,包括:
根据所述设备签名信息生成第一校验码,采用预设校验算法对所述第一校验码和所述热度分析服务器的设备mac地址进行校验计算得到第一校验结果;
将所述第一校验结果和所述设备签名信息发送给所述搜索引擎服务器;其中,所述搜索引擎服务器在接收到所述第一校验结果和所述设备签名信息后,采用所述预设校验算法对所述设备签名信息对应的第二校验码以及预存的目标mac地址进行校验计算得到第二校验结果,并在判断出所述第一校验结果和所述第二校验结果一致时向所述热度分析服务器反馈授权信息,并将所述热度分析服务器对应的数字签名列入预设白名单中;
在接收到所述授权信息时,根据所述设备签名信息生成所述请求指令并将所述热度分析服务器的数字签名植入所述请求指令中。
6.一种大数据信息热度分析云平台装置,其特征在于,应用于热度分析服务器,所述热度分析服务器与搜索引擎服务器通信,所述搜索引擎服务器与多个终端设备通信,所述装置包括:
记录获取模块,用于实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
请求发送模块,用于对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
标识获取模块,用于获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
热度分析模块,用于从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值;
其中,所述热度分析模块,具体用于:
提取每个通信行为数据中的目标终端设备在设定时段内与其它设备进行通信的通信清单信息,从所述通信清单信息中确定出其他设备的目标通信IP地址;其中,每个目标终端设备在所述设定时段内与一个其他设备进行通信;计算确定出的所有目标通信IP地址中的相同目标通信IP地址的累计值,并判断所述累计值是否超过预设阈值;若所述累计值超过所述预设阈值,则判定与所述累计值对应的目标通信IP地址的其他设备通信的目标终端设备存在所述热度炒作行为;若所述累计值没有超过所述预设阈值,则判定每个目标终端设备不存在所述热度炒作行为;
或用于:
抽取每个通信行为数据中的目标终端设备在设定时段内的登录信息;针对每个目标终端设备对应的每个登录信息,解析该登录信息得到对应的登录路径,通过所述登录路径确定每个登录信息对应的登录服务器;其中,所述登录服务器可以是不同搜索引擎对应的服务器;判断每个目标终端设备对应的多个登录服务器是否相同;若每个目标终端设备对应的多个登录服务器是相同,则判定所述目标终端设备存在热度炒作行为;否则,判定所述目标终端设备不存在热度炒作行为。
7.根据权利要求6所述的大数据信息热度分析云平台装置,其特征在于,所述热度分析模块,具体用于:
从每个设备通信标识中确定出每个设备通信标识对应的目标终端设备的协议签名以及各数据隐私等级;在基于所述协议签名确定出每个目标终端设备中包含有***隐私数据组的前提下,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级与每个目标终端设备在其对应的***隐私数据组下的各数据隐私等级之间的隐私权重比值;
将每个目标终端设备在其对应的业务隐私数据组下的与在其对应的***隐私数据组下的数据隐私等级之间的隐私权重比值位于设定数值区间内的数据隐私等级转移到所述***隐私数据组下;
在每个目标终端设备对应的业务隐私数据组下包含有多个数据隐私等级的前提下,依据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级之间的隐私权重比值;基于所述各数据隐私等级之间的隐私权重比值对每个目标终端设备对应的业务隐私数据组下的各数据隐私等级进行标记;通过每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列为上述标记所得到的每一个目标数据隐私等级设置隐私安全系数,并将每一个目标数据隐私等级按照其对应的隐私安全系数的由大到小的顺序依次转移到所述***隐私数据组下;其中,所转移的目标数据隐私等级的数量不超过预定值;
根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求并将所述通信连接请求发送给对应的目标终端设备;获取每个目标终端设备基于所述通信连接请求反馈的接口验证码,根据所述接口验证码与每个目标终端设备建立通信连接并提取每个目标终端设备对应的通信行为数据。
8.根据权利要求6所述的大数据信息热度分析云平台装置,其特征在于,所述请求发送模块,具体用于:
根据所述设备签名信息生成第一校验码,采用预设校验算法对所述第一校验码和所述热度分析服务器的设备mac地址进行校验计算得到第一校验结果;
将所述第一校验结果和所述设备签名信息发送给所述搜索引擎服务器;其中,所述搜索引擎服务器在接收到所述第一校验结果和所述设备签名信息后,采用所述预设校验算法对所述设备签名信息对应的第二校验码以及预存的目标mac地址进行校验计算得到第二校验结果,并在判断出所述第一校验结果和所述第二校验结果一致时向所述热度分析服务器反馈授权信息,并将所述热度分析服务器对应的数字签名列入预设白名单中;
在接收到所述授权信息时,根据所述设备签名信息生成所述请求指令并将所述热度分析服务器的数字签名植入所述请求指令中。
CN202010631854.5A 2020-07-03 2020-07-03 一种大数据信息热度分析方法及云平台装置 Active CN111737556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010631854.5A CN111737556B (zh) 2020-07-03 2020-07-03 一种大数据信息热度分析方法及云平台装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010631854.5A CN111737556B (zh) 2020-07-03 2020-07-03 一种大数据信息热度分析方法及云平台装置

Publications (2)

Publication Number Publication Date
CN111737556A CN111737556A (zh) 2020-10-02
CN111737556B true CN111737556B (zh) 2021-01-26

Family

ID=72652833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010631854.5A Active CN111737556B (zh) 2020-07-03 2020-07-03 一种大数据信息热度分析方法及云平台装置

Country Status (1)

Country Link
CN (1) CN111737556B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504150A (zh) * 2015-01-09 2015-04-08 成都布林特信息技术有限公司 新闻舆情监测***
CN106095919A (zh) * 2016-06-12 2016-11-09 上海交通大学 面向热点分析的数据变化趋势涌泉可视化***及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790727B (zh) * 2011-05-19 2016-02-17 腾讯科技(深圳)有限公司 一种动态推送用户个人标签的方法和***
CN104917643B (zh) * 2014-03-11 2019-02-01 腾讯科技(深圳)有限公司 异常账号检测方法及装置
CN106603554B (zh) * 2016-12-29 2019-11-15 北京奇艺世纪科技有限公司 一种自适应实时视频数据的反作弊方法及装置
CN109687991B (zh) * 2018-09-07 2023-04-18 平安科技(深圳)有限公司 用户行为识别方法、装置、设备及存储介质
CN109376305A (zh) * 2018-12-04 2019-02-22 山东浪潮通软信息科技有限公司 一种基于用户行为分析的新闻热度排序方法及***
CN110188262B (zh) * 2019-07-23 2019-10-29 武汉斗鱼网络科技有限公司 一种异常目标确定方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504150A (zh) * 2015-01-09 2015-04-08 成都布林特信息技术有限公司 新闻舆情监测***
CN106095919A (zh) * 2016-06-12 2016-11-09 上海交通大学 面向热点分析的数据变化趋势涌泉可视化***及方法

Also Published As

Publication number Publication date
CN111737556A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN110399925B (zh) 账号的风险识别方法、装置及存储介质
CN105262722B (zh) 终端恶意流量规则更新方法、云端服务器和安全网关
CN105930727B (zh) 基于Web的爬虫识别方法
CN102394885B (zh) 基于数据流的信息分类防护自动化核查方法
CN105007282B (zh) 面向网络服务提供商的恶意软件网络行为检测方法及***
US8661133B2 (en) Method for allowing and blocking a user PC which can use internet at the same time in a private network thereof a method for analyzing and detecting a judgement about whether NAT(network address translation) can be used or not using a traffic data, and the number of terminals sharing NAT
CN107623754B (zh) 基于真伪MAC识别的WiFi采集***及其方法
CN109039987A (zh) 一种用户账户登录方法、装置、电子设备和存储介质
US20180124103A1 (en) Cloud checking and killing method, device and system for combating anti-antivirus test
CN110609937A (zh) 一种爬虫识别方法及装置
CN106302550A (zh) 一种用于智能变电站自动化的信息安全方法及***
CN113918526B (zh) 日志处理方法、装置、计算机设备和存储介质
CN112818352B (zh) 数据库的检测方法及装置、存储介质及电子装置
CN107911340A (zh) 应用程序的登录验证方法、装置、设备及存储介质
CN109450733A (zh) 一种基于机器学习的网络终端设备识别方法及***
CN105516395A (zh) 网络地址分配方法和装置
CN113315767A (zh) 一种电力物联网设备安全检测***及方法
CN106817342A (zh) 基于用户行为特征识别的主动身份认证***
CN114679292A (zh) 基于网络空间测绘的蜜罐识别方法、装置、设备及介质
CN110602134B (zh) 基于会话标签识别非法终端访问方法、装置及***
CN104333538B (zh) 一种网络设备准入方法
CN116668079A (zh) 网络***漏洞扫描方法
CN113067802B (zh) 一种用户标识方法、装置、设备及计算机可读存储介质
CN113765912A (zh) 一种分布式防火墙装置及其检测方法
CN111737556B (zh) 一种大数据信息热度分析方法及云平台装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Zanhe

Inventor after: Liang Chengmin

Inventor after: Liang Fuji

Inventor before: Liang Chengmin

Inventor before: Liang Fuji

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20210108

Address after: Room 2003, 1801, 1804, No.13-1, Hai'an Road, Tianhe District, Guangzhou, Guangdong 510627

Applicant after: HEYU HEALTH TECHNOLOGY Co.,Ltd.

Address before: 5 / F, 2-2, Chengmen street, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Yunbo Internet Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant