一种大数据信息热度分析方法及云平台装置
技术领域
本公开涉及大数据处理技术领域,特别涉及一种大数据信息热度分析方法及云平台装置。
背景技术
随着大数据的井喷式发展,现代社会的日常生产生活已然离不开大数据信息。大数据信息对现代社会而言具有很多方面的指导意义,通过对大数据信息进行分析,能够准确全面地挖掘和掌握现代社会的运行特点和发展规律,从而为构建高效便捷的数字化社会提供决策依据。在对大数据信息进行分析时,热度是大数据信息的一个重要指标,能够反映出大数据信息的实时关注度。因此,准确确定出大数据信息的热度能够为当下的生产生活提供可靠的指导依据。然而相关的确定大数据信息热度的方法大多存在可信度较低的技术问题。
发明内容
为改善相关技术中存在的上述技术问题,本公开提供了一种大数据信息热度分析方法及云平台装置。
第一方面,提供一种大数据信息热度分析方法,应用于热度分析服务器,所述热度分析服务器与搜索引擎服务器通信,所述搜索引擎服务器与多个终端设备通信,所述方法包括:
实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
第二方面,提供一种大数据信息热度分析云平台装置,应用于热度分析服务器,所述热度分析服务器与搜索引擎服务器通信,所述搜索引擎服务器与多个终端设备通信,所述装置包括:
记录获取模块,用于实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
请求发送模块,用于对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
标识获取模块,用于获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
热度分析模块,用于从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
本发明公开的大数据信息热度分析方法及云平台装置,首先获取实时热度值超过设定阈值的目标大数据信息的操作记录,其次对操作记录进行解析以确定出多个设备签名信息并生成请求指令进而将请求指令发送给搜索引擎服务器,然后获取搜索引擎服务器基于请求指令反馈的设备通信标识,最后从设备通信标识对应的目标终端设备中提取通信行为数据并根据通信行为数据判断目标大数据信息的实时热度值是真值还是假值。这样,能够对大数据信息在设定时段内的通信行为数据进行分析和追踪,从而判断出目标大数据信息对应的多个目标终端设备是否存在热度炒作行为,进而确保目标大数据信息的实时热度值的可信度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的大数据信息热度分析***的通信架构示意图。
图2是根据本公开所涉及的大数据信息热度分析方法的流程图。
图3是根据本公开所涉及的大数据信息热度分析云平台装置的功能模块框图。
图4是根据本公开所涉及的热度分析服务器的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
发明人经调查和研究发现,现有技术在确定大数据信息的热度时,仅仅通过对搜索引擎上的相关大数据信息的点击记录或搜索记录进行统计。然而在实际网络环境中,某个大数据信息的热度可能是刻意炒作起来的,如果通过现有技术来确定大数据信息的热度,并不能够确保热度的可信度。
为了改善现有技术的上述问题,本发明实施例提供了一种大数据信息热度分析方法及云平台装置,能够对大数据信息在设定时段内的点击记录或搜索记录对应的终端设备的通信行为数据进行分析和追踪,从而判断出终端设备是否存在热度炒作行为,这样可以确保大数据信息在设定时段内的热度的可信度。
为了便于对上述的大数据信息热度分析方法进行详细阐述,请结合参阅图1,提供了本发明实施例所公开的大数据信息热度分析***100的通信架构示意图。其中,所述大数据信息热度分析***100可以包括热度分析服务器200、搜索引擎服务器300以及多个与所述搜索引擎服务器300通信的终端设备400,所述数据分析服务器200与所述搜索引擎服务器300通信连接。
在具体的实施方式中,热度分析服务器200和搜索引擎服务器300均可以是台式电脑、平板电脑、笔记本电脑或者其他能够实现数据处理以及数据通信的电子设备,终端设备400可以是手机或电脑等电子设备,在此不作过多限定。
在上述基础上,请结合参阅图2,为本发明实施例所提供的大数据信息热度分析方法的流程示意图,所述大数据信息热度分析方法可以应用于图1中的所述热度分析服务器200,进一步地,所述大数据信息热度分析方法具体可以包括以下步骤S21-步骤S24所描述的内容。
步骤S21,实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录。
在本实施例中,所述操作记录包括所述搜索引擎服务器在设定时段内统计得到的所述目标大数据信息的每条用户行为记录,所述用户行为记录为针对所述目标大数据信息的点击记录或者搜索记录。
步骤S22,对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器。
在本实施例中,所述设备签名信息是用户行为记录对应的终端设备在所述搜索引擎服务器中执行一次点击操作或者一次搜索操作所保留的操作痕迹。
步骤S23,获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识。
在本实施例中,每个设备通信标识与所述搜索引擎服务器通信的其中一个终端设备相对应,所述设备通信标识可以是通信IP地址,每个终端设备400的通信IP地址是固定不变的。
步骤S24,从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
在本实施例中,通信行为数据包括目标终端设备在设定时段内与其它设备进行通信的通信清单信息,其他设备没有与搜索引擎服务器300通信。
在执行上述步骤S21-步骤S24所描述的内容时,可以实现如下的有益技术效果:首先获取实时热度值超过设定阈值的目标大数据信息的操作记录,其次对操作记录进行解析以确定出多个设备签名信息并生成请求指令进而将请求指令发送给搜索引擎服务器,然后获取搜索引擎服务器基于请求指令反馈的设备通信标识,最后从设备通信标识对应的目标终端设备中提取通信行为数据并根据通信行为数据判断目标大数据信息的实时热度值是真值还是假值。这样,能够对大数据信息在设定时段内的通信行为数据进行分析和追踪,从而判断出目标大数据信息对应的多个目标终端设备是否存在热度炒作行为,进而确保目标大数据信息的实时热度值的可信度。
在一种可以实现的方式中,步骤S24所描述的依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为,具体可以包括以下步骤(11)-步骤(14)所描述的内容。
(11)提取每个通信行为数据中的目标终端设备在设定时段内与其它设备进行通信的通信清单信息,从所述通信清单信息中确定出其他设备的目标通信IP地址;其中,每个目标终端设备在所述设定时段内与一个其他设备进行通信。
(12)计算确定出的所有目标通信IP地址中的相同目标通信IP地址的累计值,并判断所述累计值是否超过预设阈值。
(13)若所述累计值超过所述预设阈值,则判定与所述累计值对应的目标通信IP地址的其他设备通信的目标终端设备存在所述热度炒作行为。
(14)若所述累计值没有超过所述预设阈值,则判定每个目标终端设备不存在所述热度炒作行为。
在具体实施时,通过上述步骤(11)-步骤(14)所描述的内容,能够根据设定时段内与每个目标终端设备通信的其他设备的目标通信IP地址的一致性准确确定出目标终端设备是否存在热度炒作行为,这样可以判断目标大数据信息的实时热度值是真实的热度值还是炒作的热度值。
可以理解,上述步骤(11)-步骤(14)是通过确定不同的目标终端设备对应的其他设备的目标通信IP地址的一致性来判断热度炒作行为的。然而在一些场景下,还可能通过在同一个目标终端设备上登录不同的账号信息来进行热度炒作。因此,为了确保对热度炒作行为进行准确且全面地判断,步骤S24所描述的依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为,具体可还可以包括以下步骤(21)-步骤(23)所描述的内容。
(21)抽取每个通信行为数据中的目标终端设备在设定时段内的登录信息。
(22)针对每个目标终端设备对应的每个登录信息,解析该登录信息得到对应的登录路径,通过所述登录路径确定每个登录信息对应的登录服务器;其中,所述登录服务器可以是不同搜索引擎对应的服务器。
(23)判断每个目标终端设备对应的多个登录服务器是否相同;若每个目标终端设备对应的多个登录服务器是相同,则判定所述目标终端设备存在热度炒作行为;否则,判定所述目标终端设备不存在热度炒作行为。
基于上述步骤(21)-(23)所描述内容,能够对同一个目标终端设备的不同登录信息进行分析,从而基于不同登录信息对应的登录服务器的一致性判断目标终端设备是否存在热度炒作行为。如此,能够对热度炒作行为进行准确且全面地判断。
发明人在应用上述方法时发现,热度分析服务器200在获取目标终端设备的通信行为数据时,可能会由于目标终端设备的隐私保护机制的启用而导致热度分析服务器200无法从目标终端设备中获取通信行为数据,这样会导致后续的热度炒作判断无法顺利进行。为了改善上述问题,在步骤S24中,从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据,具体可以包括以下步骤S241-步骤S244所描述的内容。
步骤S241,从每个设备通信标识中确定出每个设备通信标识对应的目标终端设备的协议签名以及各数据隐私等级;在基于所述协议签名确定出每个目标终端设备中包含有***隐私数据组的前提下,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级与每个目标终端设备在其对应的***隐私数据组下的各数据隐私等级之间的隐私权重比值。
步骤S242,将每个目标终端设备在其对应的业务隐私数据组下的与在其对应的***隐私数据组下的数据隐私等级之间的隐私权重比值位于设定数值区间内的数据隐私等级转移到所述***隐私数据组下。
步骤S243,在每个目标终端设备对应的业务隐私数据组下包含有多个数据隐私等级的前提下,依据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级之间的隐私权重比值;基于所述各数据隐私等级之间的隐私权重比值对每个目标终端设备对应的业务隐私数据组下的各数据隐私等级进行标记;通过每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列为上述标记所得到的每一个目标数据隐私等级设置隐私安全系数,并将每一个目标数据隐私等级按照其对应的隐私安全系数的由大到小的顺序依次转移到所述***隐私数据组下;其中,所转移的目标数据隐私等级的数量不超过预定值。
步骤S244,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求并将所述通信连接请求发送给对应的目标终端设备;获取每个目标终端设备基于所述通信连接请求反馈的接口验证码,根据所述接口验证码与每个目标终端设备建立通信连接并提取每个目标终端设备对应的通信行为数据。
可以理解,在执行上述步骤S241-步骤S244所描述的内容时,能够基于设备通信标识对目标终端设备的数据隐私等级进行分析和调整,从而根据目标终端设备对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求。从而通过通信连接请求与目标终端设备建立通信连接,这样能够避免目标终端设备的隐私保护机制对热度分析服务器的数据获取行为的拦截。如此,能够确保热度分析服务器200顺利地从目标终端设备中获取通信行为数据,进而实现对目标大数据信息的实时热度值的真假值判定。
在具体实施时,为了避免搜索引擎服务器300对热度分析服务器200发送的请求指令进行误删除,在步骤S22中,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,具体可以包括以下步骤S2221-步骤S2223所描述的内容。
步骤S2221,根据所述设备签名信息生成第一校验码,采用预设校验算法对所述第一校验码和所述热度分析服务器的设备mac地址进行校验计算得到第一校验结果。
步骤S2222,将所述第一校验结果和所述设备签名信息发送给所述搜索引擎服务器;其中,所述搜索引擎服务器在接收到所述第一校验结果和所述设备签名信息后,采用所述预设校验算法对所述设备签名信息对应的第二校验码以及预存的目标mac地址进行校验计算得到第二校验结果,并在判断出所述第一校验结果和所述第二校验结果一致时向所述热度分析服务器反馈授权信息,并将所述热度分析服务器对应的数字签名列入预设白名单中。
步骤S2223,在接收到所述授权信息时,根据所述设备签名信息生成所述请求指令并将所述热度分析服务器的数字签名植入所述请求指令中。
基于上述步骤S2221-步骤S2223能够达到如下技术效果:通过预先使搜索引擎服务器300对热度分析服务器200进行授权认证,从而将热度分析服务器200的数字签名列入预设白名单中,而热度分析服务器200在生成请求指令之后将数字签名进行植入,这样能够避免搜索引擎服务器300对热度分析服务器200发送的请求指令进行误删除。
在实际应用中,不同时段的热度值分布是不同的,为了减少热度分析服务器200的处理负荷并且提高热度值分析的准确性,在步骤S21的基础上,还可以包括以下步骤(31)和步骤(32)所描述的内容。
(31)获取用于对所述设定阈值进行修改的修改指令;其中,所述修改指令根据当前时段信息进行配置。
(32)根据所述修改指令对所述设定阈值进行修改。
可以理解,通过上述步骤(31)和步骤(32)所描述的内容,能够对不同时段的设定阈值进行灵活修改,这样能够减少热度分析服务器的处理负荷并且提高热度值分析的准确性。
在一个可替换的实施方式中,为了准确确定出设备签名信息以避免设备签名信息的遗漏,在步骤S22中,对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,具体可以包括以下步骤S2211-步骤S2215所描述的内容。
步骤S2211,确定每条用户行为记录对应的注册信息集合以及每条用户行为记录对应的密钥随机数集合;其中,所述注册信息集合用于表征每条用户行为记录对应的设备注册信息,所述密钥随机数集合用于表征每条用户行为记录对应的加密密钥序列,所述注册信息集合和所述密钥随机数集合分别包括多个不同信息关联度的信息包。
步骤S2212,获得所述每条用户行为记录在所述注册信息集合中的其中一个信息包的状态参数,将所述密钥随机数集合中具有最大信息关联度的信息包确定为基准信息包。
步骤S2213,基于所述操作记录的列表记录信息确定所述状态参数在所述基准信息包中的变换参数;依据所述状态参数与所述变换参数之间的参数特征的匹配度建立所述每条用户行为记录的注册信息集合和密钥随机数集合之间的映射路径。
步骤S2214,以所述变换参数为参考在所述基准信息包中查找签名字段序列,并基于所述映射路径中与所述签名字段序列对应的路径节点之间的映射顺序将所述签名字段序列映射到所述状态参数所在信息包中,在所述状态参数所在信息包中得到所述签名字段序列对应的签名权限信息。
步骤S2215,根据所述签名权限信息从每条用户行为记录的埋点信息中确定出与所述签名权限信息对应的权限等级相匹配的设备签名信息。
在执行上述步骤S2211-步骤S2215所描述的内容时,能够根据签名权限等级准确确定出设备签名信息,从而避免设备签名信息的遗漏。
基于上述同样的发明构思,请结合参阅图3,提供了一种大数据信息热度分析云平台装置210,所述装置包括:
记录获取模块211,用于实时检测所述搜索引擎服务器中的每条大数据信息的实时热度值,在检测到所述搜索引擎服务器中的目标大数据信息的实时热度值超过设定阈值时,获取所述目标大数据信息在所述搜索引擎服务器中的操作记录;
请求发送模块212,用于对所述操作记录中的每条用户行为记录进行解析以确定出每条用户行为记录对应的设备签名信息,根据所述设备签名信息生成用于获取所述设备签名信息对应的设备通信标识的请求指令,将所述请求指令发送给所述搜索引擎服务器;
标识获取模块213,用于获取所述搜索引擎服务器基于所述请求指令在所述搜索引擎服务器对应的数据库中提取出的与所述请求指令对应的设备通信标识;
热度分析模块214,用于从与获取到的每个设备通信标识对应的目标终端设备中提取每个目标终端设备对应的通信行为数据;依据所述通信行为数据判断每个目标终端设备是否存在热度炒作行为;在判定出每个目标终端设备不存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为真值;在判定出每个目标终端设备存在所述热度炒作行为时,确定所述目标大数据信息的实时热度值为假值。
可选地,所述热度分析模块214,具体用于:
提取每个通信行为数据中的目标终端设备在设定时段内与其它设备进行通信的通信清单信息,从所述通信清单信息中确定出其他设备的目标通信IP地址;其中,每个目标终端设备在所述设定时段内与一个其他设备进行通信;计算确定出的所有目标通信IP地址中的相同目标通信IP地址的累计值,并判断所述累计值是否超过预设阈值;若所述累计值超过所述预设阈值,则判定与所述累计值对应的目标通信IP地址的其他设备通信的目标终端设备存在所述热度炒作行为;若所述累计值没有超过所述预设阈值,则判定每个目标终端设备不存在所述热度炒作行为;
或用于:
抽取每个通信行为数据中的目标终端设备在设定时段内的登录信息;针对每个目标终端设备对应的每个登录信息,解析该登录信息得到对应的登录路径,通过所述登录路径确定每个登录信息对应的登录服务器;其中,所述登录服务器可以是不同搜索引擎对应的服务器;判断每个目标终端设备对应的多个登录服务器是否相同;若每个目标终端设备对应的多个登录服务器是相同,则判定所述目标终端设备存在热度炒作行为;否则,判定所述目标终端设备不存在热度炒作行为。
可选地,所述热度分析模块214,具体用于:
从每个设备通信标识中确定出每个设备通信标识对应的目标终端设备的协议签名以及各数据隐私等级;在基于所述协议签名确定出每个目标终端设备中包含有***隐私数据组的前提下,根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级与每个目标终端设备在其对应的***隐私数据组下的各数据隐私等级之间的隐私权重比值;
将每个目标终端设备在其对应的业务隐私数据组下的与在其对应的***隐私数据组下的数据隐私等级之间的隐私权重比值位于设定数值区间内的数据隐私等级转移到所述***隐私数据组下;
在每个目标终端设备对应的业务隐私数据组下包含有多个数据隐私等级的前提下,依据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列确定每个目标终端设备在其对应的业务隐私数据组下的各数据隐私等级之间的隐私权重比值;基于所述各数据隐私等级之间的隐私权重比值对每个目标终端设备对应的业务隐私数据组下的各数据隐私等级进行标记;通过每个目标终端设备在其对应的***隐私数据组下的数据隐私等级以及所述数据隐私等级的防火墙序列为上述标记所得到的每一个目标数据隐私等级设置隐私安全系数,并将每一个目标数据隐私等级按照其对应的隐私安全系数的由大到小的顺序依次转移到所述***隐私数据组下;其中,所转移的目标数据隐私等级的数量不超过预定值;
根据每个目标终端设备在其对应的***隐私数据组下的数据隐私等级的数量生成通信连接请求并将所述通信连接请求发送给对应的目标终端设备;获取每个目标终端设备基于所述通信连接请求反馈的接口验证码,根据所述接口验证码与每个目标终端设备建立通信连接并提取每个目标终端设备对应的通信行为数据。
可选地,所述请求发送模块212,具体用于:
根据所述设备签名信息生成第一校验码,采用预设校验算法对所述第一校验码和所述热度分析服务器的设备mac地址进行校验计算得到第一校验结果;
将所述第一校验结果和所述设备签名信息发送给所述搜索引擎服务器;其中,所述搜索引擎服务器在接收到所述第一校验结果和所述设备签名信息后,采用所述预设校验算法对所述设备签名信息对应的第二校验码以及预存的目标mac地址进行校验计算得到第二校验结果,并在判断出所述第一校验结果和所述第二校验结果一致时向所述热度分析服务器反馈授权信息,并将所述热度分析服务器对应的数字签名列入预设白名单中;
在接收到所述授权信息时,根据所述设备签名信息生成所述请求指令并将所述热度分析服务器的数字签名植入所述请求指令中。
关于上述功能模块的描述请参阅对图2所示的方法的描述,在此不作更多说明。
在上述基础上,请结合参阅图4,提供了热度分析服务器200的硬件结构示意图,所述热度分析服务器200包括互相之间通信的执行处理器221和非易失性存储器222,所述执行处理器221用于从非易失性存储器222读取计算机程序并通过执行所述计算机程序实现图2所示的步骤S21-步骤S24所描述的方法步骤。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。