CN110866158B - 信息更新方法、装置、***、存储介质及电子设备 - Google Patents

Abstract

本发明实施例是关于一种信息更新方法、装置、***、存储介质及电子设备，涉及大数据处理技术领域，该方法包括：根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载；在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中；以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息；利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。本发明实施例提高了信息更新的效率。

Description

信息更新方法、装置、***、存储介质及电子设备

技术领域

本发明实施例涉及大数据处理技术领域，具体而言，涉及一种信息更新方法、信息更新装置、信息更新***、计算机可读存储介质以及电子设备。

背景技术

在互联网广告中，广告主会大量的对其创建的广告单元进行包括修改买词、调整标题、调整智能出价等等的操作。作为广告投放平台来说，需要实时的对广告主的操作进行状态信息记录，因为状态信息对延时的要求特别高，能够有效的控制预算超播的问题。对于广告检索***来说，需要实时的获取状态信息进行广告的排序和召回，并且广告检索***启动的时候能够迅速的获取一份最新的广告单元状态信息作为召回的依据，加载完这些全量文件之后再读取增量数据，以保证数据的快速更新。

现有的技术中，通过采用Redis来记录上述状态信息，广告流水***和广告检索***之间传递的状态信息通过读写Redis集群来进行实时同步更新，广告流水***通过往Redis集群中实时更新对应的状态信息，广告检索***通过Redis集群中单元的更新来更新自身内存中的记录的状态信息。

但是，上述方案存在如下缺陷：一方面，大量的状态信息导致维护Redis集群困难，稳定性差，并且广告流水***和广告检索***之间传递信息会有延迟，进而导致信息更新的实时性较差；另一方面，广告检索***重启的时候需要遍历Redis集群中的状态信息，可能存在状态信息的丢失问题；再一方面，整体***对于Redis集群的依赖性较强，并且集群本身容灾性较差，一旦Redis集群崩溃，线上会出现大量超播等问题。

因此，需要提供一种新的信息更新方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种信息更新方法、信息更新装置、信息更新***、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的信息更新的实时性较差的问题。

根据本公开的一个方面，提供一种信息更新方法，应用于检索***，所述信息更新方法包括：

根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载；

在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中；

以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息；

利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。

在本公开的一种示例性实施例中，将所述全量状态信息加载至所述内存中包括：

将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；

遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；

将存在于所述新建数据集且不存在与所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

在本公开的一种示例性实施例中，所述信息更新方法还包括：

将所述垃圾回收数据集中的所述历史流水号小于所述终止流水号的所述历史状态信息对应的历史标识信息放入至历史集合中；

对所述历史集合中的历史标识信息以及所述当前标识信息进行对比得到对比结果，并将所述对比结果存放至区别集合中；其中，所述对比结果中包括的目标标识信息属于所述历史标识信息，且不属于所述当前标识信息；

对所述垃圾回收数据集中与所述区别集合中包括的目标标识信息对应的历史状态信息进行删除。

在本公开的一种示例性实施例中，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息包括：

根据所述增量状态信息的生成时间，从所述分布式消息***中依次读取目标流水号大于所述终止流水号的增量状态信息。

根据本公开的一个方面，提供一种信息更新方法，应用于流水***，所述信息更新方法包括：

间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息，以使得检索***在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述检索***的内存中；

将根据待更新信息生成的增量状态信息写入至分布式消息***，以使得所述检索***根据所述增量状态信息对所述全量状态信息进行更新。

在本公开的一种示例性实施例中，将根据待更新信息生成的增量状态信息写入至分布式消息***包括：

采用主从两路数据同步写入的方式，将根据待更新信息生成的增量状态信息写入至分布式消息***。

在本公开的一种示例性实施例中，所述信息更新方法还包括：

间隔第二预设时间，对所述分布式消息***中的增量状态信息进行清理。

根据本公开的一个方面，提供一种信息更新装置，应用于检索***，所述信息更新装置包括：

判断模块，用于根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载；

加载模块，用于在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中；

读取模块，用于以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息；

更新模块，用于利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。

根据本公开的一个方面，提供一种信息更新装置，应用于流水***，所述信息更新装置包括：

全量状态信息生成模块，用于间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息，以使得检索***在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述检索***的内存中；

增量状态信息写入模块，用于将根据待更新信息生成的增量状态信息写入至分布式消息***，以使得所述检索***根据所述增量状态信息对所述全量状态信息进行更新。

根据本公开的一个方面，提供一种信息更新***，包括：

流水***，用于根据分布式缓存***中所包括的所有的数据信息生成全量状态信息；以及将根据待更新信息生成的增量状态信息写入至分布式消息***；

分布式消息***，与所述流水***通信连接，用于对所述增量状态信息进行存储；

分布式缓存***，与所述流水***通信连接，用于对所述全量状态信息进行存储；

检索***，与所述分布式消息***以及所述分布式缓存***通信连接，用于在确定需要对所述全量状态信息进行加载时，对所述全量状态信息进行加载；以及根据所述增量状态信息对所述全量状态信息进行更新。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的信息更新方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的信息更新方法。

本发明实施例提供的一种信息更新方法及***，一方面，通过根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对全量状态信息进行加载；并在确定需要对全量状态信息进行加载时，将全量状态信息加载至内存中；再以全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于终止流水号的增量状态信息；最后利用目标流水号大于终止流水号的增量状态信息对全量状态信息进行更新，解决了现有技术中由于大量的状态信息导致维护Redis集群困难，稳定性差，并且广告流水***和广告检索***之间传递信息会有延迟，进而导致信息更新的实时性较差的问题，提高了信息更新的实时性；另一方面，通过在确定需要对全量状态信息进行加载时，将全量状态信息加载至内存中，解决了现有技术中由于广告检索***重启的时候需要遍历Redis集群中的状态信息，可能存在状态信息的丢失问题；再一方面，解决了现有技术中由于整体***对于Redis集群的依赖性较强，并且集群本身容灾性较差，一旦Redis集群崩溃，线上会出现大量超播等问题；进一步的，通过在确定需要对全量状态信息进行加载时，将全量状态信息加载至内存中；并以全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于终止流水号的增量状态信息；最后利用目标流水号大于终止流水号的增量状态信息对全量状态信息进行更新，提高了信息更新的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出根据本发明示例实施例的一种信息更新方法的流程图；

图2示意性示出根据本发明示例实施例的一种信息更新***的框图；

图3示意性示出根据本发明示例实施例的一种将全量状态信息加载至内存中的方法流程图；

图4示意性示出根据本发明示例实施例的另一种信息更新方法的流程图；

图5示意性示出根据本发明示例实施例的另一种信息更新方法的流程图；

图6示意性示出根据本发明示例实施例的另一种信息更新方法的流程图；

图7示意性示出根据本发明示例实施例的一种信息更新装置的框图；

图8示意性示出根据本发明示例实施例的另一种信息更新装置的框图；

图9示意性示出根据本发明示例实施例的一种用于实现上述信息更新方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种信息更新方法，应用于检索***，该方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该信息更新方法可以包括以下步骤：

步骤S110.根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载。

步骤S120.在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中。

步骤S130.以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息。

步骤S140.利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。

上述信息更新方法中，一方面，通过根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对全量状态信息进行加载；并在确定需要对全量状态信息进行加载时，将全量状态信息加载至内存中；再以全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于终止流水号的增量状态信息；最后利用目标流水号大于终止流水号的增量状态信息对全量状态信息进行更新，解决了现有技术中由于大量的状态信息导致维护Redis集群困难，稳定性差，并且广告流水***和广告检索***之间传递信息会有延迟，进而导致信息更新的实时性较差的问题，提高了信息更新的实时性；另一方面，通过在确定需要对全量状态信息进行加载时，将全量状态信息加载至内存中，解决了现有技术中由于广告检索***重启的时候需要遍历Redis集群中的状态信息，可能存在状态信息的丢失问题；再一方面，解决了现有技术中由于整体***对于Redis集群的依赖性较强，并且集群本身容灾性较差，一旦Redis集群崩溃，线上会出现大量超播等问题；进一步的，通过在确定需要对全量状态信息进行加载时，将全量状态信息加载至内存中；并以全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于终止流水号的增量状态信息；最后利用目标流水号大于终止流水号的增量状态信息对全量状态信息进行更新，提高了信息更新的效率。

以下，将结合附图对本发明示例实施例信息更新方法中涉及的各步骤进行详细的解释以及说明。

首先，对发明示例实施例中所需要用到的专有名词做如下解释：

Kafka：Kafka是一种分布式的、基于发布/订阅的消息***，它的主要设计目标是以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能，支持高吞吐率和在线的水平扩展以及支持离线数据处理和实时数据顺序处理，在本发明中用于增量消息的处理。

Jimdb：基于Redis的分布式缓存与高速键值存储服务，支持大容量缓存，数据的高可用性，支持多种I/O策略，服务和故障自动切换，支持动态扩容，在本发明中用于消息的文件化处理。

Protobuf：Google Protocol Buffer(简称Protobuf)是一种轻便高效的结构化数据存储格式，平台无关、语言无关、可扩展，并且序列化数据非常简洁、紧凑,而且解析速度快。

进一步的，结合图2对本发明实例实施例的信息更新***进行解释以及说明。参考图2所示，该信息更新***可以包括流水***210、分布式消息***220、分布式缓存***230以及检索***240。其中：

流水***(广告流水***)210，用于根据分布式缓存***中所包括的所有的数据信息生成全量状态信息；以及将根据待更新信息生成的增量状态信息写入至分布式消息***。具体的，流水***可以实时的获取投放***传递的广告单元状态信息的更新，然后组装和该广告单元有关的信息，包括商品信息封装等逻辑，在将该广告单元的状态信息进行填充传递给广告检索***。

分布式消息***220，与所述流水***通信连接，用于对所述增量状态信息进行存储。具体的，该分布式消息***220例如可以是Kafka，也可以是其他分布式消息***，本示例对此不做特殊限制。此处需要补充说明的是，通过使用Kafka可以减少广告流水***和广告检索***之间的状态信息同步时延；并且，Kafka拥有更好的容灾性，并且本发明采用主备的方式进行Kafka配置，能够实现主备的集群自动切换。

分布式缓存***230，与所述流水***通信连接，用于对所述全量状态信息进行存储。具体的，该分布式缓存***例如可以是Jimdb，也可以其实分布式缓存***，本示例对此不做特殊限制。

检索***(广告检索***)240，与所述分布式消息***以及所述分布式缓存***通信连接，用于在确定需要对所述全量状态信息进行加载时，对所述全量状态信息进行加载；以及根据所述增量状态信息对所述全量状态信息进行更新。具体的，广告检索***240通过获取广告流水***传递的广告单元状态信息，更新内存中的状态信息记录。广告检索***启动的时候需要加载全量状态信息文件流作为全量状态信息的基准点，在此基础上获取增量状态信息来同步更新广告主的操作。广告检索***获取广告服务***的请求，并根据状态信息过滤广告单元，最终对剩余的广告单元进行排序并返回给广告服务***。

进一步的，该信息更新***还可以包括：投放***250，是广告主投放广告单元的***，通过这个***广告主可以随时更改自己的设置，包括广告单元出价的修改、状态的修改、覆盖用户的修改等调整。投放***能够帮助广告主更快速地获取全网目标客户，有效地提升广告主投放效果，拥有多种计费模式。以及

广告服务***260，可以用于请求广告检索***召回广告单元，对召回的广告单元进行进一步的逻辑处理和业务处理，最终返回可以展现的广告单元。

此处需要补充说明的是，当广告主在投放***250对广告单元的状态信息进行更新时，会发送一条更新信息给广告流水***210。广告流水***210实时接收更新信息并对其中的状态信息进行封装，同时将状态信息写入Kafka220和Jimdb230中，并将广告单元ID作为唯一性标识。广告检索***240根据topic(Kafka上的消息类型)实时获取状态信息数据流，并对内存中维护的状态信息记录进行实时更新，一旦广告服务***250发送请求给广告检索***240，广告检索***240通过对匹配的广告单元进行状态过滤，进过一系列的其他操作返回给广告服务***260能够召回的广告单元的集合。

以下，结合图2对图1中示出的信息更新方法进行进一步的解释以及说明。

在步骤S110中，根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载。

在本示例实施例中，继续参考图2所示，当广告检索***240重新启动时，可以根据内存中的历史状态信息的历史流水号以及分布式缓存***230中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载。譬如，当历史状态信息的历史流水号小于起始流水号时，则可以判断需要加载；如果历史流水号与起始流水号相同，则可以判断不需要加载。

在步骤S120中，在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中。

在本示例实施例中，在确定需要对全量状态信息进行加载时，可以将全量状态信息加载至内存中。具体的，参考图3所示，将全量状态信息加载至内存中可以包括步骤S310-步骤S330，以下进行详细说明。

在步骤S310中，将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息。

在本示例实施例中，将全量状态信息读入内存，放入New Map变量中，其中，key为各广告单元ID(当前标识信息)，value为当前状态信息；并记录该全量状态信息的起始流水号以及终止流水号；其中，起始流水号是根据全量状态信息的起始时间戳生成的；终止流水号是根据全量状态信息的终止时间戳生成的。并且，此处需要进一步补充说明的是，此处通过使用New Map变量对全量状态信息进行存放，相较于其他变量来说，具有迭代快、存取迅速等优点，可以提高广告检索***对全量状态信息的加载速度，进而提高信息更新速度。

在步骤S320中，遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新。

在步骤S330中，将存在于所述新建数据集且不存在与所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

以下，将对步骤S320以及步骤S330进行解释以及说明。首先，遍历New Map变量(新建数据集)，然后对内存中的更新GC Map(Garbage Collection Map，垃圾回收数据集)中历史流水号小于New Map变量中历史标识信息对应的历史状态信息进行更新；以及将存在于New Map且不存在于GC Map中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。通过该方法，可以进一步的提高对全量状态信息进行加载的速度。

进一步的，为了删除GC Map中的数据的冗余部分，进而减少GC Map的压力，参考图4所示，该信息更新方法还可以包括步骤S410-步骤S430，以下进行详细说明。

在步骤S410中，将所述垃圾回收数据集中的所述历史流水号小于所述终止流水号的所述历史状态信息对应的历史标识信息放入至历史集合中。

在步骤S420中，对所述历史集合中的历史标识信息以及所述当前标识信息进行对比得到对比结果，并将所述对比结果存放至区别集合中；其中，所述对比结果中包括的目标标识信息属于所述历史标识信息，且不属于所述当前标识信息。

在步骤S430中，对所述垃圾回收数据集中与所述区别集合中包括的目标标识信息对应的历史状态信息进行删除。

以下，将对步骤S410-步骤S430进行解释以及说明。首先，遍历内存GC Map中的数据，将GC Map中历史流水号小于全量文件名中截止流水号的消息数据的广告单元ID存入临时的Old Set(历史集合)变量中；然后，对比New Map、Old Set变量取差集，即属于Old Set变量但不属于New Map的广告单元ID的集合，存放于Diff Set变量中；最后，遍历Diff Set变量，删除GC Map中属于Diff Set的数据。

在步骤S130中，以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息。

在本示例实施例中，当上述全量状态信息加载完成后，可以以该全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于终止流水号的增量状态信息。具体的可以包括：根据所述增量状态信息的生成时间，从所述分布式消息***中依次读取目标流水号大于所述终止流水号的增量状态信息。譬如，广告检索***读取Kafka增量数据时，采用earliest的方式，即从最开始的数据读取，但只加载流水号大于全量状态文件流水号2以及该广告单元内存流水号(若该广告单元已加载至内存)的消息。

在步骤S140中，利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。

本发明示例实施例还提供了另一种信息更新方法，应用于流水***。参考图5所示，该信息更新方法还可以包括步骤S510以及步骤S520，以下进行详细说明。

在步骤S510中，间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息，以使得检索***在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述检索***的内存中。

在本示例实施例中，可以间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息；其中，该第一预设时间例如可以是1小时，也可以是其他时间，本示例对此不做特殊限制。进一步的，该全量状态信息例如可以是Protobuf格式的文件，也可以是其他格式的文件，本示例对此不做特殊限制。此处需要补充说明的是，通过采用Protobuf格式的文件，可以进一步的提高广告检索***的加载速度以及解析速度，进而可以进一步的提高信息的更新速度。

在步骤S520中，将根据待更新信息生成的增量状态信息写入至分布式消息***，以使得所述检索***根据所述增量状态信息对所述全量状态信息进行更新。

在本示例实施例中，增量状态信息例如可以是广告主对广告单元进行实时的状态更新操作，包括出价、出价系数、预算、预算排期、开启状态等高实时性要求的信息。具体的，可以采用主从两路数据同步写入的方式，将根据待更新信息生成的增量状态信息写入至分布式消息***，从而可以保证两路数据完全一致。

进一步的，为了可以减轻分布式消息***的负担，同时加快广告检索***的读取速度，该信息更新方法还可以包括：间隔第二预设时间，对所述分布式消息***中的增量状态信息进行清理。譬如，广告流水***可以间隔2小时对Kafka中的增量状态信息进行定时清理，只保存最近2个小时的数据。

此处需要补充说明的是，在增量更新的循环中，读取状态全量状态文件的记录文件，若起始流水号发生改变，说明此次全量必须加载，此时停止增量更新，开始全量更新。

以下，结合图6对本发明实例实施例的信息更新方法进行进一步的解释以及说明。参考图6所示，该信息更新方法可以包括以下步骤：

步骤S610，广告流水***210将增量状态信息实时写入Kafka220以及Jimdb230；

步骤S620，广告流水***210间隔一小时根据Jimdb230中存储的所有数据信息生成Protobuf格式的全量状态信息；

步骤S630，广告检索系240在确定需要加载全量状态信息时，从Jimdb230中加载Protobuf格式的全量状态信息；

步骤S640，广告检索系240以加载的全量状态信息为基准点，从Kafka220获取增量状态信息对全量信息进行更新。

本发明示例实施例还提供了一种信息更新装置，应用于检索***。参考图7所示，该信息更新装置可以包括判断模块710、加载模块720、读取模块730以及更新模块740。其中：

判断模块710可以用于根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载。

加载模块720可以用于在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中。

读取模块730可以用于以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息。

更新模块740可以用于利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。

在本公开的一种示例性实施例中，将所述全量状态信息加载至所述内存中包括：

将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；将存在于所述新建数据集且不存在与所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

在本公开的一种示例性实施例中，所述信息更新装置还包括：

第一处理模块，可以用于将所述垃圾回收数据集中的所述历史流水号小于所述终止流水号的所述历史状态信息对应的历史标识信息放入至历史集合中。

比对模块，可以用于对所述历史集合中的历史标识信息以及所述当前标识信息进行对比得到对比结果，并将所述对比结果存放至区别集合中；其中，所述对比结果中包括的目标标识信息属于所述历史标识信息，且不属于所述当前标识信息。

删除模块，可以用于对所述垃圾回收数据集中与所述区别集合中包括的目标标识信息对应的历史状态信息进行删除。

在本公开的一种示例性实施例中，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息包括：

根据所述增量状态信息的生成时间，从所述分布式消息***中依次读取目标流水号大于所述终止流水号的增量状态信息。

本发明示例实施例还提供了另一种信息更新装置，应用于流水***。参考图8所示，该信息更新装置可以包括全量状态信息生成模块810以及增量状态信息写入模块820。其中：

全量状态信息生成模块810可以用于间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息，以使得检索***在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述检索***的内存中。

增量状态信息写入模块820可以用于将根据待更新信息生成的增量状态信息写入至分布式消息***，以使得所述检索***根据所述增量状态信息对所述全量状态信息进行更新。

在本公开的一种示例性实施例中，将根据待更新信息生成的增量状态信息写入至分布式消息***包括：

采用主从两路数据同步写入的方式，将根据待更新信息生成的增量状态信息写入至分布式消息***。

在本公开的一种示例性实施例中，所述信息更新装置还包括：

第二处理模块，可以用于间隔第二预设时间，对所述分布式消息***中的增量状态信息进行清理。

上述信息更新装置中各模块的具体细节已经在对应的信息更新方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同***组件(包括存储单元920和处理单元910)的总线930。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图1中所示的步骤S110：根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载；步骤S120：在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中；步骤S130：以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息；步骤S140：利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。

在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (11)

1.一种信息更新方法，其特征在于，应用于检索***，所述信息更新方法包括：

根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载；

在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中；

以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息；

利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新；

其中，将所述全量状态信息加载至所述内存中包括：

将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；

遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；

将存在于所述新建数据集且不存在于 所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

2.根据权利要求1所述的信息更新方法，其特征在于，所述信息更新方法还包括：

将所述垃圾回收数据集中的所述历史流水号小于所述终止流水号的所述历史状态信息对应的历史标识信息放入至历史集合中；

对所述历史集合中的历史标识信息以及所述当前标识信息进行对比得到对比结果，并将所述对比结果存放至区别集合中；其中，所述对比结果中包括的目标标识信息属于所述历史标识信息，且不属于所述当前标识信息；

对所述垃圾回收数据集中与所述区别集合中包括的目标标识信息对应的历史状态信息进行删除。

3.根据权利要求1所述的信息更新方法，其特征在于，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息包括：

根据所述增量状态信息的生成时间，从所述分布式消息***中依次读取目标流水号大于所述终止流水号的增量状态信息。

4.一种信息更新方法，其特征在于，应用于流水***，所述信息更新方法包括：

间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息，以使得检索***在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述检索***的内存中；

将根据待更新信息生成的增量状态信息写入至分布式消息***，以使得所述检索***根据所述增量状态信息对所述全量状态信息进行更新；

其中，将所述全量状态信息加载至所述检索***中的内存中是通过如下方式实现的：

将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；

遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；

将存在于所述新建数据集且不存在于 所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

5.根据权利要求4所述的信息更新方法，其特征在于，将根据待更新信息生成的增量状态信息写入至分布式消息***包括：

采用主从两路数据同步写入的方式，将根据待更新信息生成的增量状态信息写入至分布式消息***。

6.根据权利要求4所述的信息更新方法，其特征在于，所述信息更新方法还包括：

间隔第二预设时间，对所述分布式消息***中的增量状态信息进行清理。

7.一种信息更新装置，其特征在于，应用于检索***，所述信息更新装置包括：

判断模块，用于根据内存中的历史状态信息的历史流水号以及分布式缓存***中的全量状态信息的起始流水号判断是否需要对所述全量状态信息进行加载；

加载模块，用于在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述内存中；

读取模块，用于以所述全量状态信息的终止流水号为基准点，从分布式消息***中读取目标流水号大于所述终止流水号的增量状态信息；

更新模块，用于利用所述目标流水号大于所述终止流水号的增量状态信息对所述全量状态信息进行更新；

其中，将所述全量状态信息加载至所述内存中包括：

将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；

遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；

将存在于所述新建数据集且不存在于 所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

8.一种信息更新装置，其特征在于，应用于流水***，所述信息更新装置包括：

全量状态信息生成模块，用于间隔第一预设时间，根据分布式缓存***中所包括的所有的数据信息生成全量状态信息，以使得检索***在确定需要对所述全量状态信息进行加载时，将所述全量状态信息加载至所述检索***的内存中；

增量状态信息写入模块，用于将根据待更新信息生成的增量状态信息写入至分布式消息***，以使得所述检索***根据所述增量状态信息对所述全量状态信息进行更新；

其中，将所述全量状态信息加载至所述检索***中的内存中是通过如下方式实现的：

将所述全量状态信息以键值对的形式放入至所述内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；

遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；

将存在于所述新建数据集且不存在于 所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

9.一种信息更新***，其特征在于，包括：

流水***，用于根据分布式缓存***中所包括的所有的数据信息生成全量状态信息；以及将根据待更新信息生成的增量状态信息写入至分布式消息***；

分布式消息***，与所述流水***通信连接，用于对所述增量状态信息进行存储；

分布式缓存***，与所述流水***通信连接，用于对所述全量状态信息进行存储；

检索***，与所述分布式消息***以及所述分布式缓存***通信连接，用于在确定需要对所述全量状态信息进行加载时，对所述全量状态信息进行加载；以及根据所述增量状态信息对所述全量状态信息进行更新；

其中，对所述全量状态信息进行加载包括：

将所述全量状态信息以键值对的形式放入至内存中的新建数据集中；其中，所述全量状态信息的键为产生所述全量状态信息的各广告单元的当前标识信息，值为与各所述当前标识信息对应的当前状态信息；

遍历所述新建数据集，对所述内存中的垃圾回收数据集中历史流水号小于起始流水号的历史标识信息对应的历史状态信息进行更新；

将存在于所述新建数据集且不存在于 所述垃圾回收数据集中的当前标识信息以及与所述当前标识信息对应的当前状态信息增加至所述垃圾回收数据集中。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的信息更新方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的信息更新方法。

Images