CN105635257A - 自动检测数据更新的方法及*** - Google Patents

Abstract

本发明公开了一种自动检测数据更新的方法及***，包括接收http服务端返回的业务数据，并推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；推送更新信息到业务回调函数，并处理，以获取更新信息，并根据业务数据的更新类型，执行存储业务数据。通过上述方式，本发明能够自动检测HTTP服务端数据或信息变更状态；并对特定业务或数据或信息的定制化自动更新检测，上层应用可以自定义需要检测变更的业务或数据或信息；以及自定义选择适应于特定业务或数据或信息的数据检测策略；同时客户端无需过多关注HTTP服务端的数据或信息变更状态。

Description

自动检测数据更新的方法及***

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种自动检测数据更新的方法及***。

背景技术

当前互联网发展迅速，基于HTTP请求的服务在互联网应用中广泛使用。通过HTTP发起请求的客户端面临着服务端数据或信息变更无法及时得到通知的问题。

现有中国专利申请(申请号：201310659862.0)，名称为《一种服务器集群内资源管理方法》中公开了注册、依据数据更新频率发起查询请求、分类管理的内容，但在运用场景方面，如具体操作时，该专利是接收更新资源后，进行分类特征测试和可用性测试，并没有获取变更的数据，通知数据更新等。因此该专利同样无法及时通知其他服务器进行更新。

发明内容

本发明所要解决的技术问题是：通过提供一种自动的数据更新检测***装置，实现对特定业务或数据或信息的定制化自动更新检测，使得客户端不需要过多关注HTTP服务端数据或信息变更状态。

为了解决上述技术问题，本发明采用的技术方案为：提供一种自动检测数据更新的方法，包括：

数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块；

数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；

推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知模块；

更新通知模块推送更新信息到更新存储模块，更新存储模块根据业务数据的更新类型，执行存储业务数据。

为解决上述问题，本发明还提供一种自动检测数据更新的***，包括：http服务端、数据更新检测模块、数据检测策略管理模块、更新通知模块以及更新存储模块；其中，

数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块；

数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；

推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知模块；

更新通知模块推送更新信息到更新存储模块，更新存储模块根据业务数据的更新类型，执行存储业务数据。

本发明的有益效果在于：区别于现有技术，本发明通过转发http服务端返回的业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；并推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知，并执行存储业务数据。通过上述方式，本发明能够自动检测HTTP服务端数据或信息变更状态；并对特定业务或数据或信息的定制化自动更新检测，上层应用可以自定义需要检测变更的业务或数据或信息；以及自定义选择适应于特定业务或数据或信息的数据检测策略；同时客户端无需过多关注HTTP服务端的数据或信息变更状态。

附图说明

图1为本发明方法实施例一的流程示意图；

图2为本发明***实施例二的总体结构示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：检测策略对业务数据的更新状态进行检测，使得http服务端的更新信息可以及时获知。

请参照图1，本发明实施例一提供一种自动检测数据更新的方法，包括：

S1：数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块；

S2：数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；

S3：推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知模块；

S4：更新通知模块推送更新信息到更新存储模块，更新存储模块根据业务数据的更新类型，执行存储业务数据。

其中，在实施本发明技术方案前，还需要启动定时检测触发器，并设置检测周期；同时定义业务模块，以注册业务并获取http服务完整信息及回调函数。对应地，步骤S1具体为：

数据更新检测模块获取已注册业务，并根据检测周期进行排序，并注册到定时检测触发器中；

定时检测触发器根据检测周期定期触发数据更新检测模块执行符合当前检测周期的所有业务，以获得相关业务数据；

数据更新检测模块转发所述业务数据到数据检测策略管理模块。

应当理解的是，本发明所述业务数据为依据检测周期从HTTP服务端直接接收到的数据；其中所述业务数据包括以下至少一种：

结构化数据，通过二维关系表结构保存；

非关系型数据，包括图片数据、文本数据、XML数据、HTML数据、文档、音频文件或视频文件；

半结构化数据，使用树或图数据结构保存。

同时，步骤S2具体为：

数据检测策略注册模块注册检测策略，并生成唯一标识；

数据检测管理模块根据检测策略唯一标识动态创建检测策略实例，并推送业务数据到检测策略实例；

检测策略实例根据业务数据类型对业务数据进行更新状态检测，以提取更新信息。具体为：

判断业务数据是否为结构化数据；

若是，则检测策略实例通过MD5数据检验算法对新旧业务数据分别计算，提取更新信息，并保存在更新列表中；

反之，则对关系表中的每行数据逐行比对，提取更新信息，并保存在更新列表中。

其中，检测策略实例通过MD5数据检验算法对新旧业务数据分别计算，获得MD5值；判断新旧业务数据的MD5值是否相等；

若是，则判断业务数据未被更新，并保存业务数据到更新列表中；

反之，则提取更新信息，并保存到更新列表中。

而对关系表中的每行数据逐行比对则具体为：

对行中的内容逐个字段比对；或根据每行所包含的数据更新标识或更新字段直接比对。

区别于现有技术，本发明通过转发http服务端返回的业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；并推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知，并执行存储业务数据。通过上述方式，本发明能够自动检测HTTP服务端数据或信息变更状态；并对特定业务或数据或信息的定制化自动更新检测，上层应用可以自定义需要检测变更的业务或数据或信息；以及自定义选择适应于特定业务或数据或信息的数据检测策略；同时客户端无需过多关注HTTP服务端的数据或信息变更状态。

承上，如图2所示，本发明实施例二提供一种自动检测数据更新的***，包括：http服务端、数据更新检测模块、数据检测策略管理模块、更新通知模块以及更新存储模块；其中，

数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块；

数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；

推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知模块；

更新通知模块推送更新信息到更新存储模块，更新存储模块根据业务数据的更新类型，执行存储业务数据。

其中，所述***还包括：

定时检测触发器，用于设置检测周期，并对检测周期排序；

业务注册模块，用于注册业务，获得业务数据。

所述业务数据为依据检测周期从HTTP服务端直接接收到的数据；其中所述业务数据包括以下至少一种：

结构化数据，通过二维关系表结构保存；

非关系型数据，包括图片数据、文本数据、XML数据、HTML数据、文档、音频文件或视频文件；

半结构化数据，使用树或图数据结构保存。

为方便理解，以下通过一个具体的实施例进行说明。

请一并参阅图1、图2。本发明是解决基于HTTP请求的客户端存在HTTP服务端的数据或信息变更时无法得到及时通知的问题，通过提供一种自动的数据更新检测***装置实现对特定业务(例如数据记录数量变更等)或数据或信息的定制化自动更新检测，使得客户端不需要过多关注HTTP服务端数据或信息变更状态。

见图2，自动数据更新检测***的组成部分及主要技术特征及连接关系，从下到上依次说明如下：

1)数据更新检测模块

该模块负责从业务注册模块获取所有已注册的业务，并将已注册的业务根据业务注册时指定的检测周期排序，对注册的业务根据检测周期排序使具有相同检测周期的业务归为一类并统一得到管理，当检测周期到达时这类相同周期的所有业务将逐个被触发执行数据更新检测任务；该模块负责将所有已注册的业务相对应的检测周期注册到定时检测触发器中，定时检测触发器根据这些检测周期定期触发该模块执行符合当前检测周期的所有业务；该模块执行业务之后将获取到相关的业务数据。

这里的业务数据指的是依据检测周期从HTTP服务端直接接收到的数据，这里的业务数据可以是结构化数据，主要指的是可以通过二维关系表结构保存的数据、也可以是非关系型数据例如图片数据、文本数据、XML数据、HTML数据、文档、音频文件或视频文件等、或者可以是半结构化数据例如使用树或图数据结构保存起来的数据，业务数据的内容、格式、要求等与HTTP服务端对具体业务的请求直接相关；最后该模块将业务数据发送给数据检测策略管理模块；

2)数据检测策略管理模块

该模块负责管理向数据检测策略注册模块注册过的所有检测策略，并对检测策略根据一定的规则分类管理。其中分类的方法有如下3种：分别是依据业务功能分类、依据业务数据所属类型分类、依据业务数据内容分类等。其中依据业务功能分类是以业务相对应的具体应用作为分类的依据，例如展示教师信息的具体业务应用、展示学生信息的具体业务应用等，这样检测教师信息的检测策略就可以归为一类，而检测学生信息的检测策略也可以单独归为一类；其中依据业务数据类型分类是以业务数据的类型(这里的类型指的是结构化、半结构化、非结构化三种)作为分类的依据，例如结构化数据是二维关系表结构的关系型数据，对这类数据的检测可以归类命名为关系型数据检测策略等；

该模块负责对数据更新检测模块发送过来的业务数据执行数据更新检测任务，这里的任务必须包含业务数据、与该业务数据相对应的业务唯一标识和业务注册到业务注册模块时指定的检测策略唯一标识，这里的业务唯一标识是为了区分不同的具体功能的业务实例而设定的标识，在建立业务实例时该唯一标识被动态创建，这个唯一标识可以是业务实例名、全局唯一标识符UUID、数值等，通过这个唯一标识就能具体地确定该业务实例；这里的检测策略唯一标识是根据检测策略的类型具体定义的，一类检测策略就会有一个唯一标识与其对应，在定义检测策略时该唯一标识就得到唯一确定，该数据检测策略管理模块根据该检测策略唯一标识找到具体的检测策略时就会为动态创建一个检测策略实例用于检测业务数据；

而具体的检测步骤如下：

1、该数据检测策略管理模块接收检测任务；

2、该数据检测策略管理模块根据检测策略唯一标识获取具体的检测策略9)，并动态创建检测策略实例；

3、该数据检测策略管理模块推送业务数据给检测策略实例，

4、检测策略实例依据该检测策略指定的检测技术对业务数据进行更新状态检测，检测技术的方式可以是但不限于：

如果业务数据是非结构化数据，直接通过MD5数据检验算法对新旧两份数据分别计算并得到MD5值，如果新旧两份数据的MD5值相等则这两份数据完全相同，检测策略实例判定该业务数据未被更新，则保存该业务数据到更新列表中；如果不完全相同，则表示该业务数据新旧两份数据存在更新信息。

如果业务数据是结构化数据，则对关系表中的每行数据对行逐一比对，这里的比对方法可以是对行中的内容逐个字段比对(一旦发现到数据被修改或数据被删除或数据是新增数据就判定为该行数据为被更新)也可以是根据每行所包含的数据更新标识例如日期或是否更新字段直接比对判断，如果数据不一致或者被标识为更新，则判定该行数据为被更新状态，并保存该行数据保存到更新列表中；

5、该数据检测策略管理模块销毁动态创建的检测策略实例，并将更新列表和业务8)实例唯一标识发送给更新通知模块；

6、更新通知模块根据业务实例唯一标识获取相应的业务实例，并将更新列表推送给业务实例

7、业务实例逐个读取更新列表项信息，并对各个被更新的列表项内容采取措施，业务实例所采取的具体措施由业务本身决定；最后业务实例返回一个“确定更新列表”给更新通知模块，这里的“确定更新列表”指的是被业务实例接受处理并被确认为更新有效的业务数据；

8、更新通知模块逐项读取“确定更新列表”，并对“确定更新列表”项重新分类，分类的规则是将修改的数据归为一个单独的列表命名为被修改列表、将被删除的数据归为一个单独的列表命名为被删除列表、将新增的数据归为一个单独的列表命名为被新增列表，最后将这些重新被分类过的列表推送到数据更新存储模块中；

9、数据更新存储模块为列表中的内容分别执行替换、新增或删除的存储操作；

10、至此对该业务数据的更新检测过程就此结束。

3)定时检测触发器

该模块负责管理所有的检测周期(这里的检测周期指的是业务模块从上一次被执行检测数据更新任务到下一次执行检测数据更新任务的时间间隔)，并对这些检测周期根据一定的规则例如检测周期的时间长短按序排列；该模块负责检查检测周期的到达时间，当检测周期到达时将触发数据更新检测模块选择相关的业务执行检测任务；

4)业务注册模块

该模块负责为业务提供注册的功能，该功能必须包含但不限于业务模块信息、检测周期和检测策略模块唯一标识等；通过该模块注册过的业务就具备了检测该业务数据更新状态的能力；

5)更新通知模块

该模块负责接收数据检测策略管理模块推送上来的数据更新检测结果，该结果以任务的方式存放，该模块根据任务中包含的业务唯一标识找到相应的业务，最后将被更新的数据信息推送给业务模块；业务模块有权利决定被更新过的这些数据中哪些数据将最终生效并被保存到数据更新存储模块中；该模块同步等待业务模块的最终生效决定，并将该决定同步反馈给数据检测策略管理模块；

6)数据更新存储模块

该模块负责接收数据检测策略管理模块推送过来的需要更新到存储***(例如本地主机的文件***)中的数据；该模块负责根据数据更新的类型(例如新增、修改、删除)采取不同的保存措施；

7)数据检测策略注册模块

该模块负责为检测策略提供注册功能，通过该注册接口注册过的检测策略就具备了可以被业务选择作为数据更新检测的方法。

8)业务

这里的业务指的是需要被更新检测的任务对象，它必须包含HTTP服务的完整信息，HTTP服务的完整信息包括HTTP服务端的通信地址例如域名、通信端口、通信的URI信息以及其它额外的与具体业务有关的信息、以及接收数据更新信息的回调函数接口，回调函数接口将被更新通知模块调用予将数据更新信息推送给业务模块；

9)检测策略

检测策略是检测数据是否被更新的方法，检测策略根据一定的规则分类管理，分类的方法有如下两种：分别是依据业务功能分类、依据业务数据所属类型分类、依据业务数据内容分类等，其中依据业务功能分类是以业务相对应的具体应用作为分类的依据例如展示教师信息的具体业务应用、展示学生信息的具体业务应用等，这样检测教师信息的检测策略就可以归为一类，而检测学生信息的检测策略也可以单独归为一类；其中依据业务数据类型分类是以业务数据的类型(这里的类型指的是结构化、半结构化、非结构化三种)作为分类的依据，例如结构化数据是二维关系表结构的关系型数据，对这类数据的检测可以归类命名为关系型数据检测策略等；检测策略是与具体业务相关的，检测策略可以是通用的也可以是只适用于具体业务的检测方法，注册检测策略到数据检测策略注册模块表示该检测策略可以正式被业务模块使用，业务模块在向业务注册模块注册时通过选择其中一个已经被注册过的检测策略作为数据更新的检测方法；

10)HTTP服务端

HTTP服务端代表的是提供HTTP服务的远程服务器***，具体的HTTP服务都是从那里获取得到的。

该***的操作过程如下：

启动定时检测触发器；

定义业务模块，包含HTTP服务完整信息和回调函数；

定义检测策略模块或从通用的检测策略中选择一个；

注册业务模块到业务注册模块，注册检测策略模块到数据检测策略注册模块；

启动数据更新检测模块；

启动数据检测策略管理模块；

数据更新检测模块接收到HTTP服务端返回的业务数据后将其发送到数据检测策略管理模块；

数据检测策略管理模块将业务数据推送给检测策略，检测策略根据内部的检；

测规则检查业务数据的更新状态并提取被核实为更新的数据，被更新的数据信息被推送给具体的业务回调函数；

业务回调函数处理业务数据，并确定哪些被更新的业务数据为更新，并将该结果反馈给更新通知模块；

更新通知模块将被确定为更新的业务数据推送到数据更新存储模块，数据更新存储模块根据业务数据的更新类型(例如新增、删除、修改等)具体的执行存储业务数据的措施。

至此，一个业务的数据更新检测过程就完成了。

但是，在这个过程中该自动数据更新检测***支持任何时刻随机地注册新的业务和新的检测策略。

综上，本发明具备如下有益效果：

1)自动检测HTTP服务端数据或信息变更状态；

2)对特定业务或数据或信息的定制化自动更新检测，上层应用可以自定义需要检测变更的业务或数据或信息；

3)自定义选择适应于特定业务或数据或信息的数据检测策略；

4)客户端无需过多关注HTTP服务端的数据或信息变更状态。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种自动检测数据更新的方法，其特征在于，包括：

数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块；

数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；

推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知模块；

更新通知模块推送更新信息到更新存储模块，更新存储模块根据业务数据的更新类型，执行存储业务数据。

2.根据权利要求1所述自动检测数据更新的方法，其特征在于，还包括：

启动定时检测触发器，并设置检测周期；

定义业务模块，以注册业务并获取http服务完整信息及回调函数。

3.根据权利要求2所述自动检测数据更新的方法，其特征在于，数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块的步骤具体为：

数据更新检测模块获取已注册业务，并根据检测周期进行排序，并注册到定时检测触发器中；

定时检测触发器根据检测周期定期触发数据更新检测模块执行符合当前检测周期的所有业务，以获得相关业务数据；

数据更新检测模块转发所述业务数据到数据检测策略管理模块。

4.根据权利要求1所述自动检测数据更新的方法，其特征在于，数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息的步骤具体为：

数据检测策略注册模块注册检测策略，并生成唯一标识；

数据检测管理模块根据检测策略唯一标识动态创建检测策略实例，并推送业务数据到检测策略实例；

检测策略实例根据业务数据类型对业务数据进行更新状态检测，以提取更新信息。

5.根据权利要求1-4任一项所述自动检测数据更新的方法，其特征在于，所述业务数据为依据检测周期从HTTP服务端直接接收到的数据；其中所述业务数据包括以下至少一种：

结构化数据，通过二维关系表结构保存；

非关系型数据，包括图片数据、文本数据、XML数据、HTML数据、文档、音频文件或视频文件；

半结构化数据，使用树或图数据结构保存。

6.根据权利要求4所述自动检测数据更新的方法，其特征在于，检测策略实例根据业务数据类型对业务数据进行更新状态检测，以提取更新信息的步骤包括：

判断业务数据是否为结构化数据；

若是，则检测策略实例通过MD5数据检验算法对新旧业务数据分别计算，提取更新信息，并保存在更新列表中；

反之，则对关系表中的每行数据逐行比对，提取更新信息，并保存在更新列表中。

7.根据权利要求6所述自动检测数据更新的方法，其特征在于，检测策略实例通过MD5数据检验算法对新旧业务数据分别计算，获得MD5值；

判断新旧业务数据的MD5值是否相等；

若是，则判断业务数据未被更新，并保存业务数据到更新列表中；

反之，则提取更新信息，并保存到更新列表中；

对关系表中的每行数据逐行比对包括：

对行中的内容逐个字段比对；或

根据每行所包含的数据更新标识或更新字段直接比对。

8.一种自动检测数据更新的***，其特征在于，包括：http服务端、数据更新检测模块、数据检测策略管理模块、更新通知模块以及更新存储模块；其中，

数据更新检测模块接收http服务端返回的业务数据，并转发到数据检测策略管理模块；

数据检测策略管理模块推送业务数据到检测策略，检测策略检查业务数据的更新状态，并提取更新信息；

推送更新信息到业务回调函数，并处理，以获取更新信息，并反馈给更新通知模块；

更新通知模块推送更新信息到更新存储模块，更新存储模块根据业务数据的更新类型，执行存储业务数据。

9.根据权利要求8所述自动检测数据更新的***，其特征在于，还包括：

定时检测触发器，用于设置检测周期，并对检测周期排序；

业务注册模块，用于注册业务，获得业务数据。

10.根据权利要求8或9所述自动检测数据更新的***，其特征在于，所述业务数据为依据检测周期从HTTP服务端直接接收到的数据；其中所述业务数据包括以下至少一种：

结构化数据，通过二维关系表结构保存；

非关系型数据，包括图片数据、文本数据、XML数据、HTML数据、文档、音频文件或视频文件；

半结构化数据，使用树或图数据结构保存。