CN113392078A - 作业变化状态监控方法、装置、计算机设备和存储介质 - Google Patents
作业变化状态监控方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113392078A CN113392078A CN202110625347.5A CN202110625347A CN113392078A CN 113392078 A CN113392078 A CN 113392078A CN 202110625347 A CN202110625347 A CN 202110625347A CN 113392078 A CN113392078 A CN 113392078A
- Authority
- CN
- China
- Prior art keywords
- job
- information
- latest
- detected
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 238000012795 verification Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000012806 monitoring device Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明涉及一种作业变化状态监控方法、装置、计算机设备和存储介质，所述的方法包括S1：获取待检测作业的最新的作业信息；S2：判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则进入步骤S3；S3：对比最新作业信息与待监测作业的缓存中作业信息，逐级判断是否满足校验条件，若是，进入步骤S4，否则，进入步骤S5；S4：判断作业状态未发生改变，无需进行作业扫描；S5：判断作业状态发生改变，更新缓存中的待检测作业的作业信息并进行作业扫描。与现有技术相比，本发明降低作业传输中的非必要性能开销，提高作业状态监控效率。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种作业变化状态监控方法、装置、计算机设备和存储介质。
背景技术
现有的文件传输业务中进行传输业务时，将会根据最新的作业配置信息，对下发的作业进行扫描，遍历所有文件，并同时对文件进行比对，判断文件是否满足传输条件，或者文件是否发生改变需要重传。通常，实际业务中配置的作业数量成千上万，每条作业的文件目录层级、文件数量也未知，无差异的盲目去遍历每条作业的所有文件，再遍历每个文件信息与数据库记录的文件状态去比对，是一笔非常巨大的***开销，并且频繁的文件输入输出，频繁访问数据库也会对***造成很大的压力。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种作业变化状态监控方法、装置、计算机设备和存储介质。
本发明的目的可以通过以下技术方案来实现：
一种作业变化状态监控方法，包括以下步骤：
S1：获取待检测作业的最新的作业信息；
S2：判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则进入步骤S3；
S3：对比最新作业信息与待监测作业的缓存中作业信息，逐级判断是否满足校验条件，若是，进入步骤S4，否则，进入步骤S5；
S4：判断作业状态未发生改变，无需进行作业扫描；
S5：判断作业状态发生改变，更新缓存中的待检测作业的作业信息并进行作业扫描。
优选地，所述的作业信息包括多级校验信息、文件大小和对比字符串，所述的对比字符串根据文件大小和多级校验信息获取。
优选地，所述的步骤S3具体包括：
S31：判断最新的作业信息中的第一级校验信息是否满足第一级校验条件，若是，进入步骤S32，否则，进入步骤S5；
S32：判断最新的作业信息中下一级校验信息是否满足下一级校验条件，若是，返回步骤S32进行下一级校验，直到所有校验信息均满足对应校验条件后，进入步骤S33，否则，进入步骤S5；
S33：根据文件大小和多级校验信息生成最新的对比字符串，判断最新的对比字符串与缓存中的对比字符串是否一致，若是，进入步骤S4，否则，进入步骤S5。
优选地，所述的作业信息包括第一级校验信息和第二级校验信息，所述的第一级校验信息为最后更新时间，所述的第二级校验信息为作业版本。
优选地，所述的第一级校验信息对应的第一级校验条件为：
判断最后更新时间与当前时间的时间差是否超过预设周期，若是，不满足第一级校验条件，否则，满足第一级校验条件。
优选地，所述的第二级校验信息对应的第二级校验条件为：
判断最新的作业版本与缓存中的作业版本是否一致，若是，满足第二级校验条件，否则，不满足第二级校验条件。
优选地，所述的步骤S1具体包括：
S11：将待检测作业加入到扫描队列中；
S12：利用队列监听线程获取待检测作业的最新作业信息。
一种作业状态监控设备，包括：
作业信息获取模块，用于获取待检测作业的最新的作业信息；
新老作业判断模块，用于判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则送入老作业校验模块；
老作业校验模块，对比最新作业信息与待监测作业的缓存中作业信息，逐级判断是否满足校验条件，若满足，判断作业状态未发生改变，无需进行作业扫描，否则送入作业信息更新模块；
作业信息更新模块，更新缓存中的待检测作业的作业信息并进行作业扫描。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下优点：
(1)本发明对作业的变化状态进行监控时，将新老作业分流，并利用多级校验条件对作业变化状态进行监控，避免盲目去遍历作业下所有的文件做扫描比对的性能浪费，利用监控策略有效将监控维度从单个文件维度提升至作业维度吗，大大减少文件查询次数，提高查询效率，确保了作业发生变化的准确、及时性，降低了***的非要用性能开销；
(2)本发明针对作业信息数据，根据最后更新时间、作业版本对作业变化状态进行初级判断，然后根据结合文件大小生成对比字符串，实现文件信息状态变化的准确识别，提高查询效率，确保了作业发生变化的准确、及时性。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
一种作业变化状态监控方法，如图1所示，包括以下步骤：
S1：获取待检测作业的最新的作业信息；
步骤S1具体包括：
S11：将待检测作业加入到扫描队列中；
S12：利用队列监听线程获取待检测作业的最新作业信息。
本发明中具体实施时，队列监听线程利用扫描过滤器IOFileFilter定义文件扫描过滤规则，如是否读取隐藏文件，是否读取可读文件等，获取最新的作业信息，并将作业信息放进Collection集合中。
本实施例中，作业信息包括最后更新时间、作业版本、文件大小和对比字符串，新作业的对比字符串为空。
S2：判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则进入步骤S3。
本实施例中，新作业会对应缓存中设有jobCode信息作为新作业标识信息，若缓存中存在jobCode则为新作业，否则为旧作业。
S31：判断最新的作业信息中的最后更新时间与当前时间的时间差是否超过预设周期，若是，进入步骤S5，否则，进入步骤S32；
S32：判断最新的作业版本与缓存中的作业版本是否一致，若是，进入步骤S33，否则，进入步骤S5；
S33：根据文件大小、最后更新时间、作业版本生成最新的对比字符串，判断最新的对比字符串与缓存中的对比字符串是否一致，若是，进入步骤S4，否则，进入步骤S5。
S4：判断作业状态未发生改变，无需进行作业扫描；
S5：判断作业状态发生改变，更新缓存中的待检测作业的作业信息并进行作业扫描。
本实施例中，将作业的文件大小、最后更新时间、作业版本拼接成字符串，MD5加密后再转换成十六进制的字符串Key作为对比字符串，放入缓存。
本申请一实施例中还提供了一种作业状态监控设备，包括：
作业信息获取模块，用于获取待检测作业的最新的作业信息；
新老作业判断模块，用于判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则送入老作业校验模块；
老作业校验模块，对比最新作业信息与待监测作业的缓存中作业信息，逐级判断是否满足校验条件，若满足，判断作业状态未发生改变，无需进行作业扫描，否则送入作业信息更新模块；
作业信息更新模块，更新缓存中的待检测作业的作业信息并进行作业扫描。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本实施例中所述一种作业变化状态监控方法的步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本实施例中所述一种作业变化状态监控方法的步骤。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (10)
1.一种作业变化状态监控方法，其特征在于，包括以下步骤：
S1：获取待检测作业的最新的作业信息；
S2：判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则进入步骤S3；
S3：对比最新作业信息与待监测作业的缓存中作业信息，逐级判断是否满足校验条件，若是，进入步骤S4，否则，进入步骤S5；
S4：判断作业状态未发生改变，无需进行作业扫描；
S5：判断作业状态发生改变，更新缓存中的待检测作业的作业信息并进行作业扫描。
2.根据权利要求1所述的一种作业变化状态监控方法，其特征在于，所述的作业信息包括多级校验信息、文件大小和对比字符串，所述的对比字符串根据文件大小和多级校验信息获取。
3.根据权利要求2所述的一种作业变化状态监控方法，其特征在于，所述的步骤S3具体包括：
S31：判断最新的作业信息中的第一级校验信息是否满足第一级校验条件，若是，进入步骤S32，否则，进入步骤S5；
S32：判断最新的作业信息中下一级校验信息是否满足下一级校验条件，若是，返回步骤S32进行下一级校验，直到所有校验信息均满足对应校验条件后，进入步骤S33，否则，进入步骤S5；
S33：根据文件大小和多级校验信息生成最新的对比字符串，判断最新的对比字符串与缓存中的对比字符串是否一致，若是，进入步骤S4，否则，进入步骤S5。
4.根据权利要求3所述的一种作业变化状态监控方法，其特征在于，所述的作业信息包括第一级校验信息和第二级校验信息，所述的第一级校验信息为最后更新时间，所述的第二级校验信息为作业版本。
5.根据权利要求4所述的一种作业变化状态监控方法，其特征在于，所述的第一级校验信息对应的第一级校验条件为：
判断最后更新时间与当前时间的时间差是否超过预设周期，若是，不满足第一级校验条件，否则，满足第一级校验条件。
6.根据权利要求4所述的一种作业变化状态监控方法，其特征在于，所述的第二级校验信息对应的第二级校验条件为：
判断最新的作业版本与缓存中的作业版本是否一致，若是，满足第二级校验条件，否则，不满足第二级校验条件。
7.根据权利要求1所述的一种作业变化状态监控方法，其特征在于，所述的步骤S1具体包括：
S11：将待检测作业加入到扫描队列中；
S12：利用队列监听线程获取待检测作业的最新作业信息。
8.一种作业状态监控设备，其特征在于，包括：
作业信息获取模块，用于获取待检测作业的最新的作业信息；
新老作业判断模块，用于判断最新作业信息中是否包含新作业标识信息，若是，判断待检测作业为新作业，更新缓存中的待检测作业的作业信息并进行作业扫描，否则送入老作业校验模块；
老作业校验模块，对比最新作业信息与待监测作业的缓存中作业信息，逐级判断是否满足校验条件，若满足，判断作业状态未发生改变，无需进行作业扫描，否则送入作业信息更新模块；
作业信息更新模块，更新缓存中的待检测作业的作业信息并进行作业扫描。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625347.5A CN113392078A (zh) | 2021-06-04 | 2021-06-04 | 作业变化状态监控方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625347.5A CN113392078A (zh) | 2021-06-04 | 2021-06-04 | 作业变化状态监控方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392078A true CN113392078A (zh) | 2021-09-14 |
Family
ID=77618285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625347.5A Pending CN113392078A (zh) | 2021-06-04 | 2021-06-04 | 作业变化状态监控方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392078A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101319911A (zh) * | 2008-07-02 | 2008-12-10 | 凯立德欣技术（深圳）有限公司 | 一种导航***的客户端、服务端、及进行地图更新的方法 |
| CN104298773A (zh) * | 2014-10-30 | 2015-01-21 | 北京思特奇信息技术股份有限公司 | 一种etl作业自动切库***及方法 |
| CN106021527A (zh) * | 2016-05-24 | 2016-10-12 | 努比亚技术有限公司 | 一种数据处理方法及搜索服务器、同步服务器 |
| CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
| CN109726243A (zh) * | 2019-01-03 | 2019-05-07 | 中国银行股份有限公司 | 一种数据归集方法、装置及*** |
| CN110413321A (zh) * | 2018-04-28 | 2019-11-05 | 珠海全志科技股份有限公司 | 一种Android***快速启动方法及装置 |
| CN111371898A (zh) * | 2020-03-13 | 2020-07-03 | 北京锐安科技有限公司 | 一种消息监听方法、装置、设备及存储介质 |
| CN111458628A (zh) * | 2020-04-29 | 2020-07-28 | 广州镭晨智能科技有限公司 | 模板文件的更新方法、装置、设备及计算机可读存储介质 |
| CN111475180A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 更新客户端缓存的方法和*** |
-
2021
- 2021-06-04 CN CN202110625347.5A patent/CN113392078A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101319911A (zh) * | 2008-07-02 | 2008-12-10 | 凯立德欣技术（深圳）有限公司 | 一种导航***的客户端、服务端、及进行地图更新的方法 |
| CN104298773A (zh) * | 2014-10-30 | 2015-01-21 | 北京思特奇信息技术股份有限公司 | 一种etl作业自动切库***及方法 |
| CN106021527A (zh) * | 2016-05-24 | 2016-10-12 | 努比亚技术有限公司 | 一种数据处理方法及搜索服务器、同步服务器 |
| CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
| CN110413321A (zh) * | 2018-04-28 | 2019-11-05 | 珠海全志科技股份有限公司 | 一种Android***快速启动方法及装置 |
| CN109726243A (zh) * | 2019-01-03 | 2019-05-07 | 中国银行股份有限公司 | 一种数据归集方法、装置及*** |
| CN111475180A (zh) * | 2019-01-24 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 更新客户端缓存的方法和*** |
| CN111371898A (zh) * | 2020-03-13 | 2020-07-03 | 北京锐安科技有限公司 | 一种消息监听方法、装置、设备及存储介质 |
| CN111458628A (zh) * | 2020-04-29 | 2020-07-28 | 广州镭晨智能科技有限公司 | 模板文件的更新方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张鑫: "《Hadoop源代码分析》", 30 August 2014 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7031958B2 (en) | Patterned based query optimization | |
| US9356966B2 (en) | System and method to provide management of test data at various lifecycle stages | |
| CN110795257A (zh) | 处理多集群作业记录的方法、装置、设备及存储介质 | |
| AU2013329525C1 (en) | System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data | |
| US9021464B2 (en) | Methods, systems and computer program products for rationalization of computer system configuration change data through correlation with product installation activity | |
| CN110659282B (zh) | 数据路由的构建方法、装置、计算机设备和存储介质 | |
| US20100174833A1 (en) | Method and Apparatus for Identifying a Device Handle in a Computer System | |
| US10521407B2 (en) | Grouping of database objects | |
| US20120296878A1 (en) | File set consistency verification system, file set consistency verification method, and file set consistency verification program | |
| US8131796B2 (en) | Recoverable return code tracking and notification for autonomic systems | |
| CN105573859A (zh) | 一种数据库的数据恢复方法和设备 | |
| CN104102701A (zh) | 一种基于hive的历史数据存档与查询方法 | |
| CN113392078A (zh) | 作业变化状态监控方法、装置、计算机设备和存储介质 | |
| CN110543465B (zh) | 目录操作方法、装置、计算机设备和存储介质 | |
| CN108595450B (zh) | 一种埋点数据库构建方法、埋点数据库及埋点查询方法 | |
| CN107315806B (zh) | 一种基于文件***的嵌入式存储方法和装置 | |
| CN114064653A (zh) | 数据的***方法、装置、计算机设备和存储介质 | |
| CN114461762A (zh) | 档案变更识别方法、装置、设备及存储介质 | |
| WO2019242444A1 (zh) | 一种训练机器学习引擎的方法、***及相关装置 | |
| KR100906449B1 (ko) | 데이터베이스 툴 식별 장치 및 방법 | |
| CN113051329B (zh) | 基于接口的数据采集方法、装置、设备及存储介质 | |
| CN111538651A (zh) | 接口测试方法、装置、服务器及存储介质 | |
| CN112686029B (zh) | 用于数据库审计***的sql新语句识别方法及装置 | |
| CN113448989B (zh) | 数据的处理方法、装置、电子设备及计算机存储介质 | |
| CN113127865B (zh) | 一种恶意文件的修复方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210914 |
|
| WD01 | Invention patent application deemed withdrawn after publication |