CN112148686A - 一种基于软硬件一体机的数据监控处理方法 - Google Patents
一种基于软硬件一体机的数据监控处理方法 Download PDFInfo
- Publication number
- CN112148686A CN112148686A CN202011025069.1A CN202011025069A CN112148686A CN 112148686 A CN112148686 A CN 112148686A CN 202011025069 A CN202011025069 A CN 202011025069A CN 112148686 A CN112148686 A CN 112148686A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- software
- center
- hardware
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种基于软硬件一体机的数据监控处理方法,该方法具体流程为:软硬件一体机上连接有用于存储以及分析处理数据的日志中心,所述软硬件一体机向日志中心定时增量传输数据,所述日志中心对软硬件一体机所传输的数据进行分类形成不同的种类的日志,并将分类后的日志进行存储并对不同种类的日志设置日志删除优先级,日志中心内设置有数据总量阈值,当日志中心内的数据总量到达阈值时,日志中心根据日志删除优先级与数据进行删除。本发明通过日志中心根据日志删除优先级以及日志存储时间,对不重要且存储时间较长的数据进行删除清理,既保证了规定的日志存储时间,又能保证存储资源充足可用。
Description
技术领域
本发明属于信息存储技术领域,涉及一种基于软硬件一体机的数据监控处理方法。
背景技术
软硬件一体机通常出厂后,计算资源和存储资源都是固定的,无法对设备的容量进行扩充,容量有限导致了存储数据量的局限性,而且安监类***的存储日志在《中国人民共和国网络安全法》中有明确的保留周期要求,如果软硬件一体机容量不足以容纳规定保留周期的日志,一方面违背了法律规范,另一方面也导致企业在发生网络安全事件时,无法对过期的日志进行调取和分析,影响事件追踪和因果判定。
另外由于企业大数据分析平台对员工画像的分析需求,使得软硬件一体机需要高频率向大数据分析平台传输数据,高频传输数据还会影响软硬件一体机的性能。通过配置外置日志中心,通过FTP方式定期将软硬件一体机的日志导出到利旧的存储资源,由于利旧存储资源也是有限的,所以不能无限制的导出,同时又要保证存储资源够用不影响日志的写入,同时写入到存储的日志种类过多,如何对日志种类和日志生成日志进行判断,并通过FTP方式传输给企业大数据分析平台是一大难点。
发明内容
本发明的目的在于针对现有技术存在的问题,提供一种基于软硬件一体机的数据监控处理***。
为此,本发明采取如下技术方案:
一种基于软硬件一体机的数据监控处理方法,该方法具体流程为:软硬件一体机上连接有用于存储以及分析处理数据的日志中心,所述软硬件一体机通过FTP协议向日志中心定时增量传输数据,且软硬件一体机可实时查看日志中心内所存储的数据,所述日志中心对软硬件一体机所传输的数据进行分类并生成不同的种类的日志,将分类后的日志进行存储并对不同种类的日志设置日志删除优先级,日志中心内设置有数据总量阈值,当日志中心内的数据总量到达阈值时,日志中心根据日志删除优先级以及日志存储日期对数据进行删除。
进一步地,所述日志中心包括用于存储数据的存储器以及用于对存储器内数据进行处理的数据处理模块,所述数据处理模块包括多个用于数据处理的数据处理脚本,所述数据处理脚本还设有用于执行数据处理脚本的程序。
进一步地,所述数据处理脚本包括用于软硬件一体机实时查看日志中心存储日志的日志监控脚本、用于对日志中心所存储数据进行分类的文件分类脚本,用于设置日志删除优先级并根据优先级删除日志的日志删除优先级配置脚本、用于判断日志存储日期的日期判断脚本。
进一步地,所述日志中心还连接有用于分析数据的大数据分析平台,日志中心定时将日志传输至大数据分析平台做日志分析。
本发明的有益效果在于:
(1)通过编写脚本实现资源监控、文件分类和自动清理优先级配置,设置存储器空间阈值和日志清理优先级,当数据总量到达阈值时,日志中心根据日志删除优先级以及日志存储时间,对不重要且存储时间较长的数据进行删除清理,既保证了规定的日志存储时间,又能保证存储资源充足可用。
(2)将软硬件一体机的数据导出至日志中心,后续的工作均在日志中心进行,这样在业务需求固定的情况下,将对上网行为管理软硬件一体机的性能影响和行为管控影响降到最低,同时又能满足企业大数据分析平台高频率抽取数据的需求,降低数据抽取对***的影响。
(3)将软硬件一体机中产生的行为日志定时通过FTP方式增量导出到日志中心,既方便在软硬件一体机上对日志的实时查询,同时满足在日志中心对过期日志的追踪。
附图说明
图1为本***的运行流程图。
具体实施方式
下面结合实施例对本发明做详细说明:
一种基于软硬件一体机的数据监控处理方法,在软硬件一体机上连接有用于存储以及分析处理数据的日志中心,具体地,日志中心包括用于存储数据的存储器以及用于处理数据的数据处理模块,为了节约资源,实现资源的高效利用,存储器采用利旧设备,即利用旧的存储器。
所述数据处理模块包括多个用于对存储器内数据进行处理的数据处理脚本,且数据处理脚本还配置有用于执行数据处理脚本的对应程序,具体地,数据处理脚本包括用于软硬件一体机实时查看日志中心存储日志的日志监控脚本,通过此脚本实现对日志中心内数据的监控,便于即时调取查看数据,用于对日志中心所存储数据进行分类的文件分类脚本,其可对存储器内的数据进行分类,以便于进行相应处理;用于设置日志删除优先级,并根据优先级自动删除相关日志的日志删除优先级配置脚本,其可对不同种类的日志设置不同的删除优先级并在相应条件下进行删除;用于判断日志存储日期的日期判断脚本,其可对根据数据进入日志的时间,判断日志在数据中心内的存储时间。
本方法的具体流程为:
如图1所示,所述软硬件一体机在相关数据传输程序的控制下,通过其自带的FTP协议向日志中心定时增量传输数据,具体传输的数据,主要有软硬件一体机中与安全有关的操作记录数据,例如操作记录、审计记录、网络访问记录、邮件收发记录、授权记录和拦截记录等,这些数据进入日志中心后被存储在存储器中,通过日志中心数据处理模块的日志监控脚本,实现软硬件一体机即时查看日志中心内所存储的数据,当数据被日志中心存的储器内存储后,数据处理模块中的文件分类脚本对数据进行分类并生成日志,具体地,可按照数据的重要程度进行分类,例如需长久保存的重要数据,分为一类,只需短期保存的次要数据分为一类,分类完成后,日志删除优先级配置脚本对不同日志设置删除优先级,非重要短期保存的日志可先行删除,重要且须长期保存的日志最后删除,日志中心内设置有数据总量阈值,让日志中心存储器内所存储的数据量到达所设定的阈值时,日志删除优先级配置脚本按照优先级对日志进行删除操作,当有多个日志位于同一优先级时,日期判断脚本对日志的存储时间进行判断,对存时间较长的日志优先进行删除。
本方法通过对日志中心存储器内的日志按照优先级进行删除,确保了存储器内具有足够的空间对新数据进行存储,同时又使得重要数据可以长期保存避免了误删操作。
日志中心还连接有用于分析数据的大数据分析平台,日志中心还可定时将日志传输至大数据分析平台做日志分析。
Claims (4)
1.一种基于软硬件一体机的数据监控处理方法,其特征在于,该方法具体流程为:软硬件一体机上连接有用于存储以及分析处理数据的日志中心,所述软硬件一体机通过FTP协议向日志中心定时增量传输数据,且软硬件一体机可实时查看日志中心内所存储的数据,所述日志中心对软硬件一体机所传输的数据进行分类并生成不同的种类的日志,将分类后的日志进行存储并对不同种类的日志设置日志删除优先级,日志中心内设置有数据总量阈值,当日志中心内的数据总量到达阈值时,日志中心根据日志删除优先级以及日志存储日期对数据进行删除。
2.根据权利要求1所述的一种基于软硬件一体机的数据监控处理方法,其特征在于,所述日志中心包括用于存储数据的存储器以及用于对存储器内数据进行处理的数据处理模块,所述数据处理模块包括多个用于数据处理的数据处理脚本,所述数据处理脚本还设有用于执行数据处理脚本的程序。
3.根据权利要求2所述的一种基于软硬件一体机的数据监控处理方法,其特征在于,所述数据处理脚本包括用于软硬件一体机实时查看日志中心存储日志的日志监控脚本、用于对日志中心所存储数据进行分类的文件分类脚本,用于设置日志删除优先级并根据优先级删除日志的日志删除优先级配置脚本、用于判断日志存储日期的日期判断脚本。
4.根据权利要求1所述的一种基于软硬件一体机的数据监控处理方法,其特征在于,所述日志中心还连接有用于分析数据的大数据分析平台,日志中心定时将日志传输至大数据分析平台做日志分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011025069.1A CN112148686A (zh) | 2020-09-25 | 2020-09-25 | 一种基于软硬件一体机的数据监控处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011025069.1A CN112148686A (zh) | 2020-09-25 | 2020-09-25 | 一种基于软硬件一体机的数据监控处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112148686A true CN112148686A (zh) | 2020-12-29 |
Family
ID=73897260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011025069.1A Pending CN112148686A (zh) | 2020-09-25 | 2020-09-25 | 一种基于软硬件一体机的数据监控处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112148686A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134239A (zh) * | 2022-08-31 | 2022-09-30 | 广州市千钧网络科技有限公司 | 一种客户端配置方法、***、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160034289A1 (en) * | 2013-12-16 | 2016-02-04 | Hitachi, Ltd. | Computer system and processing method of the same |
CN106557281A (zh) * | 2016-10-28 | 2017-04-05 | 武汉斗鱼网络科技有限公司 | 一种服务器日志的自动处理方法和*** |
CN107451034A (zh) * | 2017-08-17 | 2017-12-08 | 浪潮软件股份有限公司 | 一种大数据集群日志管理装置、方法及*** |
CN107608860A (zh) * | 2017-09-29 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种错误日志分类存储的方法、装置、设备 |
CN110377569A (zh) * | 2019-06-19 | 2019-10-25 | 中国平安人寿保险股份有限公司 | 日志监控方法、装置、计算机设备和存储介质 |
CN111008107A (zh) * | 2019-11-30 | 2020-04-14 | 北京浪潮数据技术有限公司 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
-
2020
- 2020-09-25 CN CN202011025069.1A patent/CN112148686A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160034289A1 (en) * | 2013-12-16 | 2016-02-04 | Hitachi, Ltd. | Computer system and processing method of the same |
CN106557281A (zh) * | 2016-10-28 | 2017-04-05 | 武汉斗鱼网络科技有限公司 | 一种服务器日志的自动处理方法和*** |
CN107451034A (zh) * | 2017-08-17 | 2017-12-08 | 浪潮软件股份有限公司 | 一种大数据集群日志管理装置、方法及*** |
CN107608860A (zh) * | 2017-09-29 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种错误日志分类存储的方法、装置、设备 |
CN110377569A (zh) * | 2019-06-19 | 2019-10-25 | 中国平安人寿保险股份有限公司 | 日志监控方法、装置、计算机设备和存储介质 |
CN111008107A (zh) * | 2019-11-30 | 2020-04-14 | 北京浪潮数据技术有限公司 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134239A (zh) * | 2022-08-31 | 2022-09-30 | 广州市千钧网络科技有限公司 | 一种客户端配置方法、***、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992398B (zh) | 一种业务***的监控方法和监控*** | |
US5067107A (en) | Continuous computer performance measurement tool that reduces operating system produced performance data for logging into global, process, and workload files | |
CN106649071B (zh) | 进程内部日志上报的方法和装置 | |
CN104899130A (zh) | 一种应用程序管理方法及*** | |
CN103678726A (zh) | 一种数据补采方法和数据补采*** | |
CN111858251B (zh) | 一种基于大数据计算技术的数据安全审计方法及*** | |
CN102541884B (zh) | 数据库优化方法和装置 | |
CN111597089B (zh) | 一种Linux***调用事件采集和缓存装置及方法 | |
CN110377486A (zh) | 基于 kafka 实现稳定的高吞吐量的异步任务处理方法 | |
CN107357809B (zh) | 海量平台海迅实时库量测数据接入*** | |
CN102025536A (zh) | 一种Unix/Linux***运维数据收集方法和装置 | |
CN112148686A (zh) | 一种基于软硬件一体机的数据监控处理方法 | |
CN116415045A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN116913350A (zh) | 一种基于固态硬盘现代待机的测试方法及测试平台 | |
CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
CN111224823B (zh) | 一种基于异网日志分析的方法 | |
CN112579391A (zh) | 一种基于人工智能的分布式数据库自动运维方法及*** | |
CN114124679A (zh) | 物联网终端日志的上传方法、装置、物联网终端 | |
CN115168297A (zh) | 绕行日志审计方法及装置 | |
CN113392079B (zh) | 一种分布式存储集群日志存储优化方法、***及终端 | |
CN116170321B (zh) | 一种链路追踪的数据收集方法、装置、设备和存储介质 | |
CN113434376B (zh) | 一种基于NoSQL的Web日志分析方法、装置 | |
CN114039965B (zh) | 一种基于边缘计算技术的高速数采***及方法 | |
CN109358803B (zh) | 异常空闲存储分析方法、装置及*** | |
CN115202968A (zh) | 一种交易***的问题定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |