CN112148686A - 一种基于软硬件一体机的数据监控处理方法 - Google Patents

一种基于软硬件一体机的数据监控处理方法 Download PDF

Info

Publication number
CN112148686A
CN112148686A CN202011025069.1A CN202011025069A CN112148686A CN 112148686 A CN112148686 A CN 112148686A CN 202011025069 A CN202011025069 A CN 202011025069A CN 112148686 A CN112148686 A CN 112148686A
Authority
CN
China
Prior art keywords
log
data
software
center
hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011025069.1A
Other languages
English (en)
Inventor
李虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiuquan Iron and Steel Group Co Ltd
Original Assignee
Jiuquan Iron and Steel Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiuquan Iron and Steel Group Co Ltd filed Critical Jiuquan Iron and Steel Group Co Ltd
Priority to CN202011025069.1A priority Critical patent/CN112148686A/zh
Publication of CN112148686A publication Critical patent/CN112148686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于软硬件一体机的数据监控处理方法，该方法具体流程为：软硬件一体机上连接有用于存储以及分析处理数据的日志中心，所述软硬件一体机向日志中心定时增量传输数据，所述日志中心对软硬件一体机所传输的数据进行分类形成不同的种类的日志，并将分类后的日志进行存储并对不同种类的日志设置日志删除优先级，日志中心内设置有数据总量阈值，当日志中心内的数据总量到达阈值时，日志中心根据日志删除优先级与数据进行删除。本发明通过日志中心根据日志删除优先级以及日志存储时间，对不重要且存储时间较长的数据进行删除清理，既保证了规定的日志存储时间，又能保证存储资源充足可用。

Description

一种基于软硬件一体机的数据监控处理方法
技术领域
本发明属于信息存储技术领域，涉及一种基于软硬件一体机的数据监控处理方法。
背景技术
软硬件一体机通常出厂后，计算资源和存储资源都是固定的，无法对设备的容量进行扩充，容量有限导致了存储数据量的局限性，而且安监类***的存储日志在《中国人民共和国网络安全法》中有明确的保留周期要求，如果软硬件一体机容量不足以容纳规定保留周期的日志，一方面违背了法律规范，另一方面也导致企业在发生网络安全事件时，无法对过期的日志进行调取和分析，影响事件追踪和因果判定。
另外由于企业大数据分析平台对员工画像的分析需求，使得软硬件一体机需要高频率向大数据分析平台传输数据，高频传输数据还会影响软硬件一体机的性能。通过配置外置日志中心，通过FTP方式定期将软硬件一体机的日志导出到利旧的存储资源，由于利旧存储资源也是有限的，所以不能无限制的导出，同时又要保证存储资源够用不影响日志的写入，同时写入到存储的日志种类过多，如何对日志种类和日志生成日志进行判断，并通过FTP方式传输给企业大数据分析平台是一大难点。
发明内容
本发明的目的在于针对现有技术存在的问题，提供一种基于软硬件一体机的数据监控处理***。
为此，本发明采取如下技术方案：
一种基于软硬件一体机的数据监控处理方法，该方法具体流程为：软硬件一体机上连接有用于存储以及分析处理数据的日志中心，所述软硬件一体机通过FTP协议向日志中心定时增量传输数据，且软硬件一体机可实时查看日志中心内所存储的数据，所述日志中心对软硬件一体机所传输的数据进行分类并生成不同的种类的日志，将分类后的日志进行存储并对不同种类的日志设置日志删除优先级，日志中心内设置有数据总量阈值，当日志中心内的数据总量到达阈值时，日志中心根据日志删除优先级以及日志存储日期对数据进行删除。
进一步地，所述日志中心包括用于存储数据的存储器以及用于对存储器内数据进行处理的数据处理模块，所述数据处理模块包括多个用于数据处理的数据处理脚本，所述数据处理脚本还设有用于执行数据处理脚本的程序。
进一步地，所述数据处理脚本包括用于软硬件一体机实时查看日志中心存储日志的日志监控脚本、用于对日志中心所存储数据进行分类的文件分类脚本，用于设置日志删除优先级并根据优先级删除日志的日志删除优先级配置脚本、用于判断日志存储日期的日期判断脚本。
进一步地，所述日志中心还连接有用于分析数据的大数据分析平台，日志中心定时将日志传输至大数据分析平台做日志分析。
本发明的有益效果在于：
（1）通过编写脚本实现资源监控、文件分类和自动清理优先级配置，设置存储器空间阈值和日志清理优先级，当数据总量到达阈值时，日志中心根据日志删除优先级以及日志存储时间，对不重要且存储时间较长的数据进行删除清理，既保证了规定的日志存储时间，又能保证存储资源充足可用。
（2）将软硬件一体机的数据导出至日志中心，后续的工作均在日志中心进行，这样在业务需求固定的情况下，将对上网行为管理软硬件一体机的性能影响和行为管控影响降到最低，同时又能满足企业大数据分析平台高频率抽取数据的需求，降低数据抽取对***的影响。
（3）将软硬件一体机中产生的行为日志定时通过FTP方式增量导出到日志中心，既方便在软硬件一体机上对日志的实时查询，同时满足在日志中心对过期日志的追踪。
附图说明
图1为本***的运行流程图。
具体实施方式
下面结合实施例对本发明做详细说明：
一种基于软硬件一体机的数据监控处理方法，在软硬件一体机上连接有用于存储以及分析处理数据的日志中心，具体地，日志中心包括用于存储数据的存储器以及用于处理数据的数据处理模块，为了节约资源，实现资源的高效利用，存储器采用利旧设备，即利用旧的存储器。
所述数据处理模块包括多个用于对存储器内数据进行处理的数据处理脚本，且数据处理脚本还配置有用于执行数据处理脚本的对应程序，具体地，数据处理脚本包括用于软硬件一体机实时查看日志中心存储日志的日志监控脚本，通过此脚本实现对日志中心内数据的监控，便于即时调取查看数据，用于对日志中心所存储数据进行分类的文件分类脚本，其可对存储器内的数据进行分类，以便于进行相应处理；用于设置日志删除优先级，并根据优先级自动删除相关日志的日志删除优先级配置脚本，其可对不同种类的日志设置不同的删除优先级并在相应条件下进行删除；用于判断日志存储日期的日期判断脚本，其可对根据数据进入日志的时间，判断日志在数据中心内的存储时间。
本方法的具体流程为：
如图1所示，所述软硬件一体机在相关数据传输程序的控制下，通过其自带的FTP协议向日志中心定时增量传输数据，具体传输的数据，主要有软硬件一体机中与安全有关的操作记录数据，例如操作记录、审计记录、网络访问记录、邮件收发记录、授权记录和拦截记录等，这些数据进入日志中心后被存储在存储器中，通过日志中心数据处理模块的日志监控脚本，实现软硬件一体机即时查看日志中心内所存储的数据，当数据被日志中心存的储器内存储后，数据处理模块中的文件分类脚本对数据进行分类并生成日志，具体地，可按照数据的重要程度进行分类，例如需长久保存的重要数据，分为一类，只需短期保存的次要数据分为一类，分类完成后，日志删除优先级配置脚本对不同日志设置删除优先级，非重要短期保存的日志可先行删除，重要且须长期保存的日志最后删除，日志中心内设置有数据总量阈值，让日志中心存储器内所存储的数据量到达所设定的阈值时，日志删除优先级配置脚本按照优先级对日志进行删除操作，当有多个日志位于同一优先级时，日期判断脚本对日志的存储时间进行判断，对存时间较长的日志优先进行删除。
本方法通过对日志中心存储器内的日志按照优先级进行删除，确保了存储器内具有足够的空间对新数据进行存储，同时又使得重要数据可以长期保存避免了误删操作。
日志中心还连接有用于分析数据的大数据分析平台，日志中心还可定时将日志传输至大数据分析平台做日志分析。

Claims (4)

1.一种基于软硬件一体机的数据监控处理方法，其特征在于，该方法具体流程为：软硬件一体机上连接有用于存储以及分析处理数据的日志中心，所述软硬件一体机通过FTP协议向日志中心定时增量传输数据，且软硬件一体机可实时查看日志中心内所存储的数据，所述日志中心对软硬件一体机所传输的数据进行分类并生成不同的种类的日志，将分类后的日志进行存储并对不同种类的日志设置日志删除优先级，日志中心内设置有数据总量阈值，当日志中心内的数据总量到达阈值时，日志中心根据日志删除优先级以及日志存储日期对数据进行删除。
2.根据权利要求1所述的一种基于软硬件一体机的数据监控处理方法，其特征在于，所述日志中心包括用于存储数据的存储器以及用于对存储器内数据进行处理的数据处理模块，所述数据处理模块包括多个用于数据处理的数据处理脚本，所述数据处理脚本还设有用于执行数据处理脚本的程序。
3.根据权利要求2所述的一种基于软硬件一体机的数据监控处理方法，其特征在于，所述数据处理脚本包括用于软硬件一体机实时查看日志中心存储日志的日志监控脚本、用于对日志中心所存储数据进行分类的文件分类脚本，用于设置日志删除优先级并根据优先级删除日志的日志删除优先级配置脚本、用于判断日志存储日期的日期判断脚本。
4.根据权利要求1所述的一种基于软硬件一体机的数据监控处理方法，其特征在于，所述日志中心还连接有用于分析数据的大数据分析平台，日志中心定时将日志传输至大数据分析平台做日志分析。
CN202011025069.1A 2020-09-25 2020-09-25 一种基于软硬件一体机的数据监控处理方法 Pending CN112148686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011025069.1A CN112148686A (zh) 2020-09-25 2020-09-25 一种基于软硬件一体机的数据监控处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011025069.1A CN112148686A (zh) 2020-09-25 2020-09-25 一种基于软硬件一体机的数据监控处理方法

Publications (1)

Publication Number Publication Date
CN112148686A true CN112148686A (zh) 2020-12-29

Family

ID=73897260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011025069.1A Pending CN112148686A (zh) 2020-09-25 2020-09-25 一种基于软硬件一体机的数据监控处理方法

Country Status (1)

Country Link
CN (1) CN112148686A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134239A (zh) * 2022-08-31 2022-09-30 广州市千钧网络科技有限公司 一种客户端配置方法、***、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034289A1 (en) * 2013-12-16 2016-02-04 Hitachi, Ltd. Computer system and processing method of the same
CN106557281A (zh) * 2016-10-28 2017-04-05 武汉斗鱼网络科技有限公司 一种服务器日志的自动处理方法和***
CN107451034A (zh) * 2017-08-17 2017-12-08 浪潮软件股份有限公司 一种大数据集群日志管理装置、方法及***
CN107608860A (zh) * 2017-09-29 2018-01-19 郑州云海信息技术有限公司 一种错误日志分类存储的方法、装置、设备
CN110377569A (zh) * 2019-06-19 2019-10-25 中国平安人寿保险股份有限公司 日志监控方法、装置、计算机设备和存储介质
CN111008107A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种大数据集群日志存储方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034289A1 (en) * 2013-12-16 2016-02-04 Hitachi, Ltd. Computer system and processing method of the same
CN106557281A (zh) * 2016-10-28 2017-04-05 武汉斗鱼网络科技有限公司 一种服务器日志的自动处理方法和***
CN107451034A (zh) * 2017-08-17 2017-12-08 浪潮软件股份有限公司 一种大数据集群日志管理装置、方法及***
CN107608860A (zh) * 2017-09-29 2018-01-19 郑州云海信息技术有限公司 一种错误日志分类存储的方法、装置、设备
CN110377569A (zh) * 2019-06-19 2019-10-25 中国平安人寿保险股份有限公司 日志监控方法、装置、计算机设备和存储介质
CN111008107A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种大数据集群日志存储方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134239A (zh) * 2022-08-31 2022-09-30 广州市千钧网络科技有限公司 一种客户端配置方法、***、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107992398B (zh) 一种业务***的监控方法和监控***
US5067107A (en) Continuous computer performance measurement tool that reduces operating system produced performance data for logging into global, process, and workload files
CN106649071B (zh) 进程内部日志上报的方法和装置
CN104899130A (zh) 一种应用程序管理方法及***
CN103678726A (zh) 一种数据补采方法和数据补采***
CN111858251B (zh) 一种基于大数据计算技术的数据安全审计方法及***
CN102541884B (zh) 数据库优化方法和装置
CN111597089B (zh) 一种Linux***调用事件采集和缓存装置及方法
CN110377486A (zh) 基于 kafka 实现稳定的高吞吐量的异步任务处理方法
CN107357809B (zh) 海量平台海迅实时库量测数据接入***
CN102025536A (zh) 一种Unix/Linux***运维数据收集方法和装置
CN112148686A (zh) 一种基于软硬件一体机的数据监控处理方法
CN116415045A (zh) 数据采集方法、装置、电子设备及存储介质
CN116913350A (zh) 一种基于固态硬盘现代待机的测试方法及测试平台
CN113472881B (zh) 在线终端设备的统计方法和装置
CN111224823B (zh) 一种基于异网日志分析的方法
CN112579391A (zh) 一种基于人工智能的分布式数据库自动运维方法及***
CN114124679A (zh) 物联网终端日志的上传方法、装置、物联网终端
CN115168297A (zh) 绕行日志审计方法及装置
CN113392079B (zh) 一种分布式存储集群日志存储优化方法、***及终端
CN116170321B (zh) 一种链路追踪的数据收集方法、装置、设备和存储介质
CN113434376B (zh) 一种基于NoSQL的Web日志分析方法、装置
CN114039965B (zh) 一种基于边缘计算技术的高速数采***及方法
CN109358803B (zh) 异常空闲存储分析方法、装置及***
CN115202968A (zh) 一种交易***的问题定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination