CN116594968A - 服务器冗余文件的清理方法、***、设备、介质及产品 - Google Patents

服务器冗余文件的清理方法、***、设备、介质及产品 Download PDF

Info

Publication number
CN116594968A
CN116594968A CN202310456541.4A CN202310456541A CN116594968A CN 116594968 A CN116594968 A CN 116594968A CN 202310456541 A CN202310456541 A CN 202310456541A CN 116594968 A CN116594968 A CN 116594968A
Authority
CN
China
Prior art keywords
cleaning
file
server
redundant
target server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310456541.4A
Other languages
English (en)
Inventor
类铭辰
邹萌萍
房志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310456541.4A priority Critical patent/CN116594968A/zh
Publication of CN116594968A publication Critical patent/CN116594968A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种服务器冗余文件的清理方法,可以应用于金融技术领域或其他技术领域,该方法包括:对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,巡检结果至少包括服务器的存储空间信息;根据巡检结果确定待清理的目标服务器;其中,目标服务器中存储有冗余文件;根据目标服务器的属性信息和巡检结果确定文件清理策略;其中,文件清理策略至少包括与目标服务器对应的清理脚本;根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理。本公开还提供了一种服务器冗余文件的清理***、设备、介质及产品。

Description

服务器冗余文件的清理方法、***、设备、介质及产品
技术领域
本公开涉及金融技术领域,具体涉及一种服务器冗余文件的清理方法、***、设备、介质及产品。
背景技术
近几年来,数据中心服务器规模呈现爆发性增长,其中数量增长最快的主要集中在廉价的X86开放平台***。面对如此服务器爆发式的增长,报警数量存在指数级增长的趋势,尤其文件***超阈值的报警,大多数文件***报警均可以依据运维经验清理冗余文件解决,过多的此类报警给运维人员带来压力,运维人员需要频繁登陆服务器执行清理动作,操作流程复杂,容易误删文件,且清理效率低下。
发明内容
鉴于上述问题,本公开提供了一种服务器冗余文件的清理方法、***、设备、介质及产品。
根据本公开的第一个方面,提供了一种服务器冗余文件的清理方法,包括:对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,巡检结果至少包括服务器的存储空间信息;根据巡检结果确定待清理的目标服务器;其中,目标服务器中存储有冗余文件;根据目标服务器的属性信息和巡检结果确定文件清理策略;其中,文件清理策略至少包括与目标服务器对应的清理脚本;根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理。
根据本公开的实施例,对全量服务器按照预设巡检频率执行巡检任务包括:响应于巡检任务的启动指令,生成与巡检任务对应的巡检参数;其中,巡检参数包括服务器的存储空间信息和服务器的数量;基于巡检参数对全量服务器执行巡检任务。
根据本公开的实施例,基于巡检参数对全量服务器执行巡检任务包括:按照巡检参数获取全量服务器的存储空间信息;根据存储空间信息判断服务器的存储空间是否异常;响应于服务器的存储空间异常,获取服务器的冗余文件存储地址和剩余存储空间,得到巡检结果。
根据本公开的实施例,根据巡检结果确定待清理的目标服务器包括:判断剩余存储空间是否大于预设阈值;响应于剩余存储空间大于预设阈值,确定服务器属于待清理的目标服务器。
根据本公开的实施例,根据目标服务器的属性信息和巡检结果确定文件清理策略包括:获取目标服务器的属性信息;根据目标服务器的属性信息判断目标服务器的类型;根据目标服务器的类型确定待清理的冗余文件类型;根据冗余文件类型和巡检结果确定文件清理策略。
根据本公开的实施例,根据冗余文件类型和巡检结果确定文件清理策略包括:从清理策略库中获取与冗余文件类型和巡检结果对应的文件清理策略,清理策略库为预先设置的用于保存文件清理策略与冗余文件类型和巡检结果对应关系的数据库。
根据本公开的实施例,根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理包括:根据文件清理策略获取待清理的冗余文件信息;其中,冗余文件信息包括冗余文件类型和冗余文件存储地址;根据冗余文件信息调用清理脚本,清理冗余文件。
根据本公开的实施例,根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理包括:在清理冗余文件时,实时记录每个文件的清理情况信息;对清理情况信息进行分析,得到清理情况分析结果;将清理情况分析结果反馈给巡检任务监控平台。
根据本公开的实施例,对清理情况信息进行分析,得到清理情况分析结果包括:根据每个文件的清理情况信息判断已清理的冗余文件数据信息与待清理的冗余文件信息是否一致;响应于冗余文件数据信息与待清理的冗余文件信息不一致,向巡检任务监控平台发送清理异常告警信息。
根据本公开的实施例,根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理还包括:监听目标服务器的运行状态;判断目标服务器是否处于业务时间;响应于目标服务器不处于业务时间,清理冗余文件。
本公开的第二方面提供了一种服务器冗余文件的清理***,包括:执行模块,用于对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,巡检结果至少包括服务器的存储空间信息;第一确定模块,用于根据巡检结果确定待清理的目标服务器;其中,目标服务器中存储有冗余文件;第二确定模块,用于根据目标服务器的属性信息和巡检结果确定文件清理策略;其中,文件清理策略至少包括与目标服务器对应的清理脚本;清理模块,用于根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述服务器冗余文件的清理方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述服务器冗余文件的清理方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述服务器冗余文件的清理方法。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的服务器冗余文件的清理方法、***、设备、介质及产品的应用场景图;
图2示意性示出了根据本公开实施例的服务器冗余文件的清理方法的流程图;
图3示意性示出了根据本公开实施例的对全量服务器按照预设巡检频率执行巡检任务方法的流程图;
图4示意性示出了根据本公开实施例的基于巡检参数对全量服务器执行巡检任务方法的流程图;
图5示意性示出了根据本公开实施例的根据巡检结果确定待清理的目标服务器方法的流程图;
图6示意性示出了根据本公开实施例的根据目标服务器的属性信息和巡检结果确定文件清理策略方法的流程图;
图7示意性示出了根据本公开实施例的根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理方法的第一流程图;
图8示意性示出了根据本公开实施例的根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理方法的第二流程图;
图9示意性示出了根据本公开实施例的对清理情况信息进行分析,得到清理情况分析结果方法的流程图;
图10示意性示出了根据本公开实施例的根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理方法的第三流程图;
图11示意性示出了根据本公开实施例的根据不同服务器确定文件清理策略的示意图;
图12示意性示出了根据本公开实施例的服务器冗余文件的清理***的结构框图;以及
图13示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行***使用或者结合指令执行***使用。
图1示意性示出了根据本公开实施例的可以应用于服务器冗余文件的清理方法的示例性***架构100。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,根据该实施例的***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的服务器冗余文件的清理方法一般可以由终端设备101、102、103和服务器105执行。相应地,本公开实施例所提供的服务器冗余文件的清理***一般可以设置于终端设备101、102、103和服务器105中。本公开实施例所提供的服务器冗余文件的清理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的服务器冗余文件的清理***也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
需要说明的是,本公开中服务器冗余文件的清理方法和***可用于金融领域,也可用于除金融领域之外的任意领域,本公开中服务器冗余文件的清理方法和***的应用领域不做限定。以下将基于图1描述的场景,通过图2~图13对公开实施例的服务器冗余文件的清理方法进行详细描述。
图2示意性示出了根据本公开实施例的服务器冗余文件的清理方法的流程图。
如图2所示,该服务器冗余文件的清理方法200可以包括操作S210~S240。
在操作S210,对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,巡检结果至少包括服务器的存储空间信息。
在本公开实施例中,全量服务器包括mysql、oracle等各种不同类型的服务器。在业务或账务处理过程中服务器会产生日志文件和中间文件等多种文件,不同类型的服务器产生的文件类型不同。为了保证服务器的运行性能,需要定期对服务器上的无用文件进行清理。现有技术中,文件清理方式的灵活性较差,运维人员需要频繁登录服务器进行处理、查看文件清理结果,不利于文件清理结果的监控。本公开可实现文件***自动化巡检及清理,降低报警数量。
巡检频率可以根据实际需求预先设定,例如结合服务器数据的存储频率和数据的时效性而设定。当然,运维人员根据具体情况可以随时对巡检频率进行修改,以达到预期效果。巡检任务即对全量服务器进行巡回检查,获取全量服务器的存储空间信息,以及时发现文件***超阈值的安全隐患并予以消除。
在操作S220,根据巡检结果确定待清理的目标服务器;其中,目标服务器中存储有冗余文件。
目标服务器为从全量服务器中确定的待清理的服务器,目标服务器满足待清理的预设条件,例如存储空间不足、冗余文件超阈值等等。
在操作S230,根据目标服务器的属性信息和巡检结果确定文件清理策略;其中,文件清理策略至少包括与目标服务器对应的清理脚本。
可以理解的是,目标服务器的属性信息可以包括目标服务器的类型、存储频率等信息。文件清理策略可按照服务器类型、存储频率和巡检结果进行针对性的设置,即不同服务器、不同巡检结果可对应于不同的文件清理策略,提高了文件清理的灵活性。进一步地,对于该服务器中的冗余文件,可根据确定的文件清理策略调用预设的清理脚本进行冗余文件清理。例如,在具体例子中,服务器都会执行清理***日志策略,mysql服务器会执行binlog清理策略,oracle服务器执行审计日志清理策略。
在操作S240,根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理。
可针对不同的服务器的属性信息确定不同的文件清理策略,以使文件清理后的服务器具有更佳的运行性能。
本公开通过目标服务器的属性信息和巡检结果确定文件清理策略,再根据文件清理策略调用清理脚本自动实现清理对象的文件清理工作,使冗余文件清理工作自动化执行,无需人工进行手动清理,节省时间成本和人工成本,避免服务器由于类型不同而导致的错误清理引起服务器性能波动的问题,进而提升了文件清理的效率和准确度。
图3示意性示出了根据本公开实施例对全量服务器按照预设巡检频率执行巡检任务方法的流程图。
如图3所示,该对全量服务器按照预设巡检频率执行巡检任务的方法可以包括操作S211~S212。
在操作S211,响应于巡检任务的启动指令,生成与巡检任务对应的巡检参数;其中,巡检参数包括服务器的存储空间信息和服务器的数量。
在操作S212,基于巡检参数对全量服务器执行巡检任务。
在接收到巡检任务的启动指令的情况下,启动巡检任务,对全量服务器进行巡检,以获取与巡检参数对应的巡检结果。在本公开中,巡检脚本用于获取与巡检任务对应的巡检参数。针对巡检任务新增具备快速部署特性,仅需要开发相关巡检脚本,进行简单的巡检任务编码,降低了巡检任务的开发门槛,实现巡检任务的快速上线。
图4示意性示出了根据本公开实施例的基于巡检参数对全量服务器执行巡检任务方法的流程图。
如图4所示,该基于巡检参数对全量服务器执行巡检任务的方法可以包括操作S2121~S2123。
在操作S2121,按照巡检参数获取全量服务器的存储空间信息。
在操作S2122,根据存储空间信息判断服务器的存储空间是否异常。
在操作S2123,响应于服务器的存储空间异常,获取服务器的冗余文件存储地址和剩余存储空间,得到巡检结果。
在本公开实施例中,可以通过逐一连接各个服务器来获取存储空间信息,并解析得到相应服务器剩余空间信息来判断服务器的存储空间是否足够,或存储空间是否满足业务数据存储需求来确定服务器存储空间是否异常。当服务器存储空间不足、存储文件超出存储阈值或空间无法满足后续存储要求的情况,则判断服务器的存储空间异常。
通过执行巡检任务来自动监测各个服务器的存储空间异常情况,根据巡检结果实现对目标服务器存储空间的清理,以避免出现空间不足影响业务的正常处理等情况。
图5示意性示出了根据本公开实施例的根据巡检结果确定待清理的目标服务器方法的流程图。
如图5所示,该根据巡检结果确定待清理的目标服务器的方法可以包括操作S221~S222。
在操作S221,判断剩余存储空间是否大于预设阈值。
在操作S222,响应于剩余存储空间大于预设阈值,确定服务器属于待清理的目标服务器。
在本申请实施例中,剩余存储空间的预设阈值可以根据服务器的不同类型进行确认,示例性地,预设阈值可以根据预设时间段不同服务器存储空间的占用更新频率和更新量来确定。
图6示意性示出了根据本公开实施例的根据目标服务器的属性信息和巡检结果确定文件清理策略方法的流程图。
如图6所示,该根据目标服务器的属性信息和巡检结果确定文件清理策略的方法可以包括操作S231~S234。
在操作S231,获取目标服务器的属性信息。
在操作S232,根据目标服务器的属性信息判断目标服务器的类型。
在操作S233,根据目标服务器的类型确定待清理的冗余文件类型。
在操作S234,根据冗余文件类型和巡检结果确定文件清理策略。
根据上述实施例,通过函数方法判断服务器的类型,进一步确定待清理的冗余文件类型,从而确定对应的文件清理策略。本公开通过对不同服务器设置个性化的文件清理策略,可以提高冗余文件清理方法的有效性和准确性。
在上述实施例的基础上,根据冗余文件类型和巡检结果确定文件清理策略包括:从清理策略库中获取与冗余文件类型和巡检结果对应的文件清理策略,清理策略库为预先设置的用于保存文件清理策略与冗余文件类型和巡检结果对应关系的数据库。
在本实施例中,通过创建清理策略库保存不同的文件清理策略,从中获取与服务器的类型和当前存储空间相适应的文件清理策略,以保证能够按照需求清理冗余文件,从而提高清理效率。清理策略库中的各文件清理策略所对应的预设条件可以根据需求进行设置和更改,清理策略库中的文件清理策略也可以根据具体需求进行修改。本公开的方法能够按照实际需求及时调整件清理策略,提高清理方法的灵活性和处理效率。
图7示意性示出了根据本公开实施例的根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理方法的第一流程图。
如图7所示,该根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理的方法可以包括操作S241~S242。
在操作S241,根据文件清理策略获取待清理的冗余文件信息;其中,冗余文件信息包括冗余文件类型和冗余文件存储地址。
在操作S242,根据冗余文件信息调用清理脚本,清理冗余文件。
由于各服务器文件清理策略所清理的文件类型不同,文件路径也不同,因此,当确定文件清理策略后,需要获取文件清理策略所对应的待清理文件的信息,并根据获取到的信息调用清理脚本,以执行清理冗余文件的任务。
图8示意性示出了根据本公开实施例的根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理方法的第二流程图。
如图8所示,该根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理的方法还可以包括操作S2421~S2423。
在操作S2421,在清理冗余文件时,实时记录每个文件的清理情况信息。
在操作S2422,对清理情况信息进行分析,得到清理情况分析结果。
在操作S2423,将清理情况分析结果反馈给巡检任务监控平台。
清理情况分析结果即清理任务的执行结果,例如清理成功、部分成功或失败等结果。在将清理结果写入清理结果表中时,如果清理结果是部分成功或者失败,需要同时记录成功的文件信息及失败的错误原因,将分析结果反馈给巡检任务监控平台,有利于对全量服务器进行整体分析与清理策略的优化。
图9示意性示出了根据本公开实施例的对清理情况信息进行分析,得到清理情况分析结果方法的流程图。
如图9所示,该对清理情况信息进行分析,得到清理情况分析结果的方法还可以包括操作S24221~S24222。
在操作S24221,根据每个文件的清理情况信息判断已清理的冗余文件数据信息与待清理的冗余文件信息是否一致。
在操作S24222,响应于冗余文件数据信息与待清理的冗余文件信息不一致,向巡检任务监控平台发送清理异常告警信息。
若已清理的冗余文件数据信息与待清理的冗余文件信息不一致,则出现清理脚本不成功或清理错误等异常,对发生清理异常的相关信息向巡检任务监控平台进行告警,由运维人员对告警信息进行处理。
图10示意性示出了根据本公开实施例的根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理方法的第三流程图。
如图10所示,该根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理的方法还可以包括操作S2401~S2403。
在操作S2401,监听目标服务器的运行状态。
在操作S2402,判断目标服务器是否处于业务时间。
在操作S2403,响应于目标服务器不处于业务时间,清理冗余文件。
在本实施例中,设定监听程序,对目标服务器的运行状态进行监听,其中,运行状态包括处于业务时间和不处于业务时间。在监听到目标服务器不处于业务时间时,按照文件清理策略进行冗余文件清理;在监听到目标服务器处于业务时间时,暂停清理,避免对业务造成影响。
本公开的清理方法可以对冗余文件进行及时清理,避免因服务器存储空间爆满带来的服务宕机故障,提高了***的稳定性。
下面通过具体实施方式对本公开作进一步说明。在以下实施例中对上述服务器冗余文件的清理方法及***进行具体说明。但是,下述实施例仅用于对本公开进行例示,本公开的范围不限于此。
本实施例提供了一种开放平台文件***清理方法,首先获取配置管理平台全量服务器信息并部署对应巡检脚本,通过巡检任务设置执行频率并依赖WOP(自动化部署执行脚本平台)执行脚本,脚本自动判断服务器类型,按照服务器类型执行对应文件***清理策略(如服务器都会执行清理***日志策略,mysql服务器会执行binlog清理策略,oracle服务器执行审计日志清理策略),避免报警报出。
本实施例提供一种服务器冗余文件的清理方法及***,通过部署文件***清理巡检任务以及通过统一的任务调度框架实现全量服务器的文件***清理。具体使用开发语言为J2EE,使用到的相关软件为Jetty、MYSQL、quartz等。该处理方法包括:
(1)脚本录入
本实施例提供脚本录入功能。首先依据业务需求方编写文件***清理脚本(明确文件***清理策略,脚本开发依据业务需求持续迭代优化),并通过脚本管理平台进行脚本发布。
(2)脚本审核
本实施例通过脚本审核功能,脚本审核管理员在对脚本进行功能测试,包含但不局限于脚本编码格式、脚本输出格式校验、脚本适配性测试,脚本测试通过后提交到脚本库。
(3)部署脚本
本实施例支持脚本部署功能,脚本审核通过并提交到脚本库后,脚本管理平台会按照服务器的非业务时间进行脚本部署,避免引起服务器性能波动。
(4)文件***清理巡检
主要是文件***清理巡检,用户通过巡检平台部署文件***清理巡检,可设置巡检任务执行频率,在服务器非业务时间对既定的服务器清单(清单与配置管理平台联动)并通过wop执行文件***清理脚本,检查结果返回给巡检任务并存储到Mysql数据库,若清理异常则自动邮件通知运维人员。
(5)智能化文件***清理
脚本执行会依据函数方法判断服务器清理策略,即根据服务器的属性信息和巡检结果确定文件清理策略,确保不会执行错误策略引起服务器性能波动。函数如下:
log_info(){
#记录日志信息
add_lock(){
#防止脚本重复执行
clear_lock(){
#脚本执行完成后清理lock文件
clear_os(){
#清理操作***日志
clear_sto(){
#清理存储日志
clear_oracle(){
#清理oracle日志
clear_mid(){
#清理中间件日志
clear_app(){
#清理app相关和sas的日志
clear_ocas(){
#清理ocas日志
clear_mysql_log(){
#清理传统和云环境的mysql binlog
clear_bigfile_audit(){
#清理大数据文件***
clear_ucm_ldap_log(){
#清理UCM日志
clear_gluster_log(){
#清理fss生成的日志
clear_dmqs_log(){
#清理dmqs日志
clear_bes_log(){
#清理bes日志
clear_dcap_log(){
#清理dcap文件***
show_fs_usage(){
#脚本执行完成后,回显清理后的文件***使用率
图11示出了根据不同服务器确定文件清理策略的示意图。
(6)脚本调度工具
用户初始化巡检任务后,巡检任务按照设定时间自动通知脚本调度工具(wop),脚本调度工具接收到消息后通知到具体服务器去执行对应脚本,服务器收到消息并执行脚本将结果返回给脚本调度工具,脚本调用工具依据与巡检任务的格式约定返回执行结果。脚本调度工具作为中间服务商,负责发起任务以及收集结果。
本公开实现了开放平台文件***清理自动化巡检,一是对报警数量进行压降,二是减轻一线值班处理报警压力,效果显著,文件***报警数量得到显著抑制。同时实现了与配置管理平台、作业执行工具、脚本管理平台等相关工具平台的联动,为运维人员提供了友好的统一巡检结果视图,具有较好的普适性和推广性。
图12示意性示出了根据本公开一实施例的服务器冗余文件的清理***的方框图。
如图12所示,该服务器冗余文件的清理***1200包括:执行模块1210、第一确定模块1220、第二确定模块1230和清理模块1240。
执行模块1210,用于对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,巡检结果至少包括服务器的存储空间信息。根据本公开的实施例,执行模块1210例如可以用于执行上文参考图2所描述的S210步骤,在此不再赘述。
第一确定模块1220,用于根据巡检结果确定待清理的目标服务器;其中,目标服务器中存储有冗余文件。根据本公开的实施例,该第一确定模块1220例如可以用于执行上文参考图2所描述的S220步骤,在此不再赘述。
第二确定模块1230,用于根据目标服务器的属性信息和巡检结果确定文件清理策略;其中,文件清理策略至少包括与目标服务器对应的清理脚本。根据本公开的实施例,该第二确定模块1230例如可以用于执行上文参考图2所描述的S230步骤,在此不再赘述。
清理模块1240,用于根据文件清理策略调用清理脚本对目标服务器进行冗余文件清理。根据本公开的实施例,该清理模块1240例如可以用于执行上文参考图2所描述的S240步骤,在此不再赘述。
需说明的是,根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,执行模块1210、第一确定模块1220、第二确定模块1230和清理模块1240中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,执行模块1210、第一确定模块1220、第二确定模块1230和清理模块1240中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,执行模块1210、第一确定模块1220、第二确定模块1230和清理模块1240中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图13示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图13示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示,根据本公开实施例的电子设备1300包括处理器1301,其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1303中,存储有电子设备1300操作所需的各种程序和数据。处理器1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM1303中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备1300还可以包括输入/输出(I/O)接口1305,输入/输出(I/O)接口1305也连接至总线1304。电子设备1300还可以包括连接至I/O接口1305的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的服务器冗余文件的清理方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1302和/或RAM 1303和/或ROM 1302和RAM 1303以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时,该程序代码用于使计算机***实现本公开实施例所提供的服务器冗余文件的清理方法。
在该计算机程序被处理器1301执行时执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例,上文描述的***、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1309被下载和安装,和/或从可拆卸介质1311被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (14)

1.一种服务器冗余文件的清理方法,其特征在于,包括:
对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,所述巡检结果至少包括服务器的存储空间信息;
根据所述巡检结果确定待清理的目标服务器;其中,所述目标服务器中存储有冗余文件;
根据所述目标服务器的属性信息和巡检结果确定文件清理策略;其中,所述文件清理策略至少包括与所述目标服务器对应的清理脚本;
根据所述文件清理策略调用所述清理脚本对所述目标服务器进行冗余文件清理。
2.根据权利要求1所述的服务器冗余文件的清理方法,其特征在于,所述对全量服务器按照预设巡检频率执行巡检任务包括:
响应于所述巡检任务的启动指令,生成与所述巡检任务对应的巡检参数;其中,所述巡检参数包括服务器的存储空间信息和服务器的数量;
基于所述巡检参数对所述全量服务器执行巡检任务。
3.根据权利要求2所述的服务器冗余文件的清理方法,其特征在于,所述基于所述巡检参数对所述全量服务器执行巡检任务包括:
按照所述巡检参数获取全量服务器的存储空间信息;
根据所述存储空间信息判断服务器的存储空间是否异常;
响应于所述服务器的存储空间异常,获取所述服务器的冗余文件存储地址和剩余存储空间,得到巡检结果。
4.根据权利要求3所述的服务器冗余文件的清理方法,其特征在于,所述根据所述巡检结果确定待清理的目标服务器包括:
判断所述剩余存储空间是否大于预设阈值;
响应于所述剩余存储空间大于预设阈值,确定所述服务器属于待清理的目标服务器。
5.根据权利要求1所述的服务器冗余文件的清理方法,其特征在于,所述根据所述目标服务器的属性信息和巡检结果确定文件清理策略包括:
获取所述目标服务器的属性信息;
根据所述目标服务器的属性信息判断所述目标服务器的类型;
根据所述目标服务器的类型确定待清理的冗余文件类型;
根据所述冗余文件类型和巡检结果确定文件清理策略。
6.根据权利要求1所述的服务器冗余文件的清理方法,其特征在于,所述根据所述冗余文件类型和巡检结果确定文件清理策略包括:
从清理策略库中获取与所述冗余文件类型和巡检结果对应的文件清理策略,所述清理策略库为预先设置的用于保存所述文件清理策略与所述冗余文件类型和巡检结果对应关系的数据库。
7.根据权利要求1所述的服务器冗余文件的清理方法,其特征在于,所述根据所述文件清理策略调用所述清理脚本对所述目标服务器进行冗余文件清理包括:
根据所述文件清理策略获取待清理的冗余文件信息;其中,所述冗余文件信息包括冗余文件类型和冗余文件存储地址;
根据所述冗余文件信息调用所述清理脚本,清理所述冗余文件。
8.根据权利要求7所述的服务器冗余文件的清理方法,其特征在于,所述根据所述文件清理策略调用所述清理脚本对所述目标服务器进行冗余文件清理包括:
在清理所述冗余文件时,实时记录每个文件的清理情况信息;
对所述清理情况信息进行分析,得到清理情况分析结果;
将所述清理情况分析结果反馈给巡检任务监控平台。
9.根据权利要求8所述的服务器冗余文件的清理方法,其特征在于,所述对所述清理情况信息进行分析,得到清理情况分析结果包括:
根据所述每个文件的清理情况信息判断已清理的所述冗余文件数据信息与所述待清理的冗余文件信息是否一致;
响应于所述冗余文件数据信息与所述待清理的冗余文件信息不一致,向所述巡检任务监控平台发送清理异常告警信息。
10.根据权利要求7所述的服务器冗余文件的清理方法,其特征在于,所述根据所述文件清理策略调用所述清理脚本对所述目标服务器进行冗余文件清理还包括:
监听所述目标服务器的运行状态;
判断所述目标服务器是否处于业务时间;
响应于所述目标服务器不处于业务时间,清理所述冗余文件。
11.一种服务器冗余文件的清理***,其特征在于,包括:
执行模块,用于对全量服务器按照预设巡检频率执行巡检任务,得到巡检结果;其中,所述巡检结果至少包括服务器的存储空间信息;
第一确定模块,用于根据所述巡检结果确定待清理的目标服务器;其中,所述目标服务器中存储有冗余文件;
第二确定模块,用于根据所述目标服务器的属性信息和巡检结果确定文件清理策略;其中,所述文件清理策略至少包括与所述目标服务器对应的清理脚本;
清理模块,用于根据所述文件清理策略调用所述清理脚本对所述目标服务器进行冗余文件清理。
12.一种电子设备,包括:
处理器;
存储器,其存储有计算机可执行程序,该程序在被所述处理器执行时,使得所述处理器执行根据权利要求1~10中任意一项所述的服务器冗余文件的清理方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现根据权利要求1~10中任意一项所述的服务器冗余文件的清理方法。
14.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~10中任一项所述的服务器冗余文件的清理方法。
CN202310456541.4A 2023-04-25 2023-04-25 服务器冗余文件的清理方法、***、设备、介质及产品 Pending CN116594968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310456541.4A CN116594968A (zh) 2023-04-25 2023-04-25 服务器冗余文件的清理方法、***、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310456541.4A CN116594968A (zh) 2023-04-25 2023-04-25 服务器冗余文件的清理方法、***、设备、介质及产品

Publications (1)

Publication Number Publication Date
CN116594968A true CN116594968A (zh) 2023-08-15

Family

ID=87592767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310456541.4A Pending CN116594968A (zh) 2023-04-25 2023-04-25 服务器冗余文件的清理方法、***、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN116594968A (zh)

Similar Documents

Publication Publication Date Title
US9697104B2 (en) End-to end tracing and logging
US9304796B1 (en) Identification of virtual computing instance issues
US20070203973A1 (en) Fuzzing Requests And Responses Using A Proxy
US10984109B2 (en) Application component auditor
US10135693B2 (en) System and method for monitoring performance of applications for an entity
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
CN113495820A (zh) 异常信息收集、处理方法和装置以及异常监控***
CN114116429A (zh) 异常日志采集方法、装置、设备、介质和产品
CN116841902A (zh) 健康状态检查方法、装置、设备及存储介质
CN116594968A (zh) 服务器冗余文件的清理方法、***、设备、介质及产品
CN116467156A (zh) 联调测试方法、装置、存储介质及电子设备
CN113900905A (zh) 日志监控方法、装置、电子设备及存储介质
CN114281586A (zh) 故障确定方法及装置、电子设备和计算机可读存储介质
CN113419887A (zh) 主机联机事务异常的处理方法及装置
US10296967B1 (en) System, method, and computer program for aggregating fallouts in an ordering system
US20240211330A1 (en) Log entry analysis in managed endpoints
CN115499292B (zh) 一种告警方法、装置、设备及存储介质
CN114024867B (zh) 网络异常检测方法及装置
CN114640585B (zh) 一种资源更新方法、装置、电子设备和存储介质
CN116483566A (zh) 用于服务器的资源处理方法、装置、电子设备及存储介质
CN116136818A (zh) 用于消息队列的健康巡检方法、装置、设备及介质
CN114840424A (zh) 测试案例处理方法、装置、计算机***和可读存储介质
CN116795599A (zh) 代理进程异常自恢复方法及装置
CN117170767A (zh) 指标采集方法、装置、设备及存储介质
CN113590425A (zh) 数据处理方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination