CN117194398A - 异常文件处理方法、装置、存储介质以及电子设备 - Google Patents
异常文件处理方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN117194398A CN117194398A CN202311141301.1A CN202311141301A CN117194398A CN 117194398 A CN117194398 A CN 117194398A CN 202311141301 A CN202311141301 A CN 202311141301A CN 117194398 A CN117194398 A CN 117194398A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- information
- file
- processing
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 540
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000005856 abnormality Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种异常文件处理方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括:接收异常文件,并获取异常文件中的多条异常信息;计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量;在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中;在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息。通过本申请,解决了相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题。
Description
技术领域
本申请涉及大数据领域,具体而言,涉及一种异常文件处理方法、装置、存储介质以及电子设备。
背景技术
随着金融机构中的业务数据不断增多,对数据量大的大文件进行处理的场景也不断增多,在对大文件中的多条数据信息进行批量逐行处理的时候,若大文件中出现异常信息(如:某条信息的字段超长,或某条信息中出现生僻字无法处理),通常会记录异常信息,并需要运维人员手工介入处理。
但是,随着大文件中的数据信息量逐步增多,如果文件数据量很大,达到千万甚至过亿级别,人工处理的成本巨大,并且在人工处理的时候,需要在文件服务器中下载大文件至本地机器,根据不同情况处理文件后重新上传修改后的文件至文件服务器重跑批量,期间的文件传输耗时与大文件编辑耗时较长,影响了批量处理时效。
针对相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种异常文件处理方法、装置、存储介质以及电子设备,以解决相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题。
根据本申请的一个方面,提供了一种异常文件处理方法。该方法包括:接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息;计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量;在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理;在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。
可选地,判断总信息量是否大于目标信息量包括:获取异常文件的文件名称以及生成异常文件的应用名称,并根据文件名称和应用名称确定与异常文件关联的参数表;获取参数表中的最大可修改信息量,并将最大可修改信息量确定为目标信息量,并将总信息量与目标信息量进行对比,得到对比结果。
可选地,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理包括:在参数表中判断异常信息是否存在第一标识,其中,第一标识用于表征允许删除异常信息;在异常信息不存在第一标识的情况下,依次识别异常信息中的多个字段中是否存在异常字段;在异常信息中存在异常字段的情况下,根据异常字段对异常信息进行处理。
可选地,在参数表中判断异常信息是否存在第一标识之后,该方法还包括:在异常信息存在第一标识的情况下,从异常文件中删除异常信息;在异常信息不存在第一标识的情况下,依次识别异常信息中的多个字段中是否存在异常字段之后,该方法还包括:在异常信息中不存在异常字段的情况下,在异常信息中添加第二标识,其中,第二标识用于表征异常信息需要人工处理。
可选地,根据异常字段对异常信息进行处理包括:在参数表中判断异常字段是否存在第三标识,其中,第三标识用于表征允许删除异常字段;在异常字段存在第三标识的情况下,删除异常信息中的异常字段;在异常字段不存在第三标识的情况下,获取异常文件对应的业务内容,并计算异常字段与业务内容之间的相关度;在相关度大于等于预设相关度的情况下,在异常信息中添加第二标识,其中,第二标识用于表征异常信息需要人工处理;在相关度小于预设相关度的情况下,删除异常信息中的异常字段。
可选地,计算异常字段与业务内容之间的相关度包括:获取办理业务内容所需的业务信息,得到多个业务信息;依次判断异常字段与每个业务信息之间是否存在关联关系;在异常字段与目标业务信息之间存在关联关系的情况下,确定相关度大于预设相关度;在异常字段与每个业务信息之间均不存在关联关系的情况下,确定相关度小于预设相关度。
可选地,在得到更新后的异常文件之后,该方法还包括:识别更新后的异常文件中是否存在第二标识,其中,第二标识用于表征异常信息需要人工处理;在更新后的异常文件中不存在第二标识的情况下,确定更新后的异常文件无异常;在更新后的异常文件中存在第二标识的情况下,将更新后的异常文件发送至服务端。
根据本申请的另一方面,提供了一种异常文件处理装置。该装置包括:获取单元,用于接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息;计算单元,用于计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量;处理单元,用于在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理;第一发送单元,用于在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。
根据本发明的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种异常文件处理方法。
根据本发明的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种异常文件处理方法。
通过本申请,采用以下步骤:接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息;计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量;在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理;在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。解决了相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题。通过确定异常信息能否进行自动处理,并在可以进行自动处理的情况下,根据标识确定对异常信息的处理方法,并使用该处理方法进行处理,进而达到了自动对大量异常数据进行处理,提高异常数据处理效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的异常文件处理方法的流程图;
图2是根据本申请实施例提供的可选的异常文件处理方法的流程图;
图3是根据本申请实施例提供的可选的异常信息处理方法的流程图;
图4是根据本申请实施例提供的异常文件处理装置的示意图;
图5为根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本***和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
需要说明的是,本公开所确定的异常文件处理方法、装置、存储介质以及电子设备可用于大数据领域,也可用于除大数据领域之外的任意领域,本公开所确定的异常文件处理方法、装置、存储介质以及电子设备的应用领域不做限定。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关规定和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
根据本申请的实施例,提供了一种异常文件处理方法。
图1是根据本申请实施例提供的异常文件处理方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息。
具体的,在通过文件批量处理设备对大文件进行预设批量处理操作后,如果该大文件中存在异常信息,则预设批量处理操作会显示操作结果失败,并标注存在异常的异常信息,此时,需要将该大文件发送至异常文件处理***,从而通过异常文件处理***对大文件中存在的异常信息进行处理,进而保证大文件可以被文件批量处理设备正常的进行处理。
在异常文件处理***接收到异常文件后,需要从异常文件中获取多条异常信息,其中,异常信息可以为文件批量处理设备在进行处理时无法处理并进行标记后的信息,其中,每条异常信息中可以包括多个数据,每个数据均由一个字段构成,例如,异常信息A中包括:字段A:姓名:张三;字段B:年龄:20等信息。
步骤S102,计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量。
具体的,在接收到异常文件后,由于异常文件中存在异常信息和非异常信息,因此,确定异常信息的总信息量,从而确定异常文件中的异常信息能否由异常文件处理***进行处理。
例如,异常文件的大小可以为100G,目标信息量为50G,在异常文件中的异常信息量为60G的情况下,表征异常信息量过大,此时,可能并非由于文件中的数据存在异常导致无法对异常文件进行处理,而是由于其他原因产生异常,此时,需要运维人员进行接入确定异常原因。
步骤S103,在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理。
具体的,在总信息量小于等于目标信息量的情况下,表征异常原因为文件中的信息存在异常,此时,可以对获取到的每个异常信息进行标识识别,从而根据标识确定能否自动对异常信息中的问题进行修正,以及根据标识确定如何对异常信息中的问题进行修正,进而将异常文件中的异常信息进行处理,得到更新后的异常文件。
需要说明的是,在得到更新后的异常文件后,需要重新通过文件批量处理设备对更新后的异常文件进行批量处理,此时,如果更新后的异常文件中存在无法自动处理的异常信息,则仍会进行报错,此时,由于更新后的异常文件中的异常信息量较少,因此可由运维人员进行处理,从而完成对存在异常信息的大文件中的异常信息的处理,得到无异常的大文件。
步骤S104,在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。
具体的,在总信息量大于目标信息量的情况下,表征异常文件中存在大量异常信息,此时,需要运维人员进行介入处理,则将异常文件和总信息量发送至服务端,并在服务端显示告警信息,从而告知运维人员出现异常的异常文件以及异常信息的信息量,进而可以便于运维人员对异常文件进行处理。
图2是根据本申请实施例提供的可选的异常文件处理方法的流程图,如图2所示,首先获取异常文件中的异常信息,并计算异常信息的总信息量,将总信息量与目标信息量进行对比,其中,目标信息量可以为异常文件处理***的最大可处理信息条数,也可以根据异常文件的文件大小进行设置。
在总信息量大于目标信息量的情况下,需要运维人员手工介入处理异常文件,在总信息量小于等于目标信息量的情况下,进入异常信息自动处理模块,根据每个异常信息中的标识对异常信息进行处理,并在得到更新后的异常文件后,判断更新后的异常文件中是否仍存在异常信息,在仍存在异常信息的情况下,由运维人员进行处理,在不存在异常信息的情况下,则对更新后的异常文件进行预设批量处理操作,从而达到对异常文件进行处理的效果。
本申请实施例提供的异常文件处理方法,通过接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息;计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量;在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理;在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。解决了相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题。通过确定异常信息能否进行自动处理,并在可以进行自动处理的情况下,根据标识确定对异常信息的处理方法,并使用该处理方法进行处理,进而达到了自动对大量异常数据进行处理,提高异常数据处理效率的效果。
为了准确确定目标信息量,可选地,在本申请实施例提供的异常文件处理方法中,判断总信息量是否大于目标信息量包括:获取异常文件的文件名称以及生成异常文件的应用名称,并根据文件名称和应用名称确定与异常文件关联的参数表;获取参数表中的最大可修改信息量,并将最大可修改信息量确定为目标信息量,并将总信息量与目标信息量进行对比,得到对比结果。
具体的,在确定目标信息量的时候,可以先获取异常文件的文件名称以及生成异常文件的应用名称,其中,生成异常文件的应用名称也即生成异常文件的业务应用的应用名称,在确定了异常文件的名称以及应用名称后,即可在数据库中的多个参数表中确定与异常文件相关联的参数表,并从参数表中获取最大可修改信息量,从而得到异常文件的最大可修改信息量,在异常文件中的异常信息的信息量大于最大可修改信息量的情况下,表征无法对异常文件中的异常信息进行自动修改,则需要运维人员进行介入操作,进而达到保证文件修改的准确性的效果。
需要说明的是,参数表中可以包括每个异常信息的相关内容,例如异常信息的在异常文件中的行号、英文简称、所述的文件名、异常信息行可忽略标识(也即第一标识)等。
可选地,在本申请实施例提供的异常文件处理方法中,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理包括:在参数表中判断异常信息是否存在第一标识,其中,第一标识用于表征允许删除异常信息;在异常信息不存在第一标识的情况下,依次识别异常信息中的多个字段中是否存在异常字段;在异常信息中存在异常字段的情况下,根据异常字段对异常信息进行处理。
具体的,在进行标识识别的时候,由于异常文件对应的参数表中会包含异常文件中的每条异常信息的信息内容,例如异常信息在异常文件中的行号、英文简称、所述的文件名、异常信息行可忽略标识(也即第一标识)等,因此,可以从参数表中确定异常信息是否存在第一标识,在异常信息在参数表中记载的相关数据中存在第一标识的情况下,表征该异常信息在该异常文件中为无用信息,则可以直接将异常文件中的该异常信息进行删除,从而得到无异常信息的异常文件。
进一步的,在异常信息不存在第一标识的情况下,表征该异常信息不能被删除,此时,需要依次识别异常信息中的多个字段中是否存在异常字段,并在存在异常字段的情况下,根据异常字段的信息确定对异常信息的处理方法。
可选地,在本申请实施例提供的异常文件处理方法中,在参数表中判断异常信息是否存在第一标识之后,该方法还包括:在异常信息存在第一标识的情况下,从异常文件中删除异常信息;在异常信息不存在第一标识的情况下,依次识别异常信息中的多个字段中是否存在异常字段之后,该方法还包括:在异常信息中不存在异常字段的情况下,在异常信息中添加第二标识,其中,第二标识用于表征异常信息需要人工处理。
具体的,在异常信息在参数表中记载的相关数据中存在第一标识的情况下,表征该异常信息在该异常文件中为无用信息,则可以直接将异常文件中的该异常信息进行删除,从而得到无异常信息的异常文件。
进一步的,在异常信息不存在第一标识的情况下,并且在异常信息中不存在异常字段的情况下,表征异常信息无法被删除,并且其中也不存在异常字段,此时,需要在该异常信息中添加第二标识,从而在完成对全部异常信息的处理后,通过第二标识确定哪些异常信息需要进行人工处理,进而达到提高人工处理异常信息的效率的效果。
可选地,在本申请实施例提供的异常文件处理方法中,根据异常字段对异常信息进行处理包括:在参数表中判断异常字段是否存在第三标识,其中,第三标识用于表征允许删除异常字段;在异常字段存在第三标识的情况下,删除异常信息中的异常字段;在异常字段不存在第三标识的情况下,获取异常文件对应的业务内容,并计算异常字段与业务内容之间的相关度;在相关度大于等于预设相关度的情况下,在异常信息中添加第二标识,其中,第二标识用于表征异常信息需要人工处理;在相关度小于预设相关度的情况下,删除异常信息中的异常字段。
需要说明的是,参数表中的每个异常信息相关的数据中,包括该异常信息中的每个字段的相关信息,也即,在某个字段具有第三标识的情况下,会记载在参数表中,从而可以从参数表中进行查询。
具体的,在异常信息中存在异常字段的情况下,需要在参数表中判断异常字段是否存在第三标识,在存在第三标识的情况下,表征该字段为可删除字段,则直接将异常信息中的异常字段进行删除即可,在异常字段不存在第三标识的情况下,则需要确定该异常字段能否被删除。
进一步的,在确定该异常字段能否被删除的时候,可以通过确定该异常字段与业务内容之间的相关度的方式进行确定,例如,在异常字段为:用户名称:XX的时候,异常原因可能为用户名称中带有生僻字,无法对该字进行识别,此时,由于用户名称为与业务相关的重要信息,因此相关度较高,此时,不能将该异常字段进行删除,若该异常字段与业务内容之间的相关度小于预设相关度的情况下,表征该异常字段不是重要信息,可以进行删除,从而保证删除的内容均为与业务无关的内容。
可选地,在本申请实施例提供的异常文件处理方法中,计算异常字段与业务内容之间的相关度包括:获取办理业务内容所需的业务信息,得到多个业务信息;依次判断异常字段与每个业务信息之间是否存在关联关系;在异常字段与目标业务信息之间存在关联关系的情况下,确定相关度大于预设相关度;在异常字段与每个业务信息之间均不存在关联关系的情况下,确定相关度小于预设相关度。
具体的,在进行相关度计算的时候,可以先获取办理该业务所需要的业务信息,例如,业务A为贷款业务,则业务信息可以包括贷款额度、贷款人、还款时间等信息,在确定了业务信息后,可以判断异常字段和每个业务信息之间的关联关系,例如,在异常字段为“用户名称:XX”的时候,由于异常字段与贷款人之间具有较大关联关系,则不能删除该异常字段,在异常字段与全部业务信息之间均不存在较大相关度的情况下,例如异常字段为“用户性别:女”的时候,可以将异常字段进行删除,在将异常字段删除后,仍不影响业务的进行,从而保证删除的内容均为与业务无关的内容,进而在对文件进行批量处理后,使用得到的文件中包含的信息仍能正常的执行业务。
可选地,在本申请实施例提供的异常文件处理方法中,在得到更新后的异常文件之后,该方法还包括:识别更新后的异常文件中是否存在第二标识,其中,第二标识用于表征异常信息需要人工处理;在更新后的异常文件中不存在第二标识的情况下,确定更新后的异常文件无异常;在更新后的异常文件中存在第二标识的情况下,将更新后的异常文件发送至服务端。
具体的,在完成对异常文件的自动更新后,需要先识别更新后的异常文件中是否存在第二标识,在存在第二标识的情况下,表征异常文件中存在无法自动解决的异常信息,此时,需要人工进行处理,则需要将包含第二标识的异常信息所在的位置,或是行号进行统计显示,从而在进行人工处理的时候,可以提高人工处理的效率。
进一步的,在更新后的异常文件中不存在第二标识的情况下,表征更新后的异常文件中不存在异常信息,此时,可以将更新后的异常文件重新进行文件批量处理操作,从而完成对文件的批量处理,保证了批量处理的准确性。
图3是根据本申请实施例提供的可选的异常信息处理方法的流程图,如图3所示,异常信息自动处理模块在接收到异常文件后,首先获取异常文件中的多个异常信息,并在参数表中获取每个异常信息对应的相关数据,并在参数表中记录的数据中确定异常信息是否存在第一标识,在存在第一标识的情况下,删除在异常文件中删除该异常信息,并开始对下一异常信息执行上述操作。
进一步的,在异常信息中不存在第一标识的情况下,在参数表中确定异常信息中的异常字段是否存在第三标识,在存在第三标识的情况下,删除异常文件中该异常信息下的异常字段,在异常字段中不存在第三标识的情况下,在该异常字段中添加第二标识,并开始对下一异常信息执行上述操作,直至对异常文件中的全部异常信息进行处理,得到更新后的异常文件,进而达到快速便捷的对异常信息进行处理以及辅助运维人员进行异常信息筛选的效果,提高了异常文件的处理效率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种异常文件处理装置,需要说明的是,本申请实施例的异常文件处理装置可以用于执行本申请实施例所提供的用于异常文件处理方法。以下对本申请实施例提供的异常文件处理装置进行介绍。
图4是根据本申请实施例提供的异常文件处理装置的示意图。如图4所示,该装置包括:获取单元41,计算单元42,处理单元43,第一发送单元44。
获取单元41,用于接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息。
计算单元42,用于计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量。
处理单元43,用于在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理。
第一发送单元44,用于在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。
本申请实施例提供的异常文件处理装置,通过获取单元41接收异常文件,并获取异常文件中的多条异常信息,其中,异常文件中包括多条异常信息和多条无异常信息;计算单元42计算多条异常信息的总信息量,并判断总信息量是否大于目标信息量;处理单元43在总信息量小于等于目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对异常信息进行处理,得到更新后的异常文件,并将更新后的异常文件存储至数据库中,其中,预设标识用于确定是否对异常信息进行纠错处理;第一发送单元44在总信息量大于目标信息量的情况下,将异常文件和总信息量发送至服务端,并在服务端显示告警信息,其中,告警信息用于表征不具备处理异常文件中的异常信息的功能。解决了相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题,通过确定异常信息能否进行自动处理,并在可以进行自动处理的情况下,根据标识确定对异常信息的处理方法,并使用该处理方法进行处理,进而达到了自动对大量异常数据进行处理,提高异常数据处理效率的效果。
可选地,在本申请实施例提供的异常文件处理装置中,计算单元42包括:第一获取模块,用于获取异常文件的文件名称以及生成异常文件的应用名称,并根据文件名称和应用名称确定与异常文件关联的参数表;第二获取模块,用于获取参数表中的最大可修改信息量,并将最大可修改信息量确定为目标信息量,并将总信息量与目标信息量进行对比,得到对比结果。
可选地,在本申请实施例提供的异常文件处理装置中,处理单元43包括:判断模块,用于在参数表中判断异常信息是否存在第一标识,其中,第一标识用于表征允许删除异常信息;识别模块,用于在异常信息不存在第一标识的情况下,依次识别异常信息中的多个字段中是否存在异常字段;处理模块,用于在异常信息中存在异常字段的情况下,根据异常字段对异常信息进行处理。
可选地,在本申请实施例提供的异常文件处理装置中,该装置还包括:删除单元,用于在异常信息存在第一标识的情况下,从异常文件中删除异常信息;添加单元,用于在异常信息不存在第一标识的情况下,依次识别异常信息中的多个字段中是否存在异常字段之后,在异常信息中不存在异常字段的情况下,在异常信息中添加第二标识,其中,第二标识用于表征异常信息需要人工处理。
可选地,在本申请实施例提供的异常文件处理装置中,处理模块包括:第一判断子模块,用于在参数表中判断异常字段是否存在第三标识,其中,第三标识用于表征允许删除异常字段;第一删除子模块,用于在异常字段存在第三标识的情况下,删除异常信息中的异常字段;计算子模块,用于在异常字段不存在第三标识的情况下,获取异常文件对应的业务内容,并计算异常字段与业务内容之间的相关度;添加子模块,用于在相关度大于等于预设相关度的情况下,在异常信息中添加第二标识,其中,第二标识用于表征异常信息需要人工处理;第二删除子模块,用于在相关度小于预设相关度的情况下,删除异常信息中的异常字段。
可选地,在本申请实施例提供的异常文件处理装置中,计算子模块包括:获取子模块,用于获取办理业务内容所需的业务信息,得到多个业务信息;第二判断子模块,用于依次判断异常字段与每个业务信息之间是否存在关联关系;第一确定子模块,用于在异常字段与目标业务信息之间存在关联关系的情况下,确定相关度大于预设相关度;第二确定子模块,用于在异常字段与每个业务信息之间均不存在关联关系的情况下,确定相关度小于预设相关度。
可选地,在本申请实施例提供的异常文件处理装置中,该装置还包括:识别单元,用于识别更新后的异常文件中是否存在第二标识,其中,第二标识用于表征异常信息需要人工处理;确定单元,用于在更新后的异常文件中不存在第二标识的情况下,确定更新后的异常文件无异常;第二发送单元,用于在更新后的异常文件中存在第二标识的情况下,将更新后的异常文件发送至服务端。
上述异常文件处理装置包括处理器和存储器,上述获取单元41,计算单元42,处理单元43,第一发送单元44等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中通过人工对异常文件中的异常信息进行处理的效率低的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述异常文件处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述异常文件处理方法。
图5为根据本申请实施例提供的一种电子设备的示意图,如图5所示,本发明实施例提供了一种电子设备,电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述异常文件处理方法的步骤。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有上述异常文件处理方法的步骤的程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种异常文件处理方法,其特征在于,包括:
接收异常文件,并获取所述异常文件中的多条异常信息,其中,所述异常文件中包括多条异常信息和多条无异常信息;
计算所述多条异常信息的总信息量,并判断所述总信息量是否大于目标信息量;
在所述总信息量小于等于所述目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对所述异常信息进行处理,得到更新后的异常文件,并将所述更新后的异常文件存储至数据库中,其中,所述预设标识用于确定是否对所述异常信息进行纠错处理;
在所述总信息量大于所述目标信息量的情况下,将所述异常文件和所述总信息量发送至服务端,并在所述服务端显示告警信息,其中,所述告警信息用于表征不具备处理所述异常文件中的异常信息的功能。
2.根据权利要求1所述的方法,其特征在于,判断所述总信息量是否大于目标信息量包括:
获取所述异常文件的文件名称以及生成所述异常文件的应用名称,并根据所述文件名称和应用名称确定与所述异常文件关联的参数表;
获取所述参数表中的最大可修改信息量,并将所述最大可修改信息量确定为所述目标信息量,并将所述总信息量与所述目标信息量进行对比,得到对比结果。
3.根据权利要求2所述的方法,其特征在于,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对所述异常信息进行处理包括:
在所述参数表中判断所述异常信息是否存在第一标识,其中,所述第一标识用于表征允许删除所述异常信息;
在所述异常信息不存在所述第一标识的情况下,依次识别所述异常信息中的多个字段中是否存在异常字段;
在所述异常信息中存在异常字段的情况下,根据所述异常字段对所述异常信息进行处理。
4.根据权利要求3所述的方法,其特征在于,在所述参数表中判断所述异常信息是否存在第一标识之后,所述方法还包括:
在所述异常信息存在第一标识的情况下,从所述异常文件中删除所述异常信息;
在所述异常信息不存在所述第一标识的情况下,依次识别所述异常信息中的多个字段中是否存在异常字段之后,所述方法还包括:
在所述异常信息中不存在异常字段的情况下,在所述异常信息中添加第二标识,其中,所述第二标识用于表征所述异常信息需要人工处理。
5.根据权利要求3所述的方法,其特征在于,根据所述异常字段对所述异常信息进行处理包括:
在所述参数表中判断所述异常字段是否存在第三标识,其中,所述第三标识用于表征允许删除所述异常字段;
在所述异常字段存在所述第三标识的情况下,删除所述异常信息中的所述异常字段;
在所述异常字段不存在所述第三标识的情况下,获取所述异常文件对应的业务内容,并计算所述异常字段与所述业务内容之间的相关度;
在所述相关度大于等于预设相关度的情况下,在所述异常信息中添加第二标识,其中,所述第二标识用于表征所述异常信息需要人工处理;
在所述相关度小于预设相关度的情况下,删除所述异常信息中的所述异常字段。
6.根据权利要求5所述的方法,其特征在于,计算所述异常字段与所述业务内容之间的相关度包括:
获取办理所述业务内容所需的业务信息,得到多个业务信息;
依次判断所述异常字段与每个业务信息之间是否存在关联关系;
在所述异常字段与目标业务信息之间存在所述关联关系的情况下,确定所述相关度大于所述预设相关度;
在所述异常字段与每个业务信息之间均不存在所述关联关系的情况下,确定所述相关度小于所述预设相关度。
7.根据权利要求1所述的方法,其特征在于,在得到更新后的异常文件之后,所述方法还包括:
识别所述更新后的异常文件中是否存在第二标识,其中,所述第二标识用于表征所述异常信息需要人工处理;
在所述更新后的异常文件中不存在所述第二标识的情况下,确定所述更新后的异常文件无异常;
在所述更新后的异常文件中存在所述第二标识的情况下,将所述更新后的异常文件发送至所述服务端。
8.一种异常文件处理装置,其特征在于,包括:
获取单元,用于接收异常文件,并获取所述异常文件中的多条异常信息,其中,所述异常文件中包括多条异常信息和多条无异常信息;
计算单元,用于计算所述多条异常信息的总信息量,并判断所述总信息量是否大于目标信息量;
处理单元,用于在所述总信息量小于等于所述目标信息量的情况下,依次识别每条异常信息中的预设标识,并根据每条异常信息中的预设标识对所述异常信息进行处理,得到更新后的异常文件,并将所述更新后的异常文件存储至数据库中,其中,所述预设标识用于确定是否对所述异常信息进行纠错处理;
第一发送单元,用于在所述总信息量大于所述目标信息量的情况下,将所述异常文件和所述总信息量发送至服务端,并在所述服务端显示告警信息,其中,所述告警信息用于表征不具备处理所述异常文件中的异常信息的功能。
9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的异常文件处理方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的异常文件处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311141301.1A CN117194398A (zh) | 2023-09-05 | 2023-09-05 | 异常文件处理方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311141301.1A CN117194398A (zh) | 2023-09-05 | 2023-09-05 | 异常文件处理方法、装置、存储介质以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194398A true CN117194398A (zh) | 2023-12-08 |
Family
ID=89002875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311141301.1A Pending CN117194398A (zh) | 2023-09-05 | 2023-09-05 | 异常文件处理方法、装置、存储介质以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194398A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117909907A (zh) * | 2024-03-14 | 2024-04-19 | 宁德时代新能源科技股份有限公司 | 高通量计算平台及其异常排除方法、装置及存储介质 |
-
2023
- 2023-09-05 CN CN202311141301.1A patent/CN117194398A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117909907A (zh) * | 2024-03-14 | 2024-04-19 | 宁德时代新能源科技股份有限公司 | 高通量计算平台及其异常排除方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909363A (zh) | 基于大数据的软件第三方组件漏洞应急响应***及方法 | |
CN117194398A (zh) | 异常文件处理方法、装置、存储介质以及电子设备 | |
CN113448862B (zh) | 软件版本测试方法、装置及计算机设备 | |
CN109271453B (zh) | 一种数据库容量的确定方法和装置 | |
CN114969585A (zh) | 电子票据邮件的处理方法及装置 | |
CN111177093A (zh) | 一种科技资源的共享方法及设备、介质 | |
CN117763024A (zh) | 一种数据分片抽取方法及装置 | |
CN110796178A (zh) | 决策模型训练方法及样本特征选择方法、装置和电子设备 | |
CN116185706A (zh) | 数据备份方法、装置、计算及存储介质及电子设备 | |
CN113918593A (zh) | 识别金融数据异常的方法及装置、存储介质、计算设备 | |
CN110968754B (zh) | 一种爬虫翻页策略的检测方法及装置 | |
CN111858619B (zh) | 一种数据自流转的方法、装置和电子设备 | |
CN113919683A (zh) | 工艺工时的计算方法、装置、存储介质及处理器 | |
CN111680066A (zh) | 信息处理方法、装置、存储介质和的电子设备 | |
CN116483805A (zh) | 数据库迁移的安全测试方法、装置、存储介质及电子设备 | |
CN118277409A (zh) | 运行日志的处理方法、装置、存储介质以及电子设备 | |
CN118152190A (zh) | 灾备应用的管理方法、装置、存储介质以及电子设备 | |
CN116910695B (zh) | 设备监测结果的标记方法及设备监测数据的校验方法 | |
CN114169176A (zh) | 事件的失效风险的确定方法、装置、存储介质及电子装置 | |
CN117407363A (zh) | 基金产品数据的处理方法和装置、存储介质及电子设备 | |
CN116662317A (zh) | 数据的校验方法、装置、处理器以及电子设备 | |
CN117611069A (zh) | 异常确定方法、装置、处理器及电子设备 | |
CN116708699A (zh) | 一种单据影像批量上传方法、装置、设备及介质 | |
CN114969186A (zh) | 自动化测试方法、装置及计算机存储介质 | |
CN111158713A (zh) | 一种软件更新方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |