CN115686906A - Rpa异常处理方法、装置、服务器和可读存储介质 - Google Patents

Rpa异常处理方法、装置、服务器和可读存储介质 Download PDF

Info

Publication number
CN115686906A
CN115686906A CN202211336085.1A CN202211336085A CN115686906A CN 115686906 A CN115686906 A CN 115686906A CN 202211336085 A CN202211336085 A CN 202211336085A CN 115686906 A CN115686906 A CN 115686906A
Authority
CN
China
Prior art keywords
identified
file
similarity
target video
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211336085.1A
Other languages
English (en)
Inventor
卞晓瑜
肖鸣林
姚佩奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yida Technology Shanghai Co ltd
Original Assignee
Yida Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yida Technology Shanghai Co ltd filed Critical Yida Technology Shanghai Co ltd
Priority to CN202211336085.1A priority Critical patent/CN115686906A/zh
Publication of CN115686906A publication Critical patent/CN115686906A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种RPA异常处理方法、装置、服务器和可读存储介质,获取待识别模板文件,从待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度;根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度;基于平均相似度来确定待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;当待识别模板文件与任一个目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;异常响应处理方案用于对RPA的异常进行处理。该方法解决了人工操作过程费时费力的问题,提升了异常修复的效率,提升了用户体验,用以克服人工进行异常处理费时费力,效率低下的问题。

Description

RPA异常处理方法、装置、服务器和可读存储介质
技术领域
本申请涉及RPA技术领域,具体涉及一种RPA异常处理方法、装置、服务器和可读存储介质。
背景技术
机器人流程自动化(Robotic Process Automation,简称RPA)是运行在个人计算机或服务器上的软件,主要功能是模拟人操控各种***软件、自动执行业务流程,适用于大批量、高重复的业务场景。目前RPA可应用于各个行业的职能场景,常见的自动化动作有材料自动填报、Office文档编辑、智能审核、信息录入、业务***操控、报表信息处理、票据处理、文件上传与下载、内容核对、数据采集、数据处理等,涉及到浏览器、Office软件、SAP、ERP等B/S或C/S架构的业务软件***。
RPA具有独特的优势:低代码、非侵入。低代码是指RPA不需要很高的IT水平就能操作,不懂编程的业务人员也能开发流程;非侵入是指RPA可以模拟人的操作,不用软件***开放接口。虽然RPA具有很多优点且使用非常便利,但是RPA也会出现异常。目前,针对RPA自动化流程出现异常展开运维工作时,伴随着客户流程的不断增加,运维的工作量和压力也逐渐加大。而现行处理异常的工作都是由使用RPA产品的客户以及RPA流程运维人员主动发现流程异常时,主动排查问题并进行异常处理。如此,若有大量的运维工作产生时,无法及时快速响应处理,同时人工进行异常排查及处理费时费力,效率较低。
发明内容
有鉴于此,本申请实施例中提供了一种RPA异常处理方法、装置、服务器和可读存储介质,以克服现有的异常处理费时费力,效率低下的问题。
第一方面,本申请实施例提供了一种RPA异常处理方法,该方法包括:
获取待识别模板文件,其中所述待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的;
从所述待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度;
根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度;
基于所述平均相似度来确定所述待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;其中,所述特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件;
当所述待识别模板文件与任一个所述目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;其中,所述异常响应处理方案用于对RPA的异常进行处理。
第二方面,本申请实施例提供了一种RPA异常处理装置,该装置包括:
文件获取模块,用于获取待识别模板文件,其中所述待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的;
计算模块,用于从所述待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度;
平均相似度确定模块,用于根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度;
相关性确定模块,用于基于所述平均相似度来确定所述待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;其中,所述特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件;
方案确定模块,用于当所述待识别模板文件与任一个所述目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;其中,所述异常响应处理方案用于对RPA的异常进行处理。
第三方面,本申请实施例提供了一种服务器,包括:存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行上述第一方面提供的RPA异常处理方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面提供的RPA异常处理方法。
本申请实施例提供的RPA异常处理方法、装置、服务器和可读存储介质,首先获取待识别模板文件,其中待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的;然后从待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度;根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度;再基于平均相似度来确定待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;其中,特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件;当待识别模板文件与任一个目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;异常响应处理方案用于对RPA的异常进行处理。
本申请实施例提供的RPA异常处理方法在检测到RPA异常时,可以自动在预先建立的异常处理方案库检索与当前异常相关的异常响应处理方案并输出至对应的RPA自动化流程进行维修。相对于相关技术中人工进行异常修复的方式,通过采用本申请实施例提供的技术方案,解决了人工操作过程费时费力的问题,提升了异常修复的效率,提升了用户体验,用以克服人工进行异常处理费时费力,效率低下的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的RPA异常处理方法的应用场景示意图;
图2为本申请一个实施例提供的RPA异常处理方法的流程示意图;
图3为本申请一个实施例中提供的RPA异常处理装置的结构示意图;
图4为本申请一个实施例中提供的服务器的结构示意图;
图5为本申请一个实施例中提供的计算机可读存储介质的结构示意图。
具体实施方式
下面将对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更详细说明本申请,下面结合附图对本申请提供的一种RPA异常处理方法、装置、服务器和计算机可读存储介质,进行具体地描述。
请参考图1,图1示出了本申请实施例提供的RPA异常处理方法的应用场景的示意图,该应用场景包括本申请实施例提供的该应用场景包括本申请实施例提供的终端设备102和服务器104,其中服务器104与终端设备102之间设置有网络。网络用于在终端设备102和服务器104之间提供通信链路的介质。其中,终端设备102通过网络与服务器104交互,以接收或发送消息等,服务器104可以是提供各种服务的服务器。其中终端设备102中安装有RPA机器人,执行RPA流程。在RPA流程存在异常时,服务器104可以对终端设备102的RPA机器人的运行状态进行控制,对RPA异常流程进行录屏,并制备录屏文件。然后根据录屏文件以生成待识别模板文件,服务器104对待识别模板文件进行处理,以用来执行本申请实施例中提供的RPA异常处理方法。
可选的,终端设备102可以是具有显示屏的各种电子设备,包括但不限于智能手机和计算机设备,其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、平板电脑等设备中的至少一种。终端设备102可以泛指多个终端设备中的一个。此外,终端设备102也可以用来执行本申请实施例中提供的一种RPA异常处理方法。
应该理解,终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。
基于此,本申请实施例中提供了一种RPA异常处理方法。请参阅图2,图2示出了本申请实施例提供的一种RPA异常处理方法的流程示意图,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S110,获取待识别模板文件。
其中待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的。
在一个实施例中,确定待识别模板文件,包括:获取RPA流程发生异常时的录屏文件和异常任务信息;对录屏文件进行视频识别,以提取视频中的关键信息;根据关键信息和异常任务信息形成待识别模板文件。
具体来说,在RPA流程运行发生异常时对异常运行的RPA流程进行录屏,以形成录屏文件,同时获取RPA流程的任务信息,记为异常任务信息。然后对录屏文件采用AI(即人工智能)视频识别技术(即采用视频识别算法)对录屏文件的视频内容进行检验分析,以提出视频中的关键信息,根据关键信息和异常任务信息形成待识别模板文件。
其中,异常任务信息指异常流程相关信息,包含客户名称、流程名称、异常时间、报障详细信息等。待识别模板文件包括:分析帧图像、点数据、时间点信息、时间信息中的至少一种。
点数据或时间点信息指每一帧图像中主要的时间数据,包括时间点帧图片等相关信息;比如在常见的视频网站看视频,通过点击视频下方进度条,显示该时间点附近关键帧图片的效果。
步骤S120,从待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度。
步骤S130,根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度。
由于待识别模板文件中包含有一系列序列帧图像,为了减少计算量,可以从一系列序列帧图像中提取多帧图像,然后来计算多帧图像中每一帧图像的像素色差值和像素相似度。在计算出每一帧图像的像素色差值和像素相似度后,根据每一帧图像的像素色差值和像素相似度来计算多帧图像的平均相似度,以作为待识别模板文件的平均相似度。
步骤S140,基于平均相似度来确定待识别模板文件与预先建立的特征码库中所有目标视频文件相关性。
其中,特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件。具体地,根据以往异常识别模板文件按照图像权重系数构建特征码库,特征码包括目标视频的图像特征,文本特征,音频特征等。
步骤S150,当待识别模板文件与任一个目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案。其中,异常响应处理方案用于对RPA的异常进行处理。
具体地,根据平均相似度来确定待识别模板文件与特征码库中各目标视频文件的相关性。当待识别模板文件与任一目标视频文件相关时,从异常处理方案库中找出相关目标视频文件对应的异常响应处理方案,该异常响应处理方案可以发送给终端设备,以供维修人员对RPA的异常进行处理。
其中,异常处理方案库是预先建立的,其存储有历史异常日志描述信息和对应的异常响应处理方案。
本申请实施例提供的RPA异常处理方法在检测到RPA异常时,可以自动在预先建立的异常处理方案库检索与当前异常相关的异常响应处理方案并输出至对应的RPA自动化流程进行维修。相对于相关技术中人工进行异常修复的方式,通过采用本申请实施例提供的技术方案,解决了人工操作过程费时费力的问题,提升了异常修复的效率,提升了用户体验,用以克服人工进行异常处理费时费力,效率低下的问题。
在一个实施例中,在执行步骤S120,从待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度,包括:
步骤S1,从待识别模板文件的帧图像按照帧序列等间隔的提取多帧图像。
步骤S2,计算每一帧图像中任意两列像素中对应位置的两个像素的像素色差值。
在一个实施例中,计算每一帧图像中任意两列像素中对应位置的两个像素的像素色差值,包括:通过以下公式来计算像素色差值:
Figure BDA0003915399890000061
其中,Cn为第n行中任意两列像素中对应的两个像素点的像素色差值;RAn、GAn、BAn分别表示第n行中任意两列像素中其中一列像素点RGB值的红、绿、蓝值;RBn、GBn、BBn分别表示第n行中任意两列像素中另外一列像素点RGB值的红、绿、蓝值。
具体地,每一帧图像中都包含有多个像素,像素可以按照行和列进行划分。在计算每一帧图像的像素色差值是可以从任意两列像素的色差。
在一种优选的实施方式中,可以选择每一帧图像的首列与末列的像素来计算像素色差值。具体地可以从任意一行的首列和末列像素中选出位置相对应的两个像素点,根据选出的两个像素点来计算像素色差值。
另外,在确定像素色差值时还可以判断的像素色差值是否小于色差阈值,如果Cn<100,则可以确认选择出的两个像素点的颜色相似。
步骤S3,计算每一帧图像中任意两列像素中对应位置的两个像素的像素相似度。
在一个实施例中,计算每一帧图像中任意两列像素中对应位置的两个像素的像素相似度,包括:对每一帧图像进行缩放处理;对缩放处理后的图像中任意两列像素采用向量表示;根据向量表示后的任意两列像素来计算对应位置的两个像素的像素相似度。
具体地,可以选择每一帧图像的首列与末列的像素来计算像素相似度。具体地可以从任意一行的首列和末列像素中选出位置相对应的两个像素点,根据选出的两个像素点来计算像素相似度。
先对多帧图像中的每一帧图像进行缩放处理,以使得多帧图像尺寸相同,然后对缩放处理后的图像的首列和末列像素采用向量表示,首列像素向量可表示为:
An={{RA0,GA0,BA0},{RA1,GA1,BA1},......,{RAn-1,GAn-1,BAn-1}}
末列像素向量可表示为:
Bn={{RB0,GB0,BB0},{RB1,GB1,BB1},......,{RBn-1,GBn-1,BBn-1}}
然后根据向量表示来计算像素相似度。
步骤S4,根据每一帧图像的像素相似度和像素相似度,来计算每一帧图像的权重系数以及最终相似度;
步骤S5,根据每一帧图像的权重系数和最终相似度采用加权方式计算出多帧图像的平均相似度。
具体地,基于每一帧图像的像素相似度,确定所述每一帧图像的权重系数以及像素相似度,根据每一帧图像的权重系数和最终相似度采用加权方式计算出多帧图像的平均相似度。
在一个实施例中,目标视频文件包括多帧图像;在执行步骤S140,基于平均相似度来确定待识别模板文件与预先建立的特征码库中所有目标视频文件相关性,包括:计算所有目标视频文件中的每一帧图像的像素相似度;将每一帧图像的像素相似度与待识别模板文件的平均相似度进行比较,当任一帧图像的像素相似度大于或等于平均相似度时,判定命中相应的目标视频文件的特征码,并统计命中各目标视频文件的特征码次数;当命中目标视频文件的特征码次数大于或等于预设次数时,确定待识别模板文件与特征码次数对应的目标视频文件相关。
在一个实施例中,方法还包括:当命中目标视频文件的特征码次数小于预设次数时,确定待识别模板文件与特征码次数对应的目标视频文件不相关。
具体来说,判断每一帧图像的像素相似度是否大于或等于平均相似度;如果是,则触发命中特征码。如果否,则不触发。待识别模板文件命中特征码库的特征码数量达到预设数量的情况下,确定待识别模板文件与目标视频文件相关。待识别模板文件命中特征码库中的特征码的数量没有达到预设数量的情况下,确定待识别模板文件与所述目标视频文件不相关。
为了便于理解给出一个详细的实施例,假设特征码库中包括2目标视频文件,分别记为目标视频文件A和目标视频文件B,待识别模板文件C。其中,目标视频文件A中包括M帧图像,目标视频文件B中包括N帧图像。分别计算目标视频文件A中的M帧图像和目标视频文件B中的N帧图像的每一帧图像的像素相似度是否大于待识别模板文件C的平均相似度,如果是,则记录待识别模板文件分别命中目标视频文件A和目标视频文件B的特征码次数E和F,如果E大于或等于预设次数,则判定待识别模板文件C与目标视频文件A相似,如果F小于预设次数,则判定待识别模板文件C与目标视频文件B不相似。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述本申请公开的实施例中详细描述了一种RPA异常处理方法,对于本申请公开的上述方法可采用多种形式的设备实现,因此本申请还公开了对应上述方法的RPA异常处理装置,下面给出具体的实施例进行详细说明。
请参阅图3,为本申请实施例公开的一种RPA异常处理装置,主要包括:
文件获取模块310,用于获取待识别模板文件,其中待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的;
计算模块320,用于从待识别模板文件中提取多帧图像,计算多帧图像的像素相似度和像素相似度;
平均相似度确定模块330,用于根据多帧图像的像素相似度和像素相似度确定待识别模板文件的平均相似度;
相关性确定模块340,用于基于平均相似度来确定待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;其中,特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件;
方案确定模块350,用于当待识别模板文件与任一个目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;其中,异常响应处理方案用于对RPA的异常进行处理。
在一个实施例中,文件获取模块310,用于获取RPA流程发生异常时的录屏文件和异常任务信息;对录屏文件进行视频识别,以提取视频中的关键信息;根据关键信息和异常任务信息形成待识别模板文件。
在一个实施例中,计算模块320,用于从待识别模板文件的帧图像按照帧序列等间隔的提取多帧图像;计算每一帧图像中任意两列像素中对应位置的两个像素的像素相似度;计算每一帧图像中任意两列像素中对应位置的两个像素的像素相似度;根据每一帧图像的像素相似度和像素相似度,来计算每一帧图像的权重系数以及最终相似度;根据每一帧图像的权重系数和最终相似度采用加权方式计算出多帧图像的平均相似度。
在一个实施例中,计算模块320,用于通过以下公式来计算像素相似度:
Figure BDA0003915399890000101
其中,Cn为第n行中任意两列像素中对应的两个像素点的像素相似度;RAn、GAn、BAn分别表示第n行中任意两列像素中其中一列像素点RGB值的红、绿、蓝值;RBn、GBn、BBn分别表示第n行中任意两列像素中另外一列像素点RGB值的红、绿、蓝值。
在一个实施例中,计算模块320,用于对每一帧图像进行缩放处理;对缩放处理后的图像中任意两列像素采用向量表示;根据向量表示后的任意两列像素来计算对应位置的两个像素的像素相似度。
在一个实施例中,目标视频文件包括多帧图像;相关性确定模块340,用于计算所有目标视频文件中的每一帧图像的像素相似度;将每一帧图像的像素相似度与待识别模板文件的平均相似度进行比较,当任一帧图像的像素相似度大于或等于平均相似度时,判定命中相应的目标视频文件的特征码,并统计命中各目标视频文件的特征码次数;当命中目标视频文件的特征码次数大于或等于预设次数时,确定待识别模板文件与特征码次数对应的目标视频文件相关。
在一个实施例中,相关性确定模块340,用于当命中目标视频文件的特征码次数小于预设次数时,确定待识别模板文件与特征码次数对应的目标视频文件不相关。
关于RPA异常处理装置的具体限定可以参见上文中对于方法的限定,在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中,也可以以软件形式存储于服务器中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
请参考图4,图4其示出了本申请实施例提供的一种服务器的结构框图。该服务器40可以是计算机设备。本申请中的服务器40可以包括一个或多个如下部件:处理器42、存储器44以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器44中并被配置为由一个或多个处理器42执行,一个或多个应用程序配置用于执行上述应用于RPA异常处理方法实施例中所描述的方法。
处理器42可以包括一个或者多个处理核。处理器42利用各种接口和线路连接整个服务器40内的各个部分,通过运行或执行存储在存储器44内的指令、程序、代码集或指令集,以及调用存储在存储器44内的数据,执行服务器40的各种功能和处理数据。可选地,处理器42可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器42可集成中央处理器(Central ProcessingUnit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器42中,单独通过一块通信芯片进行实现。
存储器44可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器44可用于存储指令、程序、代码、代码集或指令集。存储器44可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储服务器40在使用中所创建的数据等。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
综上,本申请实施例提供的服务器用于实现前述方法实施例中相应的RPA异常处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。
请参阅图5,其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质50中存储有程序代码,程序代码可被处理器调用执行上述RPA异常处理方法实施例中所描述的方法。
计算机可读取存储介质50可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质50包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质50具有执行上述方法中的任何方法步骤的程序代码52的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码52可以例如以适当形式进行压缩。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种RPA异常处理方法,其特征在于,所述方法包括:
获取待识别模板文件,其中所述待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的;
从所述待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度;
根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度;
基于所述平均相似度来确定所述待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;其中,所述特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件;
当所述待识别模板文件与任一个所述目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;其中,所述异常响应处理方案用于对RPA的异常进行处理。
2.根据权利要求1所述的方法,其特征在于,确定所述待识别模板文件,包括:
获取RPA流程发生异常时的录屏文件和异常任务信息;
对所述录屏文件进行视频识别,以提取视频中的关键信息;
根据所述关键信息和异常任务信息形成待识别模板文件。
3.根据权利要求1所述的方法,其特征在于,所述从所述待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度,包括:
从所述待识别模板文件的帧图像按照帧序列等间隔的提取多帧图像;
计算每一帧所述图像中任意两列像素中对应位置的两个像素的像素色差值;
计算每一帧所述图像中任意两列像素中对应位置的两个像素的像素相似度;
根据每一帧图像的像素色差值和所述像素相似度,来计算每一帧图像的权重系数以及最终相似度;
根据每一帧图像的权重系数和最终相似度采用加权方式计算出多帧图像的平均相似度。
4.根据权利要求3所述的方法,其特征在于,所述计算每一帧所述图像中任意两列像素中对应位置的两个像素的像素色差值,包括:
通过以下公式来计算所述像素色差值:
Figure FDA0003915399880000021
其中,Cn为第n行中任意两列像素中对应的两个像素点的像素色差值;RAn、GAn、BAn分别表示第n行中任意两列像素中其中一列像素点RGB值的红、绿、蓝值;RBn、GBn、BBn分别表示第n行中任意两列像素中另外一列像素点RGB值的红、绿、蓝值。
5.根据权利要求3所述的方法,其特征在于,所述计算每一帧所述图像中任意两列像素中对应位置的两个像素的像素相似度,包括:
对每一帧所述图像进行缩放处理;
对缩放处理后的图像中任意两列像素采用向量表示;
根据向量表示后的任意两列像素来计算对应位置的两个像素的像素相似度。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述目标视频文件包括多帧图像;所述基于所述平均相似度来确定所述待识别模板文件与预先建立的特征码库中所有目标视频文件相关性,包括:
计算所有目标视频文件中的每一帧图像的像素相似度;
将每一帧图像的像素相似度与所述待识别模板文件的平均相似度进行比较,当任一帧图像的所述像素相似度大于或等于所述平均相似度时,判定命中相应的目标视频文件的特征码,并统计命中各目标视频文件的特征码次数;
当命中目标视频文件的特征码次数大于或等于预设次数时,确定所述待识别模板文件与所述特征码次数对应的所述目标视频文件相关。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当命中目标视频文件的特征码次数小于预设次数时,确定所述待识别模板文件与所述特征码次数对应的所述目标视频文件不相关。
8.一种RPA异常处理装置,其特征在于,所述装置包括:
文件获取模块,用于获取待识别模板文件,其中所述待识别模板文件是根据在RPA流程发生异常时形成的录屏文件中提取的关键信息和异常任务信息确定的;
计算模块,用于从所述待识别模板文件中提取多帧图像,计算多帧图像的像素色差值和像素相似度;
平均相似度确定模块,用于根据多帧图像的像素色差值和像素相似度确定待识别模板文件的平均相似度;
相关性确定模块,用于基于所述平均相似度来确定所述待识别模板文件与预先建立的特征码库中所有目标视频文件相关性;其中,所述特征码库是基于历史异常识别模板文件建立的,包括多个目标视频文件;
方案确定模块,用于当所述待识别模板文件与任一个所述目标视频文件相关时,从预先建立的异常处理方案库中查询出与相关目标视频文件对应的异常响应处理方案;其中,所述异常响应处理方案用于对RPA的异常进行处理。
9.一种服务器,其特征在于,包括:
存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
CN202211336085.1A 2022-10-28 2022-10-28 Rpa异常处理方法、装置、服务器和可读存储介质 Pending CN115686906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211336085.1A CN115686906A (zh) 2022-10-28 2022-10-28 Rpa异常处理方法、装置、服务器和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211336085.1A CN115686906A (zh) 2022-10-28 2022-10-28 Rpa异常处理方法、装置、服务器和可读存储介质

Publications (1)

Publication Number Publication Date
CN115686906A true CN115686906A (zh) 2023-02-03

Family

ID=85046556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211336085.1A Pending CN115686906A (zh) 2022-10-28 2022-10-28 Rpa异常处理方法、装置、服务器和可读存储介质

Country Status (1)

Country Link
CN (1) CN115686906A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303104A (zh) * 2023-05-19 2023-06-23 南方电网数字电网研究院有限公司 自动化流程缺陷筛查管理方法、***和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303104A (zh) * 2023-05-19 2023-06-23 南方电网数字电网研究院有限公司 自动化流程缺陷筛查管理方法、***和可读存储介质
CN116303104B (zh) * 2023-05-19 2023-09-26 南方电网数字电网研究院有限公司 自动化流程缺陷筛查管理方法、***和可读存储介质

Similar Documents

Publication Publication Date Title
CN107463949B (zh) 一种视频动作分类的处理方法及装置
CN108230346B (zh) 用于分割图像语义特征的方法和装置、电子设备
CN108399052B (zh) 图片压缩方法、装置、计算机设备和存储介质
CN110222598B (zh) 一种视频行为识别方法、装置、存储介质和服务器
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN110071938B (zh) 虚拟形象互动方法、装置、电子设备及可读存储介质
CN113743607B (zh) 异常检测模型的训练方法、异常检测方法及装置
CN110969143A (zh) 基于图像识别的取证方法、***、计算机设备及存储介质
CN112789650A (zh) 检测半透明图像水印
CN115686906A (zh) Rpa异常处理方法、装置、服务器和可读存储介质
CN112348089A (zh) 工作状态识别方法、服务器、存储介质及装置
CN114003160A (zh) 数据可视化展示方法、装置、计算机设备和存储介质
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
CN115240203A (zh) 业务数据处理方法、装置、设备及存储介质
CN113421241A (zh) 异常事件上报方法、装置、计算机设备及存储介质
CN110781378B (zh) 数据图形化处理方法、装置、计算机设备及存储介质
EP3543902B1 (en) Image processing apparatus and method and storage medium storing instructions
CN111274145A (zh) 关系结构图生成方法、装置、计算机设备及存储介质
CN116343266A (zh) 图像人物识别方法及其装置、设备、介质、产品
US11645786B2 (en) Compressing digital images utilizing deep perceptual similarity
CN110796068A (zh) 社区泳池溺水检测方法及***
CN110598732A (zh) 一种基于图像识别的植物健康检测方法及装置
US11430488B2 (en) System and method for generating a compression invariant motion timeline
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN114241354A (zh) 仓库人员行为识别方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination