CN117671459B - 引导式rpa人工智能深度学习方法及*** - Google Patents

引导式rpa人工智能深度学习方法及*** Download PDF

Info

Publication number
CN117671459B
CN117671459B CN202410126390.0A CN202410126390A CN117671459B CN 117671459 B CN117671459 B CN 117671459B CN 202410126390 A CN202410126390 A CN 202410126390A CN 117671459 B CN117671459 B CN 117671459B
Authority
CN
China
Prior art keywords
file
task
user operation
image data
interface image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410126390.0A
Other languages
English (en)
Other versions
CN117671459A (zh
Inventor
来翔
张庆茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yuanlian Information Technology Co ltd
Original Assignee
Shandong Yuanlian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yuanlian Information Technology Co ltd filed Critical Shandong Yuanlian Information Technology Co ltd
Priority to CN202410126390.0A priority Critical patent/CN117671459B/zh
Publication of CN117671459A publication Critical patent/CN117671459A/zh
Application granted granted Critical
Publication of CN117671459B publication Critical patent/CN117671459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及机器人流程自动化领域，尤其涉及一种引导式RPA人工智能深度学习方法及***，该方法包括基于第一用户操作配置任务场景包；基于第二用户操作对预设可编辑文件进行处理，得到目标任务文件及包含第二用户操作的***界面变化的处理流程视频；根据处理流程视频及第三用户操作生成有序指令集及选定特征元素集；根据有序指令集和选定特征元素集生成任务工作流；针对任务场景包执行任务工作流得到执行结果文件；将目标任务文件与执行结果文件进行比对分析，确认任务工作流是否合格，目标任务文件与执行结果文件的对比结果能够引导用户调整任务工作流及对场景包进行更新，从而更好的掌握RPA流程的建立。

Description

引导式RPA人工智能深度学习方法及***
技术领域
本申请涉及机器人流程自动化领域，尤其涉及一种引导式RPA人工智能深度学习方法及***。
背景技术
机器人流程自动化（Robotic Process Automation，RPA）为模仿用户在计算机***中的手动操作方式，进而生成一种手动操作自动化流程的技术。RPA技术因能够大大减轻人力成本被广泛应用和学习。而现有的针对RPA建立的学习方法大多为先学习理论知识，然后根据实际应用场景建立相应的RPA流程。然而往往实际应用场景较为复杂，不利于新手对于RPA流程建立的学习。
发明内容
有鉴于此，有必要提供一种引导式RPA人工智能深度学习方法及***，能够让学习者自行设置应用场景并根据应用场景建立对应的RPA流程，则能够大大降低RPA流程学习的复杂性。
本申请的第一方面提供一种引导式RPA人工智能深度学习方法，所述方法包括：步骤S1，基于第一用户操作配置任务场景包，所述任务场景包包括至少一个预设可编辑文件；步骤S2，基于第二用户操作对所述至少一个预设可编辑文件进行处理，得到目标任务文件及包含所述第二用户操作的***界面变化的处理流程视频；步骤S3，根据所述处理流程视频及第三用户操作生成有序指令集及选定特征元素集，其中所述有序指令集中的每一个事件指令对应一个所述选定特征元素集中的选定特征元素；步骤S4，根据所述有序指令集和所述选定特征元素集生成任务工作流；步骤S5，针对所述任务场景包执行所述任务工作流得到执行结果文件；步骤S6，将所述目标任务文件与所述执行结果文件进行比对分析，确认所述任务工作流是否合格。
结合本申请的第一方面，在一种可能的实现方式中，所述处理流程视频为在执行所述第二用户操作的终端***内进行录屏所得到。
结合本申请的第一方面，在一种可能的实现方式中，所述第二用户操作的***界面中，光标在鼠标没有被点击的状态下被配置为第一标记点，光标在鼠标被点击状态或被拖动状态下被配置为第二标记点，键盘在按键的过程过会在预设区域显示与按键相对应的标记字符。
结合本申请的第一方面，在一种可能的实现方式中，所述步骤S3包括；对所述处理流程视频进行逐帧截取得到若干基于执行所述第二用户操作的界面图像数据；通过人工智能学习技术对若干所述界面图像数据进行去重，以删除重复的所述界面图像数据而仅保留一个不重复的所述界面图像数据并定义为标准界面图像数据，其中重复的所述界面图像数据为在所述第二用户操作的界面上不包含标记点变化或所述标记字符变化的至少两个所述界面图像数据，所述标记点包括第一标记点和所述第二标记点；对每一所述标准界面图像数据进行图像特征提取，得到一个事件指令，及与所述事件指令关联的一个或多个所述特征元素；针对每一所述标准界面图像数据，基于第三用户操作在一个或多个所述特征元素中确定一个所述选定特征元素，基于同一所述标准界面图像数据确定的所述事件指令与所述选定特征元素一一对应关联；将所有的基于所述标准界面图像数据确定的所述事件指令依据所述标准界面图像数据在所述处理流程视频中出现的先后顺序进行排序得到所述有序指令集；根据所述有序指令集中所述事件指令的先后顺序对所有的所述选定特征元素进行排序得到所述选定特征元素集。
结合本申请的第一方面，在一种可能的实现方式中，所述对每一所述标准界面图像数据进行图像特征提取，得到一个事件指令，及与所述事件指令关联的一个或多个所述特征元素的步骤包括：对每一所述标准界面图像数据，根据所述第一标记点、所述第二标记点或所述标记字符生成所述事件指令；将所述第一标记点或所述第二标记点周围预设范围内的一个或多个样式提取为所述特征元素，所述样式为图片、汉字、图形中的一种。
结合本申请的第一方面，在一种可能的实现方式中，所述预设可编辑文件为：word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种；所述第一用户操作包括新建所述预设可编辑文件和/或对所述预设可编辑文件进行编辑、复制、剪切、删除、压缩、解压缩操作中的一种或多种。
结合本申请的第一方面，在一种可能的实现方式中，所述第二用户操作包括对所述预设可编辑文件进行编辑、复制、剪切、删除、压缩、解压缩、编译中的一种或多种，所述目标任务文件为word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。
结合本申请的第一方面，在一种可能的实现方式中，所述任务工作流为执行以下步骤：依据所述有序指令集中的所述事件指令出现的顺序先后依次执行n次步骤S51至步骤S53，n为所述有序指令集中的所述事件指令的数量；步骤S51，在操作界面中搜寻第i个所述选定特征元素，并将鼠标的光标移动至所述选定特征元素，其中i小于等于n，i的初始值为1；步骤S52，执行与第i个所述选定特征元素对应的第i个所述事件指令；步骤S53，判断i是否等于n，若i不等于n，则令i=i+1后跳回执行步骤S51，若i等于n，则结束循环并得到所述执行结果文件；其中，所述执行结果文件为word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。
结合本申请的第一方面，在一种可能的实现方式中，所述步骤S6包括：将所述目标任务文件与所述执行结果文件进行数据和/或图像比对分析，当所述目标任务文件与所述执行结果文件的所有比对一致时则认定所述任务工作流合格，当所述目标任务文件与所述执行结果文件的出现不一致时则认定所述任务工作流不合格。
本申请的第二方面提供一种引导式RPA人工智能深度学习***，包括：配置模块，用于基于第一用户操作配置任务场景包，所述任务场景包包括至少一个预设可编辑文件；第一处理模块，用于基于第二用户操作对所述至少一个预设可编辑文件进行处理，得到目标任务文件；视频生成模块，用于基于第二用户操作对所述至少一个预设可编辑文件进行处理，得到包含所述第二用户操作的界面变化的处理流程视频；指令提取模块，用于根据所述处理流程视频生成有序指令集；元素提取模块，用于根据所述处理流程视频及第三用户操作生成选定特征元素集，其中所述有序指令集中的每一个事件指令对应一个所述选定特征元素集中的选定特征元素；工作流生成模块，用于根据所述有序指令集和所述选定特征元素集生成任务工作流；第二处理模块，用于针对所述任务场景包执行所述任务工作流得到执行结果文件；比对分析模块，用于将所述目标任务文件与所述执行结果文件进行比对分析，确认所述任务工作流是否合格。
在一种可能的实现方式中，上述第一方面的任一种可能的实现方式均可应用于本申请的第二方面。
本申请相比于现有技术，至少具有如下有益效果：
通过由用户自己配置场景包的方式，能够让用户自行决定RPA流程建立的类型以及难易程度，例如用户可以配置与希望建立的实际的RPA流程相类似的，但是更为简单易上手的场景包进行RPA流程建立的练习，通过目标任务文件与执行结果文件的对比结果能够给到用户反馈，以引导用户进一步调整任务工作流，例如可以对特征元素进行调整，对事件指令执行的时机调整等。当用户当前任务工作流合格时，用户可自行配置难度更大的场景包以进行练习，也就是说，目标任务文件与执行结果文件的对比结果能够引导用户进一步对场景包进行更新，从而更好的掌握RPA流程的建立。
附图说明
图1为本申请一实施例提供的引导式RPA人工智能深度学习方法的流程示意图。
图2为本申请一实施例图1中步骤S3的子流程的示意图。
图3为本申请一实施例图2中步骤S33的子流程的示意图。
图4为本申请一实施例提供的任务工作流执行的流程示意图。
图5为本申请一实施例提供的引导式RPA人工智能深度学习***的模块示意图。
图6为本申请一实施例提供的电子设备的示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
100、引导式RPA人工智能深度学习***；10、配置模块；20、第一处理模块；30、视频生成模块；40、指令提取模块；50、元素提取模块；60、工作流生成模块；70、第二处理模块；80、比对分析模块；200、电子设备；210、存储器；211、计算机程序；220、处理器。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互之间组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。
请参阅图1，本申请实施例提供一种引导式RPA人工智能深度学习方法，包括以下步骤。
步骤S1，基于第一用户操作配置任务场景包，其中任务场景包包括至少一个预设可编辑文件。
可以理解，本申请的实施例中对预设可编辑文件的具体类型不作限制。示例性地，预设可编辑文件为：word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。其中，每一种文件可以为常见的格式类型，例如email文件可以是html文件格式、rtf文件格式或eml文件格式等文件格式。
在一种可能的实现方式中，第一用户操作包括新建预设可编辑文件和/或对预设可编辑文件进行编辑、复制、剪切、删除、压缩、解压缩等操作中的一种或多种。
可以理解，预设可编辑文件可以预先有相应的模板存储在给用户进行操作的操作***内，也可以是用户基于操作***所自带的软件实时的建立新的预设可编辑文件，本申请实施例对此不作限制。
步骤S2，基于第二用户操作对至少一个预设可编辑文件进行处理，得到目标任务文件及处理流程视频。
在本步骤S2中，处理流程视频包含第二用户操作的***界面变化过程。在一种可能的实现方式中，处理流程视频为在执行第二用户操作的终端***内进行录屏所得到。可以理解，在进行操作的终端***内进行录屏能够一定程度上确保最终得到的处理流程视频的分辨率合格。
在一些实施例中，为了在处理流程视频中能够清晰的显示鼠标和键盘的动作触发情况，操作***对鼠标和键盘的动作触发做了相应的标记。例如对光标以标记点的方式进行显示，对键盘的按键触发以标记字符的方式进行显示。
在一种可能的实现方式中，执行第二用户操作的***界面中，光标在鼠标没有被点击的状态下被配置为第一标记点，光标在鼠标被点击状态或被拖动状态下被配置为第二标记点，键盘在按键的过程中会在预设区域显示与按键相对应的标记字符。其中，第一标记点与第二标记点的形式不同，例如第二标记点为第一标记点放大后的图形，标记字符为键盘上的按键符号。
可以理解，第二用户操作包括对预设可编辑文件进行编辑、复制、剪切、删除、压缩、解压缩、编译中的一种或多种。
可以理解，目标任务文件与预设可编辑文件的格式基本相似，示例性地，目标任务文件为word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。
步骤S3，根据处理流程视频及第三用户操作生成有序指令集及选定特征元素集。其中有序指令集中的每一个事件指令对应一个选定特征元素集中的选定特征元素。
请参阅图2，所示为图1中步骤S3的子流程示意图。如图3所示，步骤S3包括以下子步骤。
步骤S31，对处理流程视频进行逐帧截取得到若干基于第二用户操作的界面图像数据。
可以理解，在本步骤S31中对处理流程视频进行逐帧截取能够获得大量的记录第二用户操作的界面图像数据，该界面图像数据内包含上述对预设可编辑文件进行处理的图像，进而也包括在处理过程中出现的上述标记点和标记符号。在本申请实施例中界面图像数据的具体表现形式不作限制，界面图像数据可以是常规的图像格式也可以是用矩阵形式表示的数字图像。
可以理解，由于采取的是逐帧截取的方式，相邻的若干界面图像数据中包含大量重复的界面图像数据。
步骤S32，通过人工智能学习技术对若干界面图像数据进行去重，以删除重复的界面图像数据而仅保留一个不重复的界面图像数据并定义为标准界面图像数据。
在一种可能的实现方式中，重复的界面图像数据为在执行第二用户操作的界面上不包含标记点变化或标记字符变化的至少两个界面图像数据，标记点包括第一标记点和第二标记点。
可以理解，由于相邻的若干界面图像数据中包含大量重复的界面图像数据，这些界面图像数据之所以被界定为重复，是因为在图像上没有表现出变化，例如没有出现第一标记点、第二标记点、标记字符中的任何一个的产生、消失和移动。为了简化模型，这些重复的界面图像数据只需要保留一个进行后续的图像特征提取，而其他的重复的界面图像数据可以进行删除。
在一种可能的实现方式中，上述不重复的界面图像数据是根据在处理流程视频中出现的先后顺序进行排列的。如此，可以便于记录界面图像数据中特征或元素的变化情况。
步骤S33，对每一标准界面图像数据进行图像特征提取，得到一个事件指令，及与事件指令关联的一个或多个特征元素。
请一并参阅图3，所示为图2中步骤S33的子流程示意图。如图3所示，步骤S33又包括以下子步骤。
步骤S331，对每一标准界面图像数据，根据第一标记点、第二标记点或标记字符生成事件指令。
可以理解，事件指令可以包括多种，例如点击事件、拖动事件和按键事件等。其中，点击事件代表操作者对鼠标进行点击，相应的在处理流程视频中就会将光标的形态由第一标记点变为第二标记点。拖动事件代表操作者在鼠标进行点击的状态下进行了光标的拖动，相应的在处理流程视频中就会显示第二标记点在图像的不同位置之间进行了移动。按键事件代表操作者利用键盘进行了字符的输入，相应的在处理视频中就会在预设的区域，例如在预设的空白区域显示键盘上按键所对应的字符。
在一种可能的实现方式中，根据标准界面图像数据中出现的对应的标记点或标记字符生成相应的事件指令。例如，当标准界面图像数据出现第二标记点时，则生成点击事件。
步骤S332，将第一标记点或第二标记点周围预设范围内的一个或多个样式提取为特征元素。其中样式为图片、汉字、图形中的一种。
可以理解，在鼠标进行点击或者键盘进行按键前，操作者一般需要将鼠标的光标移动到特定的位置。而这些特定的位置一般属于某一种样式。举例而言，当操作者需要在某一横线上或某一方框内输入文字的时候，则需要先将光标移动至该横线上或者移动至该方框内。再例如，当操作者需要点击某一按钮或点击某一具有超链接的文字时，需要将光标移动至该按钮样式或该超链接的文字上。再例如，当操作者需要将某一图像由一个位置移动至另一个位置时，需要先将光标移动至该图像的初始位置。
在本步骤S322中，正是将这些光标需要移动到的位置进行特征元素的提取，这种提取形式可以是图片、汉字、图像中的一种。
可以理解，预设范围可以根据界面图像数据的分辨率确认，本申请的实施例对此不作限制。
步骤S34，针对每一标准界面图像数据，基于第三用户操作在一个或多个特征元素中确定一个选定特征元素。其中，基于同一标准界面图像数据确定的事件指令与选定特征元素一一对应关联。
可以理解，由于分辨率、上述样式在图像中的布局方式等原因，用户在将光标进行移动的过程中，可能光标会接触多个样式，因此在一个标准界面图像数据中可能被提取到多个特征元素。
此时需要用户执行第三用户操作以在多个上述特征元素中选择一个真正需要关联的特征元素，将其定义为选定特征元素。该选定特征元素与同一标准界面图像数据中确定的事件指令为一一对应的关系。如此，能够确保在后续流程建立的过程中，每一个事件指令只能由同一界面中的一个特征元素所关联，也就是说，***只有在光标移动至该特征元素时才可以触发相应的事件指令。
步骤S35，将所有的基于标准界面图像数据确定的事件指令进行排序得到有序指令集。其中排序依据为标准界面图像数据在处理流程视频中出现的先后顺序。
可以理解，由于事件指令的触发应当按照操作流程的顺序进行，因此，需要对事件指令依据在多个标准界面图像数据中的出现的顺序进行排序。
步骤S36，所有的选定特征元素进行排序得到选定特征元素集。其中排序依据为有序指令集中事件指令的先后顺序。
可以理解，由于选定特征元素与事件指令是一一对应的，选定特征元素应当按照与事件指令相同的顺序进行排序。
步骤S4，根据有序指令集和选定特征元素集生成任务工作流。
可以理解，依据有序指令集和选定特征元素，即可根据有序指令集中每个事件指令出现的先后顺序进行流程建立，其中每个事件指令都需要一个选定特征元素进行相应的触发。
步骤S5，针对任务场景包执行任务工作流得到执行结果文件。
请一并参阅图4，所示为任务工作流的执行步骤。
依据有序指令集中的事件指令出现的顺序先后依次执行n次步骤S51至步骤S53，其中n为有序指令集中的事件指令的数量。
步骤S51，在操作界面中搜寻第i个选定特征元素，并将鼠标的光标移动至选定特征元素，其中i小于等于n，i的初始值为1。
步骤S52，执行与第i个选定特征元素对应的第i个事件指令。
步骤S53，判断i是否等于n，若i不等于n，则令i=i+1后跳回执行步骤S51，若i等于n，则结束循环并得到执行结果文件。
可以理解，最终得到的执行结果文件为word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。在流程执行正确的情况下，该执行结果文件的格式应当与目标任务文件的格式相同。
步骤S6，将目标任务文件与执行结果文件进行比对分析，确认任务工作流是否合格。
在一种可能的实现方式中，步骤S6包括：将目标任务文件与执行结果文件进行数据和/或图像比对分析，当目标任务文件与执行结果文件的所有比对一致时则认定任务工作流合格，当目标任务文件与执行结果文件出现不一致时则认定任务工作流不合格。
本申请的实施例通过由用户自己配置场景包的方式，能够让用户自行决定RPA流程建立的类型以及难易程度，例如用户可以配置与希望建立的实际的RPA流程相类似的，但是更为简单易上手的场景包进行RPA流程建立的练习，通过目标任务文件与执行结果文件的对比结果能够给到用户反馈，以引导用户进一步调整任务工作流，例如可以对特征元素进行调整，对事件指令执行的时机调整等。当用户当前任务工作流合格时，用户可自行配置难度更大的场景包以进行练习，也就是说，目标任务文件与执行结果文件的对比结果能够引导用户进一步对场景包进行更新，从而更好的掌握RPA流程的建立。
请一并参阅5，所示为引导式RPA人工智能深度学习***的模块示意图。
如图5所示，引导式RPA人工智能深度学习***100包括：配置模块10、第一处理模块20、视频生成模块30、指令提取模块40、元素提取模块50、工作流生成模块60、第二处理模块70及比对分析模块80。
配置模块10用于基于第一用户操作配置任务场景包，任务场景包包括至少一个预设可编辑文件。可以理解，配置模块10的详细描述可参上述步骤S1，在此不再赘述。
第一处理模块20用于基于第二用户操作对至少一个预设可编辑文件进行处理，得到目标任务文件。可以理解，第一处理模块20的详细描述可参上述步骤S2，在此不再赘述。
视频生成模块30用于基于第二用户操作对至少一个预设可编辑文件进行处理，得到包含第二用户操作的界面变化的处理流程视频。可以理解，视频生成模块30的详细描述可参上述步骤S2，在此不再赘述。
指令提取模块40用于根据处理流程视频生成有序指令集。可以理解，指令提取模块40的详细描述可参上述步骤S3及其子流程步骤，在此不再赘述。
元素提取模块50用于根据处理流程视频及第三用户操作生成选定特征元素集，其中有序指令集中的每一个事件指令对应一个选定特征元素集中的选定特征元素。可以理解，元素提取模块50的详细描述可参上述步骤S3及其子流程步骤，在此不再赘述。
工作流生成模块60用于根据有序指令集和选定特征元素集生成任务工作流。可以理解，工作流生成模块60的详细描述可参上述步骤S4，在此不再赘述。
第二处理模块70用于针对任务场景包执行任务工作流得到执行结果文件。可以理解，第二处理模块70的详细描述可参上述步骤S5及其子流程步骤，在此不再赘述。
比对分析模块80用于将目标任务文件与执行结果文件进行比对分析，确认任务工作流是否合格。可以理解，比对分析模块80的详细描述可参上述步骤S6，在此不再赘述。
可以理解，引导式RPA人工智能深度学习***100相应的效果可参考上述引导式RPA人工智能深度学习方法所带来的效果。
请一并参阅图6，本申请实施例还提供一种电子设备200。
所述电子设备200包括存储器210、处理器220以及存储在所述存储器210中并可在所述处理器220上运行的计算机程序211。所述处理器220执行所述计算机程序211时实现上述引导式RPA人工智能深度学习方法实施例中的步骤，例如图1所示的步骤S1至步骤S6，以及其中任何一个步骤的子流程步骤。或者，所述处理器220执行所述计算机程序211时实现上述用于引导式RPA人工智能深度学习***100的实施例中各模块/单元的功能，例如图5中的各个模块。
示例性的，所述计算机程序211可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器210中，并由所述处理器220执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序211在所述电子设备200中的执行过程。例如，所述计算机程序211可以被分割成图5中的配置模块10、第一处理模块20、视频生成模块30、指令提取模块40、元素提取模块50、工作流生成模块60、第二处理模块70及比对分析模块80，各模块具体功能参见上述引导式RPA人工智能深度学习***100的实施例。
本领域技术人员可以理解，所述示意图仅仅是电子设备200的示例，并不构成对电子设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备200还可以包括输入输出设备、网络接入设备、总线等。
所称处理器220可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器220也可以是任何常规的处理器等，所述处理器220是所述电子设备200的控制中心，利用各种接口和线路连接整个电子设备200的各个部分。
所述存储器210可用于存储所述计算机程序211和/或模块/单元，所述处理器220通过运行或执行存储在所述存储器210内的计算机程序和/或模块/单元，以及调用存储在存储器210内的数据，实现所述电子设备200的各种功能。所述存储器210可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备200的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器210可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
可以理解，以上所描述的电子设备200的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本发明实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质中存储有程序指令，程序指令在计算设备上运行时，使得计算设备执行前述实施例提供的引导式RPA人工智能深度学习方法。
本技术领域的技术人员应当认识到，以上的实施方式仅是用来说明本申请，而并非用作为对本申请的限定，只要在本申请的实质精神范围之内，对以上实施例所作的适当改变和变化应该落在本申请要求保护的范围之内。

Claims (7)

1.一种引导式RPA人工智能深度学习方法，其特征在于，包括：
步骤S1，基于第一用户操作配置任务场景包，所述任务场景包包括至少一个预设可编辑文件；
步骤S2，基于第二用户操作对所述至少一个预设可编辑文件进行处理，得到目标任务文件及包含所述第二用户操作的***界面变化的处理流程视频；
步骤S3，根据所述处理流程视频及第三用户操作生成有序指令集及选定特征元素集，其中所述有序指令集中的每一个事件指令对应一个所述选定特征元素集中的选定特征元素；
步骤S4，根据所述有序指令集和所述选定特征元素集生成任务工作流；
步骤S5，针对所述任务场景包执行所述任务工作流得到执行结果文件；
步骤S6，将所述目标任务文件与所述执行结果文件进行比对分析，确认所述任务工作流是否合格；
所述第二用户操作的***界面中，光标在鼠标没有被点击的状态下被配置为第一标记点，光标在鼠标被点击状态或被拖动状态下被配置为第二标记点，键盘在按键的过程中会在预设区域显示与按键相对应的标记字符，所述标记字符为键盘上的按键符号；
所述步骤S3包括；
对所述处理流程视频进行逐帧截取得到若干基于执行所述第二用户操作的界面图像数据；
通过人工智能学习技术对若干所述界面图像数据进行去重，以删除重复的所述界面图像数据而仅保留一个不重复的所述界面图像数据并定义为标准界面图像数据，其中重复的所述界面图像数据为在所述第二用户操作的界面上不包含标记点变化或所述标记字符变化的至少两个所述界面图像数据，所述标记点包括第一标记点和所述第二标记点；
对每一所述标准界面图像数据进行图像特征提取，得到一个事件指令，及与所述事件指令关联的一个或多个所述特征元素，其中，包括对每一所述标准界面图像数据，根据所述第一标记点、所述第二标记点或所述标记字符生成所述事件指令，将所述第一标记点或所述第二标记点周围预设范围内的一个或多个样式提取为所述特征元素，所述样式为图片、汉字、图形中的一种；
针对每一所述标准界面图像数据，基于第三用户操作在一个或多个所述特征元素中确定一个所述选定特征元素，基于同一所述标准界面图像数据确定的所述事件指令与所述选定特征元素一一对应关联；
将所有的基于所述标准界面图像数据确定的所述事件指令依据所述标准界面图像数据在所述处理流程视频中出现的先后顺序进行排序得到所述有序指令集；
根据所述有序指令集中所述事件指令的先后顺序对所有的所述选定特征元素进行排序得到所述选定特征元素集。
2.如权利要求1所述的方法，其特征在于，所述处理流程视频为在执行所述第二用户操作的终端***内进行录屏所得到。
3.如权利要求1所述的方法，其特征在于，所述预设可编辑文件为：word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种；
所述第一用户操作包括新建所述预设可编辑文件和/或对所述预设可编辑文件进行编辑、复制、剪切、删除、压缩、解压缩操作中的一种或多种。
4.如权利要求1所述的方法，其特征在于，所述第二用户操作包括对所述预设可编辑文件进行编辑、复制、剪切、删除、压缩、解压缩、编译中的一种或多种，所述目标任务文件为word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。
5.如权利要求1所述的方法，其特征在于，所述任务工作流为执行以下步骤：依据所述有序指令集中的所述事件指令出现的顺序先后依次执行n次步骤S51至步骤S53，n为所述有序指令集中的所述事件指令的数量；步骤S51，在操作界面中搜寻第i个所述选定特征元素，并将鼠标的光标移动至所述选定特征元素，其中i小于等于n，i的初始值为1；步骤S52，执行与第i个所述选定特征元素对应的第i个所述事件指令；步骤S53，判断i是否等于n，若i不等于n，则令i=i+1后跳回执行步骤S51，若i等于n，则结束循环并得到所述执行结果文件；其中，所述执行结果文件为word文件、excel文件、ppt文件、pdf文件、email文件、网页文件、图片、文本文件、二进制文件、数据库文件、文件夹、压缩格式文件中的一种。
6.如权利要求1所述的方法，其特征在于，所述步骤S6包括：将所述目标任务文件与所述执行结果文件进行数据和/或图像比对分析，当所述目标任务文件与所述执行结果文件的所有比对一致时则认定所述任务工作流合格，当所述目标任务文件与所述执行结果文件出现不一致时则认定所述任务工作流不合格。
7.一种引导式RPA人工智能深度学习***，其特征在于，所述***用于实现如权利要求1所述的方法，所述***包括：
配置模块，用于基于第一用户操作配置任务场景包，所述任务场景包包括至少一个预设可编辑文件；
第一处理模块，用于基于第二用户操作对所述至少一个预设可编辑文件进行处理，得到目标任务文件；
视频生成模块，用于基于第二用户操作对所述至少一个预设可编辑文件进行处理，得到包含所述第二用户操作的界面变化的处理流程视频；
指令提取模块，用于根据所述处理流程视频生成有序指令集；
元素提取模块，用于根据所述处理流程视频及第三用户操作生成选定特征元素集，其中所述有序指令集中的每一个事件指令对应一个所述选定特征元素集中的选定特征元素；
工作流生成模块，用于根据所述有序指令集和所述选定特征元素集生成任务工作流；
第二处理模块，用于针对所述任务场景包执行所述任务工作流得到执行结果文件；
比对分析模块，用于将所述目标任务文件与所述执行结果文件进行比对分析，确认所述任务工作流是否合格。
CN202410126390.0A 2024-01-30 2024-01-30 引导式rpa人工智能深度学习方法及*** Active CN117671459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410126390.0A CN117671459B (zh) 2024-01-30 2024-01-30 引导式rpa人工智能深度学习方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410126390.0A CN117671459B (zh) 2024-01-30 2024-01-30 引导式rpa人工智能深度学习方法及***

Publications (2)

Publication Number Publication Date
CN117671459A CN117671459A (zh) 2024-03-08
CN117671459B true CN117671459B (zh) 2024-06-11

Family

ID=90064365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410126390.0A Active CN117671459B (zh) 2024-01-30 2024-01-30 引导式rpa人工智能深度学习方法及***

Country Status (1)

Country Link
CN (1) CN117671459B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160965A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种视频处理方法及电子设备
CN115878003A (zh) * 2022-11-28 2023-03-31 中科曙光南京研究院有限公司 一种基于Transformer的RPA网页操作自动化方法及***
CN115878081A (zh) * 2023-02-23 2023-03-31 安徽思高智能科技有限公司 一种基于流程发现的高价值rpa需求分析***
CN117114385A (zh) * 2023-09-22 2023-11-24 国网安徽省电力有限公司铜陵供电公司 一种基于ai智能学习的rpa流程生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970097B2 (en) * 2019-06-19 2021-04-06 Sap Se Adaptive web-based robotic process automation
KR20230005246A (ko) * 2020-05-01 2023-01-09 블루 프리즘 리미티드 로봇 프로세스 자동화를 위한 시스템 및 방법들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160965A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种视频处理方法及电子设备
CN115878003A (zh) * 2022-11-28 2023-03-31 中科曙光南京研究院有限公司 一种基于Transformer的RPA网页操作自动化方法及***
CN115878081A (zh) * 2023-02-23 2023-03-31 安徽思高智能科技有限公司 一种基于流程发现的高价值rpa需求分析***
CN117114385A (zh) * 2023-09-22 2023-11-24 国网安徽省电力有限公司铜陵供电公司 一种基于ai智能学习的rpa流程生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Business Process Representation Analysis in the RPA Context";Virginia Niculescu等;《2023 IEEE 47th Annual Computers, Software, and Applications Conference (COMPSAC)》;20230802;第1-4页 *
"状态变化事件与实现事件的概念界定";贾红霞等;《外语教学》;20150131;第22-27页 *

Also Published As

Publication number Publication date
CN117671459A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN107544806B (zh) 可视化表单绘制方法
CN108628741B (zh) 网页页面测试方法、装置、电子设备和介质
DE112008004156B4 (de) System und verfahren für einen gestenbasierten editiermodus und computerlesbares medium hierfür
US9459780B1 (en) Documenting interactive graphical designs
CN108491369B (zh) 一种交互式课件制作方法
CN113608805B (zh) 掩膜预测方法、图像处理方法、显示方法及设备
CN111401562A (zh) 一种终端界面中量子线路的运行方法及装置
CN112486377A (zh) 文本编辑方法、装置和电子设备
CN115658523A (zh) 一种人机交互界面的自动控制及测试方法和计算机设备
CN111258434A (zh) 在聊天界面***图片的方法、装置、设备及存储介质
US5272767A (en) Interactive data analysis with crossbar control
CN117671459B (zh) 引导式rpa人工智能深度学习方法及***
CN117078181A (zh) 一种电力交易业务数据处理流程自动化方法与***
CN106998489A (zh) 一种焦点越界搜索方法及装置
CN111325348A (zh) 一种量子线路的显示方法、装置、存储介质和电子装置
CN110619116A (zh) 一种数据处理方法、装置、终端及存储介质
CN115858049A (zh) Rpa流程组件化编排方法、装置、设备和介质
CN111782309B (zh) 显示信息的方法、装置及计算机可读存储介质
US9972109B2 (en) Implementing out of order access to reversal operations in images
So OLCA: An on-line circuit analysis system
CN115917446A (zh) 用于机器人过程自动化的***和方法
JPH0417002A (ja) シーケンス・プログラムのサーチ方式
US10998004B1 (en) Method and apparatus for generating a video based on a process
CN118070062A (zh) 深度学习模型自动化生成方法、装置以及存储介质
CN115509414A (zh) 一种日志分析平台的概览调整方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant