CN115686540A

CN115686540A - 基于鸿蒙的rpa控制方法及

Info

Publication number: CN115686540A
Application number: CN202310000656.2A
Authority: CN
Inventors: 赵明; 高晨
Original assignee: Hangzhou Real Intelligence Technology Co ltd
Current assignee: Hangzhou Real Intelligence Technology Co ltd
Priority date: 2023-01-03
Filing date: 2023-01-03
Publication date: 2023-02-03
Anticipated expiration: 2043-01-03
Also published as: CN115686540B

Abstract

本发明属于计算机技术领域，具体涉及基于鸿蒙***的RPA控制方法及***。方法包括S1，采用标准的队列模式进行RPA流程任务的调度，并上报任务执行结果到RPA任务调度中心；S2，使用鸿蒙RPA机器人集成RPA流程任务，并采用Jython语言作为流程脚本执行引擎；S3，鸿蒙RPA机器人使用无障碍服务AccessibilityService作为界面操作的核心监听服务，通过AccessibilityService服务运行在后台中，监听AccessibilityEvent接收指定事件的回调，来识别当前界面的相关元素操作；S4，通过使用python语言，对现有的功能操作进行组件封装操作。本发明具有执行效率高、使用成本低、流程运行轻量化、流程开发门槛低的特点。

Description

基于鸿蒙***的RPA控制方法及***

技术领域

本发明属于计算机技术领域，具体涉及基于鸿蒙***的RPA控制方法及***。

背景技术

RPA（Robotic Process Automation，简称RPA）是机器人流程自动化的简称，它是一种利用软件代替或者协助人类在计算机、手机等数字化设备中完成重复性工作与任务，替代人工完成自动化。它是一种新兴的数字化工具，可以帮助企业或员工完成重复、单调的流程性工作，减少人工错误，提高运营效率，降低运营成本。

鸿蒙（Harmony OS）是一个手机移动端的开放式操作***。截止目前，基于鸿蒙***的RPA实现方案有以下几种：

1.基于appium实现的RPA控制方案：

该方案是一个开源技术框架，它是一个W3C WebDriver协议的跨平台实现，可以用于各种不同的设备实现自动化操作。

appium通常用于原生、融合开发、Web应用的自动化测试，是当前移动平台上主流的自动化测试工具之一，底层技术基于Selenium。Selenium是一个用于Web架构的测试工具，提供了一组自动化测试命令，支持多种语言。在流程执行时，完整的流程如图1所示。

① 发送命令：一个RPA流程包含多个需要操作的指令，在需要触发鸿蒙手机操作时，RPA引擎会发送appium可以识别的执行命令；

② 执行命令：appium接收到执行命令后，根据鸿蒙***操作驱动转换为鸿蒙***可识别的设备命令，具体可能会是一个shell命令或一个触发事件。鸿蒙手机通过USB连接线或Wifi进行连接，appium将转换过的命令发送至鸿蒙***执行；

③ 发送响应：鸿蒙***执行完成命令后，会有响应数据。通过标准输出的方式将执行结果返回给appium。通常 ②和③ 这两步是同步执行的，电脑端执行命令发送后会一直等待响应结果；

④ 传递响应：appium通过函数返回或回调的方式将执行结果返回给RPA流程，继续后续的流程执行或逻辑处理。

可以看出一个完整的RPA流程需要分步执行，和鸿蒙***进行交互的组件操作都需要完整经历步骤①-④，这种RPA执行方案的优点是开源人人都可用，缺点是执行效率低。

2.基于HDC实现的RPA控制方案：

HDC（Harmony Device Connector）是鸿蒙***的设备连接调试命令行工具，该工具可以跨平台运行在 Windows、Linux或OSX上，通常为开发人员日常开发提供便利。该工具主要有3部分构成：

（1）HDC Client端：运行在电脑端，为用户提供命令发送的功能。

（2）HDC Daemon端：运行在鸿蒙***设备上，主要用于处理来自Client端的请求。

（3）HDC Server端：运行在鸿蒙***开发手机上，Server端管理Client和Daemon之间的通讯包括连接复用、数据通信包分发，和部分本地命令执行。

通过RPA组件与HDC的交互，可以实现控制鸿蒙***，完成RPA的手机交互操作。完整的执行流程如图2所示。图2中的OpenHarmony指一种开源分布式操作***。

① RPA流程在执行过程中，将具体的任务拆解为RPA原子化组件的执行，调用RPA组件；

② RPA组件是对HDC相关命令的封装，组件调度在接收到RPA流程传递的组件调度后，转换为HDC相关命令执行方式，开始HDC发起调用；

③ 鸿蒙设备通过USB数据线与电脑连接，电脑的HDC Client 根据设备识别号绑定鸿蒙***，将接收到的手机操作命令发送给鸿蒙***。

④ 鸿蒙手机***接收到来自电脑端的执行指令后，完成指令执行，同时将执行的结果通过同步的方式返回给HDC Client；

⑤ HDC通过标准输出的方式将结果返回给RPA组件调度；

⑥ 组件调度对结果进行解析和进一步封装，通过函数返回或回调的方式将结果传递到RPA流程，RPA流程根据返回的结果继续进行下一步的操作或执行。

可以看出，该种方案是对appium相关方案的进一步优化，提出了组件调度层，优化流程的编写和执行。

现有的鸿蒙RPA流程执行方案，整体架构都如图3所示：

其中，RPA任务调度中心负责任务的调度，运行在服务端的调度程序；RPA机器人是负责RPA流程的执行，运行在电脑端，通过USB数据线鸿蒙***连接；手机RPA驱动是运行在鸿蒙***上，负责具体原子化任务的运行。

这样的架构方式存以下缺点：

1.流程执行串行效率低。通常一个完整的RPA流程包含了大量的手机执行步骤和逻辑判断，现有的方案架构下，涉及到手机执行的步骤都需要按照执行步骤串行发送到鸿蒙手机***。每一个步骤都需要经历多个过程，而且每个过程执行需要串行等待，过程中涉及到的输入参数和输出参数需要通过数据线/Wifi进行反复传递，特别对于手机数据采集的流程会出现数据大量传递，导致执行时间过长。因此整体流程执行效率较低。

2.RPA流程依赖过多的物理设备。通过现有的架构执行RPA流程，至少需要独占一台电脑进行RPA流程的执行，而鸿蒙手机***本身就是一台微型计算机，从资源利用率的角度看这无疑不是一个最优解。

3.使用自动化测试组件导致流程开发门槛高。现有的鸿蒙***RPA方案都是基于开源的自动化测试框架进行开发，而自动化测试方案针对的人群和使用场景和RPA不完全相同，因此在RPA流程开发过程中会出现开发门槛高、业务组件化缺失的问题，很大程度阻碍RPA流程开发向轻量化便捷化方向发展。

因此，设计一种执行效率高、使用成本低、流程运行轻量化、流程开发门槛低的基于鸿蒙***的RPA控制方法及***，就显得十分重要。

发明内容

本发明是为了克服现有技术中，现有鸿蒙RPA流程执行方案，存在依赖性强、执行效率低和流程开发门槛高的问题，提供了一种执行效率高、使用成本低、流程运行轻量化、流程开发门槛低的基于鸿蒙***的RPA控制方法及***。

为了达到上述发明目的，本发明采用以下技术方案：

基于鸿蒙***的RPA控制方法，包括如下步骤；

S1，RPA流程调度，其中，所述RPA流程调度采用标准的队列模式进行RPA流程任务的调度，并上报任务执行结果到RPA任务调度中心；

S2，任务执行过程，其中，所述任务执行过程使用鸿蒙RPA机器人集成RPA流程任务，并采用Jython语言作为流程脚本执行引擎；

S3，UI（用户界面）元素组件识别，其中，所述UI元素组件识别使用鸿蒙RPA机器人无障碍服务AccessibilityService作为界面操作的核心监听服务，通过AccessibilityService服务运行在后台中，监听AccessibilityEvent接收指定事件的回调，来识别当前界面的相关元素操作；

S4，组件封装，其中，所述组件封装通过使用python语言，对现有的功能操作进行组件封装操作。

作为优选，步骤S1包括如下步骤：

S11，鸿蒙RPA机器人启动后，从RPA任务调度中心获取RPA任务；

S12，判断获取到的RPA任务是否为空，如果不是空任务，则开始执行步骤S13，否则返回步骤S11；

S13，开始执行RPA任务，执行完成后判断是否执行异常，如果执行结果为异常，则记录异常信息；

S14，上报任务执行结果到RPA任务调度中心。

作为优选，步骤S2中，所述鸿蒙RPA机器人的完整流程包结构包括：

RPA流程任务的代码和流程包的相关配置信息；所述流程包的相关配置信息包括流程包名、流程包ID、创建名称、兼容鸿蒙RPA机器人版本。

作为优选，步骤S2中，流程包在执行时，通过Jython提供的相关接口完成流程执行。

作为优选，步骤S3包括如下步骤：

S31，鸿蒙RPA机器人启动后，在后台启动 AccessibilityService，同时启动监听事件；

S32，服务不断接收到Accessibility事件，判断事件是否在白名单中，若事件在白名单中，则执行步骤S33；

其中，所述白名单用于过滤出有效事件；白名单所列出的两个事件用于监听安卓界面的窗口状态变更和视图焦点变更，用于在程序中始终追踪到当前视图的最新界面快照信息；

S33，记录当前窗口的变更，保存到全局变量中；

S34，对UI元素进行获取，并通过获取步骤S33中保存的全局窗口信息，得到当前窗口的元素树状结构，根据预设条件过滤出需要操作的元素，完成点击、滑动、设置文本操作。

作为优选，步骤S4中，所述组件封装的对象包括元素组件、邮件组件和HTTP组件。

本发明还提供了基于鸿蒙***的RPA控制***包括；

RPA流程调度模块，用于采用标准的队列模式进行RPA流程任务的调度，并上报任务执行结果到RPA任务调度中心；

任务执行过程模块，用于使用鸿蒙RPA机器人集成RPA流程任务，并采用Jython语言作为流程脚本执行引擎；

UI元素组件识别模块，用于使鸿蒙RPA机器人使用无障碍服务AccessibilityService作为界面操作的核心监听服务，通过AccessibilityService服务运行在后台中，监听AccessibilityEvent接收指定事件的回调，来识别当前界面的相关元素操作；

组件封装模块，用于通过使用python语言，对现有的功能操作进行组件封装操作。

本发明与现有技术相比，有益效果是：（1）本发明通过在执行效率、执行设备、流程开发效率的多方面优化，能够解决现有的RPA流程在鸿蒙***上运行的方案的不足；（2）本发明在执行效率方面，打破现有的鸿蒙***RPA流程均采直接或间接的发送的执行命令的方式，避免在组件之间输入输出参数数据内容反复流转，提升了RPA流程的程序执行效率，增强了数据安全性；（3）本发明在执行设备方面，避免使用电脑RPA流程执行+鸿蒙RPA驱动的模式带来的物理硬件成本，多设备的引入同时会带来更多的不稳定因素，将鸿蒙RPA流程的执行推向了更加轻量化的方向，更加适用于移动端的场景；（4）本发明在流程开发方面，引入了python执行引擎到鸿蒙RPA机器人，全新实现了UI操作底层驱动，对常用业务组件进行了极简封装，降低了鸿蒙RPA流程的开发门槛。

附图说明

图1为现有技术中基于appium实现的RPA控制方案的一种流程图；

图2为现有技术中基于HDC实现的RPA控制方案的一种流程图；

图3为现有技术中鸿蒙RPA流程执行方案的一种构架示意图；

图4为本发明中基于鸿蒙***的RPA控制方法的一种构架示意图；

图5为本发明中基于鸿蒙***的RPA控制方法的一种原理框图；

图6为本发明中RPA流程调度过程的一种流程图；

图7为本发明中监听服务过程的一种流程图；

图8为本发明实施例所提供的基于鸿蒙RPA手机机器人的多门店视频监控异常告警***的一种开发流程图；

图9为本发明实施例所提供的基于鸿蒙RPA手机机器人的多门店视频监控异常告警***的一种应用流程图。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

实施例：

如图4和图5所示，本发明提供了基于鸿蒙***的RPA控制方法，包括如下步骤；

S3，UI元素组件识别，其中，所述UI元素组件识别使用鸿蒙RPA机器人无障碍服务AccessibilityService作为界面操作的核心监听服务，通过AccessibilityService服务运行在后台中，监听AccessibilityEvent接收指定事件的回调，来识别当前界面的相关元素操作；

其中，RPA任务调度中心为用户提供流程管理的功能的同时，根据RPA的调度策略生成RPA任务执行队列，该模块运行在服务端。鸿蒙RPA机器人会根据设备调度策略从RPA任务调度中心取出需要执行的RPA任务，在手机端完成任务的执行。

在任务调度层面，本发明优化了传统的电脑RPA机器人作为主体调度对象，安卓RPA机器人作为任务执行单元的执行方式。取而代之使用安卓RPA机器人通过网络直连RPA任务调度中心，通过任务拉取、任务依赖计算、任务拆解、并行运行，从而达到最高效的执行方式。

在RPA流程调度方面，本发明采用了标准的队列模式进行任务的调度，整体流程如图6所示，具体过程如下：

步骤S1包括如下步骤：

S11，鸿蒙RPA机器人启动后，从RPA任务调度中心获取RPA任务；

S14，上报任务执行结果到RPA任务调度中心。

在执行过程方面，鸿蒙RPA机器人引入了Jython作为RPA流程的执行引擎。鸿蒙RPA机器人整体使用Java语言开发，在集成RPA流程任务时，采用了Jython作为流程脚本执行引擎，Jython可以使python脚本运行在JVM（Java Virtual Machine，Java虚拟机）中。

一个完整的鸿蒙RPA机器人流程包结构如下：

/流程包

/流程包/main.py

/流程包/config.json

其中，main.py为RPA流程任务的代码，config.json为流程包的相关配置信息，包括流程包名、流程包ID、创建名称、兼容鸿蒙RPA机器人版本等。

流程包在执行时，通过Jython提供的相关接口完成流程执行。通过Jython执行时，通过如下方式执行脚本代码，核心调用方式如下所示：

# 声明Python引擎的基础属性类

Properties props = new Properties();

# 设置默认交互编码为UTF-8

props.put("python.console.encoding", "UTF-8");

# 初始化Python引擎默认配置

PythonInterpreter.initialize(System.getProperties(), props, newString[0]);

# 构造一个执行Python执行引擎

PythonInterpreter interpreter = PythonInterpreter();

# 执行main.py流程文件

interpreter.execfile(“main.py”);

在UI元素组件识别方面，鸿蒙RPA机器人使用了AccessibilityService作为界面操作的核心监听服务，其原理是通过AccessibilityService服务运行在后台中，监听AccessibilityEvent接收指定事件的回调来识别当前界面的相关元素操作。其完整的监听流程如图7所示，具体过程如下：

S32，服务不断接收到Accessibility事件，判断事件是否在白名单中；这一步用于跟踪当前窗口和视图的变化，白名单为TYPE_WINDOW_STATE_CHANGED和TYPE_VIEW_FOCUSED，由于Accessibility事件信息非常多，该白名单主要用于过滤出有效事件，白名单所列出的两个事件可以监听安卓界面的窗口状态变更和视图焦点变更，用于在程序中可以始终追踪到当前视图的最新界面快照信息。如果事件在白名单执行步骤S33；

S33，记录当前窗口的变更，保存到全局变量中；

在组件封装方面，结合使用python语言的优点，对现有的功能操作进行了极易使用的组件封装操作，所述现有的功能操作包括手机元素点击、手机模拟滑动、手机元素输入的原子操作；以下列举几个常用的元素组件、邮件组件、HTTP组件操作：

# 元素组件点击元素

Ui.Tap( selector )

# 元素组件手势滑动

Ui.Swipe( position1, position1)

# 邮件组件发送

Email.smtpSend( host, port, user, pass, subject, body )

# HTTP组件 Get 请求

Http.Get( url, headers )

# HTTP组件 Post 请求

Http.Post( url, data, headers )。

本发明通过对调度流程方面、执行过程方面、UI元素组件识别方面、组件封装方面进行多方面优化，实现了一种基于鸿蒙***的RPA机器人方案。

本发明还提供了基于鸿蒙***的RPA控制***包括；

基于本发明的技术方案，以一个基于鸿蒙RPA手机机器人的多门店视频监控异常告警***为例，其***流程如图8和图9所示，该示例不应局限本发明方案的使用场景：

通过鸿蒙RPA机器人实现一个多门店视频监控异常告警***，能实现在门店的监控***出现异常情况时，及时发送邮件给相关管理人员。基于鸿蒙RPA机器人实现的具有成本低、可靠、对现有***无侵入等特点。

如图8所示，为通过鸿蒙RPA机器人实现一个多门店视频监控异常告警***的开发流程，具体如下：

①启动鸿蒙手机进入RPA软件；

②从任务调度中心获取RPA任务，本示例中为门店监控RPA任务；

③判断获取到的RPA任务是否为空，为空时等待轮询时间继续获取重复步骤②；

④RPA软件启动Jythpn执行引擎，开始执行RPA任务；

⑤使用RPA元素拾取组件获取门店列表元素；

⑥模拟点击进入门店元素，跳转到门店详情页面；

⑦使用AccessibilityService服务获取监控画面正常播放的元素；

⑧记录详情页面截图和监控信息到Excel文件中；

⑨模拟返回按键，返回到门店列表页面；

⑩使用RPA元素拾取组件获取下一个门店元素是否为空，为空表示无更多门店继续往下执行，否则执行步骤⑥；

⑪调用RPA邮件发送组件发送监控信息Excel到执行邮箱。

如图9所示，为通过鸿蒙RPA机器人实现一个多门店视频监控异常告警***的实际应用流程，具体如下

①浏览鸿蒙手机进入APP门店列表；

②从门店列表第一个开始点击进入门店详情；

③查看门店详情页面的门店视频监控实时视频画面；

④根据视频画面的进度条状态是否变动判断实时视频画面是否正常，如无异常执行步骤 ⑦；

⑤获取界面视频实时画面异常提示信息；

⑥对当前异常信息进行截图并保存；

⑦对正常和异常的信息按照保存到Excel文件中，每个门店一条信息；

⑧模拟点击返回，返回到门店信息列表；

⑨判断列表中是否还有未点击的门店，门店是否已点击根据名称和Excel中的记录进行对比，如无更多门店执行步骤⑪；

⑩点击进行下一个门店，重复步骤③；

⑪将收集到的门店视频监控信息通过邮件发送组件发送到管理员邮箱。

上述流程实例中，所有的流程执行都基于鸿蒙手机完成。使用本发明提出的鸿蒙RPA来进行RPA流程的开发和执行，不需要依赖于大量的电脑物理设备，大大减少成本。同时执行效率较高，避免和大量信息在电脑和手机端的反复传输。提高了机器人使用效率，降低了流程部署成本。

本发明提出了一种基于鸿蒙***的RPA控制方法及***，通过在执行效率、执行设备、流程开发效率的多方面优化，能够解决现有的RPA流程在鸿蒙***上运行的方案的不足。

本发明的创新点如下：

在执行效率方面，放弃采用传统电脑发送RPA命令到鸿蒙***进行串行执行，通过在鸿蒙RPA机器人中集成python执行引擎，在鸿蒙手机端一次性加载执行RPA流程任务，提高了流程执行的效率和数据传输带来的安全性问题，这种方式不需要和电脑端RPA组件交互而直接将RPA组件运行在鸿蒙手机端的。

在执行设备方面，使用鸿蒙RPA机器人直接进行流程的调度，将RPA机器人执行引擎推向了轻量化方向，提高了机器人使用效率，降低了流程部署成本。

在流程开发方面，底层结合AccessibilityService服务全新实现了UI操作底层驱动，这种方式是在鸿蒙***上的一套基于RPA的UI操作组件，首次被应用于鸿蒙RPA机器人中。这种方式实现的UI元素操作具有执行效率高、安装成本低、兼容性强的特点。

综上，本发明具有执行效率高、使用成本低、流程运行轻量化、流程开发门槛低的特点。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims

1.基于鸿蒙***的RPA控制方法，其特征在于，包括如下步骤；

2.根据权利要求1所述的基于鸿蒙***的RPA控制方法，其特征在于，步骤S1包括如下步骤：

S11，鸿蒙RPA机器人启动后，从RPA任务调度中心获取RPA任务；

S14，上报任务执行结果到RPA任务调度中心。

3.根据权利要求2所述的基于鸿蒙***的RPA控制方法，其特征在于，步骤S2中，所述鸿蒙RPA机器人的完整流程包结构包括：

4.根据权利要求3所述的基于鸿蒙***的RPA控制方法，其特征在于，步骤S2中，流程包在执行时，通过Jython提供的相关接口完成流程执行。

5.根据权利要求4所述的基于鸿蒙***的RPA控制方法，其特征在于，步骤S3包括如下步骤：

S33，记录当前窗口的变更，保存到全局变量中；

6.根据权利要求5所述的基于鸿蒙***的RPA控制方法，其特征在于，步骤S4中，所述组件封装的对象包括元素组件、邮件组件和HTTP组件。

7.基于鸿蒙***的RPA控制***，用于实现权利要求1-6任一项所述的基于鸿蒙***的RPA控制方法，其特征在于，所述基于鸿蒙***的RPA控制***包括；