CN103970533B - 屏幕录制的信息记录方法及装置 - Google Patents

Abstract

本发明公开一种屏幕录制的信息记录方法及装置，本发明实施例监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；存储记录的所述屏幕数据，并对存储的所述屏幕数据进行回放；且在回放的过程中，还能够通过记录的屏幕数据中的关键字进行搜索，从而实现快速定位；本发明实施例解决了录屏时记录较多冗余信息的问题，降低了屏幕数据的存储压力，提高了虚拟化应用场景中对不同协议的兼容性；进一步地，由于服务器仅记录按照过滤策略过滤后的UI事件所映射的屏幕数据，因此，本发明实施例具有进一步降低服务器对屏幕数据存储压力的有益效果。

Description

屏幕录制的信息记录方法及装置

技术领域

本发明涉及虚拟化领域，还涉及屏幕录制技术，尤其涉及一种屏幕录制的信息记录方法及装置。

背景技术

随着虚拟化技术的发展，基于虚拟化技术访问终端的用户，其所有的应用***操作信息、本机文件操作信息、网络访问信息等，都被封装在了RDP(Remote DesktopProtocol，远程桌面协议)等虚拟化发布的协议中，且经过了加密处理。目前，在虚拟化技术访问终端的应用场景中对于不同协议的兼容性有待提高，且对上述基于虚拟化技术的终端进行录屏监控通常采用如下方式：记录虚拟桌面上的所有会话数据，并对上述记录的会话数据进行回放，从而对终端用户的操作和使用过程进行完整重现。

上述录屏监控方式记录的录屏数据量庞大，部署实施成本高，且冗余信息非常多，从而导致上述录屏方式的监控效率非常低。

发明内容

鉴于此，有必要提供一种屏幕录制的信息记录方法及装置，以解决录屏时记录较多冗余信息的问题。

本发明实施例公开了一种屏幕录制的信息记录方法，包括以下步骤：

监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；

存储记录的所述屏幕数据。

优选地，所述监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据，包括：

监控到用户和/或应用程序触发的所述用户界面事件时，记录触发的所述用户界面事件所映射的屏幕数据；

其中，所述屏幕数据包括：

显卡缓存图像信息、终端输入输出设备的驱动事件所对应的信息、窗口消息事件对应的信息以及基于网页的操作事件对应的信息。

优选地，所述记录触发的所述用户界面事件所映射的屏幕数据，包括：

记录经预设过滤策略过滤后的所述用户界面事件所映射的屏幕数据。

优选地，所述存储记录的所述屏幕数据，之后还包括：

回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件。

优选地，所述回放存储的所述屏幕数据，包括：

基于记录的所述屏幕数据中包含的关键字，搜索所述关键字对应的所述屏幕数据，定位所述屏幕数据对应的所述用户界面事件；

其中，所述关键字包括用户操作界面对应的应用程序窗口中的关键字，以及利用键盘输入的关键字。

本发明实施例还公开一种屏幕录制的信息记录装置，包括：

监控模块，用于监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；

存储模块，用于存储记录的所述屏幕数据。

优选地，所述监控模块还用于：

监控到用户和/或应用程序触发的所述用户界面事件时，记录触发的所述用户界面事件所映射的屏幕数据；

其中，所述屏幕数据包括：

显卡缓存图像信息、终端输入输出设备的驱动事件所对应的信息、窗口消息事件对应的信息以及基于网页的操作事件对应的信息。

优选地，所述监控模块还用于：

记录经预设过滤策略过滤后的所述用户界面事件所映射的屏幕数据。

优选地，所述屏幕录制的信息记录装置还包括：

回放模块，用于回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件。

优选地，所述回放模块还用于：

基于记录的所述屏幕数据中包含的关键字，搜索所述关键字对应的所述屏幕数据，定位所述屏幕数据对应的所述用户界面事件；

其中，所述关键字包括用户操作界面对应的应用程序窗口中的关键字，以及利用键盘输入的关键字。

本发明实施例监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；存储记录的所述屏幕数据；相较于现有技术中，录制虚拟桌面上的所有会话数据，本发明实施例解决了录屏时记录较多冗余信息的问题，降低了录屏数据的存储压力；进一步地，提高了虚拟化应用场景中对不同协议的兼容性。

附图说明

图1是本发明屏幕录制的信息记录方法运行环境一实施例结构部署示意图；

图2是本发明屏幕录制的信息记录方法第一实施例流程示意图；

图3是本发明屏幕录制的信息记录方法第二实施例流程示意图；

图4是本发明屏幕录制的信息记录装置第一实施例功能模块示意图；

图5是本发明屏幕录制的信息记录装置第二实施例功能模块示意图。

本发明实施例目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明屏幕录制的信息记录方法运行环境一实施例结构部署示意图；在图1所示的具体运行环境中，本发明实施例屏幕录制的信息记录方法由部署在服务端的监控记录设备执行。如图1所示，终端基于虚拟技术中的相关协议如RDP、SRAP(Sangfor RemoteAccess Protocol，深信服远程接入协议)、ICA(Independent Computing Architecture，独立计算架构)等协议，通过虚拟桌面访问终端服务器；监控记录设备基于UI(UserInterface，用户界面)事件对虚拟化场景下的用户桌面显卡缓存图像、各种外设对应的操作事件、窗口事件、网页事件等用户界面事件所映射的屏幕数据进行记录，并将记录的所述用户界面事件所映射的屏幕数据汇总后发送至数据中心，由数据中心对上述屏幕数据进行统一存储和备份。当后台监控人员需要对用户界面事件进行监控时，利用监控回放***调用数据中心存储的屏幕数据，并回放对应的屏幕数据，实现对虚拟环境下的用户界面事件进行监控。

图2是本发明屏幕录制的信息记录方法第一实施例流程示意图；如图2所示，本发明屏幕录制的信息记录方法包括：

步骤S01、监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；

本发明实施例服务器并非要完整地记录用户整个完整的访问过程，比如用户在阅读文档时，服务器根本不需要从头到尾地录制用户阅读文档这一过程；而是需要服务器监控用户基于终端操作的UI事件作为记录的触发条件，比如用户鼠标点击、滚轮滚动、键盘输入等UI事件触发时，服务器才开始进行上述UI事件所映射的屏幕数据，以减少记录的屏幕数据的数据量。

继续以用户阅读文档为例，本发明实施例中，服务器仅对用户点击并打开文档且在文档完整显示这一UI事件所映射的屏幕数据进行记录，以及对用户翻页、编辑并保存文档、关闭文档这些UI事件所映射的屏幕数据进行记录，而对于UI界面上，用户与终端的无交互事件的阅读过程则无需记录。

本发明实施例中，所述UI事件的触发条件包括用户触发和应用程序自动执行时触发；所述UI事件可以分为以下四大类：显卡缓存对应的UI事件、基于外设驱动触发的UI事件、窗口消息对应的UI事件以及基于网页的UI事件。服务器记录的所述屏幕数据包括：显卡缓存图像信息、终端输入输出设备的驱动事件所对应的信息、窗口消息事件对应的信息以及基于网页的操作事件对应的信息。

步骤S02、存储记录的所述屏幕数据。

服务器对上述记录的屏幕数据进行存储，进一步地，服务器也可以根据需要对存储的上述屏幕数据进行备份；或者，服务器建立一个数据存储中心，该数据存储中心专门用来存储记录的上述屏幕数据。本发明实施例对服务器存储记录的上述屏幕数据的存储位置及存储形式不做限定。

进一步地，在本发明的一优选实施例中，服务器仅记录经预设过滤策略过滤后的所述UI事件所映射的屏幕数据，以减小服务器的存储压力。

下面以具体的UI事件，再次描述服务器记录所述UI事件所映射的屏幕数据；应当理解，下述的UI事件仅仅是示例性的，并非因此而造成对本申请保护范围的限制；且UI事件无穷多种，本发明实施例不对其进行一一穷举。

服务器监控到用户触发外设驱动、窗口消息及网页对应的UI事件时，对当前监控的终端的显卡缓存图像信息进行记录；即使是用户为躲避监控，将操作窗口拖动到屏幕外边缘，由于服务器直接记录的是该终端的显卡缓存图像信息，因此上述操作依旧无法绕过服务器对其进行的监控。服务器将上述记录的图像信息与用户触发的UI事件相结合后，作为一个关联的日志对象进行压缩处理后，进行存储。

服务器监控到用户基于IO(Input/Output，输入输出)接口触发的UI事件时，记录所述UI事件所映射的屏幕数据。所述基于IO接口触发的UI事件包括用户基于鼠标、键盘、打印机、光驱、扫面议等IO设备所触发的驱动事件。进一步地，服务器可以根据对屏幕数据的具体要求或者根据监控人员的配置，服务器预先配置一些过滤策略，按照预先配置的过滤策略，对上述UI事件进行过滤后，再记录过滤后的UI事件所映射的屏幕数据，以减少服务器的存储压力；比如，服务器根据预先配置的过滤策略，过滤用户触发的如下UI事件：用户按下键盘上下方向键、翻页键、Tab键、Esc等功能键，并对过滤上述UI事件后的其他UI事件所映射的屏幕数据进行记录。

服务器同样也对windows窗口消息事件进行监控，从而来避免因无需用户手动触发、仅由应用程序进行自动处理而绕过服务器监控的情况。进一步地，在服务器监控到用户基于被监控的终端输入文字或者指令的过程中，服务器能够更为准确地记录用户输入的文字内容，而不是原始的键盘输入信息，从而在后续需要对记录的屏幕数据进行监控时，服务器或者监控人员能够基于服务器记录的文字内容设置对应的关键字，服务器从而基于设定的关键字对屏幕数据进行搜索定位。

服务器为补充处理WEB***自动跳转的情况以及实现对WEB输入内容的完整记录，服务器同样地也对网页WEB***对应的UI事件事件监控。

本发明实施例监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；存储记录的所述屏幕数据；相较于现有技术中，录制虚拟桌面上的所有会话数据，本发明实施例解决了录屏时记录较多冗余信息的问题，降低了屏幕数据的存储压力，提高了虚拟化应用场景中对不同协议的兼容性；进一步地，由于服务器仅记录按照过滤策略过滤后的UI事件所映射的屏幕数据，因此，本发明实施例具有进一步降低服务器对屏幕数据存储压力的有益效果。

图3是本发明屏幕录制的信息记录方法第二实施例流程示意图；本发明实施例与图2所述实施例的区别是，本发明实施例在服务器存储记录的屏幕数据后，服务器对记录的屏幕数据进行回放，并监控回放的屏幕数据所对应的UI事件。

基于上述实施例的描述，如图3所示，本发明屏幕录制的信息记录方法在步骤S02、存储记录的所述屏幕数据，之后还包括：

步骤S03、回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件。

服务器根据需要或者接收到监控人员触发的操作指令，回放存储的所述屏幕数据，监控所述屏幕数据对应的所述UI事件，供监控人员对上述UI事件进行审计。

由于服务器记录的屏幕数据与对应UI事件相关联，因此服务器可以将记录的屏幕数据重新串联起来，完整地展示给监控人员；比如，服务器将基于UI事件所记录的零散的图像信息重新串联起来，以视频的方式回放并展示给监控人员，供监控人员对上述UI事件进行审计和取证。

进一步地，在本发明的一优选实施例中，服务器提供基于记录的所述屏幕数据中包含的关键字，搜索该关键字对应的UI事件并定位至该UI事件的功能，从而实现包括上述关键字的屏幕数据的快速定位。比如，服务器可以基于自身需要或者接收到监控人员输入的关键字后，搜索所述关键字对应的所述屏幕数据，并定位所述屏幕数据对应的所述UI事件。其中，上述关键字包括：用户操作界面对应的应用程序窗口中的关键字，比如用户正在使用的应用程序窗口中的关键字；上述关键字还包括利用键盘输入的关键字；比如监控人员基于键盘或者触摸屏利用触控的方式输入的关键字等。在具体应用环境中，比如，在审计人员认证登录服务器的监控***后，可以基于特定输入内容进行过滤搜索，从而实现快速定位；该特定输入内容包括用户访问的应用程序的名称、窗口标题、WEB标题、URL(UniformResource Locator，统一资源定位符)、外设事件、UI事件触发的时间、用户账号等信息，基于上述特定输入内容，服务器进行快速过滤搜索。

本发明实施例服务器回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件，具有智能地展示保存的屏幕数据的有益效果；进一步地，本发明实施例还具有根据记录的屏幕数据中的关键字进行搜索定位的功能，提高了服务器的智能性，提高了查找屏幕数据的便捷性，实现了数据搜索的快速定位。

图4是本发明屏幕录制的信息记录装置第一实施例功能模块示意图；如图4所示，本发明屏幕录制的信息记录装置包括：监控模块01和存储模块02。

监控模块01，用于监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；

本发明实施例监控模块01并非要完整地记录用户整个完整的访问过程，比如用户在阅读文档时，监控模块01根本不需要从头到尾地录制用户阅读文档这一过程；而是需要监控模块01监控用户基于终端操作的UI事件作为记录的触发条件，比如用户鼠标点击、滚轮滚动、键盘输入等UI事件触发时，监控模块01才开始进行上述UI事件所映射的屏幕数据，以减少记录的屏幕数据的数据量。

继续以用户阅读文档为例，本发明实施例中，监控模块01仅对用户点击并打开文档且在文档完整显示这一UI事件所映射的屏幕数据进行记录，以及对用户翻页、编辑并保存文档、关闭文档这些UI事件所映射的屏幕数据进行记录，而对于UI界面上，用户与终端的无交互事件的阅读过程则无需记录。

本发明实施例中，所述UI事件的触发条件包括用户触发和应用程序自动执行时触发；所述UI事件可以分为以下四大类：显卡缓存对应的UI事件、基于外设驱动触发的UI事件、窗口消息对应的UI事件以及基于网页的UI事件。服务器记录的所述屏幕数据包括：显卡缓存图像信息、终端输入输出设备的驱动事件所对应的信息、窗口消息事件对应的信息以及基于网页的操作事件对应的信息。

存储模块02，用于存储记录的所述屏幕数据。

存储模块02对监控模块01记录的屏幕数据进行存储，进一步地，存储模块02也可以根据需要对存储的上述屏幕数据进行备份；或者，存储模块02建立一个数据存储中心，该数据存储中心专门用来存储记录的上述屏幕数据。本发明实施例对存储模块02存储记录的上述屏幕数据的存储位置及存储形式不做限定。

进一步地，在本发明的一优选实施例中，存储模块02仅记录经预设过滤策略过滤后的所述UI事件所映射的屏幕数据，以减小服务器的存储压力。

下面以具体的UI事件，再次描述监控模块01记录所述UI事件所映射的屏幕数据；应当理解，下述的UI事件仅仅是示例性的，并非因此而造成对本申请保护范围的限制；且UI事件无穷多种，本发明实施例不对其进行一一穷举。

监控模块01监控到用户触发外设驱动、窗口消息及网页对应的UI事件时，对当前监控的终端的显卡缓存图像信息进行记录；即使是用户为躲避监控，将操作窗口拖动到屏幕外边缘，由于监控模块01直接记录的是该终端的显卡缓存图像信息，因此上述操作依旧无法绕过监控模块01对其进行的监控。监控模块01将上述记录的图像信息与用户触发的UI事件相结合后，作为一个关联的日志对象进行压缩处理后，进行存储。

监控模块01监控到用户基于IO接口触发的UI事件时，记录所述UI事件所映射的屏幕数据。所述基于IO接口触发的UI事件包括用户基于鼠标、键盘、打印机、光驱、扫面议等IO设备所触发的驱动事件。进一步地，监控模块01可以根据对屏幕数据的具体要求或者根据监控人员的配置，监控模块01预先配置一些过滤策略，按照预先配置的过滤策略，对上述UI事件进行过滤后，再记录过滤后的UI事件所映射的屏幕数据，以减少服务器的存储压力；比如，监控模块01根据预先配置的过滤策略，过滤用户触发的如下UI事件：用户按下键盘上下方向键、翻页键、Tab键、Esc等功能键，并对过滤上述UI事件后的其他UI事件所映射的屏幕数据进行记录。

监控模块01同样也对windows窗口消息事件进行监控，从而来避免因无需用户手动触发、仅由应用程序进行自动处理而绕过监控模块01监控的情况。进一步地，在监控模块01监控到用户基于被监控的终端输入文字或者指令的过程中，监控模块01能够更为准确地记录用户输入的文字内容，而不是原始的键盘输入信息，从而在后续需要对记录的屏幕数据进行监控时，服务器或者监控人员能够基于监控模块01记录的文字内容设置对应的关键字，服务器从而基于设定的关键字对屏幕数据进行搜索定位。

为补充处理WEB***自动跳转的情况以及实现对WEB输入内容的完整记录，监控模块01同样地也对网页WEB***对应的UI事件事件监控。

本发明实施例监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；存储记录的所述屏幕数据；相较于现有技术中，录制虚拟桌面上的所有会话数据，本发明实施例解决了录屏时记录较多冗余信息的问题，降低了屏幕数据的存储压力，提高了虚拟化应用场景中对不同协议的兼容性；进一步地，由于服务器仅记录按照过滤策略过滤后的UI事件所映射的屏幕数据，因此，本发明实施例具有进一步降低服务器对屏幕数据存储压力的有益效果。

图5是本发明屏幕录制的信息记录装置第二实施例功能模块示意图。本发明实施例与图4所述实施例的区别是，本发明实施例在服务器存储记录的屏幕数据后，服务器对记录的屏幕数据进行回放，并监控回放的屏幕数据所对应的UI事件。

基于上述实施例的描述，如图5所示，本发明屏幕录制的信息记录装置还包括：

回放模块03，用于回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件。

回放模块03根据需要或者接收到监控人员触发的操作指令，回放存储的所述屏幕数据，监控所述屏幕数据对应的所述UI事件，供监控人员对上述UI事件进行审计。

由于监控模块01记录的屏幕数据与对应UI事件相关联，因此回放模块03可以将记录的屏幕数据重新串联起来，完整地展示给监控人员；比如，回放模块03将基于UI事件所记录的零散的图像信息重新串联起来，以视频的方式回放并展示给监控人员，供监控人员对上述UI事件进行审计和取证。

进一步地，在本发明的一优选实施例中，回放模块03提供基于记录的所述屏幕数据中包含的关键字，搜索该关键字对应的UI事件并定位至该UI事件的功能，从而实现包括上述关键字的屏幕数据的快速定位。比如，回放模块03可以基于服务器自身需要或者接收到监控人员输入的关键字后，搜索所述关键字对应的所述屏幕数据，并定位所述屏幕数据对应的所述UI事件。其中，上述关键字包括：用户操作界面对应的应用程序窗口中的关键字，比如用户正在使用的应用程序窗口中的关键字；上述关键字还包括利用键盘输入的关键字；比如监控人员基于键盘或者触摸屏利用触控的方式输入的关键字等。在具体应用环境中，比如，在审计人员认证登录服务器的监控***后，可以基于特定输入内容进行过滤搜索，从而实现快速定位；该特定输入内容包括用户访问的应用程序的名称、窗口标题、WEB标题、URL、外设事件、UI事件触发的时间、用户账号等信息，基于上述特定输入内容，服务器进行快速过滤搜索。

本发明实施例服务器回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件，具有智能地展示保存的屏幕数据的有益效果；进一步地，本发明实施例还具有根据记录的屏幕数据中的关键字进行搜索定位的功能，提高了服务器的智能性，提高了查找屏幕数据的便捷性，实现了数据搜索的快速定位。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种屏幕录制的信息记录方法，其特征在于，所述屏幕录制的信息记录方法由部署在服务端的监控记录设备通过监控基于虚拟技术的协议访问该服务器的终端执行，包括以下步骤：

监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；所述记录的屏幕数据为在虚拟化场景下用户界面事件所映射的屏幕数据；

存储记录的所述屏幕数据；

其中，所述监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据，包括：

监控到用户和/或应用程序触发的所述用户界面事件时，记录触发的所述用户界面事件所映射的屏幕数据；所述屏幕数据包括：显卡缓存图像信息、终端输入输出设备的驱动事件所对应的信息、窗口消息事件对应的信息以及基于网页的操作事件对应的信息。

2.如权利要求1所述的方法，其特征在于，所述记录触发的所述用户界面事件所映射的屏幕数据，包括：

记录经预设过滤策略过滤后的所述用户界面事件所映射的屏幕数据。

3.如权利要求1或2所述的方法，其特征在于，所述存储记录的所述屏幕数据，之后还包括：

回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件。

4.如权利要求3所述的方法，其特征在于，所述回放存储的所述屏幕数据，包括：

基于记录的所述屏幕数据中包含的关键字，搜索所述关键字对应的所述屏幕数据，定位所述屏幕数据对应的所述用户界面事件；

其中，所述关键字包括用户操作界面对应的应用程序窗口中的关键字，以及利用键盘输入的关键字。

5.一种屏幕录制的信息记录装置，其特征在于，所述屏幕录制的信息记录装置部署在服务端，应用于虚拟桌面，包括：

监控模块，用于监控到用户界面事件触发时，记录触发的所述用户界面事件所映射的屏幕数据；其中，所述记录的屏幕数据为在虚拟化场景下用户界面事件所映射的屏幕数据；

存储模块，用于存储记录的所述屏幕数据；

其中，所述监控模块还用于：

监控到用户和/或应用程序触发的所述用户界面事件时，记录触发的所述用户界面事件所映射的屏幕数据；所述屏幕数据包括：显卡缓存图像信息、终端输入输出设备的驱动事件所对应的信息、窗口消息事件对应的信息以及基于网页的操作事件对应的信息。

6.如权利要求5所述的装置，其特征在于，所述监控模块还用于：

记录经预设过滤策略过滤后的所述用户界面事件所映射的屏幕数据。

7.如权利要求5或6所述的装置，其特征在于，还包括：

回放模块，用于回放存储的所述屏幕数据，监控所述屏幕数据对应的所述用户界面事件。

8.如权利要求7所述的装置，其特征在于，所述回放模块还用于：

基于记录的所述屏幕数据中包含的关键字，搜索所述关键字对应的所述屏幕数据，定位所述屏幕数据对应的所述用户界面事件；

其中，所述关键字包括用户操作界面对应的应用程序窗口中的关键字，以及利用键盘输入的关键字。