CN109240678B - 代码生成方法及装置 - Google Patents

Abstract

本申请提供一种代码生成方法及装置，该方法可以包括：展示用户确定的目标界面；根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；针对所述被选取的界面元素执行相应操作，以更新所述目标界面。

Description

代码生成方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种代码生成方法及装置。

背景技术

计算机通过执行代码来实现相应的功能。换言之，用户可以通过编写合适的代码，以使得计算机基于该代码实现相应的功能。这里的“用户”往往并非普通用户，而应当为至少掌握一种计算机语言的专业用户，如程序员。可见，对于普通用户而言，往往难以通过编写代码的方式来实现对计算机的功能控制或功能扩展，对用户造成了较高的学习成本和使用门槛。

发明内容

有鉴于此，本申请提供一种代码生成方法及装置，可以实现代码的自动化生成。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种代码生成方法，包括：

展示用户确定的目标界面；

根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

针对所述被选取的界面元素执行相应操作，以更新所述目标界面。

根据本申请的第二方面，提出了一种代码生成方法，包括：

根据用户在目标界面选取的界面元素，展示针对被选取的界面元素的备选操作选项；

根据用户选取的操作选项，生成实施相应操作的代码。

根据本申请的第三方面，提出了一种代码生成方法，包括：

针对目标界面包含的界面元素，展示相应的备选操作选项；

根据用户选取的操作选项，生成实施相应操作的代码。

根据本申请的第四方面，提出了一种代码生成装置，包括：

界面展示单元，展示用户确定的目标界面；

区别展示单元，根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

窗口展示单元，当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

代码生成单元，当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

操作执行单元，针对所述被选取的界面元素执行相应操作，以更新所述目标界面。

根据本申请的第五方面，提出了一种代码生成装置，包括：

选项展示单元，根据用户在目标界面选取的界面元素，展示针对被选取的界面元素的备选操作选项；

代码生成单元，根据用户选取的操作选项，生成实施相应操作的代码。

根据本申请的第六方面，提出了一种代码生成装置，包括：

选项展示单元，针对目标界面包含的界面元素，展示相应的备选操作选项；

代码生成单元，根据用户选取的操作选项，生成实施相应操作的代码。

根据本申请的第七方面，提出了一种任务执行方法，包括：

获取针对目标界面的操作任务，所述操作任务是根据用户预先在所述目标界面选取的界面元素和针对所述界面元素的操作方式而生成；

执行所述操作任务，以对所述目标界面中的界面元素实施基于所述操作方式的操作。

根据本申请的第八方面，提出了一种任务执行装置，包括：

获取单元，获取针对目标界面的操作任务，所述操作任务是根据用户预先在所述目标界面选取的界面元素和针对所述界面元素的操作方式而生成；

执行单元，执行所述操作任务，以对所述目标界面中的界面元素实施基于所述操作方式的操作。

由以上技术方案可见，本申请通过识别用户选取的界面元素，并向用户提供针对被选取的界面元素的备选操作选项，以及识别用户对备选操作选项的选取操作，可以自动生成相应的代码，而无需用户掌握计算机语言和编程技巧，即可实现代码的自动化生成，极大地简化了代码生成过程、降低了用户的学习成本。

附图说明

图1是本申请一示例性实施例提供的一种代码生成***的架构示意图。

图2A是本申请一示例性实施例提供的一种代码生成方法的流程图。

图2B是本申请一示例性实施例提供的另一种代码生成方法的流程图。

图3是本申请一示例性实施例提供的一种任务执行方法的流程图。

图4是本申请一示例性实施例提供的一种自动生成代码的操作界面的示意图。

图5是本申请一示例性实施例提供的一种输入目标界面的示意图。

图6是本申请一示例性实施例提供的一种捕捉目标界面的示意图。

图7是本申请一示例性实施例提供的一种自动生成打开网页的代码块的示意图。

图8是本申请一示例性实施例提供的一种对输入框进行提示的示意图。

图9是本申请一示例性实施例提供的一种选择对输入框的操作方式的示意图。

图10是本申请一示例性实施例提供的一种自动生成填写输入框内容的代码块的示意图。

图11是本申请的一示例性实施例的自动生成打开网页和填写输入框内容的代码块的示意图。

图12是本申请一示例性实施例提供的一种对搜索按钮进行提示的示意图。

图13是本申请一示例性实施例提供的一种选择对搜索按钮的操作方式的示意图。

图14是本申请一示例性实施例提供的一种自动生成点击网页元素的代码块的示意图。

图15是本申请一示例性实施例提供的一种对搜索结果进行提示的示意图。

图16是本申请一示例性实施例提供的一种选择对搜索按钮的操作方式的示意图。

图17是本申请一示例性实施例提供的一种自动生成获取元素列表的代码块的示意图。

图18是本申请一示例性实施例提供的另一种自动生成获取元素列表的代码块的示意图。

图19是本申请一示例性实施例提供的一种电子设备的结构示意图。

图20是本申请一示例性实施例提供的一种代码生成装置的框图。

图21是本申请一示例性实施例提供的另一种代码生成装置的框图。

图22是本申请一示例性实施例提供的又一种代码生成装置的框图。

图23是本申请一示例性实施例提供的另一种电子设备的结构示意图。

图24是本申请一示例性实施例提供的一种任务执行装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请通过识别用户选取的界面元素，并向用户提供针对被选取的界面元素的备选操作选项，以及识别用户对备选操作选项的选取操作，可以自动生成相应的代码，而无需用户掌握计算机语言和编程技巧，即可实现代码的自动化生成，极大地简化了代码生成过程、降低了用户的学习成本。

在一实施例中，本申请的技术方案可以应用于用户使用的电子设备上，比如该电子设备可以包括用户使用的手机、PC、平板设备、笔记本电脑、掌上电脑(PDAs，PersonalDigital Assistants)、可穿戴设备(如智能眼镜、智能手表等) 等，本申请并不对此进行限制。在运行过程中，该电子设备可以运行某一应用的客户端侧的程序，以实现本申请的代码生成功能。

在另一实施例中，本申请的技术方案可以应用于服务器上，该服务器与用户使用的电子设备相配合，基于用户在电子设备上实施的本地操作，由服务器自动生成相应的代码。比如图1是本申请一示例性实施例提供的一种代码生成***的架构示意图，该***可以包括服务器11、网络12、电子设备13等。

服务器11可以为包含一独立主机的物理服务器，或者该服务器11可以为主机集群承载的虚拟服务器，或者该服务器11可以为云服务器。在运行过程中，服务器11可以运行某一应用的服务器侧的程序，以实现本申请的代码生成功能。

电子设备13可以包括诸如下述类型：手机、PC、平板设备、笔记本电脑、掌上电脑(PDAs，Personal Digital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等，本申请并不对此进行限制。在运行过程中，该电子设备13可以采集用户的操作数据等，并上传至服务器11，以供服务器11据此实现上述的代码生成功能。其中，电子设备13采集的数据可以包括多种形式，比如电子设备13 上显示的图像信息(基于图片或视频等形式)、电子设备13的后台运行数据等，实际上任何能够使得服务器11获取用户的操作数据的方式均可应用于此，本公开并不对此进行限制。

而对于服务器11与电子设备13之间进行交互的网络12，可以包括多种类型的有线或无线网络。在一实施例中，该网络12可以包括公共交换电话网络 (Public SwitchedTelephone Network，PSTN)和因特网。

为对本申请进行进一步说明，提供下列实施例：

图2A是本申请一示例性实施例提供的一种代码生成方法的流程图。如图 2A所示，该方法可以应用于服务器或用户本地的电子设备等多种类型的设备；该方法可以包括以下步骤：

步骤202A，根据用户在目标界面选取的界面元素，展示针对被选取的界面元素的备选操作选项。

在一实施例中，所述目标界面可以包括应用本实施例的设备提供的预设界面。在另一实施例中，所述目标界面可以包括用户指定的界面，比如网页、资源管理器界面、文档界面等，本申请并不对此进行限制。

在一实施例中，可以由应用本实施例的设备向用户展示目标界面，所述目标界面中包括至少一个界面元素，以供用户进行选取；例如，当应用本实施例的设备为服务器时，该服务器上运行的服务端可以将目标界面发送至用户本地的电子设备进行展示，或者当应用本实施例的设备为用户本地的电子设备，该电子设备运行的客户端可以打开并展示该目标界面。在另一实施例中，目标界面的展示操作可以不依赖于上述的服务端或客户端，比如可以通过本地的浏览器、资源管理器等打开该目标界面。

在一实施例中，可以获取用户操控图标在所述目标界面上所处的位置；当所述目标界面在所述位置处存在界面元素时，对所述位置处的界面元素进行区别展示；以及，当检测到所述用户操控图标对所述位置处的界面元素的选取操作时，将所述位置处的界面元素确定为所述被选取的界面元素。通过对界面元素的区别展示，使得用户可以准确了解目标界面上的界面元素，便于用户对这些界面元素进行选取，以自动生成相应的代码。

步骤204A，根据用户选取的操作选项，生成实施相应操作的代码。

在一实施例中，针对用户选取的操作选项，可能并不需要相应的操作内容。比如，当界面元素为目标界面中的虚拟按键时，假定操作选项为“点击”，则并不存在相应的操作内容；而当界面元素为目标界面中的输入框时，假定操作选项为“输入”，则需要根据相应的操作内容，确定该“输入”操作的输入内容。

在一实施例中，当操作选项存在相应的操作内容时，该操作内容可以为预配置的默认操作内容。

在一实施例中，当操作选项存在相应的操作内容时，可以获取用户为被选取的操作选项设定的操作内容；然后，所述根据用户选取的操作选项和设定的所述操作内容，生成实施相应操作的代码。

在一实施例中，所述操作的操作对象包括以下至少之一：所述被选取的界面元素、所述目标界面中与所述被选取的界面元素归属于同一类别的其他界面元素。例如，当界面元素为目标界面中的文本时，假定操作选项为“采集一/多组数据”，则操作对象可以为被选取的文本，或者操作对象可以为被选取的文本和该目标界面中其他未被选取的相似文本。

在一实施例中，应用本实施例的设备可以针对所述被选取的界面元素执行所述操作，以更新所述目标界面，便于用户进一步选取界面元素以及针对该界面元素的操作选项，从而通过不断循环和重复上述操作，实现对目标界面的一系列操作，并生成相应的一系列代码。

在一实施例中，可以获取用户在所述目标界面中分别选取的多个界面元素，以及对应的多段代码；然后，根据用户对所述多个界面元素的选取次序，对所述多段代码进行顺序组装。

图2B是本申请一示例性实施例提供的另一种代码生成方法的流程图。如图 2B所示，该方法可以应用于服务器或用户本地的电子设备等多种类型的设备；该方法可以包括以下步骤：

步骤202B，针对目标界面包含的界面元素，展示相应的备选操作选项。

在一实施例中，所述目标界面可以包括应用本实施例的设备提供的预设界面。在另一实施例中，所述目标界面可以包括用户指定的界面，比如网页、资源管理器界面、文档界面等，本申请并不对此进行限制。

在一实施例中，可以由应用本实施例的设备向用户展示目标界面，所述目标界面中包括至少一个界面元素，以供用户进行选取；例如，当应用本实施例的设备为服务器时，该服务器上运行的服务端可以将目标界面发送至用户本地的电子设备进行展示，或者当应用本实施例的设备为用户本地的电子设备，该电子设备运行的客户端可以打开并展示该目标界面。在另一实施例中，目标界面的展示操作可以不依赖于上述的服务端或客户端，比如可以通过本地的浏览器、资源管理器等打开该目标界面。

在一实施例中，在用户尚未执行任何操作的情况下，即可在目标界面上展示各个界面元素对应的备选操作选项，这样一方面用户可以准确了解目标界面上的界面元素，另一方面便于用户在对操作选项进行选取的同时，即可完成对相应界面元素的选取，有助于简化用户操作。

步骤204B，根据用户选取的操作选项，生成实施相应操作的代码。

在一实施例中，针对用户选取的操作选项，可能并不需要相应的操作内容。比如，当界面元素为目标界面中的虚拟按键时，假定操作选项为“点击”，则并不存在相应的操作内容；而当界面元素为目标界面中的输入框时，假定操作选项为“输入”，则需要根据相应的操作内容，确定该“输入”操作的输入内容。

在一实施例中，当操作选项存在相应的操作内容时，该操作内容可以为预配置的默认操作内容。

在一实施例中，当操作选项存在相应的操作内容时，可以获取用户为被选取的操作选项设定的操作内容；然后，所述根据用户选取的操作选项和设定的所述操作内容，生成实施相应操作的代码。

在一实施例中，所述操作的操作对象包括以下至少之一：所述被选取的界面元素、所述目标界面中与所述被选取的界面元素归属于同一类别的其他界面元素。例如，当界面元素为目标界面中的文本时，假定操作选项为“采集一/多组数据”，则操作对象可以为被选取的文本，或者操作对象可以为被选取的文本和该目标界面中其他未被选取的相似文本。

在一实施例中，应用本实施例的设备可以针对所述被选取的界面元素执行所述操作，以更新所述目标界面，便于用户进一步选取界面元素以及针对该界面元素的操作选项，从而通过不断循环和重复上述操作，实现对目标界面的一系列操作，并生成相应的一系列代码。

在一实施例中，可以获取用户在所述目标界面中分别选取的多个界面元素，以及对应的多段代码；然后，根据用户对所述多个界面元素的选取次序，对所述多段代码进行顺序组装。

图3是本申请一示例性实施例提供的一种任务执行方法的流程图。如图3 所示，该方法可以应用于服务器或用户本地的电子设备等多种类型的设备；该方法可以包括以下步骤：

步骤302，获取针对目标界面的操作任务，所述操作任务是根据用户预先在所述目标界面选取的界面元素和针对所述界面元素的操作方式而生成。

在一实施例中，操作任务由相应的代码构成，该代码可以通过本申请提供的代码生成方案而自动生成，无需用户掌握计算机语言和编程技巧。其中，该代码生成方案可以参考诸如上述图2A或图2B所示的实施例，或者本申请提供的其他实施例，本申请并不对此进行限制。

步骤304，执行所述操作任务，以对所述目标界面中的界面元素实施基于所述操作方式的操作。

在一实施例中，通过生成和执行上述的操作任务，可以基于该操作任务自动、反复地实施与目标界面相关的操作，而无需用户手动实施操作，从而极大地简化了用户操作，并有助于提升操作效率。

在一实施例中，当所述目标界面包含一个或多个所述界面元素时，所述操作任务可以用于对单个所述界面元素实施基于所述操作方式的操作。

在一实施例中，当所述目标界面包含多个所述界面元素时，所述操作任务可以用于对多个所述界面元素批量实施基于所述操作方式的操作。

在一实施例中，所述目标界面中包含的多个所述界面元素可以属于同一类型，针对这些界面元素的操作可以采用相同的操作方式。在其他实施例中，也可以针对同一类型的不同界面元素采用不同操作方式的操作。

在一实施例中，所述目标界面中包含的多个所述界面元素可以属于多个类型，针对不同类型的界面元素可以采用不同操作方式的操作。在其他实施例中，也可以针对不同类型的界面元素采用相同操作方式的操作。

由以上技术方案可见，本申请通过识别用户选取的界面元素，并向用户提供针对被选取的界面元素的备选操作选项，以及识别用户对备选操作选项的选取操作，可以自动生成相应的代码，而无需用户掌握计算机语言和编程技巧，即可实现代码的自动化生成，极大地简化了代码生成过程、降低了用户的学习成本。

为了便于理解，下面结合用户操作过程中的界面展示变化，对本申请的技术方案进行详细说明。

图4是本申请一示例性实施例提供的一种自动生成代码的操作界面的示意图。用户使用的电子设备上可以运行客户端，该客户端可以提供如图4所示的操作界面40，以用于自动生成代码。

在一实施例中，操作界面40可以包括第一区域41和第二区域42，该第一区域41可以包括“打开目标界面”选项411、“捕捉当前界面”选项412 等，以用于确定目标界面，而第二区域42用于展示该目标界面，并基于用户对该目标界面的操作，自动生成相应的代码。

图5是本申请一示例性实施例提供的一种输入目标界面的示意图。当检测到用户选取“打开目标界面”选项411(比如通过光标43点击了该“打开目标界面”选项411)时，客户端可以向用户提供如图5所示的地址输入窗口411A，以供用户输入目标界面的访问地址，比如某一网页的网址、某一文件的存储路径等。

图6是本申请一示例性实施例提供的一种捕捉目标界面的示意图。当检测到用户选取“捕捉当前界面”选项412 (比如通过光标43点击了该“捕捉当前界面”选项412 )时，客户端可以自动捕捉第二区域42内打开的界面(即当前界面)，以作为目标界面。比如当用户已经在第二区域42顶部的地址栏 421中输入访问地址http://www.xxxxxx.com，并打开相应的界面44时，通过触发“捕捉当前界面”选项412 ，客户端可以自动将该界面44捕捉为目标界面，而无需用户重复通过如图5所示的地址输入窗口411A来输入目标界面的访问地址。

图7是本申请一示例性实施例提供的一种自动生成打开网页的代码块的示意图。在基于上述实施例确定了目标界面后，客户端可以根据用户操作过程和操作结果等，自动生成用于实施“打开网页”这一操作的代码，该代码在运行过程中可以用于自动打开上述的目标界面。为了便于用户了解客户端已经生成相应代码，可以在第一区域41内展示出相应的处理逻辑45，比如图7中的处理逻辑45仅包含“打开网页”步骤451，对应于上述用于实施“打开网页”这一操作的代码；同时，当处理逻辑45包括若干步骤时，每一步骤对应的代码可以称为一个代码块，而所有这些步骤对应的代码块可以组合为一组代码，以用于实现用户希望执行的一系列操作。

在一实施例中，对于“打开网页”步骤451或者其他任意步骤对应的已经自动生成的代码，用户可以通过调整某一步骤针对的界面元素、采用的操作方式等，使得客户端可以对该步骤予以调整，并进而针对调整后的步骤更新相应的代码块。在另一实施例中，用户可以对步骤对应的代码块进行编辑。

在一实施例中，当用户触发“捕捉当前界面”选项412时，由于用户需要预先在第二区域42内打开界面44，因而在转入图7所示的状态时，第二区域42可以保持对该界面44的展示。当用户触发“打开目标界面”选项411 时，用户并不需要预先在第二区域42内打开界面44，而为了便于用户在后续过程中实施针对界面44的操作，客户端除了自动生成“打开网页”步骤 451对应的代码之外，还可以自动执行“打开网页”的操作，以使得第二区域42内展示出该界面44。

在一实施例中，用户可以触发图7所示的“开始录制”选项413，使得用户对界面44进行操作的过程中，客户端可以自动识别出界面44中的界面元素，并针对用户触发的界面元素，协助用户完成对相应界面元素的触发操作，且由客户端自动生成相应的代码。

图8是本申请一示例性实施例提供的一种对输入框进行提示的示意图。当如图7所示的选项413被触发时，该选项413中的展示内容可以由“开始录制”变化为图8所示的“停止录制”，而当图8所示的选项413被触发时，该选项413中的展示内容可以由“停止录制”变回“开始录制”，从而实现对录制功能的开关切换。

在录制功能被开启后，当用户将光标43在界面44中进行移动时，客户端确定出光标43所在位置处的界面元素，并向用户提示该界面元素的存在。比如图8所示，当光标43位于输入框441处时，客户端可以通过将该输入框 441与其他界面元素进行区别展示(比如改变展示颜色等)、在提示框441A 中展示相应的界面元素ID(如“Input#kw.s_ipt”)和展示区域的规格(如“500 ×22”，即水平方向为500像素、垂直方向为22像素)等方式，向用户提示：光标43所处位置存在一界面元素(即输入框441)。

图9是本申请一示例性实施例提供的一种选择对输入框的操作方式的示意图。当检测到用户点击光标43以选取输入框441时，客户端可以展示出图 9所示的操作选择窗口46，该操作选择窗口46可以包括若干操作选项461，这些操作选项461对应于可针对输入框441实施的操作方式，比如“输入”、“点击”、“获取元素的文本”、“采集一/多组数据”、“鼠标移入”等，以供用户选择。

假定用户选择了“输入”操作，客户端可以进一步在操作选择窗口46 中展示一内容输入框462，以供用户在该内容输入框462中填写该“输入”操作的输入内容；比如用户可以填写“码栈”或其他任意内容。

图10是本申请一示例性实施例提供的一种自动生成填写输入框内容的代码块的示意图。客户端可以根据用户选取的界面元素(如输入框441)、针对该界面元素的操作方式(如“输入”且输入内容为“码栈”)等，自动生成图10所示的“填写输入框内容”步骤452对应的代码块，此时处理逻辑 45可以包括依次执行的“打开网页”步骤451、“填写输入框内容”步骤452。

在一实施例中，用户可以对处理逻辑45包含的各个步骤之间的执行次序进行调整，以由客户端相应调整对应的代码块之间的执行顺序，而并不一定符合于这些步骤对应的代码块的生成顺序。

在一实施例中，客户端除了生成“填写输入框内容”步骤452对应的代码块，还可以自动执行“填写输入框内容”的操作，以使得界面44得以实现相应的更新。比如图10所示，通过对输入框441实施“输入”操作，可以将用户填写的“码栈”自动填入该输入框441，而无需用户手动填入。

在一实施例中，上述的“录制”功能仅被应用于用户对输入框441的操作过程，而需要由用户通过“打开目标界面”选项411、“捕捉当前界面” 412等开启界面44，并促使客户端生成“打开网页”步骤451对应的代码块。

在另一实施例中，“录制”功能可以被应用于促使客户端生成“打开网页”步骤451对应的代码块。比如图11是本申请的一示例性实施例的自动生成打开网页和填写输入框内容的代码块的示意图，当检测到被展示为“开始录制”的选项413被触发后，用户可以通过在第二区域42开启的界面44，基于上述图8-图10所示实施例中的操作过程，即选取输入框441并通过操作选择窗口46选取操作方式等，使得客户端确定用户希望对界面44中的输入框441实施“输入”操作且输入内容为“码栈”，那么客户端可以自动确定出相应的处理逻辑45包括“打开网页”步骤451和“填写输入框内容”步骤452，并分别生成“打开网页”步骤451和“填写输入框内容”步骤452 对应的代码块。

图12是本申请一示例性实施例提供的一种对搜索按钮进行提示的示意图。如图12所示，当检测到光标43位于搜索按钮442处时，客户端可以向用户进行提示；与图8中针对输入框441的提示相类似的，客户端可以采用将该搜索按钮442与其他界面元素进行区别展示(比如改变展示颜色等)、在提示框442A中展示相应的界面元素ID(如“Input#su.bg.s_btn”)和展示区域的规格(如“100×34”，即水平方向为100像素、垂直方向为34像素) 等方式。

图13是本申请一示例性实施例提供的一种选择对搜索按钮的操作方式的示意图。当检测到用户点击光标43以选取搜索按钮442时，客户端可以展示出图13所示的操作选择窗口46，该操作选择窗口46可以包括若干操作选项461，这些操作选项461对应于可针对搜索按钮442实施的操作方式，比如“点击”、“获取元素的文本”、“采集一/多组数据”、“鼠标移入”等，以供用户选择。

图14是本申请一示例性实施例提供的一种自动生成点击网页元素的代码块的示意图。假定用户选择了“点击”操作，客户端可以根据用户选取的界面元素(如搜索按钮442)、针对该界面元素的操作方式(如“点击”操作)等，自动生成图14所示的“点击网页元素”步骤453对应的代码块，此时处理逻辑45可以包括依次执行的“打开网页”步骤451、“填写输入框内容”步骤452、“点击网页元素”步骤453。

在一实施例中，客户端除了生成“点击网页元素”步骤453对应的代码块，还可以自动执行“点击网页元素”的操作，以使得界面44得以实现相应的更新。比如图14所示，通过对搜索按钮442实施“点击”操作，可以使得界面44由图13所示的搜索界面更新为搜索结果界面，该搜索结果界面包括以“码栈”为关键词进行搜索得到的搜索结果471、搜索结果472、搜索结果 473等，而无需用户手动触发图13所示的搜索按钮442。

图15是本申请一示例性实施例提供的一种对搜索结果进行提示的示意图。如图15所示，当检测到光标43位于搜索结果471处时，客户端可以向用户进行提示；与图8中针对输入框441的提示相类似的，客户端可以采用将该搜索结果471与其他界面元素进行区别展示(比如改变展示颜色等)、在提示框471A中展示相应的界面元素ID(如“a”)和展示区域的规格(如“165×17”，即水平方向为165像素、垂直方向为17像素)等方式。

图16是本申请一示例性实施例提供的一种选择对搜索按钮的操作方式的示意图。当检测到用户点击光标43以选取搜索结果471时，客户端可以展示出图16所示的操作选择窗口46，该操作选择窗口46可以包括若干操作选项461，这些操作选项461对应于可针对搜索结果471实施的操作方式，比如“点击”、“获取元素的文本”、“采集一/多组数据”、“鼠标移入”等，以供用户选择。

假定用户选择了“采集一/多组数据”操作，客户端可以进一步在操作选择窗口46中展示一数据列表463，该数据列表463包括用户在图15所示实施例中选择的界面元素即搜索结果471，以及界面44中对应于该搜索结果471 的相似元素，比如搜索结果472、搜索结果473等，比如图16中示出“已找到9个相似元素”，表明该界面44中包含9条搜索结果。

图17是本申请一示例性实施例提供的一种自动生成获取元素列表的代码块的示意图。当用户未选中图16中的操作选择窗口46包含的“采集相似元素”选项464时，表明用户只希望采集在图15所示实施例中选择的界面元素即搜索结果471，则客户端可以自动生成图17所示的“获取元素列表”步骤454对应的代码块，此时处理逻辑45可以包括依次执行的“打开网页”步骤451、“填写输入框内容”步骤452、“点击网页元素”步骤453、“获取元素列表”步骤454。

图18是本申请一示例性实施例提供的另一种自动生成获取元素列表的代码块的示意图。当用户选中图16中的操作选择窗口46包含的“采集相似元素”选项464时，表明用户希望采集在图15所示实施例中选择的界面元素即搜索结果471及其相似元素，则客户端可以自动生成图17所示的“获取元素列表”步骤454和“循环元素列表”步骤455对应的代码块，以用于对界面44中与搜索结果471相同或相似的界面元素进行循环获取(比如最终可以获取图16所示的数据列表463中列举的所有界面元素)，此时处理逻辑45 可以包括依次执行的“打开网页”步骤451、“填写输入框内容”步骤452、“点击网页元素”步骤453、“获取元素列表”步骤454和“循环元素列表”步骤455。

综上所述，本申请通过识别界面元素，并通过向用户展示其选取的界面元素的备选操作选项，可以根据用户选取的操作选项，自动生成执行相应操作的代码，而无需用户了解计算机语言和编程技巧，只需要了解所需实现的操作功能和处理逻辑即可，极大地简化了代码生成过程、提升了代码生成效率。

图19示出了根据本申请的一示例性实施例的电子设备的示意结构图。请参考图19，在硬件层面，该电子设备包括处理器1902、内部总线1904、网络接口1906、内存1908以及非易失性存储器1910，当然还可能包括其他业务所需要的硬件。处理器1902从非易失性存储器1910中读取对应的计算机程序到内存1908中然后运行，在逻辑层面上形成代码生成装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图20，在一种软件实施方式中，该代码生成装置可以包括：

界面展示单元2001，展示用户确定的目标界面；

区别展示单元2002，根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

窗口展示单元2003，当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

代码生成单元2004，当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

操作执行单元2005，针对所述被选取的界面元素执行相应操作，以更新所述目标界面。

请参考图21，在另一种软件实施方式中，该代码生成装置可以包括：

选项展示单元2101，根据用户在目标界面选取的界面元素，展示针对被选取的界面元素的备选操作选项；

代码生成单元2102，根据用户选取的操作选项，生成实施相应操作的代码。

可选的，所述目标界面包括：预设界面或用户指定的界面。

可选的，还包括：

界面展示单元2103，展示目标界面，所述目标界面中包括至少一个界面元素，以供用户进行选取。

可选的，还包括：

位置获取单元2104，获取用户操控图标在所述目标界面上所处的位置；

区别展示单元2105，当所述目标界面在所述位置处存在界面元素时，对所述位置处的界面元素进行区别展示；

元素选取单元2106，当检测到所述用户操控图标对所述位置处的界面元素的选取操作时，将所述位置处的界面元素确定为所述被选取的界面元素。

可选的，

还包括：内容获取单元2107，获取用户为被选取的操作选项设定的操作内容；

所述代码生成单元2102具体用于：根据用户选取的操作选项和设定的所述操作内容，生成实施相应操作的代码。

可选的，所述操作的操作对象包括以下至少之一：所述被选取的界面元素、所述目标界面中与所述被选取的界面元素归属于同一类别的其他界面元素。

可选的，还包括：

操作执行单元2108，针对所述被选取的界面元素执行所述操作，以更新所述目标界面。

可选的，还包括：

获取单元2109，获取用户在所述目标界面中分别选取的多个界面元素，以及对应的多段代码；

组装单元2110，根据用户对所述多个界面元素的选取次序，对所述多段代码进行顺序组装。

请参考图22，在又一种软件实施方式中，该代码生成装置可以包括：

选项展示单元2201，针对目标界面包含的界面元素，展示相应的备选操作选项；

代码生成单元2202，根据用户选取的操作选项，生成实施相应操作的代码。

图23示出了根据本申请的一示例性实施例的电子设备的示意结构图。请参考图23，在硬件层面，该电子设备包括处理器2302、内部总线2304、网络接口2306、内存2308以及非易失性存储器2310，当然还可能包括其他业务所需要的硬件。处理器2302从非易失性存储器2310中读取对应的计算机程序到内存2308中然后运行，在逻辑层面上形成任务执行装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图24，在一种软件实施方式中，该任务执行装置可以包括：

获取单元2401，获取针对目标界面的操作任务，所述操作任务是根据用户预先在所述目标界面选取的界面元素和针对所述界面元素的操作方式而生成；

执行单元2402，执行所述操作任务，以对所述目标界面中的界面元素实施基于所述操作方式的操作。

可选的，当所述目标界面包含多个所述界面元素时，所述操作任务用于对多个所述界面元素批量实施基于所述操作方式的操作。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (22)

1.一种代码生成方法，其特征在于，包括：

展示用户确定的目标界面；以及，循环执行下述操作，以获得针对所述目标界面的操作任务，所述操作任务包含循环执行下述操作所生成的代码：

根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

针对所述被选取的界面元素执行相应操作，以更新所述目标界面。

2.一种代码生成方法，其特征在于，包括：

循环执行下述操作，以获得针对目标界面的操作任务，所述操作任务包含循环执行下述操作所生成的代码：

根据用户在所述目标界面选取的界面元素，展示针对被选取的界面元素的备选操作选项；

根据用户选取的操作选项，生成实施相应操作的代码；

针对所述被选取的界面元素执行所述操作，以更新所述目标界面。

3.根据权利要求2所述的方法，其特征在于，所述目标界面包括：预设界面或用户指定的界面。

4.根据权利要求2所述的方法，其特征在于，还包括：

展示目标界面，所述目标界面中包括至少一个界面元素，以供用户进行选取。

5.根据权利要求2所述的方法，其特征在于，还包括：

获取用户操控图标在所述目标界面上所处的位置；

当所述目标界面在所述位置处存在界面元素时，对所述位置处的界面元素进行区别展示；

当检测到所述用户操控图标对所述位置处的界面元素的选取操作时，将所述位置处的界面元素确定为所述被选取的界面元素。

6.根据权利要求2所述的方法，其特征在于，

还包括：获取用户为被选取的操作选项设定的操作内容；

所述根据用户选取的操作选项，生成对所述被选取的界面元素实施相应操作的代码，包括：根据用户选取的操作选项和设定的所述操作内容，生成实施相应操作的代码。

7.根据权利要求2所述的方法，其特征在于，所述操作的操作对象包括以下至少之一：所述被选取的界面元素、所述目标界面中与所述被选取的界面元素归属于同一类别的其他界面元素。

8.根据权利要求2所述的方法，其特征在于，还包括：

获取用户在所述目标界面中分别选取的多个界面元素，以及对应的多段代码；

根据用户对所述多个界面元素的选取次序，对所述多段代码进行顺序组装。

9.一种代码生成方法，其特征在于，包括：

循环执行下述操作，以获得针对目标界面的操作任务，所述操作任务包含循环执行下述操作所生成的代码：

针对所述目标界面包含的界面元素，展示相应的备选操作选项；

根据用户选取的操作选项，生成实施相应操作的代码；

针对被选取的界面元素执行所述操作，以更新所述目标界面。

10.一种代码生成装置，其特征在于，包括：

界面展示单元，展示用户确定的目标界面；以及，循环执行下述操作，以获得针对所述目标界面的操作任务，所述操作任务包含循环执行下述操作所生成的代码：

区别展示单元，根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

窗口展示单元，当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

代码生成单元，当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

操作执行单元，针对所述被选取的界面元素执行相应操作，以更新所述目标界面。

11.一种代码生成装置，其特征在于，包括：

选项展示单元，循环执行下述操作，以获得针对目标界面的操作任务，所述操作任务包含循环执行下述操作所生成的代码：根据用户在目标界面选取的界面元素，展示针对被选取的界面元素的备选操作选项；

代码生成单元，根据用户选取的操作选项，生成实施相应操作的代码；

操作执行单元，针对所述被选取的界面元素执行所述操作，以更新所述目标界面。

12.根据权利要求11所述的装置，其特征在于，所述目标界面包括：预设界面或用户指定的界面。

13.根据权利要求11所述的装置，其特征在于，还包括：

界面展示单元，展示目标界面，所述目标界面中包括至少一个界面元素，以供用户进行选取。

14.根据权利要求11所述的装置，其特征在于，还包括：

位置获取单元，获取用户操控图标在所述目标界面上所处的位置；

区别展示单元，当所述目标界面在所述位置处存在界面元素时，对所述位置处的界面元素进行区别展示；

元素选取单元，当检测到所述用户操控图标对所述位置处的界面元素的选取操作时，将所述位置处的界面元素确定为所述被选取的界面元素。

15.根据权利要求11所述的装置，其特征在于，

还包括：内容获取单元，获取用户为被选取的操作选项设定的操作内容；

所述代码生成单元具体用于：根据用户选取的操作选项和设定的所述操作内容，生成实施相应操作的代码。

16.根据权利要求11所述的装置，其特征在于，所述操作的操作对象包括以下至少之一：所述被选取的界面元素、所述目标界面中与所述被选取的界面元素归属于同一类别的其他界面元素。

17.根据权利要求11所述的装置，其特征在于，还包括：

获取单元，获取用户在所述目标界面中分别选取的多个界面元素，以及对应的多段代码；

组装单元，根据用户对所述多个界面元素的选取次序，对所述多段代码进行顺序组装。

18.一种代码生成装置，其特征在于，包括：

选项展示单元，循环执行下述操作，以获得针对目标界面的操作任务，所述操作任务包含循环执行下述操作所生成的代码：针对目标界面包含的界面元素，展示相应的备选操作选项；

代码生成单元，根据用户选取的操作选项，生成实施相应操作的代码；

操作执行单元，针对被选取的界面元素执行所述操作，以更新所述目标界面。

19.一种任务执行方法，其特征在于，包括：

获取针对目标界面的操作任务，所述操作任务是根据用户预先在所述目标界面选取的界面元素和针对所述界面元素的操作方式而生成，所述操作任务包含循环执行下述操作所生成的代码：

根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

针对所述被选取的界面元素执行相应操作，以更新所述目标界面；

执行所述操作任务，以对所述目标界面中的界面元素实施基于所述操作方式的操作。

20.根据权利要求19所述的方法，其特征在于，当所述目标界面包含多个所述界面元素时，所述操作任务用于对多个所述界面元素批量实施基于所述操作方式的操作。

21.一种任务执行装置，其特征在于，包括：

获取单元，获取针对目标界面的操作任务，所述操作任务是根据用户预先在所述目标界面选取的界面元素和针对所述界面元素的操作方式而生成，所述操作任务包含循环执行下述操作所生成的代码：

根据用户操控图标在所述目标界面上所处的位置，对所述目标界面中相应位置处的界面元素进行区别展示；

当检测到所述用户操控图标对界面元素的选取操作时，展示相应的交互窗口，所述交互窗口中包括针对被选取的界面元素的备选操作选项；

当检测到所述用户操控图标对备选操作选项的选取操作时，生成对所述被选取的界面元素实施相应操作的代码；

针对所述被选取的界面元素执行相应操作，以更新所述目标界面；

执行单元，执行所述操作任务，以对所述目标界面中的界面元素实施基于所述操作方式的操作。

22.根据权利要求21所述的装置，其特征在于，当所述目标界面包含多个所述界面元素时，所述操作任务用于对多个所述界面元素批量实施基于所述操作方式的操作。

Images