CN109542303A - 触控设备及其响应方法、装置 - Google Patents

触控设备及其响应方法、装置 Download PDF

Info

Publication number
CN109542303A
CN109542303A CN201811302864.3A CN201811302864A CN109542303A CN 109542303 A CN109542303 A CN 109542303A CN 201811302864 A CN201811302864 A CN 201811302864A CN 109542303 A CN109542303 A CN 109542303A
Authority
CN
China
Prior art keywords
information
touch
script
control device
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811302864.3A
Other languages
English (en)
Inventor
林行
王辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shell Technology Co Ltd
Original Assignee
Beijing Shell Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shell Technology Co Ltd filed Critical Beijing Shell Technology Co Ltd
Priority to CN201811302864.3A priority Critical patent/CN109542303A/zh
Publication of CN109542303A publication Critical patent/CN109542303A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种触控设备及其响应方法、装置。所述方法包括:根据所述触控设备中运行的目标应用程序确定目标预设脚本;其中,所述目标预设脚本中记录有与所述目标应用程序匹配的可重复性操作的特征信息;调用所述目标预设脚本,并将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息;响应所述触控信息。通过本发明的技术方案,可在不需要人为操作的基础上,得到与用户手动执行上述可重复性操作一样的响应效果。如此,不仅节省了人力、减少可重复性操作的时间,而且由于不需人为执行上述可重复性操作因而提高了可重复性操作的响应效率。

Description

触控设备及其响应方法、装置
技术领域
本发明涉及终端技术领域,特别涉及一种触控设备及其响应方法、装置。
背景技术
目前,随着触控技术的普及,越来越多的厂商推出具有触控面板的触控设备,以方便用户通过触控面板执行触控操作,从而尽可能地提升用户的使用体验。
利用触控设备,用户可以直接对游戏、购物等各类应用程序中的对象进行操作,获得直观、沉浸式的操作体验。然而,这些应用程序中往往存在一些可重复性操作,如“签到”、“领取每日登录奖励”等,尤其是一些挂机类游戏,这样的可重复性操作更多。针对这类可重复性操作,相关技术中都需要通过人工执行完成,不仅增加了用户的操作负担、浪费了用户大量的时间和精力,而且由于需要人为执行上述可重复性操作后才能获得该可重复性操作对应的响应结果因而上述可重复性操作的响应效率较低,用户体验不好。
发明内容
本发明提供一种触控设备响应方法,包括:
根据所述触控设备中运行的目标应用程序确定目标预设脚本;其中,所述目标预设脚本中记录有与所述目标应用程序匹配的可重复性操作的特征信息;
调用所述目标预设脚本,并将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息;
响应所述触控信息。
在一个实施例中,所述响应所述触控信息,包括:
根据所述触控信息生成对应的触控命令;
控制所述目标应用程序执行所述触控命令,以完成所述可重复性操作。
在一个实施例中,所述触控设备上安装有预设解析程序并创建有虚拟输入设备,所述虚拟输入设备分别与所述预设解析程序和所述触控设备的操作***相连接;
所述将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息,包括:
通过所述预设解析程序对所述特征信息进行解析,得到所述虚拟输入设备可识别的所述触控信息;
所述响应所述触控信息,包括:
通过所述虚拟输入设备将所述触控信息发送至所述操作***;
所述操作***响应所述触控信息。
在一个实施例中,所述方法还包括:
在接收到创建指令后,显示虚拟输入设备创建界面;
通过所述虚拟输入设备创建界面接收配置参数,其中,所述配置参数包括所述虚拟输入设备的分辨率;
根据所述配置参数创建所述虚拟输入设备。
在一个实施例中,所述根据所述触控设备中运行的目标应用程序确定目标预设脚本,包括以下至少一项:
当接收到自动响应触发指令时,根据所述目标应用程序确定所述目标预设脚本;
当监测到自动响应触发手势时,根据所述目标应用程序确定所述目标预设脚本;
当监测到当前时间达到预设自动响应触发时间时,根据所述目标应用程序确定所述目标预设脚本;
当接收到开机指令时,根据所述目标应用程序确定所述目标预设脚本。
在一个实施例中,根据所述触控设备中运行的目标应用程序确定目标预设脚本,包括:
根据应用程序与脚本标识的对应关系以及所述目标应用程序,确定所述目标应用程序对应的目标脚本标识;
根据所述目标脚本标识确定所述目标预设脚本。
在一个实施例中,所述特征信息包括:所述可重复性操作在所述触控设备的触控面板上的操作信息;和/或
所述特征信息包括:与所述操作信息对应的指示信息,其中,所述指示信息包括以下至少一项:关键字、图片、颜色信息。
在一个实施例中,当所述特征信息包括所述指示信息时,所述将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息,包括:
对所述指示信息进行识别,获得所述指示信息对应的所述操作信息;
解析所述操作信息,获得所述触控信息。
本发明还提供一种触控设备响应装置,包括:
确定模块,用于根据所述触控设备中运行的目标应用程序确定目标预设脚本;其中,所述目标预设脚本中记录有与所述目标应用程序匹配的可重复性操作的特征信息;
处理模块,用于调用所述目标预设脚本,并将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息;
响应模块,用于响应所述触控信息。
在一个实施例中,所述响应模块包括:
生成子模块,用于根据所述触控信息生成对应的触控命令;
控制子模块,用于控制所述目标应用程序执行所述触控命令,以完成所述可重复性操作;
所述触控设备上安装有预设解析程序并创建有虚拟输入设备,所述虚拟输入设备分别与所述预设解析程序和所述触控设备的操作***相连接;
所述处理模块用于:
通过所述预设解析程序对所述特征信息进行解析,得到所述虚拟输入设备可识别的所述触控信息;
所述响应模块用于:
通过所述虚拟输入设备将所述触控信息发送至所述操作***,使所述操作***响应所述触控信息;
所述装置还包括:
显示模块,用于在接收到创建指令后,显示虚拟输入设备创建界面;
接收模块,用于通过所述虚拟输入设备创建界面接收配置参数,其中,所述配置参数包括所述虚拟输入设备的分辨率;
创建模块,用于根据所述配置参数创建所述虚拟输入设备。
在一个实施例中,确定模块包括以下至少一个子模块:
第一确定子模块,用于当接收到自动响应触发指令时,根据所述目标应用程序确定所述目标预设脚本;
第二确定子模块,用于当监测到自动响应触发手势时,根据所述目标应用程序确定所述目标预设脚本;
第三确定子模块,用于当监测到当前时间达到预设自动响应触发时间时,根据所述目标应用程序确定所述目标预设脚本;
第四确定子模块,用于当接收到开机指令时,根据所述目标应用程序确定所述目标预设脚本。
在一个实施例中,所述确定模块包括:
第五确定子模块,用于根据应用程序与脚本标识的对应关系以及所述目标应用程序,确定所述目标应用程序对应的目标脚本标识;
第六确定子模块,用于根据所述目标脚本标识确定所述目标预设脚本。
在一个实施例中,所述特征信息包括:所述可重复性操作在所述触控设备的触控面板上的操作信息;和/或
所述特征信息包括:与所述操作信息对应的指示信息,其中,所述指示信息包括以下至少一项:关键字、图片、颜色信息;
所述处理模块包括:
识别子模块,用于当所述特征信息包括所述指示信息时,对所述指示信息进行识别,获得所述指示信息对应的所述操作信息;
解析子模块,用于解析所述操作信息,获得所述触控信息。
本发明还提供一种触控设备,其可以包括以上任一项所述的触控设备响应装置。
本公开的实施例提供的技术方案可以包括以下有益效果:
根据触控设备中运行的目标应用程序来确定目标预设脚本,通过调用目标预设脚本,对该目标预设脚本中的特征信息进行自动解析,进而获得该特征信息对应的、且该触控设备可识别的触控信息,也即与所述目标应用程序匹配的可重复性操作的触控信息,然后触控设备自动响应该触控信息,即相当于触控设备自动执行上述可重复性操作,可实现在不需要人为操作的基础上,得到与用户手动执行上述可重复性操作一样的响应效果。如此,不仅节省了人力、减少可重复性操作的时间,而且由于不需人为执行上述可重复性操作因而提高了可重复性操作的响应效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据一示例性实施例示出的一种触控设备响应方法的流程图。
图2是根据一示例性实施例示出的另一种触控设备响应方法的流程图。
图3是根据一示例性实施例示出的又一种触控设备响应方法的流程图。
图4是根据一示例性实施例示出的一种触控设备响应装置的框图。
图5是根据一示例性实施例示出的另一种触控设备响应装置的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
为了解决上述技术问题,本公开实施例提供了一种触控设备响应方法,该方法适用于触控设备响应程序、***或装置中,可用于具有触控面板的手机、平板等触控设备,如图1所示,步骤S101至步骤S103,其中:
在步骤S101中,根据触控设备中运行的目标应用程序确定目标预设脚本;其中,目标预设脚本中记录有与目标应用程序匹配的可重复性操作的特征信息;上述可重复性操作为需要在目标应用程序中执行的操作。
上述可重复性操作指的是需要针对触控面板重复执行(包括连续多次执行,及以固定或不固定的周期多次执行)的操作。例如,每天登录某游戏应用程序P1后执行的“签到”、领取签到奖励等操作,或者在某游戏应用程序P2中连续点击“攻击”按键的操作等等。
上述目标应用程序可以是运行在前台或者后台的应用程序,如可以是当前正在运行的应用程序,和/或,可以是某个/某些预设应用程序。
例如,若当前正在运行的应用程序有多个,或者当前无正在运行的应用程序,则:
在一个实施例中,可以通过再次获取用户指令来确定一个目标应用程序,即由用户实时指定所述目标应用程序;
或者,在另一个实施例中,可以根据多个应用程序的运行特征(时间、地点)以及当前的运行特征,自动而智能地从多个应用程序中选择一个应用程序作为所述目标应用程序;
或者,在又一个实施例中,可以将用户或***预先设定的默认应用程序(即上述预设应用程序)作为所述目标应用程序。
在步骤S102中,调用目标预设脚本,并将目标预设脚本中的特征信息解析为触控设备可识别的触控信息;
由于脚本通常是自定义的,可能由于该脚本的语言格式与触控设备可识别的语言的格式并不相同等原因导致触控设备可能无法直接识别目标预设脚本中的特征信息,因而,需要对特征信息进行解析,以得到触控设备可识别的触控信息,从而确保触控设备之后能够运行该脚本,模拟出执行上述可重复性操作的有益效果。
其次,该目标预设脚本可以存储在该触控设备上,或者存储在其他设备上。
在步骤S103中,响应触控信息。
根据触控设备中运行的目标应用程序来确定目标预设脚本,通过调用目标预设脚本,对该目标预设脚本中的特征信息进行自动解析,进而获得该特征信息对应的、且该触控设备可识别的触控信息,也即与所述目标应用程序匹配的可重复性操作的触控信息,然后触控设备自动响应该触控信息,即相当于触控设备自动执行上述可重复性操作,可实现在不需要人为操作的基础上,得到与用户手动执行上述可重复性操作一样的响应效果。如此,不仅节省了人力、减少可重复性操作的时间,而且由于不需人为执行上述可重复性操作因而提高了可重复性操作的响应效率。
另外,通过调用目标预设脚本还可以方便用户在触控设备上进行循环操作。
最后,本申请中的脚本以Lua语言(一个小巧的脚本语言)作为基础,支持Lua的所有语言特性与函数。同时本申请还可以针对应用场景定制一系列特有的函数命令,实现找色、触摸等功能。
而脚本中的命令包括:基础命令和自定义命令,其中:
基础命令包含流程控制命令、循环命令、变量命令等等,均使用Lua语言命令。例如:
while(true)
do
print("循环将永远执行下去")
end
上述为一循环命令,其功能为:当条件为真(true)时,输出(显示)字符串“循环将永远执行下去”。
而自定义命令为触摸脚本程序为了实现触摸功能,在Lua基础上自定义的一系列命令。例如:触摸按下(touchDown)、触摸移动(touchMove)、截图(snapshot)等等。
自定义命令示例具体如下:
touchDown(1,150,150),表示ID为1的手指在坐标(150,150)处按下;
mSleep(200),表示延时200毫秒;
touchUp(1,150,150),表示ID为1的手指抬起。
下面将对预设脚本的案例进行列举:
案例一:演示了启动程序Px签到领红包后退到主界面的脚本
start'com.Px'--启动程序Px
touchDown(1,100,1000)--切换至我的选项卡
touchDown(1,300,1000)--点击签到
home--回到主界面
需要说明的是,上述案例一种,“我的”选项卡在程序Px首页界面中的坐标为(100,1000),在该处执行按下命令(touchDown)即可完成“切换至“我的”选项卡”的操作;“签到”控件在“我的”界面中的坐标为(300,1000),在该处执行按下命令(touchDown)即可完成“点击“签到”的操作。
案例二:演示了游戏挂机流程的脚本
touchDown(1,50,150)--打开物品栏
mSleep(200)--延时200毫秒
touchUp(1,150,150)--吃药
需要说明的是,上述案例二中,“物品栏”控件在游戏界面中的坐标为(50,150),在该处执行按下命令(touchDown)即可完成“打开物品栏”的操作;“药”在物品栏界面中的坐标为(150,150),在该处执行抬起命令(touchUp)即可完成“吃药”的操作。
在一个实施例中,上述图1所示的步骤S103,即响应触控信息,可被执行为:
根据触控信息生成对应的触控命令;
控制目标应用程序执行触控命令,以完成可重复性操作。
即应用本实施例,在控制目标应用程序自动执行触控命令后,即可等效于用户手动执行上述可重复性操作,并得到与手动操作相同的响应结果。
在响应触控信息时,可根据可识别的触控信息生成对应的触控命令,进而将触控指令发送至目标应用程序,以使目标应用程序自动执行该触控命令,从而利用脚本模拟出用户手动执行上述可重复性操作的效果,并自动获得执行上述可重复性操作后得到的响应结果,如此,不仅节省了人力、减少可重复性操作的时间,而且由于不需人为执行上述可重复性操作因而提高了可重复性操作的响应效率。
例如,识别出的触控信息为点击触控设备的显示界面的坐标A,则生成点击坐标A的命令,并将该点击坐标A的命令发送给该显示界面所属的应用B,进而应用B执行点击坐标A的命令,应用B即可获得等效于用户手动点击前述点击坐标A后得到的响应结果。该响应结果可以是页面跳转或者页面内容更新等。
在一个实施例中,触控设备上安装有预设解析程序并创建有虚拟输入设备,虚拟输入设备分别与预设解析程序和触控设备的操作***相连接(相通信);
该操作***可以是开源的安卓(Android)操作***,或者是IOS操作***(由苹果公司开发的移动操作***);
将目标预设脚本中的特征信息解析为触控设备可识别的触控信息,包括:
通过预设解析程序对特征信息进行解析,得到虚拟输入设备可识别的触控信息。
其中,该预设解析程序可以位于安卓操作***上层的应用层,与虚拟输入设备配合使用。
而虚拟输入设备可以注册在安卓操作***的内核(即Linux***)中,该虚拟输入设备与安卓操作***可通过hid(HID Descriptor Tool,描述符编辑工具)协议进行同步通信。
另外,上述解析过程除了可以是对特征信息的语法、语义、语言格式进行解析或转换之外,还可能是坐标转换等,而且由于虚拟输入设备相当于一个模拟屏,因而,解析后的触控信息是针对该虚拟输入设备的触控信息,例如解析后的坐标是针对该虚拟输入设备的坐标。
下面以将鼠标点击对应的特征信息转化为UINPUT命令(即虚拟输入设备能够识别的命令)为例,说明上述预设解析程序的解析结果:
基于上述虚拟输入设备,步骤S103所述的响应触控信息,包括:
通过虚拟输入设备将触控信息发送至操作***;
操作***响应触控信息。
本实施例中,由于虚拟输入设备相当于一个虚拟触控面板,所以当虚拟输入设备将触控信息发送至操作***时,就会使操作***误以为用户在触控设备的实体触控面板上手动执行了上述可重复性操作,因而,操作***就会执行正常的响应该可重复性操作的逻辑,具体地,操作***就会响应该触控信息,以达到等效于用户手动执行了上述重复性操作的效果。
由于触控信息为虚拟输入设备可识别的触控信息,而虚拟输入设备注册在安卓操作***的内核上,因而,该触控信息也是安卓操作***可识别的触控信息,因而,安卓操作***在获取到该触控信息后,就可在触控设备响应触控信息,以利用脚本模拟出用户手动执行上述可重复性操作的效果,从而利用脚本自动获得执行上述可重复性操作后得到的响应结果,如此,不仅节省了人力、减少可重复性操作的时间,而且由于不需人为执行上述可重复性操作因而提高了可重复性操作的响应效率。
如图2所示,在一个实施例中,为得到上述虚拟输入设备,上述方法还可包括步骤S201至步骤S203,其中:
在步骤S201中,在接收到创建指令后,显示虚拟输入设备创建界面;
在步骤S202中,通过虚拟输入设备创建界面接收配置参数;
其中,配置参数包括虚拟输入设备的分辨率。
在步骤S203中,根据配置参数创建虚拟输入设备。
由于操作***接收到上述针对虚拟输入设备的触控信息就会误以为用户在虚拟输入设备上手动执行了上述重复性操作,因而,优选地,虚拟输入设备的分辨率与触控设备的实体触控面板的分辨率相同,如此误以为用户在虚拟输入设备上手动执行了上述重复性操作就完全等同于误以为用户在触控设备的实体触控面板上手动执行了上述重复性操作。
当然,如果虚拟输入设备的分辨率与触控设备的实体触控面板的分辨率不相同,则由于可确定两者分辨率的对应关系,因而,通过坐标转换,也可使得“误以为用户在虚拟输入设备上手动执行了上述重复性操作”等同于“误以为用户在触控设备的实体触控面板上手动执行了上述重复性操作”。
本实施例中,上述虚拟输入设备可以为UInput Device;相应的,创建该虚拟输入设备的过程如下:
打开UInput Device;
设置UInput Device,配置设备相关参数,如配置触摸屏分辨率等;
写入设备信息;
创建Input Device;
向Input Device发送Event(该Event即触控信息)。
在一个实施例中,根据触控设备中运行的目标应用程序确定目标预设脚本,包括以下至少一项:
当接收到自动响应触发指令时,根据目标应用程序确定目标预设脚本;
当监测到自动响应触发手势时,根据目标应用程序确定目标预设脚本;
当监测到当前时间达到预设自动响应触发时间时,根据目标应用程序确定目标预设脚本;
当接收到开机指令时,根据目标应用程序确定目标预设脚本。
本实施例中,开始自动响应(即开始执行本申请所述方法)的时机可个性化设置,包括但不限于上述几种方式,其中,接收到自动响应触发指令、监测到自动响应触发手势和开机指令属于用户人为手动触发,而监测到当前时间达到预设自动响应触发时间属于自动触发。
其次,上述自动响应触发指令可以来自用户对触控设备的触控面板上的某位置/某区域的点击、滑动操作等。
上述自动响应触发手势可个性化设置也可以更新,如输入字符“O”的手势等。
上述预设自动响应触发时间可个性化设定,同时也可设置多个。
另外,可在触控设备的桌面上设置悬浮球等快捷方式,以方便用户通过该快捷方式随时快速启动执行本申请所述方法。
而在用户选中该目标预设脚本时,触控设备即接收到运行目标预设脚本的指令。
如图3所示,在一个实施例中,上述图1中的步骤S101,即根据触控设备中运行的目标应用程序确定目标预设脚本,可以包括步骤S301和步骤S302:
在步骤S301中,根据应用程序与脚本标识的对应关系以及目标应用程序,确定目标应用程序对应的目标脚本标识;
在步骤S302中,根据目标脚本标识确定目标预设脚本。
在本实施例中,可以为在每个应用程序中获得的脚本设置脚本标识,使得应用程序与脚本标识建立上述对应关系,进而利用上述对应关系以及目标应用程序,自动确定该目标应用程序的目标脚本标识,然后,根据该目标脚本标识自动而准确地确定需调用的目标预设脚本,避免脚本的错误调用。
上述实施例公开了基于触控设备中运行的应用程序自动确定目标预设脚本的实施方式。而在其他实施例中,还可以由用户直接选择想要执行的可重复性操作对应的预设脚本(例如可以通过上述快捷方式进入预设脚本选择界面),作为目标预设脚本来执行本申请所述方法。
在一个实施例中,特征信息包括:可重复性操作在触控设备的(实体)触控面板上的操作信息。
上述操作信息为可重复性操作在上述触控面板上的操作类型(如点击、滑动等)、操作坐标、操作持续时长。
当然,如果上述可重复性操作中包括多个操作,则上述操作信息还可以是多个操作的操作时间间隔、操作顺序、操作次数、所操作的对象(如应用或控件)的名字等属性信息。
和/或
在一个实施例中,特征信息包括:与操作信息对应的指示信息,其中,指示信息包括以下至少一项:关键字、图片、颜色信息。
上述指示信息包括但不限于上述几种信息,例如,还可能是声音等。
在一个实施例中,当特征信息包括指示信息时,将目标预设脚本中的特征信息解析为触控设备可识别的触控信息,包括:
对指示信息进行识别,获得指示信息对应的操作信息;
解析操作信息,获得触控信息。
在本实施例所述的预设脚本中,对于触控位置、触控时间等操作信息确定的可重复性操作,可以直接在相应的预设脚本中写入该操作信息,利于时序控制方式来实现相应可重复性操作的自动执行。
而对于一些操作信息不确定的可重复性操作,则可以在相应的预设脚本中根据上述指示信息写入对应的逻辑控制条件,从而在该预设脚本运行的过程中,只要满足该逻辑控制条件,即可实时确定操作信息。通过对上述指示信息进行识别,即判断相应的逻辑控制条件是否满足,可获得该指示信息对应的操作信息,然后对操作信息进行自动解析,以自动获得准确的触控信息,从而便于利用脚本准确地模拟出用户手动执行上述可重复性操作的效果,并自动而准确地获得执行上述可重复性操作后得到的响应结果。
例如:在“踩方块”游戏中,其应用界面中会同时出现多个“白方块”和“黑方块”,用户需要点击该应用界面中出现的“黑方块”,而由于不同的关卡中黑方块出现的时间、位置等是不同的,无法提前设定,故可以通过实时识别应用界面中的黑色(black)区域,并将识别时间及黑色区域的位置等信息作为点击“黑方块”这一操作的操作信息对应的指示信息,这样,在该预设脚本运行的过程中,会循环判断当前界面的颜色信息是否存在“black”信息(具体可以通过解析该应用程序的脚本数据来得到当前界面的颜色信息),如果存在,则获取该“black”信息对应的显示区域的坐标信息及操作类型信息(点击操作),作为操作信息,然后将该操作信息进一步解析为操作***可识别的触控信息,即可利用基于颜色信息的逻辑控制方式在“踩方块”应用中模拟出手动点击黑方块的效果,实现自动找色的功能,使得该游戏可以自动运行。
又例如:在某即时通讯、购物等应用程序中,由于在接收到红包后会产生“您收到红包”的提示音,且该“红包”的点击区域相对固定,因而,“您收到红包”的提示音即可作为点击“红包”这一操作的操作信息对应的指示信息,所以,在该预设脚本运行的过程中,会循环判断是否接收到“您收到红包”这一提示音,如果收到,则将收到该提示音的时间作为操作时间,并结合其他相关操作信息(如操作类型信息),解析为操作***可识别的坐标和点击命令,即可利用基于声音的逻辑控制方式模拟出手动点击红包的效果,实现自动抢红包、收红包,不需要用户实时注意是否收到红包,也不需要用户手动执行抢/收红包的操作。
在其他可行的实施例中,还可以利用时序控制和逻辑控制相结合的方式来设计预设脚本,实现对复杂操作的自动执行。
最后,本领域技术人员可根据需求,将上述多个实施例任意地进行自由组合,此处不再赘述。
如图4所示,本发明还提供一种触控设备响应装置,包括:
确定模块401,被配置为根据触控设备中运行的目标应用程序确定目标预设脚本;其中,目标预设脚本中记录有与目标应用程序匹配的可重复性操作的特征信息;
处理模块402,被配置为调用目标预设脚本,并将目标预设脚本中的特征信息解析为触控设备可识别的触控信息;
响应模块403,被配置为响应触控信息。
在一个实施例中,响应模块403可以包括:
生成子模块,被配置为根据触控信息生成对应的触控命令;
控制子模块,被配置为控制目标应用程序执行触控命令,以完成可重复性操作。
在一个实施例中,上述触控设备上安装有预设解析程序并创建有虚拟输入设备,虚拟输入设备分别与预设解析程序和触控设备的操作***相连接;
上述处理模块402被配置为:
通过预设解析程序对特征信息进行解析,得到虚拟输入设备可识别的触控信息;
上述响应模块403被配置为:
通过虚拟输入设备将触控信息发送至操作***,使操作***响应触控信息;
在一个实施例中,上述触控设备响应装置还包括:
显示模块,被配置为在接收到创建指令后,显示虚拟输入设备创建界面;
接收模块,被配置为通过虚拟输入设备创建界面接收配置参数,其中,配置参数包括虚拟输入设备的分辨率;
创建模块,被配置为根据配置参数创建虚拟输入设备。
在一个实施例中,确定模块401可以包括以下至少一个子模块:
第一确定子模块,用于当接收到自动响应触发指令时,根据所述目标应用程序确定所述目标预设脚本;
第二确定子模块,用于当监测到自动响应触发手势时,根据所述目标应用程序确定所述目标预设脚本;
第三确定子模块,用于当监测到当前时间达到预设自动响应触发时间时,根据所述目标应用程序确定所述目标预设脚本;
第四确定子模块,用于当接收到开机指令时,根据所述目标应用程序确定所述目标预设脚本。
在一个实施例中,所述确定模块401可以包括:
第五确定子模块,用于根据应用程序与脚本标识的对应关系以及所述目标应用程序,确定所述目标应用程序对应的目标脚本标识;
第六确定子模块,用于根据所述目标脚本标识确定所述目标预设脚本。
在一个实施例中,特征信息包括:可重复性操作在触控设备的触控面板上的操作信息;和/或
特征信息包括:与操作信息对应的指示信息,其中,指示信息包括以下至少一项:关键字、图片、颜色信息。
如图5所示,在一个实施例中,处理模块402可以包括:
识别子模块4021,被配置为当特征信息包括指示信息时,对指示信息进行识别,获得指示信息对应的操作信息;
解析子模块4022,被配置为解析操作信息,获得触控信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
由以上技术方案可知,本实施例提供的触控设备响应装置,根据触控设备中运行的目标应用程序来确定目标预设脚本,通过调用目标预设脚本,对该目标预设脚本中的特征信息进行自动解析,进而获得该特征信息对应的、且该触控设备可识别的触控信息,也即与所述目标应用程序匹配的可重复性操作的触控信息,然后触控设备自动响应该触控信息,即相当于触控设备自动执行上述可重复性操作,可实现在不需要人为操作的基础上,得到与用户手动执行上述可重复性操作一样的响应效果。如此,不仅节省了人力、减少可重复性操作的时间,而且由于不需人为执行上述可重复性操作因而提高了可重复性操作的响应效率。
最后,本发明还提供一种触控设备,其可以包括以上任一实施例所述的触控设备响应装置,或者该触控设备可以执行上述任一实施例所述的触控设备响应方法,实现对可重复性操作的自动执行及响应。
本发明中的触控设备响应装置适用于触控设备。例如,该触控设备可以是移动电话,计算机,数字广播,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种触控设备响应方法,其特征在于,包括:
根据所述触控设备中运行的目标应用程序确定目标预设脚本;其中,所述目标预设脚本中记录有与所述目标应用程序匹配的可重复性操作的特征信息;
调用所述目标预设脚本,并将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息;
响应所述触控信息。
2.根据权利要求1所述的方法,其特征在于,
所述响应所述触控信息,包括:
根据所述触控信息生成对应的触控命令;
控制所述目标应用程序执行所述触控命令,以完成所述可重复性操作。
3.根据权利要求1所述的方法,其特征在于,
所述触控设备上安装有预设解析程序并创建有虚拟输入设备,所述虚拟输入设备分别与所述预设解析程序和所述触控设备的操作***相连接;
所述将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息,包括:
通过所述预设解析程序对所述特征信息进行解析,得到所述虚拟输入设备可识别的所述触控信息;
所述响应所述触控信息,包括:
通过所述虚拟输入设备将所述触控信息发送至所述操作***;
所述操作***响应所述触控信息。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在接收到创建指令后,显示虚拟输入设备创建界面;
通过所述虚拟输入设备创建界面接收配置参数,其中,所述配置参数包括所述虚拟输入设备的分辨率;
根据所述配置参数创建所述虚拟输入设备。
5.根据权利要求1所述的方法,其特征在于,
所述根据所述触控设备中运行的目标应用程序确定目标预设脚本,包括以下至少一项:
当接收到自动响应触发指令时,根据所述目标应用程序确定所述目标预设脚本;
当监测到自动响应触发手势时,根据所述目标应用程序确定所述目标预设脚本;
当监测到当前时间达到预设自动响应触发时间时,根据所述目标应用程序确定所述目标预设脚本;
当接收到开机指令时,根据所述目标应用程序确定所述目标预设脚本。
6.根据权利要求1至5中任一项所述的方法,其特征在于,
根据所述触控设备中运行的目标应用程序确定目标预设脚本,包括:
根据应用程序与脚本标识的对应关系以及所述目标应用程序,确定所述目标应用程序对应的目标脚本标识;
根据所述目标脚本标识确定所述目标预设脚本。
7.根据权利要求1至5中任一项所述的方法,其特征在于,
所述特征信息包括:所述可重复性操作在所述触控设备的触控面板上的操作信息;和/或
所述特征信息包括:与所述操作信息对应的指示信息,其中,所述指示信息包括以下至少一项:关键字、图片、颜色信息。
8.根据权利要求7所述的方法,其特征在于,
当所述特征信息包括所述指示信息时,所述将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息,包括:
对所述指示信息进行识别,获得所述指示信息对应的所述操作信息;
解析所述操作信息,获得所述触控信息。
9.一种触控设备响应装置,其特征在于,包括:
确定模块,用于根据所述触控设备中运行的目标应用程序确定目标预设脚本;其中,所述目标预设脚本中记录有与所述目标应用程序匹配的可重复性操作的特征信息;
处理模块,用于调用所述目标预设脚本,并将所述目标预设脚本中的特征信息解析为所述触控设备可识别的触控信息;
响应模块,用于响应所述触控信息。
10.根据权利要求9所述的装置,其特征在于,
所述触控设备上安装有预设解析程序并创建有虚拟输入设备,所述虚拟输入设备分别与所述预设解析程序和所述触控设备的操作***相连接;
所述处理模块用于:
通过所述预设解析程序对所述特征信息进行解析,得到所述虚拟输入设备可识别的所述触控信息;
所述响应模块用于:
通过所述虚拟输入设备将所述触控信息发送至所述操作***,使所述操作***响应所述触控信息。
11.根据权利要求9或10所述的装置,其特征在于,
所述特征信息包括:所述可重复性操作在所述触控设备的触控面板上的操作信息;和/或
所述特征信息包括:与所述操作信息对应的指示信息,其中,所述指示信息包括以下至少一项:关键字、图片、颜色信息;
所述处理模块包括:
识别子模块,用于当所述特征信息包括所述指示信息时,对所述指示信息进行识别,获得所述指示信息对应的所述操作信息;
解析子模块,用于解析所述操作信息,获得所述触控信息。
12.一种触控设备,其特征在于,包括以上权利要求9至11任一项所述的触控设备响应装置。
CN201811302864.3A 2018-11-02 2018-11-02 触控设备及其响应方法、装置 Pending CN109542303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811302864.3A CN109542303A (zh) 2018-11-02 2018-11-02 触控设备及其响应方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811302864.3A CN109542303A (zh) 2018-11-02 2018-11-02 触控设备及其响应方法、装置

Publications (1)

Publication Number Publication Date
CN109542303A true CN109542303A (zh) 2019-03-29

Family

ID=65846334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811302864.3A Pending CN109542303A (zh) 2018-11-02 2018-11-02 触控设备及其响应方法、装置

Country Status (1)

Country Link
CN (1) CN109542303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650474A (zh) * 2020-12-18 2021-04-13 咪咕互动娱乐有限公司 控制脚本生成方法、装置、网络设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645966A (zh) * 2009-09-04 2010-02-10 三星电子(中国)研发中心 一种手机终端上的自动化操作***
CN102854974A (zh) * 2011-06-30 2013-01-02 奇智软件(北京)有限公司 虚拟输入设备在驱动层的实现方法及其***
CN103473110A (zh) * 2012-06-08 2013-12-25 腾讯科技(深圳)有限公司 一种控制设备的方法、装置和***
CN105630375A (zh) * 2015-12-18 2016-06-01 ***你玩科技有限公司 基于图形界面的信息输入的辅助实现方法和***
CN105657551A (zh) * 2014-12-05 2016-06-08 北京奇虎科技有限公司 智能电视对模拟按键的响应方法及装置
CN107832060A (zh) * 2017-11-27 2018-03-23 北京奇安信科技有限公司 一种应用程序界面处理方法及装置
US20180095772A1 (en) * 2016-09-30 2018-04-05 Xiaoyun Wu Method and apparatus for automatic processing of service requests on an electronic device
CN108646968A (zh) * 2018-04-20 2018-10-12 苏州蜗牛数字科技股份有限公司 一种基于图像分析重现场景的方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645966A (zh) * 2009-09-04 2010-02-10 三星电子(中国)研发中心 一种手机终端上的自动化操作***
CN102854974A (zh) * 2011-06-30 2013-01-02 奇智软件(北京)有限公司 虚拟输入设备在驱动层的实现方法及其***
CN103473110A (zh) * 2012-06-08 2013-12-25 腾讯科技(深圳)有限公司 一种控制设备的方法、装置和***
CN105657551A (zh) * 2014-12-05 2016-06-08 北京奇虎科技有限公司 智能电视对模拟按键的响应方法及装置
CN105630375A (zh) * 2015-12-18 2016-06-01 ***你玩科技有限公司 基于图形界面的信息输入的辅助实现方法和***
US20180095772A1 (en) * 2016-09-30 2018-04-05 Xiaoyun Wu Method and apparatus for automatic processing of service requests on an electronic device
CN107832060A (zh) * 2017-11-27 2018-03-23 北京奇安信科技有限公司 一种应用程序界面处理方法及装置
CN108646968A (zh) * 2018-04-20 2018-10-12 苏州蜗牛数字科技股份有限公司 一种基于图像分析重现场景的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650474A (zh) * 2020-12-18 2021-04-13 咪咕互动娱乐有限公司 控制脚本生成方法、装置、网络设备及存储介质
CN112650474B (zh) * 2020-12-18 2024-03-22 咪咕互动娱乐有限公司 控制脚本生成方法、装置、网络设备及存储介质

Similar Documents

Publication Publication Date Title
US20180173614A1 (en) Technologies for device independent automated application testing
CN105824755B (zh) 一种自动化测试方法、装置及移动终端
CN105843734A (zh) 一种自动化测试方法、装置及计算设备
CN106126424B (zh) 一种脚本可视化的自动化测试方法、装置和移动终端
JP2013175242A (ja) 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
CN108984093B (zh) 触控操作方法、装置、存储介质及电子设备
JP2020510250A (ja) サービス処理方法およびデバイス
CN114237399B (zh) 触觉反馈方法、装置、介质、设备
CN108829371B (zh) 界面控制方法、装置、存储介质及电子设备
CN109144506A (zh) 一种可配置的ui界面生成方法
JP2008508597A (ja) ヘルプユーティリティアプリケーションプログラム
CN110275704A (zh) 页面数据处理方法和装置,存储介质和电子设备
CN112083919B (zh) 一种基于yaml模板的目标服务代码生成方法及装置
CN113010359B (zh) 总线测试***生成方法、***、设备及存储介质
CN109550232A (zh) 触控设备及其响应方法、装置
CN101276270A (zh) 一种基于模拟输入和图像分析的自动控制软件技术
EP3438809A1 (en) Control instruction identification method and apparatus, and storage medium
CN109542303A (zh) 触控设备及其响应方法、装置
CN112799656A (zh) 自动化操作的脚本文件配置方法、装置、设备和存储介质
US20160252974A1 (en) Communicating with an unsupported input device
KR20100056338A (ko) 재활용도를 높일 수 있는 gui 테스트 자동화 시스템 및 그 방법
CN108984238A (zh) 应用程序的手势处理方法、装置及电子设备
CN112449227B (zh) 触屏应用兼容遥控器操作的交互方法、装置及智能电视
CN105487761B (zh) 一种应用程序的控制方法及移动终端
CN110209242A (zh) 按钮功能绑定、按钮功能调用方法、装置及投影控制设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329

RJ01 Rejection of invention patent application after publication