CN109358939A - 一种移动app轮播图自动选择点击方法 - Google Patents

一种移动app轮播图自动选择点击方法 Download PDF

Info

Publication number
CN109358939A
CN109358939A CN201811171873.3A CN201811171873A CN109358939A CN 109358939 A CN109358939 A CN 109358939A CN 201811171873 A CN201811171873 A CN 201811171873A CN 109358939 A CN109358939 A CN 109358939A
Authority
CN
China
Prior art keywords
carousel
bufferimage
picture
automatically
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811171873.3A
Other languages
English (en)
Other versions
CN109358939B (zh
Inventor
蒋晓海
景成新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Testin Information Technology Co Ltd
Original Assignee
Beijing Testin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Testin Information Technology Co Ltd filed Critical Beijing Testin Information Technology Co Ltd
Priority to CN201811171873.3A priority Critical patent/CN109358939B/zh
Publication of CN109358939A publication Critical patent/CN109358939A/zh
Application granted granted Critical
Publication of CN109358939B publication Critical patent/CN109358939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种移动APP轮播图自动选择点击方法，主要过程为录制轮播图区域和进行图片识别的参数，然后自动执行轮播的识别点击测试。本发明中整个过程可以实现自动化测试轮播图，帮助实现了APP自动化测试，同样此方法可以适应各种轮播图点击，可以在一台设备上录制，多台设备上同时测试，甚至是在其他操作***上测试等优点。

Description

一种移动APP轮播图自动选择点击方法
技术领域
本发明涉及图像识别和图片像素对比技术领域，具体涉及一种移动APP轮播图自动选择点击方法。
背景技术
目前，没有一种可以有效实现自动化黑盒测试轮播图点击的方案。如果单纯使用地使用轮播图控件识别的方式很难实现准确点击，例如：轮播图上的循环控件的class、ID、生成的Xpath基本上都一致，所以如果遇到没有text文本的轮播图是无法有效识别并点击的。如果使用现有的开源的图像识别技术，先按照区域截图，然后通过相似度调节识别，最后再使用其他的方式进行点击(例如：生成Monkey脚本进行点击)，这个过程看似很正确，但是忽略了大部分的轮播图是会自动滚动的，而且各个APP或者网页的轮播图的等待时间是不同的，因此单纯的图像识别技术无法满足全部类型的轮播图点击。
发明内容
针对现有技术的不足，本发明旨在提供一种移动APP轮播图自动选择点击方法，可以有效提高移动设备轮播图自动选择点击的速度和准确性，实现轮播图设计的多样性、多设备、跨平台(Android和iOS)。
为了实现上述目的，本发明采用如下技术方案：
一种移动APP轮播图自动选择点击方法，包括如下步骤：
S1、录制需要测试的轮播图区域，并设置图片识别所需参数；所述参数包括：
轮播图张数：即在轮播图区域有多少张滚动的图片；
是否自动滚动：即设置轮播为自动滚动或不自动滚动；
间隔时间：即设置为自动滚动时，一张图片从出现到自动滚动至下一张图片需要多长时间；
相似度：即图片对比需要达到的相似度；
超时时间：需要在超时时间内完成识别目标图片并做点击操作的测试，如果在超时时间内没有完成测试就算自动化测试失败，提前完成自动化测试就提前结束；
图片区域：即录制时存储的需要进行点击的目标图片区域BufferImage-A_sub；如果在设置是否自动滚动时设置轮播图不自动滚动，就要在轮播图的每张图片上记录滑动轨迹；
S2、在移动设备上对轮播图进行测试：先使用截图工具截取移动设备的整张屏幕的截图，然后将截图信息BufferImage-B发送到PC端；
S3、PC端通过录制时得到的需要测试的轮播图区域的相对位置，算出BufferImage-B的对比区域BufferImage-B_sub，然后通过opencv将BufferImage-B_sub与BufferImage-A_sub进行图片对比；如果BufferImage-B_sub和BufferImage-A_sub的相似度大于或等于步骤S1中设置的相似度，就记录下此时的BufferImage-B_sub的属性信息，然后当设置轮播图为不自动滚动时，跳转至步骤S5，否则跳转至步骤S4；如果相似度小于步骤S1中设置的相似度，则跳转至步骤S6；
S4、再使用截图工具截取移动设备的整张屏幕的截图，然后将该截图信息BufferImage-C发送到PC端；PC端通过录制时得到的需要测试的轮播图区域的相对位置，算出BufferIamge-C的对比区域BufferImage-C_sub，然后通过opencv将BufferImage-B_sub与BufferImage-C_sub进行像素对比，如果相似度大于或等于步骤S1中设置的相似度，就记录下此时的BufferImage-C_sub的属性信息，跳转至S5，否则重新执行步骤S4；
S5、点击图片中央，自动化测试完成；
S6、如果轮播图设置为自动滚动，则在等待设定的时间之后重新返回步骤S2；如果轮播图设置为不自动滚动，则根据图片的滑动轨迹执行滑动操作之后返回步骤S2。
进一步地，步骤S1中，相似度设置为百分之九十五或以上。
进一步地，步骤S1中，所述超时时间最少设置为(轮播图张数*间隔时间*2)秒。
进一步地，步骤S1中，每张图片的滑动轨迹由多个连结的坐标点组成。
进一步地，步骤S2中，通过socket通讯将截图信息BufferImage-B发送到PC端；步骤S4中，通过socket通讯将该截图信息BufferImage-C发送到PC端。
进一步地，步骤S2中，截图使用minicap或者是***自带的截图工具。
进一步地，步骤S5中，通过Android的Monkey脚本的方式或iOS的XCUTest点击图片中央。
进一步地，步骤S6中，滑动操作通过Android的Monkey脚本的方式或iOS的XCUTest执行。
本发明的有益效果在于：
1、整个过程可以实现自动化测试轮播图，帮助实现了APP自动化测试，同样此方法可以适应各种轮播图点击，可以在一台设备上录制，多台设备上同时测试，甚至是在其他操作***上测试等优点；
2、现有技术中，自动化测试人员无法准确定位轮播图图片并点击测试，本发明能有效提高图片的定位准确性并准确实现点击，从而能够有效的提升工作效率，减少人力成本。
附图说明
图1为本发明实施例中的方法实施流程示意图；
图2为本发明实施例中图片识别参数设置界面示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，一种移动APP轮播图自动选择点击方法，包括如下步骤：
S1、如图2所示，录制需要测试的轮播图区域，并设置图片识别所需参数；所述参数包括：
轮播图的张数：即在轮播图区域有多少张滚动的图片；
是否自动滚动：为了能够测试各种类型的轮播图，因此需要考虑到图片不会自动滚动的轮播图；
间隔时间：即设置为自动滚动时，一张图片从出现到自动滚动至下一张图片需要多长时间，这个可以在录制的时候估算出来；
相似度：即图片对比需要达到的相似度，一般需要调整到百分之九十五以上；
超时时间：可以给出默认值，一般最少是(轮播图张数*间隔时间*2)秒；需要在超时时间内完成识别目标图片并做点击操作的测试，这个时间，可以在生成步骤的时候，自动给出一个估算时间，用户也可以自主调整。如果在超时时间内没有完成测试就算自动化测试失败，提前完成自动化测试就提前结束；
图片区域：即录制时存储的需要进行点击的目标图片区域BufferImage-A_sub；如果在设置是否自动滚动时设置轮播图不自动滚动，就要在轮播图的每张图片上记录滑动轨迹；滑动轨迹可由多个连结的坐标点组成；
步骤S1在PC端中进行；
S2、在移动设备上对轮播图进行测试：先使用截图工具截取移动设备的整张屏幕的截图(例如使用minicap或者是Android、iOS的自带的截图工具)，然后通过socket通讯将截图信息BufferImage-B发送到PC端，这个过程最慢不到500ms。
S3、PC端通过录制时得到的需要测试的轮播图区域的相对位置，算出BufferImage-B的对比区域BufferImage-B_sub，然后通过opencv将BufferImage-B_sub与BufferImage-A_sub进行图片对比；如果BufferImage-B_sub和BufferImage-A_sub的相似度大于或等于步骤S1中设置的相似度，就记录下此时的BufferImage-B_sub的属性信息，然后当设置轮播图为不自动滚动时，跳转至步骤S5，否则跳转至步骤S4；如果相似度小于步骤S1中设置的相似度，则跳转至步骤S6；
S4、再使用截图工具截取移动设备的整张屏幕的截图，然后通过socket通讯将该截图信息BufferImage-C发送到PC端；PC端通过录制时得到的需要测试的轮播图区域的相对位置，算出BufferIamge-C的对比区域BufferImage-C_sub，然后通过opencv将BufferImage-B_sub与BufferImage-C_sub进行像素对比，如果相似度大于或等于步骤S1中设置的相似度，就记录下此时的BufferImage-C_sub的属性信息，跳转至S5，否则重新执行步骤S4；
S5、通过Android的Monkey脚本的方式或iOS的XCUTest点击图片中央；
S6、如果轮播图设置为自动滚动，则在等待设定的时间(可以为间隔时间-一个流程消耗的时间，一个流程消耗的时间即步骤S2-S3一次图片识别所需要消耗的时间)之后重新返回步骤S2；如果轮播图设置为不自动滚动，则通过Android的Monkey脚本的方式或iOS的XCUTest执行滑动操作之后返回步骤S2。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (8)

1.一种移动APP轮播图自动选择点击方法，其特征在于，包括如下步骤：
S1、录制需要测试的轮播图区域，并设置图片识别所需参数；所述参数包括：
轮播图张数：即在轮播图区域有多少张滚动的图片；
是否自动滚动：即设置轮播为自动滚动或不自动滚动；
间隔时间：即设置为自动滚动时，一张图片从出现到自动滚动至下一张图片需要多长时间；
相似度：即图片对比需要达到的相似度；
超时时间：需要在超时时间内完成识别目标图片并做点击操作的测试，如果在超时时间内没有完成测试就算自动化测试失败，提前完成自动化测试就提前结束；
图片区域：即录制时存储的需要进行点击的目标图片区域BufferImage-A_sub；如果在设置是否自动滚动时设置轮播图不自动滚动，就要在轮播图的每张图片上记录滑动轨迹；
S2、在移动设备上对轮播图进行测试：先使用截图工具截取移动设备的整张屏幕的截图，然后将截图信息BufferImage-B发送到PC端；
S3、PC端通过录制时得到的需要测试的轮播图区域的相对位置，算出BufferImage-B的对比区域BufferImage-B_sub，然后通过opencv将BufferImage-B_sub与BufferImage-A_sub进行图片对比；如果BufferImage-B_sub和BufferImage-A_sub的相似度大于或等于步骤S1中设置的相似度，就记录下此时的BufferImage-B_sub的属性信息，然后当设置轮播图为不自动滚动时，跳转至步骤S5，否则跳转至步骤S4；如果相似度小于步骤S1中设置的相似度，则跳转至步骤S6；
S4、再使用截图工具截取移动设备的整张屏幕的截图，然后将该截图信息BufferImage-C发送到PC端；PC端通过录制时得到的需要测试的轮播图区域的相对位置，算出BufferIamge-C的对比区域BufferImage-C_sub，然后通过opencv将BufferImage-B_sub与BufferImage-C_sub进行像素对比，如果相似度大于或等于步骤S1中设置的相似度，就记录下此时的BufferImage-C_sub的属性信息，跳转至S5，否则重新执行步骤S4；
S5、点击图片中央，自动化测试完成；
S6、如果轮播图设置为自动滚动，则在等待设定的时间之后重新返回步骤S2；如果轮播图设置为不自动滚动，则根据图片的滑动轨迹执行滑动操作之后返回步骤S2。
2.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S1中，相似度设置为百分之九十五或以上。
3.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S1中，所述超时时间最少设置为(轮播图张数*间隔时间*2)秒。
4.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S1中，每张图片的滑动轨迹由多个连结的坐标点组成。
5.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S2中，通过socket通讯将截图信息BufferImage-B发送到PC端；步骤S4中，通过socket通讯将该截图信息BufferImage-C发送到PC端。
6.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S2中，截图使用minicap或者是***自带的截图工具。
7.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S5中，通过Android的Monkey脚本的方式或iOS的XCUTest点击图片中央。
8.根据权利要求1所述的移动APP轮播图自动选择点击方法，其特征在于，步骤S6中，滑动操作通过Android的Monkey脚本的方式或iOS的XCUTest执行。
CN201811171873.3A 2018-10-08 2018-10-08 一种移动app轮播图自动选择点击方法 Active CN109358939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811171873.3A CN109358939B (zh) 2018-10-08 2018-10-08 一种移动app轮播图自动选择点击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811171873.3A CN109358939B (zh) 2018-10-08 2018-10-08 一种移动app轮播图自动选择点击方法

Publications (2)

Publication Number Publication Date
CN109358939A true CN109358939A (zh) 2019-02-19
CN109358939B CN109358939B (zh) 2021-06-25

Family

ID=65348648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811171873.3A Active CN109358939B (zh) 2018-10-08 2018-10-08 一种移动app轮播图自动选择点击方法

Country Status (1)

Country Link
CN (1) CN109358939B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086115A1 (en) * 2013-09-20 2015-03-26 Oracle International Corporation Screenshot database for application verification
CN105227949A (zh) * 2015-09-16 2016-01-06 成都三零凯天通信实业有限公司 一种Android机顶盒自动化测试方法
CN107066381A (zh) * 2017-02-27 2017-08-18 网易（杭州）网络有限公司 生成基于图像识别的测试分析报告的方法、装置及设备
CN108205674A (zh) * 2017-12-22 2018-06-26 广州爱美互动网络科技有限公司 社交app的内容识别方法、电子设备、存储介质及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086115A1 (en) * 2013-09-20 2015-03-26 Oracle International Corporation Screenshot database for application verification
CN105227949A (zh) * 2015-09-16 2016-01-06 成都三零凯天通信实业有限公司 一种Android机顶盒自动化测试方法
CN107066381A (zh) * 2017-02-27 2017-08-18 网易（杭州）网络有限公司 生成基于图像识别的测试分析报告的方法、装置及设备
CN108205674A (zh) * 2017-12-22 2018-06-26 广州爱美互动网络科技有限公司 社交app的内容识别方法、电子设备、存储介质及***

Also Published As

Publication number Publication date
CN109358939B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN105988924B (zh) 一种非侵入式嵌入式软件图形用户界面自动化测试方法
CN105468523B (zh) 一种移动终端响应时间的自动化测试方法及装置
US20230385183A1 (en) User Interface Test Coverage
CN109408384B (zh) 软件应用的测试方法、装置、处理器及电子装置
CN108009589A (zh) 样本数据处理方法、装置和计算机可读存储介质
EP2881892A1 (en) Methods and apparatus to map schematic elements into a database
US9135714B1 (en) Method and system for integrating a graphical user interface capture for automated test and retest procedures
CN109359043B (zh) 一种基于机器学习的移动游戏自动化测试方法
CN107665168A (zh) 一种嵌入式软件gui自动化测试设备
CN103744784A (zh) 手机应用自动化测试方法及***
CN109934227A (zh) 图像文字识别***和方法
CN104375937A (zh) 一种自动化测试结果持续集成整合方法及***
CN104536863A (zh) 一种应用程序的测试方法及装置
CN103268289A (zh) 在移动终端上录制应用测试脚本的方法和***
CN106021101A (zh) 对移动终端进行测试的方法及装置
CN104268083A (zh) 软件自动化测试方法和装置
CN105786693A (zh) 一种自测试执行***及方法以及移动终端
CN108446230B (zh) 一种面向WebDriver的Java测试代码质量评判方法
CN105550114A (zh) 自动化测试方法、装置和移动终端
CN105653441B (zh) 一种ui遍历测试方法与***
CN109358939A (zh) 一种移动app轮播图自动选择点击方法
CN105373446B (zh) 一种基于自动演练的***自动修复方法和装置
CN112383734A (zh) 视频处理方法、装置、计算机设备和存储介质
CN107729242A (zh) 一种自动化测试方法、***、装置及计算机存储介质
CN106844211A (zh) 一种软件测试方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant