CN113391741B - 操作校验方法和装置、存储介质及电子设备 - Google Patents
操作校验方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113391741B CN113391741B CN202011270498.5A CN202011270498A CN113391741B CN 113391741 B CN113391741 B CN 113391741B CN 202011270498 A CN202011270498 A CN 202011270498A CN 113391741 B CN113391741 B CN 113391741B
- Authority
- CN
- China
- Prior art keywords
- screenshot
- pixel
- parameter set
- target
- target operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Tests Of Electronic Circuits (AREA)
Abstract
本发明公开了一种操作校验方法和装置、存储介质及电子设备。其中,该方法包括:获取多张操作截图;确定出多张操作截图的公共像素点参数集和差异像素点参数集;通过公共像素点参数集与差异像素点参数集,对待校验的目标操作截图进行校验,其中,目标操作截图为对目标操作区域执行目标操作后得到的结果界面的截图;在目标操作截图达到校验条件的情况下,确定目标操作为正常操作。本发明解决了操作校验准确度低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种操作校验方法和装置、存储介质及电子设备。
背景技术
现有技术中,在校验目标操作是否正常的过程中,可以通过比对执行待校验的目标操作后得到的结果的截图与执行正常的目标操作得到的结果的截图的相似度,来确定待校验的目标操作是否正常。
然而,仅仅通过比对图片的相似度来校验目标操作是否正常并不能够得到准确的校验结果,造成操作校验的准确度低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种操作校验方法和装置、存储介质及电子设备,以至少解决操作校验准确度低的技术问题。
根据本发明实施例的一个方面,提供了一种操作校验方法,包括:获取多张操作截图,其中,上述多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;确定出上述多张操作截图的公共像素点参数集和差异像素点参数集,其中,上述公共像素点参数集中包括在上述多张操作截图中相同位置上像素值相同的像素点,上述差异像素点参数集中包括上述多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;通过上述公共像素点参数集与上述差异像素点参数集,对待校验的目标操作截图进行校验,其中,上述目标操作截图为对上述目标操作区域执行目标操作后得到的结果界面的截图;在上述目标操作截图达到校验条件的情况下,确定上述目标操作为正常操作。
根据本发明实施例的另一方面,还提供了一种操作校验装置,包括:获取单元,用于获取多张操作截图,其中,上述多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;第一确定单元,用于确定出上述多张操作截图的公共像素点参数集和差异像素点参数集,其中,上述公共像素点参数集中包括在上述多张操作截图中相同位置上像素值相同的像素点,上述差异像素点参数集中包括上述多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;校验单元,用于通过上述公共像素点参数集与上述差异像素点参数集,对待校验的目标操作截图进行校验,其中,上述目标操作截图为对上述目标操作区域执行目标操作后得到的结果界面的截图;第二确定单元,用于在上述目标操作截图达到校验条件的情况下,确定上述目标操作为正常操作。
作为一种可选的示例,上述第一确定单元包括:第三获取模块,用于获取上述多张操作截图的每一张上述操作截图的像素矩阵,其中,上述像素矩阵中包括上述操作截图的每一个像素点的像素值与每一个像素点的位置;第二确定模块,用于在多个上述像素矩阵中,第二位置的像素点的像素值相同的情况下,将上述第二位置的像素点确定为上述公共像素点参数集中的一个像素点,其中,上述第二位置为上述像素矩阵中的任意一个位置。
作为一种可选的示例,上述第一确定单元包括:处理模块,用于将多张上述操作截图中,任意一张上述操作截图作为第一操作截图,将多张上述操作截图中,除上述第一操作截图外的每一张操作截图依次作为第二操作截图,对上述第一操作截图与上述第二操作截图执行以下操作:在上述第一操作截图与上述第二操作截图中相同位置的像素点的像素值不同的情况下,将统计参数加1,其中,上述统计参数的初始值为零,上述统计参数用于表示上述第一操作截图与上述第二操作截图中相同位置的像素点的像素值不同的像素点的数量,在遍历上述第一操作截图与上述第二操作截图的每一个像素点之后,将上述统计参数作为上述差异像素点参数集中的一个参数。
作为一种可选的示例,上述第一确定单元包括:第四获取模块,用于在确定出上述多张操作截图的公共像素点参数集和差异像素点参数集的情况下,获取多张第一截图,其中,上述多张第一截图中的每一张第一截图为对操作界面中的目标操作区域执行上述操作后得到的结果界面的截图;第三确定模块,用于将上述多张操作截图与上述多张第一截图作为多张第二截图;第四确定模块,用于确定上述多张第二截图的公共像素点参数集和差异像素点参数集;第五确定模块,用于在上述第二截图的公共像素点参数集与上述多张操作截图的公共像素点参数集相同,且上述第二截图的差异像素点参数集与上述多张操作截图的差异像素点参数集相同的情况下,将上述第二截图的公共像素点参数集和差异像素点参数集确定为上述多张操作截图的公共像素点参数集和差异像素点参数集。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述操作校验方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的操作校验方法。
在本发明实施例中,采用了获取多张操作截图,其中,上述多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;确定出上述多张操作截图的公共像素点参数集和差异像素点参数集,其中,上述公共像素点参数集中包括在上述多张操作截图中相同位置上像素值相同的像素点,上述差异像素点参数集中包括上述多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;通过上述公共像素点参数集与上述差异像素点参数集,对待校验的目标操作截图进行校验,其中,上述目标操作截图为对上述目标操作区域执行目标操作后得到的结果界面的截图;在上述目标操作截图达到校验条件的情况下,确定上述目标操作为正常操作的方法,由于在上述方法中,在对目标操作进行校验的过程中,是获取对目标区域执行操作后的多张操作截图,通过多张操作截图的公共像素点参数集和差异像素点参数集来校验目标操作的目标操作截图,从而可以从公共像素部分和差异像素部分来校验目标操作截图,提高了对目标操作截图的校验准确度,进而解决了操作校验准确度低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的操作校验方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的操作校验方法的应用环境的示意图;
图3是根据本发明实施例的一种可选的操作校验方法的流程示意图;
图4是根据本发明实施例的一种可选的操作校验方法的操作获取示意图;
图5是根据本发明实施例的一种可选的操作校验方法的公共像素点参数集的示意图;
图6是根据本发明实施例的一种可选的操作校验方法的比对公共像素点参数集与第一像素点集的示意图;
图7是根据本发明实施例的一种可选的操作校验方法的获取第一数量的示意图;
图8是根据本发明实施例的一种可选的操作校验方法的流程示意图;
图9是根据本发明实施例的一种可选的操作校验方法的校验目标操作截图的示意图;
图10是根据本发明实施例的一种可选的操作校验装置的结构示意图;
图11是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种操作校验方法,可选地,作为一种可选的实施方式,上述操作校验方法可以但不限于应用于如图1所示的环境中。
如图1所示,终端设备102包括了存储器104,用于存储终端设备102运行过程中产生的各项数据、处理器106,用于处理运算上述各项数据、显示器108,用于显示校验结果。终端设备102上可以运行应用客户端。终端设备102可以通过网络110与服务器112之间进行数据交互。终端设备102可以通过S102向服务器112发送多张操作截图和目标操作截图,S104,服务器112可以校验目标操作截图并S106将校验结果下发给终端设备102,以使终端设备102显示校验结果。服务器112包括数据库114,用于存储操作截图与目标操作截图,处理引擎116,用于确定校验结果。终端设备102可以显示校验结果。
作为一种可选的实施方式,上述操作校验方法可以但不限于应用于如图2所示的环境中。
如图2所示,终端设备202包括了存储器204,用于存储终端设备202运行过程中产生的各项数据、处理器206,用于处理运算上述各项数据、显示器208,用于显示校验结果。终端设备202可以执行S202到S208获取多张操作截图的公共像素点参数集和差异像素点参数集,并对目标操作截图进行校验,得到校验结果,显示校验结果。
可选地,在本实施例中,上述终端设备102或终端设备202可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图3所示,上述操作校验方法包括:
S302,获取多张操作截图,其中,多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
S304,确定出多张操作截图的公共像素点参数集和差异像素点参数集,其中,公共像素点参数集中包括在多张操作截图中相同位置上像素值相同的像素点,差异像素点参数集中包括多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;
S306,通过公共像素点参数集与差异像素点参数集,对待校验的目标操作截图进行校验,其中,目标操作截图为对目标操作区域执行目标操作后得到的结果界面的截图;
S308,在目标操作截图达到校验条件的情况下,确定目标操作为正常操作。
可选地,上述操作校验方法可以但不限于应用与校验操作是否正常的过程中。例如,操作可以为通过输入设备执行的单击、双击、连续点击、拖动、滑动、按住操作中的一种或几种的组合,验证操作是否正常可以包括验证操作的操作位置与操作类型是否正常,例如验证目标操作是否为对目标操作区域的按钮执行点击操作,或者验证目标操作是否正常可以为验证执行目标操作后的操作结果是否正常。例如,验证对目标操作区域的按钮执行点击操作后得到的结果是否正常。如果是验证执行目标操作的操作结果是否正常,则执行的目标操作与获取多张操作截图时执行的操作应是相同的。
可选地,上述操作校验方法的操作的场景并不限定。例如,可以应用在对应用程序或***或两者的组合的场景中。
如应用在判断应用程序的目标操作是否正常的过程中,可以获取对应用程序执行操作的多张操作截图,并获取到多张操作截图的公共像素点参数集和差异像素点参数集,然后对应用程序执行目标操作,通过校验目标操作截图,从而确定出目标操作是否正常。
再例如,判断***的目标操作的操作结果是否正常,可以获取对***执行操作的多张操作截图,如对***执行右键单击-查看操作,获取多张操作截图。然后获取多张操作截图的公共像素点参数集和差异像素点参数集,接着执行一次右键单击-查看操作也就是目标操作,得到目标操作截图。通过公共像素点参数集和差异像素点参数集校验目标操作截图,确定出目标操作是否正常。如果***有问题的情况下,如右键失灵,或者查看操作失灵等,则经过校验后会确定目标操作截图不正常,进而确定出目标操作不正常。可以确定出目标操作的操作结果不正常,以及执行目标操作对应的功能不正常。
可选地,本申请中的目标操作区域可以为显示界面,也可以为显示界面中的一个区域。在显示界面中执行操作可能会引起显示界面的变化。本申请实施例中,执行操作后得到的结果界面的截图,即为在目标操作区域中执行操作后,截得的图片。可以预设一个时间值,如执行操作结束后的3秒,进行截图,得到操作截图。
可选地,本申请实施例中,执行的操作可以为单次操作,也可以为操作组合。操作组合包括了多次操作,多次操作可以相同也可以不同,多次操作可以连贯,也可以中间存在间隔。例如,间隔两秒点击一次,共点击三次。
以组合操作为例,如图4所示,图4中,在目标操作区域内按住按钮402从初始位置拖动到目标位置松开按钮402,对应的获取该组合操作404。
可选地,本申请实施例中,如果确定出目标操作截图达到校验条件,即校验结果正常,则可以确定目标操作正常。如果是校验功能的过程,如***功能或应用功能,则如果校验结果正常,则表示***功能或应用功能是正常的。如果是校验操作结果的过程,则如果目标操作图片的校验结果正常,则说明执行目标操作后的操作结果是正常的。
结合一个具体示例进行说明。例如,在应用程序的显示界面上点击搜索按钮,得到搜索结果,为一次操作,对搜索结果进行截图,得到多张操作截图。确定多张操作截图的公共像素点参数集和差异像素点参数集。在测试过程中,某次在应用程序的显示界面上点击搜索按钮,得到搜索结果,通过公共像素点参数集和差异像素点参数集校验对搜索结果进行截图得到的目标操作截图,得到校验结果,以查看测试过程中对应用程序的显示界面点击搜索按钮得到的结果是否正常。如果搜索功能无响应,或者网络断网,则搜索结果应是不正常的。进一步也可以确定出来搜索按钮是异常的。
在一些实施例中可以预先提供多张参考操作截图来确定该多张参考操作截图的公共像素点参数集和差异像素点参数集,然后通过该公共像素点参数集和差异像素点参数集来检验在测试中获得的操作截图,通过预先提供参考操作截图这种方式使得可以根据用户的意愿或业务需求来定制公共像素点参数集和差异像素点参数集,满足了用户自定义需求,检测的针对性更强。在另一些实施例中,可以在使用或测试过程中获取多张操作截图,自动根据多张操作截图确定该多张操作截图的公共像素点参数集和差异像素点参数集,并且通过该公共像素点参数集和差异像素点参数集来检验目标操作截图,目标操作截图可以是该多张操作截图的其中之一,也可以是用户用其他方式获取的。
通过上述方法,从而可以使用多张操作截图的公共像素点参数集和差异像素点参数集来确定出目标操作截图的校验结果,进而确定出目标操作是否正常,实现了提高校验操作的准确度的效果。
作为一种可选的实施方式,通过公共像素点参数集与差异像素点参数集,对待校验的目标操作截图进行校验包括:
获取目标操作截图的第一像素点集,其中,第一像素点集中的像素点在目标操作截图中的位置与公共像素点参数集中的像素点在任意一张操作截图中的像素点的位置相同;
获取目标操作截图与任意一张操作截图之间相同位置上像素值不同的像素点的第一数量,得到多个第一数量;
在第一像素点集与公共像素点参数集中相同位置的像素点的像素值相同,且多个第一数量均属于差异像素点参数集的情况下,确定目标操作截图达到校验条件。
可选地,获取第一像素点集的目的在于比对第一像素点集与公共像素点参数集,从而用公共像素点参数集来校验第一像素集,也就是使用公共像素点参数集校验目标操作截图。公共像素点参数集可以包括多张操作截图中相同位置上像素值相同的像素点。公共像素点参数集可以为像素点的像素值矩阵,包括像素值不同的像素点可以置为特定值,例如0或-1。如图5所示,图5为一种可选的公共像素点参数集。图5中数值为正值的像素点,表示所有的操作图片中相同位置的像素点均为公共像素点参数集中的数值。而数值为-1的像素点,说明至少有两张操作图片中对应位置的像素点的像素值不同。图5仅为示例,操作图片的像素要远多于图5的展示。比对第一像素点集与公共像素点参数集,例如,如图6所示,图6左侧为第一像素点集,图6右侧为公共像素点参数集。比对第一像素点集与公共像素点参数集的像素值是否相同。在比对时,只需要比对像素值不为-1的像素点的像素值即可。像素值为-1的像素点的像素值比对后仍然为-1。图6中情况602为像素值相同的情况,情况604为像素值不同的情况。公共像素点参数集与第一像素点集只要存在上述情况604像素值不同的情况,则目标操作图片的校验未达到校验条件。校验条件中的一条要求公共像素点参数集与第一像素点集的相同位置的像素点的像素值相同(不包括像素值为-1的位置)。
可选地,使用差异像素点参数集校验目标操作截图,可以先获取目标操作截图与多张操作截图中每一张操作截图的第一数量。第一数量即为比对操作操作截图与多张操作截图中的任意一张的操作截图中相同位置像素值不同的像素点的数量。例如,对于任意一张操作截图,比对操作截图与目标操作截图中的相同位置的像素点的像素值。如图7所示,图7中左侧为操作截图的像素点的像素值,右侧为目标操作截图的像素点的像素值。图7中的像素值702是不同的,需要统计第一数量。统计第一数量为4。
如果第一像素点集与公共像素点参数集相同位置的像素点的像素值相同,且第一数量属于差异像素点参数集中,则目标操作截图校验通过,认为目标操作截图达到了校验条件。通过本实施例,可以实现准确的对目标操作截图进行校验,提高校验准确度。
作为一种可选的实施方式,获取目标操作截图的第一像素点集包括:
获取公共像素点参数集中每一个像素点的第一位置;
从目标操作截图中获取第一位置的第一像素点;
将第一像素点确定为第一像素点集中的像素点。
可选地,由于需要比对目标操作截图的第一像素点集与多个操作截图的公共像素点参数集的像素点的像素值,因此,需要从目标操作截图中获取与公共像素点参数集中的像素点位置相同的像素点。
或者,如果公共像素点参数集是像素点的像素值矩阵,则也可以获取公共像素点参数集中像素值为原值的像素点,然后将目标操作截图中,与公共像素点参数集中像素值为原值的像素点的位置相同的像素点确定为第一像素点集中的像素点。也就是说,在比对第一像素点集与公共像素点参数集的过程中,只需要比对公共像素点参数集中像素值为原值的像素点和目标操作截图中对应的像素点,从而提高比对效率。
作为一种可选的实施方式,获取目标操作截图与任意一张操作截图之间相同位置上像素值不同的像素点的第一数量包括:
将任意一张操作截图确定为当前操作截图,对目标操作截图与当前操作截图执行以下操作:在目标操作截图与当前操作截图任意一个相同位置的像素点的像素值不同的情况下,将目标操作截图与当前操作截图的第一数量增加1,其中,目标操作截图与当前操作截图的第一数量的初始值为零。
也就是说,比对目标操作截图与当前操作截图的每一个相同的位置的像素点的像素值,如果相同的位置的像素点的像素值相同,则不做记录,如果相同的位置的像素点的像素值不同,则将第一数量加1,从而记录下目标操作截图与当前操作截图中相同的位置的像素值不同的像素点的数量。判断第一数量是否属于差异像素点参数集。由于第一数量可能有多个,则需要判断是否每一个第一数量均属于差异像素点参数集。如果有不属于差异像素点参数集的第一数量,则目标操作截图的校验是不通过的,未达到校验条件。
作为一种可选的实施方式,确定出多张操作截图的公共像素点参数集包括:
获取多张操作截图的每一张操作截图的像素矩阵,其中,像素矩阵中包括操作截图的每一个像素点的像素值与每一个像素点的位置;
在多个像素矩阵中,第二位置的像素点的像素值相同的情况下,将第二位置的像素点确定为公共像素点参数集中的一个像素点,其中,第二位置为像素矩阵中的任意一个位置。
可选地,确定公共像素点参数集可以先确定多张操作截图中的多张操作截图的每一个相同位置的像素点的像素值是否相同。如果多张操作截图的每一个相同位置的像素点的像素值都相同,则说明多张操作截图是完全相同的操作截图。如果有的相同位置的像素点的像素值不同,说明多张操作截图是有差异的。公共像素点参数集用于保存下像素点的像素值都相同的位置与像素值。通过本实施例,可以实现提高公共像素点参数集的准确度的效果。
作为一种可选的实施方式,确定出多张操作截图的差异像素点参数集包括:
将多张操作截图中,任意一张操作截图作为第一操作截图,将多张操作截图中,除第一操作截图外的每一张操作截图依次作为第二操作截图,对第一操作截图与第二操作截图执行以下操作:在第一操作截图与第二操作截图中相同位置的像素点的像素值不同的情况下,将统计参数加1,其中,统计参数的初始值为零,统计参数用于表示第一操作截图与第二操作截图中相同位置的像素点的像素值不同的像素点的数量,在遍历第一操作截图与第二操作截图的每一个像素点之后,将统计参数作为差异像素点参数集中的一个参数。
可选地,比对差异像素点参数集时,获取到多张操作截图之后,需要获取每两张操作截图之间的统计参数。也就是相同位置像素值不同的像素点的数量。每两张操作截图从第一个像素点开始比对,像素值相同则不作处理,像素值不同则将统计参数加1,遍历每两张操作截图,得到每两张操作截图的统计参数。将统计参数作为差异像素点参数集中的一个参数。
作为一种可选的实施方式,确定出多张操作截图的公共像素点参数集和差异像素点参数集包括:
在确定出多张操作截图的公共像素点参数集和差异像素点参数集的情况下,获取多张第一截图,其中,多张第一截图中的每一张第一截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
将多张操作截图与多张第一截图作为多张第二截图;
确定多张第二截图的公共像素点参数集和差异像素点参数集;
在第二截图的公共像素点参数集与多张操作截图的公共像素点参数集相同,且第二截图的差异像素点参数集与多张操作截图的差异像素点参数集相同的情况下,将第二截图的公共像素点参数集和差异像素点参数集确定为多张操作截图的公共像素点参数集和差异像素点参数集。
可选地,本申请实施例中,在获取到多张操作截图,确定出公共像素点参数集和差异像素点参数集之后,可以再次获取一张或几张操作截图,并确定再次获取的操作截图与上述多张操作截图的新的公共像素点参数集和差异像素点参数集。例如,先获取到两张或者多张操作截图,以两张操作截图为例,为操作截图1和操作截图2,确定出操作截图1和操作截图2的公共像素点参数集和差异像素点参数集,然后再获取一张操作截图3,确定出操作截图1-3的公共像素点参数集和差异像素点参数集。如果操作截图1-3的公共像素点参数集和差异像素点参数集与操作截图1和操作截图2的公共像素点参数集和差异像素点参数集不同,则保留操作截图1-3的公共像素点参数集和差异像素点参数集。可以再获取操作截图4,并确定操作截图1-4的公共像素点参数集和差异像素点参数集。如果操作截图1-4的公共像素点参数集和差异像素点参数集与操作截图1-3的公共像素点参数集和差异像素点参数集不同,则保留操作截图1-4的公共像素点参数集和差异像素点参数集。如果操作截图1-4的公共像素点参数集和差异像素点参数集与操作截图1-3的公共像素点参数集和差异像素点参数集相同,则认为出现了一次参数集相同的情况。如果连续出现多次参数集相同的情况,例如操作截图1-5的公共像素点参数集和差异像素点参数集与操作截图1-4的公共像素点参数集和差异像素点参数集也相同,则可以认为,当前的公共像素点参数集和差异像素点参数集是已经符合要求的公共像素点参数集和差异像素点参数集,将符合要求的公共像素点参数集和差异像素点参数集确定为多个操作截图的公共像素点参数集和差异像素点参数集,并使用多个操作截图的公共像素点参数集和差异像素点参数集来校验目标操作截图。上述连续出现多次参数集相同的情况可以根据实际情况设置,如设置为3。通过本实施例,提高了确定的公共像素点参数集和差异像素点参数集的准确度。
作为一种可选的实施方式,获取多张操作截图包括:
获取对操作界面中的目标操作区域执行的操作;
在自动执行操作,得到操作的结果界面的情况下对结果界面进行截图,得到多张操作截图中的一张操作截图;
重复执行操作,并对结果界面进行截图,得到多张操作截图。
可选地,本申请实施例中,可以录制用户在目标操作区域执行的操作。如录制下操作内容、操作轨迹等。然后进行自动回放,自动回放可以自动执行上述用户已经执行过的操作,而无需用户再执行操作。自动回放后可以进行截图,得到操作截图。
例如,用户可以在执行一次操作后,保存,然后设置回放次数,如100次,接着用户点击开始之后,***自动回放用户执行的操作,并自动截图,得到100张操作截图。通过本实施例,实现了提高获取操作截图的效率的效果。
以下结合一个具体示例解释上述操作校验方法。
本申请实施例中,确定操作截图的公共像素点参数集和差异像素点参数集可以进行预先的学习。学习得到公共像素点参数集和差异像素点参数集之后,再进行使用。需要说明的是,本申请实施例并不是一定要在执行的时候对学习和使用进行明显的分界,而是学习和使用两个阶段来进行解释。
录制引擎:一种录制用户行为的引擎。可以录制用户所执行的操作。
回放引擎:一种回放用户行为的引擎,可以自动回放用户执行的操作,即自动执行用户执行的操作。
在录制的过程中,用户可以点击开始录制与结束录制进行操作的录制,录制出的操作进行记录并添加唯一标识。如操作为点击屏幕上的一个按钮。在录制完成之后,可以保存录制的操作。通过回放引擎可以回放该操作。回放操作的过程无需用户参与,只需要用户设置回放次数即可。如回放100次,则点击按钮100次。在回放的过程中,可以对每一次回放的结果进行截图。例如,点击一次按钮截图一次,得到操作截图。当然,录制的不同的操作与回放不同的操作得到的操作截图需要区分保存。本实施例中以涉及一种操作为例进行解释。本申请实施例还可以将操作截图的灰度图作为操作截图。比对像素值也可以为比对灰度值。
在得到上述操作的操作截图之后,可以进行公共像素点参数集和差异像素点参数集的学习。如三张操作截图,如果每一张操作截图的一个位置的像素点的像素值均相同,例如,每一张操作截图的第1行第3列的像素点的像素值都是175,则该位置的像素点应保存到公共像素点参数集中。公共像素点参数集记录下该像素点的位置与像素值。如果任意至少两张操作截图在一个位置的像素值不同,则该位置在公共像素点参数集中的像素点可以设置为-1。在比对三张操作截图后,得到三张操作截图的公共像素点参数集。差异像素点参数集为三张操作截图的两两之间的相同位置像素值不同的像素点的数量。如第一张操作截图与第二张操作截图,第一行第一列的像素点像素值不同,则从0开始计数,每有一个像素点的像素值不同就将计数增加1,直到遍历第一张操作截图与第二张操作截图,得到第一张操作截图与第二张操作截图的相同位置的像素值不同的像素点的数量。将该数量作为差异像素点参数集中的一个参数。差异像素点参数集中有多个参数,如果参数相同,则合并为一个参数。例如,三张操作截图得到差异像素点参数集:{12575,,2254,11355}。
当然,上述三张操作截图的公共像素点参数集与差异像素点参数集可能是不稳定的。如获取第四张操作截图,确定第一到第四操作截图的的公共像素点参数集与差异像素点参数集,如果和上述三张操作截图的公共像素点参数集与差异像素点参数集不同,则需要保存新的公共像素点参数集与差异像素点参数集。例如,新的差异像素点参数集可以为{12575,2254,11355,2700,5900,10600}。如果获取到第五操作截图,然后获取第一到第五操作截图的公共像素点参数集与差异像素点参数集,保存新的公共像素点参数集与差异像素点参数集。如果在继续获取操作截图,如获取第六操作截图,第七操作截图,第八操作截图的过程中,第一到第六操作截图的公共像素点参数集与差异像素点参数集,第一到第七操作截图的公共像素点参数集与差异像素点参数集,第一到第八操作截图的公共像素点参数集与差异像素点参数集不再发生变化,都与第五操作截图的公共像素点参数集与差异像素点参数集相同,则认为当前的操作截图的公共像素点参数集与差异像素点参数集已经稳定。也就是说,连续获取到的操作截图的公共像素点参数集与差异像素点参数集多次不再发生变化,则稳定。后续如果继续获取操作截图,如获取到目标操作截图,可以使用稳定的操作截图的公共像素点参数集与差异像素点参数集校验目标操作截图。
流程图可以如图8的步骤S802到步骤S816所示。S802,录制用户操作,S804,回放用户操作获取操作截图,S806,确定公共像素点参数集与差异像素点参数集,S808,继续获取操作截图,得到稳定的公共像素点参数集与差异像素点参数集,S810,存储公共像素点参数集与差异像素点参数集,S812,获取目标操作截图,814,使用公共像素点参数集与差异像素点参数集校验目标操作截图,S816,显示校验结果。具体可以为录制引擎完成场景录制以后,即录制用户操作后,后台服务器就已经获取到该场景的所有信息,如操作轨迹、操作类型等具体信息,并自动下发指定数量的学习任务(可配置,默认是3),即自动执行操作三次。回放引擎完成这里的解析执行,自动执行三次操作,并上报每次操作执行完毕以后的截图信息。根据每次获取到的操作截图,算法首先会将所有已经提交的操作截图进行数据迭代,来计算出公共的部分,即公共像素点参数集,结果是一个二维矩阵,相同则保留原值,不同则计为-1,其次计算差异的部分,将截图进行两两对比,得出差异像素数列表,即差异像素点参数集。然后将得到的公共二维矩阵以及差异像素数列表,进行保存,最后,如果3次新上报的截图中,不再使得公共二维矩阵和差异像素数列表发生变化,就说明模式已经稳定,学习阶段完毕,并保存该模式。该模式下,也就是该用户操作下,如果再次执行用户的操作得到目标操作截图,则可以使用已经保存的模式来校验目标操作截图。上述模式可以为用户的操作,不同的用户操作对应不同的模式。结果可以如图9所示。对于一张目标操作截图,目标操作截图可能与多张操作截图中的一张是完全相同的。则目标操作截图的灰度值的二维矩阵或者像素值的二维矩阵与多张操作截图中的一张是完全相同的则S902,比对二维矩阵的像素值会灰度值。如果目标操作截图和操作截图中有部分内容相同,则相同的部分比对公共像素点参数集,即S904,比对公共部分的二维矩阵的像素值或灰度值。对于差异的部分,可以比对差异的部分的像素点个数是否属于差异像素点参数集,如S906,比对差异部分的二维矩阵的像素点的个数是否位于差异像素点参数集中,或者S908,比对差异部分的二维矩阵的像素点的个数是否位于差异像素点参数集与误差值的和中。例如,差异像素点参数集的一个参数为50000,设置+2000、-2000为误差值,则只要差异像素点的个数位于48000-52000之间,则认为差异像素点的个数是位于差异像素点参数集中的。需要说明的是,上述步骤S902到步骤S908可以择一或择多执行,执行并不限定先后顺序。
验证过程中,当回放引擎接收到验证任务时,会将截图记录导入到验证表里。当图片校验引擎发现,验证表里有待验证的任务时,就会执行验证阶段的算法,将待验证的图片进行公共二维矩阵匹配,以及将其与任意一个学习阶段的图片进行差异像素数计算。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述操作校验方法的操作校验装置。如图10所示,该装置包括:
获取单元1002,用于获取多张操作截图,其中,多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
第一确定单元1004,用于确定出多张操作截图的公共像素点参数集和差异像素点参数集,其中,公共像素点参数集中包括在多张操作截图中相同位置上像素值相同的像素点,差异像素点参数集中包括多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;
校验单元1006,用于通过公共像素点参数集与差异像素点参数集,对待校验的目标操作截图进行校验,其中,目标操作截图为对目标操作区域执行目标操作后得到的结果界面的截图;
第二确定单元1008,用于在目标操作截图达到校验条件的情况下,确定目标操作为正常操作。
可选地,上述操作校验装置可以但不限于应用与校验操作是否正常的过程中。例如,操作可以为通过输入设备执行的单击、双击、连续点击、拖动、滑动、按住操作中的一种或几种的组合,验证操作是否正常可以包括验证操作的操作位置与操作类型是否正常,例如验证目标操作是否为对目标操作区域的按钮执行点击操作,或者验证目标操作是否正常可以为验证执行目标操作后的操作结果是否正常。例如,验证对目标操作区域的按钮执行点击操作后得到的结果是否正常。如果是验证执行目标操作的操作结果是否正常,则执行的目标操作与获取多张操作截图时执行的操作应是相同的。
可选地,上述操作校验方法的操作的场景并不限定。例如,可以应用在对应用程序或***或两者的组合的场景中。
如应用在判断应用程序的目标操作是否正常的过程中,可以获取对应用程序执行操作的多张操作截图,并获取到多张操作截图的公共像素点参数集和差异像素点参数集,然后对应用程序执行目标操作,通过校验目标操作截图,从而确定出目标操作是否正常。
再例如,判断***的目标操作的操作结果是否正常,可以获取对***执行操作的多张操作截图,如对***执行右键单击-查看操作,获取多张操作截图。然后获取多张操作截图的公共像素点参数集和差异像素点参数集,接着执行一次右键单击-查看操作也就是目标操作,得到目标操作截图。通过公共像素点参数集和差异像素点参数集校验目标操作截图,确定出目标操作是否正常。如果***有问题的情况下,如右键失灵,或者查看操作失灵等,则经过校验后会确定目标操作截图不正常,进而确定出目标操作不正常。可以确定出目标操作的操作结果不正常,以及执行目标操作对应的功能不正常。
本实施例的其他示例请参见上述示例,在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述操作校验方法的电子设备,该电子设备可以是图11所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图11所示,该电子设备包括存储器1102和处理器1104,该存储器1102中存储有计算机程序,该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
获取多张操作截图,其中,多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
确定出多张操作截图的公共像素点参数集和差异像素点参数集,其中,公共像素点参数集中包括在多张操作截图中相同位置上像素值相同的像素点,差异像素点参数集中包括多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;
通过公共像素点参数集与差异像素点参数集,对待校验的目标操作截图进行校验,其中,目标操作截图为对目标操作区域执行目标操作后得到的结果界面的截图;
在目标操作截图达到校验条件的情况下,确定目标操作为正常操作。
可选地,本领域普通技术人员可以理解,图11所示的结构仅为示意,电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图11其并不对上述电子装置电子设备的结构造成限定。例如,电子装置电子设备还可包括比图11中所示更多或者更少的组件(如网络接口等),或者具有与图11所示不同的配置。
其中,存储器1102可用于存储软件程序以及模块,如本发明实施例中的操作校验方法和装置对应的程序指令/模块,处理器1104通过运行存储在存储器1102内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的操作校验方法。存储器1102可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1102可进一步包括相对于处理器1104远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1102具体可以但不限于用于存储操作截图和目标操作截图等信息。作为一种示例,如图11所示,上述存储器1102中可以但不限于包括上述操作校验装置中的获取单元1002、第一确定单元1004、校验单元1006及第二确定单元1008。此外,还可以包括但不限于上述操作校验装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1106包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1106为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1108,用于显示上述校验结果;和连接总线1110,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式***中的一个节点,其中,该分布式***可以为区块链***,该区块链***可以是由该多个节点通过网络通信的形式连接形成的分布式***。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链***中的一个节点。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
获取多张操作截图,其中,多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
确定出多张操作截图的公共像素点参数集和差异像素点参数集,其中,公共像素点参数集中包括在多张操作截图中相同位置上像素值相同的像素点,差异像素点参数集中包括多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;
通过公共像素点参数集与差异像素点参数集,对待校验的目标操作截图进行校验,其中,目标操作截图为对目标操作区域执行目标操作后得到的结果界面的截图;
在目标操作截图达到校验条件的情况下,确定目标操作为正常操作。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种操作校验方法,其特征在于,包括:
获取多张操作截图,其中,所述多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
确定出所述多张操作截图的公共像素点参数集和差异像素点参数集,其中,所述公共像素点参数集中包括在所述多张操作截图中相同位置上像素值相同的像素点,所述差异像素点参数集中包括所述多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;
通过所述公共像素点参数集与所述差异像素点参数集,对待校验的目标操作截图进行校验,包括:获取所述目标操作截图的第一像素点集,其中,所述第一像素点集中的像素点在所述目标操作截图中的位置与所述公共像素点参数集中的像素点在任意一张所述操作截图中的像素点的位置相同;获取所述目标操作截图与任意一张所述操作截图之间相同位置上像素值不同的像素点的第一数量,得到多个所述第一数量;在所述第一像素点集与所述公共像素点参数集中相同位置的像素点的像素值相同,且多个所述第一数量均属于所述差异像素点参数集的情况下,确定所述目标操作截图达到校验条件,所述目标操作截图为对所述目标操作区域执行目标操作后得到的结果界面的截图;
在所述目标操作截图达到所述校验条件的情况下,确定所述目标操作为正常操作。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标操作截图的第一像素点集包括:
获取所述公共像素点参数集中每一个像素点的第一位置;
从所述目标操作截图中获取所述第一位置的第一像素点;
将所述第一像素点确定为所述第一像素点集中的像素点。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标操作截图与任意一张所述操作截图之间相同位置上像素值不同的像素点的第一数量包括:
将任意一张所述操作截图确定为当前操作截图,对所述目标操作截图与所述当前操作截图执行以下操作:在所述目标操作截图与所述当前操作截图任意一个相同位置的像素点的像素值不同的情况下, 将所述目标操作截图与所述当前操作截图的所述第一数量增加1,其中,所述目标操作截图与所述当前操作截图的所述第一数量的初始值为零。
4.根据权利要求1所述的方法,其特征在于,确定出所述多张操作截图的公共像素点参数集包括:
获取所述多张操作截图的每一张所述操作截图的像素矩阵,其中,所述像素矩阵中包括所述操作截图的每一个像素点的像素值与每一个像素点的位置;
在多个所述像素矩阵中,第二位置的像素点的像素值相同的情况下,将所述第二位置的像素点确定为所述公共像素点参数集中的一个像素点,其中,所述第二位置为所述像素矩阵中的任意一个位置。
5.根据权利要求1所述的方法,其特征在于,确定出所述多张操作截图的差异像素点参数集包括:
将多张所述操作截图中,任意一张所述操作截图作为第一操作截图,将多张所述操作截图中,除所述第一操作截图外的每一张操作截图依次作为第二操作截图,对所述第一操作截图与所述第二操作截图执行以下操作:在所述第一操作截图与所述第二操作截图中相同位置的像素点的像素值不同的情况下,将统计参数加1,其中,所述统计参数的初始值为零,所述统计参数用于表示所述第一操作截图与所述第二操作截图中相同位置的像素点的像素值不同的像素点的数量,在遍历所述第一操作截图与所述第二操作截图的每一个像素点之后,将所述统计参数作为所述差异像素点参数集中的一个参数。
6.根据权利要求1所述的方法,其特征在于,所述确定出所述多张操作截图的公共像素点参数集和差异像素点参数集包括:
在确定出所述多张操作截图的公共像素点参数集和差异像素点参数集的情况下,获取多张第一截图,其中,所述多张第一截图中的每一张第一截图为对操作界面中的目标操作区域执行所述操作后得到的结果界面的截图;
将所述多张操作截图与所述多张第一截图作为多张第二截图;
确定所述多张第二截图的公共像素点参数集和差异像素点参数集;
在所述第二截图的公共像素点参数集与所述多张操作截图的公共像素点参数集相同,且所述第二截图的差异像素点参数集与所述多张操作截图的差异像素点参数集相同的情况下,将所述第二截图的公共像素点参数集和差异像素点参数集确定为所述多张操作截图的公共像素点参数集和差异像素点参数集。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述获取多张操作截图包括:
获取对所述操作界面中的所述目标操作区域执行的所述操作;
在自动执行所述操作,得到所述操作的结果界面的情况下对所述结果界面进行截图,得到所述多张操作截图中的一张操作截图;
重复执行所述操作,并对所述结果界面进行截图,得到所述多张操作截图。
8.一种操作校验装置,其特征在于,包括:
获取单元,用于获取多张操作截图,其中,所述多张操作截图中的每一张操作截图为对操作界面中的目标操作区域执行操作后得到的结果界面的截图;
第一确定单元,用于确定出所述多张操作截图的公共像素点参数集和差异像素点参数集,其中,所述公共像素点参数集中包括在所述多张操作截图中相同位置上像素值相同的像素点,所述差异像素点参数集中包括所述多张操作截图中每两张操作截图之间相同位置上像素值不同的像素点的数量;
校验单元,用于通过所述公共像素点参数集与所述差异像素点参数集,对待校验的目标操作截图进行校验,其中,所述目标操作截图为对所述目标操作区域执行目标操作后得到的结果界面的截图;
第二确定单元,用于在所述目标操作截图达到校验条件的情况下,确定所述目标操作为正常操作;
所述校验单元包括:
第一获取模块,用于获取所述目标操作截图的第一像素点集,其中,所述第一像素点集中的像素点在所述目标操作截图中的位置与所述公共像素点参数集中的像素点在任意一张所述操作截图中的像素点的位置相同;
第二获取模块,用于获取所述目标操作截图与任意一张所述操作截图之间相同位置上像素值不同的像素点的第一数量,得到多个所述第一数量;
第一确定模块,用于在所述第一像素点集与所述公共像素点参数集中相同位置的像素点的像素值相同,且多个所述第一数量均属于所述差异像素点参数集的情况下,确定所述目标操作截图达到所述校验条件。
9.根据权利要求8所述的装置,其特征在于,所述第一获取模块包括:
第一获取子模块,用于获取所述公共像素点参数集中每一个像素点的第一位置;
第二获取子模块,用于从所述目标操作截图中获取所述第一位置的第一像素点;
第一确定子模块,用于将所述第一像素点确定为所述第一像素点集中的像素点。
10.根据权利要求8所述的装置,其特征在于,所述第二获取模块包括:
第二确定子模块,用于将任意一张所述操作截图确定为当前操作截图,对所述目标操作截图与所述当前操作截图执行以下操作:在所述目标操作截图与所述当前操作截图任意一个相同位置的像素点的像素值不同的情况下, 将所述目标操作截图与所述当前操作截图的所述第一数量增加1,其中,所述目标操作截图与所述当前操作截图的所述第一数量的初始值为零。
11.根据权利要求8至10任意一项所述的装置,其特征在于,所述获取单元包括:
第五获取模块,用于获取对所述操作界面中的所述目标操作区域执行的所述操作;
第一截图模块,用于在自动执行所述操作,得到所述操作的结果界面的情况下对所述结果界面进行截图,得到所述多张操作截图中的一张操作截图;
第二截图模块,用于重复执行所述操作,并对所述结果界面进行截图,得到所述多张操作截图。
12.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序运行时执行所述权利要求1至7任一项中所述的方法。
13.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011270498.5A CN113391741B (zh) | 2020-11-13 | 2020-11-13 | 操作校验方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011270498.5A CN113391741B (zh) | 2020-11-13 | 2020-11-13 | 操作校验方法和装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113391741A CN113391741A (zh) | 2021-09-14 |
CN113391741B true CN113391741B (zh) | 2023-08-29 |
Family
ID=77616507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011270498.5A Active CN113391741B (zh) | 2020-11-13 | 2020-11-13 | 操作校验方法和装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113391741B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113934353A (zh) * | 2021-09-30 | 2022-01-14 | 北京五八信息技术有限公司 | 一种信息处理方法及装置 |
CN114327203B (zh) * | 2021-12-28 | 2023-08-04 | 傲网信息科技(厦门)有限公司 | 一种用户操作的还原方法及装置、记录方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0261584A2 (en) * | 1986-09-25 | 1988-03-30 | The Board of Trustees of the University of Illinois | Method for controlling cells and pixels of plasma panels, plasma display panels, electroluminescent panels, lcd's or that like and a circuit for carrying out the method |
EP1288847A1 (en) * | 2001-08-30 | 2003-03-05 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for identifying identical images |
JP2013254394A (ja) * | 2012-06-07 | 2013-12-19 | Ntt Data Corp | 画像検証方法、画像検証装置、およびプログラム |
US9418284B1 (en) * | 2014-04-09 | 2016-08-16 | Vortex Intellectual Property Holding LLC | Method, system and computer program for locating mobile devices based on imaging |
WO2017005148A1 (zh) * | 2015-07-03 | 2017-01-12 | 上海触乐信息科技有限公司 | 一种自动化地软件测试方法和装置 |
CN107562589A (zh) * | 2017-08-29 | 2018-01-09 | 上海与德科技有限公司 | 一种基于移动终端的触摸屏像素点检测方法及*** |
CN108510502A (zh) * | 2018-03-08 | 2018-09-07 | 华南理工大学 | 基于深度神经网络的黑色素瘤图片组织分割方法和*** |
CN110163201A (zh) * | 2019-03-01 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像测试方法和装置、存储介质及电子装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9251435B2 (en) * | 2013-09-20 | 2016-02-02 | Oracle International Corporation | Screenshot database for application verification |
TWI622877B (zh) * | 2016-05-09 | 2018-05-01 | 國立中央大學 | System and method for recording and replaying mouse behavior, recording media and program products |
US10127689B2 (en) * | 2016-12-20 | 2018-11-13 | International Business Machines Corporation | Mobile user interface design testing tool |
JP2020166492A (ja) * | 2019-03-29 | 2020-10-08 | コニカミノルタ株式会社 | 検査装置、検査方法及びコンピュータープログラム |
-
2020
- 2020-11-13 CN CN202011270498.5A patent/CN113391741B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0261584A2 (en) * | 1986-09-25 | 1988-03-30 | The Board of Trustees of the University of Illinois | Method for controlling cells and pixels of plasma panels, plasma display panels, electroluminescent panels, lcd's or that like and a circuit for carrying out the method |
EP1288847A1 (en) * | 2001-08-30 | 2003-03-05 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for identifying identical images |
JP2013254394A (ja) * | 2012-06-07 | 2013-12-19 | Ntt Data Corp | 画像検証方法、画像検証装置、およびプログラム |
US9418284B1 (en) * | 2014-04-09 | 2016-08-16 | Vortex Intellectual Property Holding LLC | Method, system and computer program for locating mobile devices based on imaging |
WO2017005148A1 (zh) * | 2015-07-03 | 2017-01-12 | 上海触乐信息科技有限公司 | 一种自动化地软件测试方法和装置 |
CN107562589A (zh) * | 2017-08-29 | 2018-01-09 | 上海与德科技有限公司 | 一种基于移动终端的触摸屏像素点检测方法及*** |
CN108510502A (zh) * | 2018-03-08 | 2018-09-07 | 华南理工大学 | 基于深度神经网络的黑色素瘤图片组织分割方法和*** |
CN110163201A (zh) * | 2019-03-01 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像测试方法和装置、存储介质及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113391741A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107213641B (zh) | 与游戏中遥测同步的视频 | |
CN111325417B (zh) | 实现隐私保护的多方协同更新业务预测模型的方法及装置 | |
CN110378488B (zh) | 客户端变化的联邦训练方法、装置、训练终端及存储介质 | |
CN110812835B (zh) | 云游戏的检测方法和装置、存储介质及电子装置 | |
CN113391741B (zh) | 操作校验方法和装置、存储介质及电子设备 | |
CN105630977B (zh) | 应用程序推荐方法、装置及*** | |
CN110474820B (zh) | 流量回放方法、装置、电子设备 | |
EP3864516B1 (en) | Veto-based model for measuring product health | |
JP7046073B2 (ja) | リアルタイムデータ処理方法及び装置 | |
CN110830735A (zh) | 一种视频生成方法、装置、计算机设备和存储介质 | |
CN111611140A (zh) | 埋点数据的上报验证方法、装置、电子设备及存储介质 | |
CN115527090A (zh) | 模型训练方法、装置、服务器及存储介质 | |
CN111193945A (zh) | 广告播放处理方法和装置 | |
CN116827774A (zh) | 一种业务分析方法、装置、设备及存储介质 | |
CN110515819A (zh) | 性能测试方法、电子设备、调度***及介质 | |
CN113296666A (zh) | 主播曝光数据上报方法、装置、终端设备及存储介质 | |
CN110958448B (zh) | 一种视频质量评价方法、装置、介质及终端 | |
CN108647139A (zh) | ***的测试方法、装置、存储介质及电子装置 | |
CN115904883B (zh) | 一种rpa流程执行可视化异常监控方法、装置及介质 | |
CN112973128A (zh) | 消极游戏行为自动分析处理方法、装置、设备及介质 | |
CN110020166B (zh) | 一种数据分析方法及相关设备 | |
CN107395450B (zh) | 应用登录情况的监测方法和装置、存储介质、电子装置 | |
CN117097789A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN114610605A (zh) | 测试方法、装置、终端设备和存储介质 | |
CN112565904A (zh) | 视频片段推送方法、装置、服务器以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40052818 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |