CN102830958B - 一种获取界面控件信息的方法及*** - Google Patents
一种获取界面控件信息的方法及*** Download PDFInfo
- Publication number
- CN102830958B CN102830958B CN201110161998.XA CN201110161998A CN102830958B CN 102830958 B CN102830958 B CN 102830958B CN 201110161998 A CN201110161998 A CN 201110161998A CN 102830958 B CN102830958 B CN 102830958B
- Authority
- CN
- China
- Prior art keywords
- control
- selection area
- image
- region
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000052 comparative effect Effects 0.000 claims abstract description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 26
- 238000005070 sampling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种获取界面控件信息的方法及***，包括：根据预设策略，在界面中选定一区域，并截取该区域的图像，其中选定区域与事先获得的包含待检测控件的区域一致；根据选定区域的图像的像素组合，按预设策略获取该选定区域图像的像素特征；根据选定区域图像的像素特征与按预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息。应用本发明，通过分析非标准窗口控件的图像的像素特征，并与按预设策略事先获得的包含待检测控件的区域图像的像素特征进行比较，进而可判断窗口内选定区域中是否出现了所需控件，也可获取选定区域内控件的状态信息，实现了通过统一的方法对非标准窗口控件进行自动化测试的目的。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种获取界面控件信息的方法及***。
背景技术
随着计算机技术的飞速发展以及Windows***的广泛应用，运行于Windows***中的各种应用程序也越来越多，在Windows软件自动化测试中，需要以程序代替人来操作被测软件，所以程序需要得到窗口中某个控件的位置，再对其进行鼠标或键盘等操作。
Windows提供了获取标准控件信息的方法，如FindWindow、GetWindow、GetWindowRect等***API(应用程序编程接口)都可以获取一个控件的特定信息，Windows窗口或标准控件有类名、文本等属性。
FindWindow函数可以通过窗口的文本和类名来得到窗口的句柄，GetWindow函数可以通过父窗口的句柄和控件的文本得到控件的句柄，GetWindowRect函数可以通过控件的句柄得到控件相对于屏幕的坐标信息，有了屏幕坐标信息，自动化测试程序就可以对其进行点击、焦点切换、按键等操作。
然而Windows图形界面中的控件不一定是以标准方式创建的，这种非标准控件无法或没有处理标准Windows消息，也可能不存在控件文本等属性，所以像FindWindow这类函数就无法满足需求了。非标准控件都有着独特的现实方式，可以深究其内部实现方式，或都得到控件开发方的支持，使控件接受特定的消息，从而返回相应的信息。但这种方法不够通用，每处理一种不同的非标准控件就要使用一种特定的方法，降低对***自动化测试的开发效率。
如图1所示的图形界面就是由一组非标准的控件组成，用常规方法无法确定其中复选框和按钮的位置。
由于非标准控件的实现方法各有不同，因此当前需要一种针对Windows图形界面中非标准窗口控件的选取的技术方案，以达到在Windows***下进行自动化测试的目的。
发明内容
本发明所要解决的技术问题是提供一种获取界面控件信息的方法及***，解决了如何在Windows图形界面中选取需要的非标准窗口控件的问题，达到在Windows***下进行自动化测试的目的。
为了解决上述问题，本发明提供了一种获取界面控件信息的方法，包括：
根据预设策略，在界面中选定一区域，并截取该区域的图像，其中所述选定区域与事先获得的包含待检测控件的区域一致；
根据所述选定区域的图像的像素组合，按预设策略获取该选定区域图像的像素特征；
根据所述选定区域图像的像素特征与按预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息。
进一步地，上述方法还可包括，所述按预设策略获取该区域图像的像素特征的步骤，包括：
根据欲检测的控件的颜色确定目标像素值；
计算所述目标像素值占所述选定区域图像的像素组合中的比例。
进一步地，上述方法还可包括，所述计算目标像素值占所述选定区域图像的像素组合中的比例的步骤，包括：
将所述选定区域图像中各像素的值保存在一个数组中，遍历该数组，计算该数组中的目标像素值占数组总数的比例。
进一步地，上述方法还可包括，所述根据比较结果确定该选定区域内的界面控件的信息的步骤，包括：
根据事先获得包含待检测控件的区域图像中的目标像素值所占比例确定比例阈值；
当所述目标像素值占所述选定区域图像的像素组合中的比例达到所述阈值时，则确定该选定区域内出现了待检测控件。
进一步地，上述方法还可包括，计算所述目标像素值在所述选定区域图像中的分布特征；
根据所述分布特征，确定所述待检测控件在所述选定区域中的位置。
进一步地，上述方法还可包括，所述按预设策略获取该区域图像的像素特征的步骤，包括：
对所述选定区域图像的像素组合形成的数据进行唯一性运算，获得唯一性结果。
进一步地，上述方法还可包括，所述对所述选定区域图像的像素组合形成的数据进行唯一性运算的步骤，包括：
将所述选定区域图像中各像素的值保存在一个数组中，将数组内的数据作为一个二进制数据串进行唯一性运算。
进一步地，上述方法还可包括，所述根据比较结果确定该选定区域内的界面控件的信息的步骤，包括：
根据预设策略事先获得包含待检测控件的区域图像中的像素组合形成的数据进行唯一性运算，并获得唯一性结果；
当所述选定区域图像相对应的唯一性结果与所述包含待检测控件的区域图像相对应的唯一性结果一致时，则确定该选定区域内出现了待检测控件。
进一步地，上述方法还可包括，根据所述事先获得的包含待检测控件的区域图像中的控件位置，确定所述选定区域图像中的控件位置。
进一步地，上述方法还可包括，如果确定当前选定区域内未出现待检测控件，则将当前选定区域逐行或逐列平移一个像素后作为新的当前选定区域，再次获取该选定区域图像的像素特征。
进一步地，上述方法还可包括，所述根据预设策略，在界面中选定一区域，并截取该区域的图像的步骤，包括：判断若待检测的控件在某区域出现的频率达到预设阈值，则根据该区域在界面中选定一区域，并截取该区域的图像。
进一步地，上述方法还可包括，所述确定该选定区域内的界面控件的信息的步骤，进一步包括：判断所获取的选定区域内界面控件的状态信息。
进一步地，上述方法还可包括，所述判断获取选定区域内界面控件的状态信息，包括：复选框是否被勾选或控件是否可用的信息。
本发明还提供了一种获取界面控件信息的***，包括：
选定模块，用于根据预设策略，在界面中选定一个区域，并将该区域内的图像截取出来，其中所述选定区域与事先获得的包含待检测控件的区域一致；
特征获取模块，用于根据所述选定区域的图像的像素组合，按预设策略获取该选定区域图像的像素特征；
比较模块，用于根据所述选定区域图像的像素特征与按预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息。
进一步地，上述***还可包括，所述特征获取模块，根据欲检测的控件的颜色确定目标像素值，并计算所述目标像素值占所述选定区域图像的像素组合中的比例作为所述像素特征。
进一步地，上述***还可包括，所述比较模块，用于在所述目标像素值占所述包含待检测控件的区域图像中的比例与占所述选定区域图像中的比例的差值在预设范围内时，则确定该选定区域内出现了待检测控件。
进一步地，上述***还可包括，所述特征获取模块，用于对所述选定区域图像的像素组合形成的数据进行唯一性运算，获得唯一性结果作为像素特征。
进一步地，上述***还可包括，所述比较模块，用于比较所述事先获得的包含待检测控件的区域图像中的像素组合的唯一性运算结果与所述选定区域图像的像素组合的唯一性运算结果的一致性，如果一致则确定该选定区域内出现了待检测控件。
与现有技术相比，应用本发明，通过分析非标准窗口控件在屏幕的显示的图像的像素特征，并与按预设策略事先获得的包含待检测控件的区域图像的像素特征进行比较，进而可判断窗口内选定区域中是否出现了需要的控件，而且也可获取选定区域内控件的状态信息，实现了通过统一的方法对非标准窗口控件进行自动化测试的目的，减少了人的工作强度，具有现实意义。
附图说明
图1是当前的一组非标准控件的图形界面的示意图；
图2是本发明的获取界面控件信息的方法的流程示意图；
图3是本发明一实施方式“像素密度扫描方法”的流程示意图；
图4是本发明的非标准控件的特征为某特殊颜色的图形界面的示意图；
图5是本发明的相同区域内且主体颜色相同的非标准控件的图形界面的示意图；
图6是本发明的在一个包含选定窗口区域的更大的区域中遍历查找与所需控件的数字摘要相同的区域的过程示意图；
图7是本发明的获取界面控件信息的***的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本申请的方法是建立在屏幕坐标系和窗口坐标系基础之上的。
本申请中涉及如下概念：
屏幕坐标系是一个二维坐标系，屏幕左上角是坐标系原点，原点坐标记为(0，0)，横坐标轴与屏幕上边框重合，从左到右坐标值递增，坐标单位为像素，纵坐标轴与屏幕右边框重合，坐标值从上到下递增，坐标单位为像素。
窗口坐标系与屏幕坐标系相似，横纵坐标均平行于屏幕边框，窗口左上角是坐标系原点，原点坐标记为(0，0)，横坐标轴与窗口的上边框重合，从左到右坐标值递增，坐标单位为像素，纵坐标轴与窗口右边框重合，坐标值从上到下递增，坐标单位为像素。显然窗口坐标可以转换成屏幕坐标。
本申请涉及的都是矩形区域，下文提到的区域都指矩形区域。可以用窗口坐标系中两个点的坐标描述一个矩形区域，这两个点分别是区域左上角和右下角。每个区域都可以表示为形如为(x1，y1，x2，y2)的四元组，其中(x1，y1)为左上角坐标，(x2，y2)为右下角坐标，设每个区域以像素为单位的宽为X，高为Y，后文的伪代码将用到这些设定。
测试***所要分析的选定区域在***的配置文件中记录，因为窗口在屏幕上的位置是不确定的，所以在配置文件中记录的是控件在窗口坐标系中的位置。在测试***运行时，再转换成实际的屏幕坐标。
MD5：英文全称Message Digest Algorithm 5，中文定义为消息摘要算法第5版，MD5算法将一段数字信息，通过其不可逆的字符串变换算法，产生了这段信息唯一的MD5信息摘要。不同的信息通过MD5计算出的摘要不可能相同，具体可参考RFC 1321协议。
控件：Windows图形界面的组成部分，可以接受键盘或鼠标等输入设备的输入，从而完成某个特定的功能，Windows***中常见的控件有按钮、选项按钮、编辑框、列表框、滚动条和静态控件等。
像素：图像在计算机中的最小组成单位，像素可以理解为图像中某一点的颜色的数值。
由于非标准窗口控件的实现方法各有不同，所以不能从控件的内部运行机制入手，本申请另辟蹊径，通过分析非标准窗口控件在屏幕的显示的图像来获取控件中信息。
本申请可以获取在Windows图形界面的非标准窗口控件中信息，进而可判断窗口内选定的矩形区域中是否出现了需要的控件；或者判断获取选定区域内控件的状态信息，包括如复选框是否被勾选或控件是否可用等信息。
如图2所示，本发明的一种获取界面控件信息的方法，包括以下步骤：
步骤210、根据预设策略，在界面中选定一区域，并截取该区域的图像；
所要分析的选定区域在***的配置文件中记录，因为窗口在屏幕上的位置是不确定的，所以在配置文件中记录的是控件在窗口坐标系中的位置。
具体包括：在界面中选定一区域，将配置文件中记录的所需控件在窗口坐标系中的位置信息转换成实际的屏幕坐标的位置信息，并进行存储。
所述根据预设策略，在界面中选定一区域，并截取该区域的图像的步骤，具体包括：判断若待检测的控件在某区域出现的频率达到预设阈值，则根据该区域在界面中选定一区域，并截取该区域的图像，其中预设阈值例如设置为：待检测的控件出现的频率为50次或100次等，以实际情况而定，本发明并不限定。
值得注意的是：所述选定区域的范围与所述事先获得的包含待检测控件的区域的范围一致，即两区域可表现为面积相同。
步骤220、根据所述选定区域的图像的像素组合，按预设策略获取该选定区域图像的像素特征；
其中，选定区域图像的像素特征可以是该选定区域图像中某位置的像素特征，或者是整个选定区域图像的像素特征。
具体地，可包括以下步骤：
根据欲检测的控件的颜色确定目标像素值；
计算所述目标像素值占所述选定区域图像的像素组合中的比例。
进一步包括：
计算所述目标像素值在所述选定区域图像中的分布特征；
根据所述分布特征，确定所述待检测控件在所述选定区域中的位置。
在对是否出现控件做检测时，也可以检测到出现的具***置，即可根据所述事先获得的包含待检测控件的区域图像中的控件位置，确定所述选定区域图像中的控件位置。
其中，所述计算目标像素值占所述选定区域图像的像素组合中的比例的步骤，包括：
将所述选定区域图像中各像素的值保存在一个数组中，遍历该数组，计算该数组中的目标像素值占数组总数的比例。
或者，所述按预设策略获取该区域图像的像素特征，是通过对所述选定区域图像的像素组合形成的数据进行唯一性运算，获得唯一性结果。
其中，所述对所述选定区域图像的像素组合形成的数据进行唯一性运算的步骤，包括：
将所述选定区域图像中各像素的值保存在一个数组中，将数组内的数据作为一个二进制数据串进行唯一性运算。
步骤230、根据所述选定区域图像的像素特征与按预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息。
所述根据比较结果确定该选定区域内的界面控件的信息的步骤，包括：
根据事先获得包含待检测控件的区域图像中的目标像素值所占比例确定比例阈值；
当所述目标像素值占所述选定区域图像的像素组合中的比例达到所述阈值时，则确定该选定区域内出现了待检测控件。
或者所述根据比较结果确定该选定区域内的界面控件的信息的步骤，包括：
根据预设策略事先获得包含待检测控件的区域图像中的像素组合形成的数据进行唯一性运算，并获得唯一性结果；
当所述选定区域图像相对应的唯一性结果与所述包含待检测控件的区域图像相对应的唯一性结果一致时，则确定该选定区域内出现了待检测控件。
还可进一步包括：
如果确定当前选定区域内未出现待检测控件，则将当前选定区域逐行或逐列平移一个像素后作为新的当前选定区域，再次获取该选定区域图像的像素特征。
本发明的获取界面控件信息的方法一实施方式，如图3所示，包括以下步骤：
步骤310、测试***选定窗口区域；
测试***所要分析的选定区域在***的配置文件中记录，因为窗口在屏幕上的位置是不确定的，所以在配置文件中记录的是控件在窗口坐标系中的位置。
具体包括：所述测试***选定窗口区域，将所述测试***的配置文件中记录的所需控件在窗口坐标系中的位置信息转换成实际的屏幕坐标的位置信息，并进行存储。
步骤320、提取选定的窗口区域的图像，分析该图像中各控件像素的颜色值；
通过Python Image Library类似的图像处理类库的方式将窗口中测试***选定的区域内的图像提取出来。
提取出的图像由像素组成，每一个像素对应图像中的一个点，像素的值表示该点的颜色，如黄色对应一个值，红色对应另一个值，具体参见RFC 797协议，可以用一个32位整数来记录像素的值，本发明将这些被提取出的像素保存在数组中，以便后续分析。
步骤330、判断该图像的某控件像素中某颜色值是否达到预设比例值，如果是，则选定该控件为所需控件。
具体步骤如下：测试***将所述选定的窗口区域的图像中各像素的颜色值保存在一个数组中，遍历该数组，当该数组中的某颜色值占数组总数的比例达到预设比例值时，则确定该控件为选定控件。
在实际测试中，如果测试***需要对某个窗口控件进行某种操作，就需要判断在关注的窗口中，控件应该出现的区域内是否存在该控件，如果这个控件的特征为某种特殊的颜色，如图4所示，黄颜色是“同意并安装”按钮区别于其它控件的颜色，测试***应先截取其应该出现的区域的图像，将图像中各像素的颜色值保存在一个数组中，测试***遍历这个数组，当数组中的黄颜色值占数组总数的比例达到一定程度时，就认为在该区域中出现了“同意并安装”控件，否则该按钮没有出现。
该过程方式如下：
该方法在本发明中称为“像素密度扫描方法”，其参数rect即测试***选定的区域，featureColor指测试***关注的控件的主体颜色，threshold是当主体颜色像素数占区域内所有像素数的比例为多少时可以确定控件存在的阈值。
进一步地，“像素密度扫描方法”的局限在于无法区分可以出现在相同区域内且主体颜色又相同的控件，为了解决这个问题，本发明又提出“MD5摘要判断方法”的实施方式。
如图5所示：“开启”按钮和“关闭”按钮出现在相同的位置上，且同样是以文字的黑色作为标识颜色，所以在同一位置上采取“像素密度扫描方法”就不能判断当前出现的是关闭按钮还是开启按钮。
“MD5摘要判断方法”的步骤如下：如果出现在相同区域内且主体颜色又相同的控件为多个时，即判断该图像的多个控件像素中某颜色值若达到预设比例值，则可以根据不同控件的数字摘要对控件进行识别，选定所需控件；
针对上述情况，根据不同控件的数字摘要对控件进行识别，选定所需控件，具体是通过以下步骤实现：
测试***得到所述选定窗口中某控件区域的像素数组后，将数组内的数据作为一个二进制数据串，通过对得到的数据串进行计算，得到该数据串的数字摘要，根据数字摘要对不同的控件进行识别。
其中主要是通过可用控件所在区域图像的MD5摘要作为控件的标识，测试***取得了窗口中某区域的像素数组后，将数组内的数据作为一个二进制数据串，用MD5摘要方法对这个数据串进行计算，可得出数据串的数字摘要，由于不同控件的图像是不同的，因此其数字摘要也是不同的，由此可将它们区分开来，选定所需控件，采取相应的操作控制。
其中控件在选定区域内图像的数字摘要可以事先被计算出来，作为控件的标识摘要，保存在测试***的数据库中。
测试***将选定区域的图像数字摘要与控件的标识摘要进行比较，如果一致，则说明控件出现在选定的区域内。
值得注意的是：同一操作控制的控件可能以多种不同的外观被显示，所以控件的标识摘要不是单一的，可以是一组摘要。
进一步地，上述“MD5摘要判断方法”的局限是当控件的位置在选定区域内发生变化时，即使控件确实出现在了选定的区域中，这个区域的图像数字摘要也无法与控件的数字摘要相匹配。对于这种情况，本发明提供了解决方法，即在一个包含选定区域的更大的区域中查找与控件的数字摘要相同的子区域，如图6所示：
该方法包括：所述测试***判断如果选定的窗口区域的图像中控件图像的数字摘要无法与所需控件的数字摘要相匹配，则在一个包含所述选定窗口区域的更大的区域中遍历查找与所需控件的数字摘要相同的区域，如果查找到，则确定该区域中控件为所需控件。
具体方法：所述测试***将原选定窗口区域扩大一定的范围，该扩展区域范围可以包含原选定窗口区域，从扩展区域左上角开始，对与原选定窗口区域的长宽相同的取样区域计算数字摘要，判断如果取样区域的数字摘要与所需控件的标识摘要相同，则确定所需控件存在，否则，将取样区域向左平移一个像素，判断如果取样区域的右边界已经和扩展区域重合，则将取样区域向下平移一个像素，直到取样区域的右下角与扩展区域的右下角相重合结束。
如果在这个过程中取样区域的数字摘要与控件的数字摘要相同，则确定控件存在，否则这个过程将持续到取样区域的右下角与扩展区域的右下角相重合才能结束。
该过程方式如下：
其中，rect为原选定区域，ctrlMd5为控件的标识摘要。
“像素密度扫描法”和“MD5摘要判断法”同样可以判断出控件的状态。
当确定了控件在选定的区域中出现后，根据区域的MD5摘要来判断控件的状态。如下拉列表当前的值，复选框是否被选中等。
一个单选按钮在被选中前和被选中后的图像是不同的，如选中前的图像为○ZIP，其MD5摘要为e1fb6b1310405f94cc92ce5ea2a8347d，选中后的图像为⊙ZIP，其MD5摘要：68c5bf356ad8a4f7508df4040acdff18。
值得注意的是：在本发明中，主要是通过对对图像像素分析后，可以采用多种方法来计算图像的特征值。“像素密度扫描方法”和“MD5摘要判断方法”只是其中的两种实现方式；当然也可以通过其他实施方式获取界面控件信息，比如：计算数组HASH、边缘像素匹配或像素反转等实施方式，本发明对此不作限定。上述方式都是通过对界面图像特征的分析和比对，最终获取界面控件信息。
如图7所示，本发明还提供了一种获取界面控件信息的***，包括：选定模块701、特征获取模块702和比较模块703，其中，
选定模块701，用于根据预设策略，在界面中选定一个区域，并将该区域内的图像截取出来，其中所述选定区域与事先获得的包含待检测控件的区域一致；
特征获取模块702，用于根据所述选定区域的图像的像素组合，按预设策略获取该选定区域图像的像素特征；
比较模块703，用于根据所述选定区域图像的像素特征与按预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息。
其中，所述特征获取模块702，根据欲检测的控件的颜色确定目标像素值，并计算所述目标像素值占所述选定区域图像的像素组合中的比例作为所述像素特征。
所述比较模块703，用于在所述目标像素值占所述包含待检测控件的区域图像中的比例与占所述选定区域图像中的比例的差值在预设范围内时，则确定该选定区域内出现了待检测控件。
在该实施方式中，本发明从另一角度对比较过程进行了描述。
所述特征获取模块702，用于对所述选定区域图像的像素组合形成的数据进行唯一性运算，获得唯一性结果作为像素特征。
所述比较模块703，用于比较所述事先获得的包含待检测控件的区域图像中的像素组合的唯一性运算结果与所述选定区域图像的像素组合的唯一性运算结果的一致性，如果一致则确定该选定区域内出现了待检测控件。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (21)
1.一种获取界面控件信息的方法，其特征在于，包括：
根据第一预设策略，在界面中选定一区域，并截取该区域的图像，其中所述选定区域与事先获得的包含待检测控件的区域的面积相同；
根据所述选定区域的图像的像素组合，按第二预设策略获取该选定区域图像的像素特征；
根据所述选定区域图像的像素特征与按第三预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息；
其中，所述按第二预设策略获取该选定区域图像的像素特征的步骤，包括：
根据欲检测的控件的颜色确定目标像素值；
计算所述目标像素值占所述选定区域图像的像素组合中的比例作为所述像素特征。
2.如权利要求1所述的方法，其特征在于，所述计算目标像素值占所述选定区域图像的像素组合中的比例的步骤，包括：
将所述选定区域图像中各像素的值保存在一个数组中，遍历该数组，计算该数组中的目标像素值占数组总数的比例。
3.如权利要求1所述的方法，其特征在于，所述根据比较结果确定该选定区域内的界面控件的信息的步骤，包括：
根据事先获得的包含待检测控件的区域图像中的目标像素值所占比例确定比例阈值；
当所述目标像素值占所述选定区域图像的像素组合中的比例达到所述阈值时，则确定该选定区域内出现了待检测控件。
4.如权利要求1所述的方法，其特征在于，进一步包括：
计算所述目标像素值在所述选定区域图像中的分布特征；
根据所述分布特征，确定所述待检测控件在所述选定区域中的位置。
5.如权利要求3所述的方法，其特征在于，进一步包括：
根据所述事先获得的包含待检测控件的区域图像中的控件位置，确定所述选定区域图像中的控件位置。
6.如权利要求3所述的方法，其特征在于，进一步包括：
如果确定当前选定区域内未出现待检测控件，则将当前选定区域逐行或逐列平移一个像素后作为新的当前选定区域，再次获取该选定区域图像的像素特征。
7.如权利要求1所述的方法，其特征在于，所述根据第一预设策略，在界面中选定一区域，并截取该区域的图像的步骤，包括：判断若待检测的控件在某区域出现的频率达到预设阈值，则根据该区域在界面中选定一区域，并截取该区域的图像。
8.如权利要求1所述的方法，其特征在于，所述确定该选定区域内的界面控件的信息的步骤，进一步包括：判断所获取的选定区域内界面控件的状态信息。
9.如权利要求8所述的方法，其特征在于，所述判断所获取的选定区域内界面控件的状态信息，包括：复选框是否被勾选或控件是否可用的信息。
10.一种获取界面控件信息的方法，其特征在于，包括：
根据第一预设策略，在界面中选定一区域，并截取该区域的图像，其中所述选定区域与事先获得的包含待检测控件的区域的面积相同；
根据所述选定区域的图像的像素组合，按第二预设策略获取该选定区域图像的像素特征；
根据所述选定区域图像的像素特征与按第三预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息；
其中，所述按第二预设策略获取该选定区域图像的像素特征的步骤，包括：
对所述选定区域图像的像素组合形成的数据进行唯一性运算，获得唯一性结果。
11.如权利要求10所述的方法，其特征在于，所述对所述选定区域图像的像素组合形成的数据进行唯一性运算的步骤，包括：
将所述选定区域图像中各像素的值保存在一个数组中，将数组内的数据作为一个二进制数据串进行唯一性运算。
12.如权利要求10所述的方法，其特征在于，所述根据比较结果确定该选定区域内的界面控件的信息的步骤，包括：
根据第三预设策略事先对包含待检测控件的区域图像中的像素组合形成的数据进行唯一性运算，并获得唯一性结果；
当所述选定区域图像相对应的唯一性结果与所述包含待检测控件的区域图像相对应的唯一性结果一致时，则确定该选定区域内出现了待检测控件。
13.如权利要求12所述的方法，其特征在于，进一步包括：
根据所述事先获得的包含待检测控件的区域图像中的控件位置，确定所述选定区域图像中的控件位置。
14.如权利要求12所述的方法，其特征在于，进一步包括：
如果确定当前选定区域内未出现待检测控件，则将当前选定区域逐行或逐列平移一个像素后作为新的当前选定区域，再次获取该选定区域图像的像素特征。
15.如权利要求10所述的方法，其特征在于，所述根据第一预设策略，在界面中选定一区域，并截取该区域的图像的步骤，包括：判断若待检测的控件在某区域出现的频率达到预设阈值，则根据该区域在界面中选定一区域，并截取该区域的图像。
16.如权利要求10所述的方法，其特征在于，所述确定该选定区域内的界面控件的信息的步骤，进一步包括：判断所获取的选定区域内界面控件的状态信息。
17.如权利要求16所述的方法，其特征在于，所述判断所获取的选定区域内界面控件的状态信息，包括：复选框是否被勾选或控件是否可用的信息。
18.一种获取界面控件信息的***，其特征在于，包括：
选定模块，用于根据第一预设策略，在界面中选定一个区域，并将该区域内的图像截取出来，其中所述选定区域与事先获得的包含待检测控件的区域的面积相同；
特征获取模块，用于根据所述选定区域的图像的像素组合，按第二预设策略获取该选定区域图像的像素特征；
比较模块，用于根据所述选定区域图像的像素特征与按第三预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息；
其中，所述特征获取模块，根据欲检测的控件的颜色确定目标像素值；并计算所述目标像素值占所述选定区域图像的像素组合中的比例作为所述像素特征。
19.如权利要求18所述的***，其特征在于，所述比较模块，用于在所述目标像素值占所述包含待检测控件的区域图像中的比例与占所述选定区域图像中的比例的差值在预设范围内时，则确定该选定区域内出现了待检测控件。
20.一种获取界面控件信息的***，其特征在于，包括：
选定模块，用于根据第一预设策略，在界面中选定一个区域，并将该区域内的图像截取出来，其中所述选定区域与事先获得的包含待检测控件的区域的面积相同；
特征获取模块，用于根据所述选定区域的图像的像素组合，按第二预设策略获取该选定区域图像的像素特征；
比较模块，用于根据所述选定区域图像的像素特征与按第三预设策略事先获得的包含待检测控件的区域图像的像素特征的比较结果，确定该选定区域内的界面控件的信息；
其中，所述特征获取模块，用于对所述选定区域图像的像素组合形成的数据进行唯一性运算，获得唯一性结果作为像素特征。
21.如权利要求20所述的***，其特征在于，所述比较模块，用于比较所述事先获得的包含待检测控件的区域图像中的像素组合的唯一性运算结果与所述选定区域图像的像素组合的唯一性运算结果的一致性，如果一致则确定该选定区域内出现了待检测控件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110161998.XA CN102830958B (zh) | 2011-06-16 | 2011-06-16 | 一种获取界面控件信息的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110161998.XA CN102830958B (zh) | 2011-06-16 | 2011-06-16 | 一种获取界面控件信息的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102830958A CN102830958A (zh) | 2012-12-19 |
| CN102830958B true CN102830958B (zh) | 2017-11-24 |
Family
ID=47334110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110161998.XA Active CN102830958B (zh) | 2011-06-16 | 2011-06-16 | 一种获取界面控件信息的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102830958B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103135986B (zh) * | 2013-01-25 | 2015-11-25 | 中国人民解放军装甲兵工程学院 | 一种操作采集方法及*** |
| CN104252410B (zh) * | 2013-06-27 | 2017-12-22 | 阿里巴巴集团控股有限公司 | 一种对页面中的控件进行测试的方法和设备 |
| CN103645890B (zh) * | 2013-11-29 | 2017-12-01 | 北京奇虎科技有限公司 | 一种用于在图形用户界面中定位控件的方法和装置 |
| CN105095236A (zh) * | 2014-04-30 | 2015-11-25 | 优视科技有限公司 | 广告过滤方法和装置 |
| WO2015165245A1 (zh) * | 2014-04-30 | 2015-11-05 | 广州市动景计算机科技有限公司 | 一种网页数据处理方法及装置 |
| CN104391797B (zh) * | 2014-12-09 | 2017-11-10 | 北京奇虎科技有限公司 | Gui控件的识别方法和装置 |
| CN104462979B (zh) * | 2014-12-26 | 2017-11-07 | 深圳数字电视国家工程实验室股份有限公司 | 一种应用程序的自动化动态检测方法及装置 |
| CN104636029A (zh) * | 2014-12-31 | 2015-05-20 | 魅族科技（中国）有限公司 | 控件的显示控制方法和*** |
| CN104598282B (zh) * | 2015-02-05 | 2017-10-27 | 广州华多网络科技有限公司 | 一种控件捕捉方法和设备 |
| CN104615543A (zh) * | 2015-02-12 | 2015-05-13 | 腾讯科技（深圳）有限公司 | 一种窗口程序异常响应的检测方法及装置 |
| CN104766198A (zh) * | 2015-03-03 | 2015-07-08 | 包敬海 | 一种快速识别邮件附件的方法 |
| CN104899146B (zh) * | 2015-06-19 | 2018-04-24 | 安一恒通（北京）科技有限公司 | 基于图像匹配技术的软件稳定性测试方法和装置 |
| CN105740145B (zh) * | 2016-01-27 | 2018-09-18 | 广州酷狗计算机科技有限公司 | 定位控件中的元素的方法及装置 |
| CN106228191A (zh) * | 2016-07-28 | 2016-12-14 | 努比亚技术有限公司 | 一种控件文本超长检测装置及方法 |
| CN106998489B (zh) * | 2017-03-30 | 2018-07-06 | 武汉斗鱼网络科技有限公司 | 一种焦点越界搜索方法及装置 |
| CN110765825A (zh) | 2018-07-27 | 2020-02-07 | 北京京东尚科信息技术有限公司 | 物品摆放状态获取方法和*** |
| CN109522086B (zh) * | 2018-11-29 | 2022-07-12 | 金蝶软件（中国）有限公司 | 对窗口的操作方法和装置、计算机装置及可读存储介质 |
| CN109684225A (zh) * | 2018-12-29 | 2019-04-26 | 广州云测信息技术有限公司 | 一种软件测试方法和装置 |
| CN109753435B (zh) * | 2018-12-29 | 2022-02-01 | 北京云测信息技术有限公司 | 一种软件测试方法和装置 |
| CN110688308A (zh) * | 2019-09-19 | 2020-01-14 | 广州虎牙科技有限公司 | 内存存储冗余检测方法、装置、电子设备及可读存储介质 |
| CN111488499A (zh) * | 2020-03-06 | 2020-08-04 | 北京健康之家科技有限公司 | 舆情数据的处理方法及装置 |
| CN112163579A (zh) * | 2020-09-30 | 2021-01-01 | 江苏安全技术职业学院 | 基于文本语义特征分析的学生思想报告分析***与方法 |
| CN113610836A (zh) * | 2021-08-20 | 2021-11-05 | 车主邦（北京）科技有限公司 | 控件配置方法、装置、计算机可读介质及电子设备 |
| CN114020267A (zh) * | 2021-11-04 | 2022-02-08 | 四川启睿克科技有限公司 | 一种rpa窗口控件检测的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770578A (zh) * | 2010-03-24 | 2010-07-07 | 上海交通大学 | 图像特征提取方法 |
| CN101866352A (zh) * | 2010-05-28 | 2010-10-20 | 广东工业大学 | 一种基于图像内容分析的外观设计专利检索方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268666A (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Ltd | 補正機能を持つ自動試験システム、自動試験方法、およびプログラム |
| US20090083237A1 (en) * | 2007-09-20 | 2009-03-26 | Nokia Corporation | Method, Apparatus and Computer Program Product for Providing a Visual Search Interface |
| CN101630286A (zh) * | 2009-08-07 | 2010-01-20 | 金蝶软件（中国）有限公司 | 一种自动化测试方法及装置 |
| US8762873B2 (en) * | 2009-10-26 | 2014-06-24 | Hewlett-Packard Development Company, L.P. | Graphical user interface component identification |
| US9182981B2 (en) * | 2009-11-23 | 2015-11-10 | University Of Washington | Systems and methods for implementing pixel-based reverse engineering of interface structure |
| US8549478B2 (en) * | 2009-12-02 | 2013-10-01 | Hewlett-Packard Development Company, L.P. | Graphical user interface input element identification |
| CN101853157B (zh) * | 2010-05-14 | 2013-04-10 | 中国科学院软件研究所 | 一种应用软件gui对象自动识别方法 |
-
2011
- 2011-06-16 CN CN201110161998.XA patent/CN102830958B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770578A (zh) * | 2010-03-24 | 2010-07-07 | 上海交通大学 | 图像特征提取方法 |
| CN101866352A (zh) * | 2010-05-28 | 2010-10-20 | 广东工业大学 | 一种基于图像内容分析的外观设计专利检索方法 |
Non-Patent Citations (3)
| Title |
|---|
| Sikuli: using GUI screenshots for search and automation;Tom Yeh et al.;《Proceeding UIST "09 Proceedings of the 22nd annual ACM symposium on User interface software and technology》;20091004;183-192 * |
| 一种基于MD5的近似图像检测算法研究;叶志伟 等;《计算机应用研究》;20100228;第27卷(第2期);第788-790页 * |
| 基于颜色内容的图像检索原理与方法;毛力 等;《情报科学》;20000630;第18卷(第6期);第552-555页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102830958A (zh) | 2012-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102830958B (zh) | 一种获取界面控件信息的方法及*** | |
| Macé et al. | A system to detect rooms in architectural floor plan images | |
| EP3502966A1 (en) | Data generation apparatus, data generation method, and data generation program | |
| CN103400099B (zh) | 终端和二维码识别方法 | |
| US20140218385A1 (en) | System and method for visual segmentation of application screenshots | |
| US20140189576A1 (en) | System and method for visual matching of application screenshots | |
| JP2019087044A (ja) | 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
| CN105122306B (zh) | 区域分割方法以及检查装置 | |
| JP5867198B2 (ja) | 領域指定方法及び領域指定装置 | |
| TW201621584A (zh) | 觸控板檢測裝置及方法 | |
| WO2021088422A1 (zh) | 应用消息的通知方法及装置 | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机*** | |
| US8392887B2 (en) | Systems and methods for identifying graphic user-interface components | |
| CN106447656A (zh) | 基于图像识别的渲染瑕疵图像检测方法 | |
| CN108121648B (zh) | 一种界面错误监控方法 | |
| Huang et al. | Detecting shadows in high-resolution remote-sensing images of urban areas using spectral and spatial features | |
| KR102490486B1 (ko) | 이미지 기반 테이블 정보 생성 방법 | |
| US20170091572A1 (en) | System And Method For Text Detection In An Image | |
| EP3058515B1 (en) | Editing digital notes representing physical notes | |
| US10529453B2 (en) | Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score | |
| CN112446850A (zh) | 适配测试方法、装置及电子设备 | |
| US11657489B2 (en) | Segmentation of continuous dynamic scans | |
| CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
| Zhang et al. | Automatic detection of layout of color yarns of yarn‐dyed fabric. Part 3: Double‐system‐Mélange color fabrics | |
| JP2013161174A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 100015 rooms 301-306, 2 / F and 3 / F, block B, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing Patentee after: Beijing Qizhi Business Consulting Co.,Ltd. Address before: 100016 East unit, 4th floor, Zhaowei building, 14 Jiuxianqiao Road, Chaoyang District, Beijing Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220209 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100015 rooms 301-306, 2 / F and 3 / F, block B, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing Patentee before: Beijing Qizhi Business Consulting Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220802 Address after: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin Patentee after: 3600 Technology Group Co.,Ltd. Address before: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230627 Address after: 1765, floor 17, floor 15, building 3, No. 10 Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: Beijing Hongxiang Technical Service Co.,Ltd. Address before: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin Patentee before: 3600 Technology Group Co.,Ltd. |