CN107463327B - 一种获取界面控件元素位置信息的方法及终端 - Google Patents

一种获取界面控件元素位置信息的方法及终端 Download PDF

Info

Publication number
CN107463327B
CN107463327B CN201710594061.9A CN201710594061A CN107463327B CN 107463327 B CN107463327 B CN 107463327B CN 201710594061 A CN201710594061 A CN 201710594061A CN 107463327 B CN107463327 B CN 107463327B
Authority
CN
China
Prior art keywords
interface
control element
characteristic value
interface control
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710594061.9A
Other languages
English (en)
Other versions
CN107463327A (zh
Inventor
刘德建
陈丛亮
陈圆治
郭玉湖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Netdragon Websoft Co Ltd
Original Assignee
Fujian Netdragon Websoft Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Netdragon Websoft Co Ltd filed Critical Fujian Netdragon Websoft Co Ltd
Priority to CN201710594061.9A priority Critical patent/CN107463327B/zh
Publication of CN107463327A publication Critical patent/CN107463327A/zh
Application granted granted Critical
Publication of CN107463327B publication Critical patent/CN107463327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及数据处理领域，尤其涉及一种获取界面控件元素位置信息的方法及终端。本发明通过一种获取界面控件元素位置信息的方法，包括：当监听到触摸事件时，截取当前的屏幕图像，得到第一界面图；执行与所述触摸事件对应的触摸操作；截取当前的屏幕图像，得到第二界面图；当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；添加所述坐标值至预设的界面控件元素坐标集合。提高了获取界面控件元素的位置信息的方法的通用性。

Description

一种获取界面控件元素位置信息的方法及终端
技术领域
本发明涉及数据处理领域，尤其涉及一种获取界面控件元素位置信息的方法及终端。
背景技术
为了方便用户操作终端，终端界面上往往会设置具有一定功能的悬浮按钮。但是，当悬浮按钮的位置与界面控件元素的位置存在重叠时，会导致二者互相干扰，无法准确执行用户所需的操作。例如，用户原想操作一界面控件元素，却由于该界面控件元素与悬浮按钮存在重叠区域，误操作悬浮按钮，使得界面回退至终端首页致使原任务中断。为了确保用户对悬浮按钮的操作不与对界面控制元素的操作发生冲突，或者为了使悬浮按钮的位置不影响对界面控件元素的操作，需自动调节悬浮按钮的位置直至悬浮按钮与任一界面控件元素均无重叠区域。
为了解决上述技术问题，申请号为201410286349.6的专利文献公开了一种对悬浮按钮的位置进行调节的方法、装置及终端。该方法包括：获取悬浮按钮在移动屏的位置信息，并获取当前页面包括的所有界面控件元素在移动屏的位置信息；确定悬浮按钮的位置与任一界面控件元素的位置是否发生重叠；如果是，则将悬浮按钮调节至与每个界面控件元素的位置均不重叠的目标区域。该专利文献还进一步公开了获取当前页面包括的所有界面控件元素在移动屏的位置信息的方法，即从当前页面对应的源代码中获取当前页面包括的所有界面控件元素、每个界面控件元素的尺寸以及每个界面控件元素在当前页面中的位置。
但是，对于安全性较高的操作***或大多应用程序是非开源的，即第三方程序无法通过解析源代码获取界面控件元素的位置信息。因此，上述专利文献提供的获取界面控制元素的位置信息的方法不具有通用性，从而导致对悬浮按钮的位置进行调节的方法不具有通用性。
发明内容
本发明所要解决的技术问题是：如何提高获取界面控件元素的位置信息的方法的通用性。
为了解决上述技术问题，本发明采用的技术方案为：
本发明提供一种获取界面控件元素位置信息的方法，包括：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合。
本发明还提供一种获取界面控件元素位置信息的终端，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合。
本发明的有益效果在于：本发明通过比较执行触摸操作前的第一界面图和执行触摸操作后的第二界面图之间的差异识别出当前触摸点的坐标是否在界面控件元素所在的区域内，并记录可触发界面控件元素执行对应操作的触摸点的坐标；实现在无需读取终端安装的***或应用程序的源码的情况下，就可获取界面控件元素的位置信息，使得本发明提供的获取界面控件元素位置信息的方法具有通用性。
附图说明
图1为本发明提供的一种获取界面控件元素位置信息的方法的具体实施方式的流程框图；
图2为本发明提供的一种获取界面控件元素位置信息的终端的具体实施方式的结构框图；
图3为悬浮按钮移动规则示意图；
标号说明：
1、处理器；2、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1至图3，
如图1所示，本发明提供一种获取界面控件元素位置信息的方法，包括：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合。
进一步地，还包括：
获取一个以上与悬浮按钮面积相同的目标区域；所述目标区域中任一点的坐标值均不属于所述界面控件元素坐标集合；
移动悬浮按钮至一所述目标区域。
由上述描述可知，本发明提供的调节悬浮按钮至非界面控制元素所在区域的方法无需通过解析源代码获知界面控制元素的位置信息，具有通用性，可应用于任一***或应用程序。
进一步地，还包括：
计算一个以上所述目标区域的中心点与悬浮按钮的中心点的距离，得到距离集合；
获取所述距离集合中最小距离对应的目标区域，得到最近目标区域；
移动悬浮按钮至所述最近目标区域。
由上述描述可知，将悬浮按钮移动至与用户所期望的目标位置(即悬浮按钮的当前位置)最近的目标区域，便于用户操作，有利于提高用户体验。
进一步地，还包括：
计算所述第一界面图的特征值，得到第一特征值；
绑定所述第一特征值和所述界面控件元素坐标集合；
添加所述第一特征值至预设的界面特征值集合。
进一步地，还包括：
截取当前的屏幕图像，得到第三界面图；
计算所述第三界面图的特征值，得到第二特征值；
若所述界面特征值集合中存在一所述第一特征值与所述第二特征值相同，则根据一所述第一特征值对应的界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于一所述第一特征值对应的界面控件元素坐标集合。
由上述描述可知，实现能够根据屏幕当前显示的界面适配目标区域，具有较高的灵活性和通用性。
进一步地，还包括：
获取所述第一界面图的分辨率，得到第一分辨率；
绑定所述第一特征值和所述第一分辨率。
进一步地，还包括：
截取当前的屏幕图像，得到第四界面图；
计算所述第四界面图的特征值，得到第三特征值；
若所述界面特征值集合中存在一所述第一特征值与所述第三特征值相同，则：
获取一所述第一特征值对应的界面控件元素坐标集合，得到第一界面控件元素坐标集合；
根据所述第四界面图的分辨率和一所述第一特征值对应的分辨率转换所述第一界面控件元素坐标集合，得到第二界面控件元素坐标集合；
根据所述第二界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合。
由上述描述可知，实现可根据当前终端的分辨率及当前屏幕显示的界面适配目标区域，具有较高的灵活性和通用性。
如图2所示，本发明还提供一种获取界面控件元素位置信息的终端，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合。
进一步地，还包括：
获取一个以上与悬浮按钮面积相同的目标区域；所述目标区域中任一点的坐标值均不属于所述界面控件元素坐标集合；
计算一个以上所述目标区域的中心点与悬浮按钮的中心点的距离，得到距离集合；
获取所述距离集合中最小距离对应的目标区域，得到最近目标区域；
移动悬浮按钮至所述最近目标区域。
进一步地，还包括：
计算所述第一界面图的特征值，得到第一特征值；
绑定所述第一特征值和所述界面控件元素坐标集合；
添加所述第一特征值至预设的界面特征值集合；
获取所述第一界面图的分辨率，得到第一分辨率；
绑定所述第一特征值和所述第一分辨率；
截取当前的屏幕图像，得到第四界面图；
计算所述第四界面图的特征值，得到第三特征值；
若所述界面特征值集合中存在一所述第一特征值与所述第三特征值相同，则：
获取一所述第一特征值对应的界面控件元素坐标集合，得到第一界面控件元素坐标集合；
根据所述第四界面图的分辨率和一所述第一特征值对应的分辨率转换所述第一界面控件元素坐标集合，得到第二界面控件元素坐标集合；
根据所述第二界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合。
本发明的实施例一为：
本实施例提供一种获取界面控件元素位置信息的方法，包括：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
可选地，截取当前的屏幕图像后，根据预设的顶部通知栏高度值裁剪截取到的屏幕图像，得到第一界面图，即第一界面图不包括顶部通知栏区域；由于不同的***所设置的顶部通知栏高度不同，裁去顶部通知栏区域使得本发明提供的方法可适用于不同版本的***，有利于提高本发明所提供的获取界面控件元素位置信息的方法的通用性；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
可选地，截取当前的屏幕图像后，根据预设的顶部通知栏高度值裁剪截取到的屏幕图像，得到第二界面图，即第二界面图不包括顶部通知栏区域；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合；
S4、计算所述第一界面图的特征值，得到第一特征值；绑定所述第一特征值和所述界面控件元素坐标集合；获取所述第一界面图的分辨率，得到第一分辨率；绑定所述第一特征值和所述第一分辨率；添加所述第一特征值至预设的界面特征值集合；
S5、截取当前的屏幕图像，得到第三界面图；计算所述第三界面图的特征值，得到第二特征值；
可选地，截取当前的屏幕图像后，根据预设的顶部通知栏高度值裁剪截取到的屏幕图像，得到第三界面图，即第三界面图不包括顶部通知栏区域；
S6、若所述界面特征值集合中存在一所述第一特征值与所述第二特征值相同，则：
S61、获取一所述第一特征值对应的界面控件元素坐标集合，得到第一界面控件元素坐标集合；
S62、根据所述第三界面图的分辨率和一所述第一特征值对应的分辨率转换所述第一界面控件元素坐标集合，得到第二界面控件元素坐标集合；
其中，通过分辨率转换操作使得本发明提供的获取界面控件元素位置信息的方法可适用于不同分辨率的终端，具有较好的通用性；
S63、根据所述第二界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合；
可选地，根据所述第二界面控件元素坐标集合获取目标区域的方法可采用以下两种方式，但不仅限于以下两种方式：
第一方式，获取一个以上与悬浮按钮面积相同的目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合；计算一个以上所述目标区域的中心点与悬浮按钮的中心点的距离，得到距离集合；获取所述距离集合中最小距离对应的目标区域，得到最近目标区域；移动悬浮按钮至所述最近目标区域；
第二方式，如图3所示，当悬浮按钮为矩形时，获取当前悬浮按钮的中心点坐标、悬浮按钮的宽度和悬浮按钮的高度，并计算出悬浮按钮4个顶点坐标；4个顶点坐标围成一矩形区域；若矩形区域内包含所述第二界面控件元素坐标集合中的任一坐标点，则以悬浮按钮外框为边界，上下以悬浮按钮高度为单位，左右以悬浮按钮宽度为单位由内向外逆时针移动，每移动一次判断当前矩形区域内是否包含所述第二界面控件元素坐标集合中的任一坐标点，如果没包含，不再移动悬浮按钮。
本发明的实施例二为：
本实施例提供一种获取界面控件元素位置信息的终端，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，并且被配置成由所述一个或多个处理器1执行以下步骤：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合；
S4、获取一个以上与悬浮按钮面积相同的目标区域；所述目标区域中任一点的坐标值均不属于所述界面控件元素坐标集合；
S5、计算一个以上所述目标区域的中心点与悬浮按钮的中心点的距离，得到距离集合；
S6、获取所述距离集合中最小距离对应的目标区域，得到最近目标区域；
S7、移动悬浮按钮至所述最近目标区域。
本发明的实施例三为：
本实施例提供一种获取界面控件元素位置信息的终端，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，并且被配置成由所述一个或多个处理器1执行以下步骤：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合；
S4、计算所述第一界面图的特征值，得到第一特征值；绑定所述第一特征值和所述界面控件元素坐标集合；获取所述第一界面图的分辨率，得到第一分辨率；绑定所述第一特征值和所述第一分辨率；添加所述第一特征值至预设的界面特征值集合；
S5、截取当前的屏幕图像，得到第四界面图；
S6、计算所述第四界面图的特征值，得到第三特征值；若所述界面特征值集合中存在一所述第一特征值与所述第三特征值相同，则：
S61、获取一所述第一特征值对应的界面控件元素坐标集合，得到第一界面控件元素坐标集合；
S62、根据所述第四界面图的分辨率和一所述第一特征值对应的分辨率转换所述第一界面控件元素坐标集合，得到第二界面控件元素坐标集合；
S63、根据所述第二界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合。
综上所述，本发明提供的一种获取界面控件元素位置信息的方法，通过比较执行触摸操作前的第一界面图和执行触摸操作后的第二界面图之间的差异识别出当前触摸点的坐标是否在界面控件元素所在的区域内，并记录可触发界面控件元素执行对应操作的触摸点的坐标；实现在无需读取终端安装的***或应用程序的源码的情况下，就可获取界面控件元素的位置信息，使得本发明提供的获取界面控件元素位置信息的方法具有通用性。进一步地，本发明提供的调节悬浮按钮至非界面控制元素所在区域的方法无需通过解析源代码获知界面控制元素的位置信息，具有通用性，可应用于任一***或应用程序。进一步地，将悬浮按钮移动至与用户所期望的目标位置(即悬浮按钮的当前位置)最近的目标区域，便于用户操作，有利于提高用户体验。进一步地，实现能够根据屏幕当前显示的界面适配目标区域，具有较高的灵活性和通用性。进一步地，实现可根据当前终端的分辨率及当前屏幕显示的界面适配目标区域，具有较高的灵活性和通用性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种获取界面控件元素位置信息的方法，其特征在于，包括：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合。
2.根据权利要求1所述的获取界面控件元素位置信息的方法，其特征在于，还包括：
获取一个以上与悬浮按钮面积相同的目标区域；所述目标区域中任一点的坐标值均不属于所述界面控件元素坐标集合；
移动悬浮按钮至一所述目标区域。
3.根据权利要求2所述的获取界面控件元素位置信息的方法，其特征在于，还包括：
计算一个以上所述目标区域的中心点与悬浮按钮的中心点的距离，得到距离集合；
获取所述距离集合中最小距离对应的目标区域，得到最近目标区域；
移动悬浮按钮至所述最近目标区域。
4.根据权利要求1所述的获取界面控件元素位置信息的方法，其特征在于，还包括：
计算所述第一界面图的特征值，得到第一特征值；
绑定所述第一特征值和所述界面控件元素坐标集合；
添加所述第一特征值至预设的界面特征值集合。
5.根据权利要求4所述的获取界面控件元素位置信息的方法，其特征在于，还包括：
截取当前的屏幕图像，得到第三界面图；
计算所述第三界面图的特征值，得到第二特征值；
若所述界面特征值集合中存在一所述第一特征值与所述第二特征值相同，则根据一所述第一特征值对应的界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于一所述第一特征值对应的界面控件元素坐标集合。
6.根据权利要求4所述的获取界面控件元素位置信息的方法，其特征在于，还包括：
获取所述第一界面图的分辨率，得到第一分辨率；
绑定所述第一特征值和所述第一分辨率。
7.根据权利要求6所述的获取界面控件元素位置信息的方法，其特征在于，还包括：
截取当前的屏幕图像，得到第四界面图；
计算所述第四界面图的特征值，得到第三特征值；
若所述界面特征值集合中存在一所述第一特征值与所述第三特征值相同，则：
获取一所述第一特征值对应的界面控件元素坐标集合，得到第一界面控件元素坐标集合；
根据第四界面图的分辨率和一所述第一特征值对应的分辨率转换所述第一界面控件元素坐标集合，得到第二界面控件元素坐标集合；
根据所述第二界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合。
8.一种获取界面控件元素位置信息的终端，其特征在于，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
S1、当监听到触摸事件时，
S11、截取当前的屏幕图像，得到第一界面图；
S12、执行与所述触摸事件对应的触摸操作；
S13、截取当前的屏幕图像，得到第二界面图；
S2、当所述第一界面图和所述第二界面图的相似度小于预设的阈值时，获取与所述触摸事件对应的一个以上触摸点的坐标值；
S3、添加所述坐标值至预设的界面控件元素坐标集合。
9.根据权利要求8所述的获取界面控件元素位置信息的终端，其特征在于，还包括：
获取一个以上与悬浮按钮面积相同的目标区域；所述目标区域中任一点的坐标值均不属于所述界面控件元素坐标集合；
计算一个以上所述目标区域的中心点与悬浮按钮的中心点的距离，得到距离集合；
获取所述距离集合中最小距离对应的目标区域，得到最近目标区域；
移动悬浮按钮至所述最近目标区域。
10.根据权利要求8所述的获取界面控件元素位置信息的终端，其特征在于，还包括：
计算所述第一界面图的特征值，得到第一特征值；
绑定所述第一特征值和所述界面控件元素坐标集合；
添加所述第一特征值至预设的界面特征值集合；
获取所述第一界面图的分辨率，得到第一分辨率；
绑定所述第一特征值和所述第一分辨率；
截取当前的屏幕图像，得到第四界面图；
计算所述第四界面图的特征值，得到第三特征值；
若所述界面特征值集合中存在一所述第一特征值与所述第三特征值相同，则：
获取一所述第一特征值对应的界面控件元素坐标集合，得到第一界面控件元素坐标集合；
根据第四界面图的分辨率和一所述第一特征值对应的分辨率转换所述第一界面控件元素坐标集合，得到第二界面控件元素坐标集合；
根据所述第二界面控件元素坐标集合获取目标区域；所述目标区域中任一点的坐标值均不属于所述第二界面控件元素坐标集合。
CN201710594061.9A 2017-07-20 2017-07-20 一种获取界面控件元素位置信息的方法及终端 Active CN107463327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710594061.9A CN107463327B (zh) 2017-07-20 2017-07-20 一种获取界面控件元素位置信息的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710594061.9A CN107463327B (zh) 2017-07-20 2017-07-20 一种获取界面控件元素位置信息的方法及终端

Publications (2)

Publication Number Publication Date
CN107463327A CN107463327A (zh) 2017-12-12
CN107463327B true CN107463327B (zh) 2019-12-17

Family

ID=60546886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710594061.9A Active CN107463327B (zh) 2017-07-20 2017-07-20 一种获取界面控件元素位置信息的方法及终端

Country Status (1)

Country Link
CN (1) CN107463327B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108449640B (zh) * 2018-03-26 2021-05-07 广州虎牙信息科技有限公司 直播视频输出控制方法、装置及存储介质、终端
CN112231032A (zh) * 2019-12-10 2021-01-15 北京来也网络科技有限公司 结合rpa与ai的软件界面元素的访问方法及装置
CN111580902B (zh) * 2020-04-20 2024-01-26 微梦创科网络科技（中国）有限公司 一种基于图片分析的移动端元素定位方法及***
CN112044061B (zh) * 2020-08-11 2022-05-06 腾讯科技（深圳）有限公司 游戏画面处理方法、装置、电子设备以及存储介质
CN115033091B (zh) * 2021-03-03 2023-08-11 上海艾为电子技术股份有限公司 一种降低手持移动设备功耗的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9223134B2 (en) * 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9280277B2 (en) * 2012-07-11 2016-03-08 Bae Systems Information And Electronic Systems Integration Inc. Smart phone like gesture interface for weapon mounted systems
CN104252410B (zh) * 2013-06-27 2017-12-22 阿里巴巴集团控股有限公司 一种对页面中的控件进行测试的方法和设备
CN104346085A (zh) * 2013-07-25 2015-02-11 北京三星通信技术研究有限公司 一种对控件对象的操作方法、装置及终端设备
CN103645890B (zh) * 2013-11-29 2017-12-01 北京奇虎科技有限公司 一种用于在图形用户界面中定位控件的方法和装置
CN103793137B (zh) * 2014-01-23 2017-12-29 联想(北京)有限公司 一种显示方法及电子设备
CN104866414B (zh) * 2014-02-24 2018-07-06 腾讯科技（深圳）有限公司 应用程序的测试方法、装置及***
CN105302408A (zh) * 2014-06-24 2016-02-03 腾讯科技（深圳）有限公司 对悬浮按钮的位置进行调节的方法、装置及终端
CN104391797B (zh) * 2014-12-09 2017-11-10 北京奇虎科技有限公司 Gui控件的识别方法和装置
CN105808416B (zh) * 2014-12-27 2018-04-13 南车株洲电力机车研究所有限公司 一种人机图形交互界面的自动化测试方法和***
CN106775195B (zh) * 2016-11-16 2018-09-18 竞技世界（北京）网络技术有限公司 一种悬浮按钮的控制方法及装置
CN106775223A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 悬浮按钮的控制方法、及终端设备

Also Published As

Publication number Publication date
CN107463327A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN107463327B (zh) 一种获取界面控件元素位置信息的方法及终端
KR102310903B1 (ko) 터치 검출 방법 및 컴퓨터 판독가능 저장 매체
CN107992275B (zh) 单证打印方法、装置、计算机设备及存储介质
CN110297681B (zh) 图像处理方法、装置、终端及存储介质
CN111104036B (zh) 元素控制方法、装置、设备及存储介质
CN112686919B (zh) 物体边界线确定方法、装置、电子设备及存储介质
US20140063073A1 (en) Electronic device and method for controlling movement of images on screen
US20150169134A1 (en) Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces
CN112101317A (zh) 页面方向识别方法、装置、设备及计算机可读存储介质
KR101158679B1 (ko) 직접입력 방식의 전자문서 상의 도형입력 방법, 그리고 직접입력 방식의 전자문서 상의 도형입력 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
CN113282488A (zh) 终端的测试方法及装置、存储介质、终端
US10303349B2 (en) Image-based application automation
EP2799970A1 (en) Touch screen panel display and touch key input system
CN106713962B (zh) 视频展示方法、装置和终端设备
EP2784652B1 (en) Information processing apparatus, information processing method, and information processing program
CN110955379B (zh) 移动终端的控制方法、移动终端及存储介质
CN110458202B (zh) 图片处理方法、装置、设备及计算机可读存储介质
JP5834253B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN107562260B (zh) 一种触摸控制的方法及装置
KR101503640B1 (ko) 전자 서명 지원 장치 및 방법
CN106598446B (zh) 截图方法及装置
US20120162246A1 (en) Method and an apparatus for automatic capturing
CN108363525B (zh) 一种响应网页中用户手势操作的方法、装置和终端设备
US10044904B2 (en) Apparatus, image reading method, and storage medium for reading an image of a target object
CN106156153B (zh) 一种加载图片的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant