CN115657863B - 一种触屏设备的非侵入式跟手性检测方法及装置 - Google Patents
一种触屏设备的非侵入式跟手性检测方法及装置 Download PDFInfo
- Publication number
- CN115657863B CN115657863B CN202211701448.7A CN202211701448A CN115657863B CN 115657863 B CN115657863 B CN 115657863B CN 202211701448 A CN202211701448 A CN 202211701448A CN 115657863 B CN115657863 B CN 115657863B
- Authority
- CN
- China
- Prior art keywords
- hand
- following
- touch screen
- detected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明提供了一种触屏设备的非侵入式跟手性检测方法及装置，应用于工业自动化检测技术领域，该方法如下：获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面；根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间；获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差。本发明以机器视觉作为核心技术手段，无需侵入触屏设备操作***，适用于各种触屏设备的跟手性检测，对评价触屏设备跟手性和指导设备研发人员的优化工作具有极高的现实意义。
Description
技术领域
本发明涉及工业自动化检测技术领域，尤其涉及一种触屏设备的非侵入式跟手性检测方法、装置、设备及存储介质。
背景技术
随着便捷性需求的增加，触屏设备开始广泛应用在生产、生活的各个方面，例如：工业控制面板、智能手机、平板电脑、电子手表和智能家居等。在触屏设备中，良好的人机交互体验是消费者的一个较为重要的产品使用需求。
在众多项触屏交互体验中，跟手性的优劣至关重要，其决定了用户滑动屏幕时是否能获得丝滑的感受，可以比较直观体会跟手性优劣的使用场景有拖拽图标、滑动列表、手写输入和艺术创作等。当用户点击滑动屏幕时，若响应点与手指或手写笔之间的延迟距离较大，则会给用户带来设备反应迟滞和卡顿的感受，甚至会导致用户此次滑动操作失效；若响应点超出手指或手写笔，则屏幕响应点会被手指或手写笔遮挡，影响视觉观感。因此，只有先准确获取和评估出触屏设备的跟手性能，才能为优化工作指明方向。
现有非侵入式检测方法的评价指标单一，检测方式针对高刷新率触屏设备的可靠性欠佳，适用性不足。
现有侵入式检测方法的实施方式复杂，对设备操作***的依赖程度较高，适用性欠佳，且具有一定的***安全风险。
发明内容
本发明提供了一种触屏设备的非侵入式跟手性检测方法、装置、设备及存储介质。本发明以机器视觉作为核心技术手段，无需侵入触屏设备操作***，适用于各种触屏设备的跟手性检测，并且兼顾了跟手距离和跟手时间两项评价参数，评价方法和结果与实际应用场景的契合度更高，对评价触屏设备跟手性和指导设备研发人员的优化工作具有极高的现实意义。
第一方面，本发明的实施例提供了一种触屏设备的非侵入式跟手性检测方法，该方法包括：
获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面；
其中，机械臂用于模拟手指或手写笔在使用触屏设备过程中的滑动操作，待检测触屏设备的屏幕尺寸和位置通过高清定位相机获取，屏幕响应画面通过高帧率相机获取；
根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间；
其中，待检测触屏设备的使用场景包括如下一项或多项：拖拽图标场景、滑动列表场景、手写输入场景、或艺术创作场景；
获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差；
其中，跟手时间波形图、跟手距离波形图、均值和方差用于评价跟手性。
上述技术方案通过高清定位相机获取触屏设备屏幕尺寸与位置，通过高帧率相机获取屏幕滑动图像序列，然后采用机器视觉算法计算跟手距离与跟手时间，最后进行数据统计分析，并生成跟手性评价波形图，无需侵入触屏设备操作***，适用于各种触屏设备的跟手性检测，并且兼顾了跟手距离和跟手时间两项评价参数，评价方法和结果与实际应用场景的契合度更高，对评价触屏设备跟手性和指导设备研发人员的优化工作具有极高的现实意义。
可选地，根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间，包括：
若为拖拽图标场景，则根据如下公式计算跟手距离和跟手时间：
；
式中，di为跟手距离，为图标所在位置坐标，为触笔所在位置坐标，为标定的像素比例；
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的图标坐标首次到达或越过第i张图像中的触笔所在位置坐标。
可选地，根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间，还包括：
若为滑动列表场景，则根据如下公式计算跟手距离和跟手时间:
；
式中，di为跟手距离，为列表内容定位坐标，为触笔所在位置坐标，为标定的像素比例；
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的列表内容定位坐标首次到达或越过第i张图像中的触笔所在位置坐标。
可选地，根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间，还包括：
若为手写输入场景，则根据如下公式计算跟手距离和跟手时间:
；
式中，di为跟手距离，为直线前进端的线端坐标，为触笔所在位置坐标，为标定的像素比例；
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的直线前进端的线端坐标首次到达或越过第i张图像中的触笔所在位置坐标。
可选地，根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间，还包括：
若为艺术创作场景，则根据如下公式计算跟手距离和跟手时间:
；
式中，di为跟手距离，为标定的像素比例，k为自由曲线端点到触笔终点过程中所述高帧率相机捕获图像数量，为触笔在第a张图像中所在位置坐标，为触笔在第a+1张图像中所在位置坐标；
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的曲线端点坐标首次到达或越过第i张图像中的触笔所在位置坐标。
第二方面，本发明的实施例提供了一种触屏设备的非侵入式跟手性检测装置，该装置包括：
获取模块，用于获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面；
其中，机械臂用于模拟手指或手写笔在使用触屏设备过程中的滑动操作，待检测触屏设备的屏幕尺寸和位置通过高清定位相机获取，屏幕响应画面通过高帧率相机获取；
计算模块，用于根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间；
其中，待检测触屏设备的使用场景包括如下一项或多项：拖拽图标场景、滑动列表场景、手写输入场景、或艺术创作场景；
分析模块，用于获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差；
其中，跟手时间波形图、所述跟手距离波形图、均值和方差用于评价跟手性。
第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面中任一实现方式所述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一实现方式所述的方法。
本发明提供了一种触屏设备的非侵入式跟手性检测方法、装置、设备及存储介质，该方法如下：获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面； 根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间； 获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差。本发明以机器视觉作为核心技术手段，无需侵入触屏设备操作***，适用于各种触屏设备的跟手性检测，并且兼顾了跟手距离和跟手时间两项评价参数，评价方法和结果与实际应用场景的契合度更高，对评价触屏设备跟手性和指导设备研发人员的优化工作具有极高的现实意义。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
图1为本发明实施例的一种触屏设备的非侵入式跟手性检测方法的流程图；
图2为本发明实施例的一种拖拽图标场景的示意图；
图3为本发明实施例的一种手写输入场景示意图；
图4为本发明实施例的一种艺术创作场景中自由曲线滑动示意图；
图5为本发明实施例的一种跟手距离波形图；
图6为本发明实施例的一种跟手时间波形图；
图7为本发明实施例的一种触屏设备的非侵入式跟手性检测装置的结构示意图；
图8为本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1为本发明实施例的一种触屏设备的非侵入式跟手性检测方法的流程图。如图1所示，该方法包括：
S101、获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面。
其中，机械臂用于模拟手指或手写笔在使用触屏设备过程中的滑动操作，待检测触屏设备的屏幕尺寸和位置通过高清定位相机获取，屏幕响应画面通过高帧率相机获取。
可选地，待检测触屏设备可以通过触屏设备定位夹具进行固定，该触屏设备定位夹具具有夹持姿态自动对正功能，通过高精密丝杆和定位滑块相互配合可以使待检测触屏设备的成像平面与高清定位相机光轴垂直，且待检测触屏设备的成像平面中心与高清定位相机光轴相交。
可选地，机械臂包括多个直线电机、音圈电机、伺服电机和触笔夹具。其中，多个直线电机和音圈电机用于驱动触笔滑动，伺服电机用于驱动触笔夹具使得测试触笔可以模拟用户在使用过程中手指或手写笔在不同角度的滑动状态，触笔夹具用于加持和快速切换测试所用的不同型号触笔。
可选地，高清定位相机用于获取待检测触屏设备屏幕尺寸及位置，进而制定滑动轨迹。高帧率相机用于捕获机械臂在滑动过程中触屏设备屏幕的响应画面，并将其按照采集顺序进行编号，用于后续的跟手距离和跟手时间的计算。
可选地，高帧率相机的帧率至少应为触屏设备屏幕刷新率的2倍以上；
示例性地，当高帧率相机的帧率为触屏设备屏幕刷新率的4倍时，检测效果更加准确。
S102、根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间。
其中，待检测触屏设备的使用场景包括如下一项或多项：拖拽图标场景、滑动列表场景、手写输入场景、或艺术创作场景。
示例性地，图2为本发明实施例的一种拖拽图标场景的示意图；如图2所示：
根据图标定位算法可从图像中定位出当前图标所在位置，根据触笔端点定位算法可从图像中定位出当前触笔所在位置，然后根据标定的像素比例可计算得到当前跟手距离di，其计算公式为：
；
然后根据如下公式计算跟手时间：
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的图标坐标首次到达或越过第i张图像中的触笔所在位置坐标。
可选地，滑动列表场景主要为用户在使用触屏设备时上下翻阅通讯录、新闻目录和生产报表等操作。
示例性地，若为滑动列表场景，则根据列表内容定位算法，逐帧定位指定列表内容。根据列表内容定位结果和触笔端点定位结果计算跟手距离和跟手时间，具体计算公式如下：
；
式中，di为跟手距离，为列表内容定位坐标，为触笔所在位置坐标，为标定的像素比例；
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的列表内容定位坐标首次到达或越过第i张图像中的触笔所在位置坐标。
可选地，手写输入场景主要为用户在使用触屏设备时用手指或手写笔向屏幕输入文本信息。
示例性地，图3为本发明实施例的一种手写输入场景示意图；如图3所示：
根据自适应角度投影算法可以对在屏幕上绘制的任意角度线段进行线端定位，如图3所示，该算法可对任意倾斜角度的线段进行线端定位，并自动区分出划线轨迹的静止端与前进端，其中，静止端坐标为，前进端坐标为，然后根据直线前进端线端坐标与触笔端点坐标计算跟手距离和跟手时间，具体计算公式如下：
；
式中，di为跟手距离，为直线前进端的线端坐标，为触笔所在位置坐标，为标定的像素比例；
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的直线前进端的线端坐标首次到达或越过第i张图像中的触笔所在位置坐标。
可选地，艺术创作场景主要为用户在使用触屏设备时用手指或手写笔在屏幕上勾勒轮廓或绘制图形。
示例性地，图4为本发明实施例的一种艺术创作场景中自由曲线滑动示意图；如图4所示：
根据自由曲线循迹定位算法，可以对自由曲线的端点进行定位，确定自由曲线端点坐标，因为曲线的跟手距离为两点间的轨迹长度并非两点间的直线距离，所以采用微积分的原理计算跟手距离，具体计算公式如下：
；
式中，di为跟手距离，为标定的像素比例，k为自由曲线端点到触笔终点过程中所述高帧率相机捕获图像数量，为触笔在第a张图像中所在位置坐标，为触笔在第a+1张图像中所在位置坐标。
需要说明的是,n为高帧相机采集的图像数量。
示例性地，跟手时间的计算公式如下：
；
式中，ti为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的曲线端点坐标首次到达或越过第i张图像中的触笔所在位置坐标。
S103、获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差。
其中，跟手时间波形图、跟手距离波形图、均值和方差用于评价跟手性。
示例性地，获取拖拽图标场景下的跟手距离集合 和跟手时间集合；
根据如下公式计算跟手距离和跟手时间的均值：
；
式中，n为高帧相机采集的图像数量，xi为跟手距离集合中的跟手距离，为跟手距离集合中的最小值，为跟手距离集合中的最大值。
；
式中，n为高帧相机采集的图像数量，ti为跟手时间集合中的跟手时间，为跟手时间集合中的最小值，为跟手时间集合中的最大值。
可选地，跟手距离和跟手时间的均值用于整体性评价被测触屏设备在拖拽图标场景下的跟手距离与跟手时间的优劣。
根据如下公式计算跟手距离和跟手时间的标准差：
；
式中，xi为跟手距离集合中的跟手距离，为跟手距离的均值。
；
式中，ti为跟手时间集合中的跟手时间，为跟手时间的均值。
可选地，跟手距离和跟手时间的标准差用于评价被测触屏设备在拖拽图标场景下的跟手性稳定情况。
可选地，滑动列表场景、手写输入场景和艺术创作场景也可以使用上述方法计算均值和标准差。
示例性地，如图5和图6所示：
还可以根据跟手距离集合和跟手时间集合绘制跟手距离波形图和跟手时间波形图；
图5中横坐标表示第几次测量，纵坐标为跟手距离，单位为mm；图6中横坐标表示第几次测量，纵坐标为跟手时间，单位为ms。
可选地，通过波形图也可以直观地看出跟手距离与跟手时间的优劣以及跟手性稳定情况。
需要说明的是，本发明并不仅限于使用触笔进行触发点定位，也可以使用其他物体进行触发点定位，例如：辅助性标定块和辅助性标识。
本发明实施例提供了一种触屏设备的非侵入式跟手性检测方法，该方法如下：获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面； 根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间； 获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差。本发明以机器视觉作为核心技术手段，无需侵入触屏设备操作***，适用于各种触屏设备的跟手性检测，并且兼顾了跟手距离和跟手时间两项评价参数，评价方法和结果与实际应用场景的契合度更高，对评价触屏设备跟手性和指导设备研发人员的优化工作具有极高的现实意义。
以下结合图7详细说明本申请实施例提供的可以执行上述触屏设备的非侵入式跟手性检测方法的装置。
示例性地，图7为本发明实施例的一种触屏设备的非侵入式跟手性检测装置的结构示意图；如图7所示，所述跟手性检测装置70包括：
获取模块701，用于获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面；
其中，机械臂用于模拟手指或手写笔在使用触屏设备过程中的滑动操作，待检测触屏设备的屏幕尺寸和位置通过高清定位相机获取，屏幕响应画面通过高帧率相机获取；
计算模块702，用于根据待检测触屏设备的屏幕尺寸和位置、屏幕响应画面和待检测触屏设备的使用场景，计算跟手距离和跟手时间；
其中，待检测触屏设备的使用场景包括如下一项或多项：拖拽图标场景、滑动列表场景、手写输入场景、或艺术创作场景；
分析模块703，用于获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差；
其中，跟手时间波形图、所述跟手距离波形图、均值和方差用于评价跟手性。
可选地，机械臂包括：多个直线电机、音圈电机、伺服电机和触笔夹具；多个直线电机和音圈电机用于驱动触笔滑动，伺服电机用于驱动触笔夹具，触笔夹具用于加持和快速切换测试所用的不同型号触笔。
可选地，计算模块702还用于，计算拖拽图标场景、滑动列表场景、手写输入场景和艺术创作场景下的跟手距离和跟手时间，具体计算步骤可以参考步骤S102，此处不再赘述。
本发明实施例还提供了一种计算机电子设备，图8示出了可以应用本发明实施例的电子设备的结构示意图，如图8所示，该计算机电子设备包括，中央处理模块（CPU）801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储部分808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有***操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块701、计算模块702和分析模块703，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块701还可以被描述为“用于获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面的获取模块701”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述一种触屏设备的非侵入式跟手性检测装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种触屏设备的非侵入式跟手性检测方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种触屏设备的非侵入式跟手性检测方法，其特征在于，包括：
获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面；所述机械臂用于模拟手指或手写笔在使用触屏设备过程中的滑动操作，所述待检测触屏设备的屏幕尺寸和位置通过高清定位相机获取，所述屏幕响应画面通过高帧率相机获取；
根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间； 所述待检测触屏设备的使用场景包括如下一项或多项：拖拽图标场景、滑动列表场景、手写输入场景、或艺术创作场景；
获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差；所述跟手时间波形图、所述跟手距离波形图、所述均值和所述方差用于评价跟手性；
所述机械臂包括多个直线电机、音圈电机、伺服电机和触笔夹具；
其中，所述多个直线电机和所述音圈电机用于驱动触笔滑动，所述伺服电机用于驱动触笔夹具使得测试触笔模拟用户在使用过程中手指或手写笔在不同角度的滑动状态，所述触笔夹具用于加持和快速切换测试所用的不同型号触笔。
2.根据权利要求1所述的触屏设备的非侵入式跟手性检测方法，其特征在于，所述根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间，包括：
若为拖拽图标场景，则根据如下公式计算跟手距离和跟手时间；
；
式中，为跟手距离，（，）为图标所在位置坐标，（，）为触笔所在位置坐标，为标定的像素比例；
；
式中，为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的图标坐标首次到达或越过第i张图像中的触笔所在位置坐标。
3.根据权利要求2所述的触屏设备的非侵入式跟手性检测方法，其特征在于，所述根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间，还包括：
若为滑动列表场景，则根据如下公式计算跟手距离和跟手时间；
；
式中，为跟手距离，（，）为列表内容定位坐标，（，）为触笔所在位置坐标，为标定的像素比例；
；
式中，为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的列表内容定位坐标首次到达或越过第i张图像中的触笔所在位置坐标。
4.根据权利要求3所述的触屏设备的非侵入式跟手性检测方法，其特征在于，所述根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间，还包括：
若为手写输入场景，则根据如下公式计算跟手距离和跟手时间；
；
式中，为跟手距离，（，）为直线前进端的线端坐标，（，）为触笔所在位置坐标，为标定的像素比例；
；
式中，为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的直线前进端的线端坐标首次到达或越过第i张图像中的触笔所在位置坐标。
5.根据权利要求4所述的触屏设备的非侵入式跟手性检测方法，其特征在于，所述根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间，还包括：
若为艺术创作场景，则根据如下公式计算跟手距离和跟手时间；
；
式中，为跟手距离，为标定的像素比例，k为自由曲线端点到触笔终点过程中所述高帧率相机捕获图像数量，（，）为触笔在第a张图像中所在位置坐标，（，）为触笔在第a+1张图像中所在位置坐标；
；
式中，为跟手时间，j为第j张图像的图像索引值，i为第i张图像的图像索引值，为帧率；其中，第i张图像与第j张图像的关系为：第j张图像中的曲线端点坐标首次到达或越过第i张图像中的触笔所在位置坐标。
6.一种触屏设备的非侵入式跟手性检测装置，其特征在于，包括：
获取模块，用于获取待检测触屏设备的屏幕尺寸和位置以及机械臂在触屏设备屏幕滑动过程中的屏幕响应画面；所述机械臂用于模拟手指或手写笔在使用触屏设备过程中的滑动操作，所述待检测触屏设备的屏幕尺寸和位置通过高清定位相机获取，所述屏幕响应画面通过高帧率相机获取；
计算模块，用于根据所述待检测触屏设备的屏幕尺寸和位置、所述屏幕响应画面和所述待检测触屏设备的使用场景，计算跟手距离和跟手时间； 所述待检测触屏设备的使用场景包括如下一项或多项：拖拽图标场景、滑动列表场景、手写输入场景、或艺术创作场景；
分析模块，用于获取多次检测的跟手距离和跟手时间，形成跟手时间波形图和跟手距离波形图，并计算多次跟手距离的均值和方差以及多次跟手时间的均值和方差；所述跟手时间波形图、所述跟手距离波形图、所述均值和所述方差用于评价跟手性；
所述机械臂包括多个直线电机、音圈电机、伺服电机和触笔夹具；
其中，所述多个直线电机和所述音圈电机用于驱动触笔滑动，所述伺服电机用于驱动触笔夹具使得测试触笔模拟用户在使用过程中手指或手写笔在不同角度的滑动状态，所述触笔夹具用于加持和快速切换测试所用的不同型号触笔。
7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211701448.7A CN115657863B (zh) | 2022-12-29 | 2022-12-29 | 一种触屏设备的非侵入式跟手性检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211701448.7A CN115657863B (zh) | 2022-12-29 | 2022-12-29 | 一种触屏设备的非侵入式跟手性检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115657863A CN115657863A (zh) | 2023-01-31 |
| CN115657863B true CN115657863B (zh) | 2023-04-07 |
Family
ID=85023528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211701448.7A Active CN115657863B (zh) | 2022-12-29 | 2022-12-29 | 一种触屏设备的非侵入式跟手性检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115657863B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506413A (zh) * | 2020-12-16 | 2021-03-16 | Oppo广东移动通信有限公司 | 触控点预测方法、装置、终端设备及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202007018940U1 (de) * | 2006-08-15 | 2009-12-10 | N-Trig Ltd. | Bewegungserkennung für einen Digitalisierer |
| CN104317511B (zh) * | 2014-10-14 | 2017-07-21 | 中国联合网络通信集团有限公司 | 屏幕流畅度测试方法及装置 |
| WO2018161471A1 (zh) * | 2017-03-07 | 2018-09-13 | 华为技术有限公司 | 一种跟手性补偿方法、装置及终端设备 |
| CN110806831A (zh) * | 2019-09-30 | 2020-02-18 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
| CN112836603B (zh) * | 2021-01-21 | 2024-04-05 | 南京航空航天大学 | 基于机器人的触屏设备快速探索测试方法 |
| CN113505092A (zh) * | 2021-07-20 | 2021-10-15 | 努比亚技术有限公司 | 一种跟手性优化的方法、装置、移动终端及存储介质 |
-
2022
- 2022-12-29 CN CN202211701448.7A patent/CN115657863B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506413A (zh) * | 2020-12-16 | 2021-03-16 | Oppo广东移动通信有限公司 | 触控点预测方法、装置、终端设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115657863A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102508578B (zh) | 投影定位装置及方法、交互***和交互方法 | |
| US8542207B1 (en) | Pencil eraser gesture and gesture recognition method for touch-enabled user interfaces | |
| CN102385475B (zh) | 电子设备及其交互方法 | |
| US10488918B2 (en) | Analysis of user interface interactions within a virtual reality environment | |
| US20180046351A1 (en) | Controlling display object on display screen | |
| CN107870795B (zh) | 一种电子地图显示的方法及装置 | |
| EP3413179B1 (en) | Rejecting extraneous touch inputs in an electronic presentation system | |
| CN102750035B (zh) | 光标显示位置的确定方法和装置 | |
| CN112862016A (zh) | 点云中物体的标注方法、装置、设备和存储介质 | |
| CN103135896B (zh) | 定位方法和电子设备 | |
| CN115657863B (zh) | 一种触屏设备的非侵入式跟手性检测方法及装置 | |
| JP2009294984A (ja) | 資料データ編集システム及び資料データ編集方法 | |
| CN111141217A (zh) | 物体测量方法、装置、终端设备及计算机存储介质 | |
| CN107656652B (zh) | 滑动操作的速度补偿方法、装置、计算机设备和存储介质 | |
| CN113934323B (zh) | 基于智能黑板的多点显示方法、装置和终端设备 | |
| CN112306346B (zh) | 三角尺作图方法、装置、存储介质及电子白板 | |
| CN110162251B (zh) | 图像缩放方法及装置、存储介质、电子设备 | |
| CN114594899A (zh) | 地图显示的调整方法及装置 | |
| US20170285902A1 (en) | Modifying Settings of an Electronic Test or Measurement Instrument | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN108563335B (zh) | 虚拟现实交互方法、装置、存储介质及电子设备 | |
| CN106527817A (zh) | 触控操作识别方法及装置 | |
| Zhenying et al. | Research on human-computer interaction with laser-pen in projection display | |
| CN113407398B (zh) | 触控屏检测机器人、检测方法、设备及介质 | |
| CN104571817A (zh) | 用于移动gis平台的数据采集方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |