CN105046429A - 基于手机传感器的交互过程中用户思维工作负荷评估方法 - Google Patents

Abstract

本发明公开了一种基于手机传感器的交互过程中用户思维工作负荷评估方法。该方法利用手机的触摸屏点击事件和加速度传感器读数为输入，通过对加速度数据进行分割和特征提取，实现对用户在任务难度、认知负荷、时间负荷三个方面的思维工作负荷高低的评估。该方法能够广泛应用于用户体验调研、应用软件和操作***自适应等场景，有效地改善用户在与智能手机交互过程中的体验。该方法具有侵入性低、用户干扰小、无需额外设备等优势，能够以较小的代价，实现对用户在交互过程中思维工作负荷的实时、准确、全面地评估。

Description

基于手机传感器的交互过程中用户思维工作负荷评估方法

技术领域

本发明涉及一种基于手机传感器的交互过程中用户思维工作负荷评估方法，属于计算机应用领域，针对用户以点击触摸屏为代表的与手机应用交互过程中所感受到的思维工作负荷感知和评估问题，以用户的点击力度和思维工作负荷间的相关性为依据，实现了一种仅依赖手机传感器的、非侵入式的用户思维工作负荷评估方法。

背景技术

随着智能手机的广泛普及和各类应用软件的快速发展，手机用户与智能手机交互所花费的时间以及所消耗的注意力呈快速增长的趋势。应用***在设计、运行时，必须考虑用户在使用时所消耗的注意力，即，用户在与智能手机应用交互过程中所造成的思维工作负荷。交互过程中的用户思维工作负荷，是衡量一个应用的用户体验的重要指标。对于某些应用，如，网页浏览器、聊天工具、触摸屏键盘等，用户在使用时的思维工作负荷越高，则应用的用户体验越差。反之，对于智力游戏等应用，其设计目标就是要求用户在使用的过程中经历较高的思维工作负荷，从而在完成挑战的过程中获得乐趣和收获。因此，深入了解用户的思维工作负荷，对于智能手机应用软件的设计和开发者而言，具有深刻的指导性意义。同时，实时了解用户的思维工作负荷，也能够指导应用软件随时调整策略，来及时满足优化用户体验的目标。

现有的评价用户思维工作负荷的方法多使用被试人员主观评分的方法来进行。此类方法能够真实、直接地反应用户在使用过程中所体验到的思维工作负荷。然而由于需要招募专门的被试人员进行体验，其时效性和可扩展性较差。同时，被试人员的代表性和评估能力也会直接影响评估的结果。除此之外，有些评估方法依赖使用专业的医疗器械，如，皮肤导电率传感器、脑电图、心电图、眼动仪等设备对被试人员的生理信号进行测量，从而评估其思维工作负荷。这种方法具有实时测量、指标量化等优点。然而针对日常生活中大量的智能手机用户而言，使用专业的医疗设备来进行思维工作负荷的评估并不现实。

因此，本发明提出使用智能手机本身所具有的传感器来实现对用户在交互过程中的思维工作负荷的评估方法，具有侵入性低、代价小、实时评估等优点，适合大规模推广应用，具有广阔的应用前景和现实意义。

发明内容

发明目的：为了实现对智能手机用户在与手机应用交互过程中的思维工作负荷评估，同时克服传统方法过渡依赖被试人员和专业医疗设备的不足，本发明公开了一种基于手机传感器的用户思维工作负荷评估方法。该方法不依赖额外的传感器设备，也不需要用户的主动参与和报告，能够以非侵入式、低代价的方式，实现对用户思维工作负荷的实时、准确评估。

在交互过程中，用户所体验到的思维工作负荷受到多个方面的影响，本发明将用户思维工作负荷分为以下三个方面：1)任务难度，即，由于界面交互元素(如，按钮)的大小所造成的用户在点击操作时所需要专注控制手指活动的难度；2)认知压力，即，用户在交互过程中所需要付出的思维努力的程度；3)时间压力，即，用户完成任务时所规定的时间限制的强弱。从以上三点出发，本发明提出用户思维工作负荷与用户在触摸屏上点击力度之间的关系如下：1)当任务难度增加时，用户的点击力度减小；2)当认知压力增加时，用户的点击力度减小；3)当时间压力增加时，用户的点击力度增强。

在以上关系的基础上，本发明提出使用智能手机的触摸屏和加速度传感器来收集用户在交互过程中的点击事件和点击的力度，从而对用户所体验到的思维工作负荷的各个方面来进行评估。

技术方案：一种基于手机传感器的交互过程中用户思维工作负荷评估方法，包括：使用手机自身传感器采集屏幕点击事件和加速度数据，利用屏幕点击事件对加速度数据进行分割以及加速度冲量计算方法，基于滑动窗口的冲量序列分割及特征提取算法，以及基于朴素贝叶斯分类器的评估模型，具体步骤为：

1)监听智能手机触摸屏点击事件，并以200Hz及以上的采样频率连续读取手机内置三轴加速度传感器数据(过滤重力影响)并缓存50ms以内的数据；

2)当触摸屏感知到一次点击事件，记录点击事件的时间t，取时间范围为[t-50ms,t+100ms]内的加速度数据，为分割得到的此次点击事件所对应的加速度数据分片，记为A_t；

3)在上一步所得到的加速度数据分片A_t的基础上，计算点击事件所对应的加速度冲量p_t并缓存；

4)针对缓存得到的n个(n≥2)加速度冲量，计算其平均冲量m_p和方差v_p，构成点击冲量的特征，并通过训练后的评估模型(如，朴素贝叶斯分类器)来评估得到所对应的用户在任务难度、认知负荷、时间负荷三个方面的思维工作负荷高低的评估结果。

其中，步骤1)的具体过程为：

1.1)注册监听手机触摸屏点击事件以及加速度传感器事件，设置加速度传感器采样频率为r(r≥200Hz)

1.2)读取根据所设定的采样频率创建固定大小的在线运行时队列缓存D，缓存D的大小|D|需满足存储50ms的加速度数据的要求，即，|D|＝0.05*r；

1.3)将数据源产生的数据存入D，并按照数据获取时间递增排序，当遇到缓存满的情况，使最旧的数据出队列。

其中，步骤2)的具体过程为：

2.1)当感知到手机触摸屏点击事件时，记录点击事件发生的时刻t；

2.2)创建点击所对应的加速度数据分片A_t＝<a₁,a₂,…,a_T>，其中a_i＝<x_i,y_i,z_i>为在t_i时刻所采集到的x、y、z三轴上的加速度读数，其单位为m/s²。初始时，A_t为空；

2.2)将缓存D中所保存的从t-50ms开始到t时刻的加速度数据顺序复制进入点击所对应的加速度数据分片A_t，等待100ms并将所有从t到t+100ms时间范围内的加速度数据按获取顺序存入A_t。

其中，步骤3)的具体过程为：

3.1)给定t时刻所感知到的手机触摸屏点击事件所对应的加速度数据分片，A_t＝<a₁,a₂,…,a_T>，针对所有a_i∈A_t，计算a_i的绝对值|a_i|＝sqrt(x_i ²+y_i ²+z_i ²)；

3.2)针对所有a_i∈A_t，累加|a_i|得到t时刻点击事件所对应的加速度冲量p_t。

其中，步骤4)的具体过程为：

4.1)设定窗口大小为n(n≥2)，获取n次连续点击所对应的加速度冲量序列P＝<p₁,p₂,…,p_n>；

4.2)计算P中的加速度冲量均值m_p和方差v_p，组成对应的特征向量F＝<m_p,v_p>；

4.3)以F作为输入传输给训练后的评估模型(如，朴素贝叶斯分类器)，评估得到用户在交互过程中所感受到的任务难度、认知负荷、时间负荷三个方面的思维工作负荷高低的评估结果。

附图说明

图1是本发明原理流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

1、硬件环境

1)一个智能手机，搭载触摸屏，能够感知用户的屏幕点击事件；搭载加速度传感器，能够实现以不低于200Hz的频率采样加速度读数的能力；具有不低于1MB的内存；具备500MHz以上主频的CPU。

2、应用场景

在应用本发明所公开的用户思维工作负荷评估方法时，可以以***后台服务程序或应用内嵌模块的形式实现。在实现时，首先要通过操作***所提供的接口，监听触摸屏的点击事件，并以不低于200Hz的频率监听加速度传感器的读数，该加速度传感器的读数应过滤掉重力所带来的影响。用户在正常使用手机应用的过程中，应用本方法的后台服务或应用模块持续监听用户的屏幕点击事件，缓存加速度数据，并根据本方法所公开的步骤，实时评估用户在于应用交互过程中的思维工作负荷。最终的评估结果以任务难度、认知压力和时间压力这三个方面的高负荷或低负荷来呈现。

本发明所涉及技术的典型应用场景包括实现应用的用户体验即时反馈，以及开发以用户体验为驱动的自适应应用程序。按照本发明所实现的评估***的评估结果可以以报告的形式提供给应用开发者，为其改善设计作为依据。该评估结果也可以作用于应用内部的自适应逻辑，通过改变应用界面元素特性(如，按钮大小、界面缩放比例)，或通过改变认知难度和时间限制等方法，来主动适应用户的思维工作负荷，提供最佳的用户体验。若将本发明所公开的技术应用于整个智能手机操作***，则可以对智能手机的各类应用按照所要求的用户思维工作负荷进行打分和排序。在特定情况下，如，开车、学习、工作时，限制部分高思维工作负荷应用的使用，改善智能手机整体的用户体验，减少手机应用对其他更为关键的认知活动的干扰。

3、方法描述

本发明所涉及的针对实时数据流模式识别应用的数据补全方法，其数据处理流程如图1所示。

1)点击对应的加速度分片和加速度冲量计算方法

应用本发明所公开的评估方法的评估***，应首先注册监听智能手机的触摸屏点击事件，并以不低于200Hz的频率监听智能手机的三轴加速度传感器。在评估***初始化时，在智能手机内存中创建能够存储50ms加速度数据的缓存队列D，该缓存的大小为固定大小，根据采样频率r，缓存D的大小计算方法为0.05*r。新采样得到的加速度数据立即存入缓存队列D，当D满时，将最旧的数据出队，将新数据入队。

当感知到触摸屏点击事件时，记录该点击事件的时间t，创建该点击对应的加速度数据分片A_t，其中保存在[t-50ms,t+100ms]时间范围内采样得到的加速度数据。具体方法为，首先创建空分片A_t，后将缓存D中的所有数据拷贝入A_t，其中已包含[t-0ms,t]的所有数据，再等待100ms，将等待期间采样得到的所有加速度数据存入A_t。最后，A_t中保存了t时刻点击事件所涉及的加速度数据，即，A_t＝<a₁,a₂,…,a_T>，其中a_i＝<x_i,y_i,z_i>为在t_i时刻所采集到的x、y、z三轴上的加速度读数，其单位为m/s²。

为了计算t时刻点击事件所对应的点击力度，本发明通过计算其加速度冲量来实现。具体计算方法为：1)针对所有a_i∈A_t，计算a_i的绝对值|a_i|＝sqrt(x_i ²+y_i ²+z_i ²)；2)将所有的|a_i|累加得到t时刻点击事件的加速度冲量p_t，该加速度冲量即作为点击力度的量化表征。

2)多次点击力度特征提取

设定窗口大小为n(n≥2)，获取n次连续点击所对应的加速度冲量序列P＝<p₁,p₂,…,p_n>。计算P中的加速度冲量均值m_p和方差v_p，组成对应的特征向量F＝<m_p,v_p>。该特征向量作为后续评估模型的输入，用于确定用户思维工作负荷的大小。

3)评估模型训练和应用方法

评估模型的作用是根据用户点击力度特征向量F＝<m_p,v_p>来评估用户在任务难度、认知压力和时间压力这三个方面的思维工作负荷的高低。因此，本发明所公开的用户思维工作负荷评估方法中的评估模型其核心是一个分类模型，具体可由朴素贝叶斯等分类模型实现。

评估模型在使用时分训练和应用两个阶段。在训练模型时，需要区分不同任务难度、认知压力和时间压力组成的思维工作负荷情形并设计相应的实验场景收集带标记的实验数据。采集到的实验数据通过上文所描述的步骤处理得到用户点击力度特征向量F＝<m_p,v_p>，并根据实验设置标定特征向量所对应的任务难度、认知压力和时间压力的高低。将带标记的数据作为训练数据对评估模型进行训练。在建模时，针对任务难度、认知压力和时间压力这三个方面，分别训练一个子模型专门用于评估某一方面的思维工作负荷的高低。训练完成后的评估模型即可用于对用户思维工作负荷的评估。

在评估时，根据实时获取的用户点击力度特征向量F＝<m_p,v_p>，将该向量作为评估模型的输入，来评估用户思维工作负荷的高低。具体而言，将实时获取的用户点击力度特征向量分别作为针对任务难度、认知压力和时间压力这三个方面的评估子模型的输入，在分别获取了三方面的思维工作负荷高低后，在合并成为一个完整的评估结果。该结果根据不同的应用场景，可供开发者参考，也可作为智能手机应用软件或操作***自适应的依据。

Claims (5)

1.一种基于手机传感器的交互过程中用户思维工作负荷评估方法，其特征在于，包括：使用手机自身传感器采集屏幕点击事件和加速度数据，利用屏幕点击事件对加速度数据进行分割以及加速度冲量计算方法，基于滑动窗口的冲量序列分割及特征提取算法，以及基于朴素贝叶斯分类器的评估模型。

2.如权利要求1所述的基于手机传感器的交互过程中用户思维工作负荷评估方法，其特征在于，使用手机自身传感器采集屏幕点击事件和加速度数据的具体做法为：监听智能手机触摸屏点击事件，并以预设采样频率r连续读取手机内置三轴加速度传感器数据并缓存预设时间内的数据到在线运行时队列缓存D；并按照数据获取时间递增排序，当遇到缓存D满的情况，使最旧的数据出队列。

3.如权利要求1所述的基于手机传感器的交互过程中用户思维工作负荷评估方法，其特征在于，利用屏幕点击事件对加速度数据进行分割以及加速度冲量计算方法为：当触摸屏感知到一次点击事件，记录点击事件的时间t，取时间范围为[t-50ms,t+100ms]内的加速度数据，为分割得到的此次点击事件所对应的加速度数据分片，记为A_t；A_t＝<a₁,a₂,…,a_T>，其中a_i＝<x_i,y_i,z_i>为在t_i时刻所采集到的x、y、z三轴上的加速度读数，其单位为m/s²；初始时，A_t为空；

在所得到的加速度数据分片A_t的基础上，计算点击事件所对应的加速度冲量p_t并缓存。

4.如权利要求1所述的基于手机传感器的交互过程中用户思维工作负荷评估方法，其特征在于，基于滑动窗口的冲量序列分割及特征提取算法为：

设定窗口大小为n(n≥2)，获取n次连续点击所对应的加速度冲量序列P＝<p₁,p₂,…,p_n>；计算P中的加速度冲量均值m_p和方差v_p，组成对应的特征向量F＝<m_p,v_p>。

5.如权利要求1所述的基于手机传感器的交互过程中用户思维工作负荷评估方法，其特征在于，以F作为输入传输给训练后的评估模型，评估得到用户在交互过程中所感受到的任务难度、认知负荷、时间负荷三个方面的思维工作负荷高低的评估结果。