CN111742540B - 检测模式和行为以避免移动终端掉落事件的方法、移动设备及计算机可读介质 - Google Patents
检测模式和行为以避免移动终端掉落事件的方法、移动设备及计算机可读介质 Download PDFInfo
- Publication number
- CN111742540B CN111742540B CN201980013383.7A CN201980013383A CN111742540B CN 111742540 B CN111742540 B CN 111742540B CN 201980013383 A CN201980013383 A CN 201980013383A CN 111742540 B CN111742540 B CN 111742540B
- Authority
- CN
- China
- Prior art keywords
- user
- drop event
- risk
- mobile terminal
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
Abstract
本发明涉及用于避免移动设备的掉落事件的技术。首先,使用一个或多个传感器从所述移动设备采集传感器数据,以确定用户的模式和/或当前行为;接着,根据所述用户的模式和/或当前行为,确定所述移动设备的潜在掉落事件风险;然后,当确定所述用户的模式和/或当前行为满足阈值风险等级时,向所述移动设备的用户发送指示所述潜在掉落风险的通知。
Description
本申请要求于2018年2月28日提交的序列号为15/907,606、发明名称为“检测模式和行为以避免移动终端掉落事件(Detecting Patterns and Behavior to Prevent aMobile Terminal Drop Event)”的美国非临时专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明通常涉及检测使用模式和用户行为,以避免移动终端掉落事件。
背景技术
精密电子设备越来越普遍。这些电子设备包括笔记本电脑/便携式电脑和个人数字助理 (personal digital assistant,PDA)等计算设备,无线电话和手机等通信设备,以及CD播放器、DVD播放器和MP3播放器等媒体设备。这些和其它电子设备通常包括各种各样的敏感器件。这些电子设备存在一个问题,即是否有能力承受对***的物理撞击。撞击的一个常见原因是无意或有意坠落。便携式设备通常是可携带的,因此常常会掉落。所产生的撞击力可能会损坏设备的敏感部件。
发明内容
根据本发明的一个方面,提供了一种用于避免移动设备的掉落事件的方法。所述方法包括:使用一个或多个传感器从所述移动设备采集传感器数据,以确定用户的模式和当前行为中的至少一个;根据所述用户的模式和当前行为中的至少一个,确定所述移动设备的潜在掉落事件风险;当确定所述用户的模式和当前行为中的至少一个满足阈值风险等级时,向所述移动设备的用户发送指示所述潜在掉落风险的通知。
可选地,在任一上述方面中,所述方法还包括:表征来自所述一个或多个传感器中的每个传感器的传感器数据,以确定所述掉落事件的风险等级;聚合所述传感器数据,以通过机器学习构建行为掉落事件风险模型;将所述用户的模式和当前行为中的至少一个与所述行为掉落事件风险模型进行比较,以确定所述潜在掉落事件风险。
可选地,在任一上述方面中,所述方法还包括:识别用户模式,以生成所述行为掉落事件风险模型,其中,所述模式通过以下方式生成:在所述用户发生所述掉落事件期间,采集所述传感器数据;当在发生所述掉落事件之前检测到所述潜在掉落事件风险时,采集所述传感器数据;将发生掉落事件时的传感器数据与所述潜在掉落事件风险的传感器数据相关联。
可选地,在任一上述方面中,所述方法还包括:根据所述用户模式,构建用户特定行为配置文件。
可选地,在任一上述方面中,所述模式为握持模式,所述构建还包括:确定所述用户对所述移动设备采用的模式;确定所述模式对所述移动设备产生的稳定性;识别每个模式下的潜在掉落事件风险。
可选地,在任一上述方面中,所述方法还包括:识别所述用户握持其它对象;将所述用户对所述移动设备采用的模式与所述用户握持其它对象相结合,以识别所述掉落事件的整体风险。
可选地,在任一上述方面中,所述方法还包括:响应于所述避免掉落事件的通知,向所述用户发送积极反馈,以鼓励学习行为,从而避免未来掉落事件。
可选地,在任一上述方面中,确定所述潜在掉落事件风险包括:分析放置模式、用户握持区域、用户握持力、手机抖动和距离所述移动设备的重力中心的用户握持中心中的至少一个。
可选地,在任一上述方面中,发送所述通知包括视觉通知、听觉通知和振动通知中的至少一个。
根据本发明的一个方面,提供了一种用于避免掉落事件的移动设备。所述移动设备包括:存储指令的非瞬时性存储器;一个或多个传感器,从所述移动设备采集传感器数据,以确定用户的模式和当前行为中的至少一个;与所述存储器通信的一个或多个处理器,所述一个或多个处理器执行所述指令以:根据所述用户的模式和当前行为中的至少一个,确定所述移动设备的潜在掉落事件风险;通知器,当确定所述用户的模式和当前行为中的至少一个满足阈值风险等级时,接收向所述移动设备的用户发送的指示所述潜在掉落风险的通知。
根据本发明的另一个方面,提供了一种存储用于避免移动设备的掉落事件的计算机指令的非瞬时性计算机可读介质。所述计算机指令在由一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:使用一个或多个传感器从所述移动设备采集传感器数据,以确定用户的模式和当前行为中的至少一个;根据所述用户的模式和当前行为中的至少一个,确定所述移动设备的潜在掉落事件风险;当确定所述用户的模式和当前行为中的至少一个满足阈值风险等级时,向所述移动设备的用户发送指示所述潜在掉落风险的通知。
本发明内容简单介绍了一些概念,在具体实施方式中会进一步描述这些概念。本发明内容不旨在提供专利申请所要求保护的主题的关键特征或基本特征,也不旨在确定专利申请所要求保护的主题范围。所要求保护的主题不限于解决背景技术中提到的任何或所有问题的实现方式。
附图说明
本发明的各个方面以示例方式说明,并且不受附图的限制,附图中的相似标号表示元件。
图1示出了根据本发明实施例的示例性移动终端。
图2示出了图1中包括掉落避免检测机制的移动终端的框图。
图3示出了根据本发明实施例的掉落事件避免流程的流程图。
图4示出了根据本发明实施例的用于采集和融合传感器数据的流程图。
图5示出了根据所公开实施例的用户配置文件的示例。
图6A至图6D示出了用户握持移动终端的各种握持模式。
图6E示出了移动终端的示例性放置模式。
图7示出了可以用于实施各种实施例的网络***的框图。
具体实施方式
本发明涉及用于检测使用模式和行为模式以避免用户掉落移动终端的技术。
首先,从位于移动终端中的传感器采集并记录用户的握持模式、放置模式和行为模式。接着,使用从传感器采集到的数据,通过各种机器学习技术来训练一个或多个行为(或掉落) 模型。然后,可以使用从移动终端中的各种传感器(和/或周围环境中的传感器)感测到的当前(“自然(live)”)用户握持模式、放置模式和/或行为模式与掉落模型进行比较。如果当前用户握持模式、放置模式和/或行为模式与掉落模型中的一个或多个匹配,则向移动终端的用户发送指示根据当前握持模式、放置模式和/或行为模式很可能发生掉落事件的通知。如果由于通知而避免了掉落,用户可以养成更好的习惯并学习避免未来掉落事件。
应理解,本发明现有实施例可以通过许多不同的形式实现,而且权利要求的范围不应理解为仅限于本文阐述的实施例。相反,提供这些实施例是为了使本发明完整无缺,并将发明性实施例概念充分传达给本领域技术人员。实际上,本发明旨在涵盖包括在由所附权利要求书限定的本发明公开的范围和精神内的这些实施例的替代物、修改和等同物。另外,在以下本发明实施例的详细描述中,阐述了许多特定细节以便提供透彻理解。然而,所属领域的普通技术人员将清楚,可以在没有这些具体细节的情况下实践本发明实施例。
图1示出了根据本发明实施例的示例性移动终端。移动终端100(或移动设备)可以是数据处理设备,例如,平板电脑、个人数字助理、蜂窝电话、网络装置、摄像机、智能手机、增强型通用分组无线业务(enhanced general packet radio service,EGPRS)手机、网络基站、媒体播放器、GPS设备、电子邮件设备、游戏控制中心、电子相框和数据卡,或者这些数据处理设备或其它数据处理设备中的任意两个或更多。
移动终端100包括显示屏102。显示屏102优选地可以是触敏显示屏,例如,液晶显示屏(liquid crystal display,LCD)、发光二极管(light emitting diode,LED)显示屏、碳纳米管显示屏或其它显示屏。显示屏102可以是对用户触摸和/或接触敏感并集成显示和触摸响应的设备。显示屏102可以包括多点触敏响应功能,其中,多点触敏响应是指显示屏102可以同时处理多个触点,包括处理与每个触点的压力、面积和/或位置相关的数据。这种多点触摸功能有助于多个手指的手势或动作与移动终端100之间进行交互。
移动终端100还可以在显示屏102上显示一个或多个图形用户界面。图形用户界面可以包括一个或多个可选择对象,即显示对象104。显示对象104通过图形图标为用户提供启动功能的输入。可选择对象包括设备功能、应用程序、窗口、文件、告警、事件或其它可识别的***对象,等等。
在一个实施例中,移动终端100可以实现电话设备、电子邮件设备、网络数据通信设备、 Wi-Fi基站设备、媒体处理设备等多种设备的功能。在一个实施例中,可以在用户界面的菜单上显示特定显示对象。当移动终端100的用户选择显示对象时,执行与显示对象相关联的功能。例如,当用户触摸电话对象时,显示屏102的图形用户界面可以呈现与各种电话功能相关的其它显示对象104,例如,表示语音信箱的显示对象。类似地,触摸电子邮件对象可以使图形用户界面能够呈现与各种电子邮件功能相关的显示对象104,触摸网络对象可以使图形用户界面能够呈现与网页浏览功能相关的显示对象104,触摸媒体播放器对象可以使图形用户界面能够呈现与各种媒体处理功能相关的显示对象104,例如,相机(用相机图标表示)或媒体查看器。
除触敏显示屏之外,移动终端100还可以包括使用户能够与设备交互的传感器。例如,移动终端100的外侧可以包括捕获用户手持设备的触敏传感器或压敏传感器,摄像头(前置和后置)可以使该设备能够监控和检测各种手势或运动,指纹传感器可以检测用户访问设备,等等。从下文论述中将会明显看出,任意数量的不同传感器和机制可以内置在移动终端100 中,以协助检测和感测用户动作。
图2示出了图1中包括掉落避免检测机制的移动终端的框图。应理解,移动终端100可以实现为一种设备或装置,例如,手持设备和/或可穿戴设备。例如,这种手持设备可以是手机(例如,蜂窝电话、在本地网络运行的电话、在云端运行的电话或任何其它电话手机)或上述任何设备。
在一个实施例中,移动终端100可以是一种自持式设备,包括显示屏102或扬声器(未示出)等自带的通知器和/或除输入设备224(例如,键盘)之外还包括其它输出设备。然而,在其它实施例中,移动终端100可以与其它便携式设备或台式计算机、电子桌面设备、服务器计算机等非便携式设备一起运行,这些便携式设备或非便携式设备可以通过网络连接等与移动终端100进行通信。例如,该设备能够通过使用任何类型的有线通信协议的有线连接 (例如,串行传输、并行传输、基于分组的数据通信)、无线连接(例如,电磁辐射、红外辐射或其它无线技术),或者一个或多个有线连接和一个或多个无线连接的组合进行通信。
如图所示,示例性移动终端100包括处理器220、主机处理器212、主机存储器214,并且可以包括一个或多个传感器,例如,外部传感器216。主机处理器212可以用于执行与移动终端100的通用功能相关的各种计算和操作。例如,主机处理器212可以通过通信接口(未示出)耦合到处理器220,该通信接口可以是任何合适的总线或接口。在一个实施例中,主机存储器214可以包括利用处理器220提供的信息的程序、驱动程序或其它数据。
在所公开的实施例中,示出了处理器220包括传感器处理器230、内部存储器240和一个或多个内部传感器250。传感器1251至传感器N254等内部传感器250可以包括任何种类的传感器。例如,传感器可以包括但不限于,电容式接近传感器、光接近传感器、加速度计、磁力仪和陀螺仪。在一个实施例中,处理器可以通过包括数据总线、串行数据链路或其它电路的任何电子通信介质耦合到任何一个或多个传感器。
电容接近传感器等接近传感器利用电容感测来检测任何导电或介电性能不同于空气的物体。在一些实施例中,电容接近传感器位于移动终端100的顶部、左下方和右侧。在这方面,电容接近传感器检测移动终端的相对侧的当前电容。检测到的电容指示用户是否握住或握持移动终端100以及方式,等等。检测移动终端100的不同位置上的电容可以指示是否手持移动终端100以及方式。例如,可以是左手或右手(图6B)拿移动终端100,也可以是左右双手(图6C和图6D)拿移动终端100,还可以通过手指、手掌和拇指识别移动终端100。在另一个实施例中,电容式触摸屏幕可以共同用于检测人体或附近其它物体的距离,或者用于检测移动终端100的方位或用户的握持方式。
光接近传感器是另一种可以耦合到移动终端100的传感器。光接近传感器发出(红外) 光并检测反射光,获取反射器对象的距离信息。传感器通常放置在移动终端100的正上方,在使用时最接近用户的头部。例如,当移动终端100与用户相隔一定距离时(例如,在自拍时),传感器检测移动终端100与其它物体的距离。
加速度计也可以位于移动终端100中,并且用于检测移动终端100在至少一个维度上的加速度。可以根据检测到的加速度测量移动终端100的方位。典型的3轴加速度计将提供倾斜度信息和移动终端100的加速度。
磁力仪也可以位于移动终端100中,并且通过铁磁材料等磁性材料的磁化作用来测量磁场,或者在距地球磁芯的特定位置上测量磁场。例如,指南针是一种简单的磁力仪,测量周围磁场的方向。磁场信息可以用来校准设备方位。
陀螺仪是另一种传感器,可以位于移动终端100中并且可以用于测量物体的方位和角速度。例如,使用三轴陀螺仪,可以确定沿三个轴的旋转速率。
在另一个示例中,GPS坐标可以用于通过基于GPS的传感器跟踪移动终端100的运动。可以使用GPS、辅助GPS(Assisted-GPS,A-GPS)等获取坐标。来自GPS传感器的室内信息/室外信息、速度信息和位置信息可以用于确定移动终端100处于运动状态的可能性,运动状态包括在车辆中、在火车上或在过山车上等。
根据需要,一个或多个内部传感器250可以用于提供沿三个正交轴或根据任何等效结构进行测量的原始数据输出。内部存储器240可以存储算法、例程或其它指令以用于处理由一个或多个内部传感器250输出的数据,内部存储器240包括掉落避免检测242和传感器融合 244。
掉落避免检测242检测掉落事件的潜在风险等级并感测何时要发生掉落事件。掉落避免检测242使用一个或多个传感器251至254,例如,加速度计、陀螺仪、惯性传感器、运动传感器、摄像头等。在一个实施例中,掉落避免检测242还检测何时发生过掉落事件。例如,检测掉落事件可以更新或修改行为模型(下文论述),这些行为模型能够对掉落事件的潜在风险等级进行预测性评估并感测何时有可能发生掉落。类似地,检测到掉落事件被避免可以向用户提供通知和指导,以防止未来掉落事件并形成学习习惯。
在另一个示例性实施例中,传感器251至254可以包括捕获图像数据的一个或多个摄像头,图像数据由处理器220分析以根据移动终端100与另一物体的距离(例如,与移动终端撞击或碰撞的物体的距离)、移动终端100的速度、移动终端100的方位变化等检测是否发生潜在掉落事件。
在又一个示例性实施例中,传感器251至254可以包括测量加速度的加速度计,加速度可以由处理器220分析以根据移动终端100的加速度或速度识别潜在掉落事件。
在另一个示例性实施例中,传感器251至254可以包括全球定位***(globalpositioning system,GPS)传感器,该GPS传感器检测移动终端100的定位和位置,以供处理器分析,从而识别掉落事件的潜在风险。应理解,上述实施例是非限制性示例。
可以使用任意数量的不同传感器来检测和识别掉落事件的潜在风险或掉落事件本身。
传感器融合引擎244执行传感器测量结果的实际融合并管理创建和执行,以便整合传感器测量结果和传感器数据。将传感器251至254得到的测量结果发送到融合引擎244,以便协调来自各种传感器的传感器测量结果。数据融合引擎244执行的数据融合方法利用了至少一个随机模型等。下面参考图4对数据融合进行更详细论述。
外部传感器216可以包括一个或多个传感器,例如,加速度计、陀螺仪、磁力计、压力传感器、麦克风、接近传感器和环境光传感器、生物传感器、温度传感器和湿度传感器,等等。虽然本文可以在处理器220中实现的内部传感器的上下文中描述各种实施例,但这些技术同样可以应用于非集成传感器,例如,外部传感器216。
主机处理器212和/或传感器处理器230可以是一个或多个微处理器、中央处理器(central processing unit,CPU)、微控制器或其它处理器,它们运行移动终端100和/或与移动终端100的功能相关的其它应用中的软件程序。例如,可以提供菜单导航软件、游戏、相机功能控制、导航软件、电话等不同软件应用程序,或者各种其它软件和功能接口。
在一些实施例中,可以在移动终端100上设置多个不同的应用程序,而在其它实施例中,多个应用程序可以在移动终端100上同时运行。可以在电子存储器等计算机可读介质或硬盘、光盘、闪存驱动器等其它存储介质上设置多层软件,以与主机处理器212和传感器处理器 230一起使用。例如,可以为移动终端100设置操作***层,以实时控制和管理***资源,实现应用程序软件和其它层的功能,以及使应用程序与移动终端100的其它软件和功能连接。
在其它实施例中,一个或多个运动算法层可以提供运动算法,以对从内部传感器或外部传感器提供的原始传感器数据进行低层处理。此外,传感设备驱动层可以提供软件接口给移动终端100的硬件传感器。这些层中的部分或全部可以设置在主机存储器214中以供主机处理器212访问,设置在内部存储器240中以供传感器处理器230访问,或者设置在任何其它合适的架构(例如,包括分布式架构)中。
图3示出了根据本发明实施例的掉落事件避免流程的流程图。出于论述目的,这些流程由移动终端100执行。然而,应理解,在其它实施例中,传感器、处理器、存储器、掉落检测和传感器融合也可以在远离移动终端100的位置上执行,例如在云端、在另一移动终端中或在另一处理设备中执行。
在302处,移动终端100的用户激活(即打开)设备。在本阶段,移动终端100开始从一个或多个传感器251至254采集数据。
在304处,移动终端100采集传感器数据,此时,各种传感器251至254分别可以用于测量和存储传感器数据。来自一个或多个传感器251至254的传感器数据(或测量数据)可以存储在内部存储器240等存储器中,以永久或临时存储,以及将测量数据提供给传感器融合引擎244以聚合多传感器数据。
由于一个或多个传感器251至254获取测量结果的速率可以与其它一个或多个传感器 251至254的不同,所以测量数据可以存储在存储器中。例如,如果来自一个传感器的测量数据依赖于来自另一个传感器的测量数据,则存储器提供缓冲区以存储测量数据,直到所有测量数据都准备好进行处理。在其它实施例中,测量数据可以由融合引擎244处理,而无需先存储在存储器中。在另一个实施例中,存储在存储器中的测量数据已经由处理器220等进行预处理,并且存储好供进一步分析。这种预处理可以包括对数据进行任何类型的滤波、平均、二次采样、离群值检测和/或加时间戳,以将时间实例与一个或多个测量结果关联起来。
在一个实施例中,当设备具有网络连接时,可以卸载存储在移动终端100的存储器中的测量数据,以在云端等中存储和/或处理。类似地,外部传感器216记录的测量数据可以在远离移动终端100的位置上存储和/或处理,并且在线时传输到移动设备100。在一个实施例中,测量数据包括用户握持移动终端100的握持数据。在这种情况下,如上所述,检测握持方式的传感器可以安装在移动终端100的左侧面和右侧面以及顶面和底面。当用户用手握持移动终端100时,各表面上与移动终端100的用户握持对应的握持传感器可以输出信号,从而移动终端100可以识别用户的握持状态。例如,当用户用左手握持移动终端100时,手掌会触摸到移动终端100的左侧面,手指会触摸到移动终端100的右侧面。相比之下,当用户用右手握持移动终端100时,手掌会触摸到移动终端100的右侧面,手指会触摸到移动终端100的左侧面。
在另一个实施例中,测量数据包括用户行为数据,例如,检测用户环境、位置、时间等。例如,可以跟踪用户以识别与前往办公室相关联的运动。在途中,用户可能会停下来买份报纸,喝杯咖啡,然后搭乘地铁。可以分别跟踪这些位置和运动,还有移动终端100生成的对应测量(运动)数据。然后,使用数据评估用户掉落移动终端100的风险,特别是结合用户的握持,如下文详细描述。此外,这些活动分别生成用户独有的唯一位置、运动和时间数据,因此,可以用于生成用户配置文件,如下文参考图5进行解释。
然而,应理解,内部传感器250和/或外部传感器216可以用于采集任何类型的各种不同形式的数据,并且测量数据不限于用户握持和行为数据。例如,可以检测移动终端100在桌子等另一物体上的放置方式,并且传感器可以采集在该物体上的放置方式的数据。而且,虽然所公开的实施例论述了握持模式和行为数据,但应理解,移动终端100可以使用握持模式或行为数据(相对于组合)来确定掉落事件,如下文进一步解释。
然后,在306处,将从内部传感器250和/或外部传感器216采集到的数据与预定义的掉落模型进行比较,以确定移动终端100的潜在掉落事件风险等级。当从移动终端100采集到的数据与特定掉落模型307匹配(或相似)时,该流程继续到308,向用户发送通知。如果所采集到的数据与特定掉落模型307不匹配(或不相似),则移动终端100在304处继续从内部传感器250和/或外部传感器216采集数据。
掉落模型(或机器学习模型)是一种预测性模型,该模型接收输入并根据接收到的输入和掉落模型的参数值来预测输出。在一个实施例中,掉落模型根据用户从内部传感器250和外部传感器216采集到的当前握持模式和行为数据来预测将会发生掉落事件(例如,潜在掉落事件风险或等级)的可能性。握持模式和行为数据将在下文更详细地解释。在另一个实施例中,掉落模型根据从内部传感器250和外部传感器216采集到的握持模式和行为数据来预测不会发生掉落事件的可能性。
使用训练数据作为输入来训练掉落模型,训练数据可以是之前从一个或多个移动终端用户的内部传感器250和/或外部传感器216采集到的数据。在采集训练数据时,训练数据可以存储在数据储存库或任何其它类型的存储器中并从中检索。
训练数据是期望输出的示例,期望输出是通过模型生成的输出,是已知或者估计得到的。在本发明的上下文中,出于论述目的,训练数据可以是已经从内部传感器250和/或外部传感器216采集到的用户握持和行为数据。在一个实施例中,训练数据可能已经进行了预处理,从而增强和稳定数据。
在采集之前,可以将训练数据分类为用于识别的预定义握持模式类别之一。例如,可以选择任意数量的握持移动终端100的握持模式类别。握持模式类别中的特定握持模式与特定应用相关联,握持模式类别可以包括但不限于接收呼叫、撰写文本消息、使用相机、播放视频和玩视频游戏时的握持模式。类似地,可以将行为数据分类为预定义的行为模式之一。例如,行为模式类别可以包括但不限于跑步、跳上公交车、坐过山车、开车、爬山、做运动等。
在定义握持模式类别和行为模式类别并采集训练数据之后,可以使用任意不同数量的机器学习算法来训练模型。应理解,随着采集数据量的增加(例如,越来越多的移动终端进行数据采集),握持训练数据和行为训练数据将更加准确。当训练数据变得更准确时,由此产生的掉落模型同样也变得更准确。然后,使用采集到的数据通过任何不同形式的机器学习来训练掉落模型。
在一个实施例中,使用从随机选择的用户的移动终端100采集到的传感器数据来训练掉落模型。在另一个实施例中,使用从特定用户的移动终端100采集到的传感器数据来训练掉落模型,训练好的掉落模型将会用于特定用户的移动终端100。在后一种情况下,用户采集到的传感器数据可以用于形成一个唯一或个性化配置文件(用户配置文件)。然后,可以使用用户配置文件中的数据来训练掉落模型和/或与之前训练好的掉落模型进行比较。可以选择与用户配置文件数据匹配(或相似)的之前训练好的模型作为与个性化用户配置文件对应的训练模型。下文参考图5对用户配置文件进行详细论述。
在308处,在所采集到的数据已经与掉落模型匹配(或发现相似)之后,向移动终端100的用户发送通知。这些通知可以是任何形式或形式的组合,包括但不限于声音通知、视觉通知、触觉通知、感官通知等。
在一个实施例中,通知可以通知、提醒或警告移动终端100的用户可能发生或即将发生掉落事件。例如,移动终端100可以发出声音警报,指示掉落事件的潜在可能性。声响报警可以具有与掉落事件即将发生的可能性对应的不同等级,或者可以包括音量随着掉落事件潜在可能性增大或降低而增加或减小的渐进式报警器。在另一个实施例中,通知可以向移动终端100的用户提供反馈。反馈可以向用户指示在发生掉落事件之前或之后,改善握持模式或避免通常导致掉落事件的具体行为的方式。例如,可以在显示屏102上显示消息,该消息指示用户用两只手或在不同方位握持移动终端100。
在310处,当移动终端100(和/或移动终端外部的传感器)由于308处提供的通知而避免了掉落事件时,可选地,可以在312处向用户提供反馈,其中,该反馈包括评论或奖励通知。例如,由于用户握持和/或保持移动终端100的握持以避免掉落事件和/或由于用户进行可能避免掉落事件的行为,移动终端100可以在识别掉落避免时提供反馈。例如,一条消息“不错的握持,请保持!”显示在显示屏102上,或者分配有跟踪用户握持模式和/或行为的“点”。在其它示例中,移动终端100可以输出指示可接受的握持模式或“积极”行为的噪音或振动。例如,以这种方式使用反馈会鼓励养成握持模式和行为的习惯,从而降低未来发生掉落事件的可能性。在一个实施例中,移动终端100外部的组件或设备提供该反馈。例如,外部传感器250可以检测用户的行为并向移动终端100报告这些行为。
在一个实施例中,定期将反馈提供给用户。在另一个实施例中,在预定义事件期间提供反馈,例如,当用户以特定模式(例如,可能导致掉落事件的模式或可能避免掉落事件的模式)握持移动终端100时,或者,当移动终端100检测到运动时,例如,通过加速度计或GPS检测到运动时。
当移动终端100(和/或移动终端外部的传感器)在310处确定无法避免掉落事件(例如,用户掉落移动终端)时,该流程继续到307,其中,在306处将掉落模型与从内部传感器 250和/或外部传感器216采集到的数据(例如,用户的握持模式和行为)进行比较。
在一个实施例中,在311处,可以选择性地向用户提供反馈。与312处的反馈不同,在 310处确定发生掉落事件之后的反馈可以向用户指示各种握持模式和/或“消极”行为导致掉落事件。反馈可能会提供有用的提示或建议,以避免未来掉落事件。例如,反馈可以在移动终端100的显示屏102上提供一条消息:“为了避免掉落,建议用双手握持移动设备,避免携带其它物体”。
在一个实施例中,可以在一段时间内跟踪反馈(在311或312处)。跟踪的反馈可以显示或说明用户习惯。例如,反馈可以捕获用户在准备早餐时想要读取文本消息的习惯,或者用户看电视与下午慢跑时发生的掉落事件的百分比。
图4示出了根据本发明实施例的用于采集和融合传感器数据的流程图。如上所述,内部传感器250和/或外部传感器216从一个或多个传感器采集数据。虽然传感器可以采集任意数量的不同类型的数据,但出于以下论述目的,用户握持模式和行为数据由传感器采集为传感器数据402(1)至402(N)。
在一个示例性实施例中,从移动终端100采集传感器数据401(1)至401(N),以确定用户在携带设备时执行一个或多个活动时的行为。例如,这样的一个或多个活动包括但不限于,拍照、玩电子游戏、走路、跑步、慢跑、骑自行车、划船、开车、乘公交车、乘火车、走楼梯、跑楼梯、跳跃、游泳、踢足球、滑雪。
可以使用位置、运动和/或时间等至少三个可能变量来跟踪移动终端100,但可以包括其它变量。运动活动可以包括振动模式、加速度模式、一些运动的速度和频率。示例性运动传感器包括用户移动终端的加速度计、陀螺仪、指南针、高度表、Wi-Fi信号强度变化、GPS 读数变化、气压传感器、温度传感器、麦克风传感器、环境光传感器、蓝牙芯片、NFC传感器、接近传感器、RGB颜色传感器、图像传感器、湿度传感器、蜂窝塔信号、生物识别传感器、指纹传感器、生物传感器。其它可能的运动传感器包括感测位置、运动、亮度、温度、环境声音、Wi-Fi、蓝牙等的变化,以及从移动终端100外部的传感器采集到的数据。
可以跟踪的运动模式的示例包括移动终端用户正常行走的速度和步调。移动终端用户正常行走的速度和步调是一个独特的信号,可以通过加速度计、陀螺仪和/或GPS识别。另一种运动模式包括移动设备在人们行走或跑步时在手上、手臂上、口袋里、手提包或钱包中的“弹跳”或“晃动”。某人伸手去摸口袋(或钱包或公文包)里的移动终端并将设备移动到耳朵时的运动(以及他们手持移动终端的角度)是一种独特的模式,可以通过加速度计和陀螺仪识别。
其它实施例包括识别某人使用的交通方式,以及交通模式(一天中的时间、一周中的日期、时长)以及之前和之后正在做什么。某人执行上述活动的一天中的时间、一周中的日期和时长可以用来帮助确定和学习一段时间内的用户行为模式,以及活动可能产生的动作。
用户的空间信息(例如,经度、纬度、海拔)可以由全球定位***(globalpositioning system,GPS)等基于位置的传感器和/或由移动终端100的蜂窝网络和/或Wi-Fi网络确定的位置等基于网络的位置来确定。根据空间信息,移动终端100的处理器(例如,传感器处理器230)可以确定用户的位置。
在一个实施例中,由摄像头生成的图像和/或由移动终端100的麦克风接收到的音频信号可以用于提供其它用户行为数据。例如,移动终端100的摄像头(或远程放置在设备某个位置上的摄像头)采集的图像可以用于提供其它用户行为数据。例如,摄像头可以捕获高速公路上靠近用户位置的标志的图像,这些图像可以用于确定用户的行为。这种数据可以与加速度计数据或其它传感器数据等结合,以就用户的确切行为做出明智决策。类似地,移动终端100可以捕获麦克风感测到的音频信号,这些音频信号可以用于提供其它行为数据。例如,用户所在位置的背景的嘈杂噪音和安静噪音可以用于帮助用户判断用户是否正在进行相对无风险的行为(由于噪音很小,结合GPS位置,正在图书馆学习)或进行危险行为(例如,背景噪音嘈杂,以及确认为与某支运动队有关的字眼)。
在其它些实施例中,行为数据可以通过移动终端100的指南针等从采集与用户方向相关的数据的传感器中识别。而且,可以通过移动终端100的陀螺仪等来确定用户的方位。其它传感器可以提供环境温度信息。例如,移动终端100的温度计可以提供当前环境的温度,以确定用户是否或曾经在室外或室内。在其它实施例中,用户暴露在环境光下的情况可以通过移动终端100的光传感器等来确定。例如,红外辐射(infrared radiation,IR)的感测级别可以用于判断移动终端100是在用户口袋里还是在阳光直射下。其它示例性实施例通过采集用户输入数据提供行为数据,输入数据可以上从键盘或触摸屏幕等输入设备接收到的信息等。根据用户提供的输入,可以推断行为数据,因此,可以就用户的位置、时间、环境、活动等进行有根据的推测。例如,如果用户正在输入信息,则用户可能不在开车。如果用户正在说话,则用户可能不在电影院。
在另一个示例性实施例中,从移动终端100采集传感器数据401(1)至401(N),以确定用户在手持设备时的握力或握持模式。使用任意数量的不同内部传感器250来感测用户对移动终端100的握力,以识别握持模式。传感器处理器230可以通过处理至少一个传感器250接收到的数据来确定握持状态或未握持状态、握持模式和握持时间段中的一个。此时,握持状态/未握持状态表示用户是否正在握持移动终端100,握持模式表示用户握持移动终端 100的模式。握持时间段表示用户握持移动终端100的时间段。
在一个示例性实施例中,移动终端100上设置的用于判断用户是否正在握持设备的传感器可以包括触摸传感器或压力传感器。触摸传感器和压力传感器可以检测手持或握持设备的用户何时接触移动终端100,从而使得传感器处理器230能够识别与设备的特定握力相关的握持模式。
触摸传感器可以设置在移动终端100的至少一侧,例如外侧,以便在用户手持或握持移动终端100时检测用户的触摸。类似地,可以设置压力传感器来检测施加到设备的压力。压力传感器可以与触摸传感器一样,设置在移动终端100的至少一侧。在其它实施例中,触摸传感器和压力传感器可以设置在移动终端100的预定区域内,这样很容易检测到用户的握力。例如,移动终端100的各侧可以形成握持区域,触摸传感器和压力传感器设置在其中,这样很容易检测到用户的握力。其它区域可以包括设备的显示屏或屏幕的全部或部分、设备的背面等。
在一个实施例中,除内部传感器250之外,传感器可以放置在移动终端100所在(或未来所在)的周围环境中。传感器可以用于替代位于移动终端100中的传感器,或者补充移动终端100中的传感器,例如,上述外部传感器216。可穿戴传感器等传感器可以远离移动终端100,并通过NFC、BacNet、ANT+、蓝牙、所有IEEE 802.15或其它已知技术与设备进行通信。除从内部传感器250采集到的数据之外,还可以采集外部机器振动、声学、热学和其它诊断数据。
下文将参考图6A至图6D进一步论述示例性握持模式。
当从各个传感器采集到传感器数据402(1)至402(N)时,分别分析这些数据以确定掉落事件风险(或风险等级)404(1)至404(N)。移动终端100能够根据所采集到的传感器数据402(1)至402(N)可靠地检测和预测掉落事件,这些传感器数据包括移动终端 100用户的握持模式和行为数据中的至少一个。在一个实施例中,移动终端100确定由于分析和后续发送给用户的通知已避免掉落事件。在另一个实施例中,尽管向用户发送了通知,移动终端100仍检测到发生了掉落事件。
在一个实施例中,可以由移动终端100分析传感器数据402(1)至402(N),或者,在另一个实施例中,可以将传感器数据402(1)至402(N)卸载到其它设备,例如,云端中的另一移动终端或服务器。出于论述目的,在本文所提供的示例中,除非另有说明,否则由移动终端100进行分析。
为了检测和预测移动终端100的潜在掉落事件风险,传感器处理器230接收传感器数据 402(1)至402(N),以便与对应类型或类别(分类)的数据的预定义值(或值范围)进行比较。例如,因为检测加速度的传感器采集的是加速度测量结果,所以这些传感器可以归类为“加速度数据”。可以将采集到的加速度数据与预定义的加速度值进行比较,以确定移动终端100的状态。例如,加速度数据可以存储在一个表中,表中的值范围对应于速度,速度范围对应于风险等级和要发生掉落事件的可能性。下文表1示出了这种示例。应理解,值、风险等级和掉落事件的可能性是一个非限制性示例。
表1
速度范围(单位:英里/小时) | 风险等级 | 掉落事件的可能性 |
0~2 | 低 | 2% |
3~5 | 中等 | 4% |
6~10 | 高 | 10% |
11~50 | 非常高 | 25% |
>50 | 极高 | 75% |
在另一个示例中,因为检测握力的传感器采集的是握持测量结果,所以这些传感器可以归类为“握持数据”。可以将采集到的握持数据与预定义握持模式进行比较,以确定用户握持移动终端100的稳定性。例如,预定义的握持模式(参考以下图6A至图6D进行示例性描述)可以存储在一个表中,表中的不同握持模式对应于不同的风险等级和发生掉落事件的可能性。下文表2示出了一个示例。应理解,握持模式、风险等级和掉落事件的可能性是一个非限制性示例。
在另一个实施例中,移动终端100可选地可以识别用户是否也正在手持或握持其它或额外物体。手持或握持其它物体可能会影响用户的握持模式和/或握持的稳定性,从而增加或降低掉落事件的可能性和对应的风险等级。例如,如果移动终端100确认用户正在手持与移动终端100的外壳相连的腕带,则掉落事件的可能性(和掉落事件发生的风险等级)可能会降低。然而,如果移动终端100检测到用户的同一只手拿着移动终端100和手提包,则掉落事件的可能性(和掉落事件发生的风险等级)会增加。可以使用执行上述握持和行为检测的相同传感器等来检测用户手上的这些其它或额外物体的识别。
在上述示例中,预定义数据以表格式存储。然而,应理解,数据可以按技术人员容易理解的任何数量的不同格式存储。此外,可以采用任意数量的不同传感器来采集传感器数据。每种采集到的传感器数据可以与将发生掉落事件的风险等级以及关联掉落事件的可能性的百分比相关联。
一旦确定了传感器数据402(1)至402(N)中的每个传感器数据对应的掉落事件风险,可以在406处融合或聚合集体数据。传感器融合引擎244(图2)对传感器数据402(1)至402(N)进行实际融合。例如,数据融合引擎244可以采用随机模型来执行数据融合。不同的随机模型可以用于执行数据融合,包括隐马尔可夫模型(Hidden Markov Model, HMM)、贝叶斯网络和神经网络。
在数据融合引擎244进行操作之前,训练数据融合引擎244以建立HMM的参数。一种用于训练HMM以建立HMM的参数的方法的一个示例在L.Rabiner于1989年2月发表在 IEEE会刊第77卷第2期上的《A Tutorial on Hidden Markov Models and SelectedApplications in Speech Recognition》中进行了描述。一旦训练完成,可以使用数据融合引擎242来接收传感器数据402(1)至402(N)并执行数据融合。因此,在406处,数据融合引擎244从一个或多个内部数据传感器250和/或外部数据传感器216接收传感器数据402(1)至402 (N),融合数据,并根据需要在操作期间更新模型的参数。
在408处,移动终端100根据上述流程识别对应于融合数据的掉落模型。
图5示出了根据所公开实施例的用户配置文件的一个示例。从移动终端100的内部传感器250和/或外部传感器216采集到的数据(如上文参考图3和图4所述)可以用于生成用户配置文件502。
如上所述,移动终端100的内部传感器250和外部传感器216可以用于检测和监控用户执行的运动或活动。这些运动可以包括用户在操作期间手持移动终端100的方位和/或角度,等等。例如,特定用户通常可以水平、横向手持移动终端100,显示屏相对于地面倾斜45 度角。这些行为,特别是在连续展示时,可以存储并与属于特定用户的用户配置文件502相关联。因此,当识别到类似行为时,移动终端能够将设备的特定用户与识别到的行为模式关联起来,并且更容易识别与个人用户相关的掉落模型。
协助生成用户配置文件502的其它行为的示例包括但不限于,检测和监控手指大小、手指压力、滑动速度、设备运动、手势边界等。例如,可以监控移动终端100中采用的指纹传感器以获取行为数据。压力、压力中心、用户手指位置和用户使用指纹传感器时手指的相对运动中的任意一个或多个可以指示特定用户很可能发生或避免掉落事件。例如,如果特定用户在使用指纹传感器时总是施加很大压力但不造成掉落事件,则这种行为可以存储在用户的配置文件中,并且可以是指示特定用户发生掉落事件的可能性的可识别模式(在这种情况下,风险等级会更低)。
再例如,如果特定用户总是从左上方到右下方在指纹传感器上滑动手指,则这种行为可以存储在用户的配置文件中,并且可以是指示特定用户发生掉落事件的风险等级的可识别模式。在另一个示例中,如果特定用户在指纹传感器上滑动手指时,始终以相对于地面45度角手持移动终端100,则这种行为可以存储在用户的配置文件中,并且可以是指示特定用户的可识别模式。
在又一个示例中,特定用户对加速度事件的反应可以存储在用户的配置文件中,并且可以是指示特定用户发生掉落事件的风险等级的可识别模式。例如,如果特定用户在加速度事件发生时表现出用两只手握持移动终端100的行为,则发生掉落事件的风险等级会降低。同理,如果特定用户在加速度事件发生时表现出乱摸移动终端100的行为,则发生掉落事件的风险等级会增加。
应理解,可以监控和存储任意不同数量和类型的传感器数据作为用户配置文件,而且上文提供的示例是非限制性的。
图6A至图6D示出了用户握持移动终端的各种握持模式。当移动终端100确定感测到握力时,检测用户手持移动终端100的握持模式。
图6A示出了用户使用不同握持模式触摸移动终端100的显示屏幕的三种场景。例如,握持模式602A示出了用户用一只手握持移动终端100(发生在49%的用户之中),握持模式 602B示出了用户以抱的方式握持移动终端100(发生在36%的用户之中),握持模式602C示出了用户用两只手握持移动终端100(发生在15%的用户之中)。如上所述,不同的握持模式会产生不同的掉落事件风险等级。
参考图6B,当用户用右手拿(握持)移动终端100时,形成握持模式。当用户用右手握持移动终端100时,用户的拇指接触到移动终端100的显示屏,用户的中指、无名指、食指和小指接触到移动终端100的左外侧,从而可以根据用户的接触手指确定握持模式。如图所示,握持模式604A中的接触手指位置与握持模式604A中的接触手指位置略有不同。根据获取到的传感器数据,例如,传感器数据402(1)至402(N),用户接触手指的不同位置可能产生不同的掉落事件风险等级。在一个实施例中,移动终端100的传感器可以感测到的与用户的手掌和/或手腕的任何接触也可以确定用户的握持模式,并影响所产生的掉落事件风险等级。
图6C和6D示出了用户对移动终端的握持模式的其它实施例。参考图6C,当用户用右手拿(握持)移动终端100,并且用左手托住移动终端100时,形成握持模式606A。当用户用右手握持移动终端100时,用户的拇指接触到移动终端100的显示屏,用户的中指、无名指、食指和小指接触到移动终端100的左外侧,从而可以根据用户的接触手指确定握持模式。如图所示,握持模式606B与握持模式606A的不同之处在于,用户的右手不再握持移动终端100。相反,用户的左手握持移动终端100,而用户的右手食指接触到显示屏幕。与上述示例类似,根据获取到的传感器数据,例如,传感器数据402(1)至402(N),不同的握持模式606A和606B可能产生不同的掉落事件风险等级。
转到图6D,当用户用左右接触手指拿(握持)移动终端100时,形成握持模式608A。如图所示,用户的大拇指接触到移动终端100的显示屏,用户的中指、无名指、食指和小指接触到移动终端100的左后侧和右后侧,从而形成握持模式。如图所示,握持模式608B与握持模式606A的不同之处在于,移动终端100的方位是水平旋转而不是垂直旋转。与上述示例类似,根据获取到的传感器数据,例如,传感器数据402(1)至402(N),不同握持模式608A和608B(在这种情况下,由于移动终端方位)可能产生不同的掉落事件风险等级。
图6E示出了移动终端的示例性放置模式。在上述实施例中,已经参考用户对移动终端 100的握力对模式进行了描述。然而,传感器(内部传感器250和/或外部传感器216)还可以检测移动终端100的放置模式。例如,在所描绘的实施例中,移动终端放置在桌子或台面 602的边缘上。可以使用上述传感器250和/或216中的任一个来检测移动终端100在桌子或台面602等对象上的放置方式。任一数量的其它传感器,例如,超声波传感器、红外(infrared,IR)传感器、RGB摄像头、可探测深度(time of flight,TOF)摄像头、结构光模块传感器、光探测和测距(light detection and ranging,LIDAR)传感器等,还可以用于确定周围物体或结构以及移动终端100在周围物体或结构上的放置方式。
与上述可以检测到潜在掉落事件并通知用户这种掉落事件的潜在可能性或风险等级的流程类似,移动终端100在物体上的放置方式也会增加潜在掉落事件发生的风险等级。因此,当检测到指示掉落事件可能性的放置模式时,将通知用户可能发生掉落事件,以试图避免这种掉落事件。例如,移动终端100上的摄像头通过生成灰度或RGB彩色图像来分析周围区域。然后,可以对所捕获的灰度或彩色图像执行图像处理,以确定移动终端100在物体上的的位置和方位,以及判断移动终端100是否不受掉落事件的影响。如果处理后的传感器数据指示很可能发生掉落事件,将会向用户发送通知,类似于上述流程。通知可以通过上述任何技术发送给用户,包括响起警报或灯光闪烁。在另一个实施例中,向同一用户佩戴的手表等另一用户设备发送通知。
应理解,放置模式的检测不限于桌子或台面602,并且移动终端100所在的任何其它表面,例如,汽车底座、自行车底座、床头柜等,也可以由传感器识别。
图7是可以用于实施各种实施例的网络设备的框图。特定网络设备可以利用所有所示的组件或组件的一个子集,且设备之间的集成程度可能不同。此外,网络设备700可以包含组件的多个实例,例如,多个处理单元、处理器、存储器、发射器、接收器等。网络设备700 可以包括配备有网络接口、存储接口等一个或多个输入/输出设备的处理单元701。处理单元 701可以包括连接到总线770的中央处理器(central processing unit,CPU)710、存储器720、大容量存储设备730和I/O接口760。总线770可以是任何类型的几种总线架构中的一种或多种,包括内存总线或内存控制器、外设总线等。
CPU 710可以包括任何类型的电子数据处理器。存储器720可以包括任何类型的***存储器,例如,静态随机存取存储器(static random access memory,SRAM)、动态随机存取存储器(dynamic random access memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、只读存储器(read-only memory,ROM)或其组合等。在一个实施例中,存储器 720可以包括在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。在实施例中,存储器720是非瞬时性存储器。在一个实施例中,存储器720包括:采集模块 721A,使用一个或多个传感器从移动设备采集传感器数据,以确定用户的握持模式和当前行为;确定模块721B,根据用户的握持模式和当前行为,确定移动设备的潜在掉落事件风险;发送模块721C,当确定用户的握持模式和当前行为满足阈值风险等级时,向移动设备的用户发送指示潜在掉落风险的通知;表征模块721D,表征来自一个或多个传感器中的每个传感器的传感器数据,以确定掉落事件的风险等级;聚合模块721E,聚合传感器数据,以通过机器学习构建行为掉落事件风险模型;比较模块721F,将用户的握持模式和当前行为与行为掉落事件风险模型进行比较,以确定潜在掉落事件风险。
大容量存储设备730可以包括任何类型的存储设备,用于存储数据、程序和其它信息,并使这些数据、程序和其它信息可通过总线770访问。大容量存储设备730可以包括固态驱动器、硬盘驱动器、磁盘驱动器或光盘驱动器等中的一种或多种,等等。
处理单元701还包括一个或多个网络接口750,一个或多个网络接口750可以包括以太网线等有线链路和/或连接到接入节点或一个或多个网络780的无线链路。网络接口750允许处理单元701通过网络780与远程单元进行通信。例如,网络接口750可以通过一个或多个发射器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一个实施例中,处理单元701耦合到局域网或广域网,以进行数据处理并与其它处理单元、互联网、远程存储设施等远程设备进行通信。
应理解,本发明主题可以通过许多不同的形式实现,并且不应理解为限于本文所述的实施例。相反,提供这些实施例是为了使本主题完整无缺,并将本发明充分传达给本领域技术人员。实际上,本发明主题旨在涵盖包括在由所附权利要求书限定的本发明主题的范围和精神内的这些实施例的替代物、修改和等同物。另外,在以下本发明主题的详细描述中,阐述了许多具体细节以便提供对本主题的透彻理解。然而,所属领域的普通技术人员将清楚,可以在没有这些具体细节的情况下实践本发明主题。
本文结合根据本发明实施例的方法、装置(***)和计算机程序产品的流程图说明和/ 或方框图来描述本发明的各方面。应当理解,流程图说明和/或方框图中的每个方块以及流程图说明和/或方框图中的方块的组合可以通过计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器,使得所述指令通过所述计算机或其它可编程指令执行装置的处理器执行,创建用于实现流程图和/或方框图或块中指定的功能/动作的机制。
非瞬时性计算机可读介质包括磁性存储介质、光存储介质和固态存储介质等各种类型的计算机可读介质,但具体不包括信号。应理解,软件可以安装在设备上并且随该设备一同出售。或者,可以获取软件并加载到设备中,包括通过光盘介质或以网络或分发***的任何方式获取软件,例如,包括从软件开发者所有的服务器或从非软件开发者所有但为其所用的服务器获取软件。例如,软件可以存储在服务器上,以通过互联网分发。
文中所用的术语仅仅是出于描述特定方面的目的,而非旨在限制本发明。除非上下文中另有明确说明,此处使用的单数形式“一个”和“所述”包括复数含义。应进一步了解,术语“包括”和/或“包含”用于说明存在所述特征、整体、步骤、操作、元件和/或部件,但并不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。
本发明的描述仅作为说明和描述目的而呈现,并非旨在详尽无遗或以任何所公开的形式限制本发明。在不脱离本发明的范围和精神的情况下,本领域技术人员可以清楚理解许多修改和变化。选择和描述本发明的各个方面以便更好地解释本发明的原理和实际应用,并且使本领域普通技术人员能够理解本发明和适合预期特定用途的各种修改。
出于本文档的目的,与所公开的技术相关联的每个过程可以连续执行并由一个或多个计算设备执行。过程中的每个步骤均可以由与在其它步骤中使用的相同或不同的计算设备执行,并且每个步骤不一定由单个计算设备执行。
虽然已经以结构特征和/或方法动作特定的语言描述了本发明主题,但是应理解,权利要求书中定义的主题不必局限于上文描述的具体特征或动作。相反,公开上述具体特征和行为作为实现权利要求的示例性形式。
Claims (13)
1.一种用于避免移动设备的掉落事件的方法,其特征在于,所述方法包括:
使用一个或多个传感器从所述移动设备采集传感器数据,以确定用户的握持模式和当前行为;用于确定所述当前行为的传感器数据包括:用户环境、位置、时间和运动中的至少一种;
根据所述用户的握持模式和当前行为,确定所述移动设备的潜在掉落事件风险;
当确定所述用户的握持模式和当前行为满足阈值风险等级时,向所述移动设备的用户发送指示所述潜在掉落事件风险的通知,
所述方法还包括:
表征来自所述一个或多个传感器中的每个传感器的传感器数据,以确定所述掉落事件的风险等级;
聚合所述传感器数据,以通过机器学习构建行为掉落事件风险模型;
将所述用户的握持模式和当前行为与所述行为掉落事件风险模型进行比较,以确定所述潜在掉落事件风险;
识别用户的握持模式,以生成所述行为掉落事件风险模型,其中,所述握持模式通过以下方式生成:
在所述用户发生所述掉落事件期间,采集所述传感器数据;
当在发生所述掉落事件之前检测到所述潜在掉落事件风险时,采集所述传感器数据;
将发生掉落事件时的传感器数据与所述潜在掉落事件风险的传感器数据相关联。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述用户的握持模式,构建用户特定行为配置文件。
3.根据权利要求2所述的方法,其特征在于,所述构建还包括:
确定所述用户对所述移动设备采用的握持模式;
确定所述握持模式对所述移动设备产生的稳定性;
识别每个握持模式下的潜在掉落事件风险。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
识别所述用户握持其它物体;
将所述用户对所述移动设备采用的握持模式与用户握持其它物体相结合,以识别所述掉落事件的整体风险。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:响应于所述潜在掉落事件风险的通知,向所述用户发送积极反馈,以鼓励学习行为,从而避免未来掉落事件。
6.根据权利要求1所述的方法,其特征在于,确定所述潜在掉落事件风险包括:分析用户握持区域、用户握持力、手机抖动和距离所述移动设备的重力中心的用户握持中心中的至少一个。
7.根据权利要求1所述的方法,其特征在于,发送所述通知包括视觉通知、听觉通知和振动通知中的至少一个。
8.一种用于避免掉落事件的移动设备,其特征在于,所述移动设备包括:
存储指令的非瞬时性存储器;
一个或多个传感器,从所述移动设备采集传感器数据,以确定用户的握持模式和当前行为;用于确定所述当前行为的传感器数据包括:用户环境、位置、时间和运动中的至少一种;
与所述存储器通信的一个或多个处理器,所述一个或多个处理器执行所述指令以:根据所述用户的握持模式和当前行为,确定所述移动设备的潜在掉落事件风险;
通知器,当确定所述用户的握持模式和当前行为满足阈值风险等级时,接收向所述移动设备的用户发送的指示所述潜在掉落事件风险的通知,
所述一个或多个处理器还执行所述指令以:
表征来自所述一个或多个传感器中的每个传感器的传感器数据,以确定所述掉落事件的风险等级;
聚合所述传感器数据,以通过机器学习构建行为掉落事件风险模型;
将所述用户的握持模式和当前行为与所述行为掉落事件风险模型进行比较,以确定所述潜在掉落事件风险,
识别用户的握持模式,以生成所述行为掉落事件风险模型,其中,所述握持模式通过以下方式生成:
在所述用户的掉落事件期间,采集所述传感器数据;
当在发生所述掉落事件之前检测到所述潜在掉落事件风险时,采集所述传感器数据;
当发生掉落事件时,将所述传感器数据与所述潜在掉落事件风险的传感器数据相关联。
9.根据权利要求8所述的移动设备,其特征在于,所述一个或多个处理器还执行所述指令以:根据所述用户的握持模式,构建用户特定行为配置文件。
10.根据权利要求9所述的移动设备,其特征在于,所述构建还包括:
确定所述用户对所述移动设备采用的握持模式;
确定所述握持模式对所述移动设备产生的稳定性;
识别每个握持模式下的潜在掉落事件风险。
11.根据权利要求10所述的移动设备,其特征在于,所述一个或多个处理器还执行所述指令以:
识别所述用户握持其它对象;
将所述用户对所述移动设备采用的握持模式与所述用户握持其它对象相结合,以识别所述掉落事件的整体风险。
12.根据权利要求8所述的移动设备,其特征在于,所述一个或多个处理器还执行所述指令以:响应于所述潜在掉落事件风险的通知,向所述用户发送积极反馈,以鼓励学习行为,从而避免未来掉落事件。
13.一种存储用于避免移动设备的掉落事件的计算机指令的非瞬时性计算机可读介质,其特征在于,所述计算机指令在由一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
使用一个或多个传感器从所述移动设备采集传感器数据,以确定用户的握持模式和当前行为中的至少一个;用于确定所述当前行为的传感器数据包括:用户环境、位置、时间和运动中的至少一种;
根据所述用户的握持模式和当前行为,确定所述移动设备的潜在掉落事件风险;
当确定所述用户的握持模式和当前行为满足阈值风险等级时,向所述移动设备的用户发送指示所述潜在掉落事件风险的通知;
表征来自所述一个或多个传感器中的每个传感器的传感器数据,以确定所述掉落事件的风险等级;
聚合所述传感器数据,以通过机器学习构建行为掉落事件风险模型;
将所述用户的握持模式和当前行为与所述行为掉落事件风险模型进行比较,以确定所述潜在掉落事件风险;
识别用户的握持模式,以生成所述行为掉落事件风险模型,其中,所述握持模式通过以下方式生成:
在所述用户的掉落事件期间,采集所述传感器数据;
当在发生所述掉落事件之前检测到所述潜在掉落事件风险时,采集所述传感器数据;
当发生掉落事件时,将所述传感器数据与所述潜在掉落事件风险的传感器数据相关联。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/907,606 US10721347B2 (en) | 2018-02-28 | 2018-02-28 | Detecting patterns and behavior to prevent a mobile terminal drop event |
US15/907,606 | 2018-02-28 | ||
PCT/CN2019/075513 WO2019165911A1 (en) | 2018-02-28 | 2019-02-20 | Detecting patterns and behavior to prevent a mobile terminal drop event |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111742540A CN111742540A (zh) | 2020-10-02 |
CN111742540B true CN111742540B (zh) | 2021-09-14 |
Family
ID=67684798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980013383.7A Active CN111742540B (zh) | 2018-02-28 | 2019-02-20 | 检测模式和行为以避免移动终端掉落事件的方法、移动设备及计算机可读介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10721347B2 (zh) |
EP (1) | EP3732871B1 (zh) |
CN (1) | CN111742540B (zh) |
WO (1) | WO2019165911A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11489958B2 (en) * | 2018-05-02 | 2022-11-01 | Telefonaktiebolaget Lm Ericsson (Publ) | User equipment, method by a user equipment, and network node for generating a grip pattern notification through a user interface based on radio characteristics |
KR20190102140A (ko) * | 2019-07-15 | 2019-09-03 | 엘지전자 주식회사 | 자가진단을 수행하는 인공 지능 장치 및 그 방법 |
US11521434B2 (en) * | 2020-07-27 | 2022-12-06 | Ford Global Technologies, Llc | Antenna detuning prevention for phone-as-a-key vehicle system |
US11913894B2 (en) * | 2020-12-08 | 2024-02-27 | Kyndryl, Inc. | Dynamic surface profile change in device for better gripping |
CN113762248B (zh) * | 2021-01-20 | 2024-05-24 | 北京京东振世信息技术有限公司 | 一种目标落地检测方法、装置、电子设备和存储介质 |
US12028224B1 (en) | 2023-02-17 | 2024-07-02 | International Business Machines Corporation | Converting an architecture document to infrastructure as code |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008067160A (ja) * | 2006-09-08 | 2008-03-21 | Nec Saitama Ltd | 携帯端末及び携帯端末の保護方法 |
US20110244798A1 (en) * | 2010-02-24 | 2011-10-06 | Wherepro, Llc | Data Packet Generator and Implementations of Same |
US10110677B2 (en) * | 2014-05-06 | 2018-10-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Context-aware decision making |
CN104503888B (zh) * | 2014-12-16 | 2018-02-02 | 小米科技有限责任公司 | 告警提示的方法及装置 |
US20160342208A1 (en) * | 2015-05-20 | 2016-11-24 | Immersion Corporation | Haptic effects based on predicted contact |
CN104980588B (zh) | 2015-06-29 | 2018-05-15 | 努比亚技术有限公司 | 一种检测移动终端状态的方法和装置 |
CN105141779B (zh) | 2015-09-16 | 2018-11-20 | 广东欧珀移动通信有限公司 | 一种移动终端的滑动报警方法及装置 |
WO2017097348A1 (en) * | 2015-12-08 | 2017-06-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Device for handheld operation and method thereof |
CN105472157A (zh) * | 2015-12-09 | 2016-04-06 | 小米科技有限责任公司 | 终端运动状态监测方法及装置 |
CN105554274B (zh) * | 2015-12-16 | 2019-03-19 | 魅族科技(中国)有限公司 | 一种情景模式变更的方法及终端 |
CN106020439B (zh) * | 2016-04-29 | 2019-10-08 | 努比亚技术有限公司 | 一种信息处理设备和方法 |
US10319209B2 (en) * | 2016-06-03 | 2019-06-11 | John Carlton-Foss | Method and system for motion analysis and fall prevention |
CN106331253B (zh) | 2016-09-06 | 2019-06-25 | Oppo广东移动通信有限公司 | 一种终端处理方法、装置及处理终端 |
CN106895880B (zh) * | 2017-03-29 | 2020-02-21 | 联想(北京)有限公司 | 电子设备及用于该电子设备的危险状态检测方法 |
CN107238403B (zh) * | 2017-06-12 | 2019-09-17 | 广东轻工职业技术学院 | 一种识别移动终端跌落的方法 |
CN107590401A (zh) * | 2017-08-03 | 2018-01-16 | 深圳市金立通信设备有限公司 | 一种设备防摔方法及终端设备 |
CN107483693A (zh) | 2017-08-30 | 2017-12-15 | 珠海市魅族科技有限公司 | 移动终端及其制造方法和保护方法、保护装置 |
CN108055414A (zh) | 2018-01-23 | 2018-05-18 | 广东欧珀移动通信有限公司 | 跌落保护方法及相关产品 |
CN108307063B (zh) | 2018-01-25 | 2020-09-08 | Oppo广东移动通信有限公司 | 跌落提示方法及相关装置、介质 |
-
2018
- 2018-02-28 US US15/907,606 patent/US10721347B2/en active Active
-
2019
- 2019-02-20 WO PCT/CN2019/075513 patent/WO2019165911A1/en unknown
- 2019-02-20 CN CN201980013383.7A patent/CN111742540B/zh active Active
- 2019-02-20 EP EP19760377.2A patent/EP3732871B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN111742540A (zh) | 2020-10-02 |
WO2019165911A1 (en) | 2019-09-06 |
EP3732871B1 (en) | 2023-06-21 |
US20190268461A1 (en) | 2019-08-29 |
EP3732871A1 (en) | 2020-11-04 |
EP3732871A4 (en) | 2021-03-10 |
US10721347B2 (en) | 2020-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111742540B (zh) | 检测模式和行为以避免移动终端掉落事件的方法、移动设备及计算机可读介质 | |
US10984440B2 (en) | Physical activity inference from environmental metrics | |
US10609207B2 (en) | Sending smart alerts on a device at opportune moments using sensors | |
US10379697B2 (en) | Adjusting information depth based on user's attention | |
US10341425B2 (en) | Systems, methods, and computer readable media for sharing awareness information | |
US9747072B2 (en) | Context-aware notifications | |
Liu | A study of mobile sensing using smartphones | |
CN105389957B (zh) | 可穿戴设备的通信方法、装置及*** | |
US9804679B2 (en) | Touchless user interface navigation using gestures | |
EP2447809A2 (en) | User device and method of recognizing user context | |
US20140181715A1 (en) | Dynamic user interfaces adapted to inferred user contexts | |
US9224100B1 (en) | Method and apparatus using accelerometer data to serve better ads | |
US20160166180A1 (en) | Enhanced Real Time Frailty Assessment for Mobile | |
KR20130129914A (ko) | 터치스크린 상에서의 손가락 인식 | |
Gajjar | Mobile sensors and context-aware computing | |
CN109831817B (zh) | 终端控制方法、装置、终端及存储介质 | |
KR20160090554A (ko) | 이동 단말기 | |
CN110300230B (zh) | 应用控制方法、装置、存储介质以及终端 | |
KR20210015638A (ko) | 센서를 이용한 저전력 낙상 감지 방법 및 장치 | |
US11580439B1 (en) | Fall identification system | |
Gil et al. | inContexto: A fusion architecture to obtain mobile context | |
JP7372210B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN113127272B (zh) | 屏幕检测方法和屏幕检测的电子设备 | |
Al-Risi et al. | Automated Fall Detection for Disabled Individuals Using Mobile Phone Sensors and Machine Learning: A Survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |