CN114387295A - 运动轨迹生成方法、装置、电动牙刷及存储介质 - Google Patents
运动轨迹生成方法、装置、电动牙刷及存储介质 Download PDFInfo
- Publication number
- CN114387295A CN114387295A CN202111618050.2A CN202111618050A CN114387295A CN 114387295 A CN114387295 A CN 114387295A CN 202111618050 A CN202111618050 A CN 202111618050A CN 114387295 A CN114387295 A CN 114387295A
- Authority
- CN
- China
- Prior art keywords
- electric toothbrush
- brushing
- motion
- face image
- brushing area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 171
- 230000001680 brushing effect Effects 0.000 claims abstract description 284
- 230000001815 facial effect Effects 0.000 claims abstract description 122
- 230000008859 change Effects 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims description 83
- 238000012545 processing Methods 0.000 claims description 53
- 230000001133 acceleration Effects 0.000 claims description 20
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 38
- 238000004590 computer program Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Brushes (AREA)
Abstract
本申请实施例公开了一种运动轨迹生成方法、装置、电动牙刷及存储介质,应用于电动牙刷技术领域,可解决当电动牙刷发生移动的时候,如何得到准确的运动轨迹的问题。电动牙刷中设置有姿态传感器和摄像头,该方法包括:通过姿态传感器实时获取电动牙刷的姿态信息,通过摄像头实时获取用户的面部图像;在检测到电动牙刷的刷牙区域发生变化的情况下,根据刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,获取电动牙刷在刷牙区域发生变化过程中的运动轨迹。
Description
技术领域
本申请涉及电动牙刷技术领域,尤其涉及一种运动轨迹生成方法、装置、电动牙刷及存储介质。
背景技术
目前,智能产品发展层出不穷,智能物联设备已经逐渐走入了人们的生活,除了智能手机、智能穿戴、智能家居等产品,电动牙刷也开始逐渐兴起,并走进千家万户。电动牙刷的智能化发展需要背靠用户大数据的收集,如对用户刷牙时牙刷的运动轨迹的收集。但由于口腔内环境较为狭小,用户使用电动牙刷进行移动的时候幅度也比较小,因此当电动牙刷发生移动的时候,如何得到准确的运动轨迹成为目前亟需解决的问题。
发明内容
本申请实施例提供一种基于电动牙刷的运动轨迹生成方法及装置,用于解决现有技术中当电动牙刷发生移动的时候,如何得到准确的运动轨迹的问题。
第一方面,提供一种运动轨迹生成方法,应用于设置有姿态传感器和摄像头的电动牙刷,该方法包括:通过所述姿态传感器实时获取所述电动牙刷的姿态信息,以及通过所述摄像头实时获取用户的面部图像;
在检测到所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述在检测到所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
在根据所述姿态信息和/或所述面部图像判定所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述通过所述姿态传感器实时获取所述电动牙刷的姿态信息,通过所述摄像头实时获取用户的面部图像,包括:
通过所述姿态传感器在第一周期获取所述电动牙刷的第一姿态信息,通过所述摄像头在所述第一周期获取所述用户的第一面部图像;
通过所述姿态传感器在第二周期获取所述电动牙刷的第二姿态信息,通过所述摄像头在所述第二周期获取所述用户的第二面部图像,所述第一周期与所述第二周期为相邻周期。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
根据所述第一姿态信息和所述第一面部图像,确定在所述第一周期内,所述电动牙刷所在的刷牙区域为第一刷牙区域;
根据所述第二姿态信息和所述第二面部图像,确定在所述第二周期内,所述电动牙刷所在的刷牙区域为第二刷牙区域;
若所述第一刷牙区域和所述第二刷牙区域不同,且所述第一刷牙区域和所述第二刷牙区域为相邻区域,则根据所述第一姿态信息、所述第一面部图像、所述第二姿态信息和所述第二面部图像,获得所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
根据所述多个姿态信息确定所述姿态传感器的运动轨迹;
根据所述多个面部图像,确定所述摄像头的运动轨迹;
根据所述姿态传感器的运动轨迹和所述摄像头的运动轨迹,生成所述电动牙刷在所述刷牙区域发生变化的过程中的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
获取所述电动牙刷的刷头和所述姿态传感器之间的第一位置关系,以及所述电动牙刷的刷头和所述摄像头之间的第二位置关系;
根据所述姿态传感器的运动轨迹和所述第一位置关系,确定所述电动牙刷的刷头的第一运动轨迹;
根据所述摄像头的运动轨迹和所述第二位置关系,确定所述电动牙刷的刷头的第二运动轨迹;
将所述第一运动轨迹和所述第二运动轨迹进行融合,得到所述电动牙刷的刷头的运动轨迹;
将所述电动牙刷的刷头的运动轨迹,确定为所述电动牙刷在所述刷牙区域发生变化的过程中的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述将所述第一运动轨迹和所述第二运动轨迹进行融合,得到所述电动牙刷的刷头的运动轨迹,包括:
通过扩展卡尔曼滤波算法,将所述第一运动轨迹和所述第二运动轨迹进行融合,得到所述电动牙刷的刷头的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述根据所述多个面部图像,确定所述摄像头的运动轨迹,包括:
根据所述多个面部图像,获取每个面部图像中的特征点;
将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹;
将所述每个面部图像对应的运动轨迹进行拼接,得到所述摄像头的运动轨迹;
其中,所述上一面部图像为所述多个面部图像中,与所述目标面部图像相邻的前一帧面部图像;所述目标面部图像为所述多个面部图像中的任一帧面部图像。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹,包括:
通过光流算法,将所述目标面部图像中的特征点与所述上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹,包括:
提取所述上一面部图像中的第一特征点的位置作为初始位置,以及提取所述目标面部图像中的第二特征点的位置作为终止位置,所述第一特征点和所述第二特征点为相同特征点;
根据所述初始位置和所述终止位置,确定与所述目标面部图像对应的运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述提取所述上一面部图像中的第一特征点的位置作为初始位置,以及提取所述目标面部图像中的第二特征点的位置作为终止位置之后,所述方法还包括:
根据所述初始位置和所述终止位置,确定所述电动牙刷的移动距离;
根据所述上一面部图像和所述目标面部图像之间的时间差以及所述移动距离,确定所述电动牙刷的移动速度;
若所述移动速度大于预设速度阈值,则输出第一提示信息,所述第一提示信息用于提示用户当前电动牙刷的移动速度过快。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述通过所述摄像头实时获取用户的面部图像,包括:
通过所述摄像头实时获取用户的初始图像;
对所述初始图像进行灰度处理,得到灰度图像;
对所述灰度图像进行二值化处理,得到二值化图像;
对所述二值化图像进行面部特征截取,得到所述用户的面部图像。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述姿态传感器包括:加速度传感器以及角速度传感器,所述通过所述姿态传感器实时获取所述电动牙刷的姿态信息,包括:
通过所述加速度传感器确定所述电动牙刷的加速度信息;
通过所述角速度传感器确定所述电动牙刷的角速度信息;
根据所述加速度信息以及所述角速度信息,确定所述电动牙刷的姿态信息。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹之后,所述方法还包括:
当检测到所述电动牙刷由工作状态切换为非工作状态时,获取所述电动牙刷在多个所述刷牙区域发生变化过程中的多个运动轨迹;
根据所述多个运动轨迹,得到所述电动牙刷的移动数据;
将所述移动数据上传至云服务器,和/或,将所述移动数据发送给与所述电动牙刷关联的终端设备。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述将所述移动数据上传至云服务器,和/或,将所述移动数据发送给与所述电动牙刷关联的终端设备之后,所述方法还包括:
接收所述云服务器,和/或,所述终端设备发送的推送信息,所述推送信息为所述云服务器,和/或,所述终端设备根据所述移动数据得到的。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述根据所述多个运动轨迹,得到所述电动牙刷的移动数据之后,所述方法还包括:
获取所述电动牙刷多次工作中的多个移动数据;
根据所述多个移动数据,得到所述用户的使用特征;
根据所述使用特征,生成自动刷牙模式,以使得用户使用所述自动刷牙模式进行自动刷牙。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述方法还包括:
将所述刷牙区域发生变化过程中的多个姿态信息和多个面部图像发送给与所述电动牙刷关联的终端设备,以使得所述终端设备根据所述刷牙区域发生变化过程中的多个姿态信息和多个面部图像生成所述电动牙刷在所述刷牙区域发生变化过程中的所述运动轨迹。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述电动牙刷的刷头处设置有压力传感器,所述方法还包括:
通过所述压力传感器,实时获取所述电动牙刷对每个刷牙区域的刷牙力度;
根据所述电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,确定每个刷牙区域的清洁程度;
若目标刷牙区域的清洁程度低于预设清洁程度,则输出第二提示信息,所述第二提示信息用于提示用户提高对所述目标刷牙区域的清洁程度。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述方法还包括:
获取所述电动牙刷的累计使用次数;
根据所述电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,以及所述累计使用次数,确定所述电动牙刷的刷头的使用寿命衰减情况;
若所述使用寿命衰减情况达到预设衰减值,则输出第三提示信息,所述第三提示信息用于提示用户对所述电动牙刷的刷头进行更换。
作为一种可选的实施方式,在本申请实施例的第一方面中,所述刷牙区域包括:上颌骨前颊表面、上颌骨前舌表面、上颌骨左颊表面、上颌骨左舌表面、上颌骨左咬合表面、上颌骨右颊表面、上颌骨右舌表面、上颌骨右咬合表面、下颌骨前颊表面、下颌骨前舌表面、下颌骨左颊表面、下颌骨左舌表面、下颌骨左咬合表面、下颌骨右颊表面、下颌骨右舌表面以及下颌骨咬合表面中的任一项。
第二方面,提供一种基于电动牙刷的运动轨迹生成装置,所述电动牙刷中设置有姿态传感器和摄像头,该基于电动牙刷的运动轨迹生成装置包括:获取模块,用于通过所述姿态传感器实时获取所述电动牙刷的姿态信息,以及通过所述摄像头实时获取用户的面部图像;
处理模块,用于在检测到所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
第三方面,提供一种基于电动牙刷的运动轨迹生成装置,所述电动牙刷中设置有姿态传感器和摄像头,该基于电动牙刷的运动轨迹生成装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本申请实施例第一方面中的基于电动牙刷的运动轨迹生成方法。
第四方面,提供一种电动牙刷,所述电动牙刷中设置有姿态传感器和摄像头,所述电动牙刷包括:如第二方面或第三方面所述的基于电动牙刷的运动轨迹生成装置。
第五方面,提供一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行本申请实施例第一方面中的基于电动牙刷的运动轨迹生成方法。所述计算机可读存储介质包括ROM/RAM、磁盘或光盘等。
第六方面,提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
第七方面,提供一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本申请实施例具有以下有益效果:
本申请实施例中,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以实时根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后在检测到刷牙区域发生变化时,根据发生变化过程中的多个姿态信息和多个面部图像,进行计算生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,由于每个用户在使用电动牙刷时的习惯不同,握持方式也不同,因此如果用户保持握持的姿态不变进行移动,或者用户保持电动牙刷的刷柄不动仅移动刷头,那么可能就会出现在整个刷牙过程中电动牙刷的姿态信息变化较小,或者在整个刷牙过程中采集到的面部图像类似的情况,因此运动轨迹生成装置将姿态信息和面部图像进行结合得到的运动轨迹,就可以避免出现上述情况,提高了运动轨迹生成的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种运动轨迹生成方法的流程示意图一;
图2是本申请实施例提供的刷牙区域示意图;
图3是本申请实施例提供的一种运动轨迹生成方法的流程示意图二;
图4是本申请实施例提供的一种运动轨迹生成方法的流程示意图三;
图5是本申请实施例提供的特征点示意图;
图6是本申请实施例提供的一种运动轨迹生成方法的流程示意图四;
图7是本申请实施例提供的一种运动轨迹生成方法的流程示意图五;
图8是本申请实施例提供的一种基于电动牙刷的运动轨迹生成装置的结构示意图一;
图9是本申请实施例提供的一种基于电动牙刷的运动轨迹生成装置的结构示意图二;
图10是本申请实施例提供的一种电动牙刷的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一提示信息和第二提示信息等是用于区别不同的提示信息,而不是用于描述提示信息的特定顺序。
本申请实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
相关技术中,智能产品发展层出不穷,智能物联设备已经逐渐走入了人们的生活,除了智能手机、智能穿戴、智能家居等产品,电动牙刷也开始逐渐兴起,并走进千家万户。电动牙刷的智能化发展需要背靠用户大数据的收集,如对用户刷牙时牙刷的运动轨迹的收集。但由于口腔内环境较为狭小,用户使用电动牙刷进行移动的时候幅度也比较小,因此当电动牙刷发生移动的时候,如何得到准确的运动轨迹成为目前亟需解决的问题。
为了解决上述问题,本申请实施例提供一种运动轨迹生成方法、装置、电动牙刷及存储介质,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以实时根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后在检测到刷牙区域发生变化时,根据发生变化过程中的多个姿态信息和多个面部图像,进行计算生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,由于每个用户在使用电动牙刷时的习惯不同,握持方式也不同,因此如果用户保持握持的姿态不变进行移动,或者用户保持电动牙刷的刷柄不动仅移动刷头,那么可能就会出现在整个刷牙过程中电动牙刷的姿态信息变化较小,或者在整个刷牙过程中采集到的面部图像类似的情况,因此运动轨迹生成装置将姿态信息和面部图像进行结合得到的运动轨迹,就可以避免出现上述情况,提高了运动轨迹生成的准确性。
本申请实施例提供的运动轨迹生成方法的执行主体可以为上述的运动轨迹生成装置,该运动轨迹生成装置可以设置在电动牙刷中;执行主体也可以为该运动轨迹生成装置中能够实现该运动轨迹生成方法的功能模块和/或功能实体,具体的可以根据实际使用需求确定,本申请实施例不作限定。下面以运动轨迹生成装置为例,对本申请实施例提供的运动轨迹生成方法进行示例性的说明。
实施例一
如图1所示,本申请实施例提供一种运动轨迹生成方法,该方法可以包括下述步骤:
101、通过姿态传感器实时获取电动牙刷的姿态信息,通过摄像头实时获取用户的面部图像。
在本申请实施例中,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以通过该姿态传感器实时获取电动牙刷的姿态信息,并且通过摄像头实时获取用户的面部图像。
需要说明的是,姿态传感器可以设置在电动牙刷内部,摄像头可以安装在电动牙刷的刷柄处,该摄像头可以与刷头位于同一平面上,这样当用户使用电动牙刷刷牙时,该摄像头就可以拍摄到用户的面部图像。
可选的,该姿态传感器可以包括:加速度传感器以及角速度传感器,通过姿态传感器实时获取电动牙刷的姿态信息,具体可以包括:通过加速度传感器确定电动牙刷的加速度信息;通过角速度传感器确定电动牙刷的角速度信息;根据加速度信息以及角速度信息,确定电动牙刷的姿态信息。
其中,加速度传感器可以获取电动牙刷分别在X轴、Y轴和Z轴的加速度,得到三个加速度分量;角速度传感器可以获取电动牙刷分别绕X轴、Y轴和Z轴旋转的动态角度变化,得到三个角速度分量;最后,运动轨迹生成装置可以根据三个加速度分量和三个角速度分量,确定电动牙刷的姿态信息。
可选的,通过摄像头实时获取用户的面部图像,具体可以包括:通过摄像头实时获取用户的初始图像;对初始图像进行灰度处理,得到灰度图像;对灰度图像进行二值化处理,得到二值化图像;对二值化图像进行面部特征截取,得到用户的面部图像。
在该可选的实现方式中,摄像头实时获取图像,运动轨迹生成装置可以对获取到的图像进行灰度处理、二值化处理以及截取处理,以得到用户的面部图像。
可选的,对初始图像进行灰度处理,得到灰度图像,具体可以包括:获取初始图像中每个像素点的像素值;根据预设灰度公式,对每个像素点的像素值进行灰度处理,得到处理后的每个像素点的像素值;根据处理后的每个像素点的像素值,得到灰度图像。
需要说明的是,灰度处理是将图像中每个像素点的像素值根据公式调整为灰度值的过程。
在本申请实施例中,运动轨迹生成装置可以根据预设灰度公式,对初始图像中每个像素点的像素值进行处理,得到每个像素点的灰度值,并根据每个像素点的灰度值,得到灰度图像。
其中,该预设灰度公式为Gray=0.299*R+0.587*G+0.114*B,Gray为处理后的像素点的像素值,R为像素点中的红色像素值,G为像素点中的绿色像素值,B为像素点中的蓝色像素值。
示例性的,假设光源图像中有四个像素点,像素点A的像素值为(255,65,150),像素点B的像素值为(200,200,0),像素点C的像素值为(0,10,200),像素点D的像素值为(180,255,80)。那么根据预设灰度公式为Gray=0.299*R+0.587*G+0.114*B,就可以得到像素点A的灰度值为0.299*255+0.587*65+0.114*150=131.5,像素点B的灰度值为0.299*200+0.587*200+0.114*0=177.2,像素点C的灰度值为0.299*0+0.587*10+0.114*200=28.67,像素点D的灰度值为0.299*180+0.587*255+0.114*80=212.625。
可选的,对灰度图像进行二值化处理,得到二值化图像,具体可以包括:获取灰度图像中每个像素点的灰度值;根据预设二值化阈值,对每个像素点的灰度值进行调整,得到二值化图像。
需要说明的是,该预设二值化阈值是根据实际图像要求进行设定的,在对灰度图像进行二值化处理的时候,可以将灰度值大于该预设二值化阈值的像素点的灰度值调整为255,将小于或等于该预设二值化阈值的像素点的灰度值调整为0,从而得到二值化图像,在该二值化图像中,只存在灰度值为0或255的像素点。
可选的,对二值化图像进行面部特征截取,得到用户的面部图像,具体可以包括:根据面部识别算法,对该二值化图像进行面部识别,并根据识别结果,将二值化图像划分为包括面部特征的第一区域和不包括面部特征的第二区域,然后可以将第一区域截取出来,从而得到用户的面部图像。
需要说明的是,用户在刷牙时,对于电动牙刷的握持姿势不同,那么摄像头可能会拍摄到不包括面部特征的图像,或者拍摄到只存在部分面部特征的图像,由于运动轨迹生成装置需要根据用户的面部图像确定刷牙区域,因此运动轨迹生成装置只需要将包括面部特征的第一区域截取出来即可。
102、在检测到电动牙刷的刷牙区域发生变化的情况下,根据刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在本申请实施例中,当运动轨迹生成装置检测到刷牙区域发生变化之后,就可以根据刷牙区域发生变化过程中的多个姿态信息和多个面部图像,获取电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,运动轨迹生成装置确定电动牙刷的刷牙区域发生变化的方法可以有多种,在本申请实施例中,运动轨迹生成装置可以根据姿态信息和/或面部图像进行判断,当运动轨迹生成装置根据姿态信息和/或面部图像判断出电动牙刷的刷牙区域发生变化时,运动轨迹生成装置就可以根据刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,按照目前医学行业通用的口腔区域划分法,如图2所示,刷牙区域可以包括以下区域:上颌骨前舌表面211、上颌骨前颊表面212、上颌骨左颊表面213、上颌骨右颊表面214、上颌骨左舌表面215、上颌骨右舌表面216、上颌骨左咬合表面217、上颌骨右咬合表面218、下颌骨前舌表面221、下颌骨前颊表面222、下颌骨左颊表面223、下颌骨右颊表面224、下颌骨左舌表面225、下颌骨右舌表面226、下颌骨左咬合表面227以及下颌骨咬合表面228。
可选的,在本申请实施例中,该运动轨迹生成方法还可以包括:运动轨迹生成装置将刷牙区域发生变化过程中的多个姿态信息和多个面部图像发送给与电动牙刷关联的终端设备,以使得终端设备根据刷牙区域发生变化过程中的多个姿态信息和多个面部图像确定电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在该可选的实现方式中,运动轨迹生成装置可以将刷牙区域发生变化过程中的多个姿态信息和多个面部图像发送给与电动牙刷关联的终端设备,这样终端设备就可以根据该多个姿态信息和多个面部图像,确定电动牙刷在刷牙区域发生变化过程中的运动轨迹,然后运动轨迹生成装置可以从终端设备获取该运动轨迹。
需要说明的是,该终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本或者个人数字助理(Personal Digital Assistant,PDA)等电子设备。其中,可穿戴设备可以为智能手表、智能手环、手表电话、智能脚环、智能耳环、智能项链、智能耳机等,本申请实施例不作限定。
通过上述可选的实现方式,运动轨迹生成装置可以自己根据多个姿态信息和多个面部图像确定电动牙刷的运动轨迹,也可以将多个姿态信息和多个面部图像发送给终端设备并从终端设备获取运动轨迹,这样不仅可以减少运动轨迹生成装置的运算量,也可以提高运动轨迹生成装置和终端设备之间的交互能力。
本申请实施例提供一种基于电动牙刷的运动轨迹生成方法,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以实时根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后在检测到刷牙区域发生变化时,根据发生变化过程中的多个姿态信息和多个面部图像,进行计算生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,由于每个用户在使用电动牙刷时的习惯不同,握持方式也不同,因此如果用户保持握持的姿态不变进行移动,或者用户保持电动牙刷的刷柄不动仅移动刷头,那么可能就会出现在整个刷牙过程中电动牙刷的姿态信息变化较小,或者在整个刷牙过程中采集到的面部图像类似的情况,因此运动轨迹生成装置将姿态信息和面部图像进行结合得到的运动轨迹,就可以避免出现上述情况,提高了运动轨迹生成的准确性。
实施例二
如图3所示,本申请实施例提供一种运动轨迹生成方法,该方法还可以包括下述步骤:
301、通过姿态传感器在第一周期获取电动牙刷的第一姿态信息,通过摄像头在第一周期获取用户的第一面部图像。
在本申请实施例中,运动轨迹生成装置可以在第一周期之内,持续获取电动牙刷的第一姿态信息以及用户的第一面部图像。
其中,该第一姿态信息的数量可以为一个,也可以为多个,即在该第一周期内,运动轨迹生成装置可以采集一次第一姿态信息,也可以采集多次第一姿态信息;同理,该第一面部图像的数量可以为一个,也可以为多个,即在该第一周期内,运动轨迹生成装置可以采集一次第一面部图像,也可以采集多次第一面部图像。
需要说明的是,该第一周期为运动轨迹生成装置计算一次刷牙区域的周期,在该第一周期内,每次采集第一姿态信息和第一面部图像之间存在时间间隔,也就是说运动轨迹生成装置在该第一周期内,可以每隔固定时长采集姿态信息和面部图像,并计算得到电动牙刷当前所在的刷牙区域。
302、通过姿态传感器在第二周期获取电动牙刷的第二姿态信息,通过摄像头在第二周期获取用户的第二面部图像。
在本申请实施例中,运动轨迹生成装置可以在第二周期之内,持续获取电动牙刷的第二姿态信息以及用户的第二面部图像。
其中,该第二姿态信息的数量可以为一个,也可以为多个,即在该第二周期内,运动轨迹生成装置可以采集一次第二姿态信息,也可以采集多次第二姿态信息;同理,该第二面部图像的数量可以为一个,也可以为多个,即在该第二周期内,运动轨迹生成装置可以采集一次第二面部图像,也可以采集多次第二面部图像。
需要说明的是,该第二周期为运动轨迹生成装置计算一次刷牙区域的周期,在该第二周期内,每次采集第二姿态信息和第二面部图像之间存在时间间隔,也就是说运动轨迹生成装置在该第二周期内,可以每隔固定时长采集姿态信息和面部图像,并计算得到电动牙刷当前所在的刷牙区域。
需要说明的是,该第一周期和该第二周期为相邻的周期。
303、根据第一姿态信息和第一面部图像,确定在第一周期内,电动牙刷所在的刷牙区域为第一刷牙区域。
在本申请实施例中,运动轨迹生成装置获取到第一周期内的姿态信息和面部图像之后,就可以根据该姿态信息和面部图像确定电动牙刷在第一周期内所在的刷牙区域为第一刷牙区域。
其中,该第一刷牙区域可以为以下任一项:上颌骨前颊表面、上颌骨前舌表面、上颌骨左颊表面、上颌骨左舌表面、上颌骨左咬合表面、上颌骨右颊表面、上颌骨右舌表面、上颌骨右咬合表面、下颌骨前颊表面、下颌骨前舌表面、下颌骨左颊表面、下颌骨左舌表面、下颌骨左咬合表面、下颌骨右颊表面、下颌骨右舌表面以及下颌骨咬合表面。
304、根据第二姿态信息和第二面部图像,确定在第二周期内,电动牙刷所在的刷牙区域为第二刷牙区域。
在本申请实施例中,运动轨迹生成装置获取到第二周期内的姿态信息和面部图像之后,就可以根据该姿态信息和面部图像确定电动牙刷在第二周期内所在的刷牙区域为第二刷牙区域。
其中,该第二刷牙区域可以为以下任一项:上颌骨前颊表面、上颌骨前舌表面、上颌骨左颊表面、上颌骨左舌表面、上颌骨左咬合表面、上颌骨右颊表面、上颌骨右舌表面、上颌骨右咬合表面、下颌骨前颊表面、下颌骨前舌表面、下颌骨左颊表面、下颌骨左舌表面、下颌骨左咬合表面、下颌骨右颊表面、下颌骨右舌表面以及下颌骨咬合表面。
305、若第一刷牙区域和第二刷牙区域不同,且第一刷牙区域和第二刷牙区域为相邻区域,则根据第一姿态信息、第一面部图像、第二姿态信息和第二面部图像,获得电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在本申请实施例中,运动轨迹生成装置可以对第一刷牙区域和第二刷牙区域进行比较,若检测到第一刷牙区域和第二刷牙区域不同,且第一刷牙区域和第二刷牙区域为相邻的刷牙区域,那么就可以说明在第一周期和第二周期内,电动牙刷所在的刷牙区域发生了变化,此时运动轨迹生成装置就可以根据第一周期内的第一姿态信息和第一面部图像,以及第二周期内的第二姿态信息和第二面部图像,获得电动牙刷在第一周期和第二周期内的运动轨迹,即电动牙刷在刷牙区域发生变化过程中的运动轨迹。
本申请实施例提供一种基于电动牙刷的运动轨迹生成方法,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以在每个周期内根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后根据相邻周期内的姿态信息和面部图像,获得电动牙刷在相邻周期内电动牙刷的刷牙区域;如果相邻周期内刷牙区域发生变化,那么运动轨迹生成装置可以根据相邻周期内的的姿态信息和面部图像,进行计算获得电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,运动轨迹生成装置可以在每个周期内计算一次刷牙区域,这样就可以不需要每获取一次姿态信息和面部图像就计算一次刷牙区域,通过该方案可以降低运动轨迹生成装置的计算工作量,减小运动轨迹生成装置的功耗,同时也提高了运动轨迹生成的准确性。
实施例三
如图4所示,本申请实施例提供一种运动轨迹生成方法,该方法还可以包括下述步骤:
401、通过姿态传感器实时获取电动牙刷的姿态信息,通过摄像头实时获取用户的面部图像。
在本申请实施例中,针对步骤401的描述,请参照实施例一中针对步骤101的详细描述,本申请实施例不再赘述。
402、在检测到电动牙刷的刷牙区域发生变化的情况下,根据多个姿态信息确定姿态传感器的运动轨迹。
在本申请实施例中,当运动轨迹生成装置检测到刷牙区域发生变化之后,就可以根据多个姿态信息确定姿态传感器在刷牙区域发生变化过程中的运动轨迹。
403、根据多个面部图像,确定摄像头的运动轨迹。
在本申请实施例中,运动轨迹生成装置可以根据姿态信息和面部图像确定电动牙刷当前所在的刷牙区域,因此当运动轨迹生成装置确定刷牙区域发生变化之后,就可以根据多个面部图像确定摄像头在刷牙区域发生变化过程中的运动轨迹。
可选的,根据多个面部图像,确定摄像头的运动轨迹,具体可以包括:根据多个面部图像,获取每个面部图像中的特征点;将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与目标面部图像对应的运动轨迹;将每个面部图像对应的运动轨迹进行拼接,得到摄像头的运动轨迹。
其中,上一面部图像为多个面部图像中,与目标面部图像相邻的前一帧面部图像;目标面部图像为多个面部图像中的任一帧面部图像。
在该可选的实现方式中,运动轨迹生成装置可以先获取每个面部图像中的特征点,该特征点可以是固定间隔以及固定数量的像素块,特征点的数量可以是一个也可以是多个,本申请实施例不做限定;由于摄像头在移动过程中,拍摄到的面部图像是不同的,那么运动轨迹生成装置可以根据相邻两帧面部图像中相同的特征点之间的位移确定摄像头在拍摄这两帧面部图像时的运动轨迹。
示例性的,如图5所示,摄像头在移动过程中获取到了多帧面部图像,每一帧面部图像中都包括至少一个特征点,其中,目标面部图像52的特征点为:特征点一52A和特征点二52B,上一面部图像51的特征点为:特征点一51A和特征点二51B。运动轨迹生成装置将目标面部图像52中的特征点一52A和上一面部图像51中的特征点一51A进行匹配之后,就可以将51A和52A之间的位移确定为摄像头的运动轨迹;或者,运动轨迹生成装置将目标面部图像52中的特征点二52B和上一面部图像51中的特征点二51B进行匹配之后,就可以将51B和52B之间的位移确定为摄像头的运动轨迹。
进一步的,运动轨迹生成装置可以通过光流算法,将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与目标面部图像对应的运动轨迹。
需要说明的是,在根据特征点计算摄像头的运动轨迹的过程中,需要将两帧面部图像中的特征点进行匹配,只有根据相同的特征点之间的位移才可以计算得到摄像头的运动轨迹,那么运动轨迹生成装置可以采用光流算法确定相同的特征点。
其中,光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。
具体的,将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与目标面部图像对应的运动轨迹,具体可以包括:提取上一面部图像中的第一特征点的位置作为初始位置,提取目标面部图像中的第二特征点的位置作为终止位置,第一特征点和第二特征点为相同特征点;根据初始位置和终止位置,确定与目标面部图像对应的运动轨迹。
在该可选的实现方式中,运动轨迹生成装置在上一面部图像和目标面部图像中匹配到相同的特征点之后,就可以根据该相同特征点之间的位移确定摄像头的运动轨迹。
示例性的,如图5所示,运动轨迹生成装置检测到上一面部图像51中的特征点一51A和目标面部图像52中的特征点一52A为相同特征点之后,就可以先在目标面部图像52中获取与上一面部图像51中的特征点一51A对应的位置51A’,此时运动轨迹生成装置就可以根据51A’与52A之间的位移确定摄像头的运动轨迹;同理,运动轨迹生成装置检测到上一面部图像51中的特征点二51B和目标面部图像52中的特征点二52B为相同特征点之后,就可以先在目标面部图像52中获取与上一面部图像51中的特征点二51B对应的位置51B’,此时运动轨迹生成装置就可以根据51B’与52B之间的位移确定摄像头的运动轨迹。
进一步的,根据初始位置和终止位置,确定电动牙刷的移动距离;根据上一面部图像和目标面部图像之间的时间差以及移动距离,确定电动牙刷的移动速度;若移动速度大于预设速度阈值,则输出第一提示信息,第一提示信息用于提示用户当前电动牙刷的移动速度过快。
在该可选的实现方式中,运动轨迹生成装置根据相同的特征点确定了摄像头的运动轨迹之后,还可以根据该特征点得到摄像头的移动距离,并且根据摄像头拍摄这两帧面部图像之间的时间差,确定摄像头的移动速度,该摄像头的移动速度即为电动牙刷的移动速度;如果该电动牙刷的移动速度大于预设速度阈值,那么可以说明该电动牙刷移动过快,可能会对用户的牙齿造成损害,因此运动轨迹生成装置就可以输出提示消息,以提示用户当前电动牙刷的移动速度过快,建议用户降低移动速度。
通过上述可选的实现方式,运动轨迹生成装置可以根据面部图像中的特征点确定电动牙刷的运动轨迹,并且还可以计算出电动牙刷的移动速度,提高了电动牙刷的智能化程度。
404、根据姿态传感器的运动轨迹和摄像头的运动轨迹,获取电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在本申请实施例中,运动轨迹生成装置得到姿态传感器的运动轨迹和摄像头的运动轨迹之后,可以将两个运动轨迹进行融合,以得到电动牙刷的运动轨迹。
可选的,根据姿态传感器的运动轨迹和摄像头的运动轨迹,获取电动牙刷在刷牙区域发生变化过程中的运动轨迹,具体可以包括:获取电动牙刷的刷头和姿态传感器之间的第一位置关系,以及电动牙刷的刷头和摄像头之间的第二位置关系;根据姿态传感器的运动轨迹和第一位置关系,确定电动牙刷的刷头的第一运动轨迹;根据摄像头的运动轨迹和第二位置关系,确定电动牙刷的刷头的第二运动轨迹;将第一运动轨迹和第二运动轨迹进行融合,得到电动牙刷的刷头的运动轨迹;将电动牙刷的刷头的运动轨迹,确定为电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在该可选的实现方式中,运动轨迹生成装置需要得到的电动牙刷的运动轨迹,实际是电动牙刷的刷头的运动轨迹,因此运动轨迹生成装置需要将姿态传感器的运动轨迹和摄像头的运动轨迹均转换为电动牙刷的刷头的运动轨迹;在运动轨迹转换过程中,就可以根据姿态传感器和摄像头分别与电动牙刷的刷头之间的位置关系进行转换。
进一步的,通过扩展卡尔曼滤波算法,将第一运动轨迹和第二运动轨迹进行融合,得到电动牙刷的刷头的运动轨迹。
在该可选的实现方式中,运动轨迹生成装置将两个运动轨迹进行融合的时候,可以选择通过扩展卡尔曼滤波算法进行融合。
需要说明的是,该扩展卡尔曼滤波(Extended Kalman Filter,EKF)算法是解决非线性状态估计问题最为直接的一种处理方法,EKF算法是将非线性函数进行泰勒展开,然后省略高阶项,保留展开项的一阶项,以此来实现非线性函数线性化,最后通过卡尔曼滤波算法近似计算***的状态估计值和方差估计值的一种算法。
本申请实施例提供一种基于电动牙刷的运动轨迹生成方法,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以实时根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后确定电动牙刷当前所在的刷牙区域;如果在根据姿态信息和面部图像判断到刷牙区域发生变化时,根据发生变化过程中的多个姿态信息和多个面部图像,进行分析得到电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,运动轨迹生成装置是根据姿态信息和面部图像一起判断刷牙区域的,提高了刷牙区域检测的准确性;在根据姿态信息和面部图像检测到刷牙区域发生变化之后,又根据姿态信息确定姿态传感器的运动轨迹,根据面部图像确定摄像头的运动轨迹,然后将姿态传感器的运动轨迹和摄像头的运动轨迹进行融合,从而确定电动牙刷的运动轨迹,这样也提高了运动轨迹生成的准确性。
实施例四
如图6所示,本申请实施例提供一种运动轨迹生成方法,该方法还可以包括下述步骤:
601、在通过摄像头获取用户的测试图像的过程中,调整摄像头的测试拍摄频率,以得到每个测试拍摄频率对应的多个测试图像。
在本申请实施例中,运动轨迹生成装置可以在实际使用之前,先对摄像头进行测试,并且在测试过程中,不断调整摄像头的测试拍摄频率,这样运动轨迹生成装置就可以得到每个测试拍摄频率对应的多个测试图像。
需要说明的是,由于该摄像头是需要实时获取用户的面部图像,因此摄像头需要持续拍摄图像,每拍摄两帧图像之间的时间间隔是相同的,该时间间隔即为通过测试得到的,上述测试拍摄频率即为摄像头在测试过程中,持续拍摄面部图像的频率。
602、根据每个测试拍摄频率对应的多个测试图像,得到每个测试拍摄频率对应的测试运动轨迹。
在本申请实施例中,运动轨迹生成装置可以根据每个测试拍摄频率对应的多个测试图像,得到该测试拍摄频率对应的运动轨迹。
需要说明的是,在该发明实施例中,运动轨迹生成装置根据多个测试图像得到测试运动轨迹的方法和运动轨迹生成装置根据多个面部图像得到运动轨迹的方法相同,此处不再赘述。
603、根据测试运动轨迹以及标准轨迹,得到每个测试拍摄频率对应的测试准确值。
在本申请实施例中,运动轨迹生成装置得到测试运动轨迹之后,可以和标准轨迹进行匹配,得到该测试拍摄频率对应的测试准确值,该测试准确值可以用来指示。
需要说明的是,由于当前是处于测试阶段,测试人员通过多次使用该电动牙刷进行刷牙来进行轨迹测试的,因此在每次刷牙测试之后,运动轨迹生成装置都可以通过测试人员获取到当前测试拍摄频率对应的标准轨迹。
604、根据每个测试拍摄频率对应的测试准确值以及预设频率范围,确定目标拍摄频率。
在本申请实施例中,运动轨迹生成装置可以获取预设频率范围,该预设频率范围是运动轨迹生成装置根据运动轨迹计算准确率和运动轨迹计算量综合得到的,此时运动轨迹生成装置可以在预设频率范围内选择测试准确值最高的频率作为目标拍摄频率,该目标拍摄频率即为运动轨迹生成装置实时获取用户的面部图像时摄像头的拍摄频率。
需要说明的是,在根据面部图像确定运动轨迹的过程中,获取到的面部图像越多,并且每两帧图像之间时间间隔越短,计算得到的运动轨迹肯定越精确,但是面部图像数量越多,时间间隔越短,运动轨迹生成装置的运算量就越大,因此运动轨迹生成装置需要通过测试来得到可以平衡运动轨迹准确率以及运算量的最优的目标拍摄频率。
605、通过摄像头,按照目标拍摄频率实时获取用户的面部图像。
在本申请实施例中,运动轨迹生成装置得到目标拍摄频率之后,就可以通过摄像头,按照该目标拍摄频率实时获取用户的面部图像。
606、通过姿态传感器实时获取电动牙刷的姿态信息。
607、在检测到电动牙刷的刷牙区域发生变化的情况下,根据刷牙区域发生变化过程中的多个姿态信息和多个面部图像,获取电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在本申请实施例中,针对步骤606~607的描述,请参照实施例一中针对步骤101~102的详细描述,本申请实施例不再赘述。
本申请实施例提供一种基于电动牙刷的运动轨迹生成方法,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以实时根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后确定电动牙刷当前所在的刷牙区域;如果在根据姿态信息和面部图像判断到刷牙区域发生变化时,根据发生变化过程中的多个姿态信息和多个面部图像,进行分析得到电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,运动轨迹生成装置是根据姿态信息和面部图像一起判断刷牙区域的,提高了刷牙区域检测的准确性;在根据姿态信息和面部图像检测到刷牙区域发生变化之后,又根据姿态信息和面部图像一起确定运动轨迹,同时也提高了运动轨迹生成的准确性;并且运动轨迹生成装置提前对摄像头进行了测试,确定了既能保证运动轨迹计算准确率也能尽可能减小运动轨迹计算量的拍摄频率,这样可以降低运动轨迹生成装置的功耗且提高运动轨迹生成的准确性。
实施例五
如图7所示,本申请实施例提供一种运动轨迹生成方法,该方法还可以包括下述步骤:
701、通过姿态传感器实时获取电动牙刷的姿态信息,通过摄像头实时获取用户的面部图像。
702、在检测到电动牙刷的刷牙区域发生变化的情况下,根据刷牙区域发生变化过程中的多个姿态信息和多个面部图像,获取电动牙刷在刷牙区域发生变化过程中的运动轨迹。
在本申请实施例中,针对步骤701~702的描述,请参照实施例一中针对步骤101~102的详细描述,本申请实施例不再赘述。
703、当检测到电动牙刷由工作状态切换为非工作状态时,获取电动牙刷在多个刷牙区域发生变化过程中的多个运动轨迹。
在本申请实施例中,当运动轨迹生成装置检测到电动牙刷由工作状态切换为非工作状态时,说明用户已经暂停使用电动牙刷,那么运动轨迹生成装置就可以获取这次电动牙刷工作过程中每次刷牙区域发生变化过程中的运动轨迹。
需要说明的是,该非工作状态可以是电动牙刷关机、电动牙刷的电机停止运行,或者电动牙刷的一个刷牙周期完毕等情况。
704、根据多个运动轨迹,得到电动牙刷的移动数据。
在本申请实施例中,运动轨迹生成装置可以将多个运动轨迹拼接起来,得到电动牙刷此次工作时的移动数据。
需要说明的是,在运动轨迹拼接过程中,需要根据每个运动轨迹的时间数据,按照移动的先后顺序进行拼接,这样才可以得到完整连续的移动数据。
705、将移动数据上传至云服务器,和/或,将移动数据发送给与电动牙刷关联的终端设备。
706、接收云服务器,和/或,终端设备发送的推送信息。
在本申请实施例中,该推送信息为云服务器,和/或,终端设备根据移动数据得到的,即云服务器或者终端设备接收到运动轨迹生成装置发送的移动数据之后,可以对该移动数据进行分析,得到用户此次使用电动牙刷进行刷牙时的刷牙数据,该刷牙数据可以包括:刷牙时间、刷牙顺序、刷牙区域等数据,然后云服务器或者终端设备可以根据该刷牙数据向运动轨迹生成装置输出相对应的推送信息,运动轨迹生成装置接收到推送信息之后可以输送给用户。
707、获取电动牙刷多次工作中的多个移动数据。
在本申请实施例中,在电动牙刷每次工作时,运动轨迹生成装置都可以获取电动牙刷的移动数据。
708、根据多个移动数据,得到用户的使用特征。
在本申请实施例中,运动轨迹生成装置获取到电动牙刷多次工作时的移动数据之后,就可以进行学习,得到用户的使用特征,该使用特征可以包括:用户的刷牙顺序,用户的刷牙力度,用户的刷牙时间等。
709、根据使用特征,生成自动刷牙模式,以使得用户使用自动刷牙模式进行自动刷牙。
在本申请实施例中,运动轨迹生成装置可以将用户的使用特征设置为自动刷牙模式,这样用户在后续使用时就可以直接使用该自动刷牙模式进行刷牙,不再需要调整牙刷力度时间等。
需要说明的是,由于用户每次在使用电动牙刷进行刷牙的过程中,在刷到每个刷牙区域的时候,需要用户手动去调整当前的刷牙力度,并且刷牙一段时间之后,需要进行刷牙区域的移动,较为麻烦。因此,运动轨迹生成装置可以采集用户多次刷牙时的移动数据得到用户的使用特征,然后生成较为符合用户平常刷牙习惯的自动刷牙模式,这样用户就可以使用该自动刷牙模式进行自动刷牙,即用户开启电动牙刷之后,运动轨迹生成装置可以持续检测当前刷牙区域,这样电动牙刷可以根据当前刷牙区域对应的刷牙力度和时长进行自动刷牙,不需要用户手动设置,减少用户的操作。
可选的,运动轨迹生成装置也可以将电动牙刷多次工作中的多个移动数据发送给云服务器,和/或,终端设备,以使得云服务器,和/或,终端设备根据该多个移动数据,得到用户的使用特征;并且根据使用特征,生成自动刷牙模式。
本申请实施例提供一种基于电动牙刷的运动轨迹生成方法,电动牙刷中设置有姿态传感器和摄像头,运动轨迹生成装置可以实时根据姿态传感器和摄像头获取电动牙刷的姿态信息和用户的面部图像,然后确定电动牙刷当前所在的刷牙区域;如果在根据姿态信息和面部图像判断到刷牙区域发生变化时,根据发生变化过程中的多个姿态信息和多个面部图像,进行分析得到电动牙刷在刷牙区域发生变化过程中的运动轨迹。在该方案中,运动轨迹生成装置是根据姿态信息和面部图像一起判断刷牙区域的,提高了刷牙区域检测的准确性;在根据姿态信息和面部图像检测到刷牙区域发生变化之后,又根据姿态信息和面部图像一起确定运动轨迹,同时也提高了运动轨迹生成的准确性。
进一步的,运动轨迹生成装置计算得到运动轨迹之后,可以发送给云服务器,和/或,终端设备,以使得云服务器,和/或,终端设备通过运动轨迹进行用户刷牙习惯的分析,以便于后续根据画像推送产品或者口腔服务,或者,根据数据库中的大数据与口腔医疗机构进行合作研究,以研究提高国民口腔健康的方法;这样也可以提高运动轨迹生成装置的智能化程度。
作为一种可选的实现方式,该电动牙刷的刷头处还可以设置有压力传感器,这样运动轨迹生成装置在通过姿态传感器实时获取电动牙刷的姿态信息,通过摄像头实时获取用户的面部图像的时候,还可以同步获取电动牙刷对每个刷牙区域的刷牙力度,再根据电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,确定每个刷牙区域的清洁力度,如果目标刷牙区域的清洁力度低于预设清洁程度,则输出第二提示信息。
在该可选的实现方式中,用户在使用电动牙刷刷牙的时候,对每个刷牙区域的刷牙时长最好保持在一定范围内,对每个刷牙区域的刷牙力度也最好保持在一定范围内,如果刷牙时长较长,或者刷牙力度较大,那么可能会对牙齿造成损害,如果刷牙时长较短,或者刷牙力度较小,那么可能对牙齿的清洁程度不够,此时就可以向用户输出提示信息,以提示用户提高对目标刷牙区域的清洁程度。
进一步的,当获取电动牙刷对每个刷牙区域的刷牙力度和刷牙时长时,还可以获取电动牙刷的累计使用次数,这样运动轨迹生成装置可以根据电动牙刷的累计使用次数、刷牙力度和刷牙时长,确定当前的使用寿命衰减情况,如果该使用寿命衰减情况达到预设衰减值,则输出第三提示信息。
需要说明的是,由于每个电动牙刷的刷头都是有寿命的,当刷头使用次数达到一定数量之后,就需要及时更换,因此当运动轨迹生成装置检测到使用寿命衰减情况达到预设衰减值时,就可以说明该电动牙刷的刷头需要更换了,此时就可以向用户输出提示信息,以提示用户对电动牙刷的刷头进行更换。
通过上述可选的实现方式,运动轨迹生成装置可以在计算运动轨迹的过程中,同时检测电动牙刷的刷头的力度以及寿命,并及时向用户输出提示信息,提高了运动轨迹生成装置以及电动牙刷的智能化程度。
实施例六
如图8所示,本申请实施例提供一种基于电动牙刷的运动轨迹生成装置,该电动牙刷中设置有姿态传感器和摄像头,该基于电动牙刷的运动轨迹生成装置包括:
获取模块801,用于通过姿态传感器实时获取电动牙刷的姿态信息,以及通过摄像头实时获取用户的面部图像;
处理模块802,用于在检测到电动牙刷的刷牙区域发生变化的情况下,根据刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,处理模块802,具体用于在根据姿态信息和/或面部图像判定电动牙刷的刷牙区域发生变化的情况下,根据刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,获取模块801,具体用于通过姿态传感器在第一周期获取电动牙刷的第一姿态信息,通过摄像头在第一周期获取用户的第一面部图像;
获取模块801,具体用于通过姿态传感器在第二周期获取电动牙刷的第二姿态信息,通过摄像头在第二周期获取用户的第二面部图像,第一周期与第二周期为相邻周期。
可选的,处理模块802,具体用于根据第一姿态信息和第一面部图像,确定在第一周期内,电动牙刷所在的刷牙区域为第一刷牙区域;
处理模块802,具体用于根据第二姿态信息和第二面部图像,确定在第二周期内,电动牙刷所在的刷牙区域为第二刷牙区域;
处理模块802,具体用于若第一刷牙区域和第二刷牙区域不同,且第一刷牙区域和第二刷牙区域为相邻区域,则根据第一姿态信息、第一面部图像、第二姿态信息和第二面部图像,获得电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,处理模块802,具体用于根据多个姿态信息确定姿态传感器的运动轨迹;
处理模块802,具体用于根据多个面部图像,确定摄像头的运动轨迹;
处理模块802,具体用于根据姿态传感器的运动轨迹和摄像头的运动轨迹,生成电动牙刷在刷牙区域发生变化的过程中的运动轨迹。
可选的,获取模块801,具体用于获取电动牙刷的刷头和姿态传感器之间的第一位置关系,以及电动牙刷的刷头和摄像头之间的第二位置关系;
处理模块802,具体用于根据姿态传感器的运动轨迹和第一位置关系,确定电动牙刷的刷头的第一运动轨迹;
处理模块802,具体用于根据摄像头的运动轨迹和第二位置关系,确定电动牙刷的刷头的第二运动轨迹;
处理模块802,具体用于将第一运动轨迹和第二运动轨迹进行融合,得到电动牙刷的刷头的运动轨迹;
处理模块802,具体用于将电动牙刷的刷头的运动轨迹,确定为电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,处理模块802,具体用于通过扩展卡尔曼滤波算法,将第一运动轨迹和第二运动轨迹进行融合,得到电动牙刷的刷头的运动轨迹。
可选的,获取模块801,具体用于根据多个面部图像,获取每个面部图像中的特征点;
处理模块802,具体用于将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与目标面部图像对应的运动轨迹;
处理模块802,具体用于将每个面部图像对应的运动轨迹进行拼接,得到摄像头的运动轨迹;
其中,上一面部图像为多个面部图像中,与目标面部图像相邻的前一帧面部图像;目标面部图像为多个面部图像中的任一帧面部图像。
可选的,处理模块802,具体用于通过光流算法,将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与目标面部图像对应的运动轨迹。
可选的,处理模块802,具体用于提取上一面部图像中的第一特征点的位置作为初始位置,以及提取目标面部图像中的第二特征点的位置作为终止位置,第一特征点和第二特征点为相同特征点;
处理模块802,具体用于根据初始位置和终止位置,确定与目标面部图像对应的运动轨迹。
可选的,处理模块802,还用于根据初始位置和终止位置,确定电动牙刷的移动距离;
处理模块802,还用于根据上一面部图像和目标面部图像之间的时间差以及移动距离,确定电动牙刷的移动速度;
处理模块802,还用于若移动速度大于预设速度阈值,则输出第一提示信息,第一提示信息用于提示用户当前电动牙刷的移动速度过快。
可选的,获取模块801,具体用于通过摄像头实时获取用户的初始图像;
处理模块802,具体用于对初始图像进行灰度处理,得到灰度图像;
处理模块802,具体用于对灰度图像进行二值化处理,得到二值化图像;
处理模块802,具体用于对二值化图像进行面部特征截取,得到用户的面部图像。
可选的,姿态传感器包括:加速度传感器以及角速度传感器,处理模块802,具体用于通过加速度传感器确定电动牙刷的加速度信息;
处理模块802,具体用于通过角速度传感器确定电动牙刷的角速度信息;
处理模块802,具体用于根据加速度信息以及角速度信息,确定电动牙刷的姿态信息。
可选的,获取模块801,还用于当检测到电动牙刷由工作状态切换为非工作状态时,获取电动牙刷在多个刷牙区域发生变化过程中的多个运动轨迹;
处理模块802,还用于根据多个运动轨迹,得到电动牙刷的移动数据;
该基于电动牙刷的运动轨迹生成装置还可以包括:
收发模块803,用于将移动数据上传至云服务器,和/或,将移动数据发送给与电动牙刷关联的终端设备。
可选的,收发模块803,还用于接收云服务器,和/或,终端设备发送的推送信息,推送信息为云服务器,和/或,终端设备根据移动数据得到的。
可选的,获取模块801,还用于获取电动牙刷多次工作中的多个移动数据;
处理模块802,还用于根据多个移动数据,得到用户的使用特征;
处理模块802,还用于根据使用特征,生成自动刷牙模式,以使得用户使用自动刷牙模式进行自动刷牙。
可选的,收发模块803,还用于将刷牙区域发生变化过程中的多个姿态信息和多个面部图像发送给与电动牙刷关联的终端设备,以使得终端设备根据刷牙区域发生变化过程中的多个姿态信息和多个面部图像生成电动牙刷在刷牙区域发生变化过程中的运动轨迹。
可选的,获取模块801,还用于通过压力传感器,实时获取电动牙刷对每个刷牙区域的刷牙力度;
处理模块802,还用于根据电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,确定每个刷牙区域的清洁程度;
处理模块802,还用于若目标刷牙区域的清洁程度低于预设清洁程度,则输出第二提示信息,第二提示信息用于提示用户提高对目标刷牙区域的清洁程度。
可选的,获取模块801,还用于获取电动牙刷的累计使用次数;
处理模块802,还用于根据电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,以及累计使用次数,确定电动牙刷的刷头的使用寿命衰减情况;
处理模块802,还用于若使用寿命衰减情况达到预设衰减值,则输出第三提示信息,第三提示信息用于提示用户对电动牙刷的刷头进行更换。
可选的,刷牙区域包括:上颌骨前颊表面、上颌骨前舌表面、上颌骨左颊表面、上颌骨左舌表面、上颌骨左咬合表面、上颌骨右颊表面、上颌骨右舌表面、上颌骨右咬合表面、下颌骨前颊表面、下颌骨前舌表面、下颌骨左颊表面、下颌骨左舌表面、下颌骨左咬合表面、下颌骨右颊表面、下颌骨右舌表面以及下颌骨咬合表面中的任一项。
本申请实施例中,各模块可以实现上述方法实施例提供的基于电动牙刷的运动轨迹生成方法,且能达到相同的技术效果,为避免重复,这里不再赘述。
如图9所示,本申请实施例还提供一种基于电动牙刷的运动轨迹生成装置,该电动牙刷中设置有姿态传感器和摄像头,该基于电动牙刷的运动轨迹生成装置可以包括:
存储有可执行程序代码的存储器901;
与存储器901耦合的处理器902;
其中,处理器902调用存储器901中存储的可执行程序代码,执行上述各方法实施例中基于电动牙刷的运动轨迹生成装置执行的基于电动牙刷的运动轨迹生成方法。
如图10所示,本申请实施例还提供一种电动牙刷,该电动牙刷可以包括:如图8或图9所示的运动轨迹生成装置。
本申请实施例提供一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本申请实施例还提供一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
Claims (24)
1.一种运动轨迹生成方法,其特征在于,应用于设置有姿态传感器和摄像头的电动牙刷,所述方法包括:
通过所述姿态传感器实时获取所述电动牙刷的姿态信息,以及通过所述摄像头实时获取用户的面部图像;
在检测到所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
2.根据权利要求1所述的方法,其特征在于,所述在检测到所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
在根据所述姿态信息和/或所述面部图像判定所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
3.根据权利要求1所述的方法,其特征在于,所述通过所述姿态传感器实时获取所述电动牙刷的姿态信息,通过所述摄像头实时获取用户的面部图像,包括:
通过所述姿态传感器在第一周期获取所述电动牙刷的第一姿态信息,通过所述摄像头在所述第一周期获取所述用户的第一面部图像;
通过所述姿态传感器在第二周期获取所述电动牙刷的第二姿态信息,通过所述摄像头在所述第二周期获取所述用户的第二面部图像,所述第一周期与所述第二周期为相邻周期。
4.权利要求3所述的方法,其特征在于,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
根据所述第一姿态信息和所述第一面部图像,确定在所述第一周期内,所述电动牙刷所在的刷牙区域为第一刷牙区域;
根据所述第二姿态信息和所述第二面部图像,确定在所述第二周期内,所述电动牙刷所在的刷牙区域为第二刷牙区域;
若所述第一刷牙区域和所述第二刷牙区域不同,且所述第一刷牙区域和所述第二刷牙区域为相邻区域,则根据所述第一姿态信息、所述第一面部图像、所述第二姿态信息和所述第二面部图像,获得所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
5.根据权利要求1所述的方法,其特征在于,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
根据所述多个姿态信息确定所述姿态传感器的运动轨迹;
根据所述多个面部图像,确定所述摄像头的运动轨迹;
根据所述姿态传感器的运动轨迹和所述摄像头的运动轨迹,生成所述电动牙刷在所述刷牙区域发生变化的过程中的运动轨迹。
6.根据权利要求5所述的方法,其特征在于,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹,包括:
获取所述电动牙刷的刷头和所述姿态传感器之间的第一位置关系,以及所述电动牙刷的刷头和所述摄像头之间的第二位置关系;
根据所述姿态传感器的运动轨迹和所述第一位置关系,确定所述电动牙刷的刷头的第一运动轨迹;
根据所述摄像头的运动轨迹和所述第二位置关系,确定所述电动牙刷的刷头的第二运动轨迹;
将所述第一运动轨迹和所述第二运动轨迹进行融合,得到所述电动牙刷的刷头的运动轨迹;
将所述电动牙刷的刷头的运动轨迹,确定为所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
7.根据权利要求6所述的方法,其特征在于,所述将所述第一运动轨迹和所述第二运动轨迹进行融合,得到所述电动牙刷的刷头的运动轨迹,包括:
通过扩展卡尔曼滤波算法,将所述第一运动轨迹和所述第二运动轨迹进行融合,得到所述电动牙刷的刷头的运动轨迹。
8.根据权利要求5所述的方法,其特征在于,所述根据所述多个面部图像,确定所述摄像头的运动轨迹,包括:
根据所述多个面部图像,获取每个面部图像中的特征点;
将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹;
将所述每个面部图像对应的运动轨迹进行拼接,得到所述摄像头的运动轨迹;
其中,所述上一面部图像为所述多个面部图像中,与所述目标面部图像相邻的前一帧面部图像;所述目标面部图像为所述多个面部图像中的任一帧面部图像。
9.根据权利要求8所述的方法,其特征在于,所述将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹,包括:
通过光流算法,将所述目标面部图像中的特征点与所述上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹。
10.根据权利要求8所述的方法,其特征在于,所述将目标面部图像中的特征点与上一面部图像中的特征点进行匹配,得到与所述目标面部图像对应的运动轨迹,包括:
提取所述上一面部图像中的第一特征点的位置作为初始位置,以及提取所述目标面部图像中的第二特征点的位置作为终止位置,所述第一特征点和所述第二特征点为相同特征点;
根据所述初始位置和所述终止位置,确定与所述目标面部图像对应的运动轨迹。
11.根据权利要求10所述的方法,其特征在于,所述提取所述上一面部图像中的第一特征点的位置作为初始位置,以及提取所述目标面部图像中的第二特征点的位置作为终止位置之后,所述方法还包括:
根据所述初始位置和所述终止位置,确定所述电动牙刷的移动距离;
根据所述上一面部图像和所述目标面部图像之间的时间差以及所述移动距离,确定所述电动牙刷的移动速度;
若所述移动速度大于预设速度阈值,则输出第一提示信息,所述第一提示信息用于提示用户当前电动牙刷的移动速度过快。
12.根据权利要求1所述的方法,其特征在于,所述通过所述摄像头实时获取用户的面部图像,包括:
通过所述摄像头实时获取用户的初始图像;
对所述初始图像进行灰度处理,得到灰度图像;
对所述灰度图像进行二值化处理,得到二值化图像;
对所述二值化图像进行面部特征截取,得到所述用户的面部图像。
13.根据权利要求1所述的方法,其特征在于,所述姿态传感器包括:加速度传感器以及角速度传感器,所述通过所述姿态传感器实时获取所述电动牙刷的姿态信息,包括:
通过所述加速度传感器确定所述电动牙刷的加速度信息;
通过所述角速度传感器确定所述电动牙刷的角速度信息;
根据所述加速度信息以及所述角速度信息,确定所述电动牙刷的姿态信息。
14.根据权利要求1所述的方法,其特征在于,所述根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹之后,所述方法还包括:
当检测到所述电动牙刷由工作状态切换为非工作状态时,获取所述电动牙刷在多个所述刷牙区域发生变化过程中的多个运动轨迹;
根据所述多个运动轨迹,得到所述电动牙刷的移动数据;
将所述移动数据上传至云服务器,和/或,将所述移动数据发送给与所述电动牙刷关联的终端设备。
15.根据权利要求14所述的方法,其特征在于,所述将所述移动数据上传至云服务器,和/或,将所述移动数据发送给与所述电动牙刷关联的终端设备之后,所述方法还包括:
接收所述云服务器,和/或,所述终端设备发送的推送信息,所述推送信息为所述云服务器,和/或,所述终端设备根据所述移动数据得到的。
16.根据权利要求14所述的方法,其特征在于,所述根据所述多个运动轨迹,得到所述电动牙刷的移动数据之后,所述方法还包括:
获取所述电动牙刷多次工作中的多个移动数据;
根据所述多个移动数据,得到所述用户的使用特征;
根据所述使用特征,生成自动刷牙模式,以使得用户使用所述自动刷牙模式进行自动刷牙。
17.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述刷牙区域发生变化过程中的多个姿态信息和多个面部图像发送给与所述电动牙刷关联的终端设备,以使得所述终端设备根据所述刷牙区域发生变化过程中的多个姿态信息和多个面部图像生成所述电动牙刷在所述刷牙区域发生变化过程中的所述运动轨迹。
18.根据权利要求1所述的方法,其特征在于,所述电动牙刷的刷头处设置有压力传感器,所述方法还包括:
通过所述压力传感器,实时获取所述电动牙刷对每个刷牙区域的刷牙力度;
根据所述电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,确定每个刷牙区域的清洁程度;
若目标刷牙区域的清洁程度低于预设清洁程度,则输出第二提示信息,所述第二提示信息用于提示用户提高对所述目标刷牙区域的清洁程度。
19.根据权利要求18所述的方法,其特征在于,所述方法还包括:
获取所述电动牙刷的累计使用次数;
根据所述电动牙刷对每个刷牙区域的刷牙力度和刷牙时长,以及所述累计使用次数,确定所述电动牙刷的刷头的使用寿命衰减情况;
若所述使用寿命衰减情况达到预设衰减值,则输出第三提示信息,所述第三提示信息用于提示用户对所述电动牙刷的刷头进行更换。
20.根据权利要求1至19任一项所述的方法,其特征在于,所述刷牙区域包括:上颌骨前颊表面、上颌骨前舌表面、上颌骨左颊表面、上颌骨左舌表面、上颌骨左咬合表面、上颌骨右颊表面、上颌骨右舌表面、上颌骨右咬合表面、下颌骨前颊表面、下颌骨前舌表面、下颌骨左颊表面、下颌骨左舌表面、下颌骨左咬合表面、下颌骨右颊表面、下颌骨右舌表面以及下颌骨咬合表面中的任一项。
21.一种基于电动牙刷的运动轨迹生成装置,其特征在于,所述电动牙刷中设置有姿态传感器和摄像头,包括:
获取模块,用于通过所述姿态传感器实时获取所述电动牙刷的姿态信息,以及通过所述摄像头实时获取用户的面部图像;
处理模块,用于在检测到所述电动牙刷的刷牙区域发生变化的情况下,根据所述刷牙区域发生变化的过程中的多个姿态信息和多个面部图像,生成所述电动牙刷在所述刷牙区域发生变化过程中的运动轨迹。
22.一种基于电动牙刷的运动轨迹生成装置,其特征在于,所述电动牙刷中设置有姿态传感器和摄像头,包括:
存储有可执行程序代码的存储器;
以及所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行如权利要求1至20任一项所述的运动轨迹生成方法。
23.一种电动牙刷,其特征在于,所述电动牙刷中设置有姿态传感器和摄像头,所述电动牙刷包括:如权利要求21或权利要求22所述的基于电动牙刷的运动轨迹生成装置。
24.一种计算机可读存储介质,其特征在于,包括:所述计算机可读存储介质上存储计算机指令,所述计算机指令被处理器执行时实现如权利要求1至20任一项所述的基于电动牙刷的运动轨迹生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111618050.2A CN114387295A (zh) | 2021-12-25 | 2021-12-25 | 运动轨迹生成方法、装置、电动牙刷及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111618050.2A CN114387295A (zh) | 2021-12-25 | 2021-12-25 | 运动轨迹生成方法、装置、电动牙刷及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114387295A true CN114387295A (zh) | 2022-04-22 |
Family
ID=81197305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111618050.2A Pending CN114387295A (zh) | 2021-12-25 | 2021-12-25 | 运动轨迹生成方法、装置、电动牙刷及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387295A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115300155A (zh) * | 2022-07-22 | 2022-11-08 | 深圳市云顶信息技术有限公司 | 牙刷的工作区域识别方法、装置、电动牙刷和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017006338A (ja) * | 2015-06-19 | 2017-01-12 | オムロンヘルスケア株式会社 | 電動歯ブラシ装置 |
CN106333480A (zh) * | 2016-11-02 | 2017-01-18 | 郑洪� | 刷牙监测设备、刷牙监测方法及刷牙监测*** |
US20180168787A1 (en) * | 2016-12-21 | 2018-06-21 | National Yang-Ming University | Jaw Motion Tracking System And Operating Method Using The Same |
US20180193122A1 (en) * | 2015-06-18 | 2018-07-12 | Colgate-Palmolive Company | Electric Toothbrush Device and Method |
CN108814747A (zh) * | 2018-05-04 | 2018-11-16 | 广东小天才科技有限公司 | 一种智能电动牙刷及其控制方法 |
US20190254413A1 (en) * | 2018-02-20 | 2019-08-22 | Dov Jacobson | Toothbrush Tracking Apparatus and Method |
CN110495962A (zh) * | 2019-08-26 | 2019-11-26 | 赫比(上海)家用电器产品有限公司 | 监测牙刷位置的方法及其牙刷和设备 |
CN112051868A (zh) * | 2020-09-10 | 2020-12-08 | 湖北咿呀医疗投资管理股份有限公司 | 智能电动牙刷轨迹的定位方法及*** |
CN112184010A (zh) * | 2020-09-27 | 2021-01-05 | 北京斯年智驾科技有限公司 | 刷牙效果评估方法、装置、***、电子装置和存储介质 |
CN112883913A (zh) * | 2021-03-19 | 2021-06-01 | 珠海优德科技有限公司 | 一种儿童刷牙训练教导***和方法及电动牙刷 |
CN112990321A (zh) * | 2021-03-19 | 2021-06-18 | 有品国际科技(深圳)有限责任公司 | 基于树状网络的刷牙区域识别方法、装置、牙刷及介质 |
US11116309B1 (en) * | 2017-11-15 | 2021-09-14 | Colgate-Palmolive Company | System and method for assessing toothbrush effectiveness |
CN113516175A (zh) * | 2021-06-04 | 2021-10-19 | 有品国际科技(深圳)有限责任公司 | 刷牙区域的识别方法、装置、刷牙设备和存储介质 |
CN113729388A (zh) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | 控制牙刷的方法、智能牙刷及牙刷*** |
-
2021
- 2021-12-25 CN CN202111618050.2A patent/CN114387295A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180193122A1 (en) * | 2015-06-18 | 2018-07-12 | Colgate-Palmolive Company | Electric Toothbrush Device and Method |
JP2017006338A (ja) * | 2015-06-19 | 2017-01-12 | オムロンヘルスケア株式会社 | 電動歯ブラシ装置 |
CN106333480A (zh) * | 2016-11-02 | 2017-01-18 | 郑洪� | 刷牙监测设备、刷牙监测方法及刷牙监测*** |
US20180168787A1 (en) * | 2016-12-21 | 2018-06-21 | National Yang-Ming University | Jaw Motion Tracking System And Operating Method Using The Same |
US11116309B1 (en) * | 2017-11-15 | 2021-09-14 | Colgate-Palmolive Company | System and method for assessing toothbrush effectiveness |
US20190254413A1 (en) * | 2018-02-20 | 2019-08-22 | Dov Jacobson | Toothbrush Tracking Apparatus and Method |
CN108814747A (zh) * | 2018-05-04 | 2018-11-16 | 广东小天才科技有限公司 | 一种智能电动牙刷及其控制方法 |
CN110495962A (zh) * | 2019-08-26 | 2019-11-26 | 赫比(上海)家用电器产品有限公司 | 监测牙刷位置的方法及其牙刷和设备 |
CN113729388A (zh) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | 控制牙刷的方法、智能牙刷及牙刷*** |
CN112051868A (zh) * | 2020-09-10 | 2020-12-08 | 湖北咿呀医疗投资管理股份有限公司 | 智能电动牙刷轨迹的定位方法及*** |
CN112184010A (zh) * | 2020-09-27 | 2021-01-05 | 北京斯年智驾科技有限公司 | 刷牙效果评估方法、装置、***、电子装置和存储介质 |
CN112883913A (zh) * | 2021-03-19 | 2021-06-01 | 珠海优德科技有限公司 | 一种儿童刷牙训练教导***和方法及电动牙刷 |
CN112990321A (zh) * | 2021-03-19 | 2021-06-18 | 有品国际科技(深圳)有限责任公司 | 基于树状网络的刷牙区域识别方法、装置、牙刷及介质 |
CN113516175A (zh) * | 2021-06-04 | 2021-10-19 | 有品国际科技(深圳)有限责任公司 | 刷牙区域的识别方法、装置、刷牙设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
宋丽梅等: "机器视觉与机器学习", 31 May 2020, 机械工业出版社, pages: 14 - 21 * |
宋立飞等: "多尺度输入3D卷积融合双流模型的行为识别方法", 计算机辅助设计与图形学学报, no. 11, 15 November 2018 (2018-11-15), pages 99 - 108 * |
张献珍;: "口腔正畸临床摄影中常见问题及护理干预", 临床医学工程, no. 03, 15 March 2010 (2010-03-15), pages 110 - 112 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115300155A (zh) * | 2022-07-22 | 2022-11-08 | 深圳市云顶信息技术有限公司 | 牙刷的工作区域识别方法、装置、电动牙刷和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106037651B (zh) | 一种心率检测方法及*** | |
CN104142583A (zh) | 一种具有眨眼检测功能的智能眼镜及实现方法 | |
CN108665476A (zh) | 一种行人跟踪方法以及电子设备 | |
CN106910322B (zh) | 一种基于立体视觉和行为分析的头戴式预防近视装置 | |
CN104834896A (zh) | 一种信息采集方法及其终端 | |
CN114387295A (zh) | 运动轨迹生成方法、装置、电动牙刷及存储介质 | |
CN109168052A (zh) | 服务满意度的确定方法、装置及计算设备 | |
CN112484747B (zh) | 计步方法、计步装置及存储介质 | |
RU2747010C2 (ru) | Система и способ для обнаружения перемещения пользователя устройства для ухода за полостью рта и предоставления обратной связи | |
JP2002277239A (ja) | 距離測定装置 | |
EP3776143B1 (en) | Head-mounted display and method to reduce visually induced motion sickness in a connected remote display | |
CN105872729A (zh) | 识别操作事件的方法和装置 | |
CN113554726A (zh) | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 | |
CN109753158B (zh) | 一种vr设备延时的确定方法及控制终端 | |
CN113219476B (zh) | 测距方法、终端及存储介质 | |
CN105391924A (zh) | 一种数据处理方法及终端 | |
CN103984857A (zh) | 一种帕金森病情监控***和方法 | |
FR2479477A1 (fr) | Procede pour compter les objets ou personnes s'arretant en un lieu | |
Essalat et al. | Monitoring brushing behaviors using toothbrush embedded motion-sensors | |
US20160037903A1 (en) | Systems, methods and apparatus for tracking a toothbrush | |
CN109121194B (zh) | 用于电子设备的状态转换的方法和装置 | |
WO2019025729A1 (fr) | Analyse d'un mouvement et/ou d'une posture d'au moins une partie du corps d'un individu | |
CN114279330A (zh) | 一种高速调制与同步采集关联成像方法及*** | |
CN114159075A (zh) | Qrs波优化装置、***及存储介质 | |
CN117237786B (zh) | 评价数据获取方法、装置、***、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |