CN109659006B - 面肌训练方法、装置及电子设备 - Google Patents

面肌训练方法、装置及电子设备 Download PDF

Info

Publication number
CN109659006B
CN109659006B CN201811506296.9A CN201811506296A CN109659006B CN 109659006 B CN109659006 B CN 109659006B CN 201811506296 A CN201811506296 A CN 201811506296A CN 109659006 B CN109659006 B CN 109659006B
Authority
CN
China
Prior art keywords
current
point group
coordinate difference
difference value
action completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811506296.9A
Other languages
English (en)
Other versions
CN109659006A (zh
Inventor
蒋晟
吴剑煌
胡庆茂
王玲
钟卫正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811506296.9A priority Critical patent/CN109659006B/zh
Publication of CN109659006A publication Critical patent/CN109659006A/zh
Priority to PCT/CN2019/124202 priority patent/WO2020119665A1/zh
Application granted granted Critical
Publication of CN109659006B publication Critical patent/CN109659006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出了一种面肌训练方法、装置及电子设备，涉及虚拟康复训练领域，该方法包括：获取目标人脸的至少一个特征点组，其中，每个特征点组包含两个特征点；计算至少一个特征点组所对应的当前坐标差值，其中，当前坐标差值为至少一个特征点组在当前帧图片中的坐标差值；依据当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度，其中，初始坐标差值表征至少一个特征点组在初始状态下的坐标差值；当当前动作完成度大于预设的动作完成度阈值时，确定当前训练动作完成。本发明实施例所提供的一种面肌训练方法、装置及电子设备，能够在用户进行面肌训练时，反馈当前训练动作是否完成，确保面肌训练质量。

Description

面肌训练方法、装置及电子设备
技术领域
本发明涉及虚拟康复训练领域，具体而言，涉及一种面肌训练方法、装置及电子设备。
背景技术
面瘫会使患者口斜眼歪，影响患者正常表情的表达，甚至会影响患者仪容仪表形象，对患者心理健康产生极大的负面影响，对患者的社会交往产生阻碍。我国面瘫患者众多，受面瘫危害非常严重，发病率呈逐年上升趋势，面瘫患者各个年龄段都有，由于年轻人社会工作压力的增大，发病呈年轻化趋势。
面瘫患者若能及早发现，及时治疗的话，是可以使面瘫完全康复的。面肌功能康复训练一般是通过患者自身对面部眼部、额头、嘴巴、鼻部等进行力量性锻炼的主动式康复训练，需要患者需每天坚持进行一定量的面肌功能康复训练，做出例如抬眉、皱眉、闭眼、耸鼻、示齿、噘嘴等动作。
发明内容
本发明的目的在于提供一种面肌训练方法、装置及电子设备，能够在用户进行面肌训练时，反馈当前训练动作是否完成，确保面肌训练质量。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种面肌训练方法，所述方法包括：获取目标人脸的至少一个特征点组，其中，每个所述特征点组包含两个特征点；计算所述至少一个特征点组所对应的当前坐标差值，其中，所述当前坐标差值为所述至少一个特征点组在当前帧图片中的坐标差值；依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度，其中，所述初始坐标差值表征所述至少一个特征点组在初始状态下的坐标差值；当所述当前动作完成度大于预设的动作完成度阈值时，确定当前训练动作完成。
第二方面，本发明实施例提供了一种面肌训练装置，所述装置包括：特征点组提取模块，用于获取目标人脸的至少一个特征点组，其中，每个所述特征点组包含两个特征点；坐标差值计算模块，用于计算所述至少一个特征点组所对应的当前坐标差值，其中，所述当前坐标差值为所述至少一个特征点组在当前帧图片中的坐标差值；动作完成度计算模块，用于依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度，其中，所述初始坐标差值表征所述至少一个特征点组在初始状态下的坐标差值；判断模块，用于判断所述当前动作完成度是否大于预设的动作完成度阈值，其中，当所述当前动作完成度大于预设的动作完成度阈值时，确定当前训练动作完成。
第三方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器，用于存储一个或多个程序；处理器。当所述一个或多个程序被所述处理器执行时，实现上述的面肌训练方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的面肌训练方法。
相对于现有技术，本发明实施例所提供的一种面肌训练方法、装置及电子设备，通过由目标人脸的至少一个特征点组，在计算得到该至少一个特征点组在当前帧图片中对应的当前坐标差值后，由当前坐标差值和初始坐标差值以及预设的动作完成值生成当前动作完成度，进而由该当前动作完成度判断用户是否完成了当前训练动作，相比于现有技术，能够在用户进行面肌训练时，反馈当前训练动作是否完成，确保面肌训练质量。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1示出了本发明实施例所提供的一种电子设备的一种示意性结构图；
图2示出了本发明实施例所提供的一种面肌训练方法的一种示意性流程图；
图3为人脸特征点集分布模型的一种示意图；
图4为图2中S300的子步骤的一种示意性流程图；
图5为图2中S500的子步骤的一种示意性流程图；
图6为图2中S400的子步骤的一种示意性流程图；
图7为脸部定位点组构成多边形的一种示意图；
图8为脸部定位点组构成多边形的另一种示意图；
图9为图6中S420的子步骤的一种示意性流程图；
图10示出了本发明实施例所提供的一种面肌训练方法的一种示意性完成流程图；
图11示出了本发明实施例所提供的一种面肌训练装置的一种示意性结构图；
图12示出了本发明实施例所提供的一种面肌训练装置的坐标差值计算模块一种示意性结构图；
图13示出了本发明实施例所提供的一种面肌训练装置的动作完成度计算模块一种示意性结构图；
图14示出了本发明实施例所提供的一种面肌训练装置的预设动作完成值更新模块一种示意性结构图；
图15示出了本发明实施例所提供的一种面肌训练装置的动作完成值更新单元一种示意性结构图。
图中：10-电子设备；110-存储器；120-处理器；130-存储控制器；140-外设接口；150-射频单元；160-通讯总线/信号线；170-摄像单元；180-显示单元；200-面肌训练装置；210-特征点组提取模块；220-图片分辨率调整模块；230-坐标差值计算模块；231-子坐标差值计算单元；232-当前坐标差值计算单元；240-预设动作完成值更新模块；241-多边形面积计算单元；242-动作完成值更新单元；2421-商值计算子单元；2422-完成值更新子单元；250-动作完成度计算模块；251-动作完成值计算单元；252-动作完成度计算单元；260-判断模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
当前现有技术对于面肌功能康复训练的方法主要采用传统的镜面疗法，也就是在患者面前放置一面镜子，患者通过镜子观察自己脸部的状态，从观察脸部动作的具体细节情况，从而获得反馈训练的成果，进而完成面肌功能的康复训练。
面肌训练能够有效促进面肌运动功能的恢复，提升面瘫康复治疗效果。上述传统的镜面疗法虽然操作简单，对于患者来讲实现起来也非常便捷容易，但由于镜子不会给患者反馈患者训练动作执行的程度是否达到康复训练的要求；并且由于采用镜面疗法时，镜子与患者不会有任何互动，导致训练过程较为单调乏味，很容易使患者对康复训练丧失兴趣，导致康复训练效果较差。
基于上述现有技术存在的缺陷，本发明实施例所提供的一种改进方式在于：通过由目标人脸的至少一个特征点组，在计算得到该至少一个特征点组在当前帧图片中对应的当前坐标差值后，由当前坐标差值和初始坐标差值以及预设的动作完成值生成当前动作完成度，进而由该当前动作完成度判断用户是否完成了当前训练动作。
请参阅图1，图1示出了本发明实施例所提供的一种电子设备10的一种示意性结构图，在本发明实施例中，所述电子设备10可以是，但不限于智能手机、个人电脑(personalcomputer，PC)、平板电脑、膝上型便携计算机、个人数字助理(personal digitalassistant，PDA)等等。所述电子设备10包括存储器110、存储控制器130、一个或多个(图中仅示出一个)处理器120、外设接口140、射频单元150、摄像单元170、显示单元180等。这些组件通过一条或多条通讯总线/信号线160相互通讯。
存储器110可用于存储软件程序以及模组，如本发明实施例所提供的面肌训练装置200对应的程序指令/模组，处理器120通过运行存储在存储器110内的软件程序以及模组，从而执行各种功能应用以及图像处理，如本发明实施例所提供的面肌训练方法。
其中，所述存储器110可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。
外设接口140将各种输入/输入装置耦合至处理器120以及存储器110。在一些实施例中，外设接口140，处理器120以及存储控制器130可以在单个芯片中实现。在本发明其他的一些实施例中，他们还可以分别由独立的芯片实现。
射频单元150用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。
摄像单元170用于拍摄图片，以使处理器120对拍摄的照片进行处理。
显示单元180用于为用户提供图形输出界面，显示图像信息，以供用户进行面肌训练。
可以理解，图1所示的结构仅为示意，电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
比如，对于上述电子设备10，其包含的部分单元或器件可以作为独立的设备存在。例如，在本发明实施例其他的一些实施方式中，电子设备10还可以不包含有摄像单元170，而采用电子设备10与一摄像设备建立通信的方案进行实现，摄像设备用于拍摄图片，例如拍摄患者的照片，然后再将拍摄的图片通过有线或者无线网络的方式发送给电子设备10以用于实现本发明实施例所提供的面肌训练方法。
可选地，在本发明实施例其他的一些实施方式中，电子设备10还可以不包含有显示单元180，而采用电子设备10与一显示设备建立通信的方式进行实现，由电子设备10通过有线或者无线网络的方式将训练时的图像信息发送给显示设备，以供用户参照图像信息完成面肌训练。
请参阅图2，图2示出了本发明实施例所提供的一种面肌训练方法的一种示意性流程图，在本发明实施例中，该面肌训练方法包括以下步骤：
S100，获取目标人脸的至少一个特征点组。
面肌训练时，电子设备10根据用户的场景选择信息确定至少一个特征点组，其中，每个特征点组包含有两个特征点，且在电子设备10中，预先配置有每个特征点组所包含的两个特征点的信息，当电子设备10根据用户的场景选择信息确定出至少一个特征点组时，电子设备10同时也确定出了所有参与面肌训练的特征点。
其中，用户的场景选择信息表征至少一个特征点组对应的训练场景，在电子设备10中，预设有多个训练场景，以及每个训练场景与各自对应的特征点组的对应关系，当电子设备10接收到用户所选择的训练场景时，即以该训练场景作为用户的场景选择信息，并依据所选择的训练场景和预设的每个训练场景与各自对应的特征点组的对应关系，确定出与用户的场景选择信息所对应的特征点组。
比如，假定电子设备10中预设有抬眉、皱眉、闭眼、耸鼻、示齿、噘嘴这六个训练场景，且预设的每个训练场景与各自对应的特征点组的对应关系为：抬眉对应特征点组1，皱眉对应特征点组2和特征点组3，闭眼对应特征点组4、特征点组5及特征点组6，耸鼻对应特征点组7，示齿对应特征点组8和特征点组9，噘嘴对应特征点组10、特征点组11及特征点组12；当电子设备10接收用户的场景选择信息为抬眉时，则结合抬眉及预设的对应关系，确定出的至少一个特征点组为特征点组1；当电子设备10接收用户的场景选择信息为闭眼时，则结合闭眼及预设的对应关系，确定出的至少一个特征点组为特征点组4、特征点组5及特征点组6。
S300，计算至少一个特征点组所对应的当前坐标差值。
在对用户进行面肌训练时，电子设备10通过对采集的用户图片进行处理，以判断用户是否完成所选定的训练场景。因此，在电子设备10获取到至少一个特征点组后，依据所获取到的至少一个特征点组，由每个特征点组包含的所有特征点各自在当前帧图片中的当前坐标值，计算该至少一个特征点组所对应的当前坐标差值，其中，当前帧图片中建立有坐标系，每个特征点在建立的坐标系下各自具有对应的当前坐标值。
其中，每个特征点在当前帧图片中的当前坐标值可以利用预设在电子设备10中的特征点集模型获得。比如，请参阅图3，图3为人脸特征点集分布模型的一种示意图，该人脸模型特征点集包含的所有特征点分布可以由Dlib开源库获得，电子设备10在获得目标人脸的至少一个特征点组后，则结合该人脸特征点集分布模型，以及结合Dlib开源库，即可得到每个特征点在当前帧图片中的当前坐标值，进而可以计算得到该至少一个特征点组所对应的当前坐标差值。
例如，以左脸部分训练耸鼻动作为例，假定在如图3所示的人脸模型中，左脸部分耸鼻对应的一个特征点组，其所包含的两个特征点分别为特征点31和特征点27，且特征点31在当前帧图片中的当前坐标值为D31(x31,y31)，特征点27在当前帧图片中的当前坐标值为D27(x27,y27)，则此时得到的当前坐标差值可计算为Δ27-31＝y27-y31。
可选地，在本发明实施例的一些应用场景中，所获取得到的至少一个特征点组中，包括有至少两个特征点组，比如在上述实例中，皱眉对应特征点组2和特征点组3，闭眼对应特征点组4、特征点组5及特征点组6。因此，作为一种实施方式，请参阅图4，图4为图2中S300的子步骤的一种示意性流程图，在本发明实施例中，S300包括以下子步骤：
S310，分别计算至少两个特征点组中每个特征点组各自对应的坐标差值。
当电子设备10根据用户的场景选择信息获取到目标人脸的至少两个特征点组时，则先分别计算至少两个特征点组中的每个特征点组各自对应的坐标差值。比如在上述实例中，在训练皱眉时，确定出的特征点组包括特征点组2和特征点组3，在此时，则先分别计算得到特征点组2对应的坐标差值Δ2和特征点组3对应的坐标差值Δ3。
S320，依据所有特征点组各自对应的坐标差值，生成当前坐标差值。
如上述实例中，当确定出的特征点组包括特征点组2和特征点组3，且，分别计算得到了特征点组2对应的坐标差值Δ2和特征点组3对应的坐标差值Δ3，电子设备10再依据特征点组2和特征点组3各自对应的坐标差值，即坐标差值Δ2和坐标差值Δ3，生成当前坐标差值。
可选地，作为一种实施方式，生成当前坐标差值的方式可以采用求取所有特征点组各自对应的坐标差值的算术平均值。比如在上述实例中，当前坐标差值
Figure BDA0001899530810000111
值得说明的是，在本发明实施例其他的一些实施方式中，还可以采用求取几何平均值的方式生成当前坐标差值，比如在上述实例中，当前坐标差值
Figure BDA0001899530810000112
可选地，当电子设备10获得的当前帧图片的数据量较大时，电子设备10计算当前坐标差值的效率会降低。因此，作为一种实施方式，在执行S300之前，该面肌训练方法还包括：
S200，降低当前帧图片的分辨率。
电子设备10在计算至少一个特征点组在当前帧图片中的当前坐标差值前，先降低当前帧图片的分辨率，进而降低了当前帧图片的数据大小，以使S300中采用降低分辨率后的当前帧图片用于计算上述至少一个特征点组所对应的当前坐标差值，提升了电子设备10的运算速率。
可选地，作为一种实施方式，电子设备10降低当前帧图片的分辨率的方式可以采用：将当前帧图片的在宽度方向和高度方向的像素大小均缩小一半，以降低当前帧图片的分辨率。
并且，可选地，作为一种实施方式，电子设备10在对用户进行面肌训练时，可以采取每连续的两帧图片只取一帧进行图像处理，而放弃对另一帧图片进行处理的方式，来提升电子设备10对连续的多帧图片进行处理的速度。
基于上述设计，本发明实施例所提供的一种面肌训练方法，通过降低当前帧图片的分辨率，以使降低分辨率后的当前帧图片用于计算至少一个特征点组在当前帧图片中所对应的当前坐标差值，从而降低了面肌训练时对当前帧图片的数据计算量，进而提升了面肌训练时对图片的处理速度。
请继续参阅图2，S500，依据当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度。
在对用户进行面肌训练前，电子设备10需要确定出初始坐标差值，该初始坐标差值表征上述至少一个特征点组在初始状态下的坐标差值，该初始状态可以理解为用户在没有进行面肌训练前的脸部状态，比如假定当前用户进行面肌训练的内容为抬眉，初始状态则为用户抬眉前的脸部状态，一般为用户处于表情自然时的脸部状态。
可选地，作为一种实施方式，该初始坐标差值为上述至少一个特征点组在预设帧图片中的坐标差值。也就是说，用户在使用电子设备10进行面肌训练前，由电子设备10获取一张预设帧图片作为用户在初始状态下的脸部状态，然后电子设备10再计算上述的至少一个特征点组在该预设帧图片中的坐标差值，作为初始坐标差值。
并且，可选地，作为一种实施方式，在每一次进行面肌训练时，电子设备10可重新获取新的预设帧图片用于计算初始坐标差值，比如，在一个循环中，电子设备10用于对用户进行抬眉训练时，电子设备10采用第一预设帧图片用于计算在训练抬眉时的初始坐标差值，而在另一个循环中，当电子设备10用于对用户进行耸鼻训练时，电子设备10则采用第二预设帧图片用于计算在耸鼻训练时的初始坐标差值。
值得说明的是，在本发明实施例其他的一些实施方式中，还可以采用在电子设备10中预设固定值的方式作为初始坐标差值，则此时在所有训练循环中，对于相同的训练场景，比如在多次循环训练耸鼻时，所有的初始坐标差值均相同。并且，对于不同的训练场景，比如训练耸鼻和训练示齿时，初始坐标差值还可以设置为不同，这取决于用户对不同的训练场景所设定的初始坐标差值。
并且，电子设备10在得到上述的当前坐标差值后，依据该当前坐标差值结合初始坐标差值以及预设的动作完成值，计算生成当前动作完成度，该当前动作完成度表征用户对当前面肌训练动作的完成程度。
可选地，作为一种实施方式，请参阅图5，图5为图2中S500的子步骤的一种示意性流程图，在本发明实施例中，S500包括以下子步骤：
S510，依据当前坐标差值和初始坐标差值，生成当前动作完成值。
可选地，作为一种实施方式，采用计算当前坐标差值与初始坐标差值两者的差值，作为当前动作完成值。也就是说，当前动作完成值Dt＝|Δt-Δ0|，其中，Dt为当前动作完成值，Δt为当前坐标差值，Δ0为初始坐标差值。
值得说明的是，在本发明实施例其他的一些实施方式中，还可以采用其他的方式依据当前坐标差值和初始坐标差值来得到当前动作完成值，比如采用计算当前坐标差值与初始坐标差值两者的商，作为当前动作完成值。
S520，依据当前动作完成值和预设的动作完成值，生成当前动作完成度。
可选地，作为一种实施方式，采用计算当前动作完成值和预设的动作完成值两者的商，作为当前动作完成度。也就是说，当前动作完成度
Figure BDA0001899530810000141
其中，Vt为当前动作完成度，Dt为当前动作完成值，D0为预设的动作完成值。
值得说明的是，在本发明实施例其他的一些实施方式中，还可以采用其他的方式依据当前动作完成值和预设的动作完成值来得到当前动作完成度，比如采用计算当前动作完成值与预设的动作完成值两者的差值，作为当前动作完成度。
一般来说，不同的用户，或者是同一用户在不同时刻，电子设备10与用户脸部之间的距离可能随时会发生变化，而在电子设备10中，上述预设的动作完成值为固定大小的值，而当电子设备10与用户脸部之间的距离发生变化时，目标人脸不同帧图片中所呈现的大小可能是不同的，尤其是在不同训练循环中所使用的图片，这就导致了当前动作完成度会受到电子设备10与用户脸部之间的距离的影响。
因此，作为一种实施方式，在执行S500之前，该面肌训练方法还包括：
S400，依据在当前帧图片获取的脸部定位点组，更新预设的动作完成值。
在面肌训练时，电子设备10还选定有脸部定位点组，该脸部定位点组包括至少有两个特征点，比如可以包含有两个特征点，也可以包含三个特征点或者是四个特征点，还可以是包含五个特征点甚至是更多的特征点。通过该脸部定位点组包含的所有特征点在当前帧图片中的位置信息，进而更新预设的动作完成值，以使更新后的动作完成值用于计算生成当前动作完成度，进而减小电子设备10与用户脸部之间的距离对当前动作完成度的影响。
可选地，作为一种实施方式，请参阅图6，图6为图2中S400的子步骤的一种示意性流程图，在本发明实施例中，S400包括以下子步骤：
S410，计算脸部定位点组包含的所有特征点在当前帧图片中所构成的当前多边形面积。
在更新预设的动作完成值时，由脸部定位点组包含的所有特征点构成一个多边形面积，由于每个特征点在当前帧图片中建立的坐标系下各自具有唯一的坐标，则依据每个特征点各自的坐标值，计算得到脸部定位点组包含的所有特征点所构成的多边形对应的当前多边形面积。
其中，脸部定位点组包含的所有特征点的可以采用预设特征点的方式选定，比如在如图3所示的示意图中，预设特征点0和特征点8组合为脸部定位点组，或者是，预设特征点1、特征点9和特征点26作为脸部特征点组，只要能够确定至少两个特征点组合构成脸部定位点组即可，比如，在如图3所示的示意图中，还可以选定特征点3、特征点5、特征点24及特征点15构成脸部定位点组，或者是包括有更多的特征点。
并且，由脸部定位点组包含的所有特征点构成一个多边形的方式可以如图7所示，当脸部定位点组只包含有两个特征点时，比如图7中的特征点0和特征点8，假定特征点0在当前帧图片中的坐标为D0(x0,y0)，特征点8在当前帧图片中的坐标为D8(x8,y8)，则此时可以沿特征点0分别作平行于x轴的直线X0及平行于y轴的直线Y0，同理沿特征点8分别作平行于x轴的直线X8及平行于y轴的直线Y8，由X0、Y0、X8及Y8所围成的矩形作为脸部特征点组包含的所有特征点在当前帧图片中所构成的多边形。
当然，在如图7所示的示意图中，还可以采用其他的方式构成多边形，比如连接特征点0及特征点8得到直线l0-8，由直线l0-8与直线Y0及直线X8所围成三角形作为脸部特征点组包含的所有特征点在当前帧图片中所构成的多边形。
当脸部定位点组包含的特征点的数量超过两个时，比如包含有三个特征点时，由脸部定位点组包含的所有特征点构成一个多边形的方式可以如图8所示，假定此时脸部定位点组包含有特征点0、特征点8及特征点16这三个特征点，且特征点0在当前帧图片中的坐标为D0(x0,y0)，特征点8在当前帧图片中的坐标为D8(x8,y8)，特征点16在当前帧图片中的坐标为D16(x16,y16)，同样沿特征点0分别作平行于x轴的直线X0及平行于y轴的直线Y0，沿特征点8作平行于x的直线X8，沿特征点16作平行于y轴的直线Y16，由X0、Y0、X8及Y16所围成的矩形则可作为脸部特征点组包含的所有特征点在当前帧图片中所构成的多边形。
如图8所示的示意图中，还可以采用将特征点0、特征点8及特征点16依次连接所构成的三角形作为脸部特征点组包含的所有特征点在当前帧图片中所构成的多边形。
可以理解，上述构成多边形的方式仅为示意，多边形的构成的方式还可以采用其他的方案，比如将多个特征点分别取坐标平均值后最终得到两个平均定位坐标来构成的矩形作为脸部特征点组所构成的多边形，只要是由脸部特征点组所包含的所有特征点能够构成一个确定的多边形即可。
S420，依据当前多边形面积以及初始多边形面积，更新预设的动作完成值。
如上所述，当前多边形面积为脸部定位点组包含的所有特征点在当前帧图片中所构成的多边形面积，如初始坐标差值，在对用户进行面肌训练前，电子设备10还需要确定出初始多边形面积，该初始多边形面积为上述脸部定位点组包含的所有特征点在预设帧图片中所构成的多边形面积，其中，该预设帧图片可以是与计算初始坐标差值相同的图片，并且，初始多边形的构成方式与当前多边形的构成方式完全相同，比如，当前多边形是采用如图8中将当前帧图片中的三个特征点依次相连得到的三角形作为当前多边形，初始多边形则为将预设帧图片中的三个特征点依次相连得到的三角形作为初始多边形。
由此，在计算得到当前多边形后，则依据所得到的当前多边形面积以及该初始多边形面积，更新预设的动作完成值。
可选地，作为一种实施方式，请参阅图9，图9为图6中子S420的子步骤的一种示意性流程图，在本发明实施例中，S420包括以下子步骤：
S421，计算当前多边形面积与初始多边形面积的商值。
S422，依据计算得到的商值更新预设的动作完成值。
作为一种实施方式，在本发明实施例中，更新预设的动作完成值时，可以采用先将计算得到的商值开根号，然后再由开根号得到的结果更新预设的动作完成值，也就是说，更新预设的动作完成值的计算公式为：
Figure BDA0001899530810000171
其中，Sn为当前多边形面积，S0为初始多边形面积，D0为预设的动作完成值，D0′为更新后的动作完成值。
可以理解，在本发明实施例其他的一些实施方式中，还可以采用其他方式更新预设的动作完成值，比如，直接由计算当前多边形面积与初始多边形面积得到的商值与预设的动作完成值的乘积作为该更新后的动作完成值，或者还可以由计算当前多边形面积与初始多边形面积得到的商值，与预设的比例系数的乘积，用于更新预设的动作完成值。
基于上述设计，本发明实施例所提供的一种面肌训练方法，通过依据在脸部定位点组当前帧图片中的位置信息，以更新预设的动作完成值，进而采用该更新后的动作完成值用于计算生成当前动作完成度，能够减小电子设备10与用户脸部之间的距离对当前动作完成度的影响，提升面肌训练准确度。
请继续参阅图2，S600，判断当前动作完成度是否大于预设的动作完成度阈值；当为是时，确定当前训练动作完成；当为否时，以当前帧图片的后续帧图片作为新的当前帧图片，继续执行S300。
电子设备10将上述的当前动作完成度与预设的动作完成度阈值相比对，判断当前动作完成度是否大于预设的动作完成度阈值，当当前动作完成度大于该预设的动作完成度阈值时，表征用户当前的面肌训练动作完成，可以结束当前的面肌训练动作，从而执行下一个面肌训练动作的循环，或者是结束训练任务；反之，当当前动作完成度小于或等于该预设的动作完成度阈值时，表征用户当前的面肌训练动作尚未完成，需要继续训练，此时则以当前帧图片的后续帧图片作为新的当前帧图片，比如当前帧图片的后一帧图片、或者是当前帧图片后的第二帧图片，继续执行S300。
值得说明的是，在本发明实施例中，当该面肌训练方法包含有S200，则在判定当前动作完成度小于或等于预设的动作完成度阈值时，即以当前帧图片的后续帧图片作为新的当前帧图片，继续执行S200。
基于上述设计，本发明实施例所提供的一种面肌训练方法，通过由目标人脸的至少一个特征点组，在计算得到该至少一个特征点组在当前帧图片中对应的当前坐标差值后，由当前坐标差值和初始坐标差值以及预设的动作完成值生成当前动作完成度，进而由该当前动作完成度判断用户是否完成了当前训练动作，相比于现有技术，能够在用户进行面肌训练时，反馈当前训练动作是否完成，确保面肌训练质量。
基于上述实施例提供的面肌训练方法，下面给出完整方法流程的一种可能的实现方式，请参阅图10，图10示出了本发明实施例所提供的一种面肌训练方法的一种示意性完成流程图，其包含了上述实施例提供的所有步骤。
请参阅图11，图11示出了本发明实施例所提供的一种面肌训练装置200的一种示意性结构图，在本发明实施例中，该面肌训练装置200包括特征点组提取模块210、坐标差值计算模块230、动作完成度计算模块250及判断模块260。
特征点组提取模块210用于获取目标人脸的至少一个特征点组，其中，每个所述特征点组包含两个特征点。
坐标差值计算模块230用于计算所述至少一个特征点组所对应的当前坐标差值，其中，所述当前坐标差值为所述至少一个特征点组在当前帧图片中的坐标差值。
可选地，作为一种实施方式，请参阅图12，图12示出了本发明实施例所提供的一种面肌训练装置200的坐标差值计算模块230一种示意性结构图，在本发明实施例中，该坐标差值计算模块230包括子坐标差值计算单元231及当前坐标差值计算单元232。
子坐标差值计算单元231用于分别计算所述至少两个特征点组中每个所述特征点组各自对应的坐标差值。
当前坐标差值计算单元232用于依据所有所述特征点组各自对应的坐标差值，生成所述当前坐标差值。
请继续参阅图10，动作完成度计算模块250用于依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度，其中，所述初始坐标差值表征所述至少一个特征点组在初始状态下的坐标差值。
可选地，作为一种实施方式，请参阅图13，图13示出了本发明实施例所提供的一种面肌训练装置200的动作完成度计算模块250一种示意性结构图，在本发明实施例中，该动作完成度计算模块250包括动作完成值计算单元251及动作完成度计算单元252。
动作完成值计算单元251用于依据所述当前坐标差值和所述初始坐标差值，生成当前动作完成值。
动作完成度计算单元252用于依据所述当前动作完成值和所述预设的动作完成值，生成所述当前动作完成度。
请继续参阅图11，判断模块260用于判断所述当前动作完成度是否大于预设的动作完成度阈值，其中，当所述当前动作完成度大于预设的动作完成度阈值时，确定当前训练动作完成；当所述当前动作完成度小于或等于所述预设的动作完成度阈值时，以所述当前帧图片的后续帧图片作为新的当前帧图片，所述坐标差值计算模块230重新执行计算所述至少一个特征点组所对应的当前坐标差值。
可选地，作为一种实施方式，请继续参阅图11，在本发明实施例中，该面肌训练装置200还包括图片分辨率调整模块220，该图片分辨率调整模块220用于降低所述当前帧图片的分辨率，以使所述降低分辨率后的当前帧图片用于计算所述至少一个特征点组所对应的当前坐标差值。
可选地，作为一种实施方式，请继续参阅图11，在本发明实施例中，该面肌训练装置200还包括预设动作完成值更新模块240，该预设动作完成值更新模块240用于依据在所述当前帧图片获取的脸部定位点组，更新所述预设的动作完成值，以使所述更新后的动作完成值用于计算生成所述当前动作完成度，其中，所述脸部定位点组包括至少两个特征点。
可选地，作为一种实施方式，请参阅图14，图14示出了本发明实施例所提供的一种面肌训练装置200的预设动作完成值更新模块240一种示意性结构图，在本发明实施例中，该预设动作完成值更新模块240包括多边形面积计算单元241及动作完成值更新单元242。
多边形面积计算单元241用于计算所述脸部定位点组包含的所有特征点在所述当前帧图片中所构成的当前多边形面积。
动作完成值更新单元242用于依据所述当前多边形面积以及初始多边形面积，更新所述预设的动作完成值，其中，所述初始多边形面积为所述脸部定位点组包含的所有特征点在所述预设帧图片中所构成的多边形面积。
可选地，作为一种实施方式，请参阅图15，图15示出了本发明实施例所提供的一种面肌训练装置200的动作完成值更新单元242一种示意性结构图，在本发明实施例中，该动作完成值更新单元242包括商值计算子单元2421及完成值更新子单元2422。
商值计算子单元2421用于计算所述当前多边形面积与所述初始多边形面积的商值。
完成值更新子单元2422用于依据所述计算得到的商值更新所述预设的动作完成值。
可选地，本实施例中涉及的面肌训练装置200，其功能可以通过上述的电子设备10实现。比如，上述实施例中所涉及的相关数据、指令以及功能模块存储在存储器110中，然后由处理器120进行执行后，实现上述实施例中的面肌训练方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明实施例所提供的一种面肌训练方法、装置及电子设备，通过由目标人脸的至少一个特征点组，在计算得到该至少一个特征点组在当前帧图片中对应的当前坐标差值后，由当前坐标差值和初始坐标差值以及预设的动作完成值生成当前动作完成度，进而由该当前动作完成度判断用户是否完成了当前训练动作，相比于现有技术，能够在用户进行面肌训练时，反馈当前训练动作是否完成，确保面肌训练质量；还通过降低当前帧图片的分辨率，以使降低分辨率后的当前帧图片用于计算至少一个特征点组在当前帧图片中所对应的当前坐标差值，从而降低了面肌训练时对当前帧图片的数据计算量，进而提升了面肌训练时对图片的处理速度；还通过依据在脸部定位点组当前帧图片中的位置信息，以更新预设的动作完成值，进而采用该更新后的动作完成值用于计算生成当前动作完成度，能够减小电子设备10与用户脸部之间的距离对当前动作完成度的影响，提升面肌训练准确度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种面肌训练方法，其特征在于，所述方法包括：
获取目标人脸的至少一个特征点组，其中，每个所述特征点组包含两个特征点；
计算所述至少一个特征点组所对应的当前坐标差值，其中，所述当前坐标差值为所述至少一个特征点组在当前帧图片中的坐标差值；所述至少一个特征点组包括至少两个特征点组，所述计算所述至少一个特征点组所对应的当前坐标差值的步骤，包括：
分别计算所述至少两个特征点组中每个所述特征点组各自对应的坐标差值；
依据所有所述特征点组各自对应的坐标差值，生成所述当前坐标差值；
依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度，其中，所述初始坐标差值表征所述至少一个特征点组在初始状态下的坐标差值；
当所述当前动作完成度大于预设的动作完成度阈值时，确定当前训练动作完成；
在所述依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度的步骤之前，所述方法还包括：
依据在所述当前帧图片获取的脸部定位点组，更新所述预设的动作完成值，以使所述更新后的动作完成值用于计算生成所述当前动作完成度，其中，所述脸部定位点组包括至少两个特征点；
所述依据在所述当前帧图片获取的脸部定位点组，更新所述预设的动作完成值的步骤，包括：
计算所述脸部定位点组包含的所有特征点在所述当前帧图片中所构成的当前多边形面积；
依据所述当前多边形面积以及初始多边形面积，更新所述预设的动作完成值，其中，所述初始多边形面积为所述脸部定位点组包含的所有特征点在所述预设帧图片中所构成的多边形面积。
2.如权利要求1所述的方法，其特征在于，根据用户的场景选择信息确定所述至少一个特征点组，其中，所述用户的场景选择信息表征所述至少一个特征点组对应的训练场景。
3.如权利要求1所述的方法，其特征在于，在所述计算所述至少一个特征点组所对应的当前坐标差值的步骤之前，所述方法还包括：
降低所述当前帧图片的分辨率，以使所述降低分辨率后的当前帧图片用于计算所述至少一个特征点组所对应的当前坐标差值。
4.如权利要求3所述的方法，其特征在于，所述降低所述当前帧图片的分辨率的步骤，包括：
将所述当前帧图片的在宽度方向和高度方向的像素大小均缩小一半，以降低所述当前帧图片的分辨率。
5.如权利要求1所述的方法，其特征在于，所述依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度的步骤，包括：
依据所述当前坐标差值和所述初始坐标差值，生成当前动作完成值；
依据所述当前动作完成值和所述预设的动作完成值，生成所述当前动作完成度。
6.如权利要求1所述的方法，其特征在于，所述依据所述当前多边形面积以及初始多边形面积，更新所述预设的动作完成值的步骤，包括：
计算所述当前多边形面积与所述初始多边形面积的商值；
依据所述计算得到的商值更新所述预设的动作完成值。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
当所述当前动作完成度小于或等于所述预设的动作完成度阈值时，以所述当前帧图片的后续帧图片作为新的当前帧图片，继续执行所述计算所述至少一个特征点组所对应的当前坐标差值的步骤。
8.如权利要求1所述的方法，其特征在于，所述初始坐标差值为所述至少一个特征点组在预设帧图片中的坐标差值。
9.一种面肌训练装置，其特征在于，所述装置包括：
特征点组提取模块，用于获取目标人脸的至少一个特征点组，其中，每个所述特征点组包含两个特征点；
坐标差值计算模块，用于计算所述至少一个特征点组所对应的当前坐标差值，其中，所述当前坐标差值为所述至少一个特征点组在当前帧图片中的坐标差值；
动作完成度计算模块，用于依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度，其中，所述初始坐标差值表征所述至少一个特征点组在初始状态下的坐标差值；所述至少一个特征点组包括至少两个特征点组，所述计算所述至少一个特征点组所对应的当前坐标差值的步骤，包括：
分别计算所述至少两个特征点组中每个所述特征点组各自对应的坐标差值；
依据所有所述特征点组各自对应的坐标差值，生成所述当前坐标差值；
判断模块，用于判断所述当前动作完成度是否大于预设的动作完成度阈值，其中，当所述当前动作完成度大于预设的动作完成度阈值时，确定当前训练动作完成;
在所述依据所述当前坐标差值和初始坐标差值以及预设的动作完成值，生成当前动作完成度的步骤之前，
依据在所述当前帧图片获取的脸部定位点组，更新所述预设的动作完成值，以使所述更新后的动作完成值用于计算生成所述当前动作完成度，其中，所述脸部定位点组包括至少两个特征点；
所述依据在所述当前帧图片获取的脸部定位点组，更新所述预设的动作完成值的步骤，包括：
计算所述脸部定位点组包含的所有特征点在所述当前帧图片中所构成的当前多边形面积；
依据所述当前多边形面积以及初始多边形面积，更新所述预设的动作完成值，其中，所述初始多边形面积为所述脸部定位点组包含的所有特征点在所述预设帧图片中所构成的多边形面积。
10.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-8中任一项所述的方法。
CN201811506296.9A 2018-12-10 2018-12-10 面肌训练方法、装置及电子设备 Active CN109659006B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811506296.9A CN109659006B (zh) 2018-12-10 2018-12-10 面肌训练方法、装置及电子设备
PCT/CN2019/124202 WO2020119665A1 (zh) 2018-12-10 2019-12-10 面肌训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811506296.9A CN109659006B (zh) 2018-12-10 2018-12-10 面肌训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109659006A CN109659006A (zh) 2019-04-19
CN109659006B true CN109659006B (zh) 2021-03-23

Family

ID=66113947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811506296.9A Active CN109659006B (zh) 2018-12-10 2018-12-10 面肌训练方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN109659006B (zh)
WO (1) WO2020119665A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109659006B (zh) * 2018-12-10 2021-03-23 深圳先进技术研究院 面肌训练方法、装置及电子设备
CN113327247B (zh) * 2021-07-14 2024-06-18 中国科学院深圳先进技术研究院 一种面神经功能评估方法、装置、计算机设备及存储介质
CN113837018B (zh) * 2021-08-31 2024-06-14 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837019B (zh) * 2021-08-31 2024-05-10 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837016B (zh) * 2021-08-31 2024-07-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526345A (ja) * 2011-09-15 2014-10-06 シグマ・インスツルメンツ・ホールディングス，エルエルシー 健康、機能および／または外観を改善するために肌および基層組織をトリートメントするシステムおよび方法
KR102094723B1 (ko) * 2012-07-17 2020-04-14 삼성전자주식회사 견고한 얼굴 표정 인식을 위한 특징 기술자
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法
CN107483834B (zh) * 2015-02-04 2020-01-14 Oppo广东移动通信有限公司 一种图像处理方法、连拍方法及装置和相关介质产品
CN105678702B (zh) * 2015-12-25 2018-10-19 北京理工大学 一种基于特征跟踪的人脸图像序列生成方法及装置
CN107169397B (zh) * 2016-03-07 2022-03-01 佳能株式会社 特征点检测方法及装置、图像处理***和监视***
CN106980815A (zh) * 2017-02-07 2017-07-25 王俊 基于h‑b分级评分监督下的面瘫客观评估方法
CN107633206B (zh) * 2017-08-17 2018-09-11 平安科技（深圳）有限公司 眼球动作捕捉方法、装置及存储介质
CN108211241A (zh) * 2017-12-27 2018-06-29 复旦大学附属华山医院 一种基于镜像视觉反馈的面部肌肉康复训练***
CN108460345A (zh) * 2018-02-08 2018-08-28 电子科技大学 一种基于人脸关键点定位的面部疲劳检测方法
CN109659006B (zh) * 2018-12-10 2021-03-23 深圳先进技术研究院 面肌训练方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Kinect-based oral rehabilitation system;Tse-Yu Pan 等;《2015 International Conference on Orange Technologies (ICOT)》;20151222;71-74 *
面肌功能训练法在口僻患者麻痹面肌功能康复中的作用评价;聂志慧等;《遵义医学院学报》;20110820;第34卷(第04期);369-371 *

Also Published As

Publication number Publication date
CN109659006A (zh) 2019-04-19
WO2020119665A1 (zh) 2020-06-18

Similar Documents

Publication Publication Date Title
CN109659006B (zh) 面肌训练方法、装置及电子设备
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN108510437B (zh) 一种虚拟形象生成方法、装置、设备以及可读存储介质
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN107452049B (zh) 一种三维头部建模方法及装置
CN105096353B (zh) 一种图像处理方法及装置
CN109064387A (zh) 图像特效生成方法、装置和电子设备
CN111008935B (zh) 一种人脸图像增强方法、装置、***及存储介质
WO2020037963A1 (zh) 脸部图像识别的方法、装置及存储介质
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
KR20230098244A (ko) 적응형 골격 관절 원활화
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
US20220300728A1 (en) True size eyewear experience in real time
CN111507889A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20230120037A1 (en) True size eyewear in real time
CN109087240B (zh) 图像处理方法、图像处理装置及存储介质
WO2022016996A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107886568B (zh) 一种利用3D Avatar重建人脸表情的方法及***
WO2021218650A1 (zh) 自适应刚性先验模型训练方法、人脸跟踪方法、训练装置、及跟踪装置
US20230154084A1 (en) Messaging system with augmented reality makeup
CN115393487B (zh) 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN115223240B (zh) 基于动态时间规整算法的运动实时计数方法和***
WO2023035725A1 (zh) 虚拟道具展示方法及装置
CN112802162B (zh) 虚拟角色的面部调整方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant