CN108062533A - 用户肢体动作的解析方法、***及移动终端 - Google Patents

用户肢体动作的解析方法、***及移动终端 Download PDF

Info

Publication number
CN108062533A
CN108062533A CN201711464338.2A CN201711464338A CN108062533A CN 108062533 A CN108062533 A CN 108062533A CN 201711464338 A CN201711464338 A CN 201711464338A CN 108062533 A CN108062533 A CN 108062533A
Authority
CN
China
Prior art keywords
user
action
image
facial image
expression picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711464338.2A
Other languages
English (en)
Inventor
张文波
刘裕峰
刘锦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201711464338.2A priority Critical patent/CN108062533A/zh
Publication of CN108062533A publication Critical patent/CN108062533A/zh
Priority to PCT/CN2018/116700 priority patent/WO2019128558A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种用户肢体动作的解析方法、***及移动终端，包括下述步骤：获取用户的肢体图像；识别所述肢体图像表征的肢体语言；匹配与所述肢体语言具有相同含义的可视化信息或音频信息。通过识别图片中用户的肢体图像表征的肢体语言，并匹配与该肢体语言具有相同含义可视化信息或音频信息。以此，将图像中的肢体特征所表述的信息通过能够被人类直接解读的方式进行呈现，实现了对于人类肢体动作的深层次解读，方便语言障碍者或者语言不通用户之间的交流。

Description

用户肢体动作的解析方法、***及移动终端
技术领域
本发明实施例图像处理领域，尤其是一种用户肢体动作的解析方法、***及移动终端。
背景技术
理解外部世界的一门科学,所讨论的问题是为了完成某一任务需要从图像中获取哪些信息,以及如何利用这些信息获得必要的解释,图像理解的研究涉及和包含了研究获取图像的方法、装置和具体的应用实现。
现有技术中，图像理解技术被用于识别图片中的文字信息，将位图形态的文字进行识别并转换为可编辑文字。本发明创造的发明人在研究中发现，现有技术中的图像理解仅限于将固定位图图样，转化为可编辑形态，无法在对图像信息进行理解后，根据理解结果进行更深层次的解析和应用。
发明内容
本发明实施例提供一种通过解析图像中用户的肢体语言，并根据理解结果匹配能够被人类直接感知的信息对理解结果进行展示和应用的用户肢体动作的解析方法、***及移动终端。
为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种用户肢体动作的解析方法，包括下述步骤：
获取用户的肢体图像；
识别所述肢体图像表征的肢体语言；
匹配与所述肢体语言具有相同含义的可视化信息或音频信息。
可选地，所述用户肢体动作的解析方法还包括下述步骤：
获取用户的人脸图像；
识别所述人脸图像表征的人体脸部动作信息；
匹配与所述人体脸部动作信息具有相同动作含义的表情图片。
可选地，所述获取用户的人脸图像的步骤之前，还包括下述步骤：
调用预存储的至少一个所述表情图片；
将所述表情图片按预设脚本放置在显示容器内，以使所述表情图片可视化显示。
可选地，所述匹配与所述人体脸部动作具有相同动作含义的表情图片的步骤，具体包括下述步骤：
将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对；
当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相同时，确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。
可选地，所述匹配与所述人体脸部动作具有相同动作含义的表情图片的步骤之后，还包括下述步骤：
获取所述人体脸部动作信息与所述表情图片的匹配度信息；
根据预设的匹配规则计算所述匹配度信息对应的奖励分值。
可选地，所述根据预设的匹配规则计算所述匹配度信息对应的奖励分值的步骤之后，还包括下述步骤：
记录预设第一时间阈值内所有的奖励分值；
将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。
可选地，所述用户肢体动作的解析方法还包括下述步骤：
在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片，并将所述表情图片放置在显示容器内；
在所述单位时间内定时或实时采集用户的人脸图像，并识别所述人脸图像所表征的情绪信息及所述人脸图像与所述情绪信息的匹配度；
匹配与所述人脸图像具有相同情绪含义的表情图片，并根据所述匹配度确认所述人脸图像的奖励分值。
可选地，所述在所述单位时间内定时或实时采集用户的人脸图像，并识别所述人脸图像所表征的情绪信息的步骤，具体包括下述步骤：
采集用户的人脸图像；
将所述人脸图像输入到预设的情绪识别模型中，并获取所述人脸图像的分类结果及分类数据；
根据所述分类结果确定所述人脸图像的情绪信息，并根据所述分类数据确定所述人脸图像与所述情绪信息的匹配度。
为解决上述技术问题，本发明实施例还提供一种用户肢体动作的解析***，包括：
获取模块，用于获取用户的肢体图像；
处理模块，用于识别所述肢体图像表征的肢体语言；
执行模块，用于匹配与所述肢体语言具有相同含义的可视化信息或音频信息。
可选地，所述用户肢体动作的解析***还包括：
第一获取子模块，用于获取用户的人脸图像；
第一处理子模块，用于识别所述人脸图像表征的人体脸部动作信息；
第一执行子模块，用于匹配与所述人体脸部动作信息具有相同动作含义的表情图片。
可选地，所述用户肢体动作的解析***还包括：
第一调用子模块，用于调用预存储的至少一个所述表情图片；
第一显示子模块，用于将所述表情图片按预设脚本放置在显示容器内，以使所述表情图片可视化显示。
可选地，所述用户肢体动作的解析***还包括：
第一比对子模块，用于将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对；
第一确认子模块，用于当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相同时，确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。
可选地，所述用户肢体动作的解析***还包括：
第二获取子模块，用于获取所述人体脸部动作信息与所述表情图片的匹配度信息；
第二执行子模块，用于根据预设的匹配规则计算所述匹配度信息对应的奖励分值。
可选地，所述用户肢体动作的解析***还包括：
第一记录子模块，用于记录预设第一时间阈值内所有的奖励分值；
第三执行子模块，用于将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。
可选地，所述用户肢体动作的解析***还包括：
第三获取子模块，用于在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片，并将所述表情图片放置在显示容器内；
第二处理子模块，用于在所述单位时间内定时或实时采集用户的人脸图像，并识别所述人脸图像所表征的情绪信息及所述人脸图像与所述情绪信息的匹配度；
第四执行子模块，用于匹配与所述人脸图像具有相同情绪含义的表情图片，并根据所述匹配度确认所述人脸图像的奖励分值。
可选地，所述用户肢体动作的解析***还包括：
第一采集子模块，用于采集用户的人脸图像；
第三处理子模块，用于将所述人脸图像输入到预设的情绪识别模型中，并获取所述人脸图像的分类结果及分类数据；
第五执行子模块，用于根据所述分类结果确定所述人脸图像的情绪信息，并根据所述分类数据确定所述人脸图像与所述情绪信息的匹配度。
为解决上述技术问题，本发明实施例还提供一种移动终端，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述所述的用户肢体动作的解析方法。
本发明实施例的有益效果是：通过识别图片中用户的肢体图像表征的肢体语言，并匹配与该肢体语言具有相同含义可视化信息或音频信息。以此，将图像中的肢体特征所表述的信息通过能够被人类直接解读的方式进行呈现，实现了对于人类肢体动作的深层次解读，方便语言障碍者或者语言不通用户之间的交流。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例用户肢体动作的解析方法的基本流程示意图；
图2为本发明实施例用户肢体动作的解析方法第一种实施方式的展示示意图；
图3为本发明实施例用户肢体动作的解析方法第二种实施方式的展示示意图；
图4为本发明实施例解析用户面部表情进行应用的流程示意图；
图5为本发明实施例显示表情图片的一种实施方式流程示意图；
图6为本发明实施例确认显示容器范围内的表情图片与人体脸部动作信息相同的流程示意图；
图7为本发明实施例通过匹配结果进行奖励的流程示意图；
图8为本发明实施例统计等分的具体流程示意图；
图9为本发明实施例解析人脸图像情绪信息的流程示意图；
图10为本发明实施例人脸图像的情绪信息分类与匹配度检测的流程示意图；
图11为本发明实施例用户肢体动作的解析方法第三种实施方式的展示示意图；
图12为本发明实施例用户肢体动作的解析***基本结构框图；
图13为本发明实施例移动终端基本结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1为本实施例用户肢体动作的解析方法的基本流程示意图。
如图1所示，一种用户肢体动作的解析方法，包括下述步骤：
S1100、获取用户的肢体图像；
需要指出的是本实施例中的肢体图像包括(不限于)：人脸图像、手势动作图像或嘴唇动作图像。
终端通过访问本地存储空间指定区域，获取存储在本地存储空间内的包括有用户肢体图像的目标图像。或通过开启设置在终端上或者于终端连接的拍摄设备，直接实时获取用户的肢体图像。
S1200、识别所述肢体图像表征的肢体语言；
肢体语言是指肢体图像的动作表征的具体含义，肢体语言包括(不限于)：用户脸部图像表征的情绪信息、手势动作图像动作表征的语言信息或嘴唇动作图像表征的语言信息。
本实施方式中，识别肢体图像表征的肢体语言采用的技术方案为：通过深度学习的方法进行识别。具体地，收集大量的包括人体肢体图像的图片作为训练样本，根据人们对于各种肢体图像所表述的肢体语言的主观判断，获取每个训练样本肢体动作的主观含义，并将该含义设为人们对该训练样本的期望输出。然后将训练样本输入到卷积神经网络模型中，通过对训练样本特征的提取，并输出训练样本数据的分类数据，分类数据为训练样本在本轮训练中各分类结果(分类结果根据需求认为设定，分类结果根据输出的复杂程度能够为若干个，分类结果越多则训练的复杂程度越高)的概率值，本实施例中分类结果为不同的肢体语言的名称。其中概率值最大且大于预设的衡量阈值的分类结果，为本轮训练中该训练样本的激励输出。比较该期望输出与激励输出是否一致，当期望输出与激励输出一致时训练结束(有时需要反复输入以验证输出的稳定性，稳定性较好时结束训练)，当期望输出与激励输出不一致时，通过反向传播算法，校正卷积神经网络的权值，以调整输出的结果，调整后将训练样本重新输入，循环往复直至期望输出与激励输出一致时训练结束。
通过大量的能够表征不同肢体语言的肢体图像训练至收敛的卷积神经网络模型，能够快速且准确的确定输入其中的肢体图像(未参与训练)的肢体语言。
S1300、匹配与所述肢体语言具有相同含义的可视化信息或音频信息。
可视化信息是指能够被人类眼镜观测到的信息，包括(不限于)：文字信息、图片信息或视频信息。
通过卷积神经网络模型获取到用户肢体图像所表征的肢体语言，即获取到用户肢体图像表征的文字信息。以该文字信息为检索关键字，在本地数据库中检索与该文字信息具有相同含义的可视化信息或音频信息。在一些实施方式中，为方便匹配，将存储在本地数据库中的可视化信息或音频信息，根据其表达的含义设定一个或多个标签，以方便肢体语言通过检索标签进行对应匹配。
请参阅图2，图2为本实施例用户肢体动作的解析方法第一种实施方式的展示示意图。
如图2所示，在一些实施方式中，用户肢体动作的解析方法被用于解析用户的肢体动作，并将该动作转化为文字语言，通过实时获取用户的肢体图像，将该图像转化为文字语言进行输出。例如，识别哑语或特种作战的手语，并将该肢体语言转化为文字。图2中，将用户的肢体语言所表述的“你好”转化为文字。
请参阅图3，图3为本实施中用户肢体动作的解析方法第二种实施方式的展示示意图。
如图3所示，在一些实施方式中，对用户的脸部表情动作所表征的情绪信息进行识别。并检索与该情绪具有相同情绪含义的表情进行输出，但不限于于此，在一些实施方式中，能够输出与该情绪具有相同情绪含义的文字、图片、动画或语音。如图3所示，在进行聊天时，用户出现喜悦的表情时，向对方发送具有喜悦含义的表情。
上述实施方式，通过识别图片中用户的肢体图像表征的肢体语言，并匹配与该肢体语言具有相同含义可视化信息或音频信息。以此，将图像中的肢体特征所表述的信息通过能够被人类直接解读的方式进行呈现，实现了对于人类肢体动作的深层次解读，方便语言障碍者或者语言不通用户之间的交流。
请参阅图4，图4为本实施例解析用户面部表情进行应用的流程示意图。
如图4所示，用户肢体动作的解析方法还包括下述步骤：
S2100、获取用户的人脸图像；
终端通过访问本地存储空间指定区域，获取存储在本地存储空间内的包括有用户人脸图像的目标图像。或通过开启设置在终端上或者于终端连接的拍摄设备，直接实时获取用户的人脸图像。
S2200、识别所述人脸图像表征的人体脸部动作信息；
人体脸部动作信息包括人体脸部动作所表征的情绪信息，如喜怒哀乐等；同时也能够是表征用户无情绪表征的动作，例如撇嘴、吐舌或皱额头等。
本实施方式中，识别人脸图像表征的人体脸部动作信息采用的技术方案为：通过深度学习的方法进行识别。具体地，收集大量的包括人体人脸图像的图片作为训练样本，根据人们对于各种人脸图像所表述的人体脸部动作信息的主观判断，获取每个训练样本肢体动作的主观含义，并将该含义设为人们对该训练样本的期望输出。然后将训练样本输入到卷积神经网络模型中，通过对训练样本特征的提取，并输出训练样本数据的分类数据，分类数据为训练样本在本轮训练中各分类结果(分类结果根据需求认为设定，分类结果根据输出的复杂程度能够为若干个，分类结果越多则训练的复杂程度越高)的概率值，本实施例中分类结果为不同的人体脸部动作信息的名称。其中概率值最大且大于预设的衡量阈值的分类结果，为本轮训练中该训练样本的激励输出。比较该期望输出与激励输出是否一致，当期望输出与激励输出一致时训练结束(有时需要反复输入以验证输出的稳定性，稳定性较好时结束训练)，当期望输出与激励输出不一致时，通过反向传播算法，校正卷积神经网络的权值，以调整输出的结果，调整后将训练样本重新输入，循环往复直至期望输出与激励输出一致时训练结束。
通过大量的能够表征不同人体脸部动作信息的人脸图像训练至收敛的卷积神经网络模型，能够快速且准确的确定输入其中的人脸图像(未参与训练)的人体脸部动作信息。
S2300、匹配与所述人体脸部动作信息具有相同动作含义的表情图片。
表情图片指终端中存储模拟用户表情设计而成的表情或动画表情。
通过卷积神经网络模型获取到用户人脸图像所表征的人体脸部动作信息，即获取到用户人脸图像表征的文字信息。以该文字信息为检索关键字，在本地数据库中检索与该文字信息具有相同含义的表情图片。在一些实施方式中，为方便匹配，将存储在本地数据库中的表情图片，根据其表达的含义设定一个或多个标签，以方便人体脸部动作信息通过检索标签进行对应匹配。
通过对用户的表情信息进行解析后，获得该表情所表征的具体含义，然后匹配与该表情含义相同的表情图片，方便用户用户输入，同时也结合解析结果对用户表情做更深层次的交互处理。
请参阅图5，图5为本实施例显示表情图片的一种实施方式流程示意图。
如图5所示，步骤S2100之前还包括下述步骤：
S2011、调用预存储的至少一个所述表情图片；
终端存储空间内在指定的区域内存储或文件夹内存储有包括若干表情图片的表情包或者乱码在该区域或文件夹内的多个表情包。其中，每一张表情图片内均表征有一个人体脸部动作。
根据预设脚本调用一个或多个表情图片进行显示。
S2012、将所述表情图片按预设脚本放置在显示容器内，以使所述表情图片可视化显示。
脚本是用于控制表情图片显示动作的预设程序，其中设定了表情图片在显示区域停留时间的时间控件、设定图片在显示区域运动轨迹的运动控件和设定图片在显示区域匹配成功时表情图片发光的渲染控件。遍历上述控件即能够完成表情图片在显示容器内的显示。
将表情图片放入显示容器内，放置在显示容器内的表情图片通过预设脚本设定的参数，在显示容器内进行排版渲染后，展示于终端的显示区域供用户观看。
在一些实施方式中，表情图片被用于模仿应用程序，在终端摄像头开启状态下，实时采集用户的人脸图像，然后将人脸图像显示在终端屏幕中，用户模仿显示屏幕范围内的表情图片的动作，将用户模仿的图像进行分类识别，当用户脸部表情与显示屏幕范围内的一个或多个表情图片表征的动作相同时，对该匹配成功的表情图片进行计分，并按预设脚本对该表情图片的发光渲染。
请参阅图6，图6为本实施例确认显示容器范围内的表情图片与人体脸部动作信息相同的流程示意图。
如图6所示，步骤S2300具体包括下述步骤：
S2310、将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对；
实时采集用户的人脸图像，然后将人脸图像显示在终端屏幕中，用户模仿显示屏幕范围内的表情图片的动作，将用户模仿的图像进行分类识别，然后将分类结果与显示容器范围内的表情图片表征的动作信息进行比对。
S2320、当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相同时，确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。
当用户脸部表情与显示屏幕范围内的一个或多个表情图片表征的动作相同时，确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。
在一些实施方式中，当用户的表情动作与表情图片的表征的动作含义相同时，还需要根据二者的匹配度计算奖励分值。具体请参阅图7，图7为本实施例通过匹配结果进行奖励的流程示意图。
如图7所示，步骤S2300之后还包括下述步骤：
S2411、获取所述人体脸部动作信息与所述表情图片的匹配度信息；
本实施方式中，人体脸部动作信息动作的解析通过卷积神经网络模型的分类结果进行确认，卷积神经网络模型分类层输出的分类结果，为该人脸图像属于各分类结果的概率值(通常为0-1之间的多个数值)。例如分类结果的设定为喜怒哀乐四种情绪结果，人脸图像输入后，得到[0.75 0.2 0.4 0.3]，由于其中0.75为最大值且大于预设阈值0.5，则该人脸图像的分类结果为“笑”。则人体脸部动作信息与所述表情图片的匹配度信息为0.75，即人脸图像的动作与表情图片的相似度为75％。
S2412、根据预设的匹配规则计算所述匹配度信息对应的奖励分值。
匹配规则为预设的根据匹配度计算奖励分值的方法。举例说明，根据匹配度将匹配结果划分为“完美、很好、不错和错过”，其中，“完美”为匹配度为0.9-1.0区间内的分类结果；“很好”为0.7-0.9区间内的分类结果；“不错”为0.5-0.7区间内的分类结果；“错过”为0.5以下的分类结果。并设定一次“完美”的匹配结果分值为30分；一次“很好”的匹配结果分值为20分；一次“不错”的匹配结果分值为10分；一次“错过”的匹配结果分值为0分。
根据预设的匹配规则计算匹配度信息对应的奖励分值。
通过匹配度对匹配结果进行打分，能够对匹配结果的匹配质量进行进一步的细化，能够得到更精准的奖励分值。
在一些实施方式中，在预设的一个时间段内持续的对匹配结果进行记录，并在时间结束后对持续时间段内用户的得分进行统计。具体请参阅图8，图8为本实施例统计等分的具体流程示意图。
如图8所示，步骤S2412之后还包括下述步骤：
S2421、记录预设第一时间阈值内所有的奖励分值；
第一时间阈值为预定的一局匹配游戏的时间长度，例如设定一局匹配游戏的时间长度为3分钟。具体时间长度的设置不局限与此，在一些选择性实施例中，第一时间阈值的时间长度能够更短或者更长。
S2422、将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。
统计第一时间阈值内用户的奖励分值的总分值，作为用户在第一时间阈值内参与匹配的总得分。
请参阅图9，图9为本实施例解析人脸图像情绪信息的流程示意图。
如图9所示，用户肢体动作的解析方法还包括下述步骤：
S3100、在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片，并将所述表情图片放置在显示容器内；
单位时间为向显示容器加载一波表情图片的时间，例如加载一波表情图片的时间为5秒，即一波表情图片出现在显示容器内的时间为5秒，5秒后新的一波表情图片会进行替换。单位时间加载的表情图片能够预设设定，设定规则能够是固定的，例如单位时间内每一波表情图片的添加均为5个；在一些实施方式中，表情图片的添加能够是递增的，递增的数量根据实际情况设定，如每次递增一个、两个或者更多个。
S3200、在所述单位时间内定时或实时采集用户的人脸图像，并识别所述人脸图像所表征的情绪信息及所述人脸图像与所述情绪信息的匹配度；
以单位时间为限，通过开启终端自带或者与其连接的拍摄设备实时获取用户的人脸图像，但不限于此，在一些实施方式中，能够通过定时的方式(如0.1s)提取人脸图像。
人脸图像的情绪信息解析通过卷积神经网络模型的分类结果进行确认，卷积神经网络模型分类层输出的分类结果，为该人脸图像属于各分类结果的概率值(通常为0-1之间的多个数值)。例如分类结果的设定为喜怒哀乐四种情绪结果，人脸图像输入后，得到[0.750.20.4 0.3]，由于其中0.75为最大值且大于预设阈值0.5，则该人脸图像的分类结果为“笑”。根据分类结果确定在显示容器内与“笑”情绪相同的表情图片。则情绪信息与所述表情图片的匹配度信息为0.75，即人脸图像的动作与表情图片的相似度为75％。
S3300、匹配与所述人脸图像具有相同情绪含义的表情图片，并根据所述匹配度确认所述人脸图像的奖励分值。
匹配规则为预设的根据匹配度计算奖励分值的方法。举例说明，根据匹配度将匹配结果划分为“完美、很好、不错和错过”，其中，“完美”为匹配度为0.9-1.0区间内的分类结果；“很好”为0.7-0.9区间内的分类结果；“不错”为0.5-0.7区间内的分类结果；“错过”为0.5以下的分类结果。并设定一次“完美”的匹配结果分值为30分；一次“很好”的匹配结果分值为20分；一次“不错”的匹配结果分值为10分；一次“错过”的匹配结果分值为0分。
根据预设的匹配规则计算匹配度信息对应的奖励分值。
请参阅图10，图10为本实施例人脸图像的情绪信息分类与匹配度检测的流程示意图。
如图10所示，步骤3200具体包括下述步骤：
S3210、采集用户的人脸图像；
以单位时间为限，通过开启终端自带或者与其连接的拍摄设备实时获取用户的人脸图像，但不限于此，在一些实施方式中，能够通过定时的方式(如0.1s)提取人脸图像。
S3220、将所述人脸图像输入到预设的情绪识别模型中，并获取所述人脸图像的分类结果及分类数据；
情绪识别模型具体为训练至收敛状态的卷积神经网络模型。
本实施方式中，识别人脸图像表征的情绪信息采用的技术方案为：通过深度学习的方法进行识别。具体地，收集大量的包括人体人脸图像的图片作为训练样本，根据人们对于各种人脸图像所表述的情绪信息的主观判断，获取每个训练样本肢体动作的主观含义，并将该含义设为人们对该训练样本的期望输出。然后将训练样本输入到卷积神经网络模型中，通过对训练样本特征的提取，并输出训练样本数据的分类数据，分类数据为训练样本在本轮训练中各分类结果(分类结果根据需求认为设定，分类结果根据输出的复杂程度能够为若干个，分类结果越多则训练的复杂程度越高)的概率值，本实施例中分类结果为不同的情绪信息的名称。其中概率值最大且大于预设的衡量阈值的分类结果，为本轮训练中该训练样本的激励输出。比较该期望输出与激励输出是否一致，当期望输出与激励输出一致时训练结束(有时需要反复输入以验证输出的稳定性，稳定性较好时结束训练)，当期望输出与激励输出不一致时，通过反向传播算法，校正卷积神经网络的权值，以调整输出的结果，调整后将训练样本重新输入，循环往复直至期望输出与激励输出一致时训练结束。
S3230、根据所述分类结果确定所述人脸图像的情绪信息，并根据所述分类数据确定所述人脸图像与所述情绪信息的匹配度。
人体脸部动作信息动作的解析通过卷积神经网络模型的分类结果进行确认，卷积神经网络模型分类层输出的分类结果，为该人脸图像属于各分类结果的概率值(通常为0-1之间的多个数值)。例如分类结果的设定为喜怒哀乐四种情绪结果，人脸图像输入后，得到[0.75 0.2 0.4 0.3]，由于其中0.75为最大值且大于预设阈值0.5，则该人脸图像的分类结果为“笑”。则人体脸部动作信息与所述表情图片的匹配度信息为0.75，即人脸图像的动作与表情图片的相似度为75％。
请参阅图11，图11为本实施中用户肢体动作的解析方法第三种实施方式的展示示意图。
如图11所示，在终端的显示区域同时显示用户的自拍图像，同时在屏幕内显示表情图片，用户根据显示的表情图片模仿做相同的表情动作，终端检测模仿表情是否有与显示区域内的某个表情图片相同，匹配相同时，对匹配成功的表情进行放大显示，同时根据匹配程度显示相应的奖励分值。
为解决上述技术问题，本发明实施例还提供一种视频动态编辑装置。具体请参阅图12，图12为本实施例用户肢体动作的解析***基本结构框图。
如图12所示，一种用户肢体动作的解析***，包括：获取模块2100、处理模块2200和执行模块2300。其中，获取模块2100用于获取用户的肢体图像；处理模块2200用于识别肢体图像表征的肢体语言；执行模块2300用于匹配与肢体语言具有相同含义的可视化信息或音频信息。
上述实施方式通过识别图片中用户的肢体图像表征的肢体语言，并匹配与该肢体语言具有相同含义可视化信息或音频信息。以此，将图像中的肢体特征所表述的信息通过能够被人类直接解读的方式进行呈现，实现了对于人类肢体动作的深层次解读，方便语言障碍者或者语言不通用户之间的交流。
在一些实施方式中，用户肢体动作的解析***还包括：第一获取子模块、第一处理子模块和第一执行子模块。其中，第一获取子模块用于获取用户的人脸图像；第一处理子模块用于识别人脸图像表征的人体脸部动作信息；第一执行子模块用于匹配与人体脸部动作信息具有相同动作含义的表情图片。
在一些实施方式中，用户肢体动作的解析***还包括：第一调用子模块和第一显示子模块。其中，第一调用子模块用于调用预存储的至少一个表情图片；第一显示子模块用于将表情图片按预设脚本放置在显示容器内，以使表情图片可视化显示。
在一些实施方式中，用户肢体动作的解析***还包括：第一比对子模块和第一确认子模块。其中，第一比对子模块用于将人体脸部动作信息与显示容器范围内的表情图片进行比对；第一确认子模块用于当显示容器内的表情图片所表征的动作含义与人体脸部动作信息相同时，确认显示容器内存在与人体脸部动作具有相同动作含义的表情图片。
在一些实施方式中，用户肢体动作的解析***还包括：第二获取子模块和第二执行子模块。其中，第二获取子模块和第二执行子模块。其中，第二获取子模块用于获取人体脸部动作信息与表情图片的匹配度信息；第二执行子模块用于根据预设的匹配规则计算匹配度信息对应的奖励分值。
在一些实施方式中，用户肢体动作的解析***还包括：第一记录子模块和第三执行子模块。其中，第一记录子模块用于记录预设第一时间阈值内所有的奖励分值；第三执行子模块用于将奖励分值累加形成用户在第一时间阈值内的最终得分。
在一些实施方式中，用户肢体动作的解析***还包括：第三获取子模块、第二处理子模块和第四执行子模块。其中，第三获取子模块用于在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片，并将表情图片放置在显示容器内；第二处理子模块用于在单位时间内定时或实时采集用户的人脸图像，并识别人脸图像所表征的情绪信息及人脸图像与情绪信息的匹配度；第四执行子模块用于匹配与人脸图像具有相同情绪含义的表情图片，并根据匹配度确认人脸图像的奖励分值。
在一些实施方式中，用户肢体动作的解析***还包括：第一采集子模块、第三处理子模块和第五执行子模块，其中，第一采集子模块用于采集用户的人脸图像；第三处理子模块用于将人脸图像输入到预设的情绪识别模型中，并获取人脸图像的分类结果及分类数据；第五执行子模块用于根据分类结果确定人脸图像的情绪信息，并根据分类数据确定人脸图像与情绪信息的匹配度。
本实施例中的终端是指移动终端与PC端，并以移动终端为例进行说明。
本实施例还提供一种移动终端。具体请参阅图13，图13为本实施例移动终端基本结构示意图。
需要指出的是本实施列中，移动终端的存储器1520内存储用于实现本实施例中用户肢体动作的解析方法中的所有程序，处理器1580能够调用该存储器1520内的程序，执行上述用户肢体动作的解析方法所列举的所有功能。由于移动终端实现的功能在本实施例中的用户肢体动作的解析方法进行了详述，在此不再进行赘述。
本发明实施例还提供了移动终端，如图13所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括移动终端、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Pointof Sales，销售终端)、车载电脑等任意终端设备，以终端为移动终端为例：
图13示出的是与本发明实施例提供的终端相关的移动终端的部分结构的框图。参考图13，移动终端包括：射频(Radio Frequency，RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，Wi-Fi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图13中示出的移动终端结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图13对移动终端的各个构成部件进行具体的介绍：
RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行移动终端的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声纹播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图13中，触控面板1531与显示面板1541是作为两个独立的部件来实现移动终端的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现移动终端的输入和输出功能。
移动终端还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在移动终端移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1560、扬声器1561，传声器1562可提供用户与移动终端之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声纹信号输出；另一方面，传声器1562将收集的声纹信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一移动终端，或者将音频数据输出至存储器1520以便进一步处理。
Wi-Fi属于短距离无线传输技术，移动终端通过Wi-Fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了Wi-Fi模块1570，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1580是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。
移动终端还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理***与处理器1580逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，移动终端还可以包括摄像头、蓝牙模块等，在此不再赘述。
需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种用户肢体动作的解析方法，其特征在于，包括下述步骤：
获取用户的肢体图像；
识别所述肢体图像表征的肢体语言；
匹配与所述肢体语言具有相同含义的可视化信息或音频信息。
2.根据权利要求1所述的用户肢体动作的解析方法，其特征在于，所述用户肢体动作的解析方法还包括下述步骤：
获取用户的人脸图像；
识别所述人脸图像表征的人体脸部动作信息；
匹配与所述人体脸部动作信息具有相同动作含义的表情图片。
3.根据权利要求2所述的用户肢体动作的解析方法，其特征在于，所述获取用户的人脸图像的步骤之前，还包括下述步骤：
调用预存储的至少一个所述表情图片；
将所述表情图片按预设脚本放置在显示容器内，以使所述表情图片可视化显示。
4.根据权利要求3所述的用户肢体动作的解析方法，其特征在于，所述匹配与所述人体脸部动作具有相同动作含义的表情图片的步骤，具体包括下述步骤：
将所述人体脸部动作信息与所述显示容器范围内的表情图片进行比对；
当显示容器内的表情图片所表征的动作含义与所述人体脸部动作信息相同时，确认所述显示容器内存在与所述人体脸部动作具有相同动作含义的表情图片。
5.根据权利要求3所述的用户肢体动作的解析方法，其特征在于，所述匹配与所述人体脸部动作具有相同动作含义的表情图片的步骤之后，还包括下述步骤：
获取所述人体脸部动作信息与所述表情图片的匹配度信息；
根据预设的匹配规则计算所述匹配度信息对应的奖励分值。
6.根据权利要求5所述的用户肢体动作的解析方法，其特征在于，所述根据预设的匹配规则计算所述匹配度信息对应的奖励分值的步骤之后，还包括下述步骤：
记录预设第一时间阈值内所有的奖励分值；
将所述奖励分值累加形成用户在所述第一时间阈值内的最终得分。
7.根据权利要求2所述的用户肢体动作的解析方法，其特征在于，所述用户肢体动作的解析方法还包括下述步骤：
在预设的单位时间内从表情包中随机抽取预设数量的表征人类情绪的表情图片，并将所述表情图片放置在显示容器内；
在所述单位时间内定时或实时采集用户的人脸图像，并识别所述人脸图像所表征的情绪信息及所述人脸图像与所述情绪信息的匹配度；
匹配与所述人脸图像具有相同情绪含义的表情图片，并根据所述匹配度确认所述人脸图像的奖励分值。
8.根据权利要求7所述的用户肢体动作的解析方法，其特征在于，所述在所述单位时间内定时或实时采集用户的人脸图像，并识别所述人脸图像所表征的情绪信息的步骤，具体包括下述步骤：
采集用户的人脸图像；
将所述人脸图像输入到预设的情绪识别模型中，并获取所述人脸图像的分类结果及分类数据；
根据所述分类结果确定所述人脸图像的情绪信息，并根据所述分类数据确定所述人脸图像与所述情绪信息的匹配度。
9.一种用户肢体动作的解析***，其特征在于，包括：
获取模块，用于获取用户的肢体图像；
处理模块，用于识别所述肢体图像表征的肢体语言；
执行模块，用于匹配与所述肢体语言具有相同含义的可视化信息或音频信息。
10.一种移动终端，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-8任意一项所述的用户肢体动作的解析方法。
CN201711464338.2A 2017-12-28 2017-12-28 用户肢体动作的解析方法、***及移动终端 Pending CN108062533A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711464338.2A CN108062533A (zh) 2017-12-28 2017-12-28 用户肢体动作的解析方法、***及移动终端
PCT/CN2018/116700 WO2019128558A1 (zh) 2017-12-28 2018-11-21 用户肢体动作的解析方法、***及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711464338.2A CN108062533A (zh) 2017-12-28 2017-12-28 用户肢体动作的解析方法、***及移动终端

Publications (1)

Publication Number Publication Date
CN108062533A true CN108062533A (zh) 2018-05-22

Family

ID=62140685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711464338.2A Pending CN108062533A (zh) 2017-12-28 2017-12-28 用户肢体动作的解析方法、***及移动终端

Country Status (2)

Country Link
CN (1) CN108062533A (zh)
WO (1) WO2019128558A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063595A (zh) * 2018-07-13 2018-12-21 苏州浪潮智能软件有限公司 一种将肢体动作转换为计算机语言的方法及装置
CN109271542A (zh) * 2018-09-28 2019-01-25 百度在线网络技术（北京）有限公司 封面确定方法、装置、设备及可读存储介质
CN109492602A (zh) * 2018-11-21 2019-03-19 华侨大学 一种基于人体肢体语言的工序计时方法及***
WO2019128558A1 (zh) * 2017-12-28 2019-07-04 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、***及移动终端
CN111079472A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 图像对比方法和装置
CN111144287A (zh) * 2019-12-25 2020-05-12 Oppo广东移动通信有限公司 视听辅助交流方法、装置及可读存储介质
CN111339833A (zh) * 2020-02-03 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于人脸边缘计算的身份核验方法、***与设备
WO2020207041A1 (en) * 2019-04-10 2020-10-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for dynamically recommending inputs based on identification of user emotions
CN112906650A (zh) * 2021-03-24 2021-06-04 百度在线网络技术（北京）有限公司 教学视频的智能处理方法、装置、设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503457A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 用户满意度的分析方法及装置、存储介质、计算机设备
CN110554782B (zh) * 2019-07-25 2023-06-27 北京智慧章鱼科技有限公司 一种表情输入的图像合成方法和***
CN112000828B (zh) * 2020-07-20 2024-05-24 北京百度网讯科技有限公司 搜索表情图片的方法、装置、电子设备和可读存储介质
CN112541384B (zh) * 2020-07-30 2023-04-28 深圳市商汤科技有限公司 可疑对象查找方法及装置、电子设备及存储介质
CN112613457B (zh) * 2020-12-29 2024-04-09 招联消费金融股份有限公司 图像采集方式检测方法、装置、计算机设备和存储介质
CN113766295A (zh) * 2021-04-16 2021-12-07 腾讯科技（深圳）有限公司 一种播放处理方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101314081A (zh) * 2008-07-11 2008-12-03 深圳华为通信技术有限公司 一种演讲背景匹配方法和装置
CN101442861A (zh) * 2008-12-19 2009-05-27 上海广茂达灯光景观工程有限公司 Led灯光场景控制***及其控制方法
CN103842941A (zh) * 2011-09-09 2014-06-04 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制
CN104333730A (zh) * 2014-11-26 2015-02-04 北京奇艺世纪科技有限公司 一种视频通信方法及装置
CN104345873A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议***的文件操作方法和装置
CN104349214A (zh) * 2013-08-02 2015-02-11 北京千橡网景科技发展有限公司 视频播放方法和设备
CN104464390A (zh) * 2013-09-15 2015-03-25 南京大五教育科技有限公司 一种体感教育***
CN104598012A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种互动型广告设备及其工作方法
CN105976843A (zh) * 2016-05-18 2016-09-28 乐视控股（北京）有限公司 车内音乐控制方法、装置及汽车
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及***
CN106502424A (zh) * 2016-11-29 2017-03-15 上海小持智能科技有限公司 基于语音手势及肢体动作互动的增强现实***
CN106997457A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 人物肢体识别方法、人物肢体识别装置及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、***及移动终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101314081A (zh) * 2008-07-11 2008-12-03 深圳华为通信技术有限公司 一种演讲背景匹配方法和装置
CN101442861A (zh) * 2008-12-19 2009-05-27 上海广茂达灯光景观工程有限公司 Led灯光场景控制***及其控制方法
CN103842941A (zh) * 2011-09-09 2014-06-04 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制
CN104349214A (zh) * 2013-08-02 2015-02-11 北京千橡网景科技发展有限公司 视频播放方法和设备
CN104345873A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议***的文件操作方法和装置
CN104464390A (zh) * 2013-09-15 2015-03-25 南京大五教育科技有限公司 一种体感教育***
CN104598012A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种互动型广告设备及其工作方法
CN104333730A (zh) * 2014-11-26 2015-02-04 北京奇艺世纪科技有限公司 一种视频通信方法及装置
CN105976843A (zh) * 2016-05-18 2016-09-28 乐视控股（北京）有限公司 车内音乐控制方法、装置及汽车
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及***
CN106502424A (zh) * 2016-11-29 2017-03-15 上海小持智能科技有限公司 基于语音手势及肢体动作互动的增强现实***
CN106997457A (zh) * 2017-03-09 2017-08-01 广东欧珀移动通信有限公司 人物肢体识别方法、人物肢体识别装置及电子装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128558A1 (zh) * 2017-12-28 2019-07-04 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、***及移动终端
CN109063595A (zh) * 2018-07-13 2018-12-21 苏州浪潮智能软件有限公司 一种将肢体动作转换为计算机语言的方法及装置
CN109271542A (zh) * 2018-09-28 2019-01-25 百度在线网络技术（北京）有限公司 封面确定方法、装置、设备及可读存储介质
CN111079472A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 图像对比方法和装置
CN109492602A (zh) * 2018-11-21 2019-03-19 华侨大学 一种基于人体肢体语言的工序计时方法及***
WO2020207041A1 (en) * 2019-04-10 2020-10-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for dynamically recommending inputs based on identification of user emotions
CN113785539A (zh) * 2019-04-10 2021-12-10 Oppo广东移动通信有限公司 用于基于对用户情绪的识别来动态推荐输入的***和方法
CN111144287A (zh) * 2019-12-25 2020-05-12 Oppo广东移动通信有限公司 视听辅助交流方法、装置及可读存储介质
CN111339833A (zh) * 2020-02-03 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于人脸边缘计算的身份核验方法、***与设备
CN111339833B (zh) * 2020-02-03 2022-10-28 重庆特斯联智慧科技股份有限公司 一种基于人脸边缘计算的身份核验方法、***与设备
CN112906650A (zh) * 2021-03-24 2021-06-04 百度在线网络技术（北京）有限公司 教学视频的智能处理方法、装置、设备和存储介质
CN112906650B (zh) * 2021-03-24 2023-08-15 百度在线网络技术（北京）有限公司 教学视频的智能处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2019128558A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN108062533A (zh) 用户肢体动作的解析方法、***及移动终端
CN108197185A (zh) 一种音乐推荐方法、终端及计算机可读存储介质
CN105828145B (zh) 互动方法及装置
CN109063583A (zh) 一种基于点读操作的学习方法及电子设备
CN107438200A (zh) 直播间礼物展示的方法和装置
CN109284592A (zh) 一种题目推荐方法及家教设备
CN108735216A (zh) 一种基于语义识别的语音搜题方法及家教设备
CN108594991A (zh) 一种帮助用户调节情绪的方法、装置和计算机存储介质
CN108062404A (zh) 人脸图像的处理方法、装置、可读存储介质及终端
CN108108649A (zh) 身份验证方法及装置
CN104965642B (zh) 下拉列表生成方法及装置
CN107370887A (zh) 一种表情生成方法及移动终端
CN106648118A (zh) 一种基于增强现实的虚拟教学方法与终端设备
CN107864353B (zh) 一种视频录制方法及移动终端
CN107315516A (zh) 一种图标播放方法、移动终端以及计算机可读存储介质
CN108038185A (zh) 视频动态编辑方法、装置及智能移动终端
CN111723855A (zh) 一种学习知识点的显示方法、终端设备及存储介质
CN108174236A (zh) 一种媒体文件处理方法、服务器及移动终端
CN103686246B (zh) 传输流视频选时播放方法、装置、设备及***
CN108874352A (zh) 一种信息显示方法及移动终端
CN107247585A (zh) 桌面图标自定义方法、移动终端及存储介质
CN108037885A (zh) 一种操作提示方法及移动终端
CN108776693A (zh) 一种基于定制语料库的语音搜题方法及家教设备
CN108877357A (zh) 一种基于家教机的交互方法及家教机
CN107948729A (zh) 富媒体处理方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180522

RJ01 Rejection of invention patent application after publication