CN111832512A - 表情检测方法和装置 - Google Patents
表情检测方法和装置 Download PDFInfo
- Publication number
- CN111832512A CN111832512A CN202010704984.7A CN202010704984A CN111832512A CN 111832512 A CN111832512 A CN 111832512A CN 202010704984 A CN202010704984 A CN 202010704984A CN 111832512 A CN111832512 A CN 111832512A
- Authority
- CN
- China
- Prior art keywords
- feature
- face
- characteristic
- expression
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种表情检测方法和装置，首先对图像帧进行人脸检测得到人脸图像，再进行特征点检测以得到与人脸图像中的各个人脸特征所对应的多组特征点组。然后，获得与各个人脸特征对应的特征曲线，通过人脸特征对应的特征点组包含的多个特征点对特征曲线进行拟合，基于拟合后的特征曲线判断对应的人脸特征是否处于夸张表情状态。本方案中，采用获得与各个人脸特征对应的特征点组，再利用特征点组包含的特征点对对应的特征曲线进行拟合，基于拟合的特征曲线进行夸张表情判断的方式，可实现表情的准确检测的基础上，避免采用机器学习模型所存在的处理复杂的问题，达到准确、快速的检测效果。
Description
技术领域
本申请涉及计算机应用技术领域，具体而言，涉及一种表情检测方法和装置。
背景技术
互联网时代下，表情包成为了新兴的网络语言。相比文字讯息，表情包是一种低门槛的表达方式，它突破了地域、文化、教育程度的局限，凭借其简单、直观、通用等优点而广泛被应用。在更迭速度极快的互联网领域，表情包保持茁壮甚至愈发强大的生命力，对热点话题的隐喻和借用被加入到表情包的创作中，使其成为与时俱进、不断更新换代的“快消品”，对热点话题相似的调侃趣味显示的是一种心照不宣的集体认同，表情包进而成为社交很重要的工具和媒介。
表情包的生成一般是需要进行人脸表情的检测，而将一些判别为夸张表情的人脸图像进行截取以生成表情包。因此，如何基于一定的策略对人脸表情进行检测，对于表情包的生成尤为重要。目前，一般是采用基于深度学习的算法进行表情的检测判断，但是该方式需要采用机器学习模型对图片进行如卷积等处理，耗时较长、资源占用大、检测的效率较低。
发明内容
本申请的目的包括，例如，提供了一种表情检测方法和装置，其能够是实现夸张表情的快速、准确检测。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种表情检测方法，所述方法包括：
对待处理的图像帧进行人脸检测，得到人脸图像；
对所述人脸图像进行特征点检测，将得到的多个特征点划分为多组特征点组，其中，所述特征点组与所述人脸图像包含的人脸特征一一对应；
针对每个人脸特征，获取预设的与所述人脸特征对应的特征曲线；
根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态。
在可选的实施方式中，所述方法还包括：
识别所述人脸图像中包含的多个第一设定特征点，根据所述多个第一设定特征点判断所述人脸图像中的人脸是否处于侧脸状态；
若所述人脸图像中的人脸处于侧脸状态，则根据获得的所述人脸图像包含的多个第二设定特征点对所述人脸图像进行矫正，再执行所述对所述人脸图像进行特征点检测的步骤。
在可选的实施方式中，所述人脸特征包括鼻子和人脸轮廓，所述第一设定特征点包括所述鼻子在竖直方向的任意一点，以及所述人脸轮廓的最左侧边缘点和最右侧边缘点，所述根据所述多个第一设定特征点判断所述人脸图像中的人脸是否处于侧脸状态的步骤，包括：
获取所述最左侧边缘点到所述任意一点的第一距离，以及所述最右侧边缘点到所述任意一点的第二距离；
若所述第一距离和所述第二距离之间的差值超出预设范围，则判定所述人脸图像中的人脸处于侧脸状态。
在可选的实施方式中，所述特征曲线包括与眉毛对应的抛物线、与鼻孔对应的圆形、与牙齿对应的矩形、与嘴部对应的椭圆中的一种或多种。
在可选的实施方式中，所述人脸特征包括眉毛，所述特征曲线包括抛物线，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
根据与所述眉毛对应的特征点组包含的多个特征点对所述抛物线进行拟合；
获得所述特征点组中位于所述眉毛的最左侧的特征点以及最右侧的特征点；
检测所述最左侧的特征点和最右侧的特征点是否位于拟合后的抛物线的中轴的两侧，若未位于所述中轴的两侧，则判定所述眉毛处于夸张表情状态。
在可选的实施方式中，所述人脸特征包括鼻子和鼻孔，所述特征曲线包括圆形，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
获取与所述鼻子的轮廓对应的特征点组以及与所述鼻子的鼻孔对应的特征点组；
根据所述鼻子的轮廓对应的特征点组中包含的特征点获得所述鼻子的轮廓的尺寸；
根据所述鼻孔对应的特征点组包含的特征点对所述圆形进行拟合；
计算拟合后的圆形的直径与所述鼻子的轮廓的尺寸之间的比值，在所述比值超过预设值时，判定所述鼻子处于夸张表情状态。
在可选的实施方式中，所述人脸特征包括牙齿，所述特征曲线包括矩形，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
根据与所述牙齿对应的特征点组包含的多个特征点对与上半部分牙齿对应的矩形和与下半部分牙齿对应的矩形进行拟合；
在拟合得到的两个矩形之间的间距大于预设阈值时，判定所述牙齿所属的嘴部处于夸张表情状态。
在可选的实施方式中，所述人脸特征包括嘴部，所述特征曲线包括椭圆，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
根据与所述嘴部对应的特征点组包含的多个特征点对所述椭圆进行拟合；
获得拟合得到的椭圆在空间中的旋转角度以及所述椭圆的长轴长度和短轴长度；
在所述旋转角度大于预设角度，或者所述长轴长度和所述短轴长度的比值不属于预设范围时，判定所述嘴部处于夸张表情状态。
在可选的实施方式中，所述对待处理的图像帧进行人脸检测，得到人脸图像的步骤之前，所述方法还包括：
针对待处理视频，对所述待处理视频进行分帧处理，得到多帧待处理的图像帧；
所述方法还包括：
在判定所述图像帧中的人脸图像包含的任意一个人脸特征处于夸张表情状态时，从所述待处理视频中截取所述图像帧，并生成表情包保存。
第二方面，本申请提供一种表情检测装置，所述装置包括：
人脸检测模块，用于对待处理的图像帧进行人脸检测，得到人脸图像；
特征点检测模块，用于对所述人脸图像进行特征点检测，将得到的多个特征点划分为多组特征点组，其中，所述特征点组与所述人脸图像包含的人脸特征一一对应；
特征曲线获取模块，用于针对每个人脸特征，获取预设的与所述人脸特征对应的特征曲线；
判断模块，用于根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态。
本申请实施例的有益效果包括，例如：
本申请提供一种表情检测方法和装置，首先对图像帧进行人脸检测得到人脸图像，再进行特征点检测以得到与人脸图像中的各个人脸特征所对应的多组特征点组。然后，获得与各个人脸特征对应的特征曲线，通过人脸特征对应的特征点组包含的多个特征点对特征曲线进行拟合，基于拟合后的特征曲线判断对应的人脸特征是否处于夸张表情状态。本方案中，采用获得与各个人脸特征对应的特征点组，再利用特征点组包含的特征点对对应的特征曲线进行拟合，基于拟合的特征曲线进行夸张表情判断的方式，可实现表情的准确检测的基础上，避免采用机器学习模型所存在的处理复杂的问题，达到准确、快速的检测效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图；
图2为本申请实施例提供的表情检测方法的流程图；
图3为本申请实施例提供的检测得到的人脸图像的示意图；
图4为本申请实施例提供的表情检测方法中，侧脸检测方法的流程图；
图5为图2中步骤S240的子步骤的流程图；
图6为图2中步骤S240的子步骤的另一流程图；
图7为图2中步骤S240的子步骤的另一流程图；
图8为图2中步骤S240的子步骤的另一流程图；
图9为本申请实施例提供的表情检测装置的功能模块框图。
图标：110-处理器；120-存储器；130-通信模块；900-表情检测装置；910-人脸检测模块；920-特征点检测模块；930-特征曲线获取模块；940-判断模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参阅图1，为本申请实施例提供的电子设备的结构图，该电子设备可以包括但不限于计算机、服务器等设备。该电子设备可包括存储器120、处理器110及通信模块130。所述存储器120、处理器110以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器120用于存储程序或者数据。所述存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器110用于读/写存储器120中存储的数据或程序，并执行本申请任意实施例提供的表情检测方法。
通信模块130用于通过网络建立电子设备与其它通信终端之间的通信连接，并用于通过网络收发数据。
应当理解的是，图1所示的结构仅为电子设备的结构示意图，所述电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参阅图2，图2示出了本申请实施例提供的表情检测方法的流程示意图，该表情检测方法可由图1中所示的电子设备执行。应当理解，在其它实施例中，本实施例的表情检测方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该表情检测方法的详细步骤介绍如下。
步骤S210，对待处理的图像帧进行人脸检测，得到人脸图像。
步骤S220，对所述人脸图像进行特征点检测，将得到的多个特征点划分为多组特征点组，其中，所述特征点组与所述人脸图像包含的人脸特征一一对应。
步骤S230，针对每个人脸特征，获取预设的与所述人脸特征对应的特征曲线。
步骤S240，根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态。
本实施例中，待处理的图像帧可以是网络图片，也可以是一段视频中包含的图像帧，例如电视剧视频、新闻视频等。为了从图像帧中找到人脸所在区域，针对图像帧，可采用人脸检测算法进行处理，得到人脸图像。可选地，可采用基于特征的人脸检测算法，即通过提取图像中的特征和人脸特征进行匹配，若匹配上即可确定对应区域为人脸图像，否则可确定并非人脸图像。此外，也可以采用基于图像的人脸检测算法，即将图像分为多个窗口，分别判断每个窗口是否有人脸图像。基于图像的人脸检测算法依赖于统计分析和机器学习，通过统计分析和机器学习来识别人脸和非人脸之间的统计关系来进行人脸检测。
本实施例中，在确定出图像帧中包含的人脸图像后，可对人脸图像进行特征点检测，可以是基于人脸图像中的人脸特征进行特征点的检测，人脸特征包括如人脸轮廓、鼻子、嘴巴、眼睛、眉毛、牙齿等特征。例如，针对嘴巴而言，则检测得到的与嘴巴对应的特征点可以是沿嘴唇边缘分布的多个特征点。
本实施例中，检测得到多个特征点之后，按各个特征点所对应的人脸特征，将对应同一人脸特征的特征点划分至同一个特征点组。如此，可以得到多个特征点组，例如，与人脸特征中嘴巴对应的特征点组、与人脸特征中眉毛对应的特征点组等。与某个人脸特征对应的特征点组中包含的特征点可用于体现出该人脸特征的信息。
本实施例中，考虑到各个人脸特征从形状上来说，与不同的几何曲线具有对应关系，而人脸特征的具体形状可以体现出该人脸特征是处于正常状态，或者是处于夸张状态。因此，本实施例中，预设有多个特征曲线，而各个特征曲线分别与各个人脸特征所对应。在针对某个人脸特征进行检测时，可获得该人脸特征对应的特征曲线。
例如，人脸特征可包括与眉毛对应的抛物线、与鼻孔对应的圆形、与牙齿对应的矩形、与嘴部对应的椭圆等。而不同人脸上的人脸特征，其具体的形状具有差异，为了能够以特征曲线来表征人脸特征形状，并基于特征曲线进行检测判断。因此，需要特征曲线能够尽可能地与人脸特征相吻合。
本实施例中，可以基于人脸特征对应的特征点组包含的多个特征点对特征曲线进行拟合，如此，由于多个特征点可准确表征出人脸特征的形状，因此，基于该多个特征点拟合得到的特征曲线可基本上与人脸特征的形状吻合，准确表征人脸特征的形状。
最后，基于拟合得到的特征曲线判断对应的人脸特征是否处于夸张表情状态。因为在人脸特征处于夸张表情时，则相应地会体现在其形状上，例如张嘴太大、歪嘴、眉毛扭曲等。
本实施例中，采用从人脸特征的形状出发，通过对人脸特征进行曲线拟合的方式，利用拟合到的曲线来检测判断人脸特征的状态。曲线拟合可以准确得到人脸特征的形状，可在准确判断人脸特征状态的基础上，避免采用机器学习模型所存在的处理复杂的问题。
由上述可知，图像帧可以是一段视频中包含的图像帧，即本实施例的方案的应用场景可以是针对视频进行夸张表情的检测，进而生成表情包。
实施时，针对一段待处理视频，通过对待处理视频进行分帧处理，从而得到多帧待处理的图像帧。针对每帧图像帧，则可按上述的方式对图像帧中包含的人脸特征进行夸张表情的检测。若在判定图像帧中的人脸图像包含的任意一个人脸特征处于夸张表情状态，则可从待处理视频中截取该图像帧，并生成表情包保存。
本实施例中，考虑到检测得到的人脸图像可能有些存在侧脸现象，例如，图3中所示，而在侧脸的状态下进行表情的检测，将影响到检测的效果。因此，请参阅图4，本实施例中，在检测到人脸图像中，还可通过以下方式进行侧脸判断及纠正处理：
步骤S310，识别所述人脸图像中包含的多个第一设定特征点。
步骤S320，根据所述多个第一设定特征点判断所述人脸图像中的人脸是否处于侧脸状态，若所述人脸图像中的人脸处于侧脸状态，则执行以下步骤S330，若所述人脸图像中的人脸不处于侧脸状态，则执行步骤S220。
步骤S330，根据获得的所述人脸图像包含的多个第二设定特征点对所述人脸图像进行矫正，再执行所述对所述人脸图像进行特征点检测的步骤。
本实施例中，可能可通过预设多个第一设定特征点来进行侧脸检测判断，该多个第一设定特征点可以是用于表征人脸的左右部分是否为对称状态的特征点。
其中，第一设定特征点可以包括人脸特征包含的鼻子在竖直方向的任意一点，以及人脸轮廓的最左侧边缘点和最右侧边缘点。其中，获得的人脸轮廓的最左侧边缘点和最右侧边缘点应当尽量取与鼻子所在的竖直线相垂直的同一水平线上。如此，可获取该最左侧边缘点到上述的鼻子在竖直方向上的任意一点之间的第一距离，并且，可获取最右侧边缘点到所述任意一点之间的第二距离。
应当理解，若人脸处于正脸状态，则左右两侧到鼻子的距离应当是基本一致的，而若人脸处于侧脸状态，则由于某半部分脸转向里侧，因此，该部分脸所能显示出的区域是较小的。因此，若上述得到的第一距离和第二距离之间的差值超出预设范围，则可以判定人脸图像中的人脸处于侧脸状态。
为了避免人脸处于侧脸状态而对后续的特征点检测、表情判断造成影响，因此，可对处于侧脸状态的人脸图像进行纠正，再基于纠正后的人脸图像进行后续的处理。
在对人脸图像进行纠正时，可采用多个第二设定特征点来执行，该多个第二设定特征点为可主要体现出人脸主要特征的特征点。例如第二设定特征点可以是两个眼睛的中心点、鼻子的中心点、嘴角两侧的边缘点等。本实施例中，可基于获得的上述多个第二设定特征点进行二维空间中的仿射变换，得到变化矩阵，再利用得到的变换矩阵对人脸特征进行仿射变化，得到矫正后的人脸图像。
本实施例中，人脸图像中包括多个人脸特征，例如鼻子、眉毛、眼睛、嘴部等，在进行夸张表情检测时，可分别基于各个人脸特征进行检测。由于不同的人脸特征在形状上不同，因此，用于拟合的特征曲线也各不相同。例如，对于眉毛，则与其对应的特征曲线为抛物线，而在进行鼻孔检测时，对应的特征曲线为圆形，进行牙齿检测时，对应的特征曲线可为矩形，而针对嘴部进行检测时，则对应的特征曲线为椭圆形。
在人脸图像包含的多个人脸特征中，存在任意一个人脸特征被判定为夸张表情，则可以认为该人脸图像可以作为表情包。以下对基于各个不同的人脸特征进行夸张表情判断进行介绍。
请参阅图5，作为一种可能的实施方式，针对眉毛进行检测时，可采用以下方式进行：
步骤S410，根据与所述眉毛对应的特征点组包含的多个特征点对所述抛物线进行拟合。
步骤S420，获得所述特征点组中位于所述眉毛的最左侧的特征点以及最右侧的特征点。
步骤S430，检测所述最左侧的特征点和最右侧的特征点是否位于拟合后的抛物线的中轴的两侧，若未位于所述中轴的两侧，则判定所述眉毛处于夸张表情状态。
本实施例中，可获得与眉毛对应的特征点组包含的各个特征点的坐标值，该坐标值可以是以图像帧整体所构建的坐标系上的坐标值，也可以是以人脸图像所构建的坐标系上的坐标值，具体不作限制。实施时，针对左右两侧的眉毛进行单独处理。
抛物线的一般方程式为：y＝ax2+bx+c，如果要确定具体的抛物线，就需要确定其中的参数a、b、c。与眉毛对应的特征点组中包含的各个特征点即为位于眉毛位置处的点，因此，可根据该多个特征点的坐标值对抛物线进行拟合，从而确定其中的参数a、b、c。
应当理解，若眉毛处于正常状态，则眉毛的最高点应当为眉峰处，则拟合得到的抛物线的中轴应当是通过该眉峰处的竖直线。若眉毛处于夸张状态时，则拟合得到的抛物线的中轴可能穿过眉毛的左侧端点或右侧端点，或者甚至未穿过眉毛上的点。
因此，本实施例中，若眉毛的左右两侧端点分别位于拟合得到的抛物线的两端，则可以认为眉毛处于正常状态，否则，确定眉毛处于夸张表情状态。
请参阅图6，本实施例中，作为一种可能的实施方式，在对鼻孔进行检测，检测鼻孔是否夸张时，可以通过以下方式进行：
步骤S510，获取与所述鼻子的轮廓对应的特征点组以及与所述鼻子的鼻孔对应的特征点组。
步骤S520，根据所述鼻子的轮廓对应的特征点组中包含的特征点获得所述鼻子的轮廓的尺寸。
步骤S530，根据所述鼻孔对应的特征点组包含的特征点对所述圆形进行拟合。
步骤S540，计算拟合后的圆形的直径与所述鼻子的轮廓的尺寸之间的比值，在所述比值超过预设值时，判定所述鼻子处于夸张表情状态。
因为不同人脸其鼻子大小不一，可能有些鼻子的尺寸较大、有些鼻子的尺寸较小，因此，在对鼻孔进行夸张表情检测时，除了需要考虑鼻孔本身的大小之外，还需要考虑鼻孔与鼻子整体尺寸之间的比例关系。
本实施例中，首先需要得到鼻子的尺寸，可选地，在识别得到的多组特征点组中，具有与鼻子的轮廓所对应的特征点组。根据鼻子轮廓的多个特征点，可以确定鼻子的轮廓的尺寸。其中，鼻子轮廓的尺寸可以是鼻子轮廓的长度值，也可以是鼻子轮廓的宽度值。
可选地，可获得鼻子轮廓的多个特征点中各个特征点的坐标值，根据各个特征点的坐标值可以获得最下侧的特征点和最上侧的特征点。根据获得的上下两侧最端部的特征点的坐标值，即可获得鼻子轮廓的长度值。
此外，实施时，也可以根据鼻子轮廓的多个特征点获得鼻子轮廓的宽度值。可选地，根据各个特征点的坐标值可以获得最左侧的特征点和最右侧的特征点。根据获得的左右两侧最端部的特征点的坐标值，即可获得鼻子轮廓的宽度值。
考虑到鼻孔的形状类似于圆形，因此，可采用圆形对鼻孔进行拟合，进而实现夸张表情检测。圆形的一般方程式为(x-a)2+(y-b)2＝r2，要确定一个圆形，则需要确定方程式中的参数a、b、r。本实施例中，与鼻孔对应的特征点组中包含的特征点为沿鼻孔的边缘分布的多个特征点。可获得各个特征点的坐标值，基于多个特征点的坐标值对圆形进行拟合，从而确定上述各个参数，进而确定与鼻孔形状吻合的圆形。
得到拟合后的圆形之后，可获得该圆形的直径。若鼻孔处于正常状态，则鼻孔的直径和整体鼻子的尺寸的比值应当小于一定数值，而若鼻孔处于刻意放大状态，则鼻孔的直径和整体鼻子的尺寸之间的比值可能超过一定数值。因此，本实施例中，在鼻孔的直径与鼻子轮廓的尺寸之间的比值超过预设值时，则可判定鼻子处于夸张表情状态。
此外，在本实施例中，考虑到若嘴张大、牙齿间距很大的表情也属于夸张表情的一种，因此，请参阅图7，作为一种可能的实施方式，可针对牙齿进行检测，可选地，可通过以下方式执行：
步骤S610，根据与所述牙齿对应的特征点组包含的多个特征点对与上半部分牙齿对应的矩形和与下半部分牙齿对应的矩形进行拟合。
步骤S620，在拟合得到的两个矩形之间的间距大于预设阈值时，判定所述牙齿所属的嘴部处于夸张表情状态。
本实施例中，考虑到牙齿形状类似于矩形，因此，本申请中，可利用矩形对牙齿部分进行拟合。在处理时，分别对上半部分牙齿和下半部分牙齿进行处理，得到与上半部分牙齿对应的拟合矩形以及与下半部分牙齿对应的拟合矩形。
若张嘴过大，则上半部分牙齿和下半部分牙齿之间的间距应当较大，因此，本实施例中，可通过计算拟合得到的两个矩形之间的间距来判断。可选地，可计算位于上方的矩形的底部边线与位于下方的矩形的顶部边线之间的间距，也可以计算上方的矩形的几何中心点与下方的矩形的几何中心点之间的距离，作为两者之间的间距，具体地，本实施例不作限制。
若两个矩形之间的间距大于预设阈值时，则可确定牙齿所属的嘴部处于夸张表情。
上述过程主要是通过对牙齿进行检测来判断嘴部的状态，此外，还可基于嘴部本身(即嘴唇)的信息来判断嘴部的状态。由于嘴部的形状类似于椭圆形，因此，请参阅图8，本实施例中，采用椭圆进行嘴部的拟合，可选地，具体可通过以下方式执行：
步骤S710，根据与所述嘴部对应的特征点组包含的多个特征点对所述椭圆进行拟合。
步骤S720，获得拟合得到的椭圆在空间中的旋转角度以及所述椭圆的长轴长度和短轴长度。
步骤S730，在所述旋转角度大于预设角度，或者所述长轴长度和所述短轴长度的比值不属于预设范围时，判定所述嘴部处于夸张表情状态。
本实施例中，利用与嘴部对应的特征点组包含的多个特征点对椭圆进行拟合，拟合得到的椭圆基本与嘴部的形状相吻合。考虑到嘴部的表情主要包括如歪嘴、瘪嘴等。在歪嘴的情况下，则拟合得到的椭圆应当在空间上具有一定的旋转角度，而在瘪嘴的情况下，则拟合得到的椭圆应当存在比例失衡。
因此，本申请中，若拟合得到的椭圆在空间的旋转角度大于预设角度，则可以确定此时嘴部为歪嘴状态，进而确定嘴部处于夸张表情状态。若拟合得到的椭圆的长轴长度和短轴长度的比值不属于预设范围，则可以确定此时嘴部为瘪嘴状态，进而确定嘴部处于夸张表情状态。
本实施例提供的表情检测方法，通过获得与各个人脸特征对应的特征点组，利用特征点组中的多个特征点对与人脸特征对应的特征曲线进行拟合，进而可以得到拟合后的与人脸特征形状吻合的特征曲线，进而基于拟合后的特征曲线进行人脸特征状态的判断。通过曲线拟合的方式可得到与人脸特征吻合的特征曲线，从而实现状态的判断，可在实现准确判断人脸特征状态的基础上，避免传统的采用机器学习模型进行表情检测存在的处理复杂的问题。
请参阅图9，为本申请另一实施例提供的表情检测装置900的功能模块框图，该表情检测装置900包括人脸检测模块910、特征点检测模块920、特征曲线获取模块930以及判断模块940。
人脸检测模块910，用于对待处理的图像帧进行人脸检测，得到人脸图像。
可以理解，该人脸检测模块910可以用于执行上述步骤S210，关于该人脸检测模块910的详细实现方式可以参照上述对步骤S210有关的内容。
特征点检测模块920，用于对所述人脸图像进行特征点检测，将得到的多个特征点划分为多组特征点组，其中，所述特征点组与所述人脸图像包含的人脸特征一一对应。
可以理解，该特征点检测模块920可以用于执行上述步骤S220，关于该特征点检测模块920的详细实现方式可以参照上述对步骤S220有关的内容。
特征曲线获取模块930，用于针对每个人脸特征，获取预设的与所述人脸特征对应的特征曲线。
可以理解，该特征曲线获取模块930可以用于执行上述步骤S230，关于该特征曲线获取模块930的详细实现方式可以参照上述对步骤S230有关的内容。
判断模块940，用于根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态。
可以理解，该判断模块940可以用于执行上述步骤S240，关于该判断模块940的详细实现方式可以参照上述对步骤S240有关的内容。
在一种可能的实现方式中，所述表情检测装置900还包括侧脸检测模块，该模块可以用于：
识别所述人脸图像中包含的多个第一设定特征点，根据所述多个第一设定特征点判断所述人脸图像中的人脸是否处于侧脸状态；
若所述人脸图像中的人脸处于侧脸状态，则根据获得的所述人脸图像包含的多个第二设定特征点对所述人脸图像进行矫正，再执行所述对所述人脸图像进行特征点检测的步骤。
在一种可能的实现方式中，所述人脸特征包括鼻子和人脸轮廓，所述第一设定特征点包括所述鼻子在竖直方向的任意一点，以及所述人脸轮廓的最左侧边缘点和最右侧边缘点，所述侧脸检测模块用于通过以下方式判断人脸是否处于侧脸状态：
获取所述最左侧边缘点到所述任意一点的第一距离，以及所述最右侧边缘点到所述任意一点的第二距离；
若所述第一距离和所述第二距离之间的差值超出预设范围，则判定所述人脸图像中的人脸处于侧脸状态。
在一种可能的实现方式中，所述特征曲线包括与眉毛对应的抛物线、与鼻孔对应的圆形、与牙齿对应的矩形、与嘴部对应的椭圆中的一种或多种。
在一种可能的实现方式中，所述人脸特征包括眉毛，所述特征曲线包括抛物线，所述判断模块940用于通过以下方式判断人脸特征是否处于夸张表情状态：
根据与所述眉毛对应的特征点组包含的多个特征点对所述抛物线进行拟合；
获得所述特征点组中位于所述眉毛的最左侧的特征点以及最右侧的特征点；
检测所述最左侧的特征点和最右侧的特征点是否位于拟合后的抛物线的中轴的两侧，若未位于所述中轴的两侧，则判定所述眉毛处于夸张表情状态。
在一种可能的实现方式中，所述人脸特征包括鼻子和鼻孔，所述特征曲线包括圆形，所述判断模块940用于通过以下方式判断人脸特征是否处于夸张表情状态：
获取与所述鼻子的轮廓对应的特征点组以及与所述鼻子的鼻孔对应的特征点组；
根据所述鼻子的轮廓对应的特征点组中包含的特征点获得所述鼻子的轮廓的尺寸；
根据所述鼻孔对应的特征点组包含的特征点对所述圆形进行拟合；
计算拟合后的圆形的直径与所述鼻子的轮廓的尺寸之间的比值，在所述比值超过预设值时，判定所述鼻子处于夸张表情状态。
在一种可能的实现方式中，所述人脸特征包括牙齿，所述特征曲线包括矩形，所述判断模块940用于通过以下方式判断人脸特征是否处于夸张表情状态：
根据与所述牙齿对应的特征点组包含的多个特征点对与上半部分牙齿对应的矩形和与下半部分牙齿对应的矩形进行拟合；
在拟合得到的两个矩形之间的间距大于预设阈值时，判定所述牙齿所属的嘴部处于夸张表情状态。
在一种可能的实现方式中，所述人脸特征包括嘴部，所述特征曲线包括椭圆，所述判断模块940用于通过以下方式判断人脸特征是否处于夸张表情状态：
根据与所述嘴部对应的特征点组包含的多个特征点对所述椭圆进行拟合；
获得拟合得到的椭圆在空间中的旋转角度以及所述椭圆的长轴长度和短轴长度；
在所述旋转角度大于预设角度，或者所述长轴长度和所述短轴长度的比值不属于预设范围时，判定所述嘴部处于夸张表情状态。
前述表情检测装置中各个模块执行的详细过程，在此不再一一赘述，可参考前文对所述表情检测方法的解释说明。
进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的表情检测方法。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述表情检测方法的解释说明。
综上所述，本申请实施例提供的表情检测方法和装置，首先对图像帧进行人脸检测得到人脸图像，再进行特征点检测以得到与人脸图像中的各个人脸特征所对应的多组特征点组。然后，获得与各个人脸特征对应的特征曲线，通过人脸特征对应的特征点组包含的多个特征点对特征曲线进行拟合，基于拟合后的特征曲线判断对应的人脸特征是否处于夸张表情状态。本方案中，采用获得与各个人脸特征对应的特征点组，再利用特征点组包含的特征点对对应的特征曲线进行拟合，基于拟合的特征曲线进行夸张表情判断的方式，可实现表情的准确检测的基础上，避免采用机器学习模型所存在的处理复杂的问题，达到准确、快速的检测效果。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种表情检测方法，其特征在于，所述方法包括：
对待处理的图像帧进行人脸检测，得到人脸图像；
对所述人脸图像进行特征点检测，将得到的多个特征点划分为多组特征点组，其中，所述特征点组与所述人脸图像包含的人脸特征一一对应；
针对每个人脸特征，获取预设的与所述人脸特征对应的特征曲线；
根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态。
2.根据权利要求1所述的表情检测方法，其特征在于，所述方法还包括：
识别所述人脸图像中包含的多个第一设定特征点，根据所述多个第一设定特征点判断所述人脸图像中的人脸是否处于侧脸状态；
若所述人脸图像中的人脸处于侧脸状态，则根据获得的所述人脸图像包含的多个第二设定特征点对所述人脸图像进行矫正，再执行所述对所述人脸图像进行特征点检测的步骤。
3.根据权利要求2所述的表情检测方法，其特征在于，所述人脸特征包括鼻子和人脸轮廓，所述第一设定特征点包括所述鼻子在竖直方向的任意一点，以及所述人脸轮廓的最左侧边缘点和最右侧边缘点，所述根据所述多个第一设定特征点判断所述人脸图像中的人脸是否处于侧脸状态的步骤，包括：
获取所述最左侧边缘点到所述任意一点的第一距离，以及所述最右侧边缘点到所述任意一点的第二距离；
若所述第一距离和所述第二距离之间的差值超出预设范围，则判定所述人脸图像中的人脸处于侧脸状态。
4.根据权利要求1所述的表情检测方法，其特征在于，所述特征曲线包括与眉毛对应的抛物线、与鼻孔对应的圆形、与牙齿对应的矩形、与嘴部对应的椭圆中的一种或多种。
5.根据权利要求1所述的表情检测方法，其特征在于，所述人脸特征包括眉毛，所述特征曲线包括抛物线，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
根据与所述眉毛对应的特征点组包含的多个特征点对所述抛物线进行拟合；
获得所述特征点组中位于所述眉毛的最左侧的特征点以及最右侧的特征点；
检测所述最左侧的特征点和最右侧的特征点是否位于拟合后的抛物线的中轴的两侧，若未位于所述中轴的两侧，则判定所述眉毛处于夸张表情状态。
6.根据权利要求1所述的表情检测方法，其特征在于，所述人脸特征包括鼻子和鼻孔，所述特征曲线包括圆形，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
获取与所述鼻子的轮廓对应的特征点组以及与所述鼻子的鼻孔对应的特征点组；
根据所述鼻子的轮廓对应的特征点组中包含的特征点获得所述鼻子的轮廓的尺寸；
根据所述鼻孔对应的特征点组包含的特征点对所述圆形进行拟合；
计算拟合后的圆形的直径与所述鼻子的轮廓的尺寸之间的比值，在所述比值超过预设值时，判定所述鼻子处于夸张表情状态。
7.根据权利要求1所述的表情检测方法，其特征在于，所述人脸特征包括牙齿，所述特征曲线包括矩形，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
根据与所述牙齿对应的特征点组包含的多个特征点对与上半部分牙齿对应的矩形和与下半部分牙齿对应的矩形进行拟合；
在拟合得到的两个矩形之间的间距大于预设阈值时，判定所述牙齿所属的嘴部处于夸张表情状态。
8.根据权利要求1所述的表情检测方法，其特征在于，所述人脸特征包括嘴部，所述特征曲线包括椭圆，所述根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态的步骤，包括：
根据与所述嘴部对应的特征点组包含的多个特征点对所述椭圆进行拟合；
获得拟合得到的椭圆在空间中的旋转角度以及所述椭圆的长轴长度和短轴长度；
在所述旋转角度大于预设角度，或者所述长轴长度和所述短轴长度的比值不属于预设范围时，判定所述嘴部处于夸张表情状态。
9.根据权利要求1-8任意一项所述的表情检测方法，其特征在于，所述对待处理的图像帧进行人脸检测，得到人脸图像的步骤之前，所述方法还包括：
针对待处理视频，对所述待处理视频进行分帧处理，得到多帧待处理的图像帧；
所述方法还包括：
在判定所述图像帧中的人脸图像包含的任意一个人脸特征处于夸张表情状态时，从所述待处理视频中截取所述图像帧，并生成表情包保存。
10.一种表情检测装置，其特征在于，所述装置包括：
人脸检测模块，用于对待处理的图像帧进行人脸检测，得到人脸图像；
特征点检测模块，用于对所述人脸图像进行特征点检测，将得到的多个特征点划分为多组特征点组，其中，所述特征点组与所述人脸图像包含的人脸特征一一对应；
特征曲线获取模块，用于针对每个人脸特征，获取预设的与所述人脸特征对应的特征曲线；
判断模块，用于根据与所述人脸特征对应的特征点组包含的多个特征点对所述特征曲线进行拟合，基于拟合后的特征曲线判断所述人脸特征是否处于夸张表情状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010704984.7A CN111832512A (zh) | 2020-07-21 | 2020-07-21 | 表情检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010704984.7A CN111832512A (zh) | 2020-07-21 | 2020-07-21 | 表情检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111832512A true CN111832512A (zh) | 2020-10-27 |
Family
ID=72924504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010704984.7A Pending CN111832512A (zh) | 2020-07-21 | 2020-07-21 | 表情检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832512A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152308A (zh) * | 2023-09-05 | 2023-12-01 | 南京八点八数字科技有限公司 | 一种虚拟人动作表情优化方法与*** |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030206171A1 (en) * | 2002-05-03 | 2003-11-06 | Samsung Electronics Co., Ltd. | Apparatus and method for creating three-dimensional caricature |
| US20080201144A1 (en) * | 2007-02-16 | 2008-08-21 | Industrial Technology Research Institute | Method of emotion recognition |
| US20120177288A1 (en) * | 2009-08-04 | 2012-07-12 | Vesalis | Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device |
| CN103369214A (zh) * | 2012-03-30 | 2013-10-23 | 华晶科技股份有限公司 | 图像获取方法与图像获取装置 |
| US20140098988A1 (en) * | 2012-10-04 | 2014-04-10 | Adobe Systems Incorporated | Fitting Contours to Features |
| CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
| CN105975935A (zh) * | 2016-05-04 | 2016-09-28 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法和装置 |
| CN106815309A (zh) * | 2016-12-20 | 2017-06-09 | 北京奇虎科技有限公司 | 一种图像推送方法、装置以及移动终端 |
| CN106874861A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种人脸矫正方法及*** |
| CN106951856A (zh) * | 2017-03-16 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 表情包提取方法及装置 |
| CN107563292A (zh) * | 2017-08-03 | 2018-01-09 | 佛山市顺德区中山大学研究院 | 一种基于lddmm曲线匹配的人脸情感识别方法 |
| CN109034117A (zh) * | 2018-08-22 | 2018-12-18 | 北京慕华信息科技有限公司 | 一种视频提取方法及装置 |
| US20190073522A1 (en) * | 2016-03-07 | 2019-03-07 | Canon Kabushiki Kaisha | Feature point detection method and apparatus, image processing system, and monitoring system |
| CN109657587A (zh) * | 2018-12-10 | 2019-04-19 | 南京甄视智能科技有限公司 | 用于人脸识别的侧脸质量评估方法和*** |
| CN110363124A (zh) * | 2019-07-03 | 2019-10-22 | 广州多益网络股份有限公司 | 基于人脸关键点与几何形变的快速表情识别及应用方法 |
| CN110705467A (zh) * | 2019-09-30 | 2020-01-17 | 广州海昇计算机科技有限公司 | 一种人脸表情识别方法、***、装置和存储介质 |
| CN111382648A (zh) * | 2018-12-30 | 2020-07-07 | 广州市百果园信息技术有限公司 | 人脸动态表情的检测方法、装置、设备及存储介质 |
-
2020
- 2020-07-21 CN CN202010704984.7A patent/CN111832512A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030206171A1 (en) * | 2002-05-03 | 2003-11-06 | Samsung Electronics Co., Ltd. | Apparatus and method for creating three-dimensional caricature |
| US20080201144A1 (en) * | 2007-02-16 | 2008-08-21 | Industrial Technology Research Institute | Method of emotion recognition |
| US20120177288A1 (en) * | 2009-08-04 | 2012-07-12 | Vesalis | Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device |
| CN103369214A (zh) * | 2012-03-30 | 2013-10-23 | 华晶科技股份有限公司 | 图像获取方法与图像获取装置 |
| US20140098988A1 (en) * | 2012-10-04 | 2014-04-10 | Adobe Systems Incorporated | Fitting Contours to Features |
| CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
| US20190073522A1 (en) * | 2016-03-07 | 2019-03-07 | Canon Kabushiki Kaisha | Feature point detection method and apparatus, image processing system, and monitoring system |
| CN105975935A (zh) * | 2016-05-04 | 2016-09-28 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法和装置 |
| CN106815309A (zh) * | 2016-12-20 | 2017-06-09 | 北京奇虎科技有限公司 | 一种图像推送方法、装置以及移动终端 |
| CN106874861A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种人脸矫正方法及*** |
| CN106951856A (zh) * | 2017-03-16 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 表情包提取方法及装置 |
| CN107563292A (zh) * | 2017-08-03 | 2018-01-09 | 佛山市顺德区中山大学研究院 | 一种基于lddmm曲线匹配的人脸情感识别方法 |
| CN109034117A (zh) * | 2018-08-22 | 2018-12-18 | 北京慕华信息科技有限公司 | 一种视频提取方法及装置 |
| CN109657587A (zh) * | 2018-12-10 | 2019-04-19 | 南京甄视智能科技有限公司 | 用于人脸识别的侧脸质量评估方法和*** |
| CN111382648A (zh) * | 2018-12-30 | 2020-07-07 | 广州市百果园信息技术有限公司 | 人脸动态表情的检测方法、装置、设备及存储介质 |
| CN110363124A (zh) * | 2019-07-03 | 2019-10-22 | 广州多益网络股份有限公司 | 基于人脸关键点与几何形变的快速表情识别及应用方法 |
| CN110705467A (zh) * | 2019-09-30 | 2020-01-17 | 广州海昇计算机科技有限公司 | 一种人脸表情识别方法、***、装置和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| D RAVI BABU 等: "Facial Expression Recognition Using Bezier Curves with Hausdorff Distance", 《ICIOT 2017》, pages 1 - 8 * |
| YONG-HWAN LEE 等: "Detection and Recognition of Facial Emotion using Bezier Curves", 《IT CONVERGENCE PRACTICE (INPRA)》, vol. 1, no. 2, pages 11 - 19 * |
| 李立: "人脸表情识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2017, pages 138 - 978 * |
| 祝长生: "表情识别的图像预处理和特征提取方法研究", 《小型微型计算机***》, vol. 30, no. 6, pages 1155 - 1159 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152308A (zh) * | 2023-09-05 | 2023-12-01 | 南京八点八数字科技有限公司 | 一种虚拟人动作表情优化方法与*** |
| CN117152308B (zh) * | 2023-09-05 | 2024-03-22 | 江苏八点八智能科技有限公司 | 一种虚拟人动作表情优化方法与*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI714225B (zh) | 注視點判斷方法和裝置、電子設備和電腦儲存介質 | |
| US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
| US11495264B2 (en) | Method and system of clipping a video, computing device, and computer storage medium | |
| US8983152B2 (en) | Image masks for face-related selection and processing in images | |
| US11854243B2 (en) | Gaze correction of multi-view images | |
| WO2019169532A1 (zh) | 车牌识别方法及云*** | |
| WO2018137623A1 (zh) | 图像处理方法、装置以及电子设备 | |
| CN107067006B (zh) | 一种服务于数据采集的验证码识别方法及*** | |
| WO2016180224A1 (zh) | 一种人物图像处理方法及装置 | |
| WO2019029486A1 (zh) | 人脸图像处理方法、装置和电子设备 | |
| CN110532965B (zh) | 年龄识别方法、存储介质及电子设备 | |
| CN110852310B (zh) | 三维人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN111382592B (zh) | 活体检测方法和设备 | |
| CN108830133B (zh) | 合同影像图片的识别方法、电子装置及可读存储介质 | |
| CN110348496B (zh) | 一种人脸图像融合的方法及*** | |
| KR101202448B1 (ko) | 홍채 인식 장치 및 홍채 인식 방법 | |
| US9418316B1 (en) | Sharpness-based frame selection for OCR | |
| CN108154132A (zh) | 一种身份证文字提取方法、***及设备和存储介质 | |
| CN112016469A (zh) | 图像处理方法及装置、终端及可读存储介质 | |
| CN110796089A (zh) | 用于训练换脸模型的方法和设备 | |
| CN111553251A (zh) | 证件四角残缺检测方法、装置、设备及存储介质 | |
| WO2020125217A1 (zh) | 一种表情识别方法、装置和推荐方法、装置 | |
| CN111832512A (zh) | 表情检测方法和装置 | |
| CN114445843A (zh) | 固定版式的卡证图像文字识别方法和装置 | |
| CN106980818B (zh) | 一种用于人脸图像的个性化预处理方法、***及其终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |