CN111460945A - 一种基于人工智能获取rgb视频中3d表情的算法 - Google Patents

一种基于人工智能获取rgb视频中3d表情的算法 Download PDF

Info

Publication number
CN111460945A
CN111460945A CN202010215726.2A CN202010215726A CN111460945A CN 111460945 A CN111460945 A CN 111460945A CN 202010215726 A CN202010215726 A CN 202010215726A CN 111460945 A CN111460945 A CN 111460945A
Authority
CN
China
Prior art keywords
deep learning
rgb video
face
expression
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010215726.2A
Other languages
English (en)
Inventor
高立艳
何書廉
陆晓飞
徐阳
刘烨斌
方浩树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiyun Zhixing Shenzhen Technology Co ltd
Original Assignee
Yiyun Zhixing Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yiyun Zhixing Shenzhen Technology Co ltd filed Critical Yiyun Zhixing Shenzhen Technology Co ltd
Priority to CN202010215726.2A priority Critical patent/CN111460945A/zh
Publication of CN111460945A publication Critical patent/CN111460945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人工智能获取RGB视频中3D表情的算法，包括以下步骤：S1、服务器端接收包含人脸的RGB视频信息；S2、从视频中计算出人脸的位置；S3、从视频中计算出人脸特征点检测；S4、对人脸信息进行数据标准化；S5、提取人脸信息的特征数据；S6、将特征数据输入到本地存储的深度学习模型；S7、深度学习模型计算出Blend Shape数值；S8、对输出的出Blend Shape数值进行自动优化。本发明的优点在于：无需过多硬件设备、可输出详细的Blend Shape数值、可应用于3D动画制作。

Description

一种基于人工智能获取RGB视频中3D表情的算法
技术领域
本发明涉及表情识别领域，具体是指一种基于人工智能获取RGB视频中3D表情的算法。
背景技术
随着科技的进步，以深度学习为基础的视频分析技术发展迅速，如：姿态估计，动作跟踪, 人脸特征点检测等，大量重要讯息都可从视频及图像中以计算器视觉算法抽取出来。
对于从视频中对面部表情进行识别，现在的技术一般只输出简陋的信息，如：喜、怒、哀、乐等，作面部表情的标签，或是绑定在某一品牌智能手机的 API 开发软件上，如：苹果手机的ARKit。
发明内容
本发明要解决的技术问题是，针对上述问题，提出一种无需过多硬件设备、可输出详细的Blend Shape 数值、可应用于3D动画制作的基于人工智能获取RGB视频中3D表情的算法。
为解决上述技术问题，本发明提供的技术方案为：一种基于人工智能获取RGB视频中3D表情的算法，包括以下步骤：
一种基于人工智能获取RGB视频中3D表情的算法，包括以下步骤：
S1、用户经网络接口上传视频到服务器，服务器端接收包含人脸的RGB视频信息；
S2、从视频中取出每一帧并以图像格式作暂存，并把每一张图片输入 DLib 的人脸关键点侦测***以取得关键点的 X 及 Y 坐标；
S3、基于取得的关键点坐标抽取人脸特征，以人脸不同部份区分特征点群；
S4、对每一个特征点群进行数据标准化，以 P = {p1, p2, ..., pn} 为所有(n个)特征点为例，标准化的特征点群P’计算公式为:
Q = P / (max(P) – min(P))
P’= Q - mean(Q)；
S5、提取人脸信息的特征数据，已标准化的特征点群将成为不同的特征数据；
S6、将特征数据输入到本地存储的深度学习模型；
S7、深度学习模型计算出Blend Shape数值，以特征数据 P’作输入并计算出BlendShape数值bs，公式为：
bs = P’ * M + b
其中 M 及 b 将从深度学习训练过程中求取；
S8、对输出的出Blend Shape数值进行自动优化。
进一步的，所述S1中服务器接收的人脸信息为用户选择的人脸信息。
进一步的，所述S3中的特征点群包括左眼眉、右眼眉、左眼、右眼、鼻子及嘴巴。
进一步的，所述S7中深度学习模型利用多层神经网络，在训练数据中学习人脸信息的特征数据与Blend Shape数值的相关性。
本发明与现有技术相比的优点在于：该基于智能终端的级联通信资源图形化交互方法，服务器端接收包含人脸的RGB视信息，从视频中计算出人脸的位置，对人脸信息进行数据标准化，从视频中人脸的位置及人脸特征点的位置计算出特征数据，然后将特征数据输入到本地存储的深度学习模型，该深度学习模型利用本发明所收集的大量包含人脸的RGB视频数据训练而成，深度学习模型输出Blend Shape数值，最后，自动优化Blend Shape数值为最终结果，在面部表情识别过程中，直接使用RGB视频，无需其他的硬件如深度摄影机或某一品牌的智能电话，并输出详细的Blend Shape 数值表达细致的表情，可应用于影视、3D动画、虚拟角色的制作。
附图说明
图1本发明一种基于人工智能获取RGB视频中3D表情的算法的流程图。
具体实施方式
实施例
S1、用户经网络接口(如网站以 HTTP 超文本传输协议)上传视频到服务器，服务器端接收包含人脸的RGB视频信息；
S2、从视频中取出每一帧并以图像格式作暂存，并把每一张图片输入 DLib 的人脸关键点侦测***以取得关键点的 X 及 Y 坐标；
S3、基于取得的关键点坐标抽取人脸特征，以人脸不同部份区分特征点群，包括左眼眉、右眼眉、左眼、右眼、鼻子及嘴巴；
S4、对每一个特征点群进行数据标准化，以 P = {p1, p2, ..., pn} 为所有(n个)特征点为例，标准化的特征点群P’计算公式为:
Q = P / (max(P) – min(P))
P’= Q - mean(Q)；
S5、提取人脸信息的特征数据，已标准化的特征点群将成为不同的特征数据；
S6、将特征数据输入到本地存储的深度学习模型；
S7、深度学习模型计算出Blend Shape数值，以特征数据 P’作输入并计算出BlendShape数值bs，公式为：
bs = P’ * M + b
其中 M 及 b 将从深度学习训练过程中求取；
S8、对输出的出Blend Shape数值进行自动优化。
以上所述仅是本发明的优选实施方式，并不用以限制本发明。凡在本发明的原理之内所作的修改和改进均应包含在本发明的保护范围内。

Claims (4)

1.一种基于人工智能获取RGB视频中3D表情的算法，其特征在于，包括以下步骤：
S1、用户经网络接口上传视频到服务器，服务器端接收包含人脸的RGB视频信息；
S2、从视频中取出每一帧并以图像格式作暂存，并把每一张图片输入 DLib 的人脸关键点侦测***以取得关键点的 X 及 Y 坐标；
S3、基于取得的关键点坐标抽取人脸特征，以人脸不同部份区分特征点群；
S4、对每一个特征点群进行数据标准化，以 P = {p1, p2, ..., pn} 为所有(n个)特征点为例，标准化的特征点群P’计算公式为:
Q = P / (max(P) – min(P))
P’= Q - mean(Q)；
S5、提取人脸信息的特征数据，已标准化的特征点群将成为不同的特征数据；
S6、将特征数据输入到本地存储的深度学习模型；
S7、深度学习模型计算出Blend Shape数值，以特征数据 P’作输入并计算出BlendShape数值bs，公式为：
bs = P’ * M + b
其中 M 及 b 将从深度学习训练过程中求取；
S8、对输出的出Blend Shape数值进行自动优化。
2.根据权利要求1所述的一种基于人工智能获取RGB视频中3D表情的算法，其特征在于：所述S1中服务器接收的人脸信息为用户选择的人脸信息。
3.根据权利要求1所述的一种基于人工智能获取RGB视频中3D表情的算法，其特征在于：所述S3中的特征点群包括左眼眉、右眼眉、左眼、右眼、鼻子及嘴巴。
4.根据权利要求1所述的一种基于人工智能获取RGB视频中3D表情的算法，其特征在于：所述S7中深度学习模型利用多层神经网络，在训练数据中学习人脸信息的特征数据与Blend Shape数值的相关性。
CN202010215726.2A 2020-03-25 2020-03-25 一种基于人工智能获取rgb视频中3d表情的算法 Pending CN111460945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010215726.2A CN111460945A (zh) 2020-03-25 2020-03-25 一种基于人工智能获取rgb视频中3d表情的算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010215726.2A CN111460945A (zh) 2020-03-25 2020-03-25 一种基于人工智能获取rgb视频中3d表情的算法

Publications (1)

Publication Number Publication Date
CN111460945A true CN111460945A (zh) 2020-07-28

Family

ID=71685673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215726.2A Pending CN111460945A (zh) 2020-03-25 2020-03-25 一种基于人工智能获取rgb视频中3d表情的算法

Country Status (1)

Country Link
CN (1) CN111460945A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101102A (zh) * 2020-08-07 2020-12-18 亿匀智行(深圳)科技有限公司 一种基于人工智能获取rgb视频中3d肢体动作的方法
CN112101306A (zh) * 2020-11-10 2020-12-18 成都市谛视科技有限公司 基于rgb图像的精细化人脸表情捕获方法及装置
CN113066155A (zh) * 2021-03-23 2021-07-02 华强方特（深圳）动漫有限公司 一种3d表情处理方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
CN104951743A (zh) * 2015-03-04 2015-09-30 苏州大学 基于主动形状模型算法分析人脸表情的方法
CN106778563A (zh) * 2016-12-02 2017-05-31 江苏大学 一种基于空间连贯特征的快速任意姿态人脸表情识别方法
CN107610209A (zh) * 2017-08-17 2018-01-19 上海交通大学 人脸表情合成方法、装置、存储介质和计算机设备
KR20180037419A (ko) * 2016-10-04 2018-04-12 재단법인대구경북과학기술원 Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
CN108363973A (zh) * 2018-02-07 2018-08-03 电子科技大学 一种无约束的3d表情迁移方法
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN109493403A (zh) * 2018-11-13 2019-03-19 北京中科嘉宁科技有限公司 一种基于运动单元表情映射实现人脸动画的方法
CN110415323A (zh) * 2019-07-30 2019-11-05 成都数字天空科技有限公司 一种融合变形系数获得方法、装置及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN104951743A (zh) * 2015-03-04 2015-09-30 苏州大学 基于主动形状模型算法分析人脸表情的方法
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
KR20180037419A (ko) * 2016-10-04 2018-04-12 재단법인대구경북과학기술원 Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
CN106778563A (zh) * 2016-12-02 2017-05-31 江苏大学 一种基于空间连贯特征的快速任意姿态人脸表情识别方法
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN107610209A (zh) * 2017-08-17 2018-01-19 上海交通大学 人脸表情合成方法、装置、存储介质和计算机设备
CN108363973A (zh) * 2018-02-07 2018-08-03 电子科技大学 一种无约束的3d表情迁移方法
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109493403A (zh) * 2018-11-13 2019-03-19 北京中科嘉宁科技有限公司 一种基于运动单元表情映射实现人脸动画的方法
CN110415323A (zh) * 2019-07-30 2019-11-05 成都数字天空科技有限公司 一种融合变形系数获得方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘文如: "《零基础入门Python深度学习》", 华中科技大学出版社, pages: 111 - 114 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101102A (zh) * 2020-08-07 2020-12-18 亿匀智行(深圳)科技有限公司 一种基于人工智能获取rgb视频中3d肢体动作的方法
CN112101306A (zh) * 2020-11-10 2020-12-18 成都市谛视科技有限公司 基于rgb图像的精细化人脸表情捕获方法及装置
CN112101306B (zh) * 2020-11-10 2021-02-09 成都市谛视科技有限公司 基于rgb图像的精细化人脸表情捕获方法及装置
CN113066155A (zh) * 2021-03-23 2021-07-02 华强方特（深圳）动漫有限公司 一种3d表情处理方法及装置

Similar Documents

Publication Publication Date Title
CN110569795B (zh) 一种图像识别方法、装置以及相关设备
Rizwan et al. An accurate facial expression detector using multi-landmarks selection and local transform features
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及***
US9805255B2 (en) Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
CN111460945A (zh) 一种基于人工智能获取rgb视频中3d表情的算法
CN111770299B (zh) 一种智能视频会议终端的实时人脸摘要服务的方法及***
CN112418095A (zh) 一种结合注意力机制的面部表情识别方法及***
CN113420719B (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
KR101887637B1 (ko) 로봇 시스템
Meng et al. Weakly supervised semantic segmentation by a class-level multiple group cosegmentation and foreground fusion strategy
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN110555896A (zh) 一种图像生成方法、装置以及存储介质
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
CN111108508A (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN112257513A (zh) 一种手语视频翻译模型的训练方法、翻译方法及***
CN110866962A (zh) 一种基于卷积神经网络的虚拟人像与表情同步方法
Kumar et al. Facial emotion recognition and detection using cnn
Renjith et al. Indian sign language recognition: A comparative analysis using cnn and rnn models
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN108399358B (zh) 一种在视频聊天的表情显示方法及***
CN113449564A (zh) 基于人体局部语义知识的行为图像分类方法
CN113269068B (zh) 一种基于多模态特征调节与嵌入表示增强的手势识别方法
CN112784631A (zh) 一种基于深度神经网络进行人脸情绪识别的方法
CN112101102A (zh) 一种基于人工智能获取rgb视频中3d肢体动作的方法
CN117576279B (zh) 基于多模态数据的数字人驱动方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 717, building r2-a, Gaoxin industrial village, No. 020, Gaoxin South seventh Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Applicant after: Yiyun Zhixing (Shenzhen) Technology Co.,Ltd.

Address before: 518000 1403a-1005, east block, Coast Building, No. 15, Haide Third Road, Haizhu community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Applicant before: Yiyun Zhixing (Shenzhen) Technology Co.,Ltd.

CB02 Change of applicant information