CN105872442A - 一种基于人脸识别的即时弹幕礼物赠送方法及*** - Google Patents
一种基于人脸识别的即时弹幕礼物赠送方法及*** Download PDFInfo
- Publication number
- CN105872442A CN105872442A CN201610189760.0A CN201610189760A CN105872442A CN 105872442 A CN105872442 A CN 105872442A CN 201610189760 A CN201610189760 A CN 201610189760A CN 105872442 A CN105872442 A CN 105872442A
- Authority
- CN
- China
- Prior art keywords
- face
- barrage
- information
- user
- mood states
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:S1、设置用于盛放弹幕的弹幕容器;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;设置赠送虚拟礼物弹幕的通配符;S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸;S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息;S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;在弹幕容器上的显示时长、进入位置、运动轨迹;跳转到步骤S2直至视频通信结束。
Description
技术领域
本发明涉及无线通信技术领域,特别涉及一种基于人脸识别的即时弹幕礼物赠送方法及***。
背景技术
随着移动终端的普及、无线网络技术日益成熟,现有的语音通话和短信交流方式已经不能满足人们需求,视频语音聊天业务越来越被人们所青睐。然而,虽然无线互联网蓬勃发展,用户量与日剧增,但是移动通讯网络普及程度仍然不足,移动通讯网络速度较慢,费用较高,限制用户实时视频聊天应用的发展,此外,移动终端的性能还不高,特别是移动终端摄像头清晰度不高,也影响视频聊天业务的用户体验。
在现有移动终端即时通讯软件中,一般都实现了视频或语音聊天的功能。一般的实现方法是,把麦克风和摄像头录制语音和视频,及进行音视频数据压缩同步处理,通过网络传输后在另一客户端播放视频画面;还有一些采用虚拟摄像头的方式对视频图像进行实时转换,通过人脸识别技术显示成虚拟形象视频数据,将生成的视频数据通过网络传输后在另一客户端播放视频画面。
现有技术中视频通信方法,通常仅有双方摄像头拍摄的实景头像信息,即时存在能够在头像信息上叠加其他图片,叠加的效果不佳,并且叠加的图片事先固定,灵活程度不高。同时,现有的即时通信方式为划分一块文字聊天区域,另划分一块视频聊天区域,用户需要同时观看两个区域,用户体验度不高,并且用户聊天时的互动性不高。
发明内容
有鉴于此,本发明提出一种基于人脸识别的即时弹幕礼物赠送方法及***。
一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:
S1、设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转到步骤S2直至视频通信结束。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S2包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S3包括:
S31、对检测到的人脸进行预处理;
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系;
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转到步骤S2直至视频通信结束。
本发明还提供一种基于人脸识别的即时弹幕礼物赠送***,其包括如下单元:
预存分类单元,用于设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元;
跟踪识别单元,用于获取用户的文字输入信息;对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为点歌弹幕,在弹幕为点歌弹幕时,在显示弹幕同时调用播放器播放歌曲;跳转执行人脸检测单元直至视频通信结束。
在本发明所述的基于人脸识别的即时弹幕礼物赠送***中,
所述人脸检测单元包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
在本发明所述的基于人脸识别的即时弹幕礼物赠送***中,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理;
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
在本发明所述的基于人脸识别的即时弹幕礼物赠送***中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
在本发明所述的基于人脸识别的即时弹幕礼物赠送***中,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系;
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转执行人脸检测单元直至视频通信结束。
实施本发明提供的基于人脸识别的即时弹幕礼物赠送方法及***与现有技术相比具有以下有益效果:首先预存了渲染动态图像,将渲染动态图像划分为不同的应用场景,并且通过人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种,根据心情状态来选择合适的渲染动态图像到人脸上,使得视频聊天过程中叠加的图片符合当时用户的心情状态,提高用户体验;此外,对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别,使得视频聊天过程中叠加的图片是实时可变的,灵活性高。此外,通过设置弹幕容器,将用户的文字输入信息通过弹幕形式显示在屏幕上的视频画面上,使得用户在观看视频图像的时候方便观看用户的文字信息,显示效果更好。通过设置赠送虚拟礼物弹幕的通配符,在用户的文字输入信息的格式为“&XXX&”时,则判断该弹幕为赠送礼物的弹幕,在对方的客户端上调用欲赠送礼物的名称,并根据名称与flash的映射关系调用并播放该虚拟礼物flash,使得聊天互动性更强。
附图说明
图1是本发明实施例的基于人脸识别的即时弹幕礼物赠送方法流程图;
图2是图1中步骤S3的子流程图;
图3是本发明实施例的基于人脸识别的即时弹幕礼物赠送***结构框图;
图4是图3中跟踪识别单元的结构框图。
具体实施方式
如图1所示,一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:
S1、设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景。
渲染动态图片可以包括各种头饰、耳钉、腮红、各种风格眼镜、大哭的特效、头像上黑线的特效图片等等。应用场景可以划分为高兴场景、忧伤场景以及中立场景。弹幕容器是一个用来装载并显示弹幕的布局,所有弹幕必须添加进容器后,才能显示在屏幕上。
赠送虚拟礼物弹幕的通配符可以事先灵活设置,比如“&XXX&”,其中的“XXX”为欲赠送的礼物名称。
S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S2包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。通过灰度化和直方图归一化处理,可以使得人脸特征更为突出。此外,优选地,还可以进行照度校正和光照校正处理,可以削弱侧面光源对人脸图像的干扰以及削弱正面光源对人脸图像的干扰。
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
通过对检测到的用户人脸进行动态跟踪,可以实时对用户此刻心情状态信息进行跟踪。
可选地,如图2所示,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S3包括:
S31、对检测到的人脸进行预处理。
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。此外,通过设置人脸中心位置在水平方向、垂直方向、人脸尺度的变化阈值,限定了人脸跟踪区域的范围。
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域。通过区域限制算法能够降低跟踪的运算量。
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别。并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型。
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
通过实施本实施例,建立心情状态判断模型,能够实时判断用户的心理状态。进而选择合适的渲染动态图像进行叠加。比如在判断为积极情绪时,可以叠加大笑的渲染动态图像,将龇压大笑的渲染动态图像替换用户的牙齿,使得聊天场景生动,用户体验度高。在判断为消极情绪时,可以叠加黑线的渲染动态图像,将黑线的渲染动态图像叠加用户的额头上。
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为点歌弹幕,在弹幕为点歌弹幕时,在显示弹幕同时调用播放器播放歌曲;跳转到步骤S2直至视频通信结束。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系。
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景。可选地,一种心情状态下可以对应多组应用场景下的图片信息,并且这些对应关系用户可灵活设置。
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转到步骤S2直至视频通信结束。
在用户的文字输入信息的格式为“&XXX&”时,则判断该弹幕为赠送礼物的弹幕,在对方的客户端上调用欲赠送礼物的名称,并根据名称与flash的映射关系调用并播放该虚拟礼物flash,使得聊天互动性更强。
如图3所示,本发明实施例还提供一种基于人脸识别的即时弹幕礼物赠送***,其包括如下单元:
预存分类单元,用于设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景。
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送***中,
所述人脸检测单元包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
跟踪识别单元,用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,如图4所示,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送***中,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理。
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域。
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送***中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型。
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为点歌弹幕,在弹幕为点歌弹幕时,在显示弹幕同时调用播放器播放歌曲;跳转执行人脸检测单元直至视频通信结束。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送***中,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系。
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景。
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转执行人脸检测单元直至视频通信结束。
实施本发明提供的基于人脸识别的即时弹幕礼物赠送方法及***与现有技术相比具有以下有益效果:首先预存了渲染动态图像,将渲染动态图像划分为不同的应用场景,并且通过人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种,根据心情状态来选择合适的渲染动态图像到人脸上,使得视频聊天过程中叠加的图片符合当时用户的心情状态,提高用户体验;此外,对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别,使得视频聊天过程中叠加的图片是实时可变的,灵活性高。此外,通过设置弹幕容器,将用户的文字输入信息通过弹幕形式显示在屏幕上的视频画面上,使得用户在观看视频图像的时候方便观看用户的文字信息,显示效果更好。通过设置赠送虚拟礼物弹幕的通配符,在用户的文字输入信息的格式为“&XXX&”时,则判断该弹幕为赠送礼物的弹幕,在对方的客户端上调用欲赠送礼物的名称,并根据名称与flash的映射关系调用并播放该虚拟礼物flash,使得聊天互动性更强。
上述方法实施例与***实施例是一一对应的,因此,方法实施例的扩展也可适用于上述***实施例。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
可以理解的是,对于本领域的普通技术人员来说,可以根据本发明的技术构思做出其它各种相应的改变与变形,而所有这些改变与变形都应属于本发明权利要求的保护范围。
Claims (10)
1.一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:
S1、设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转到步骤S2直至视频通信结束。
2.根据权利要求1所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,
所述步骤S2包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
3.根据权利要求2所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,
所述步骤S3包括:
S31、对检测到的人脸进行预处理;
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
4.根据权利要求3所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
5.根据权利要求4所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系;
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转到步骤S2直至视频通信结束。
6.一种基于人脸识别的即时弹幕礼物赠送***,其包括如下单元:
预存分类单元,用于设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元;
跟踪识别单元,用于获取用户的文字输入信息;对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转执行人脸检测单元直至视频通信结束。
7.根据权利要求6所述的基于人脸识别的即时弹幕礼物赠送***,其特征在于,
所述人脸检测单元包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
8.根据权利要求7所述的基于人脸识别的即时弹幕礼物赠送***,其特征在于,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理;
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
9.根据权利要求8所述的基于人脸识别的即时弹幕礼物赠送***,其特征在于,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
10.根据权利要求9所述的基于人脸识别的即时弹幕礼物赠送***,其特征在于,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系;
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转执行人脸检测单元直至视频通信结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610189760.0A CN105872442A (zh) | 2016-03-30 | 2016-03-30 | 一种基于人脸识别的即时弹幕礼物赠送方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610189760.0A CN105872442A (zh) | 2016-03-30 | 2016-03-30 | 一种基于人脸识别的即时弹幕礼物赠送方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105872442A true CN105872442A (zh) | 2016-08-17 |
Family
ID=56627468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610189760.0A Pending CN105872442A (zh) | 2016-03-30 | 2016-03-30 | 一种基于人脸识别的即时弹幕礼物赠送方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105872442A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454481A (zh) * | 2016-09-30 | 2017-02-22 | 广州华多网络科技有限公司 | 一种移动终端直播互动的方法及装置 |
CN106658035A (zh) * | 2016-12-09 | 2017-05-10 | 武汉斗鱼网络科技有限公司 | 一种特效礼物动态展示方法及装置 |
CN107172497A (zh) * | 2017-04-21 | 2017-09-15 | 北京小米移动软件有限公司 | 直播方法、装置及*** |
CN107438200A (zh) * | 2017-09-08 | 2017-12-05 | 广州酷狗计算机科技有限公司 | 直播间礼物展示的方法和装置 |
CN108399653A (zh) * | 2018-01-24 | 2018-08-14 | 网宿科技股份有限公司 | 增强现实方法、终端设备及计算机可读存储介质 |
CN108540863A (zh) * | 2018-03-29 | 2018-09-14 | 武汉斗鱼网络科技有限公司 | 基于人脸表情的弹幕设置方法、存储介质、设备及*** |
CN108833989A (zh) * | 2018-06-20 | 2018-11-16 | 聚好看科技股份有限公司 | 一种弹幕生成及展示的方法和装置 |
CN108965345A (zh) * | 2018-09-30 | 2018-12-07 | 武汉斗鱼网络科技有限公司 | 一种小信令网络数据包的优化方法及装置 |
CN110062272A (zh) * | 2019-04-30 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN110568933A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市趣创科技有限公司 | 基于人脸识别的人机交互方法、装置和计算机设备 |
CN110636362A (zh) * | 2019-09-04 | 2019-12-31 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、***及电子设备 |
CN115706821A (zh) * | 2021-08-17 | 2023-02-17 | 上海哔哩哔哩科技有限公司 | 虚拟礼物展示方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877056A (zh) * | 2009-12-21 | 2010-11-03 | 北京中星微电子有限公司 | 人脸表情识别方法及***、表情分类器的训练方法及*** |
US20120069028A1 (en) * | 2010-09-20 | 2012-03-22 | Yahoo! Inc. | Real-time animations of emoticons using facial recognition during a video chat |
CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
CN105335051A (zh) * | 2015-11-20 | 2016-02-17 | 珠海多玩信息技术有限公司 | 在视屏区域显示弹幕式礼物的方法及装置 |
-
2016
- 2016-03-30 CN CN201610189760.0A patent/CN105872442A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877056A (zh) * | 2009-12-21 | 2010-11-03 | 北京中星微电子有限公司 | 人脸表情识别方法及***、表情分类器的训练方法及*** |
US20120069028A1 (en) * | 2010-09-20 | 2012-03-22 | Yahoo! Inc. | Real-time animations of emoticons using facial recognition during a video chat |
CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
CN105335051A (zh) * | 2015-11-20 | 2016-02-17 | 珠海多玩信息技术有限公司 | 在视屏区域显示弹幕式礼物的方法及装置 |
Non-Patent Citations (1)
Title |
---|
皮卡: "《斗鱼直播怎么点歌 斗鱼弹幕点歌obs插件使用方法》", 《18183IPHONE 游戏频道》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454481A (zh) * | 2016-09-30 | 2017-02-22 | 广州华多网络科技有限公司 | 一种移动终端直播互动的方法及装置 |
CN106658035A (zh) * | 2016-12-09 | 2017-05-10 | 武汉斗鱼网络科技有限公司 | 一种特效礼物动态展示方法及装置 |
CN107172497B (zh) * | 2017-04-21 | 2019-07-02 | 北京小米移动软件有限公司 | 直播方法、装置及*** |
CN107172497A (zh) * | 2017-04-21 | 2017-09-15 | 北京小米移动软件有限公司 | 直播方法、装置及*** |
CN107438200A (zh) * | 2017-09-08 | 2017-12-05 | 广州酷狗计算机科技有限公司 | 直播间礼物展示的方法和装置 |
CN108399653A (zh) * | 2018-01-24 | 2018-08-14 | 网宿科技股份有限公司 | 增强现实方法、终端设备及计算机可读存储介质 |
CN108540863A (zh) * | 2018-03-29 | 2018-09-14 | 武汉斗鱼网络科技有限公司 | 基于人脸表情的弹幕设置方法、存储介质、设备及*** |
CN108540863B (zh) * | 2018-03-29 | 2021-03-12 | 武汉斗鱼网络科技有限公司 | 基于人脸表情的弹幕设置方法、存储介质、设备及*** |
CN108833989A (zh) * | 2018-06-20 | 2018-11-16 | 聚好看科技股份有限公司 | 一种弹幕生成及展示的方法和装置 |
CN108965345A (zh) * | 2018-09-30 | 2018-12-07 | 武汉斗鱼网络科技有限公司 | 一种小信令网络数据包的优化方法及装置 |
WO2020220968A1 (zh) * | 2019-04-30 | 2020-11-05 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN110062272A (zh) * | 2019-04-30 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
CN110062272B (zh) * | 2019-04-30 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法和相关装置 |
US11900614B2 (en) | 2019-04-30 | 2024-02-13 | Tencent Technology (Shenzhen) Company Limited | Video data processing method and related apparatus |
CN110636362A (zh) * | 2019-09-04 | 2019-12-31 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、***及电子设备 |
CN110636362B (zh) * | 2019-09-04 | 2022-05-24 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、***及电子设备 |
CN110568933A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市趣创科技有限公司 | 基于人脸识别的人机交互方法、装置和计算机设备 |
CN115706821A (zh) * | 2021-08-17 | 2023-02-17 | 上海哔哩哔哩科技有限公司 | 虚拟礼物展示方法及装置 |
CN115706821B (zh) * | 2021-08-17 | 2024-04-30 | 上海哔哩哔哩科技有限公司 | 虚拟礼物展示方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105872442A (zh) | 一种基于人脸识别的即时弹幕礼物赠送方法及*** | |
CN105847735A (zh) | 一种基于人脸识别的即时弹幕视频通信方法及*** | |
CN105847734A (zh) | 一种基于人脸识别的视频通信方法及*** | |
KR102292537B1 (ko) | 이미지 처리 방법 및 장치, 및 저장 매체 | |
US11094131B2 (en) | Augmented reality apparatus and method | |
CN110557678B (zh) | 视频处理方法、装置及设备 | |
US8581953B2 (en) | Method and apparatus for providing animation effect on video telephony call | |
CN109872297A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN109618184A (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN109257645A (zh) | 视频封面生成方法及装置 | |
CN104853092A (zh) | 一种拍照方法及装置 | |
WO2015001437A1 (en) | Image processing method and apparatus, and electronic device | |
EP3284249A2 (en) | Communication system and method | |
CN108985176A (zh) | 图像生成方法及装置 | |
CN110062163B (zh) | 多媒体数据的处理方法以及装置 | |
CN105915673A (zh) | 一种视频特效切换的方法和移动终端 | |
CN109348277A (zh) | 运动像素视频特效添加方法、装置、终端设备及存储介质 | |
CN110213486A (zh) | 图像拍摄方法、终端及计算机可读存储介质 | |
CN108122195A (zh) | 图片处理方法及装置 | |
CN114630057B (zh) | 确定特效视频的方法、装置、电子设备及存储介质 | |
CN113709545A (zh) | 视频的处理方法、装置、计算机设备和存储介质 | |
CN114880062A (zh) | 聊天表情展示方法、设备、电子设备及存储介质 | |
CN117593473B (zh) | 动作图像与视频生成方法、设备与存储介质 | |
CN108270971A (zh) | 一种移动终端对焦的方法、设备及计算机可读存储介质 | |
CN105898182A (zh) | 一种基于人脸识别的弹幕点歌方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160817 |
|
RJ01 | Rejection of invention patent application after publication |