CN106231434B - 一种基于人脸检测的直播互动特效实现方法及*** - Google Patents
一种基于人脸检测的直播互动特效实现方法及*** Download PDFInfo
- Publication number
- CN106231434B CN106231434B CN201610592350.0A CN201610592350A CN106231434B CN 106231434 B CN106231434 B CN 106231434B CN 201610592350 A CN201610592350 A CN 201610592350A CN 106231434 B CN106231434 B CN 106231434B
- Authority
- CN
- China
- Prior art keywords
- special efficacy
- face
- main broadcaster
- module
- key position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000009877 rendering Methods 0.000 claims abstract description 22
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 230000010354 integration Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 210000001061 forehead Anatomy 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 241000282898 Sus scrofa Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于人脸检测的直播互动特效实现方法及***，涉及直播特效技术领域。该方法包括：主播通过主播端将直播间设置为特效开启状态，用户通过用户端进入特效开启的直播间；当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买；直播过程中，主播端进行实时的人脸检测并上报至直播服务器，用户端完成与主播的特效互动并上报至直播服务器；直播服务器根据收到的信息进行整合处理，并将处理后的数据分别发回至主播端、用户端；最后，分别在主播端、用户端的播放器中进行互动特效渲染。本发明能满足用户的多样化互动需求，使得用户体验更好。
Description
技术领域
本发明涉及直播特效技术领域，具体来讲是一种基于人脸检测的直播互动特效实现方法及***。
背景技术
随着互联网技术的迅速发展，越来越多的用户可以使用电脑、手机等终端通过网络观看在线视频直播。在线视频直播是指利用互联网网络资源进行的现场视频直播服务，通过现场的视频拍摄同步发布到网络上，用户可以同一时间在网络上看到实时的现场情况。
目前，随着直播行业的快速发展，用户与自己喜爱的主播之间的互动需求越来越多，而现有的普遍使用的直播互动方式主要为传统的文字互动。但是，实际使用中，有的主播的忠实粉丝往往希望有更多样的互动方式，而且这部分用户的付费意愿高，更愿意尝试一些新的互动方式。
由于传统的文字互动已无法满足用户的多样化互动需求，因此，如何设计出更多样化的直播互动方式，是直播领域亟待解决的问题。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于人脸检测的直播互动特效实现方法及***，能满足用户的多样化互动需求，使得用户体验更好。
为达到以上目的，本发明提供一种基于人脸检测的直播互动特效实现方法，包括以下步骤：S1：主播通过主播端将直播间设置为特效开启状态；用户通过用户端进入特效开启的直播间，转入S2；S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入S3；S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入S4；S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入S5；S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染，结束；
其中，所述步骤S3中，在对主播进行实时的人脸检测之后还包括人脸关键部位检测操作：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
在上述技术方案的基础上，步骤S2中所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
在上述技术方案的基础上，步骤S3中所述主播端对主播进行实时的人脸检测，具体包括以下步骤：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
在上述技术方案的基础上，步骤S3中，在对主播进行实时的人脸检测之后还包括人脸校正操作，用于实现对人脸图像的校正调整。
本发明同时还提供一种基于人脸检测的直播互动特效实现***，包括客户端和直播服务器，客户端分为主播端和用户端；主播端包括直播间设置模块、音视频采样模块、人脸检测模块和主播端渲染模块；用户端包括直播间进入模块、特效购买模块、特效使用模块、和用户端渲染模块；
其中，所述直播间设置模块用于：将直播间设置为特效开启状态；所述音视频采样模块用于：当主播开始直播后，启动音视频采样和编码；所述人脸检测模块用于：在直播过程中对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；所述主播端渲染模块用于：根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；所述直播间进入模块用于；根据用户的选择进入特效开启的直播间；所述特效购买模块用于：根据用户操作进行付费特效的购买；所述特效使用模块用于：根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器；所述用户端渲染模块用于：根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染；所述直播服务器用于：根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端；
该***还包括人脸关键部位检测模块，所述人脸关键部位检测模块进行关键部位检测的具体过程为：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
在上述技术方案的基础上，所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
在上述技术方案的基础上，所述人脸检测模块对主播进行实时的人脸检测的具体过程包括：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
在上述技术方案的基础上，该***还包括人脸校正模块，所述人脸校正模块用于实现对人脸图像的校正调整。
本发明的有益效果在于：
(1)本发明采用了一种基于人脸检测的直播互动特效实现方法，使得用户在用户端可以通过购买付费特效的方式，给主播的眼睛、耳朵、鼻子、头发等地方增加一些动画特效或者文字特效。与现有技术的单一文字互动相比，本发明增加了用户与主播之间的动画特效互动方式，使得用户与主播的互动更亲昵、更多样化。对主播来说，可有效增强粉丝的粘性；对用户来说，可得到更好更多元化的体验，用户体验佳。
(2)本发明中，主播端对主播进行实时的人脸检测之后，还会进行相应的人脸校正操作和人脸关键部位检测操作，能更好的实现人脸的检测，提高人脸检测质量。
附图说明
图1为本发明实施例中基于人脸检测的直播互动特效实现方法的流程图；
图2为本发明实施例中基于人脸检测的直播互动特效实现***的结构框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示，本发明实施例提供一种基于人脸检测的直播互动特效实现方法，包括以下步骤：
步骤S1：主播通过主播所在的客户端(以下简称：主播端)将直播间设置为特效开启状态；用户通过用户所在的客户端(以下简称：用户端)进入特效开启的直播间，转入步骤S2。
步骤S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入步骤S3。
本实施例中，所述付费特效包括但不限于动画特效、文字特效。其中，动画特效包括但不限于：脸部墨镜特效、脸部腮红特效、变脸特效(将主播脸部变成可爱动物的脸型，如猪、兔子、猫等)、头部花环特效等；文字特效包括但不限于：脸部文字特效、额头文字特效、头顶文字特效等。
步骤S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入步骤S4。
实际操作时，步骤S3中所述主播端对主播进行实时的人脸检测，具体包括以下步骤：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸。其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。本实施例中，具体是采用Adaboost的训练方法得到人脸模型。
进一步地，为了更好的实现人脸的检测，提高人脸检测质量，本实施例中，主播端对主播进行实时的人脸检测之后，还包括人脸关键部位检测操作和人脸校正操作。
其中，人脸关键部位检测操作具体包括以下步骤：利用已经预设好的人脸关键部位的特征映射(feature mapping)和线性投影(linear projection)，得到一个更新的关键部位的形状Shape；将关键部位的形状Shape与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位。可以理解的是，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征(LBF，LocalBinaryFeature)离线进行全局回归学习后训练得到的。其中，关键部位所对应的局部二值化特征是通过对关键部位的训练图片采用随机森林算法和形状索引特征计算得到的。该方法能取得一个较好的时间运行效率和准确率，在客户端能达到300fps的效率。
另外，实际操作中，现有的人脸校正操作的算法较多，本发明在此不赘述，也不做任何一种算法的限定，操作人员可根据实际需要进行自行选择。
步骤S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入步骤S5。
具体来说，将特效添加到人脸检测后的相应部位，具体操作如下：若用户使用的是脸部墨镜特效，则根据人脸检测到的人眼位置，在人眼处添加一副墨镜；若用户使用的是头部花环特效，则根据人脸检测到的头顶位置，在头顶处添加一个发光的花环；若用户使用的是脸部腮红特效，则根据人脸检测到的脸颊位置，在脸颊处为主播添加腮红特效；若用户使用的是变脸特效，则根据人脸检测到的整个面部，将主播面部变成指定的动物脸型(如猪、兔子，猫等)。但可以理解的是，实际操作时可包括以上几种特效添加情况，但不限于以上几种。
步骤S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染(即在主播端显示特效)；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染(即在用户端显示特效)，结束。
参见图2所示，本发明实施例还提供一种基于人脸检测的直播互动特效实现***。该***包括客户端和直播服务器，客户端分为主播端(主播所在的客户端)和用户端(用户所在的客户端)。其中，主播端包括直播间设置模块、音视频采样模块、人脸检测模块和主播端渲染模块；用户端包括直播间进入模块、特效购买模块、特效使用模块、和用户端渲染模块。
直播间设置模块用于：将直播间设置为特效开启状态；
音视频采样模块用于：当主播开始直播后，启动音视频采样和编码；
人脸检测模块用于：在直播过程中对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；
主播端渲染模块用于：根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；
直播间进入模块用于；根据用户的选择进入特效开启的直播间；
特效购买模块用于：根据用户操作进行付费特效的购买；
特效使用模块用于：根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器；
用户端渲染模块用于：根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染；
直播服务器用于：根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端。
进一步地，所述人脸检测模块对主播进行实时的人脸检测的具体过程包括：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸。其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。本实施例中，具体是采用Adaboost的训练方法得到人脸模型。
更进一步地，为了更好的实现人脸的检测，提高人脸检测质量，本***还包括用于对人脸图像进行校正的人脸校正模块和人脸关键部位检测模块。其中，人脸关键部位检测模块进行关键部位检测的具体过程为：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位。
需要说明的是：上述实施例提供的***在进行操作时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (7)
1.一种基于人脸检测的直播互动特效实现方法，其特征在于，该方法包括以下步骤：
S1：主播通过主播端将直播间设置为特效开启状态；用户通过用户端进入特效开启的直播间，转入S2；
S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入S3；
S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入S4；
S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入S5；
S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染，结束；
其中，所述步骤S3中，在对主播进行实时的人脸检测之后还包括人脸关键部位检测操作：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的；
步骤S2中所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
2.如权利要求1所述的基于人脸检测的直播互动特效实现方法，其特征在于：步骤S3中所述主播端对主播进行实时的人脸检测，具体包括以下步骤：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
3.如权利要求1所述的基于人脸检测的直播互动特效实现方法，其特征在于：步骤S3中，在对主播进行实时的人脸检测之后还包括人脸校正操作，用于实现对人脸图像的校正调整。
4.一种基于人脸检测的直播互动特效实现***，包括客户端和直播服务器，客户端分为主播端和用户端，其特征在于：主播端包括直播间设置模块、音视频采样模块、人脸检测模块和主播端渲染模块；用户端包括直播间进入模块、特效购买模块、特效使用模块、和用户端渲染模块；其中，
所述直播间设置模块用于：将直播间设置为特效开启状态；
所述音视频采样模块用于：当主播开始直播后，启动音视频采样和编码；
所述人脸检测模块用于：在直播过程中对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；
所述主播端渲染模块用于：根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；
所述直播间进入模块用于；根据用户的选择进入特效开启的直播间；
所述特效购买模块用于：根据用户操作进行付费特效的购买；
所述特效使用模块用于：根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器；
所述用户端渲染模块用于：根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染；
所述直播服务器用于：根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端；
其中，所述***还包括人脸关键部位检测模块，所述人脸关键部位检测模块进行关键部位检测的具体过程为：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
5.如权利要求4所述的基于人脸检测的直播互动特效实现***，其特征在于：所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
6.如权利要求4所述的基于人脸检测的直播互动特效实现***，其特征在于：所述人脸检测模块对主播进行实时的人脸检测的具体过程包括：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
7.如权利要求4所述的基于人脸检测的直播互动特效实现***，其特征在于：该***还包括人脸校正模块，所述人脸校正模块用于实现对人脸图像的校正调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610592350.0A CN106231434B (zh) | 2016-07-25 | 2016-07-25 | 一种基于人脸检测的直播互动特效实现方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610592350.0A CN106231434B (zh) | 2016-07-25 | 2016-07-25 | 一种基于人脸检测的直播互动特效实现方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106231434A CN106231434A (zh) | 2016-12-14 |
| CN106231434B true CN106231434B (zh) | 2019-09-10 |
Family
ID=57534073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610592350.0A Active CN106231434B (zh) | 2016-07-25 | 2016-07-25 | 一种基于人脸检测的直播互动特效实现方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106231434B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304753B (zh) * | 2017-01-24 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 视频通信方法及视频通信装置 |
| CN107071580A (zh) * | 2017-03-20 | 2017-08-18 | 北京潘达互娱科技有限公司 | 数据处理方法及装置 |
| CN107124658B (zh) * | 2017-05-02 | 2019-10-11 | 北京小米移动软件有限公司 | 视频直播方法及装置 |
| CN107197370A (zh) * | 2017-06-22 | 2017-09-22 | 北京密境和风科技有限公司 | 一种直播视频的场景检测方法和装置 |
| CN107680157B (zh) * | 2017-09-08 | 2020-05-12 | 广州华多网络科技有限公司 | 一种基于直播的互动方法及直播***、电子设备 |
| CN107682729A (zh) * | 2017-09-08 | 2018-02-09 | 广州华多网络科技有限公司 | 一种基于直播的互动方法及直播***、电子设备 |
| CN107948667B (zh) * | 2017-12-05 | 2020-06-30 | 广州酷狗计算机科技有限公司 | 在直播视频中添加显示特效的方法和装置 |
| CN109963088A (zh) * | 2017-12-14 | 2019-07-02 | 苏州梦想人软件科技有限公司 | 基于增强现实ar的网络直播方法、装置及*** |
| CN107968744A (zh) * | 2017-12-20 | 2018-04-27 | 福建中金在线信息科技有限公司 | 文字直播内容的交互方法、装置及服务器 |
| CN108122029A (zh) * | 2017-12-29 | 2018-06-05 | 北京奇虎科技有限公司 | 一种相机特效的推荐方法及装置 |
| CN108462883B (zh) * | 2018-01-08 | 2019-10-18 | 平安科技（深圳）有限公司 | 一种直播互动方法、装置、终端设备及存储介质 |
| CN108391139B (zh) * | 2018-01-15 | 2023-06-16 | 上海掌门科技有限公司 | 一种用于视频直播中的视频增强方法、介质及设备 |
| CN110072138B (zh) * | 2019-04-26 | 2021-06-18 | 广州酷狗计算机科技有限公司 | 视频播放方法、设备及计算机可读存储介质 |
| CN110189172B (zh) * | 2019-05-28 | 2021-10-15 | 广州华多网络科技有限公司 | 一种网络直播间导购方法及*** |
| CN110211033A (zh) * | 2019-06-28 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、介质及电子设备 |
| CN110493630B (zh) * | 2019-09-11 | 2020-12-01 | 广州华多网络科技有限公司 | 虚拟礼物特效的处理方法和装置、直播*** |
| CN110557649B (zh) * | 2019-09-12 | 2021-12-28 | 广州方硅信息技术有限公司 | 直播交互方法、直播***、电子设备及存储介质 |
| CN110933452B (zh) * | 2019-12-02 | 2021-12-03 | 广州酷狗计算机科技有限公司 | 萌脸礼物显示方法、装置及存储介质 |
| CN112383788B (zh) * | 2020-11-11 | 2023-05-26 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取***及方法 |
| CN112788359B (zh) * | 2020-12-30 | 2023-05-09 | 北京达佳互联信息技术有限公司 | 直播处理方法、装置、电子设备及存储介质 |
| CN112929681B (zh) * | 2021-01-19 | 2023-09-05 | 广州虎牙科技有限公司 | 视频流图像渲染方法、装置、计算机设备及存储介质 |
| CN113160031B (zh) * | 2021-03-26 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113126629B (zh) * | 2021-04-29 | 2022-11-29 | 清华大学深圳国际研究生院 | 一种机器人主动搜索目标的方法及智能机器人 |
| CN115065835A (zh) * | 2022-05-20 | 2022-09-16 | 广州方硅信息技术有限公司 | 直播的表情显示处理方法、服务器、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9747495B2 (en) * | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
| CN104410923A (zh) * | 2013-11-14 | 2015-03-11 | 贵阳朗玛信息技术股份有限公司 | 基于视频聊天室的动画呈现方法及装置 |
| CN103955675A (zh) * | 2014-04-30 | 2014-07-30 | 上海华博信息服务有限公司 | 一种人脸特征提取方法 |
| CN105334963B (zh) * | 2015-10-29 | 2018-11-20 | 广州华多网络科技有限公司 | 一种虚拟物品展示方法及*** |
| CN105488456B (zh) * | 2015-11-23 | 2019-04-23 | 中国科学院自动化研究所 | 基于自适应阈值调整拒识子空间学习的人脸检测方法 |
-
2016
- 2016-07-25 CN CN201610592350.0A patent/CN106231434B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106231434A (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106231434B (zh) | 一种基于人脸检测的直播互动特效实现方法及*** | |
| WO2015090147A1 (zh) | 虚拟视频通话方法和终端 | |
| CN106454481B (zh) | 一种移动终端直播互动的方法及装置 | |
| CN105701530B (zh) | 一种三维码的编解码和使用方法 | |
| CN108010037B (zh) | 图像处理方法、装置及存储介质 | |
| CN104636501B (zh) | 一种多媒体网络人工即时翻译***及方法 | |
| JP7408792B2 (ja) | シーンのインタラクション方法及び装置、電子機器並びにコンピュータプログラム | |
| CN110213601A (zh) | 一种基于云游戏的直播***及直播方法、直播互动方法 | |
| CN109615961A (zh) | 一种课堂教学师生互动网络***与方法 | |
| CN107343225B (zh) | 在视频图像中展示业务对象的方法、装置和终端设备 | |
| CN109658040A (zh) | 会议管理的方法、装置、设备及计算机存储介质 | |
| CN110503703A (zh) | 用于生成图像的方法和装置 | |
| CN107343220A (zh) | 数据处理方法、装置和终端设备 | |
| CN112184497B (zh) | 一种客户到访轨迹追踪及客流分析***及方法 | |
| CN105608715A (zh) | 一种在线合影方法及*** | |
| CN110119700A (zh) | 虚拟形象控制方法、虚拟形象控制装置和电子设备 | |
| CN110390705A (zh) | 一种生成虚拟形象的方法及装置 | |
| CN107333087A (zh) | 一种基于视频会话的信息共享方法和装置 | |
| CN108347578A (zh) | 视频通话中视频图像的处理方法及装置 | |
| CN104410923A (zh) | 基于视频聊天室的动画呈现方法及装置 | |
| WO2021098151A1 (zh) | 特效视频合成方法、装置、计算机设备和存储介质 | |
| WO2024078243A1 (zh) | 视频生成模型的训练方法、装置、存储介质及计算机设备 | |
| WO2023045710A1 (zh) | 多媒体显示及匹配方法、装置、设备及介质 | |
| US20230146178A1 (en) | Attention based audio adjustment in virtual environments | |
| CN102567716A (zh) | 一种人脸合成***及实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |