CN110287363A - 基于深度学习的资源推送方法、装置、设备及存储介质 - Google Patents
基于深度学习的资源推送方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110287363A CN110287363A CN201910431276.8A CN201910431276A CN110287363A CN 110287363 A CN110287363 A CN 110287363A CN 201910431276 A CN201910431276 A CN 201910431276A CN 110287363 A CN110287363 A CN 110287363A
- Authority
- CN
- China
- Prior art keywords
- information
- deep learning
- target object
- audio
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013136 deep learning model Methods 0.000 claims abstract description 68
- 230000002996 emotional effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 4
- 241001062009 Indigofera Species 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
- G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的资源推送方法、装置、设备及介质，包括：对前端摄像头采集的第一视频帧信息执行预处理后传入第一深度学习模型，以通过第一深度学习模型识别所述目标对象的类别信息；获取所述类别信息对应的音频资源，并发送至所述前端设备进行播放；对前端摄像头在所述音频资源播放期间采集的第二视频帧信息提取所述目标对象的第一脸部特征，将所述第一脸部特征传入第二深度学习模型，以通过所述第二深度学习模型识别所述目标对象的年龄信息；结合所述目标对象的类别信息和年龄信息获取对应的音视频资源，并发送至所述前端设备进行播放。本发明解决了现有广告推送技术无法面向所有客户以及实时跟进客户反馈的问题。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种基于深度学习的资源推送方法、装置、设备及存储介质。
背景技术
大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术，尤其是广告推送方面。然而，现有的广告推送方式主要是基于客户的历史留存信息来进行分判断，具有较大的局限性，无法对新客户或者没有留存性别信息、消费记录的老客户进行广告推送。在推送广告之后，无法实时地监测客户反馈，并根据反馈调整广告内容，容易导致潜在客户流失。
因此，寻找一种面向所有客户、并可实时跟进客户反馈的广告推送的方法成为本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供了一种基于深度学习的资源推送方法、装置、设备及存储介质，以解决现有资源推送技术无法面向所有客户、以及实时跟进客户反馈的问题。
一种基于深度学习的资源推送方法，包括：
获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
根据所述类别信息获取对应的音频资源；
将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息；
从所述第二视频帧信息中提取所述目标对象的第一脸部特征，将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
可选地，在获取前端摄像头采集的第一视频帧信息之后，还包括：
对所述第一视频帧信息执行人脸检测，得到所述第一视频帧信息中所包括的人脸数量；
若所述人脸数量大于或等于2时，计算每一所述人脸的像素个数；
获取所述像素点个数中的最大值对应的人脸，以所述人脸对应的人像作为目标对象。
可选地，所述对所述第一视频帧信息执行预处理包括：
按照H.265视频编码标准对所述第一视频帧信息进行编码；
按照RGB色彩模式对编码后的所述以视频帧信息进行转换，得到每一个颜色通道对应的像素值矩阵。
可选地，所述从所述第二视频帧信息中提取所述目标对象的第一脸部特征包括：
对所述第二视频帧信息执行脸部粗粒度特征检测；
若所述脸部粗粒度特征检测到所述目标对象的正脸时，对所述第二视频帧信息执行脸部细粒度特征检测，得到所述目标对象的第一脸部特征。
可选地，所述方法还包括：
获取前端摄像头在所述音视频资源播放期间采集的第三视频帧信息，从所述第三视频帧信息中提取所述目标对象的第二脸部特征；
将所述第二脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述第二脸部特征得到所述目标对象的情绪信息；
若所述情绪信息为不感兴趣时，重新根据所述目标对象的类别信息和年龄信息获取对应的音视频资源；
将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
可选地，所述方法还包括：
若所述情绪信息为感兴趣时，向所述前端设备发送循环播放消息，以使得所述前端设备循环播放当前的音视频资源。
一种基于深度学习的资源推送装置，包括：
第一视频获取模块，用于获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
第一深度学习模块，用于对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
第一广告获取模块，用于根据所述类别信息获取对应的音频资源；
第一发送模块，用于将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
第二视频获取模块，用于获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征；
第二深度学习模块，用于将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
第二广告获取模块，用于结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
第二发送模块，用于将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
可选地，所述装置还包括：
第三视频获取模块，用于获取前端摄像头在所述音视频资源播放期间采集的第三视频帧信息，从所述第三视频帧信息中提取所述目标对象的第二脸部特征；
第三深度学习模块，用于将所述第二脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述第二脸部特征得到所述目标对象的情绪信息；
广告重获取模块，用于若所述情绪信息为不感兴趣时，重新根据所述目标对象的类别信息和年龄信息获取对应的音视频资源；
第三发送模块，用于将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习的资源推送方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的资源推送方法。
本发明实施例通过获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；根据所述类别信息获取对应的音频资源；将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，所述第二视频帧信息中包括所述目标对象的脸部特征；从所述第二视频帧信息中提取所述目标对象的第一脸部特征，将所述脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述目标对象的第一脸部特征得到所述目标对象的年龄信息；结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源；通过本实施例可以实现全方位更精准推送广告，并且不需要提前知道客户的信息，可以为新老客户推送广告，大大地提升了广告推送的价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于深度学习的资源推送方法的一流程图；
图2是本发明一实施例中基于深度学习的资源推送方法中对第一视频帧信息执行人脸检测的一流程图；
图3是本发明一实施例中基于深度学习的资源推送方法中对所述第一视频帧信息执行预处理的一流程图；
图4是本发明一实施例中基于深度学习的资源推送方法中从所述第二视频帧信息中提取所述目标对象的第一脸部特征的一流程图；
图5是本发明一实施例中基于深度学习的资源推送方法的另一流程图；
图6是本发明一实施例中基于深度学习的资源推送装置的一原理框图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本发明实施例提供的基于深度学习的资源推送方法进行详细的描述。在本发明实施例中，所述资源推送的方法应用在由前端设备、前端摄像头以及云服务器组成的***，所述前端设备、前端摄像头均能够与云服务器连接通信。本实施例以云服务器为执行主体，如图1所示，所述基于深度学习的资源推送方法包括：
在步骤S101中，获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息。
在这里，本发明实施例提供的资源推送方法应用在商场、银行网点等销售场合中，并通过部署在所述销售场合中的前端设备来播放所推送的资源。所述资源包括但不限于商品广告。所述前端设备包括但不限于LED屏幕、投影屏幕、3D显示屏幕。所述前端设备上设置有前端摄像头。本发明实施例通过所述前端摄像头采集第一视频帧信息，得到经过所述前端设备的人像，即目标对象。所述目标对象为进行资源推送的客户。
在发明本实施例中，所述目标对象为经过所述前端设备的一个人像。然而，在同一时刻经过所述前端设备的人像有多个时，则需要从所述多个人像中选择之一作为目标对象。可选地，本发明实施例选择距离前端设备最近的人像作为目标对象。如图2所示，在获取前端摄像头采集的第一视频帧信息之后，本发明实施例对所述第一视频帧信息执行人脸检测，所述资源推送方法还包括：
在步骤S201中，对所述第一视频帧信息执行人脸检测，得到所述第一视频帧信息中所包括的人脸数量。
可选地，本发明实施例采用GAMMA LAB人脸识别算法，检测所述第一视频帧信息中的人脸图像，得到所述第一视频帧信息中的人脸数量以及人脸在视频帧信息中的位置。
在步骤S202中，若所述人脸数量大于或等于2时，计算每一所述人脸的像素个数。
在得到人脸数量之后，判断所述人脸数量是否大于或等于2。若是时，表明所述第一视频帧信息中包括多个人像，即在同一时刻经过所述前端设备的客户有多个。根据每一个人脸在图像信息中的位置，划出所述人脸，并计算所述人脸的像素个数，得到每一个人脸的大小。
在步骤S203中，获取所述像素点个数中的最大值对应的人脸，以所述人脸对应的人像作为目标对象。
在这里，像素个数越大，人脸越大，所述人脸对应的人像距离前端设备越近。本发明实施例通过比对每一个所述人脸的像素个数，选取其中的最大值对应的人脸，以所述人脸对应的人像作为目标对象。由于在同一个视频帧信息中，距离摄像头越近的客户其脸部图像越大，通过选择像素个数的最大值对应的人脸，从而可以得到距离前端设备最近的人像，完成从所述视频帧信息所包括的多个客户中选择目标对象。
在步骤S102中，对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息。
其中，所述第一深度学习模型为基于衣着特征的类别识别模型，预先已通过对海量标记过的图片进行学习得到。在进行类别信息识别时，本发明实施例直接调用该第一深度学习模型。所述类别信息为根据衣着特征划分的消费层次，包括但不限于商务人士、奢侈品消费者、普通消费者、非潜在消费者。
在本发明实施例中，摄像头所采集的视频帧信息通过实时流传输协议(Real TimeStreaming Protocol，RTSP)传输到云服务器。云服务器接收所述第一视频帧信息，并对所述第一视频帧信息进行预处理，使得所述第一视频帧信息满足所述第一深度学习模型的输入要求。可选地，如图3所示，所述对所述第一视频帧信息执行预处理包括：
在步骤S301中，按照H.265视频编码标准对所述第一视频帧信息进行编码。
在这里，本发明实施例通过对所述第一视频帧信息执行H.265编码，提高了图像信息的压缩效率、减少了实时时延和信道获取时间，从而有利于提高资源推送的时效性。
在步骤S302中，按照RGB色彩模式对编码后的所述以视频帧信息进行转换，得到每一个颜色通道对应的像素值矩阵。
其中，所述RGB色彩模式为工业界的一种颜色标准，通过对红(Red)、绿(Green)、蓝(Blue)三种颜色通道的变化及叠加得到各种颜色。本发明实施例按照RGB色彩模式对编码后的所述第一视频帧信息进行转换，得到每一个颜色通道对应的像素值矩阵，即红(R)通道对应的像素值矩阵、绿(G)通道对应的像素值矩阵、蓝(B)通道对应的像素值矩阵。
在进行类别信息识别时，将所述红(R)、绿(G)、蓝(B)三通道对应的像素值矩阵作为所述第一深度学习模型的输入。所述第一深度学习模型根据所述红(R)、绿(G)、蓝(B)三通道对应的像素值矩阵进行计算，得到所述目标对象的类别信息。
在步骤S103中，根据所述类别信息获取对应的音频资源。
在这里，云服务器中通过预设数据库存储了不同类别信息对应的一个或多个音频资源。所述音频资源包括但不限于商品音频广告。在所述第一深度学习模型完成对衣着特征的识别，得到所述目标对象的类别信息后，根据所述类别信息查询预设数据库，得到对应的一个或多个音频资源。所述音频资源为关于商品推广信息的音频文件。
在步骤S104中，将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源。
查询得到的所述类别信息对应的一个或多个音频资源，会发送至前端设备进行循环播放，语音提示相关商品的介绍信息、促销信息或者库存信息等，以吸引所述目标对象的注意。
示例性地，若所述类别信息为商务人士，则可以语音提示商务服饰打折；若所述类别信息为奢侈品消费者，则可以语音提示奢侈品限量款到货；若普通消费者，则可以语音提示优惠券信息。
在步骤S105中，获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征。
在这里，前端设备播放所述音频资源是为了吸引目标对象的注意。当目标对象被吸引住时，通常会向所述前端设备看过去。本发明实施例在前端设备播放所述音频资源时，实时地获取前端摄像头采集的视频帧信息。为了与上述第一视频帧信息区分开来，这里记为第二视频帧信息。检测所述第二视频帧信息中是否存在正脸，以判别所述目标对象是否正面观看前端设备。可选地，如图4所示，步骤S105中从所述第二视频帧信息中提取所述目标对象的第一脸部特征包括：
在步骤S401中，对所述第二视频帧信息执行脸部粗粒度特征检测。
在这里，所述脸部粗粒度特征用于判断第二视频帧信息中是否存在正脸。本实施例通过脸部粗粒度特征检测从所述第二视频帧信息中抽取正脸信息，主要通过检测第二视频帧信息中是否存在两个眼睛、一个鼻子以及一个嘴巴。若是，则确定所述第二视频帧信息中存在正脸，表示所述目标对象正面观看前端设备；若否，则确定所述第二视频帧信息中不存在正脸，表示所述目标对象未正面观看前端设备。
在步骤S402中，若所述脸部粗粒度特征检测到所述目标对象的正脸时，对所述第二视频帧信息执行脸部细粒度特征检测，得到所述目标对象的第一脸部特征。
在这里，所述脸部细粒度特征用于判断所述目标对象的年龄信息。当所述目标对象正面观看前端设备时，对所述视频帧信息执行脸部细粒度特征检测，得到57个维度的脸部特征，包括但不限于比如双眼瞳距、嘴巴大小、皮肤颜色、眉毛大小、眉毛颜色、双鬓颜色、头发颜色、头发长短。
可选地，若预设时间范围内通过所述脸部粗粒度特征检测未得到所述目标对象的正脸时，表示所述目标对象对所播放的音频资源不感兴趣，则结束本次脸部特征检测。
在步骤S106中，将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息。
其中，所述第二深度学习模型为基于脸部特征的年龄信息识别模型，预先已通过对海量标记过的图片进行学习得到。在进行年龄信息识别时，本实施例直接调用该第二深度学习模型。所述年龄信息为根据脸部特征划分的年龄层次，包括但不限于老年人、中年人、青年、儿童。
在步骤S107中，结合所述目标对象的类别信息和年龄信息获取对应的音视频资源。
在这里，云服务器除了通过预设数据库存储了不同类别信息对应的一个或多个可推荐的音频资源，还进一步存储了同一类别信息下不同年龄信息对应的可推荐的音视频资源。所述音视频资源包括但不限于商品音视频广告。在所述第二深度学习模型完成对脸部特征的识别，得到所述目标对象的年龄信息后，查询所述类别信息下所述年龄信息对应的一个或多个音视频资源。所述音视频资源为关于商品推广信息的音视频文件，包括语音信息和图像信息。
在步骤S108中，将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
查询得到的所述年龄信息对应的一个或多个音视频资源，会发送至前端设备进行循环播放，从而实现了语音和视觉同步提示相关商品的介绍信息、促销信息或者库存信息等，以将相关商品推荐给所述目标对象，实现了全方位、更精准的广告推送服务，提升了广告推送的价值。
综上所述，本发明实施例通过获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；根据所述类别信息获取对应的音频资源；将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征，将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源；通过本发明实施例可以实现全方位更精准推送广告，并且不需要提前知道客户的信息，可以为新老客户推送广告，大大地提升了广告推送的价值。
可选地，前端设备播放的所述音视频广告未必是当前目标对象所关注的内容。本发明实施例还可以根据目标对象的情绪变化更新前端设备所播放的音视频作业。如图5所示，所述资源推送方法还包括：
在步骤S109中，获取前端摄像头在所述音视频资源播放期间采集的第三视频帧信息，从所述第三视频帧信息中提取所述目标对象的第二脸部特征。
在这里，前端设备播放所述音视频资源是为了向目标对象推销商品。本发明实施例进一步通过识别所述目标对象的情绪信息来得到所述目标对象对所述音视频资源是否感兴趣。在前端设备播放所述音视频资源时，实时地获取前端摄像头采集的视频帧信息，为了与第一视频帧信息和第二视频帧信息区分，这里记为第三视频帧信息。检测所述第三视频帧信息中所述目标对象的脸部特征。与脸部细粒度特征不同，所述脸部特征用于判断所述目标对象的情绪信息，这里记为第二脸部特征。所述情绪信息为所述目标对象通过脸部的反馈，包括感兴趣和不感兴趣。
在步骤S110中，将所述第二脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述第二脸部特征得到所述目标对象的情绪信息。
其中，所述第三深度学习模型为基于脸部特征判断是否感兴趣的二分类识别模型，预先已通过对海量标记过的图片进行学习得到。在进行情绪信息识别时，本实施例直接调用该第三深度学习模型，将所述脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述目标对象的脸部特征得到所述目标对象的情绪信息。
在步骤S111中，若所述情绪信息为不感兴趣时，重新根据所述目标对象的类别信息和年龄信息获取对应的音视频资源。
在第三深度学习模型完成识别后，获取所述第三深度学习模型的输出结果，得到所述目标对象的情绪信息。若所述情绪信息为不感兴趣时，重新查询所述目标对象对应的类别信息下所述年龄信息对应的其他音视频资源，以执行广告切换。可以理解，所述其他音视频资源为除当前播放资源涉及的商品外的其他商品的广告。
在步骤S112中，将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
重新查询得到的音视频资源会发送至所述前端设备，以使得所述前端设备将原来播放的音视频资源切换为所述新获取的音视频资源，从而实现了实时调整广告推送，提升广告推送的价值。
示例性地，所述前端设备在接收到所述音视频资源后，首先播放切换提示语音，然后播放所述音视频资源。可选地，所述切换提示语音包括但不限于：看来您不感兴趣，那您可以看一下……。应当理解，上述前端设备的播放流程仅为本发明的一个具体示例，并不用于限定本发明。
可选地，所述方法还包括：
在步骤S113中，若所述情绪信息为感兴趣时，向所述前端设备发送循环播放消息，以使得所述前端设备循环播放当前的音视频资源。
若所述情绪信息为感兴趣，则生成循环播放消息，并将所述循环播放消息发送至前端设备，以使得所述前端设备停留在当前的音视频资源上。
综上所述，本实施例通过第三深度学习模型识别目标对象观看商品音视频资源的情绪，可以实时地调整广告推送，及时跟进客户反馈，实现根据现场客户情绪进行广告推送。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于深度学习的资源推送装置，该基于深度学习的资源推送装置与上述实施例中基于深度学习的资源推送方法一一对应。如图6所示，该基于深度学习的资源推送装置包括模块。各功能模块详细说明如下：
第一视频获取模块61，用于获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
第一深度学习模块62，用于对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
第一资源获取模块63，用于根据所述类别信息获取对应的音频资源；
第一发送模块64，用于将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
第二视频获取模块65，用于获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征；
第二深度学习模块66，用于将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
第二资源获取模块67，用于结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
第二发送模块68，用于将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
可选地，在获取前端摄像头采集的第一视频帧信息之后，还包括：
人脸检测模块，用于对所述第一视频帧信息执行人脸检测，得到所述第一视频帧信息中所包括的人脸数量；若所述人脸数量大于或等于2时，计算每一所述人脸的像素个数；获取所述像素点个数中的最大值对应的人脸，以所述人脸对应的人像作为目标对象。
可选地，所述第一深度学习模块62还用于：
按照H.265视频编码标准对所述第一视频帧信息进行编码；
按照RGB色彩模式对编码后的所述以视频帧信息进行转换，得到每一个颜色通道对应的像素值矩阵。
可选地，所述第二深度学习模块66还用于：
对所述第二视频帧信息执行脸部粗粒度特征检测；
若所述脸部粗粒度特征检测到所述目标对象的正脸时，对所述第二视频帧信息执行脸部细粒度特征检测，得到所述目标对象的第一脸部特征。
可选地，所述装置还包括：
第三视频获取模块，用于获取前端摄像头在所述音视频资源播放期间采集的第三视频帧信息；
第三深度学习模块，用于从所述第三视频帧信息中提取所述目标对象的第二脸部特征，将所述第二脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述第二脸部特征得到所述目标对象的情绪信息；
资源重获取模块，用于若所述情绪信息为不感兴趣时，重新根据所述目标对象的类别信息和年龄信息获取对应的音视频资源；
第三发送模块，用于将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
可选地，所述装置还包括：
第四发送模块，用于若所述情绪信息为感兴趣时，向所述前端设备发送循环播放消息，以使得所述前端设备循环播放当前的音视频资源。
关于基于深度学习的资源推送装置的具体限定可以参见上文中对于基于深度学习的资源推送方法的限定，在此不再赘述。上述基于深度学习的资源推送装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的资源推送方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
根据所述类别信息获取对应的音频资源；
将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征；
将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
根据所述类别信息获取对应的音频资源；
将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征；
将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的资源推送方法，其特征在于，包括：
获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
根据所述类别信息获取对应的音频资源；
将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息；
从所述第二视频帧信息中提取所述目标对象的第一脸部特征，将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
2.如权利要求1所述的基于深度学习的资源推送方法，其特征在于，在获取前端摄像头采集的第一视频帧信息之后，还包括：
对所述第一视频帧信息执行人脸检测，得到所述第一视频帧信息中所包括的人脸数量；
若所述人脸数量大于或等于2时，计算每一所述人脸的像素个数；
获取所述像素点个数中的最大值对应的人脸，以所述人脸对应的人像作为目标对象。
3.如权利要求1所述的基于深度学习的资源推送方法，其特征在于，所述对所述第一视频帧信息执行预处理包括：
按照H.265视频编码标准对所述第一视频帧信息进行编码；
按照RGB色彩模式对编码后的所述以视频帧信息进行转换，得到每一个颜色通道对应的像素值矩阵。
4.如权利要求1至3任一项所述的基于深度学习的资源推送方法，其特征在于，所述从所述第二视频帧信息中提取所述目标对象的第一脸部特征包括：
对所述第二视频帧信息执行脸部粗粒度特征检测；
若所述脸部粗粒度特征检测到所述目标对象的正脸时，对所述第二视频帧信息执行脸部细粒度特征检测，得到所述目标对象的第一脸部特征。
5.如权利要求1至3任一项所述的基于深度学习的资源推送方法，其特征在于，所述方法还包括：
获取前端摄像头在所述音视频资源播放期间采集的第三视频帧信息，从所述第三视频帧信息中提取所述目标对象的第二脸部特征；
将所述第二脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述第二脸部特征得到所述目标对象的情绪信息；
若所述情绪信息为不感兴趣时，重新根据所述目标对象的类别信息和年龄信息获取对应的音视频资源；
将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
6.如权利要求5所述的基于深度学习的资源推送方法，其特征在于，所述方法还包括：
若所述情绪信息为感兴趣时，向所述前端设备发送循环播放消息，以使得所述前端设备循环播放当前的音视频资源。
7.一种基于深度学习的资源推送装置，其特征在于，包括：
第一视频获取模块，用于获取前端摄像头采集的第一视频帧信息，所述第一视频帧信息中包括目标对象及其衣着信息；
第一深度学习模块，用于对所述第一视频帧信息执行预处理，将预处理后的所述第一视频帧信息作为输入传入第一深度学习模型，以通过所述第一深度学习模型识别所述目标对象的衣着特征得到所述目标对象的类别信息；
第一资源获取模块，用于根据所述类别信息获取对应的音频资源；
第一发送模块，用于将所述音频资源发送至前端设备，以使得所述前端设备接收并播放所述音频资源；
第二视频获取模块，用于获取所述前端摄像头在所述音频资源播放期间采集的第二视频帧信息，从所述第二视频帧信息中提取所述目标对象的第一脸部特征；
第二深度学习模块，用于将所述第一脸部特征作为输入传入第二深度学习模型，以通过所述第二深度学习模型识别所述第一脸部特征得到所述目标对象的年龄信息；
第二资源获取模块，用于结合所述目标对象的类别信息和年龄信息获取对应的音视频资源；
第二发送模块，用于将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
8.如权利要求7所述的基于深度学习的资源推送装置，其特征在于，还包括：
第三视频获取模块，用于获取前端摄像头在所述音视频资源播放期间采集的第三视频帧信息，从所述第三视频帧信息中提取所述目标对象的第二脸部特征；
第三深度学习模块，用于将所述第二脸部特征作为输入传入第三深度学习模型，以通过所述第三深度学习模型识别所述第二脸部特征得到所述目标对象的情绪信息；
资源重获取模块，用于若所述情绪信息为不感兴趣时，重新根据所述目标对象的类别信息和年龄信息获取对应的音视频资源；
第三发送模块，用于将所述音视频资源发送至前端设备，以使得所述前端设备接收并播放所述音视频资源。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于深度学习的资源推送方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于深度学习的资源推送方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910431276.8A CN110287363A (zh) | 2019-05-22 | 2019-05-22 | 基于深度学习的资源推送方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910431276.8A CN110287363A (zh) | 2019-05-22 | 2019-05-22 | 基于深度学习的资源推送方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110287363A true CN110287363A (zh) | 2019-09-27 |
Family
ID=68002641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910431276.8A Pending CN110287363A (zh) | 2019-05-22 | 2019-05-22 | 基于深度学习的资源推送方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287363A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428662A (zh) * | 2020-03-30 | 2020-07-17 | 齐鲁工业大学 | 基于人群属性的广告播放变化方法及*** |
| CN111738777A (zh) * | 2020-07-17 | 2020-10-02 | 杭州脸脸会网络技术有限公司 | 一种优惠券推送方法、装置、存储介质及智能终端 |
| CN111782878A (zh) * | 2020-07-06 | 2020-10-16 | 聚好看科技股份有限公司 | 服务器、显示设备及其视频搜索排序方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080050994A (ko) * | 2006-12-04 | 2008-06-10 | 한국전자통신연구원 | 제스처/음성 융합 인식 시스템 및 방법 |
| CN107463608A (zh) * | 2017-06-20 | 2017-12-12 | 上海汇尔通信息技术有限公司 | 一种基于人脸识别的信息推送方法及*** |
| CN107632814A (zh) * | 2017-09-25 | 2018-01-26 | 珠海格力电器股份有限公司 | 音频信息的播放方法、装置和***、存储介质、处理器 |
| WO2018113526A1 (zh) * | 2016-12-20 | 2018-06-28 | 四川长虹电器股份有限公司 | 基于人脸识别和声纹识别的交互式认证***及方法 |
| CN109040824A (zh) * | 2018-08-28 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 视频处理方法、装置、电子设备和可读存储介质 |
| CN109271884A (zh) * | 2018-08-29 | 2019-01-25 | 厦门理工学院 | 人脸属性识别方法、装置、终端设备和存储介质 |
-
2019
- 2019-05-22 CN CN201910431276.8A patent/CN110287363A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080050994A (ko) * | 2006-12-04 | 2008-06-10 | 한국전자통신연구원 | 제스처/음성 융합 인식 시스템 및 방법 |
| WO2018113526A1 (zh) * | 2016-12-20 | 2018-06-28 | 四川长虹电器股份有限公司 | 基于人脸识别和声纹识别的交互式认证***及方法 |
| CN107463608A (zh) * | 2017-06-20 | 2017-12-12 | 上海汇尔通信息技术有限公司 | 一种基于人脸识别的信息推送方法及*** |
| CN107632814A (zh) * | 2017-09-25 | 2018-01-26 | 珠海格力电器股份有限公司 | 音频信息的播放方法、装置和***、存储介质、处理器 |
| CN109040824A (zh) * | 2018-08-28 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 视频处理方法、装置、电子设备和可读存储介质 |
| CN109271884A (zh) * | 2018-08-29 | 2019-01-25 | 厦门理工学院 | 人脸属性识别方法、装置、终端设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 何露;王贤明;: "复杂背景下基于视频流的人脸检测技术研究", 中国水运(下半月), no. 06 * |
| 宋冠军;张树东;卫飞高;: "音视频双模态情感识别融合框架研究", 计算机工程与应用, no. 06 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428662A (zh) * | 2020-03-30 | 2020-07-17 | 齐鲁工业大学 | 基于人群属性的广告播放变化方法及*** |
| CN111782878A (zh) * | 2020-07-06 | 2020-10-16 | 聚好看科技股份有限公司 | 服务器、显示设备及其视频搜索排序方法 |
| CN111782878B (zh) * | 2020-07-06 | 2023-09-19 | 聚好看科技股份有限公司 | 服务器、显示设备及其视频搜索排序方法 |
| CN111738777A (zh) * | 2020-07-17 | 2020-10-02 | 杭州脸脸会网络技术有限公司 | 一种优惠券推送方法、装置、存储介质及智能终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11778272B2 (en) | Delivery of different services through different client devices | |
| CN110287363A (zh) | 基于深度学习的资源推送方法、装置、设备及存储介质 | |
| US9049488B2 (en) | Systems and methods for displaying and interacting with interaction opportunities associated with media content | |
| US20090217315A1 (en) | Method and system for audience measurement and targeting media | |
| US8826325B2 (en) | Automated unobtrusive ancilliary information insertion into a video | |
| US20130290994A1 (en) | Selection of targeted content based on user reactions to content | |
| US20140337477A1 (en) | System and method of portraying the shifting level of interest in an object or location | |
| US20180158102A1 (en) | Advertising display system using smart film screen | |
| CN109978618A (zh) | 基于云端人工智能的线下广告交互投放*** | |
| CN117219003B (zh) | Led显示模组的内容显示方法及装置 | |
| WO2008138144A1 (en) | Method and system for audience measurement and targeting media | |
| CN114025188A (zh) | 直播广告展示方法、***、装置、终端及可读存储介质 | |
| CN109255665A (zh) | 一种基于用户特征分析广告机投放广告的方法 | |
| WO2021184153A1 (zh) | 摘要视频的生成方法、装置和服务器 | |
| EP3520062B1 (en) | Systems and methods for providing targeted content in an embms stream to a user device | |
| CN106202188A (zh) | 广告创意元素标签化的方法与装置 | |
| CN110264259A (zh) | 一种广告生成及显示方法 | |
| KR20160095440A (ko) | 영상 컨텐츠 광고 입찰 방법 및 시스템 | |
| CN113038148A (zh) | 商品动态演示方法、装置及存储介质 | |
| CN114612142B (zh) | 多模态信息融合的商业内容推荐方法、装置及电子设备 | |
| Grant et al. | Exploring cultural context congruency in television: a conceptual framework for assessing the impact of media context on advertising effectiveness in an emerging market | |
| WO2022236842A1 (zh) | 一种广告置换或添加的处理方法及***及装置 | |
| WO2023059163A1 (ko) | 적응형 아이템 소비 플랫폼, 그 시스템 및 운영 방법 | |
| Nikam et al. | Virtual Shopping Using Kinect | |
| CN118014659A (zh) | 一种电子宣传品生成和播放方法、***及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240621 |