CN108109010A

CN108109010A - 一种智能ar广告机

Info

Publication number: CN108109010A
Application number: CN201711428451.5A
Authority: CN
Inventors: 杨通; 杨宽; 陈翔
Original assignee: Nanjing Open Network Technology Co Ltd
Current assignee: Nanjing Open Network Technology Co Ltd
Priority date: 2017-12-26
Filing date: 2017-12-26
Publication date: 2018-06-01

Abstract

本发明公开一种智能AR广告机，包括屏幕、处理器、存储器、网络连接、摄像头等，摄像头通过接口连接至处理器，用户经过广告机摄像头时摄像头采集图像并传输至处理器，所述广告机接收摄像头采集的图像，进行人脸检测，进行人脸关键点检测与跟踪，识别人脸表情变化，并通过网络连接自动上传至云端，服务器调用微信API后返回微信公众号二维码链接，广告机根据返回的链接生成二维码在广告机屏幕上显示，当用户扫描二维码并关注或进入公众号时，微信公众号自动发送照片给用户。本发明实现了线下电子屏的实时AR人机互动，在节约成本的同时使互动的效果得到了有效的提升。

Description

一种智能AR广告机

技术领域

本发明属于线下零售客户管理领域，具体来说涉及一种智能AR广告机。

背景技术

目前广告机得到了大量的应用，但是现有的广告机在多个方面存在缺点。例如首先在人机交互方面，目前的技术无法达到实时通过人脸实现的人机交互，现有的电子屏都是单向的信息传递，即没有交互，或者是通过触屏方式实现的交互。其次在内容呈现形式方面，现有的技术可以实现通过摄像头来拍照并将照片呈现在屏幕上，甚至可以拍照之后添加在照片上添加虚拟形象，但是技术上无法实现实时地在打开摄像头时候就加上虚拟形象，从而无法达到互动的效果。另外单向的信息传递使得电子屏难以直接地精准收集用户信息，从而难以针对特定用户精准投放相关内容或广告。

目前的电子屏幕已经搭载了安卓***，并且配备了处理器和内存，这使得电子屏幕可以和智能手机一样安装应用程序。某些电子屏具有触屏的功能，可以让用户用触屏的方式和屏幕互动。总体来说，目前电子屏幕展示的内容仍集中于滚动广告内容展示或者视频播放。

另一方面，现有的智能手机上面出现了人脸AR的应用，比如美国的Snapchat应用，可以通过手机摄像头，实时在用户人脸上渲染出虚拟贴纸模型，甚至是虚拟的广告形象。这个应用程式实现的过程如下：检测人脸；找出人脸上面的关键点；实时跟踪这些关键点；在这些关键点的基础上实时渲染一个虚拟的物体。但是这个程式目前仅在手机端实现。

目前的线下电子屏，由于算法的限制，现有的电子屏幕应用程序难以实现实时AR互动的功能，大都集中于滚动广告内容展示或者视频播放，这样造成了电子屏关注度少、内容单调等等问题。极少数线下大屏幕可以实现在真实画面中渲染一个虚拟人物或者物体，但无法实现这个虚拟形象与真人之间的互动。目前具有人机互动的线下电子屏都是通过触屏来实现的，可是这样增加了电子屏的成本。

另外由于在线下的电子屏幕上人机之间的距离远大于人用手机自拍时候的距离，因此通过智能手机实现的诸如Snapchat类的AR互动式效果目前在线下电子屏幕难以实现。目前现有的算法没有在这方面去优化，在中远距离时候无法捕捉人脸或者出现丢帧等现象。

发明内容

针对现有技术中存在的上述问题，本发明提出了一种新型的智能AR广告机，以较低的成本实现了广告机的人机互动，并且可以有效地收集用户信息，实现精准的广告投放。

具体来说，本发明采用了以下技术方案：

一种智能AR广告机，所述广告机包括显示屏幕、处理器、存储器、网络连接、摄像头、电源，其特征在于，所述摄像头位于距离地面1.3米至1.8米处，摄像头通过接口连接至处理器，用户经过广告机摄像头时摄像头采集图像并传输至处理器，所述广告机执行以下步骤操作：

1）接收摄像头采集的图像，利用基于深度学习的人脸检测算法比如MTCNN进行人脸检测，捕捉到人脸图像并返回人脸矩形框数据；

2）对捕捉到的人脸进行人脸关键点检测与跟踪，捕捉人脸上的68个关键点；

3）预先制作人脸3D模型，并根据以上检测到的关键点信息调整该人脸3D模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；

4）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；

5）根据人脸表情距离识别人脸表情变化，并根据识别到的特定人脸表情触发拍照；

6）照片和标记信息通过网络连接自动上传至云端，服务器调用微信API后返回微信公众号二维码链接，广告机根据返回的链接生成二维码在广告机屏幕上显示，当用户扫描二维码并关注或进入公众号时，微信公众号自动发送照片给用户。

其中在步骤1）中，利用MTCNN算法进行人脸检测包括三个阶段：阶段1：在构建图像金字塔的基础上，利用全卷积网络进行检测，同时利用Boundingbox回归和NMS进行修正；阶段2：将通过阶段1的所有窗口输入作进一步判断，同时仍然做Boundingbox回归和NMS；阶段3：在进一步增加5个人脸关键点的约束的情况下对窗口输入作判断并做Boundingbox回归和NMS。

在步骤2）中，人脸关键点检测与跟踪包括：读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域。

在步骤4）中，通过计算每一组人脸表情与融合变形幅度中相应关键点的坐标差得出关于这一关键点的相应人脸表情距离。

进一步，在将照片和标记信息上传后，还包括对图像进行进一步分析的步骤，所述分析包括基础数据分析、人脸识别、性别识别、年龄识别、心情识别，并对图像上的人脸大小进行调整标准化，最后将所有分析结果信息进行结合存储。更进一步，在分析步骤之后，还包括根据分析得到的结果信息来有针对性地投放相应的广告的步骤。其中优选地，所投放的每一个广告内容会预先加上适应人群标签，服务器根据先前分析得到的结果信息进行匹配，对最适合的广告内容进行排名，并选出最适合的广告返回广告机屏幕进行播放。另外优选地，在广告播放的时候同时收集观看者的观看时长及表情变化。

有益效果：本发明实现了线下电子屏的实时AR人机互动，在节约成本的同时使互动的效果得到了有效的提升。本发明实现了在中远距离的时候快速准确捕捉多张人脸，并且提高了稳定性，不会出现丢帧等现象。在本发明的广告机上使用AR效果，通过应用人脸识别来理解用户，并且收集用户反馈，填补了在这个场景下的市场空白，实现了针对不同用户，根据人脸识别算法和大数据分析分别投放不同AR广告内容的功能。

附图说明

图1是本发明的方案的实现流程图；

图2是本发明方案中所用人脸检测识别的流程图；

图3是本发明方案中AR效果实现的流程图；

图4是图像分析过程的示意图。

具体实施方式

在现有技术中，可以方便地在手机上实现AR互动，可是在线下的电子屏的场景中，由于过往的人群是陌生人群体，即每次使用电子屏的人有很大概率不是同一个人，所以有必要去通过人脸识别来理解目前的用户，这是当前手机AR不能做到的。而且现有的线下电子屏幕呈现方式单一，并且广告投放形式粗放，难以直接地精准收集用户信息，从而难以针对特定用户精准投放相关内容或广告，从而不能有效发挥线下电子屏幕的作用。有鉴于此，本发明公开了一种智能AR广告机，实现了线下电子屏幕的双向互动，并且可以根据用户精准投放广告并更有效地收集用户信息。

本发明的智能AR电子屏幕包括显示屏幕、处理器、存储器、网络连接、摄像头、电源等，摄像头可以通过USB接口连接，摄像头位于距离地面1.3米至1.6米处。参见图1，其中所述广告机执行以下操作：

1）通过摄像头实时采集视频图像，对每一帧的图像使用基于深度学习的人脸检测算法。其中一个用到的算法是MTCNN算法，它是一个开源的人脸检测算法（一种深度学习的框架）进行人脸检测。我们将MTCNN算法做了集成优化，特别是在给算法的输入图片上面做了工程优化，我们使用人脸框的坐标系将人脸图裁剪出来，并使用直方图技术对人脸框做曝光均衡优化以增加识别准确率，再针对眼睛识别对人脸图进行质量检测以过滤掉不合适识别的人脸图，再将进行检测和处理过的人脸图进行适当压缩，上传服务器进行识别操作。对sdk开发包减少依赖库，并移植到安卓***中。该检测方法可以在安卓机器上可以做到10帧率同时捕捉多张人脸，返回检测到的人脸矩形框数据，具体流程如图2所示。

与市场上现存的人脸检测算法相比，本发明的人脸检测技术不仅实现了在移动端的实时检测，而且还对广告机上的安卓***进行了优化：因为大部分人停留在广告机面前时，与广告机屏幕之间的距离超过1米，我们选用的MTCNN算法在距离屏幕5米的范围内都可以迅速检测到人脸，目前市场上面现有的解决方案则是在距离人脸不到1米的手机自拍场景进行人脸检测。我们能懂达到更远距离的检测是因为深度学习的算法本身是基于神经网络对于人脸面部特征的理解，尤其是在双眼、鼻尖、以及两个嘴角处的检测是基于大量的标注好的人脸特征进行的训练，在较远的距离虽然人脸变小，可是特征值仍然存在，所以用此方法仍然可以检测出人脸。相比而言，传统深度学习的方法只是用特定的经验公式来判断人脸的位置，对于不同距离的适应性差，一旦人脸的距离变远或者是角度变大，将会难以检测出人脸。

本发明使用了MTCNN作为核心算法实现了远距离人脸检测，MTCNN是深度学习的框架，可同时进行多人人脸检测与识别。

MTCNN算法分三个阶段：

阶段1：在构建图像金字塔的基础上，利用全卷积网络来进行检测，同时利用Boundingbox回归和 NMS来进行修正。（注意：这里的全卷积网络与R-CNN里面带反卷积的网络是不一样的，这里只是指只有卷积层，可以接受任意尺寸的输入，靠网络stride来自动完成滑窗）；

阶段2：将通过阶段1的所有窗口输入作进一步判断，同时也要做Boundingbox回归和NMS。

阶段3：和阶段2相似，只不过增加了更强的约束：5个人脸关键点。

MTCNN网络结构较CascadeCNN略深但每层参数较少，所以该方法性能较好同时速度和CascadeCNN也相差无几。在训练过程中，对训练集增加多种大角度人脸图集，增加远景人脸图集，调配各肤色人种人脸图集比例。

2）参考图3，在检测到人脸之后，捕捉人脸的关键点，并且随着人脸的位置变化实时跟踪人脸：本发明的人脸跟踪技术同样为了广告机的场景进行了优化，在现有的68个关键点捕捉的基础上，实现了中远距离（1-5米范围）的跟踪效果，并且实时返回人头转向的yaw、roll和pitch角度值。

本发明在MTCNN人脸检测器的基础之上实现了中远距离人脸检测。这种基于深度学习的方法不会受光线明暗的影响，从而保证人脸检测的稳定性。检测到人脸后，通过识别人脸68个关键点的追踪技术来实现稳定追踪的效果，并且根据人脸3D模型转角模型数据计算出yaw，roll，pitch三类角度值。

3）通过摄像头在检测到人脸的时候自动在后台截图，并把含有人脸的照片上传至云服务器做人脸识别分析。这个截图和上传的机制，配合着检测和识别模型，只在检测到的第一帧发生，避免了多重检测和多占用网络流量带宽。本发明在工程上实现了通过单个摄像头集成了人脸识别和人脸增强现实的效果，这个是全球首例。

用户经过广告机时，检测器迅速检测到人脸，然后由追踪器检测人脸数据，捕捉人脸的68个关键点位置信息，根据这些人脸信息绘制3DAR模型。用户表情发生变化时候（如挑眉、张嘴等），算法会识别用户的特定表情触发拍照，屏幕上提示拍照倒计时，倒计时结束就自动为用户拍照，拍照之后，照片和标记信息通过无线网络自动上传至云端，服务器调用微信API后返回微信公众号二维码链接，广告机根据返回的链接生成二维码在广告机屏幕上显示，显示时间可以设定，在显示时间内用户可扫描二维码，关注或进入公众号，微信公众号就会自动发送照片给用户，照片显示时间结束后广告机又恢复摄像头检测状态。

4）进一步如图4所示，为智能AR广告机搭建云服务器的后台分析框架。智能AR广告机在采集用户的图像信息后，通过无线网络发送至后台，后台对用户图像进行分析处理。分别调用基础数据引擎、人脸识别引擎、性别识别引擎、年龄识别引擎、心情识别引擎等，对图像进行信息分析。在分析时，会提供图片背景去噪音功能，提供人脸大小自动化调节验证等，保证信息的精确性。本发明的多引擎技术，能在几百毫秒内处理一张图片并返回到智能AR广告机，整个图片处理时间，包括网络通讯时间，不超过200毫秒。云服务后台后台依托深度学习最新技术进行更高精准识别预测，运用高效并行计算能力快速获取分析结果，满足多台智能AR广告机并发的实时请求处理。

返回的结果中，包含了人脸的唯一ID、广告机的ID、二维码的扫描信息等等，本发明的智能平台会根据这个结果来精准投放广告。

5）在云服务器反馈一个精准的广告特效ID之后，广告机前端根据这个ID实时地投放一款3D的AR互动式广告，达到精准投放的效果。每一个广告内容会预先加上适应人群标签，智能广告机的后端在分析面前的人脸之后会产生对应标签的内容，字段包括判断当前受众的年龄、性别、心情、身高、以及是否是会员。后端会根据算法匹配来对最适合的广告内容进行排名，并且选出最适合的广告返回广告机屏幕进行播放。在广告播放的时候，同时收集受众的观看时长以及表情变化等数据信息。在观众是会员的情况，自动播放会员欢迎信息，并根据会员的购买行为记录来播放对应内容。

在云服务器处理图像信息之后，它会将用户的性别、年龄、心情等信息以特殊编码的形式回传给广告机，广告机通过对特定编码的解析，计算出与之最为匹配的广告ID，通过ID读取数据库中的广告模型，广告机屏幕上就会投放出对应的AR互动广告。用户通过屏幕上的提示语可以进行手势、动作、表情等多样化的互动，颠覆传统广告只能“看”的痛点。通过对用户的精准识别，可以使得广告更有效的进行传播，广告商可以花更少的钱达到最大的效果。用户可以在AR广告机上拍照、关注商家微信公众号、下载照片，然后对照片进行转发以达到二次传播的效果。另外商家的微信公众号后端还可以根据用户关注公众号的时间、地点、个人信息等，进一步分析用户行为习惯和分布情况等。

发明的实施是基于移动端操作***之上的应用，适用于安卓***和iOS***。本发明的智能AR电子屏可以更换其硬件，包括处理器、内存、硬盘、摄像头等，只要保持硬件设备可以达到最基本的要求即可，即：内存容量不小于4GB、处理器为2014年及之后生产的种类、摄像头像素不低于200万像素、安卓***版本不低于4.0以及具备网络连接的功能。

本发明的实施可以通过对普通的广告机进行改造来进行，成本低，效果好。在普通的广告机上通过机器内置的USB接口或者特殊摄像头接口安装一个高清摄像头，摄像头像素不低于200万，将摄像头固定于大致与人眼高度平齐处，一般1.3-1.8米。再通过USB接口连接鼠标，安装程序，连接无线网络。网络连接至后台平台，所述平台包含人脸识别***和数据库，开发微信公众号接口与数据库连接。

本发明的关键点是对广告机场景下的人脸识别（人在距离广告机一定距离的情况下能够精准地检测人脸），在中远距离下不丢帧跟踪效果，避免多重检测和多占用网络流量带宽的截图和上传机制，根据识别的结果有针对性的投放相应广告。

本发明通过升级线下电子屏，利用同一个摄像头即可同时实现以人脸为驱动的AR互动式广告功能、人脸识别和大数据分析功能。解决目前线下电子广告屏的以下痛点：1、内容形式单调，即以图片和视频为主的单方向信息传递；2、互动式的触屏广告机成本高；3、广告内容大众化，没有精准投放；4、难以收集受众反馈。

本发明的智能AR电子屏具有如下优势：1、AR互动式广告内容达到了人机双向信息交互；2、相比较触屏式的互动，以人脸为驱动的互动式电子屏解约了触屏成本约50%；3、基于人脸识别的大数据分析，可以实时地理解受众的年龄、性别等，并根据这些因素精准式的投放；4、收集受众观看时长、受众心情、受众有无扫二维码地数据来实时地收集反馈。

上面结合附图和具体实施例对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims

1.一种智能AR广告机，所述广告机包括显示屏幕、处理器、存储器、网络连接、摄像头、电源，摄像头通过接口连接至处理器，用户经过广告机摄像头时摄像头采集图像并传输至处理器，所述广告机执行以下操作：

1）接收摄像头采集的图像，利用基于深度学习的人脸检测算法进行人脸检测，捕捉到人脸图像并返回人脸矩形框数据；

2.如权利要求1所述的智能AR广告机，其特征在于，步骤1）中所述基于深度学习的人脸检测算法为MTCNN。

3.如权利要求2所述的智能AR广告机，其特征在于，步骤1）中利用MTCNN算法进行人脸检测包括三个阶段：阶段1：在构建图像金字塔的基础上，利用全卷积网络进行检测，同时利用Boundingbox回归和NMS进行修正；阶段2：将通过阶段1的所有窗口输入作进一步判断，同时仍然做Boundingbox回归和NMS；阶段3：在进一步增加5个人脸关键点的约束的情况下对窗口输入作判断并做Boundingbox回归和NMS。

4.如权利要求1所述的智能AR广告机，其特征在于，步骤2）中人脸关键点检测与跟踪包括：读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域。

5.如权利要求1所述的智能AR广告机，其特征在于，在步骤4）中，通过计算每一组人脸表情与融合变形幅度中相应关键点的坐标差得出关于这一关键点的相应人脸表情距离。

6.如权利要求1所述的智能AR广告机，其特征在于，在将照片和标记信息上传后，还包括对图像进行进一步分析的步骤，所述分析包括基础数据分析、人脸识别、性别识别、年龄识别、心情识别，并对图像上的人脸大小进行调整标准化，最后将所有分析结果信息进行结合存储。

7.如权利要求6所述的智能AR广告机，其特征在于，在分析步骤之后，还包括根据分析得到的结果信息来有针对性地投放相应的广告的步骤。

8.如权利要求7所述的智能AR广告机，其特征在于，所投放的每一个广告内容会预先加上适应人群标签，服务器根据先前分析得到的结果信息进行匹配，对最适合的广告内容进行排名，并选出最适合的广告返回广告机屏幕进行播放。

9.如权利要求7所述的智能AR广告机，其特征在于，在广告播放的时候同时收集观看者的观看时长及表情变化。