CN104598012B

CN104598012B - 一种互动型广告设备及其工作方法

Info

Publication number: CN104598012B
Application number: CN201310526678.9A
Authority: CN
Inventors: 张宜春; 蒋伟; 吴晓雨; 郑伟; 欧雪雯
Original assignee: RESEARCH INSTITUTE OF CHINA ART TECHNOLOGY
Current assignee: RESEARCH INSTITUTE OF CHINA ART TECHNOLOGY
Priority date: 2013-10-30
Filing date: 2013-10-30
Publication date: 2017-12-05
Anticipated expiration: 2033-10-30
Also published as: CN104598012A

Abstract

本发明涉及一种互动型广告设备及其工作方法，该广告设备包括显示装置、体感交互装置、以及主控装置和出货执行装置，所述主控装置控制显示装置播放视频信息，根据体感交互装置捕捉的用户动作信息，识别用户对广告产品的选择，以及评估用户动作与所选广告产品相关视频动作的匹配程度，并根据匹配程度判断是否输出出货指令给出货执行装置，以控制广告设备输出所选产品给用户以作奖励。本发明根据用户动作与所选广告产品相关视频动作的匹配程度将产品作为奖励发放给用户，这种互动方式提高了用户的参与度和趣味性，有利于扩大产品的推广度。

Description

一种互动型广告设备及其工作方法

技术领域

本发明涉及一种广告设备及其工作方法，特别是涉及一种互动型广告设备及其工作方法。

背景技术

随着数字媒体技术的不断发展，广告的宣传形式及其传播载体已发生了天翻地覆的变化。借助文字、图片或视频等单方面向客户推广的传统广告形式就现今多姿多彩的生活而言已经相对枯燥和平淡，往往不能对客户产生深刻的印象，也就无从达到期望的宣传效果。其实，对于产品或服务而言，最好的宣传方式莫过于邀请用户亲自试用或体验。以推广饮料产品为例，商家会在卖场等人群高度聚集场所向往来的群众分发免费品尝的饮料产品。但是这种方式通常需要安排人力组织，且往往因为时间短，受众随机性大，导致推广效果十分有限。

发明内容

本发明针对上述问题，提供一种具有体感交互功能、直观性强、方便实用的互动型广告设备及其工作方法。

为达到上述目的，本发明采用了下列技术方案：

提供一种互动型广告设备，其特征在于，包括：

显示装置；

体感交互装置，其用于捕捉用户动作信息；

主控装置，其电连接显示装置和体感交互装置，用于控制显示装置播放视频信息，根据体感交互装置捕捉的用户动作信息，识别用户对广告产品的选择，以及评估用户动作与所选广告产品相关视频动作的匹配程度，并根据匹配程度判断是否输出出货指令；

出货执行装置，其电连接主控装置，用于根据主控装置发出的出货指令控制广告设备输出广告产品。

上述体感交互装置包括红外摄像头或者RGB-D摄像头，以记录包括深度数据和用户骨骼节点数据的用户动作信息。

进一步地，上述体感交互装置还包括光学摄像头。

根据本发明的一实施例，上述互动型广告设备还可以包括通信装置，其电连接主控装置，用于根据主控装置传来的控制指令连接互联网，以实现对广告设备的远程操作。

根据本发明的一实施例，上述互动型广告设备还可以包括发声装置，其电连接主控装置，用于根据主控装置传来的控制指令播放语音信息。

此外，本发明还提供上述互动型广告设备的工作方法，包括以下步骤：

S10、提示用户选择广告产品；

S20、捕捉用户动作信息，识别用户选择；

S30、检测用户所选广告产品是否缺货：

如果有货，播放用户所选广告产品的相关视频，提示用户模仿视频动作；

S40、捕捉用户动作信息，评估用户动作与视频动作的匹配程度；

S50、根据匹配程度判断是否输出用户所选广告产品。

根据本发明的一实施例，上述步骤S20和S40中，捕捉的用户动作信息包括深度数据和用户骨骼节点数据。

具体地，上述步骤S40中，基于以下步骤评估用户动作与视频动作的匹配程度：

S100、基于深度数据选取用户骨骼节点和轮廓节点；

S200、基于用户骨骼节点构建用户肢体向量，计算用户肢体向量与对应的视频模板肢体向量之间的空间夹角，将其加权归一，计算用户肢体向量与对应的视频模板肢体向量之间的空间夹角累积误差，作为基于骨骼节点分析的人体动作差异度；

S300、基于用户轮廓节点构建用户轮廓向量，计算用户相邻两轮廓向量之间的空间夹角，利用其与对应的视频模板轮廓向量的空间夹角之间的差异值构建能量函数，求取能量函数的最小值作为基于轮廓节点分析的人体动作差异度；

S400，对基于骨骼节点分析的人体动作差异度和基于轮廓节点分析的人体动作差异度加权求和，作为衡量用户动作与视频动作匹配程度的评估参数。

此外，上述步骤S30中，如果缺货，向用户提示缺货信息，以及通过互联网向运营商发送缺货信息。

与现有技术相比，本发明的有益效果是：

1）本发明给广告设备配置体感交互装置以及预置有图像处理算法的主控装置，对用户手势、姿态等动作进行识别，实现产品选择的切换,因此可以省去传统的实体商品展示窗，节约硬件成本。

2）本发明给广告设备配置体感交互装置以及预置有图像处理算法的主控装置，在用户选定某广告产品后利用图像处理算法评估用户动作与该广告产品相关视频动作的匹配程度，依据动作匹配程度发放广告产品给用户以作奖励，这种互动方式提高了用户的参与度和趣味性，有利于扩大产品的推广度。

3）本发明优选红外摄像头或者RGB-D摄像头捕捉包括深度数据和用户骨骼节点数据的用户动作信息，并结合一种基于骨骼节点分析和基于轮廓节点分析的人体动作自动评估算法，对用户身体关节点和手势，以及人体姿态方向精确定位，评估结果准确度较高。

4）本发明给广告设备配置通信装置接入互联网，可以进一步地实现广告设备的远程操作和管理。

本发明改变了传统的广告投放模式，实现了用户与广告视频的体感交互互动，在自助体验产品的同时增强了产品的推广效果。

附图说明

图1是本发明互动型广告设备的一个实施例的组成示意图；

图2是本发明互动型广告设备的一个实施例的工作流程图；

图3是本发明控制装置中预设的人体动作自动评估方法的流程图；

图4是图3所示方法选取的人体轮廓节点的示意图；

图5是图3所示方法中***人体轮廓节点的选取方法示意图；

图6是图3所示方法中基于人体骨骼节点计算差异度的方法流程图；

图7是图3所示方法中基于人体骨骼节点构建肢体向量的示意图；

图8是图3所示方法中基于人体轮廓节点计算差异度的方法流程图。

具体实施方式

如图1所示，是本发明提供的互动型广告设备的一个具体实施例的组成示意图。该实施例为一互动型广告饮料机，主要包括主控装置10，与主控装置10电连接的体感交互装置20、显示装置30、发声装置40、出货执行装置50、制冷装置60和通信装置70。当然，在此基础上，该设备也可以根据用户需要或者使用条件进行扩展和调整，例如在某些寒冷地区可以采用制热装置取代制冷装置。本领域及相关领域技术人员应当知晓，只要在不脱离本发明所揭露的精神的前提下，在技术方案实施的形式上和细节上做出任何的修改与变化均在本发明要求保护的范围内。

与传统的广告设备不同的是，本发明提供的互动型广告设备主要是利用体感交互装置20和显示装置30与用户实现互动，通过体感交互中的手势识别进行产品选择的切换,在用户选择某广告产品后利用主控装置10中预置的图像处理算法实时分析评估用户动作与该广告产品相关视频的动作的匹配程度，并根据动作匹配程度发放产品作为奖励。下面结合附图，以互动型广告饮料机为例详细说明其中各装置的功能和作用，借此对本发明如何应用技术手段来解决技术问题，达成技术效果的实现过程进行充分理解并具以实施。

主控装置10，是互动型广告饮料机的核心控制部件。本实施例中优选计算机作为主控装置10，进行算术和逻辑运算，从而控制和调度互动型广告饮料机中其他各装置协调工作。

体感交互装置20，是互动型广告饮料机实现人机互动的关键部件。为准确地捕捉用户动作，本实施例优选红外摄像头与光学摄像头组合套件在广告互动过程中采集人体动作信息。具体地，根据主控装置10发来的控制指令，红外摄像头按照一定的时间间隔发射红外射线，并检测照射于人体返回的红外线，将检测结果传给主控装置10，主控装置10通过计算反射红外线的时间和相位差，获取例如深度数据、人体骨骼节点数据等信息，进而对人体三维动作进行追踪。而光学摄像头一般用于静态动作识别、人脸识别、场景识别等图形图像处理应用。

显示装置30，根据主控装置10发来的控制指令向用户显示提示信息，播放预设的广告视频等。

发声装置40，根据主控装置10发来的控制指令向用户播放语音信息。

出货执行装置50，根据主控装置10发来的出货指令动作，控制互动型广告饮料机出货，如输出用户所选的饮料产品给用户以作奖励。

制冷装置60，根据主控装置10发来的控制指令对饮料机中储存的饮料产品制冷降温。

通信装置70，根据主控装置10发来的控制指令，接入互联网，与互联网中运营商控制端的通信装置进行数据交互，以便运营商能够随时查询机器的流出量、库存量、运行状态、故障情况，增加新的互动应用、更新***、分析用户行为等。

当然，还有为各装置提供工作电压的电源装置。

如图2所示，是上述互动型广告饮料机的一种工作方法流程图。需要说明的是，该方法仅为本发明的优选实施例，凡是利用本发明说明书及附图内容所做的等效流程变换，均包括在本发明的技术方案内。

S10、主控装置发出控制指令，控制显示装置显示选择面板以及相关的提示信息，提示用户通过体感交互的方式选择心仪的饮料产品。

其中，可以规定用户左、右挥手进行饮料选择的切换，向上举手表示确认所选饮料，当然也可不限于此。

S20、主控装置接收体感交互装置记录的深度数据、用户骨骼节点数据等用户动作信息，通过内置的图像处理算法识别用户的选择；

S30、主控装置检测用户所选饮料是否缺货：

如果缺货，提示缺货信息，返回步骤S10；

如果有货，主控装置发出控制指令，控制显示装置播放相应的广告视频，提示用户模仿视频动作；

S40、在用户模仿视频动作时，主控装置接收体感交互装置记录的深度数据、用户骨骼节点数据等用户动作信息，通过内置的图像处理算法评估用户动作与视频动作的匹配程度；

S50、主控装置判断匹配程度是否符合要求，例如判断匹配程度是否高于预设的阈值80%：

如果不符合要求，返回步骤S10；

如果符合要求，主控装置发出出货指令，启动出货执行装置工作，控制饮料机输出饮料产品给用户以作奖励。

上述步骤S30中，如果缺货，向用户提示缺货信息时，还可以通过互联网向运营商发送缺货信息。

上述步骤S40中，主控装置可以通过以下基于骨骼节点分析和基于轮廓节点分析的人体动作自动评估算法，评估用户动作与视频动作的匹配程度。如图3所示，该人体动作自动评估算法包括以下步骤：

S100、基于深度数据选取用户骨骼节点和轮廓节点；

在采用上述人体动作自动评估算法时，体感交互装置20优选RGB-D摄像头捕捉用户动作信息。

当然，本发明也可以采用例如基于二维图形序列推算人体骨骼的图像处理算法识别或者评估用户动作，只是这种方法的准确度相对较低。

下面通过一具体实施例，对上述人体动作自动评估算法做进一步的详细介绍。

在上述步骤S100中，可以采用RGB-D设备获取深度数据，确保设备视野范围内包含人体全部，然后将采集到的深度数据转换为一定分辨率的深度图像，基于该深度图像建立人体分割图像，本发明的实施例中，人体分割图像是指将背景图像和人体图像分离后的图像。

在人体分割图像中通过拟合确定分析人体动作用的人体骨骼节点。在本实施例中，优选以下二十个骨骼节点：头、颈、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、脊椎、腰、左臀、左膝、左踝、左脚、右臀、右膝、右踝、右脚。这些骨骼节点按照人体运动方式对动作的影响程度可以大致分为以下几类：

躯干节点：脊椎、腰、左肩、右肩、左臀、右臀、颈共七个节点。通过观察可以得知，躯干节点通常表现出强烈的自主运动趋势且很少呈现出高独立性的运动，因此可以把人体躯干视为运动惰性较大的刚体，在整体图像配准的相似性衡量中不考虑躯干节点的运动。

一级节点：直接与躯干相连的头，左肘、右肘、左膝、右膝。一级节点少量的运动偏差就能造成视觉上较大的差异。

二级节点：与一级节点相连的左腕、右腕、左踝、右踝。二级节点相较于一级节点离人体躯干更远，运动趋势仅受一级节点影响，很容易在空间中进行自由旋转，因此运动幅度较大，但是在视觉上对角度偏差的容忍度较高。

末端节点：左手、右手、左脚、右脚。末端节点距离二级节点非常短，且灵活度较高，在跟踪成像时易受噪声干扰造成定位不准，因此本实施例中忽略末端节点对人体动作的影响。

在人体分割图像中选取人体轮廓节点。首先在人体分割图像中提取人体轮廓线，然后将轮廓线转化为序列点的表示形式，从中选取分析人体动作用的人体轮廓节点。如图4所示，根据人体肢体动作的特性，本实施例优选以下方式选取人体左腋下、左肘、左腕、左臀、左膝、左踝、***，右踝、右膝、右臀、右腕、右肘、右腋下共十三个轮廓节点：

左腋下轮廓节点的选取方式为，过左肩骨骼节点处画一条平行于X轴的直线，寻找在直线下方的轮廓线上距离左肩骨骼节点最近的序列点，作为左腋下轮廓节点。右腋下轮廓节点同理。

右肘轮廓节点的选取方式为，过右肘骨骼节点处画一条平行于Y轴的直线，寻找直线右侧轮廓线上距离右肘骨骼节点最近的序列点，作为右肘轮廓节点。右腕、右臀、右膝、右踝同理。

左肘轮廓节点的选取方式为，过左肘骨骼节点处画一条平行于Y轴的直线，寻找直线左侧轮廓线上距离左肘骨骼节点最近的序列点，作为左肘轮廓节点。左腕、左臀、左膝、左踝同理。

***轮廓节点的选取方式如图5所示，将左臀骨骼节点与左膝骨骼节点连线，取线段上四分之一处为A点，将右臀骨骼节点与右膝骨骼节点连线，取线段上四分之一处为B点，分别过A、B点做平行于竖直轴的直线，在这两条直线之间的轮廓线上寻找距离腰骨骼节点O最近的序列点P，作为***轮廓节点。

如图6所示，是图3所示步骤S200的基于人体骨骼节点分析计算人体动作差异度的方法流程图，其包括以下步骤：

S201、基于人体骨骼节点构建人体肢体向量，作为人体动作数据的描述符：

由于人体骨骼节点的坐标不具有相对性和方向性，因此本发明采用肢体向量来代***骨骼节点作为骨骼数据的描述符。一方面，肢体向量具有方向性，其空间位置可以借助骨骼节点的三维坐标表示，另一方面，肢体向量与人体肢体相对应，用肢体向量的运动能够描述人体肢体的运动，大大减少数据的数量和降低计算的复杂度。此外，从人体的运动方式可知，人体头部和躯干的运动对于人体动作的影响程度较小，而人体肢体的运动对于人体动作的影响程度较大，因此本发明在采用肢体向量描述人体运动时，采用了一定的简化措施。如图7所示，在本例实施中，选取人体腕关节、肘关节、肩关节、臀关节、膝关节、踝关节左右共12个骨骼节点作为肢体向量的构成点，以高级骨骼节点指向低级骨骼节点作为肢体向量的方向，也即由躯干节点指向一级节点，由一级节点指向二级节点。

S202、按照下式计算人体肢体向量与对应的模板肢体向量之间的空间夹角，以衡量实时采集的人体骨骼数据与***预设的模板骨骼数据中对应点之间的匹配程度。

上式中，θ是人体肢体向量与对应的模板肢体向量之间的空间夹角（也称肢体向量空间夹角），其值越小表明人体肢体向量与对应的模板肢体向量越匹配，因此在基于人体骨骼节点的分析方法中用于衡量人体动作与模板动作的匹配程度。分别表示人体肢体向量和模板肢体向量。x₁，y₁，z₁与x₂，y₂，z₂分别为的三维坐标。人体肢体向量的三维坐标由人体骨骼节点的三维坐标决定，人体骨骼节点的三维坐标基于步骤S100获得的深度数据而确定。在本实施例中，优选人体腰骨骼节点为原点，水平方向为X轴，竖直方向为Y轴建立空间直角坐标系，人体骨骼节点和肢体向量的三维坐标均为该空间直角坐标系中的直角坐标，为同一数量级。

由前述可知，人体运动时，不同类型的骨骼节点处的动作差异给人的主观感觉不同，因此本发明通过大量的数据对比与实践经验，分别给一级节点相关的肢体向量、二级节点相关的肢体向量、人体上部的肢体向量和人体下部的肢体向量在差异性表达中赋予不同的权重。具体设置可以如下：

在本实施例中，二级节点相较于一级节点距离躯干较远，运动幅度只受一级节点的影响，在运动时较易控制，因此二级节点相关的肢体向量（图7所示肢体向量4、5、6、7）在动作匹配的难度考量中所占比重较少，而一级节点距离躯干较近，受躯干运动惯性的影响，同时也受二级节点运动幅度的影响，因此一级节点相关的肢体向量（图7所示肢体向量0、1、2、3）在动作匹配的难度考量中所占比重较多。同时，还需要考虑可能出现局部空间夹角过大的情况，为了使同一动作每个人体肢体向量与对应的模板肢体向量间的空间夹角尽可能平均，在本实施例中，还将同一动作每个人体肢体向量与对应的模板肢体向量间的空间夹角的标准差也作为衡量动作匹配程度的考量因子。此外，本实施例优选对上肢相关的肢体向量（图7所示肢体向量0、1、4、5）的差异数据赋予较小的权重，对下肢相关的（图7所示肢体向量2、3、6、7）的差异数据赋予较大的权重，以平衡视觉感受。

S203、将空间夹角加权归一，按照下式计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，作为基于人体骨骼节点分析的人体动作差异度：

Metric=SD+AngDiff₁×f₁+AngDiff₂×f₂+AngDiff_U×f_U+AngDiff_L×f_L

上式中，Metric是人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，SD是肢体向量空间夹角的标准差。AngDiff_U、AngDiff_L、AngDiff₁、AngDiff₂分别表示同一动作一个实验样本中上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和。在本实施例中，仅考虑了图5所示的八个肢体向量0～7，因此有：

其中，i∈{0，1，…，7}是八个人体肢体向量与对应的模板肢体向量之间的空间夹角。

f_U、f_L、f₁、f₂分别表示上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量在差异性表达中所占的权重，用于分别体现了上、下肢，一级节点和二级节点相关的肢体向量对人体动作的影响程度。

上式中，AngDiff'_U、AngDiff'_L、AngDiff₁'、AngDiff₂'分别表示多组实验样本集中所有上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和。这里一组实验样本由多个实验样本组成，一个实验样本具体是指假设预设的模板动作为A（如直立平伸双臂的动作），某时刻采集的与该模板动作A类似的人体动作为a，则模板动作A与人体动作a就构成模板动作A的一个实验样本。一组实验样本具体是指对于同一模板动作A，同一个人不同时刻的类似动作以及不同的人不同时刻的类似动作与模板动作一起构成一组实验样本。每个模板动作就有一组实验样本，多个不同的模板动作（如模板动作A、模板动作B和模板动作C等）就构建出多组实验样本集。

如图8所示，是图3所示步骤S300的基于人体轮廓节点分析计算人体动作差异度的方法流程图，其包括以下步骤：

S301、基于人体轮廓节点构建人体轮廓向量：

将人体轮廓节点依次首尾相连，两两连接以构建人体轮廓向量，在本实施例中，可以按照左腋下、左肘、左腕、左臀、左膝、左踝、***，右踝、右膝、右臀、右腕、右肘、右腋下的顺序首尾相连，组成十三个人体轮廓向量。

S302、按照下式计算人体相邻两轮廓向量之间的空间夹角，作为人体动作数据的描述符：

上式中，θ是人体相邻两轮廓向量之间的空间夹角（也称轮廓向量空间夹角），分别表示人体相邻的两轮廓向量，x₁，y₁，z₁与x₂，y₂，z₂此处分别是的三维坐标（与前面基于人体骨骼节点分析方法中步骤S202的公式定义不同）。人体轮廓向量的三维坐标由人体轮廓节点的三维坐标决定，人体轮廓节点的三维坐标基于步骤100获得的深度数据而确定。与人体骨骼节点的分析方法类似，在本实施例中，优选人体腰骨骼节点为原点，水平方向为X轴，竖直方向为Y轴建立空间直角坐标系，人体轮廓节点和轮廓向量的三维坐标均为该空间直角坐标系中的直角坐标，为同一数量级。

S303、计算人体每一轮廓向量空间夹角与模板所有轮廓向量空间夹角的差异值：

在本实施例中，步骤S302十三个人体轮廓向量获得十三个人体轮廓向量空间夹角，将第一个人体轮廓向量空间夹角分别减去模板的十三个轮廓向量空间夹角，再将第二个人体轮廓向量空间夹角分别减去模板的十三个轮廓向量空间夹角，依次类推，一共获得13×13个差异值。

S304、基于差异值构造能量函数，求取能量函数的最小值作为基于人体轮廓节点分析的人体动作差异度：

上述步骤S303获得的13×13个差异值作为矩阵元素，构成13×13的差异矩阵，由于矩阵元素的值可正可负，为了构造能量函数，将各矩阵元素平方处理，按照下式构建能量函数E(d)：

上式中，s是轮廓向量空间夹角的序号，k₁(s)为模板数据中序号s对应的轮廓向量空间夹角，d(s)表示对于序号s的待匹配人体数据中的偏移量。在实际应用中，模板数据中轮廓向量空间夹角可能与待匹配人体数据中轮廓向量空间夹角的顺序不一致，例如可能出现以下情况：模板数据中第一个空间夹角为左腋下空间夹角，而待匹配人体数据中第三个空间夹角为左腋下空间夹角，故而需要定义d(s)，表示对于模板数据中第s个空间夹角，在待匹配人体数据中需要对s偏移d(s)后，两者的轮廓向量空间夹角才能彼此对应，因此k₂(s-d(s))是经过偏移变换后待匹配人体数据中的轮廓向量空间夹角。α为平滑系数。j是轮廓向量空间夹角的个数，在本实施例中，其值为13。

然后，利用图割算法求取能量函数的最小值，作为基于人体轮廓节点分析的人体动作差异度。

S400、将上述基于人体骨骼节点和人体轮廓节点分析的人体动作差异度按照下式加权求和，其结果作为衡量人体动作与模板动作匹配程度的评估参数，其值越大，表明人体动作与模板动作相似度越低，其值越小，表明人体动作与模板动作相似度越高，从而实现人体动作全面准确的自动评估，达到本发明的技术效果。

D=a×D_skeleton+(1-a)×D_shape

上式中，D是衡量人体动作与模板动作匹配程度的评估参数，D_skeleton是基于人体骨骼节点分析的人体动作差异度，a为其权重系数，D_shape是基于人体轮廓节点分析的人体动作差异度，为归一化处理，令(1-a)为其权重系数。

在上述权重的设定过程中，需要进行大量的数据测试并结合人体主观感觉来确定权重系数a的值。且还可以进一步地根据具体要求对权重系数进行调整。例如，可以根据步骤s100中获得的深度数据和人体骨骼节点数据判断人体动作是否存在自身遮挡。当人体动作存在自身遮挡时，部分肢体轮廓丢失，此时就不能再采用与基于人体轮廓节点分析相结合的方法进行运算，需要强制性地将基于人体骨骼节点分析的人体动作差异度的权重系数置为1，只采用基于人体骨骼节点的分析方法进行运算，评估动作匹配程度。

上述判断人体动作是否存在自身遮挡的方法包括以下步骤：

S401、对人体分割图像查找边缘，找出深度突变像素：

对人体分割图像查找边缘，找出其中深度数据大于给定阈值的像素，认为其深度有突变，是深度突变像素；

S402、判断深度突变像素是否是人体图像像素：

检查深度突变像素坐标，若深度突变像素位于人体图像的范围，是人体图像像素，则表明人体部位存在深度突变，进而推断人体动作存在自身遮挡。

上述融合人体骨骼节点分析和人体轮廓节点分析的评估结果，自动地评估人体动作与模板动作之间的匹配程度，在一定程度上弥补了现有技术中仅基于人体骨骼节点分析或者人体轮廓节点分析进行动作比对的不足，能更好地实现人体动作的准确评估。

本发明提供的互动型广告设备通过体感交互设备与预置有图像处理算法的主控装置配合，可以对用户身体关节点、手势，以及人体姿态方向进行跟踪定位，识别用户对广告产品的选择，评估用户动作与该广告产品相关视频动作的匹配程度，如果匹配程度达到预期要求则发放产品给用户以作奖励。这种互动方式增强了用户的参与度和沉浸感，有利于扩大广告产品的推广度。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种互动型广告设备，其特征在于，包括：

显示装置；

体感交互装置，其用于捕捉包括深度数据和用户骨骼节点数据的用户动作信息；

主控装置，其电连接所述显示装置和体感交互装置，用于控制所述显示装置播放视频信息，根据所述体感交互装置捕捉的用户动作信息，识别用户对广告产品的选择，以及通过一种基于骨骼节点分析和基于轮廓节点分析的人体动作自动评估算法评估用户动作与所选广告产品相关视频动作的匹配程度，并根据匹配程度判断是否输出出货指令；

出货执行装置，其电连接所述主控装置，用于根据所述主控装置发出的出货指令控制所述广告设备输出广告产品。

2.如权利要求1所述的互动型广告设备，其特征在于：

所述体感交互装置包括红外摄像头或者RGB-D摄像头，以记录包括深度数据和用户骨骼节点数据的用户动作信息。

3.如权利要求2所述的互动型广告设备，其特征在于：

所述体感交互装置还包括光学摄像头。

4.如权利要求1或2或3所述的互动型广告设备，其特征在于，进一步还包括通信装置，其电连接所述主控装置，用于根据所述主控装置传来的控制指令连接互联网，以实现对所述广告设备的远程操作。

5.如权利要求1或2或3所述的互动型广告设备，其特征在于，进一步还包括发声装置，其电连接所述主控装置，用于根据所述主控装置传来的控制指令播放语音信息。

6.一种如权利要求1～5任意一项所述的互动型广告设备的工作方法，包括以下步骤：

S10、提示用户选择广告产品；

S20、捕捉用户动作信息，识别用户选择；

S30、检测用户所选广告产品是否缺货：

S50、根据匹配程度判断是否输出用户所选广告产品。

7.如权利要求6所述的工作方法，其特征在于：

所述步骤S20和S40中，捕捉的用户动作信息包括深度数据和用户骨骼节点数据。

8.如权利要求7所述的工作方法，其特征在于：所述步骤S40中，基于以下步骤评估用户动作与视频动作的匹配程度：

S100、基于深度数据选取用户骨骼节点和轮廓节点；

9.如权利要求7或8所述的工作方法，其特征在于：

所述步骤S30中，如果缺货，向用户提示缺货信息，以及通过互联网向运营商发送缺货信息。