CN103760968B - 数字标牌显示内容选择方法和装置 - Google Patents

Abstract

提供了数字标牌显示内容选择方法和装置。该方法包括：获得由实时拍摄数字标牌周围区域得到的图像序列中的一个或多个图像；通过分析所获得的一个或多个图像，检测各个用户的动态特征，确定各个用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度；以活跃程度大于预定阈值的用户作为目标观众，分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征；以及基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示。该方法和装置适合在公共场所下针对多名观众选择数字标牌显示内容。

Description

数字标牌显示内容选择方法和装置

技术领域

本发明总体地涉及图像处理，具体地，涉及计算机实现的数字标牌显示内容选择方法和装置。

背景技术

数字标牌(Digital Signage)是一种全新的媒体概念，指的是在大型商场、超市、酒店大堂、饭店、影院及其他人流汇聚的公共场所，通过大屏幕终端显示设备，发布商业、财经和娱乐信息的多媒体专业视听***。其旨在特定的物理场所、特定的时间段对特定的人群进行广告信息播放的特性，让其获得了广告的效应。有人把它与纸张媒体、电台、电视和因特网并列，称之为“第五媒体”。

传统的数字标牌是单向的、内容固定的，即一般不考虑观众的特性和喜好，循环播放预先确定的内容。

近年来，出现了一些考虑观众的感情等来投放广告的技术。

在美国专利公开US20120143693A中，提出了一种基于用户情绪的广告投放方法，该方法监控一个用户的行为，其中可以分析用户的语音模式，身体的运动，面部表情，并由此判断用户是否在笑、皱眉、尖叫，等等，并基于情绪标签投放广告。该技术同时只能监控一个用户，无法支持同时多用户的使用场景。另外，该技术给用户设定情绪的状态。但是仅仅情绪状态无法满足内容选择的要求。因为不是所有的内容都可以用情绪状态来标示。同时可能许多其他情况也影响内容的选择。

在美国专利公开US2012150650A中，提出了基于用户表达的销售术语的自动广告生成方法，其中销售术语是和一种产品或服务相关联的一个或多个单词，该方法使用用户的语音和手势作为输入来检测一个或多个用户表达的销售术语；以及根据销售术语的语境数据来为一个指定的用户选择广告。该发明使用语音和手势作为输入来判断适合于用户的内容，但是这种类型的输入在公共场所使用比较困难。另外，该发明使用销售术语来搜索内容，但是在数字标示显示***使用的场景下，很少有人能够自己提供准确的销售术语。

在美国专利公开US2012143662A中，提出了基于环境条件的广告投放方法，该方法根据输入的音频、图像、视频信号或者预先设定的用户信息(包括温度、湿度、声音、光线、空气成分、位置和移动速度)来判断环境条件，根据环境条件和至少一个或多个搜索关键词来确定广告。该发明使用环境条件作为输入来为用户决定合适的内容。但是在公共场所，这种类型的输入不会被观众影响，所以它也就不能为不同的观众选择合适的内容。该发明是为移动设备设计的。它对数字标示显示设备不合适。

在中国专利公开CN102446327A中，提出了如下技术，图像识别设备从相机模块获得拍摄的图像数据，核心操作模块控制面部识别模块和面部特征识别模块来计算和分析图像数据，广告投放选择设备根据计算结果和分析结果来发送合适的广告到显示设备。该发明仅分析用户的面部识别特征，而不同性别和年龄阶段的面部模式是很难决定的，所以检测准确率不高，而且模式识别算法一般都很复杂，所以难于应用于实时处理。

发明内容

根据本发明的一个方面，提供了一种计算机实现的数字标牌显示内容选择方法，可以包括：获得由实时拍摄数字标牌周围区域得到的图像序列中的一个或多个图像；通过分析所获得的一个或多个图像，检测各个用户的随其移动而改变的动态特征，确定各个用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度；以活跃程度大于预定阈值的用户作为目标观众，通过分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征；以及基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示。

根据本发明的另一方面，提供了一种数字标牌显示内容选择装置，包括：监测图像获得部件，获得由实时拍摄数字标牌周围区域得到的图像序列中的一个或多个图像；用户活跃程度确定部件，通过分析所获得的一个或多个图像，检测各个用户的随其移动而改变的动态特征，确定各个用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度；观众个人属性识别部件，以活跃程度大于预定阈值的用户作为目标观众，通过分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征；以及数字标牌显示内容选择部件，基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示。

本发明实施例的数字标牌显示内容选择的方法和装置适合在公共场所下针对多名观众选择数字标牌显示内容。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了根据本发明实施例的数字标牌***100的组成和工作场景示意图。

图2示出了根据本发明另一实施例的数字标牌***200的组成和工作场景示意图。

图3示出了根据本发明一个实施例的数字标牌显示内容选择装置300的结构框图。

图4示出根据本发明一个实施例的数字标牌显示内容选择方法S400的总体流程图。

图5示意性地示出了观众的各类特征的例子。

图6示出了根据本发明一个实施例的确定用户的活跃程度的示例性方法S420的流程图，

图7示出了基于光线通过镜片折射的原理，根据原始面部大小、图像中的面部大小、相机焦距来计算观众和屏幕之间距离的例子。

图8示出了根据本发明一个实施例的示例性的活跃区域以及限定该活跃区域所涉及的元素的顶视图的例子。

图9示出了基于眼睛间距离变化计算面部朝向的例子。

图10示出了根据特征的计算复杂度对特征排序的例子。

图11示出了根据本发明一个实施例的通过检测和分析外形特征确定观众的年龄、性别等个人属性特征的方法S430的流程图。

图12示出了通过各种技术检测个人的简单外形特征和分析个人特征属性的例子。

图13示出了观众的外形特征归类以及后述的个人属性归类（最后一列）的示意图。

图14示出了根据本发明一个实施例的基于识别得到的各个目标观众的个人属性特征选择内容的方法S440的流程图。

图15示出了根据个人特征属性和活跃程度、以及时间情况为数字标示***选择内容的方法的示意性例子。

图16示出了根据本发明另一实施例的数字标牌显示内容选择方法S500的流程图。

图17示出了根据本发明一个实施例的跟踪观众和确定观众对显示内容的喜好程度的方法S550的流程图。

图18示出了活跃观众跟踪的顶视图的例子。

图19示出了根据本发明一个实施例的用于实现图16的步骤S560的示例性方法的流程图。

图20示出了适于用来实现本发明实施方式的示例性计算***600的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示出了根据本发明实施例的数字标牌***100的组成和工作场景示意图。

如图1所示，数字标牌***100可以包括：计算设备110、显示设备120、图像捕获设备130。该计算设备110可以用于提供内容供电子显示设备显示，同时接收来自图像捕获设备130的图像序列来监测周围的观众，例如可以为服务器、台式机、平板电脑等。显示设备120可以显示上述计算机设备的提供的内容，例如可以由液晶显示设备、LED显示设备等组成。图像捕获设备130可以拍摄周围区域的图像序列，这些图像包括周围区域内的观众，例如可以为广角的摄像机设备。计算设备110与显示设备120、图像捕获设备130之间可以通过有线或者无线方式连接。

图2示出了根据本发明另一实施例的数字标牌***200的组成和工作场景示意图。

如图2所示，数字标牌***200可以包括：内容供应服务器210、显示设备220、图像捕获设备230、应用服务器240。内容供应服务器210、显示设备220、图像捕获设备230、应用服务器240能够通过诸如因特网之类的网络彼此通信。

内容供应服务器210可以提供内容以供显示设备220显示。应用服务器240接收来自图像捕获设备230的图像序列并进行处理来监测周围的观众。显示设备120可以显示上述内容供应服务器210提供的内容，例如可以由液晶显示设备、LED显示设备等组成。图像捕获设备230可以拍摄周围区域的图像序列，这些图像包括周围区域内的观众，例如可以为广角的摄像机设备。计算设备110与显示设备120、图像捕获设备130之间可以通过有线或者无线方式连接。

对内容供应服务器210所提供的内容的格式没有限制，可以为视频、网页、纯文本等等各种形式，只要能够在数字标牌显示器上显示即可。一般地，数字标牌显示器上显示的为图片或者视频。

图3示出了根据本发明一个实施例的数字标牌显示内容选择装置300的结构框图。

如图3所示，数字标牌显示内容选择装置300可以包括：观众监测图像获得部件310、用户活跃程度确定部件320、观众个人属性识别部件330、数字标牌显示内容选择部件340。

观众监测图像获得部件310配置为获得由实时拍摄数字标牌周围区域得到的图像序列中的一个或多个图像，例如通过有线或者无线方式接收来自诸如图1所示的图像捕获设备130的图像。

用户活跃程度确定部件320配置为通过分析所获得的一个或多个图像，检测各个用户的随其移动而改变的动态特征，确定各个用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度。

观众个人属性识别部件330配置为以活跃程度大于预定阈值的用户作为目标观众，通过分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征。

数字标牌显示内容选择部件340配置为基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示。

观众监测图像获得部件310、用户活跃程度确定部件320、观众个人属性识别部件330、数字标牌显示内容选择部件340可以通过例如总线***（未示出）耦合在一起，并且可以通过计算硬件***中的CPU、RAM、ROM以及其中运行或存储的代码来实现。

上述各个部件的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述观众监测图像获得部件310、用户活跃程度确定部件320、观众个人属性识别部件330、数字标牌显示内容选择部件340可以通过总线***互相连接。另外，可以上述各部件中的两个或更多个合并为一个独立的单元来执行和实现相应的功能和操作，或者可以将观众监测图像获得部件310、用户活跃程度确定部件320、观众个人属性识别部件330、数字标牌显示内容选择部件340进一步拆分为更小的单元来实现他们各自的功能和操作。

图4示出根据本发明一个实施例的数字标牌显示内容选择方法S400的总体流程图。图4的数字标牌显示内容选择方法S400可以由图3所示的数字标牌显示内容选择装置300来实现，其中图3的各个部件可以实现图4中的对应步骤。不过图4所示的方法也可以由其它计算装置（如图1所示的计算设备）来实现，例如，台式机、平板电脑、工作站等。

如图4所示，在步骤S410中，获得由实时拍摄数字标牌周围区域得到的图像序列中的一个或多个图像。

如前所述，例如，由数字标牌显示内容选择装置300中的观众监测图像获得部件310例如通过有线或者无线方式接收来自诸如图1所示的图像捕获设备130的图像。

在步骤S420中，通过分析所获得的一个或多个图像，检测各个用户的随其移动而改变的动态特征，确定各个用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度。

发明人考虑到，为了能够尽可能地提供适合于用户喜好和/或需要的内容，可以确定哪些观众为目标观众（受众），以及分析这些受众的特性，而这都离不开分析和检测观众的各种特征。

根据本发明的一个实施例，可以将观众的特征分为三类。第一类为观众的动态特征，即随用户的移动、身体或头部转动等而随时改变的特征，例如观众相对于数字标牌的距离、角度和面部朝向等等，另外也包括例如当前的时间。第二类为观众的外形特征，相对而言至少在相当一段时间内是静态的，如观众的身高、胖瘦、着装、声音等。第三类为时间持续型特征，即在一段时间内反映出来的特征，如观众的持续观看时间、移动轨迹等，能够更稳定地反映出用户对显示的内容的反应（态度）。图5示意性地示出了观众的各类特征的例子。

在本实施例中，分层次地对待各种特征。具体地，在步骤S420中，检测用户的动态特征，确定用户对内容的活跃程度；然后在下一步骤S430中，对于确定为活跃的观众，通过例如检测其外形特征来识别观众的个人属性。以及如后文所述，可选地，可以进一步地检测用户的时间持续型特征来跟踪用户对显示的内容的反应，从而对显示的内容进行调整等。

这里，介绍本步骤S420中的用户的动态特征的检测和分析。

在一个示例中，检测用户的动态特征可以包括检测用户与数字标牌显示屏之间的距离和角度，以及检测用户的面部与屏幕所成的方向角度作为用户的面部朝向，并基于用户与数字标牌显示屏之间的距离和角度以及用户相对于显示屏的面部朝向来确定用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度。

图6示出了根据本发明一个实施例的确定用户的活跃程度的示例性方法S420的流程图，该方法可以应用于图4所示的步骤S420。

如图6所示，在步骤S421中，确定各个用户相对于数字标牌显示屏之间的距离和角度。

在一个示例中，观众和屏幕之间的距离可以根据图像捕获设备（例如相机）拍摄的脸部实际大小、脸部图像大小和焦距来计算。图7示出了基于光线通过镜片折射的原理，根据原始面部大小、图像中的面部大小、相机焦距来计算观众和屏幕之间距离d的例子。该计算可以用下述公式（1）表示

$d=(\frac{S_0}{S_1}+1)*f---\left(1\right)$

其中，S₀是现实世界中普通人脸部的真实尺寸（例如，脸部的高度），S₁是图像捕获设备获得的图像上的脸部的尺寸（例如，脸部的高度），f是相机的焦距。

在一个示例中，观众和屏幕之间的角度α可以通过相机校准标定方法计算。此为现有技术，这里省略其描述。

上述获得观众相对于数字标牌显示屏之间的距离和角度的方法仅为示例，任何能够获得观众相对于数字标牌显示屏之间的距离和角度的方法均可以应用于本发明。

在步骤S422中，获得活跃区域。

在一个示例中，活跃区域表示在这个区域中观众才有可能看见屏幕，因此在该区域外的用户被视为不是在选择数字标牌显示内容时需要考虑的对象。即，落在活跃区域外的观众不是本实施例关心的目标观众，只有落在活跃区域内的观众才是目标观众。

可以预先定义或实时计算数字标示设备的活跃区域或活跃边界。

图8示出了根据本发明一个实施例的示例性的活跃区域以及限定该活跃区域所涉及的元素的顶视图的例子。一般情况下，观众相对于屏幕的角度不同，则能看到屏幕内容的最远距离（活跃区域的边界的半径，即边界点距屏幕中心的距离）也将不同，一般地观众相对于屏幕的角度越大（所处位置越偏离屏幕正中心），该最远距离越短。在一个示例中，可以使用以下公式（2）定义在不同角度α下的活跃区域的半径r：

$r=\frac{R}{1+e^{-\cot a}}---\left(2\right)$

其中，R是在观众处于正好在屏幕正前方的角度（即α=0）、且正对屏幕的中心的情况下活跃区域的半径，这里其表示一个普通观众站在屏幕正前方时能看到屏幕内容的最远距离，该值这里视为已知，例如可以通过实验得到；cot表示余切函数。

在一个示例中，在定义了活动区域之后，可以认为位于活跃区域外的观众为非活跃状态（活跃程度为零），位于活跃区域内的观众为活跃状态，但活跃区域内的观众的活跃程度可以不同。此后的处理可以仅考虑活跃的观众。

在步骤S423中，确定用户相对屏幕的面部朝向。

在一个示例中，可以使用和观众屏幕距离计算相同的方法，根据双眼的距离来计算活跃观众的面部角度。图9示出了基于眼睛间距离变化计算面部朝向的例子。在该示例中，不需要计算面部准确角度值，而仅需要计算一个估计值即可。在一个示例，可以仅需预先知道或预先定义现实世界中的人的一般双眼间距离W₀，然后假设该人距数字标牌显示屏之间的距离为d，计算在该人正面朝向数字标牌显示屏的情况下在图像上应该具有的双眼间距离W₁值，且获得在相机捕获的图像上的观众的双眼间的距离W₂，然后设置W₂/W₁作为观众面部的正面朝向程度，该正面朝向程度表示用户的面部正面朝向数字标牌显示屏的程度，W₂/W₁为1表示用户正面朝向数字标牌显示屏，W₂/W₁越小，表明面部角度偏离正面朝向越多。这种计算面部相对数字标牌显示屏的朝向的方法可以帮助简化计算过程，节省计算成本。另外，在一个示例中，如果在图像中检测不到2个眼睛，则可以设置面部正面朝向的程度值为0。

在一个示例中，可以以下述公式(3)、(4)、(5)进行上述示例性面部朝向的计算，其中公式（4）由公式(3)导出。

$d=(\frac{W_0}{W_1}+1)*f---\left(3\right)$

$W_1=\frac{W_0*f}{d-f}---\left(4\right)$

$\mathrm{FFD}=\frac{W_2}{W_1}---\left(5\right)$

其中，d表示用户距数字标牌显示屏之间的距离，W₀表示现实世界中的人的一般双眼间距离，W₁表示在该人面向（即正面朝向）数字标牌显示屏的情况下在图像上应该具有的双眼间距离，W₂表示在相机（例如图1所示的图像捕获设备230）捕获的图像上的观众的双眼间的距离，FFD表示用户的正面朝向程度，更确切地说，用户的面部正面朝向数字标牌显示屏的程度，用来表示用户相对于数字标牌显示屏的面部朝向。

在通过步骤S421、S422、S423计算得到用户相对数字标牌显示屏的距离和角度，以及面部朝向之后，前进到步骤S424。

在步骤S424中，基于用户相对数字标牌显示屏的距离和角度，以及面部朝向，计算用户的活跃程度。

在一个示例中，可以利用下述公式(6)，计算用户的活跃程度。

其中Activelevel表示用户的活跃程度，d表示用户距数字标牌显示屏的距离，FFD表示用户相对于数字标牌显示屏的面部朝向或者说正面朝向程度，α是用户相对数字标牌的角度，R是观众正好在屏幕正前方的角度（即α=0）、且正对屏幕中心情况下的活跃区域的半径，r是不同角度α下的活跃区域的半径，Th_FFD是用户相对数字标牌显示屏的正面朝向程度的阈值，例如取值为0.3。

上述公式(6)仅为用于计算用户的活跃程度的示例，可以采用其它公式来计算用户对于数字标牌显示程度的阈值，原则上只要满足用户距数字标牌越远，活跃程度越低，以及用户相对于数字标牌显示屏的面部朝向越偏离正面朝向，活跃程度越低即可。

另外需要说明的是，图6所示的用于确定用户的活跃程度的方法仅为示例。另外在某些情况下，可以无需执行所示的所有步骤即可以得到用户的活跃程度。例如对于落入活跃区域之外的用户，可以直接确定其活跃程度为零，而无需执行确定用户的面部朝向的步骤S423，或者例如对于已经确定用户的面部朝向偏离正面朝向的程度大于预定阈值的情况下，可以直接确定其活跃程度为零，而无需执行计算用户相对数字标牌的距离和角度的步骤S421和定义或获得活跃区域的步骤S422。

回到图4，在步骤S420中通过检测各个用户的动态特征，确定了用户的活跃程度之后，过程前进到步骤S430。

在步骤S430中，以活跃程度大于预定阈值的用户作为目标观众，分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征。

首先，此步骤以及后续的步骤处理的对象是活跃程度大于预定阈值的用户。关于活跃程度的阈值，可以根据需要例如设置为0，0.1等等。由此，可以大大降低需要处理的对象的数目，提高***的计算性能。

观众的年龄、性别等个人属性特征与其可能感兴趣的内容之间常常具有较强的相关性。为了确定观众的年龄、性别等，可以检测观众的各种外形特征。外形特征包括例如体型、头发、衣着相关的特征。外形特征，例如，从体型看，可以指身材的高矮、胖瘦；从头发看，可以指头发的长短、颜色、发型（如直发还是卷发）；从衣着看，可以指是穿裙子还是裤子等。

在一个示例中，可以在进行特征检测和分析之间，根据不同特征的计算复杂度对特征进行排序。从而，在一个示例中，在处理中首先处理低复杂度的特征，并根据过程进行结果决定要检测哪些特征，这样可以提高***的性能。图10示出了根据特征的计算复杂度对特征排序的例子。

图11示出了根据本发明一个实施例的通过检测和分析外形特征确定观众的年龄、性别等个人属性特征的方法S430的流程图，该方法可以应用于图4所示的步骤S430。

如图11所示，在步骤S431中，检测目标观众的外形特征数据，目标观众的外形特征数据包括表示目标观众的身高、胖瘦、发型和着装中的至少一个的特征数据。

图12示出了通过各种技术检测个人的简单外形特征和分析个人特征属性的例子。首先，可以采用和观众距屏幕距离计算方法相同的方法，计算观众的高度和宽度。另外，可以使用色彩和纹理识别/连通域分析/纹理和边界检测等方法，检测观众头发的颜色/长度/样式。

在步骤S432中，进行观众的外形特征归类。

基于目标观众的外形特征数据，进行观众的外形特征归类。决定观众的身高/胖瘦/头发颜色/头发长度/发型等外形特征的归类，具体地可以知道观众是高/中等/矮，胖/中等/瘦，白发/黑发/黄发/红发，长发/短发/无发，直发/卷发等。

图13示出了观众的外形特征归类以及后述的个人属性归类（最后一列）的示意图。

在步骤S433中，判定当前检测到的目标观众的外形特征的数目是否小于阈值数目。阈值数目例如为3。在当前检测到的目标观众的外形特征的数目小于阈值数目时，过程返回步骤S431继续进行外形特征数据的检测，否则过程前进到步骤S434。

在步骤S434，基于步骤S432中判定的外形特征归类，对观众的年龄、性别等个人属性进行归类。该个人属性归类例如，如图13的最后一列所示，其中，对于第一名观众，基于其外形特征归类，即高个、黑头发、长头发，将该观众的个人属性归类为高个子的成年女性；对于第二名观众，基于其外形特征归类，即矮个、无发、穿裤子，将该观众的个人属性归类为矮个子的成年男性；对于第三名观众，基于其外形特征归类，即黑头发、长头发、穿裙子，将该观众的个人属性归类为年轻女孩；对于第四名观众，基于其外形特征归类，即体瘦、白头发、穿裤子，将该观众的个人属性归类为老年男性。

需要说明的是，个人属性归类的情况，与后面描述的存储于数据库中的表示个人属性特征和内容之间的相关性的数据是相联系的。在数据库中是将年龄、性别和身高与内容相关联存储的情况下，那么方法S430的任务是该根据外形特征数据检测最后决定用户的年龄、性别和身高。

在另一示例中，数据库中存储的相关性数据的形式是可以由用户定制和更新的。此时，例如用户可以将例如某个外形特征归类作为个人属性归类来用作决定显示内容的要素之一，例如，将衣着也作为决定内容的直接要素来和内容的ID（或类别等）相关联地存储。

另外，需要说明的是，个人属性归类的粒度可以根据应用的需要而不同。例如，在实时性更重要的情况下。可以将年龄分为老、中、青三类。而在另一示例中，甚至可以将年龄分为更细的粒度，例如50以上，40到50岁，30到40岁，20到30岁等，当然这可以意味着，要检测更加复杂的用户特征，建立更复杂的关联模型等。

上面参照图11描述了对于活跃的观众，识别其个人属性特征的示例性方法S430。

回到图4，在步骤S430中识别得到目标观众的个人属性特征之后，前进到步骤S440。

在步骤S440中，基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示。

图14示出了根据本发明一个实施例的基于识别得到的各个目标观众的个人属性特征选择内容的方法S440的流程图，该方法可以应用于图4所示的步骤S440。

如图14所示，在步骤S441中，根据观众的活跃程度和个人属性特征归类结果，确定共性程度较高的个人特征属性。

在一个示例中，可以根据观众的活跃程度和相似个人属性的聚类结果，从全部活跃观众的所有个人特征属性中获取公共程度较高的个人属性特征。

在一个示例中，可以以目标观众的活跃程度作为该目标观众的权重，统计相同个人属性特征的目标观众的加权数目。例如，对于个人属性特征聚类中的观众数目进行加权计数，并确定加权计数结果中数值最大的聚类中的个人属性特征。

在步骤Ｓ442中，基于共性程度较高的个人属性，检索存储指示个人属性特征与内容之间的相关性的相关数据的数据库，选择内容，以供在数字标牌上显示。

在另一个示例中，在内容的选择过程中，还可以考虑时空环境因素。例如当前时间是白天还是晚上，是平时还是周末等，是否刮风下雨等。例如，年轻人夜间逛商场的可能性更大，因此对于夜间应该更倾向于选择适合于年轻人的内容。

图15示出了根据个人特征属性和活跃程度、以及时间情况为数字标牌选择显示内容的方法的示意性例子。在该例子中，考虑了活跃程度，其中高活跃程度意味该观众对显示内容的选择更加重要，因为这个观众更加关心显示的内容。由于引入了观众活跃等级，在相似的个人特征属性聚类过程中，获取最重要和大众的个人普通特征属性变得更加容易。在这个例子中，最重要和大众的个人普通特征属性是男性和成年人，因为观众中矮个成年男性和老年男性比其他人的活跃程度更高。在获取公共的个人普通特征属性之后，还为显示内容的选择考虑了时间因素。例如，年轻人夜间逛商场的可能性更大。根据公共的个人普通特征属性和其他环境因素，为活跃的观众选择更加合适的内容。

上面示例性地描述了根据本发明实施例的数字标牌显示内容选择方法和装置。

根据本发明实施例的数字标牌显示内容选择方法和装置适合应用于公共场所的、面对多名观众的实时数字标牌显示内容选择。

图16示出了根据本发明另一实施例的数字标牌显示内容选择方法S500的流程图。

图16所示的方法S500与图4所示的方法S400的不同在于多了步骤S550和S560，用于对观众进行跟踪和反馈分析。步骤S510到S540的功能和实现与步骤S410到S440的功能和实现基本相同，这里省略其描述。

下面重点描述步骤S550和S560。

在步骤S550中，分析图像序列中在该所获得的一个或多个图像之后的后续图像，跟踪目标观众对当前显示的内容的反应，确定目标观众对当前显示的内容的喜好程度。

图17示出了根据本发明一个实施例的跟踪观众和确定观众对显示内容的喜好程度的方法S550的流程图，该方法S550可以应用于图16所示的步骤S550。

如图17所示，在步骤S551中，分析图像序列中在该所获得的一个或多个图像之后的后续图像，跟踪每一位活跃的观众，并在他/她变成不活跃状态之前一直记录他们的状态和反馈。在一个示例中，可以根据观众是否在活跃区域之外和观众的面部方向程度FDD是否小于阈值方向程度Th_FDD来判断观众是否已经变为非活跃状态。

图18示出了活跃观众跟踪的顶视图的例子，其中的虚线指示一段时间内各个观众的运动轨迹，另外还示出了初始时刻和末尾时刻的观众的面部朝向。

在一个示例中，在跟踪活跃观众的过程中，可以利用下式(7)定义以下动态特征向量用来记录跟踪过程中的观众状态：

$\stackrel{\→}{\mathrm{DFV}}=[a,d,\mathrm{FFD},t1,t2,\mathrm{cid},\mathrm{pid},\mathrm{time}]---\left(7\right)$

其中α表示观众与数字标牌显示屏之间的角度，d表示观众与显示屏之间的距离，FFD表示观众的面部朝向，t1表示对该观众的总计跟踪持续时间，t2表示在当前内容情况下对观众的跟踪持续时间，cid表示当前内容的id，pid表示当前观众的id，time表示当前时刻。

在步骤S552中，在观众已经观看数字标牌内容超过一段预定义的时间之后，根据所记录的观众观看时的状态和反馈来判断该观众是否喜欢观看的内容。

在一个示例中，可以把活跃观众的跟踪时间作为观众的观看时长，同时设置一个观看时长的阈值WTT，根据这个阈值来判断是否观众观看了足够长的时间并开始对观看做出反馈。例如，设置WTT=5秒，如果向量的t₁>WTT，则开始分析观众对当前内容的反馈。在一个示例中，可以定义以下的分析参数用来监测观众的观看反馈：

角度变化参数C₁,可以例如以公式(8)计算。

$C_1=\frac{\mathrm{\Δ\α}}{90}*W_1---\left(8\right)$

距离变化参数C₂,可以例如以公式(9)计算。

$C_2=\frac{\mathrm{\Δd}}{R}*W_2---\left(9\right)$

面部朝向变化参数C₃,可以例如以公式(10)计算。

$C_3=\frac{\mathrm{\ΔFFD}}{90}*W_3---\left(10\right)$

观看时间参数C₄,可以例如以公式(11)计算。

C₄＝e^-t2*W₄     (11)

其中W₁、W₂、W₃、W₄分别表示角度变化参数C₁、距离变化参数C₂、面部朝向变化参数C₃、观看时间参数C₄对于确定观众对显示内容的喜好程度而言的权重。在一个示例中，例如设置W₁=0.1,W₂=0.4、W₃=0.2、W₄=0.3。在一个示例中，认为距离的变化和观看时长是最重要的因素，所以距离变化参数和观看时间参数被赋予较高权重。

上述角度变化参数C₁、距离变化参数C₂、面部朝向变化参数C₃、观看时间参数C₄对于确定观众对显示的内容的喜好一般应满足下述原则：角度变得越小表明观众越喜欢显示的内容，距离变得越短表明观众越喜欢显示的内容，面部朝向变得越小表明观众越喜欢显示的内容，观看时间越长表明观众越喜欢显示的内容，所以角度变化参数C1越小、距离变化参数C2越小、面部朝向变化参数C3越小、观看时间参数C4越小，越表明观众的反馈为越变得喜欢显示的内容。

在一个示例中，可以依据公式（12）来计算观众对当前显示内容的反馈程度RC，其中RC越小表明，观众对显示的内容的反馈是正向的，即越喜欢显示的内容。

$\mathrm{RC}={\mathrm{\Σ}}_{i=1}^4{C}_i---\left(12\right)$

在一个示例中设置一个反馈程度的阈值Th_RC用来判断是否观众喜欢这个内容。例如，设置Th_RC=0.3。RC>Th_RC表示观众不喜欢这个内容，RC<(-Th_RC)表示观众喜欢这个内容，而反馈程度在上下界阈值之间表示该反馈不足以对用户是否喜欢该内容做出确切判断。

需要说明的是，前述的跟踪观众和确定观众对显示内容的喜好程度的方法仅为示例。可以根据需要采用其余的方法，例如可以修改公式(8)-(12)或者利用其它公式来计算观众对显示内容的喜好程度。

回到图16，在步骤S550中，跟踪观众和确定了观众对显示内容的喜好程度之后，前进到步骤S560。

在步骤S560中，基于所确定的目标观众对当前显示的内容的喜好程度，获取个人属性特征和内容之间的相关性，更新该存储指示个人属性特征和内容之间的相关性的相关数据的数据库，以及调整显示的内容。

图19示出了根据本发明一个实施例的用于实现图16的步骤S560的示例性方法的流程图。

如图19所示，在步骤S561中，根据观众对数字标识设备显示内容的喜好判断结果来获取人员属性和显示内容之间的相关性。

如前所述，在一个示例中，可以在数据库中存储指示个人属性特征和内容之间的相关性的相关数据，以将各种内容和不同的个人属性特征相关联。例如，设置什么样的观众喜欢什么样的显示内容。但是这样的关联可能不正确，因为将个人特征属性和内容关联在一起是困难的。因此，可以根据观众的观看反馈来获取更准确的关联关系。在一个示例中，如果一位观众喜欢这个内容，那么可以创建或者增强这个内容和这位观众所具有的个人特征属性之间的关联关系。在一个示例中，如果一个观众不喜欢这个内容，那么可以减弱或者删除这个内容和这位观众所具有的个人特征属性之间的关联关系。

在步骤S562中，调整显示内容的选择，同时更新内容和个人属性特征之间的相关性。

例如，如果观众的反馈程度比RCT高或者比–RCT小，则开始根据观众的反馈调整内容并更新关联关系。如果观众喜欢这个内容，则选择类似的内容来显示。如果观众不喜欢这个内容，则把显示内容中类似的内容都删除。

另外，可以根据步骤S561中获取的个人属性特征和视频内容之间的相关性，更新该存储指示个人属性特征和内容之间的相关性的相关数据的数据库。

在另一个示例中，也可以根据观众反馈的结果来向观众推荐合适的产品。

需要说明的是，在数据库中存储的指示个人属性特征和内容之间的相关性的相关数据可以是各种形式的。在一个示例中，可以直接将个人属性特征和内容ID相关联的存储。在另一个示例中，可以将个人属性特征和内容的属性特征相关联的存储，而内容的属性特征又与很多内容ID或者内容类别ID相关联。

回到图16，根据图16所示的数字标牌显示内容选择方法适合于在公共区域为多个观众选择适当的显示内容，而且能够通过跟踪用户的反应，来调整选择的显示内容，并更新指示个人属性特征和内容之间的相关性的相关数据。

本发明还可以通过一种用于数字标牌显示内容选择的计算***来实施。图20示出了适于用来实现本发明实施方式的示例性计算***600的框图。如图20所示，计算***600可以包括：CPU（中央处理单元）601、RAM（随机存取存储器）602、ROM（只读存储器）603、***总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器609、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中，与***总线604耦合的有CPU601、RAM602、ROM603、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608和显示控制器609。硬盘610与硬盘控制器605耦合，键盘611与键盘控制器606耦合，串行外部设备612与串行接口控制器607耦合，并行外部设备613与并行接口控制器648耦合，以及显示器614与显示控制器609耦合。应当理解，图20所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为***、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（***）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的制造品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (6)

1.一种计算机实现的数字标牌显示内容选择方法，包括：

获得由实时拍摄数字标牌周围区域得到的图像序列中的一个或多个图像；

通过分析所获得的一个或多个图像，检测各个用户的随其移动而改变的动态特征，确定各个用户对于数字标牌上显示的内容的活跃程度，用户的活跃程度指示用户对数字标牌上显示的内容的感兴趣程度，其中，用户的动态特征包括用户相对于数字标牌的距离、角度和面部朝向；

以活跃程度大于预定阈值的用户作为目标观众，通过分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征，其中所述通过分析所获得的一个或多个图像，识别目标观众的包括年龄和性别在内的个人属性特征的步骤包括：检测目标观众的外形特征，其中，目标观众的外形特征包括目标观众的身高、胖瘦、发型和着装；以及基于目标观众的外形特征，识别目标观众的个人属性特征；

基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示；以及

分析图像序列中在该所获得的一个或多个图像之后的后续图像，跟踪目标观众对当前显示的内容的反应，确定目标观众对当前显示的内容的喜好程度；

基于所确定的目标观众对当前显示的内容的喜好程度，获取个人属性特征和内容之间的相关性，更新该存储指示个人属性特征和内容之间的相关性的相关数据的数据库；以及

调整显示的内容，

其中，所述检测目标观众的外形特征包括：

根据当前检测到的目标观众的外形特征的数目，来控制是否继续检测该目标观众的其它外形特征，

其中所述基于识别得到的各个目标观众的个人属性特征，检索存储指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示包括：

基于目标观众的活跃程度确定目标观众的权重，统计具有相同个人属性特征的目标观众的加权数目；

基于加权数目最大的目标观众的个人属性特征，检索存储了指示个人属性特征和内容之间的相关性的相关数据的数据库，选择内容以供在数字标牌上显示，

其中，所述喜好程度的确定包括：

在目标观众观看当前显示的内容的时间大于预定时间阈值之后，确定目标观众对当前显示的内容的喜好程度，

其中所述在目标观众观看当前显示的内容的时间大于预定时间阈值之后，确定目标观众对当前显示的内容的喜好程度的步骤包括：

基于目标观众观看当前显示的内容期间的相对于数字标牌的距离、角度和面部朝向的变化以及观看当前显示的内容的时长，来确定目标观众对当前显示的内容的喜好程度。

2.根据权利要求1的数字标牌显示内容选择方法，其中，用户相对于数字标牌的距离d根据图像捕获设备拍摄的脸部实际大小、脸部图像大小和焦距来通过如下公式计算：

$d=(\frac{S_0}{S_1}+1)*f;$

其中，S₀是所述脸部实际大小，S₁是图像捕获设备获得的图像上的脸部图像大小，f是图像捕获设备的焦距。

3.根据权利要求1数字标牌显示内容选择方法，还包括：

获得活跃区域，且仅考虑位于活跃区域内的用户，

其中，在不同角度α下的所述活跃区域的半径r通过以下公式来得到：

$r=\frac{R}{1+e^{-\cot \mathrm{\&alpha;}}};$

其中，R是在处于正好在数字标牌正前方的角度、即α＝0、且正对数字标牌的中心的情况下活跃区域的半径，α是用户相对于数字标牌的角度；cot表示余切函数。

4.根据权利要求1数字标牌显示内容选择方法，其中，用户相对于数字标牌的面部朝向FFD通过如下公式计算：

$d=(\frac{W_0}{W_1}+1)*f;$

$W_1=\frac{W_0*f}{d-f};$

$\mathrm{FFD}=\frac{W_2}{W_1};$

其中，d表示用户距数字标牌之间的距离，W₀表示现实世界中的用户的一般双眼间距离，W₁表示在该用户面向数字标牌的情况下在图像上应该具有的双眼间距离，W₂表示在图像捕获设备捕获的图像上的用户的双眼间的距离，FFD表示用户相对于数字标牌的面部朝向，f是图像捕获设备的焦距。

5.根据权利要求1的数字标牌显示内容选择方法，其中，通过如下公式确定各个用户对于数字标牌上显示的内容的活跃程度：

其中Activelevel表示用户的活跃程度，d表示用户距数字标牌之间的距离，FFD表示用户相对于数字标牌的面部朝向，α是用户相对于数字标牌的角度，R是用户正好在数字标牌正前方的角度、且正对数字标牌中心情况下的活跃区域的半径，r是不同角度α下的活跃区域的半径，Th_FFD是用户相对于数字标牌的正面朝向程度的阈值。

6.根据权利要求1的数字标牌显示内容选择方法，其中，所述在目标观众观看当前显示的内容的时间大于预定时间阈值之后，确定目标观众对当前显示的内容的喜好程度RC的步骤通过如下公式来实现：

$\mathrm{RC}={\mathrm{\&Sigma;}}_{i=1}^4{C}_i;$

其中，角度变化参数 $C_1=\frac{\mathrm{\&Delta;\&alpha;}}{90}*W_1;$ 距离变化参数 $C_2=\frac{\mathrm{\&Delta;d}}{R}*W_2;$ 面部朝向变化参数 $C_3=\frac{\mathrm{\&Delta;FFD}}{90}*W_3;$ 观看时间参数C₄＝e^-t2*W₄，

其中，W₁、W₂、W₃、W₄分别表示角度变化参数C₁、距离变化参数C₂、面部朝向变化参数C₃、观看时间参数C₄对于确定目标观众对当前显示的内容的喜好程度而言的权重，α是目标观众相对于数字标牌的角度，d表示目标观众距数字标牌之间的距离，FFD表示目标观众相对于数字标牌的面部朝向，t2表示在当前显示的内容情况下对目标观众的跟踪持续时间。