CN115907869A - 基于关注度的电梯广告推荐方法与*** - Google Patents

Abstract

本发明提出一种基于关注度的电梯广告推荐方法与***，该方法包括：对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像；根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向；根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度；根据所述图像关注度对所述电梯乘客进行电梯广告推荐。本发明基于图像关注度对电梯乘客进行电梯广告推荐，能有效地将乘客感兴趣的电梯广告进行推荐，以达到电梯广告的个性化推荐效果，能有效地吸引电梯乘客，提高了电梯广告推荐效率。

Description

基于关注度的电梯广告推荐方法与***

技术领域

本发明涉及广告推荐技术领域，尤其涉及一种基于关注度的电梯广告推荐方法与***。

背景技术

电梯广告的形式层出不穷，按照广告形式的标准划分，电梯广告可以分为框架广告、电梯门广告和多媒体广告。现有的电梯广告推荐过程中，一般是基于固定的广告画面或广告视频的方式对电梯乘客进行广告推荐，导致电梯广告推荐的内容单一，无法吸引电梯乘客，降低了电梯广告推荐效率。

发明内容

本发明实施例的目的在于提供一种基于关注度的电梯广告推荐方法与***，旨在解决现有的电梯广告推荐过程中，电梯广告推荐内容单一的问题。

本发明实施例是这样实现的，一种基于关注度的电梯广告推荐方法，所述方法包括：

对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像；

根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向；

根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度；

根据所述图像关注度对所述电梯乘客进行电梯广告推荐。

优选的，所述对所述人脸图像进行眼球定位，包括：

对所述人脸图像进行眼球识别，并根据所述眼球识别结果确定眼球区域图像；

对所述眼球区域图像进行二值化阈值处理，得到所述眼球图像。

优选的，所述对所述眼球区域的图像进行二值化阈值处理，包括：

根据初始二值化阈值对所述眼球区域图像进行二值化处理，并计算二值化处理后所述眼球区域图像的像素比例值，所述像素比例值用于表征二值化处理后所述眼球区域图像中灰度值为0的像素点个数与总像素点个数之间的比值；

计算所述像素比例值与比例值阈值之间的差值，得到比例值差值；

若所述比例值差值在第一预设范围内，则将二值化处理后所述眼球区域图像确定为所述眼球图像；

若所述比例值差值在第二预设范围内，则增大所述初始二值化阈值，并根据增大后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

若所述比例值差值不在第二预设范围内，则减小所述初始二值化阈值，并根据减小后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内。

优选的，所述根据所述眼球图像进行坐标定位采用的公式包括：

；

；

；

其中，所述眼球位置坐标包括、和，、和分别为所述电梯乘客在电梯坐标系中的坐标值，为电梯中第一相机与第二相机之间的间距，与是所述电梯乘客在所述第一相机的拍摄图像中所处的图像坐标系的横坐标和纵坐标，是所述电梯乘客在所述第二相机的拍摄图像中所处的图像坐标系的横坐标，与分别为第一相机在电梯三维坐标系中的横纵坐标，表示摄像机的焦距。

优选的，所述根据所述眼球三维坐标对所述电梯乘客进行视线估计，包括：

根据所述人脸图像对所述电梯乘客进行头部姿态估计，得到头部姿态信息，所述头部姿态信息包括头部旋转俯仰角和头部旋转偏航角；

根据所述眼球三维坐标和所述头部姿态信息进行视线估计，得到所述视线方向。

优选的，所述根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点采用的公式包括：

；

；

其中，与分别是电梯中第一相机拍摄图像中的眼球水平偏转角和眼球垂直偏转角，与分别是所述第一相机拍摄图像中的头部旋转俯仰角和头部旋转偏航角，与分别是所述视线落点的横坐标和纵坐标。

优选的，所述根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度，包括：

根据所述视线落点和所述电梯广告，确定所述电梯乘客的眼动数据，并根据所述眼动数据进行关注度拟合，得到所述图像关注度。

优选的，所述根据所述视线落点和所述电梯广告，确定所述电梯乘客的眼动数据，包括：

对所述电梯广告对应的视频进行数据切分，得到广告图像，并根据所述视线落点对各广告图像进行落点标记；

根据所述落点标记确定各广告图像之间的落点变化信息，并根据所述落点变化信息确定所述眼动数据。

优选的，所述根据所述图像关注度对所述电梯乘客进行电梯广告推荐，包括：

对所述图像关注度进行矩阵转换，得到评分矩阵，并分别计算所述评分矩阵与各广告推荐矩阵之间的矩阵相似度；

将最大所述矩阵相似度的广告推荐矩阵确定为目标矩阵，并查询所述目标矩阵对应的推荐广告；

根据查询到的所述推荐广告对所述电梯乘客进行电梯广告推荐。

本发明实施例的另一目的在于提供一种基于关注度的电梯广告推荐***，所述***包括：

眼球定位模块，用于对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像；

视线估计模块，用于根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向；

关注度计算模块，用于根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度；

广告推荐模块，用于根据所述图像关注度对所述电梯乘客进行电梯广告推荐；

所述眼球定位模块还用于：

对所述人脸图像进行眼球识别，并根据所述眼球识别结果确定眼球区域图像；

对所述眼球区域图像进行二值化阈值处理，得到所述眼球图像；

所述眼球定位模块还用于：

根据初始二值化阈值对所述眼球区域图像进行二值化处理，并计算二值化处理后所述眼球区域图像的像素比例值，所述像素比例值用于表征二值化处理后所述眼球区域图像中灰度值为0的像素点个数与总像素点个数之间的比值；

计算所述像素比例值与比例值阈值之间的差值，得到比例值差值；

若所述比例值差值在第一预设范围内，则将二值化处理后所述眼球区域图像确定为所述眼球图像；

若所述比例值差值在第二预设范围内，则增大所述初始二值化阈值，并根据增大后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

若所述比例值差值不在第二预设范围内，则减小所述初始二值化阈值，并根据减小后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内。

本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例，通过对电梯乘客进行人脸图像的采集，能有效地确定到眼球图像，基于眼球图像能有效地获取到眼球三维坐标，基于眼球三维坐标能有效地对电梯乘客进行视线估计，得到视线方向，基于视线方向和眼球位置坐标能有效地确定到电梯乘客的视线落点，基于视线落点能有效地确定到电梯乘客对电梯广告的图像关注度，基于图像关注度对电梯乘客进行电梯广告推荐，能有效地将乘客感兴趣的电梯广告进行推荐，以达到电梯广告的个性化推荐效果，能有效地吸引电梯乘客，提高了电梯广告推荐效率。

附图说明

图1是本发明第一实施例提供的基于关注度的电梯广告推荐方法的流程图；

图2是本发明第一实施例提供的双目立体视觉***和电梯三维坐标系的示意图；

图3是本发明第二实施例提供的基于关注度的电梯广告推荐方法的流程图；

图4是本发明第三实施例提供的基于关注度的电梯广告推荐***的结构示意图；

图5是本发明第三实施例提供的基于关注度的电梯广告推荐的数据传输过程示意图；

图6是本发明第三实施例提供的基于关注度的电梯广告推荐***的具体实施步骤的示意图；

图7是本发明第四实施例提供的终端设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

请参阅图1，是本发明第一实施例提供的基于关注度的电梯广告推荐方法的流程图，该基于关注度的电梯广告推荐方法可以应用于任一终端设备或***，该基于关注度的电梯广告推荐方法包括步骤：

步骤S10，对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像；

其中，电梯内设置有至少1个图像采集模块，通过该图像采集模块用于对电梯乘客进行图像采集，得到人脸图像，并通过对人脸图像进行眼球定位，以获取人脸图像中的眼球图像；

可选的，该步骤中，所述对所述人脸图像进行眼球定位，包括：

对所述人脸图像进行眼球识别，并根据所述眼球识别结果确定眼球区域图像；

对所述眼球区域图像进行二值化阈值处理，得到所述眼球图像；

其中，对人脸图像进行眼球定位的步骤包括缩小检测区域和二值化阈值自适应两个步骤，目的是在包含人像的人脸图像中精确地获取眼球中心的位置。当人脸图像中存在人像时，通过人脸识别将人脸区域裁切，只保留人像区域的图片，根据人脸图片进行眼睛区域粗略定位，并提取眼睛区域图片，得到眼球区域图像，以进一步缩小检测区域。

进一步地，该步骤中，所述对所述眼球区域的图像进行二值化阈值处理（二值化阈值自适应步骤），包括：

根据初始二值化阈值对所述眼球区域图像进行二值化处理，并计算二值化处理后所述眼球区域图像的像素比例值，其中，像素比例值用于表征二值化处理后眼球区域图像中灰度值为0的像素点个数与总像素点个数之间的比值；

计算所述像素比例值与比例值阈值之间的差值，得到比例值差值；

若所述比例值差值在第一预设范围内，则将二值化处理后所述眼球区域图像确定为所述眼球图像；

若所述比例值差值在第二预设范围内，则增大所述初始二值化阈值，并根据增大后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

若所述比例值差值不在第二预设范围内，则减小所述初始二值化阈值，并根据减小后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

其中，该第一预设范围与第二预设范围均可以根据需求进行数值设置。

本实施例还可以通过实验寻找出最佳比例值，根据初始二值化阈值对眼球区域图像进行二值化，计算二值化处理后眼球区域图像的像素比例值，像素比例值与最佳比例值进行对比；

如果像素比例值高于最佳比例值，证明灰度值为0的像素点个数过多，二值化阈值过高，应该降低初始二值化阈值；如果该像素比例值低于最佳比例值，证明灰度值为0的像素点个数过少，二值化阈值过低，应该增大初始二值化阈值。

本实施例中，实验直接采用遍历的形式计算每个比例值对应的结果，以筛选出最佳比例值；所使用的测试数据集为CelebA (CelebFaces Attributes)数据集；采用平均绝对误差(MAE)作为实验结果的评价指标；人脸识别工作直接利用基于MTCNN的人脸识别接口完成；粗略眼睛区域定位利用Face Recognition接口完成。

所述的像素比例值计算如下：

定义图片中灰度值为0的像素点个数与图像中像素的总个数之间的比例值，即为像素比例值，图片中灰度值为0的像素点个数与图片中像素的总个数之间的比例值为，具体计算方式如下所示：

；

其中，为图像中所包含的像素点个数总和，为图像中灰度值为0的像素点个数总和。

步骤S20，根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向；

其中，利用双摄像机搭建双目立体视觉***，获取电梯乘客在电梯内的眼球三维坐标，再融合眼球定位算法、头部姿态估计等算法，以估计电梯内乘客的视线方向；

请参阅图2，为构建的双目立体视觉***的模型的俯视图，其中，与分别代表第一相机（左摄像机）与第二相机（右摄像机），与为电梯乘客的左眼球与右眼球，点是电梯三维坐标系的原点，由于该图是俯视图，所以将轴省略，设定电梯三维坐标系为统一坐标系。

图2中所展示的立方体为电梯轿厢，虚线为电梯轿厢的边框。与分别为左摄像机与右摄像机，固定在电梯轿厢同一侧。将左摄像机的左下侧电梯底面与电梯侧面交点设为原点，将摄像机所固定平面的水平与垂直方向分别设定为轴与轴，垂直与摄像机所固定平面方向为轴。通过设定电梯三维坐标系，电梯空间中任意一点的三维位置信息都能够以一组三维坐标值来表示。

该步骤中，三维坐标值是利用眼球定位算法获取两张人像图片中左右眼的位置，然后通过计算人眼在两张图片中的位置差来推算出的，参考电梯三维坐标系，所述根据所述眼球图像进行坐标定位采用的公式包括：

；

；

；

其中，所述眼球位置坐标包括、和，、和分别为所述电梯乘客在电梯坐标系中的坐标值，为电梯中第一相机与第二相机之间的间距，与是所述电梯乘客在所述第一相机的拍摄图像中所处的图像坐标系的横坐标和纵坐标，是所述电梯乘客在所述第二相机的拍摄图像中所处的图像坐标系的横坐标，与分别为第一相机在电梯三维坐标系中的横纵坐标，表示摄像机的焦距。

进一步地，该步骤中，所述根据所述眼球三维坐标对所述电梯乘客进行视线估计，包括：

根据所述人脸图像对所述电梯乘客进行头部姿态估计，得到头部姿态信息，其中，头部姿态信息包括头部旋转俯仰角和头部旋转偏航角；

根据所述眼球三维坐标和所述头部姿态信息进行视线估计，得到所述视线方向，其中，头部姿态估计算法直接调用人脸识别的完成。

步骤S30，根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度；

可选的，融合位置信息和姿态估计算法，计算电梯内任意位置乘客的视线落点，所述根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点采用的公式包括：

；

；

其中，与分别是电梯中第一相机拍摄图像中的眼球水平偏转角和眼球垂直偏转角，与分别是所述第一相机拍摄图像中的头部旋转俯仰角和头部旋转偏航角，与分别是所述视线落点的横坐标和纵坐标。

由于眼球的三维坐标值需要利用两个摄像机拍摄的图像进行计算得出，因此不区分左右摄像机。当电梯乘客没有注视摄像机与显示屏所在平面时可以直接判断乘客没有观看广告，只有视线落点在这一平面时才会预估具体的落点，所以预估得出的视线落点都在相机所在平面上，视线落点Z轴坐标均为0。

进一步地，该步骤中，所述根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度，包括：

根据所述视线落点和所述电梯广告，确定所述电梯乘客的眼动数据，并根据所述眼动数据进行关注度拟合，得到所述图像关注度。

更进一步地，该步骤中，所述根据所述视线落点和所述电梯广告，确定所述电梯乘客的眼动数据，包括：

对所述电梯广告对应的视频进行数据切分，得到广告图像，并根据所述视线落点对各广告图像进行落点标记；

其中，还可以利用视线估计算法提取落点标记后广告图像中的注视点信息，以得到整个广告播放过程中，乘客视线落点的变化情况；

根据所述落点标记确定各广告图像之间的落点变化信息，并根据所述落点变化信息确定所述眼动数据；

其中，根据落点变化信息，可以提取出乘客在观看广告时的注视、眼跳等眼动数据，利用机器学习的方法，将眼动数据拟合成关注度数据。

具体的，融合眼动数据的电梯广告推荐算法需要输入双摄像机采集的图像数据，因此，构建电梯广告观看数据库，数据库内的数据形式为视频数据，视频内容为某位被测者在观看某个广告时的行为。

本实施例，利用模型学习眼动数据与关注度数据之间的规律，在模型训练的过程中，直接将乘客观看某一广告过程中的各项眼动指标作为机器学习模型的输入特征，将乘客对于该广告评分作为标签，以完成眼动数据与关注度数据的转化。

步骤S40，根据所述图像关注度对所述电梯乘客进行电梯广告推荐；

其中，以图像关注度为评分，得到一个乘客与电梯广告的评分矩阵，使用基于用户的协同过滤算法利用用户间的相似性为乘客推荐广告。

本发明提出一种基于关注度的电梯广告推荐方法，第一阶段，建模电梯内的三维坐标，同时使用性能强的眼球定位算法、位置估计算法和头部姿势估计算法估计乘客的视线方向；第二阶段，根据乘客眼动情况计算广告的图像关注度，最终进行合理的电梯广告推荐，所提出的基于自适应二值化阈值的眼球定位算法，在复杂光照环境下仍具有较好的性能，在位置估计算法的基础上，融合了头部姿态估计算法与提出的基于自适应二值化阈值的眼球定位算法，设计了一种融合位置信息的视线估计算法，该算法为电梯广告的传播提供了便利，也更加有效，经对比试验验证，本实施例在电梯广告推荐和媒体传播方面都有着更好的表现。

本实施例中，通过对电梯乘客进行人脸图像的采集，能有效地确定到眼球图像，基于眼球图像能有效地获取到眼球三维坐标，基于眼球三维坐标能有效地对电梯乘客进行视线估计，得到视线方向，基于视线方向和眼球位置坐标能有效地确定到电梯乘客的视线落点，基于视线落点能有效地确定到电梯乘客对电梯广告的图像关注度，基于图像关注度对电梯乘客进行电梯广告推荐，能有效地将乘客感兴趣的电梯广告进行推荐，以达到电梯广告的个性化推荐效果，能有效地吸引电梯乘客，提高了电梯广告推荐效率。

请参阅图3，是本发明第二实施例提供的基于关注度的电梯广告推荐方法的流程图，该实施例用于对第一实施例中的步骤S40作进一步细化，包括步骤：

步骤S41，对所述图像关注度进行矩阵转换，得到评分矩阵，并分别计算所述评分矩阵与各广告推荐矩阵之间的矩阵相似度；

其中，该广告推荐矩阵可以根据需求进行设置，通过对图像关注度进行矩阵转换，以达到对图像关注度的矢量转换效果，通过分别计算评分矩阵与各广告推荐矩阵之间的矩阵相似度，有效地提高了后续目标矩阵的确定；

步骤S42，将最大所述矩阵相似度的广告推荐矩阵确定为目标矩阵，并查询所述目标矩阵对应的推荐广告；

其中，将目标矩阵的矩阵编号与预存储的广告查询表进行匹配，得到该推荐广告，该广告查询表中存储有不同矩阵编号与对应推荐广告之间的对应关系；

步骤S43，根据查询到的所述推荐广告对所述电梯乘客进行电梯广告推荐；

本实施例中，当完成了关注度数据的拟合之后，以关注度为评分，确定电梯乘客与电梯广告之间的评分矩阵；

本实施例中通过实验来测试基于关注度的电梯广告推荐方法的有效性，实验使用电梯广告数据库，数据库中每条数据包含两段分别用左右摄像机拍摄的被测者观看某个广告的视频，以及被测者对于广告的评分数据。

实验将数据库内的评分数据以8:2的比例随机划分，将80%评分数据作为已知数据，20%的评分数据作为测试数据，利用基于关注度的电梯广告推荐方法计算测试数据中乘客的可能感兴趣广告及对于该广告的评分，再与测试数据库中真实评分对比。

实验的评估指标为RMSE(均方根误差)与MAE(平均绝对误差)，具体的计算公式如下所示：

；

；

其中，是测试数据集合中的数据总数，为第组测试数据中被测人物的真实评分数据，为推荐算法计算得出的第组的评分数据。

测试结果如下：表1和表2分别是利用RMSE和MAE作为评价指标按照不同的相似度计算方法划分的实验组进行的实验情况。

表1 ：各组实验的RMSE

表2： 各组实验的MAE

综合两个实验来看，利用关注度数据作为数据源并利用余弦相似度作为乘客相似度计算方法的算法能够得到最好的实验结果，其RMSE与MAE分别为1.30与1.05，证明了基于关注度的电梯广告推荐方法的可行性。实验结果也表明利用机器学习模型得到的关注度数据在真实实验中拥有良好的表现，对比乘客主观评分有显著的优势，这就能够证明本实施例提出的眼动信息映射与关注度数据拟合等方法的可行性。需要说明的是，本发明的技术方案适用于单人场景。

请参阅图4，是本发明第三实施例提供的基于关注度的电梯广告推荐***100的结构示意图，包括：眼球定位模块10、视线估计模块11、关注度计算模块12和广告推荐模块13，其中：

眼球定位模块10，用于对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像。

视线估计模块11，用于根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向。

关注度计算模块12，用于根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度。

广告推荐模块13，用于根据所述图像关注度对所述电梯乘客进行电梯广告推荐。

所述眼球定位模块10还用于：

对所述人脸图像进行眼球识别，并根据所述眼球识别结果确定眼球区域图像；

对所述眼球区域图像进行二值化阈值处理，得到所述眼球图像；

所述眼球定位模块10还用于：

根据初始二值化阈值对所述眼球区域图像进行二值化处理，并计算二值化处理后所述眼球区域图像的像素比例值，所述像素比例值用于表征二值化处理后所述眼球区域图像中灰度值为0的像素点个数与总像素点个数之间的比值；

计算所述像素比例值与比例值阈值之间的差值，得到比例值差值；

若所述比例值差值在第一预设范围内，则将二值化处理后所述眼球区域图像确定为所述眼球图像；

若所述比例值差值在第二预设范围内，则增大所述初始二值化阈值，并根据增大后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

若所述比例值差值不在第二预设范围内，则减小所述初始二值化阈值，并根据减小后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内。

请参阅图5，是本发明第三实施例提供的基于关注度的电梯广告推荐的数据传输过程示意图，基于关注度的电梯广告推荐的数据传输过程包括用户数据采集和广告定向投放：

在用户数据采集过程中，基于双摄像头采集图像，基于眼球定位算法、位置估计算法和头部姿态估计算法分别对采集图像进行眼球定位、位置估计和头部姿态估计，基于眼球定位、位置估计和头部姿态估计结果进行视线估计，得到视线方向和视线落点，将视线方向和视线落点上传至云端，云端将视线方向和视线落点传输至基于关注度的电梯广告推荐***100；

在广告定向投放过程中，当乘客进入电梯后进行人脸识别，以获取乘客身份，将乘客身份上传至基于关注度的电梯广告推荐***100，基于关注度的电梯广告推荐***100基于视线方向和视线落点，确定电梯乘客对电梯广告的图像关注度，基于图像关注度确定本地存储的推荐广告，将推荐广告进行播放，以达到电梯广告的个性化推荐效果。

请参阅图6，基于关注度的电梯广告推荐***100的具体实施步骤包括：

S1、根据提出的基于自适应二值化阈值的眼球定位算法，对图片进行处理，提升眼球定位的精度；

S2、利用双摄像机搭建双目立体视觉***，获取乘客在电梯内的三维坐标值，再融合眼球定位算法、头部姿态估计等算法，估计电梯内乘客的视线方向，并结合位置信息，计算乘客的视线的具体落点；

S3、***通过分析视线落点的情况来推测乘客的眼动情况，并根据乘客眼动情况拟合出乘客对于广告的关注度；

S4、将乘客的关注度作为乘客对于广告评分数据，对乘客进行电梯广告个性化推荐。

具体的，对于步骤S3，关注度的数据拟合流程，包括如下步骤：

摄像机录制乘客观看广告的视频数据；

将视频数据切分成图像数据；

计算所有图像中乘客的视线落点；

根据视线落点的变化情况预估眼动数据；

计算乘客各项眼动指标；

将眼动数据拟合为关注度数据。

本实施例中，利用模型学习眼动数据与关注度数据之间的规律，在模型训练的过程中，直接将乘客观看某一广告过程中的各项眼动指标作为机器学习模型的输入特征，将乘客对于该广告评分作为标签，以完成眼动数据与关注度数据的转化。

本实施例中，通过对电梯乘客进行人脸图像的采集，能有效地确定到眼球图像，基于眼球图像能有效地获取到眼球三维坐标，基于眼球三维坐标能有效地对电梯乘客进行视线估计，得到视线方向，基于视线方向和眼球位置坐标能有效地确定到电梯乘客的视线落点，基于视线落点能有效地确定到电梯乘客对电梯广告的图像关注度，基于图像关注度对电梯乘客进行电梯广告推荐，能有效地将乘客感兴趣的电梯广告进行推荐，以达到电梯广告的个性化推荐效果，能有效地吸引电梯乘客，提高了电梯广告推荐效率。

图7是本申请第四实施例提供的一种终端设备2的结构框图。如图7所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如基于关注度的电梯广告推荐方法的程序。处理器20执行所述计算机程序22时实现上述各个基于关注度的电梯广告推荐方法各实施例中的步骤。

示例性的，所述计算机程序22可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括，但不仅限于，处理器20、存储器21。

所称处理器20可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于关注度的电梯广告推荐方法，其特征在于，所述方法包括：

对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像；

根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向；

根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度；

根据所述图像关注度对所述电梯乘客进行电梯广告推荐；

所述对所述人脸图像进行眼球定位的方法包括如下步骤：

对所述人脸图像进行眼球识别，并根据所述眼球识别结果确定眼球区域图像；

对所述眼球区域图像进行二值化阈值处理，得到所述眼球图像；

所述对所述眼球区域的图像进行二值化阈值处理的方法包括如下步骤：

根据初始二值化阈值对所述眼球区域图像进行二值化处理，并计算二值化处理后所述眼球区域图像的像素比例值，所述像素比例值用于表征二值化处理后所述眼球区域图像中灰度值为0的像素点个数与总像素点个数之间的比值；

计算所述像素比例值与比例值阈值之间的差值，得到比例值差值；

若所述比例值差值在第一预设范围内，则将二值化处理后所述眼球区域图像确定为所述眼球图像；

若所述比例值差值在第二预设范围内，则增大所述初始二值化阈值，并根据增大后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

若所述比例值差值不在第二预设范围内，则减小所述初始二值化阈值，并根据减小后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内。

2.如权利要求1所述的基于关注度的电梯广告推荐方法，其特征在于，所述根据所述眼球图像进行坐标定位采用的公式包括：

；

；

；

其中，所述眼球位置坐标包括、和，、和分别为所述电梯乘客在电梯坐标系中的坐标值，为电梯中第一相机与第二相机之间的间距，与是所述电梯乘客在所述第一相机的拍摄图像中所处的图像坐标系的横坐标和纵坐标，是所述电梯乘客在所述第二相机的拍摄图像中所处的图像坐标系的横坐标，与分别为第一相机在电梯三维坐标系中的横纵坐标，表示摄像机的焦距。

3.如权利要求1所述的基于关注度的电梯广告推荐方法，其特征在于，所述根据所述眼球三维坐标对所述电梯乘客进行视线估计，包括：

根据所述人脸图像对所述电梯乘客进行头部姿态估计，得到头部姿态信息，所述头部姿态信息包括头部旋转俯仰角和头部旋转偏航角；

根据所述眼球三维坐标和所述头部姿态信息进行视线估计，得到所述视线方向。

4.如权利要求3所述的基于关注度的电梯广告推荐方法，其特征在于，所述根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点采用的公式包括：

；

；

其中，与分别是电梯中第一相机拍摄图像中的眼球水平偏转角和眼球垂直偏转角，与分别是所述第一相机拍摄图像中的头部旋转俯仰角和头部旋转偏航角，与分别是所述视线落点的横坐标和纵坐标。

5.如权利要求4所述的基于关注度的电梯广告推荐方法，其特征在于，所述根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度，包括：

根据所述视线落点和所述电梯广告，确定所述电梯乘客的眼动数据，并根据所述眼动数据进行关注度拟合，得到所述图像关注度。

6.如权利要求5所述的基于关注度的电梯广告推荐方法，其特征在于，所述根据所述视线落点和所述电梯广告，确定所述电梯乘客的眼动数据，包括：

对所述电梯广告对应的视频进行数据切分，得到广告图像，并根据所述视线落点对各广告图像进行落点标记；

根据所述落点标记确定各广告图像之间的落点变化信息，并根据所述落点变化信息确定所述眼动数据。

7.如权利要求6所述的基于关注度的电梯广告推荐方法，其特征在于，所述根据所述图像关注度对所述电梯乘客进行电梯广告推荐，包括：

对所述图像关注度进行矩阵转换，得到评分矩阵，并分别计算所述评分矩阵与各广告推荐矩阵之间的矩阵相似度；

将最大所述矩阵相似度的广告推荐矩阵确定为目标矩阵，并查询所述目标矩阵对应的推荐广告；

根据查询到的所述推荐广告对所述电梯乘客进行电梯广告推荐。

8.一种基于关注度的电梯广告推荐***，其特征在于，应用如权利要求1至7任意一项所述的基于关注度的电梯广告推荐方法，所述***包括：

眼球定位模块，用于对电梯乘客进行图像采集，得到人脸图像，并对所述人脸图像进行眼球定位，得到眼球图像；

视线估计模块，用于根据所述眼球图像进行坐标定位，得到眼球三维坐标，并根据所述眼球三维坐标对所述电梯乘客进行视线估计，得到视线方向；

关注度计算模块，用于根据所述视线方向和所述眼球位置坐标确定所述电梯乘客的视线落点，并根据所述视线落点确定所述电梯乘客对电梯广告的图像关注度；

广告推荐模块，用于根据所述图像关注度对所述电梯乘客进行电梯广告推荐；

所述眼球定位模块还用于：

对所述人脸图像进行眼球识别，并根据所述眼球识别结果确定眼球区域图像；

对所述眼球区域图像进行二值化阈值处理，得到所述眼球图像；

所述眼球定位模块还用于：

根据初始二值化阈值对所述眼球区域图像进行二值化处理，并计算二值化处理后所述眼球区域图像的像素比例值，所述像素比例值用于表征二值化处理后所述眼球区域图像中灰度值为0的像素点个数与总像素点个数之间的比值；

计算所述像素比例值与比例值阈值之间的差值，得到比例值差值；

若所述比例值差值在第一预设范围内，则将二值化处理后所述眼球区域图像确定为所述眼球图像；

若所述比例值差值在第二预设范围内，则增大所述初始二值化阈值，并根据增大后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内；

若所述比例值差值不在第二预设范围内，则减小所述初始二值化阈值，并根据减小后的所述初始二值化阈值，返回执行所述根据初始二值化阈值对所述眼球区域图像进行二值化处理的步骤及后续步骤，直至所述比例值差值在所述第一预设范围内。

Images