CN112199611A - 基于AIoT和计算机视觉的智慧景区景点推荐方法 - Google Patents

Abstract

本发明提供了一种基于AIoT和计算机视觉的智慧景区景点推荐方法，该方法包括：对游客图像进行处理得到游客密度等级，将历史游客密度等级输入时间卷积网络得到预测游客密度等级；根据前一周的平均游客密度等级得到当前周的景点热度；根据游客与每个景点之间路线的温度数据和空气质量数据得到路程体验等级，将历史路程体验等级输入时间卷积网络得到预测路程体验等级；根据游客与每个景点之间路线的距离信息和预先得到的平均速度得到移动时长；根据预测游客密度等级、预测路程体验等级、景点热度、移动时长构建景点推荐评分模型，得到每个景点的评分。本发明结合路程体验等级进行景点的推荐，可提高游客在游玩过程中的舒适度。

Description

基于AIoT和计算机视觉的智慧景区景点推荐方法

技术领域

本发明属于人工智能、景点推荐领域，尤其涉及一种基于AIoT和计算机视觉的智慧景区景点推荐方法。

背景技术

现有景区景点推荐方法，通常为通过终端设备获得游客位置信息，仅基于景点距离对游客进行景点的推荐，而忽视了对景点推荐影响较大的其他因素，利用这种推荐方法推荐出来的景点往往不能让游客满意。

发明内容

为了解决现有技术存在的问题，本发明提出一种基于AIoT和计算机视觉的智慧景区景点推荐方法，该方法包括：

步骤一，在每个景点的入口区域部署视觉传感器，采集入口处的游客图像，将游客图像送入密度感知网络，得到每个景点的游客密度等级；以前一周的平均游客密度等级作为当前周景点的热度；

步骤二，获取游客到每个景点之间的路线信息，通过传感器获取每条路线中的温度数据和空气质量数据，针对每条路线：将同一时刻得到的温度数据和空气质量数据作为一组影响因子，则根据时序上连续的温度数据和空气质量数据可得到多组影响因子，多组影响因子输入第一时间卷积网络得到路程体验等级；

步骤三，根据游客和每个景点之间路线的距离信息以及预先计算好的相应的平均速度得到游客到各个景点的移动时长；

步骤四，设置更新时间，根据更新时间将移动时长分为n个时间段，将历史多个时间段对应的游客密度等级、路程体验等级分别输入至第二时间卷积网络、第三时间卷积网络中，得到下一时间段的游客密度等级、路程体验等级；第二时间卷积网络预测n次后，第二时间卷积网络最后一次得到的游客密度等级作为预测游客密度等级，第三时间卷积网络预测n次输出的n个路程体验等级的均值作为预测路程体验等级；

步骤五，将每个景点对应的预测游客密度等级、预测路程体验等级、移动时长、景点热度输入景点推荐评分模型，得到各个景点的评分，排序各个景点的评分，以Top-K作为推荐景点。

前一周的平均游客密度等级的计算方法为：将景区每天的营业时间分为多个区间，获取前一周每个区间内的游客密度等级，所有区间内的游客密度等级的均值为前一周的平均游客密度等级。

所述时间卷积网络的训练方法为：对时序上连续的历史温度数据和历史空气质量数据进行处理得到用于训练的向量组，标签为路程体验等级，损失函数采用交叉熵损失函数。

按照以下方法计算游客与每个景点之间的路线对应的平均速度：多个工作人员模拟游客的行进速率从一个固定起点走至终点，得到该路线多个工作人员的行走时间，以多个工作人员行走时间的均值作为平均时长，根据所述固定起点与所述终点之间的距离和平均时长得到该路线的平均速度；其中，终点为景点，不同终点对应的平均速度可能不同。

更新时间为十分钟，移动时长与更新时间相除得到n。

景点推荐评分模型为：

其中，

为景点推荐评分；t为移动时长，t_max为最大移动时长；h为景点热度，h_max为景点最高热度；l为预测游客密度等级，l_max为游客密度最高等级；s为预测路程体验等级；s_max为路程体验最高等级；α为移动时长评价标准的权重，β为景点热度评价标准的权重，γ为游客密度等级评价标准的权重，δ为路程体验等级评价标准的权重，α、β、γ、δ的和为1且α>β>γ>δ≥0。

本发明的有益效果在于：

1.本发明根据游客去往各个景点的过程中每个路段的温度和空气质量得到路程体验等级，结合路程体验等级对各个景点进行评分，可以提高游客在游玩过程中的舒适度。

2.本发明根据历史游客密度等级得到游客到达景点时的预测游客密集等级，根据历史路程体验等级得到预测路程体验等级，结合预测游客密集等级和预测路程体验等级以及其他因素对景点进行评分，该方法考虑了时间因素，得到的评分结果更加精确。

3.本发明根据前一周的平均游客密度等级得到当前周的景点热度，可以根据游客的数量实时更新景点的热度，保证游客不错过热门景点。

附图说明

图1为本发明实施流程图。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例和附图对本发明进行详细描述。

本发明的主要目的为通过低耗材的AIoT与计算机视觉结合的形式、根据多种影响评分的因素实现智慧景区内的景点推荐，具体地，本发明提出一种基于AIoT和计算机视觉的智慧景区景点推荐方法，其实施流程如图1所示，具体地，首先在景区范围内部署一定数量的传感器，其中视觉传感器部署于各景点入口处采集图像，温度传感器和空气质量传感器部署于景点之间道路区域内；对视觉传感器采集到的图像进行处理得到游客密度等级，基于历史游客密度等级得到景点当前周的热度，将历史游客密度等级输入TCN网络得到预测游客密度等级；根据温度传感器和空气质量传感器采集到的数据得到路程体验等级，历史路程体验等级输入TCN网络得到预测路程体验等级；根据游客与景点间的距离和平均速度得到游客的移动时长；根据景点热度、预测游客密度等级、预测路程体验等级、移动时长对各个景点进行评分，选择Top-K个景点为推荐景点。

实施例：

为实现本发明，需要在智慧景区内部署一定数量的传感器，包括视觉传感器、温度传感器、空气质量传感器，需要说明的是，传感器应具备通信功能，可将采集到的信息传输至服务器，具体的通信方式实施者可根据实际情况自行选择。

视觉传感器为RGB摄像头，部署于各个景点入口处，用于采集景区营业时各个景点入口处的游客图像，其中，每个景点应至少部署一个RGB摄像头，相机位姿固定，视角为斜俯视视角，部署位置应具备一定高度以拍摄整个入口区域。

将RGB摄像头采集到的入口处的游客图像送入密度感知网络，得到游客密度等级；其中，密度感知网络包括两个分支：

第一分支包括密度等级编码器和全连接层，密度等级编码器的输入为采集到的游客图像，输出为第一特征图，全连接层的输入为第一特征图，输出为游客密度等级；该分支的训练方法为：以视觉传感器采集到的多帧游客图像构建训练数据集，标签为游客密度等级，等级分为十个级别，等级越高代表游客密度越大，采用交叉熵损失函数进行训练。

第二分支包括密度感知编码器和密度感知解码器，密度感知编码器的输入为游客图像，输出为第二特征图，密度感知解码器的输入为第一特征图和第二特征图联合后得到的第三特征图，密度感知解码器的输入为第三特征图，输出为与输入图像等大的游客密度图；该分支的训练方法为：以视觉传感器采集到的多帧游客图像构建训练数据集，标签为以游客中心点为中心进行高斯核卷积生成的热斑，采用均方误差损失函数进行训练。

密度感知网络采用两个分支的目的是通过第二分支辅助训练第一分支，具体地，基于反向传播游客密度图可以监督密度等级编码器的训练，使密度感知网络更好的收敛。训练完成以后，只需将游客图像送入第一分支即可得到游客密度等级。

至此，得到游客密度等级。

根据历史游客密度等级得到当前周景点的热度，即前一周每个景点的平均游客密度等级为当前周每个景点的热度：

每天按景区营业时间划分区间，时段可由实施者自行选择，例如一天8个小时就划分为8个间隔时长相同的区间，假设一周七天景区都营业，56个区间的游客密度等级之和/56＝一周的平均游客密度等级。

至此，得到各个景点的热度。

获取游客到每个景点之间的路线信息，若游客与景点之间的路线有多条时，选择最短的一条进行后续操作，通过部署在道路区域内的温度传感器和空气质量传感器获取不同路线中的温度数据和空气质量数据，将同一时刻得到的温度数据和空气质量数据作为一组影响因子，则根据时序上连续的温度数据和空气质量数据可得到多组影响因子，多组影响因子输入第一时间卷积网络得到路程体验等级；其中，第一时间卷积网络的滑窗长度为十分钟以便于后续的处理。例如，每1分钟采样一次传感器数据，则滑窗长度为10个数据。所述滑窗为一维卷积内核，温度传感器和空气质量传感器采集数据的间隔时间实施者可自行确定。

第一时间卷积网络的训练方法为：可根据历史温度数据和空气质量数据通过人为模拟合理数值作为训练数据集，以解决样本数量过少的问题，标签为路程体验等级，等级分为五个级别，由低到高代表路程体验由差到好。损失函数建议采用交叉熵损失函数。

至此，得到路程体验等级。

根据游客和每个景点之间的距离信息以及预先计算好的相应的平均速度得到游客到各个景点的移动时长；

平均速度的计算方法为：在各景点部署RFID识别设备，工作人员一般会携带身份标识，多个工作人员携带嵌有RFID电子标签的身份标识模拟游客的行进速率从一个固定起点走至终点，根据RFID识别设备之间的通信分别得到该路段多个工作人员的行走时间，以多个工作人员行走时间的均值作为平均时长，根据所述固定起点与所述终点之间的距离和平均时长得到该路段的平均速度；其中，终点为任一个景点，终点不同，对应的平均速度可能不同，按照上述方法可得到游客与每个景点之间的路线对应的平均速度。

至此，得到游客的移动时长。

设置更新时间，实施例中更新时间设为十分钟，基于四舍五入法，根据移动时长和更新时间将移动时长分为n个时间段，将历史多个时间段对应的游客密度等级、路程体验等级分别输入至第二时间卷积网络、第三时间卷积网络中，得到下一时间段的游客密度等级、路程体验等级；第二时间卷积网络预测n次后，第二时间卷积网络最后一次得到的游客密度等级作为预测游客密度等级，第三时间卷积网络预测n次输出的n个路程体验等级的均值作为预测路程体验等级；其中，历史多个时间段包括当前时间段，一个时间段对应一个游客密度等级、一个路程体验等级。

第二时间卷积网络和第三时间卷积网络的训练过程分别为：

第二时间卷积网络以历史游客密度等级数据作为训练集，标签为预测游客密度等级，采用交叉熵损失函数；该网络的输出经过argmax操作，得到预测游客密度等级。

第三时间卷积网络的训练过程与第二时间卷积网络的训练过程相同，不同之处在于：以历史路程体验等级数据构建训练集，标签为预测路程体验等级。

举例：第二时间卷积网络的输入数据为包括当前时间段在内的前30分钟的游客密度等级数据，为3个时间段的数据，假设按时序对其的标号为1,2,3。滑窗长度取3个数据，移动时长为20分钟，则根据标号为1,2,3的3个数据预测第4个数据，再根据标号为2,3,4的3个数据预测第5个数据，则第5个数据即为预测游客密度等级数据。

需要说明的是，每个时间段内的游客密度等级数据为该时间段内以一秒一帧的方式得到的所有游客密度等级的均值，每个时间段内的路程体验等级数据为该时间段内得到的多个路程体验等级数据的均值。

将每个景点对应的预测游客密度等级、预测路程体验等级、移动时长、景点热度作为景点推荐评分模型的参数并分配不同的权重，其中：

基于移动时长的评分：移动时长越短得分越高，且随着移动时长的增加，评分降低速率加快，因此采用余弦函数模拟变化情况，其值域为[0,1]；

基于景点热度的评分：热度越高得分越高，且随着热度的增加，评分增加速率降低，因此采用对数函数模拟变化情况，其值域为[0,1]；

基于预测游客密度等级的评分：游客密度越低得分越高，且随着游客密度的增加，评分降低速率增加，因此采用扇形方程模拟变化情况，其值域为[0,1]；

基于预测路程体验等级的评分：路程体验等级越高得分越高，且随着热度的增加，评分增长速率增加，因此采用二次幂函数模拟变化情况，其值域为[0,1]。

具体地，景点推荐评分模型为：

其中，

为景点推荐评分，为百分制；t为移动时长；t_max为最大移动时长，该值通过数据统计得到；h为景点热度；h_max为景点最高热度，该值为游客密度等级的最高级别；l为预测游客密度等级；l_max为游客密度最高等级，该值由密度感知网络训练时的标签决定；s为预测路程体验等级；s_max为路程体验最高等级，该值由第一时间卷积网络训练时的标签决定；α为移动时长评价标准的权重，β为景点热度评价标准的权重，γ为游客密度等级评价标准的权重，δ为路程体验等级评价标准的权重；且权重要满足α>β>γ>δ≥0，α+β+γ+δ＝1。

实施例中＝0.4，＝0.3，＝0.2，＝0.1，实施者可在满足上述权重条件的情况下根据需要调整各个权重的值。

通过景点推荐评分模型可以得到每个景点的评分，排序各个景点的评分，以Top-K作为推荐景点；实施例中K取5。

将推荐景点及对应的参数数值在停留点/景点电子屏或游客手机端显示，可根据实际情况添加用户交互请求，当用户申请推荐景点时，才进行推荐景点的显示或推送。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡在本发明精神和原则之内做出的修改与变动，皆在本发明的保护范围内。

Claims (6)

1.一种基于AIoT和计算机视觉的智慧景区景点推荐方法，其特征在于，该方法包括：

步骤一，在每个景点的入口区域部署视觉传感器，采集入口处的游客图像，将游客图像送入密度感知网络，得到每个景点的游客密度等级；以前一周的平均游客密度等级作为当前周景点的热度；

步骤二，获取游客到每个景点之间的路线信息，通过传感器获取每条路线中的温度数据和空气质量数据，针对每条路线：将同一时刻得到的温度数据和空气质量数据作为一组影响因子，则根据时序上连续的温度数据和空气质量数据可得到多组影响因子，多组影响因子输入第一时间卷积网络得到路程体验等级；

步骤三，根据游客和每个景点之间路线的距离信息以及预先计算好的相应的平均速度得到游客到各个景点的移动时长；

步骤四，设置更新时间，根据更新时间将移动时长分为n个时间段，将历史多个时间段对应的游客密度等级、路程体验等级分别输入至第二时间卷积网络、第三时间卷积网络中，得到下一时间段的游客密度等级、路程体验等级；第二时间卷积网络预测n次后，第二时间卷积网络最后一次得到的游客密度等级作为预测游客密度等级，第三时间卷积网络预测n次输出的n个路程体验等级的均值作为预测路程体验等级；

步骤五，将每个景点对应的预测游客密度等级、预测路程体验等级、移动时长、景点热度输入景点推荐评分模型，得到各个景点的评分，排序各个景点的评分，以Top-K作为推荐景点。

2.如权利要求1所述的方法，其特征在于，前一周的平均游客密度等级的计算方法为：将景区每天的营业时间分为多个区间，获取前一周每个区间内的游客密度等级，所有区间内的游客密度等级的均值为前一周的平均游客密度等级。

3.如权利要求1所述的方法，其特征在于，所述时间卷积网络的训练方法为：对时序上连续的历史温度数据和历史空气质量数据进行处理得到用于训练的向量组，标签为路程体验等级，损失函数采用交叉熵损失函数。

4.如权利要求1所述的方法，其特征在于，按照以下方法计算游客与每个景点之间的路线对应的平均速度：多个工作人员模拟游客的行进速率从一个固定起点走至终点，得到该路线多个工作人员的行走时间，以多个工作人员行走时间的均值作为平均时长，根据所述固定起点与所述终点之间的距离和平均时长得到该路线的平均速度；其中，终点为景点，不同终点对应的平均速度可能不同。

5.如权利要求1所述的方法，其特征在于，更新时间为十分钟，移动时长与更新时间相除得到n。

6.如权利要求1所述的方法，其特征在于，景点推荐评分模型为：

其中，

为景点推荐评分；t为移动时长，t_max为最大移动时长；h为景点热度，h_max为景点最高热度；l为预测游客密度等级，l_max为游客密度最高等级；s为预测路程体验等级；s_max为路程体验最高等级；α为移动时长评价标准的权重，β为景点热度评价标准的权重，γ为游客密度等级评价标准的权重，δ为路程体验等级评价标准的权重，α、β、γ、δ的和为1且α>β>γ>δ≥0。

Images