CN109784162B - 一种行人行为识别及轨迹跟踪方法 - Google Patents

Abstract

本发明公开一种行人行为识别及轨迹跟踪方法，包括图像分析算法和轨迹分析算法,采集的视频数据依次通过图像分析算法模块和轨迹分析算法模块；图像分析算法：包括数据预处理、单摄像头行人轨迹跟踪和跨摄像头关联，实现摄像头异常识别、人脸检测、行人检测和特征提取；轨迹分析算法：通过从获取图像计算分析行人的轨迹数据，识别顾客和销售的活动行为。本发明能够实时监测并识别行人行为轨迹，智能化判断行人的行为状态，便于集中管理顾客和销售的行为轨迹，为顾客提供更优化更智能的服务。

Description

一种行人行为识别及轨迹跟踪方法

技术领域

本发明属于视频监控技术领域，特别是涉及一种行人行为识别及轨迹跟踪方法。

背景技术

4S店集汽车销售、维修、配件和信息服务为一体,提升4S店的服务水平，有助于品牌宣传，从而增加销售量。

4s店内现有的监控管理***通常是用来进行安防监控，只能采集店内人员的视频数据，无法实时监测并识别顾客行为轨迹信息，无法集中管理顾客和销售的行为轨迹，从而极大降低了4S店内的综合管理效率，和顾客的购车体验。

发明内容

为了解决上述问题，本发明提出了一种行人行为识别及轨迹跟踪方法，能够实时监测并识别顾客行为轨迹信息，智能化判断出顾客的行为状态，便于集中管理顾客和销售的行为轨迹，为顾客提供更优化更智能的购物体验。

为达到上述目的，本发明采用的技术方案是：一种行人行为识别及轨迹跟踪方法，包括图像分析算法和轨迹分析算法,采集的视频数据依次通过图像分析算法和轨迹分析算法进行处理；

所述图像分析算法：包括数据预处理、单摄像头行人轨迹跟踪和跨摄像头关联，获取分析数据包括摄像头异常识别、人脸检测、行人检测和特征提取数据；

所述轨迹分析算法：通过统计分析所述分析数据，识别顾客和销售人员的活动行为。

进一步的是，所述图像分析算法的数据预处理包括视频取流切帧、行人检测和特征提取，获取监控视频将其切分成帧图像，经过图像识别算法进行行人检测和特征提取。

进一步的是，所述图像分析算法的单摄像头行人轨迹跟踪可实现多目标跟踪，包括步骤：

通过跟踪算法对每帧图像中检测到的行人框进行特征提取和匹配，获取轨迹；其中行人特征用相似度计算，使用一个8维向量去刻画轨迹在某时刻的状态,分别表示行人框的中心位置、纵横比、高度、以及在图像坐标中对应的速度信息；

使用卡尔曼滤波器预测更新轨迹，所述卡尔曼滤波器采用匀速模型和线性观测模型；对于每条轨迹记录轨迹从上次匹配成功到当前的时间，当大于设定时间阈值时该轨迹终止。***运行时输入顾客检测结果box文件，顾客特征文件，视频流切分得到的JPG或PNG图片。经过算法分析后输出每个摄像头下的顾客检测结果box文件加上对应顾客temp_ID。

进一步的是，安装的相邻摄像头满足两两之间有重叠区域，在所述图像分析算法中跨摄像头关联包括步骤：

对重叠区域做外参标定；

通过外参标定结果建立关联矩阵；

使用所述关联矩阵映射关系判断两个摄像头下的跟踪目标是否为同一顾客。***运行时输入单摄像头跟踪结果文件，经过算法运算后输出每个摄像头下的顾客检测结果box文件加上对应顾客真实ID。

进一步的是，所述轨迹分析算法包括步骤：

数据预处理，从原始行人跟踪轨迹中读出轨迹数据；

顾客车前停留统计，统计出顾客在车辆周围停留的所有轨迹点；借助所获得的轨迹点，统计顾客行为状态包括看车、上车和销售跟随；

群像划分，通过分析轨迹数据划分群体，并统计出批次信息和人流信息；

最后，将统计结果写入数据库。

进一步的是，所述轨迹分析算法的数据预处理，对原始行人跟踪轨迹进行预处理，包括步骤：

从原始行人跟踪轨迹的存放路径中读出每个摄像头下的轨迹数据，每个摄像头下的轨迹数据以CSV格式储存在文本文件中，把每个摄像头下的轨迹数据以数据帧的形式存储在内存中；

提取出顾客临时ID和真实ID、临时ID和进店时间、临时ID和进店帧数之间的映射关系，并将映射关系以键值对的形式储存在内存中。这些数据的提取方式都是借助Python中pandas包中的DataFrame结构。

进一步的是，所述轨迹分析算法的顾客车前停留统计分析，包括步骤：

统计顾客在车辆周围停留的轨迹点；

读取数据预处理后的轨迹数据，计算顾客每个轨迹点到车辆的距离，距离度量的方式是计算标定顾客的矩形框和标定车辆矩形框重叠的面积，当重叠面积大于设定重叠阈值时，判定该顾客在车辆前有停留。

输出统计到的顾客在车辆前停留的所有轨迹点，输出形式是python字典：{摄像头ID:{车辆ID:{顾客ID:[顾客停留的轨迹点]}}}，表示在不同的摄像头下，不同的车辆周围所有顾客停留的轨迹点。

进一步的是，所述统计顾客行为状态根据停留统计分析判断顾客看车和上车的人数及ID，包括步骤：

看车状态识别：通过判断顾客在车前停留的时长来判断顾客是否看车，统计出每个顾客在车前停留的轨迹点总数，因为4帧等于1秒，所以可以间接统计出顾客在车前停留的时长；当顾客在车前停留的时长大于设定阈值时，则认为该顾客是看车顾客。输出形式是python字典：{摄像头ID:{车辆ID:[看车顾客ID]}}。

上车状态识别：通过顾客在车辆周围消失的时长和消失的位置来判断顾客是否上车；比较在车前停留顾客的所有的前后两个轨迹点，如果前后两个轨迹点帧数的差值大于设定阈值且两个轨迹点离车辆的距离小于设定阈值，则认为该顾客上车，该段轨迹是顾客上车-试车-下车的完整轨迹；

大多数情况下，顾客上车，再下车以后ID会发生跳变，所以先获取顾客在车前停留的最后一帧轨迹点，后获取在同一位置出现的新ID的顾客，该类顾客出现时间须晚于消失的目标顾客，如果这两个轨迹点到车辆的距离小于设定阈值且两个轨迹点的帧数差在一个设定的阈值范围内，则判定该顾客上车；输出形式是python字典：{摄像头ID:{车辆ID:[上车顾客ID]}}。

所述销售跟随的判断包括场景一和场景二；所述场景一为顾客在进店时有没有销售跟随，这个场景的输入是数据预处理从门口摄像头分析的顾客轨迹数据；所述场景二是顾客在看车时是否有销售跟随，这个场景的输入是在车前有停留的顾客轨迹数据。

进一步的是，在所述场景一中，取进店顾客的m帧轨迹数据，然后取出每个销售起始和结束的帧数在顾客帧数范围之内的轨迹，基于时间序列计算顾客轨迹与销售轨迹的相似度，当轨迹相似度小于设定阈值时，则认为销售跟随顾客；

在所述场景二中，找出顾客开始看车时第一个轨迹点的帧数，取顾客在这个轨迹点前后一定范围内的完整轨迹，销售取相同范围的轨迹；基于时间序列计算顾客轨迹与销售轨迹的相似度，当轨迹相似度小于设定阈值时，则认为销售跟随顾客。

最后,对两种场景下销售跟随顾客做合集。

输出形式是python字典：{顾客ID:销售ID}，是顾客和跟随他的销售之间的映射。

进一步的是，所述群像划分分析，统计出进店的顾客中群体数量，包括步骤：找出共同进店的所有顾客；再取共同进店顾客的前n帧连续轨迹，分别计算两个顾客之间的相似度，相似度小于设定阈值的共同进店顾客则划分为一个群体。

其中，判断顾客同时进店，包括步骤：找出每个顾客的第一帧轨迹点，计算第一帧的轨迹点到门口的距离，如果距离小于设定阈值，则认为该顾客是进店顾客；对于所有的进店顾客根据数据预处理模块计算得到的临时ID和进店时间的映射，最终得到同时进店的顾客。

总体来说，群像划分输入为预处理模块计算得到的临时ID和进店时间的映射以及门口摄像头下的顾客批数据，输出形式是python字典：{masterID:[顾客ID1,顾客ID2,...],[],....}。

采用本技术方案的有益效果：

本发明能够从全景视频中找到目标的动态位置，实现多目标跨摄像头跟踪；

本发明能够实时监测并识别顾客行为轨迹信息，智能化判断顾客的行为状态，便于集中管理顾客和销售的行为轨迹，为顾客提供更优化更智能的购物体验；

本发明同时结合车辆的停放信息，实现客户购车过程中的服务监管，保证顾客享受优质的购车服务；能够有效提高4S店的巡店管理能力，提高4S店监控信息化管理水平，构建一个发现销售是否及时跟随客户及客流情况分析平台，提高服务质量。

附图说明

图1为本发明的一种行人行为识别及轨迹跟踪方法流程示意图；

图2为本发明实施例中图像分析算法的方法流程图；

图3为本发明实施例中轨迹分析算法的方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1所示，本发明提出了一种行人行为识别及轨迹跟踪方法，包括图像分析算法和轨迹分析算法,采集的视频数据依次通过图像分析算法和轨迹分析算法进行处理；

所述图像分析算法：包括数据预处理、单摄像头行人轨迹跟踪和跨摄像头关联，获取分析数据包括摄像头异常识别、人脸检测、行人检测和特征提取数据；

所述轨迹分析算法：通过统计分析所述分析数据，识别顾客和销售人员的活动行为。

作为上述实施例的优化方案，如图2所示，所述图像分析算法的数据预处理包括视频取流切帧、行人检测和特征提取，获取监控视频将其切分成帧图像，经过图像识别算法进行行人检测和特征提取。

所述图像分析算法的单摄像头行人轨迹跟踪可实现多目标跟踪，包括步骤：

通过跟踪算法对每帧图像中检测到的行人框进行特征提取和匹配，获取轨迹；其中行人特征用相似度计算，使用一个8维向量去刻画轨迹在某时刻的状态,分别表示行人框的中心位置、纵横比、高度、以及在图像坐标中对应的速度信息。

使用卡尔曼滤波器预测更新轨迹，所述卡尔曼滤波器采用匀速模型和线性观测模型；对于每条轨迹记录轨迹从上次匹配成功到当前的时间，当大于设定时间阈值时该轨迹终止。***运行时输入顾客检测结果box文件，顾客特征文件，视频流切分得到的JPG或PNG图片。经过算法分析后输出每个摄像头下的顾客检测结果box文件加上对应顾客temp_ID。

安装的相邻摄像头满足两两之间有重叠区域，在所述图像分析算法中跨摄像头关联包括步骤：

对重叠区域做外参标定；

通过外参标定结果建立关联矩阵；

使用所述关联矩阵映射关系判断两个摄像头下的跟踪目标是否为同一顾客。***运行时输入单摄像头跟踪结果文件，经过算法运算后输出每个摄像头下的顾客检测结果box文件加上对应顾客真实ID。

作为上述实施例的优化方案，如图3所示，所述轨迹分析算法包括步骤：

数据预处理，从原始行人跟踪轨迹中读出轨迹数据；

顾客车前停留统计，统计出顾客在车辆周围停留的所有轨迹点；借助所获得的轨迹点，统计顾客行为状态包括看车、上车和销售跟随；

群像划分，通过分析轨迹数据划分群体，并统计出批次信息和人流信息；

最后，将统计结果写入数据库。

所述轨迹分析算法的数据预处理，对原始行人跟踪轨迹进行预处理，包括步骤：

从原始行人跟踪轨迹的存放路径中读出每个摄像头下的轨迹数据，每个摄像头下的轨迹数据以CSV格式储存在文本文件中，把每个摄像头下的轨迹数据以数据帧的形式存储在内存中；

提取出顾客临时ID和真实ID、临时ID和进店时间、临时ID和进店帧数之间的映射关系，并将映射关系以键值对的形式储存在内存中。这些数据的提取方式都是借助Python中pandas包中的DataFrame结构。

所述轨迹分析算法的顾客车前停留统计分析，包括步骤：

统计顾客在车辆周围停留的轨迹点；

读取数据预处理后的轨迹数据，计算顾客每个轨迹点到车辆的距离，距离度量的方式是计算标定顾客的矩形框和标定车辆矩形框重叠的面积，当重叠面积大于设定重叠阈值时，判定该顾客在车辆前有停留。

输出统计到的顾客在车辆前停留的所有轨迹点，输出形式是python字典：{摄像头ID:{车辆ID:{顾客ID:[顾客停留的轨迹点]}}}，表示在不同的摄像头下，不同的车辆周围所有顾客停留的轨迹点。

所述统计顾客行为状态根据停留统计分析判断顾客看车和上车的人数及ID，包括步骤：

看车状态识别：通过判断顾客在车前停留的时长来判断顾客是否看车，统计出每个顾客在车前停留的轨迹点总数，因为4帧等于1秒，所以可以间接统计出顾客在车前停留的时长；当顾客在车前停留的时长大于设定阈值时，则认为该顾客是看车顾客。输出形式是python字典：{摄像头ID:{车辆ID:[看车顾客ID]}}。

上车状态识别：通过顾客在车辆周围消失的时长和消失的位置来判断顾客是否上车；比较在车前停留顾客的所有的前后两个轨迹点，如果前后两个轨迹点帧数的差值大于设定阈值且两个轨迹点离车辆的距离小于设定阈值，则认为该顾客上车，该段轨迹是顾客上车-试车-下车的完整轨迹；

大多数情况下，顾客上车，再下车以后ID会发生跳变，所以先获取顾客在车前停留的最后一帧轨迹点，后获取在同一位置出现的新ID的顾客，该类顾客出现时间须晚于消失的目标顾客，如果这两个轨迹点到车辆的距离小于设定阈值且两个轨迹点的帧数差在一个设定的阈值范围内，则判定该顾客上车；输出形式是python字典：{摄像头ID:{车辆ID:[上车顾客ID]}}。

所述销售跟随的判断包括场景一和场景二；所述场景一为顾客在进店时有没有销售跟随，这个场景的输入是数据预处理从门口摄像头分析的顾客轨迹数据；所述场景二是顾客在看车时是否有销售跟随，这个场景的输入是在车前有停留的顾客轨迹数据。

在所述场景一中，取进店顾客的m帧轨迹数据，然后取出每个销售起始和结束的帧数在顾客帧数范围之内的轨迹，基于时间序列计算顾客轨迹与销售轨迹的相似度，当轨迹相似度小于设定阈值时，则认为销售跟随顾客；

在所述场景二中，找出顾客开始看车时第一个轨迹点的帧数，取顾客在这个轨迹点前后一定范围内的完整轨迹，销售取相同范围的轨迹；基于时间序列计算顾客轨迹与销售轨迹的相似度，当轨迹相似度小于设定阈值时，则认为销售跟随顾客。

最后,对两种场景下销售跟随顾客做合集。

输出形式是python字典：{顾客ID:销售ID}，是顾客和跟随他的销售之间的映射。

所述群像划分分析，统计出进店的顾客中群体数量，包括步骤：找出共同进店的所有顾客；再取共同进店顾客的前n帧连续轨迹，分别计算两个顾客之间的相似度，相似度小于设定阈值的共同进店顾客则划分为一个群体。

其中，判断顾客同时进店，包括步骤：找出每个顾客的第一帧轨迹点，计算第一帧的轨迹点到门口的距离，如果距离小于设定阈值，则认为该顾客是进店顾客；对于所有的进店顾客根据数据预处理模块计算得到的临时ID和进店时间的映射，最终得到同时进店的顾客。

总体来说，群像划分输入为预处理模块计算得到的临时ID和进店时间的映射以及门口摄像头下的顾客批数据，输出形式是python字典：{masterID:[顾客ID1,顾客ID2,...],[],....}。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种行人行为识别及轨迹跟踪方法，其特征在于，包括图像分析算法和轨迹分析算法,采集的视频数据依次通过图像分析算法和轨迹分析算法进行处理；

所述图像分析算法：包括数据预处理、单摄像头行人轨迹跟踪和跨摄像头关联，获取分析数据包括摄像头异常识别、人脸检测、行人检测和特征提取数据；

所述轨迹分析算法：通过统计分析所述分析数据，识别顾客和销售人员的活动行为；

所述销售跟随的判断包括场景一和场景二；所述场景一为顾客在进店时有没有销售跟随，这个场景的输入是数据预处理从门口摄像头分析的顾客轨迹数据；所述场景二是顾客在看车时是否有销售跟随，这个场景的输入是在车前有停留的顾客轨迹数据；

在所述场景一中，取进店顾客的m帧轨迹数据，然后取出每个销售起始和结束的帧数在顾客帧数范围之内的轨迹，基于时间序列计算顾客轨迹与销售轨迹的相似度，当轨迹相似度小于设定阈值时，则认为销售跟随顾客；

在所述场景二中，找出顾客开始看车时第一个轨迹点的帧数，取顾客在这个轨迹点前后一定范围内的完整轨迹，销售取相同范围的轨迹；基于时间序列计算顾客轨迹与销售轨迹的相似度，当轨迹相似度小于设定阈值时，则认为销售跟随顾客；

最后,对两种场景下销售跟随顾客做合集。

2.根据权利要求1所述的一种行人行为识别及轨迹跟踪方法，其特征在于，所述图像分析算法的数据预处理包括视频取流切帧、行人检测和特征提取，获取监控视频将其切分成帧图像，经过图像识别算法进行行人检测和特征提取。

3.根据权利要求2所述的一种行人行为识别及轨迹跟踪方法，其特征在于，所述图像分析算法的单摄像头行人轨迹跟踪可实现多目标跟踪，包括步骤：

通过跟踪算法对每帧图像中检测到的行人框进行特征提取和匹配，获取轨迹；其中行人特征用相似度计算，使用一个8维向量去刻画轨迹在某时刻的状态,分别表示行人框的中心位置、纵横比、高度、以及在图像坐标中对应的速度信息；

使用卡尔曼滤波器预测更新轨迹，所述卡尔曼滤波器采用匀速模型和线性观测模型；对于每条轨迹记录轨迹从上次匹配成功到当前的时间，当大于设定时间阈值时该轨迹终止。

4.根据权利要求3所述的一种行人行为识别及轨迹跟踪方法，其特征在于，安装的相邻摄像头满足两两之间有重叠区域，在所述图像分析算法中跨摄像头关联包括步骤：

对重叠区域做外参标定；

通过外参标定结果建立关联矩阵；

使用所述关联矩阵映射关系判断两个摄像头下的跟踪目标是否为同一顾客。

5.根据权利要求1或4所述的一种行人行为识别及轨迹跟踪方法，其特征在于，所述轨迹分析算法包括步骤：

数据预处理，从行人跟踪轨迹中读出轨迹数据；

顾客车前停留统计，统计出顾客在车辆周围停留的所有轨迹点；借助所获得的轨迹点，统计顾客行为状态包括看车、上车和销售跟随；

群像划分，通过分析轨迹数据划分群体，并统计出批次信息和人流信息；

最后，将统计结果写入数据库。

6.根据权利要求5所述的一种行人行为识别及轨迹跟踪方法，其特征在于，所述轨迹分析算法的数据预处理，对原始行人跟踪轨迹进行预处理，包括步骤：

从原始行人跟踪轨迹的存放路径中读出每个摄像头下的轨迹数据，每个摄像头下的轨迹数据以CSV格式储存在文本文件中，把每个摄像头下的轨迹数据以数据帧的形式存储在内存中；

提取出顾客临时ID和真实ID、临时ID和进店时间、临时ID和进店帧数之间的映射关系，并将映射关系以键值对的形式储存在内存中。

7.根据权利要求6所述的一种行人行为识别及轨迹跟踪方法，其特征在于，所述轨迹分析算法的顾客车前停留统计分析，包括步骤：

统计顾客在车辆周围停留的轨迹点；

读取数据预处理后的轨迹数据，计算顾客每个轨迹点到车辆的距离，距离度量的方式是计算标定顾客的矩形框和标定车辆矩形框重叠的面积，当重叠面积大于设定重叠阈值时，判定该顾客在车辆前有停留。

8.根据权利要求7所述的一种行人行为识别及轨迹跟踪方法，其特征在于，所述统计顾客行为状态根据停留统计分析判断顾客看车和上车的人数及ID，包括步骤：

看车状态识别：通过判断顾客在车前停留的时长来判断顾客是否看车，统计出每个顾客在车前停留的轨迹点总数；当顾客在车前停留的时长大于设定阈值时，则认为该顾客是看车顾客；

上车状态识别：通过顾客在车辆周围消失的时长和消失的位置来判断顾客是否上车；比较在车前停留顾客的所有的前后两个轨迹点，如果前后两个轨迹点帧数的差值大于设定阈值且两个轨迹点离车辆的距离小于设定阈值，则认为该顾客上车，该段轨迹是顾客上车-试车-下车的完整轨迹；

所述销售跟随的判断包括场景一和场景二；所述场景一为顾客在进店时有没有销售跟随，这个场景的输入是数据预处理从门口摄像头分析的顾客轨迹数据；所述场景二是顾客在看车时是否有销售跟随，这个场景的输入是在车前有停留的顾客轨迹数据。

9.根据权利要求1所述的一种行人行为识别及轨迹跟踪方法，其特征在于，根据群像划分分析，统计出进店的顾客中群体数量，包括步骤：找出共同进店的所有顾客；再取共同进店顾客的前n帧连续轨迹，分别计算两个顾客之间估计的相似度，相似度小于设定阈值的共同进店顾客则划分为一个群体；

其中，判断顾客同时进店，包括步骤：找出每个顾客的第一帧轨迹点，计算第一帧的轨迹点到门口的距离，如果距离小于设定阈值，则认为该顾客是进店顾客；对于所有的进店顾客根据数据预处理模块计算得到的临时ID和进店时间的映射，最终得到同时进店的顾客。

Images