CN118097519B - 基于商品轨迹分析的智能购物车购物行为分析方法及*** - Google Patents

Abstract

本申请公开了一种基于商品轨迹分析的智能购物车购物行为分析方法及***，属于智能购物车领域。现有技术中智能购物车仅依靠重量变化来推定客户行为作为防盗手段，不能解决超市防盗要求和顾客流畅购物之间的矛盾。本发明通过智能购物车设置的摄像头采集购物视频图像；应用目标检测识别模型，得到每一帧图像中商品目标的位置和类别信息；将其结果输入目标跟踪模型，得到商品轨迹数据；计算目标轨迹的运动度量指标后将轨迹分为静止轨迹和运动轨迹；分析运动轨迹并将其与商品置入、商品取出、整理商品的购物行为对应起来。该发明可以在消费者完全无感的情况下快速准确地识别用户购物行为，提升了用户体验并有效降低货损风险。

Description

基于商品轨迹分析的智能购物车购物行为分析方法及***

技术领域

本申请涉及智能购物车领域，具体的，涉及智能购物车场景感知、购物行为分析、智能购物车超市防盗等方面。

背景技术

人工智能技术正快速改变着我们的生产与生活方式。在超市等零售领域普遍采用的传统购物车已有一百多年的历史，这种购物车只提供一种商品暂存功能，购物结束时顾客需要将购物车推行到指定地点进行排队结算，即耗时又可能造成一定的拥堵，降低了用户的购物体验。当前许多超市已采用具有顾客自助结算功能的智能购物车。智能购物车在提高用户购物体验的同时，对超市的商品防盗提出了更高的要求。为了有效捕捉漏扫、夹带、替换货等行为。智能购物车普遍采用在购物车底部安装高精度重力电子秤，通过比较商品实际重量和商品标准重量的方式进行防盗，例如专利文件CN106981150A公开了一种超市智能防盗***及方法，专利CN106408369A公开了一种智能鉴别购物车内商品信息的算法。

为了分辨不同种类商品间的重量差，智能购物车中所采用的重量传感器通常具有高精度和高灵敏度。在超市购物过程中，用户的购物行为具有随意性、复杂性，而所购商品具有多样性。例如用户触碰、手扶购物框行为等会造成重量值的偏移，尺寸较大商品倚靠边框等也会造成实际重量小于商品的标准重量，商品包装变化也会造成商品实际重量和数据库中的标记的商品重量不一致，而且超市中也有许多价格不同而商品质量相同的商品。这些情况经常会导致消费者按正常操作流程购物而无法结算。

基于严格重力防损的智能购物车虽然在一定程度上降低了超市的盗损率，但经常会造成消费者正常购买而无法结算的情况，降低了消费者使用智能购物车的意愿。为了有效解决智能购物车有效防损和消费者操作的流畅性、便捷性和之间的矛盾，需要精确识别客户将商品放入或取出购物车以及在购物车内整理商品的行为，在满足超市有效防盗要求的前提下保证消费者购物过程的流畅性，提升用户体验。

发明内容

1. 要解决的技术问题

针对现有智能购物车中中存在的消费者操作的流畅性、便捷性要求和超市有效防损之间的矛盾，本发明提供了一种基于视频中商品运动轨迹分析的用户购物行为分析方法，它可以将顾客的一次购物行为分解为三种基本类型：放入、取出、整理。该发明可以在消费者完全无感的情况下快速准确地识别用户购物行为，提升了用户体验并有效降低货损风险。

2. 技术方案

本发明的目的通过以下技术方案实现。

本发明中所述的智能购物车，至少配备有一个设购物筐的购物车车体，车体上图像采集设备，用于监控购物车内的目标的运动，在购物车车筐底部装有重力称。部分实施例中，车体上设置有处理器。

本发明的第一方面，提供了一种基于商品轨迹分析的智能购物车购物行为分析方法，步骤如下：

（1）采集用户购物过程中的视频，得到图像序列。优选的，利用智能购物车上安装的RGB摄像头采集用户在购物过程中的实时视频。

（2）将图像序列输入目标检测识别模型，得到所有N帧图像中全部商品目标的坐标信息。首先，将图像序列输入目标检测识别模型，得到全部图像中所有目标的坐标信息和类别信息（x0，y0，w，h，cls），这里x0、y0是目标检测框的中心，w是目标检测框的宽度，h是目标检测框的高度，cls是目标类别。目标包括商品目标和非商品目标两类。

根据目标检测识别模型输出的目标类别信息cls，排除非商品类目标，只分析商品类目标。输出商品目标的坐标信息和类别信息。

（3）将商品目标坐标信息输入到目标跟踪模型，得到图像序列中所有商品目标的商品轨迹。具体的，将目标检测识别模型的输出（x0，y0，w，h，cls）输入目标跟踪模型，得到图像序列N帧图像中K个目标的轨迹数据：{Track_k = [（x0_i_k，y0_i_k，w_i_k，h_i_k，cls_k）]}，其中Track_k是跟踪模型得到的ID（目标标识号）是k的轨迹数据，k = 1，…，K，i= 1，…，N，这里（x0_i_k，y0_i_k，w_i_k，h_i_k，cls_k）表示ID=k的轨迹第i帧图像中的检测框坐标和类别信息。

（4）计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种。方法为：计算商品在购物过程中的实际运动情况的运动度量指标，设定一个或多个阈值，通过运动度量指标与阈值对比将商品轨迹分为运动轨迹和静止轨迹。

设（xi，yi）是第i帧商品轨迹点坐标，所述商品轨迹点为商品目标检测框中心点或商品目标检测框四个角点中任一个，运动度量指标为以下三种中的一种或多种组合：

1）轨迹长度：表征购物过程中商品的实际运动轨迹长度；定义为，商品轨迹的所有相邻帧中同一商品轨迹点坐标之间欧氏距离的累加和，单位为像素数，计算方法为：

，

dist为计算两个坐标点之间欧氏距离的算法，i和i+1是相邻两帧的帧索引号。

2）轨迹最大距离：表征购物过程中商品在空间中运动的幅度；定义为任意两帧中同一商品轨迹点坐标距离的最大值，单位为像素数；计算方法为：

，

max为求最大值的算法；i和j为任意不同两帧的帧索引号。

3）轨迹相对最大距离，定义为轨迹最大距离相对于该商品尺寸的相对运动距离，单位为像素数，计算方法为：

，

wi为在i帧中该商品检测框的宽度，hi在i帧中该商品检测框的高度。

进一步的，计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种。具体方法为：

1）对每一个商品轨迹，利用该轨迹在图像中的目标检测框位置信息（x0，y0，w，h，cls），计算目标检测框四个角点的坐标：

x0、y0是目标检测框的中心，w、h是目标检测框的宽高，cls是目标类别；

2）计算得到每一个目标检测框四个角点的轨迹长度：

3）获得每一个商品目标具有最小轨迹长度的角点。

4）计算具有最小轨迹长度角点的轨迹长度Trajlen、轨迹最大距离Distmax和轨迹相对最大距离Distref，作为该条商品轨迹的轨迹运动度量指标。

5）设定如下条件：

条件1：Trajlen<THRESH1；

条件2：Distmax<THRESH2；

条件3：Distref<THRESH3；

条件4：Trajlen<THRESH4 且 Distref<THRESH5；

条件5：Distmax<THRESH1 且 Distref<THRESH5；

THRESH1，THRESH2，THRESH3，THRESH4和THRESH5为一组阈值；

判断条件1、条件2、条件3、条件4和条件5中的一个或多个，只要其中一个判定结果为真，就将该条商品轨迹标记为静止；最后将全部未标记为静止的商品轨迹均标记为运动。

（5）分析所有商品运动轨迹，将其进一步识别为商品置入购物车、商品从购物车中被取出或整理商品中的一种。具体方法为：

1）精确定位商品目标的运动部分在图像序列中的帧索引号。

设在图像序列中共有M帧图像检测到该目标，对应的图像帧索引号为：

，

该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i =1，…，M-1，该角点轨迹数据中相邻的i帧和i+1帧间的欧氏距离为：

，

Neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值THRESH_Nb，计算帧索引号Frame_ID中满足条件：

，

的视频帧索引号序列：

，

Frame_ID_Move是Frame_ID的子集，I_m1， …， I_mK为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值THRESH_Nb，则表示商品在这两帧间商品发生运动。

2）计算Frame_ID_Move中的连续运动帧索引号序列。

对帧索引号序列Frame_ID_Move中相邻元素I_m（i+1）和I_mi求差，I_m（i+1）-I_mi= 1表示I_m（i+1）、I_mi为视频中的商品运动的连续帧索引号序列。

该连续帧索引号序列的集合Frame_ID_Move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引。

根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：

若该连续运动片段对应帧索引号Frame_ID中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内。

若该连续运动片段对应帧索引号Frame_ID中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出。

若该连续片段对应帧索引号Frame_ID中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。

本发明的第二方面，提供了一种基于商品轨迹分析的智能购物车购物行为分析***，应用本发明第一方面提供的一种基于商品轨迹分析的智能购物车购物行为分析方法，包括：

图像采集模块：负责视频及图像采集。

图像检测跟踪模块：负责接收并存储图像采集模块所采集的视频流信息，得到图像序列，对图像序列中的图像做目标检测及目标跟踪处理，并对其中所有目标进行识别，输出商品目标的轨迹信息。

分析决策模块：负责接收图像检测跟踪模块的商品目标轨迹信息，排除静止目标；精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段，结合重力称称值变化数据，综合判断该商品是置入、取出、整理三种行为中的一种。

优选的，基于商品轨迹分析的智能购物车购物行为分析***精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段的方法为：

1）精确定位商品目标的运动部分在图像序列中的帧索引号。

设在图像序列中共有M帧图像检测到该目标，对应的图像帧索引号为：

，

该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i =1，…，M-1，该角点轨迹数据中相邻帧间欧氏距离为：

，

Neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值THRESH_Nb，计算Frame_ID中满足条件：

，

的视频帧索引号序列：

，

Frame_ID_Move是Frame_ID的子集，I_m1， …， I_mK为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值THRESH_Nb，则表示商品在这两帧间商品发生运动。

2）计算Frame_ID_Move中的连续运动帧索引号序列。

对帧索引号序列Frame_ID_Move中相邻元素I_m（i+1）和I_mi求差，I_m（i+1）-I_mi= 1表示I_m（i+1）、I_mi为视频中的商品运动的连续帧索引号序列；

该连续帧索引号序列的集合Frame_ID_Move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引。

根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：

若该连续运动片段对应帧索引号Frame_ID中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内。

若该连续运动片段对应帧索引号Frame_ID中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出。

若该连续片段对应帧索引号Frame_ID中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。

优选的，将本发明的算法模型部署在智能购物车车体上设置的处理器上。

3. 有益效果

相比于现有技术，本发明的优点在于：

（1）本发明基于原有智能购物车设备，无需增加额外部件，节省了成本。

（2）本发明提供的方法中，利用人工智能技术，通过对视频中运动商品的检测、跟踪、轨迹分析、商品图像比对等处理，准确识别夹带、替换货等行为，有效降低超市的货损风险。

（3）本发明的整体处理流程无需用户参与，可以在用户完全无感的情况有效排除碰触、手扶框、商品压框等导致称值异常变化的行为，提升了用户使用智能购物车体验的流畅性。

（4）将本发明的算法模型部署在智能购物车车体上设置的处理器上，利用自带的运算芯片可以实现对运动商品的实时检测、跟踪、比对分析，可最大限度地提高算法的执行效率，缩短算法执行时间。

附图说明

图1为本发明的流程示意图；

图2购物车结构示意图；

图3为商品置入购入车之前（第24帧）商品检测识别模型的输出结果；

图4为商品置入过程中（第44帧）商品检测识别模型的输出结果；

图5为商品置入购物车过程中跟踪目标的中心点轨迹图；

图6为目标ID_1四个角点和中心点轨迹图；

图7为目标ID_7四个角点和中心点轨迹图；

图8为目标ID_3四个角点和中心点轨迹图；

图9为目标ID_10四个角点和中心点轨迹图；

图10为最小目标轨迹长度角点相邻帧间的像素距离。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。为了达到本发明的目的，智能购物车需要准确感知用户是放入还是从购物车取出商品，或者仅仅是整理购物车中的商品。部分实施例中，还进一步地识别放入或取出商品的类别和件数。本发明通过计算机视觉领域的目标检测跟踪算法，有效捕捉视频图像中感兴趣的运动目标，并对该商品目标赋予一个唯一ID号。通过分析该商品的运动轨迹特征，实现对用户购买行为的分析，并将该运动商品的图像和数据库中的商品图像进行比对，准确识别该商品类别。

实施例1

本发明的第一方面，提供了一种基于商品轨迹分析的智能购物车购物行为分析方法，如图1所示，其中一种实施方法如下：

利用图2所示的智能购物车上安装的RGB摄像头采集用户在购物过程中的实时视频，并由视频生成系列图像，图像总数量为N。摄像头的安装方式以尽可能获得购物过程中清晰的商品图像为目标，包括采用多个不同角度摄像头以及辅助光源等，一种典型的摄像头的安装方式是在购物车车体的前端和平板电脑的背部各安装一个摄像头，分别监控购物车车筐的不同位置。将由N帧图像组成的图像序列输入目标检测识别模型，得到所有图像中全部目标的位置和商品类别信息，其中模型输出的第i帧图像的第j个检测框信息为（x0_i_j，y0_i_j，w_i_j，h_i_j，cls_i_j），其中（x0_i_j，y0_i_j）为目标的检测框的中心，（w_i_j，h_i_j）目标检测框宽和高，cls_i_j为目标所属类别。

这里的全部目标包括超市中的商品类目标和非商品类目标。商品类目标的类别定义方式有两种：1）根据超市中对商品种类的分类方法进行定义；2）根据商品表观相似度将超市内的商品分为几个大的类别。非商品类包括超经常出现在在图像中的手、小孩。根据目标检测识别模型输出的目标类别信息cls，排除非商品类目标，只分析商品类目标。

输入目标检测识别模型视频序列可以是购物车上摄像头获取的实时视频流，也可以是根据用户扫码操作、购物车上安装的重力电子称的称值变化依据截取的视频片段。

目标检测识别算法包括但不限于基于光流、背景建模等运动目标检测算法，支持向量机、决策树等模式分类算法；以及各种基于深度学***台包括边缘设备和算法服务器，运算芯片包括但不限于各种GPU、NPU、TPU、CPU等芯片。

图3为在一次购物过程中商品置入购入车之前（第24帧）商品检测识别模型的输出结果，图4为商品置入过程中（第44帧）目标检测识别模型的输出结果。

将目标检测识别模型的输出[（x0_i_j，y0_i_j，w_i_j，h_i_j，cls_i_j）]输入目标跟踪模型，得到由N帧图像组成的视频序列中K个目标的轨迹数据{Track_k=[（x0_i_k，y0_i_k，w_i_k，h_i_k，cls_k）]}，其中Track_k是跟踪模型得到的ID号是k的轨迹数据，i为图像序号，i = 1，…，N，k为目标的标识序号，k= 1，…，K，（x0_i_k，y0_i_k，w_i_k，h_i_k，cls_k）表示序号为k的商品轨迹的第i帧图像中的检测框坐标和类别信息。

目标跟踪模型包括但不限于DeepSort、ByteSORT及BotSORT等目标跟踪算法模型。图4为商品置入购物车过程中跟踪目标的中心点轨迹图。

利用目标跟踪模型输出的轨迹数据（x0_i_k， y0_i_k， w_i_k， h_i_k），定义目标轨迹的运动度量指标，这些指标应能有效描述商品在购物过程中的实际运动情况，具体的指标定义可以根据实施例的具体情况进行设计。

设（xi，yi）是目标轨迹点坐标，i=1，……，N，N为视频中图像的总帧数，这里的轨迹点可以为检测框中心点，也可以是检测框四个角点中一个，角点坐标可以根据检测框中心点坐标（x0，y0）和检测框宽高（w，h）计算得到。

本实施例中，优选以下三个指标：

1）轨迹长度：表征购物过程中商品的实际运动轨迹长度；定义为，商品轨迹的所有相邻帧中同一商品轨迹点坐标之间欧氏距离的累加和，单位为像素数，计算方法为：

，

dist为计算两个坐标点之间欧氏距离的算法，i和i+1是相邻两帧的帧索引号；

2）轨迹最大距离：表征购物过程中商品在空间中运动的幅度；定义为任意两帧中同一商品轨迹点坐标距离的最大值，单位为像素数；计算方法为：

，

max为求最大值的算法；i和j为任意不同两帧的帧索引号；

3）轨迹相对最大距离，定义为轨迹最大距离相对于该商品尺寸的相对运动距离，单位为像素数，计算方法为：

，

wi为在i帧中该商品检测框的宽度，hi在i帧中该商品检测框的高度。

根据轨迹的运动度量指标对目标轨迹进行分类，将商品轨迹分为运动轨迹和静止轨迹。具体方法步骤如下：

1、对每一个商品轨迹，利用该轨迹在图像中的检测框位置信息（x0，y0，w，h，cls），计算该检测框四个角点的坐标：

x0、y0是目标检测框的中心，w、h是目标检测框的宽高，cls是目标类别；

2、计算得到每一个目标检测框四个角点的轨迹长度：

3、获得每一个商品目标具有最小轨迹长度的角点；

4、计算具有最小轨迹长度角点的轨迹长度Trajlen、轨迹最大距离Distmax和轨迹相对最大距离Distref，作为该条商品轨迹的轨迹运动度量指标；本实施例中，记为Min（Trajlen），Min（Distmax）和Min（Distref）。

在一个连续的购物过程中，对于用户放入或从购物车取出的商品，其商品轨迹在空间上表现为具有较大的分布范围。

本实施例中，ID_7是本次购物行为中置入购物车的商品，图7为该目标的四个角点和中心点轨迹图。购物车内的原有商品在整个购物过程中处于相对静止状态，商品目标的轨迹分布集中。图6为购物车内静止目标ID_1四个角点和中心点轨迹图。另外对于静止商品，在购物过程中手部和运动商品等的遮挡会造成静止商品检测框变化，但检测框的四个角点中通常会有一个角点的轨迹分布较为集中，如图8、图9所示。因此对于各轨迹运动度量指标，选择检测框四个角点（左上、右上、左下、右下）中具有最小轨迹长度Trajlen的角点计算该商品轨迹的轨迹运动度量指标，分别为角点的轨迹长度Trajlen、轨迹最大距离Distmax、轨迹相对最大距离Distref，对商品轨迹进行静止和运动分类。

5、设定一系列的阈值与判断条件来判定商品轨迹为静止或运动，在具体的实施例中，可以设定不同的阈值、阈值组合以及条件或条件组合。本实施例中，优选设立如下条件：

条件1：Trajlen<THRESH1；

条件2：Distmax<THRESH2；

条件3：Distref<THRESH3；

条件4：Trajlen<THRESH4 且 Distref<THRESH5；

条件5：Distmax<THRESH1 且 Distref<THRESH5；

对目标跟踪模型输出的所有目标轨迹，首先根据类别信息滤除手部、小孩、宠物等不感兴趣的目标；再依次计算条件1到条件5，只要满足其中一个条件为真，就将该目标轨迹标记为静止。最后将剩余未标记为静止的轨迹标记为运动轨迹。

设摄像头所获取的图像的宽高为WI、HI，一组典型的WI、HI的取值为1024、1280。优选的，本实施例中，一组典型的阈值取为：

THRESH1 = min（WI，HI）/10；

THRESH2 = min（WI，HI）/15；

THRESH3 = 0.12；

THRESH4 = min（WI，HI）/8；

THRESH5 = 0.2；

在本实施例中购物视频的目标轨迹图5中，共有5条轨迹，分别为ID_1、ID_2、ID_3、ID_7、D_10。其中ID_1、ID_2为购物车内的已有的静止商品，ID_3和ID_10是购物车内的同一件商品，由于在用户加购过程中遮挡导致ID_3丢失，重新检测后该商品被赋予了新的ID号，ID_7是该视频中购买的商品，计算5条轨迹的轨迹运动度量指标，每条轨迹各角点运动度量指标最小值如表1所示：

表1：5条轨迹各角点运动度量指标最小值

根据条件条件1~条件5，将轨迹ID_7标记为运动。

对上一步中标记为运动的目标轨迹进行分析，结合重力称的称值变化将该轨迹对应的购物行为判定以下三种购物行为中的一种：商品置入购物车、商品从购物车取出或整理商品，具体步骤为：

（1）精确定位商品目标的运动部分在视频序列中的帧索引号。

设在图像序列中共有M帧图像检测到该目标，对应的图像帧索引号为：

，

该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i =1，…，M-1，I_1……I_M为帧索引序号值。该角点轨迹数据中相邻帧间的欧氏距离为：

，

设定阈值THRESH_Nb，计算帧索引号Frame_ID中满足条件

，

的视频帧索引号序列，得到：

，

Neighbor_trajdist表示相邻帧间该角点运动的欧氏距离，单位为像素数，对于运动目标，同一目标检测框角点在相邻帧间距离较大，阈值THRESH_Nb的典型值可取min（WI，HI）/10，相邻帧间该角点的距离若大于该阈值，则表示商品在这两帧间商品发生运动。Frame_ID_Move是Frame_ID的子集，I_m1，…，I_mK为帧索引序号值。

（2）计算Frame_ID_Move中的连续帧索引。

该步骤对帧索引号序列Frame_ID_Move中相邻元素I_m（i+1）和I_mi求差，I_m（i+1）-I_mi=1表示I_m（i+1）、I_mi为视频中的商品运动的连续帧索引号序列。

，

，

Index_frag表示从Frame_ID_Move的帧索引号序列中，取相邻索引号插值为1的元素，得到他们在Frame_ID_Move子集中的排序，连续帧索引号序列的集合Frame_ID_Move_frag则通过Index_frag序号从原有的Frame_ID_Move中得到对应的帧索引号。所对应的视频片段就是该商品在整个视频序列中运动的精确帧索引。

根据商品目标的运动部分发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：

若该连续运动视频片段对应帧索引号Frame_ID即全部帧索引序号值中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，表示商品被置入购物车内。

若该连续运动视频片段对应帧索引号Frame_ID中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该轨迹为标记商品取出。

若该连续视频片段对应帧索引号Frame_ID中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该轨迹为标记整理商品。

根据条件1~条件5的条件，轨迹ID_7对应的商品轨迹标记为运动。该轨迹在视频序列对应的帧索引号为：

，

说明，在29，30，……74帧图像中，检测到该目标。

图10为最小目标轨迹长度角点相邻帧间欧氏距离Neighbor_trajdist（单位：像素数），取经验值阈值THRESH_Nb=13，满足商品运动条件的视频帧索引号共有10个：

，

Frame_ID_Move中帧索引满足商品连续运动连续帧索引号序列有8个，他们在Frame_ID_Move中的序号为：

，

对应到Frame_ID_Move中，第1个索引号29，由于

，

说明，帧索引29对应的视频帧也为运动帧，因此，该商品在整个视频序列中精确的连续运动片段索引为：

，

Frame_ID_Move_frag处于索引号序列Frame_ID = [29，30， …，74]的起始部分，表明该商品在初始检测到时具有较大幅度的连续运动，在第40帧后逐步之后趋于静止，所对应的购物行为是将商品置入购物车内。

进一步的，对于判定为置入购物车的商品，将检测到的商品轨迹中的图像和扫码商品所对应的数据库中的图像进行比对，判断该商品是否是扫码商品；对于判定为从购物车内取出的商品，将检测到的商品轨迹中的图像和购物列表中的商品图像进行比对，判断用户取出的商品是购物车内的哪件商品。

比对方法包括特征提取和特征匹配两个步骤。特征提取模型包括但不限于ResNet、MobileNet、Vit等特征提取模型，特征匹配算法包括但不限于ArcFace，CosFace，SphereFace等特征匹配算法。

实施例2

本发明还提供了一种基于商品轨迹分析的智能购物车购物行为分析***，应用实施例1提供的一种基于商品轨迹分析的智能购物车购物行为分析方法，包括：

图像采集模块：负责视频及图像采集。

图像检测跟踪模块：负责接收并存储图像采集模块所采集的视频流信息，得到图像序列，对图像序列中的图像做目标检测及目标跟踪处理，并对其中所有目标进行识别，输出商品目标的轨迹信息。

分析决策模块：负责接收图像检测跟踪模块的商品目标轨迹信息，排除静止目标；精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段，结合重力称称值变化数据，综合判断该商品是置入、取出、整理三种行为中的一种。

优选的，基于商品轨迹分析的智能购物车购物行为分析***精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段的方法为：

1）精确定位商品目标的运动部分在图像序列中的帧索引号。

设在图像序列中共有M帧图像检测到该目标，对应的图像帧索引号为：

，

该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i =1，…，M-1，该角点轨迹数据中相邻帧间欧氏距离为：

，

Neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值THRESH_Nb，计算帧索引号Frame_ID中满足条件：

，

的视频帧索引号序列：

，

Frame_ID_Move是Frame_ID的子集，I_m1，…，I_mK为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值THRESH_Nb，则表示商品在这两帧间商品发生运动。

2）计算Frame_ID_Move中的连续运动帧索引号序列。

对帧索引号序列Frame_ID_Move中相邻元素I_m（i+1）和I_mi求差，I_m（i+1）-I_mi= 1表示I_{m（i+1） 、}I_mi为视频中的商品运动的连续帧索引号序列。

该连续帧索引号序列的集合Frame_ID_Move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引。

根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：

若该连续运动片段对应帧索引号Frame_ID中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内。

若该连续运动片段对应帧索引号Frame_ID中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出。

若该连续片段对应帧索引号Frame_ID中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (9)

1.一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，包括如下步骤：

采集用户购物过程中的视频，得到图像序列；

将图像序列输入目标检测识别模型，得到所有N帧图像中全部商品目标的坐标信息；

将商品目标坐标信息输入到目标跟踪模型，得到图像序列中所有商品目标的商品轨迹；

计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种；

分析所有商品运动轨迹，将其进一步识别为商品置入购物车、商品从购物车中被取出或整理商品中的一种：

1）精确定位商品目标的运动部分在图像序列中的帧索引号；

设在图像序列中共有M帧图像检测到该目标，对应的图像帧索引号为：

，

该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i = 1，…，M-1，该角点轨迹数据中相邻帧间欧氏距离为：

，

Neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值THRESH_Nb，计算Frame_ID中满足条件：

，

的视频帧索引号序列：

，

Frame_ID_Move是Frame_ID的子集，I_m1， …，I_mK为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值THRESH_Nb，则表示商品在这两帧间商品发生运动；

2）计算Frame_ID_Move中的连续运动帧索引号序列；

对帧索引号序列Frame_ID_Move中相邻元素I_m（i+1）和I_mi求差，I_m（i+1）-I_mi=1表示I_m（i+1）、I_mi为视频中的商品运动的连续帧索引号序列；

该连续帧索引号序列的集合Frame_ID_Move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引；

根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：

若商品连续运动片段对应帧索引号Frame_ID中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内；

若商品连续运动片段对应帧索引号Frame_ID中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出；

若商品连续运动片段对应帧索引号Frame_ID中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。

2.根据权利要求1所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，得到所有图像中全部商品目标的坐标信息的具体方法为：

将图像序列输入目标检测识别模型，得到全部图像中所有目标的坐标信息和类别信息，所述目标包括商品目标和非商品目标两类；输出商品目标的坐标信息和类别信息。

3.根据权利要求1所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，判定每一条商品轨迹为运动轨迹或静止轨迹的具体方法为：将目标检测识别模型输出的商品目标的坐标信息输入到目标跟踪模型，得到N帧图像组成的图像序列中K个商品目标的轨迹数据；计算商品在购物过程中的实际运动情况的运动度量指标，设定一个或多个阈值，通过运动度量指标与阈值对比将商品轨迹分为运动轨迹和静止轨迹。

4.根据权利要求1所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，结合重力称的称值数据分析所有商品运动轨迹，将其识别为商品置入购物车、商品从购物车中被取出或整理商品中的一种。

5.根据权利要求3所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，设（xi，yi）是第i帧商品轨迹点坐标，所述商品轨迹点为商品目标检测框中心点或商品目标检测框四个角点中任一个，运动度量指标为以下三种中的一种或多种组合：

1）轨迹长度：表征购物过程中商品的实际运动轨迹长度；定义为商品轨迹的所有相邻帧中同一商品轨迹点坐标之间欧氏距离的累加和，单位为像素数，计算方法为：

，

dist为计算两个坐标点之间欧氏距离的算法，i和i+1是相邻两帧的帧索引号；

2）轨迹最大距离：表征购物过程中商品在空间中运动的幅度；定义为任意两帧中同一商品轨迹点坐标距离的最大值，单位为像素数，计算方法为：

，

max为求最大值的算法；i和j为任意不同两帧的帧索引号；

3）轨迹相对最大距离：定义为轨迹最大距离相对于该商品尺寸的相对运动距离，单位为像素数，计算方法为：

，

wi为在i帧中该商品检测框的宽度，hi在i帧中该商品检测框的高度。

6.根据权利要求5所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种，具体方法为：

1）对每一个商品轨迹，利用该轨迹在图像中的目标检测框位置信息（x0，y0，w，h，cls），计算目标检测框四个角点的坐标：

x0、y0是目标检测框的中心，w、h是目标检测框的宽高，cls是目标类别；

2）计算得到每一个目标检测框四个角点的轨迹长度：

3）获得每一个商品目标具有最小轨迹长度的角点；

4）计算具有最小轨迹长度角点的轨迹长度Trajlen、轨迹最大距离Distmax和轨迹相对最大距离Distref，作为该条商品轨迹的轨迹运动度量指标；

5）设定如下条件：

条件1：Trajlen < THRESH1；

条件2：Distmax < THRESH2；

条件3：Distref < THRESH3；

条件4：Trajlen <THRESH4 且 Distref < THRESH5；

条件5：Distmax < THRESH1 且 Distref < THRESH5；

THRESH1，THRESH2，THRESH3，THRESH4和THRESH5为一组阈值；

判断条件1、条件2、条件3、条件4和条件5中的一个或多个，只要其中一个判定结果为真，就将该条商品轨迹标记为静止；最后将全部未标记为静止的商品轨迹均标记为运动。

7.根据权利要求6所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，摄像头所获取的图像的宽度为WI，高度为HI，THRESH1=min（WI，HI）/10，THRESH2=min（WI，HI）/15，THRESH3=0.12，THRESH4=min（WI，HI）/8，THRESH5=0.2，min为求最小值运算。

8.一种基于商品轨迹分析的智能购物车购物行为分析***，应用权利要求1-7任一项所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，包括：

图像采集模块：负责视频及图像采集；

图像检测跟踪模块：负责接收并存储图像采集模块所采集的视频流信息，得到图像序列，对图像序列中的图像做目标检测及目标跟踪处理，并对其中所有目标进行识别，输出商品目标的轨迹信息；

分析决策模块：负责接收图像检测跟踪模块的商品目标轨迹信息，排除静止目标；精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段，结合重力称称值变化数据，综合判断该商品是置入、取出、整理三种行为中的一种。

9.根据权利要求8所述的一种基于商品轨迹分析的智能购物车购物行为分析***，其特征在于，精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段的方法为：

1）精确定位商品目标的运动部分在图像序列中的帧索引号；

设在图像序列中共有M帧图像检测到该目标，对应的图像帧索引号为：

，

该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i=1，…，M-1，该角点轨迹数据中相邻帧间欧氏距离为：

，

Neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值THRESH_Nb，计算帧索引号Frame_ID中满足条件：

，

的视频帧索引号序列：

，

Frame_ID_Move是Frame_ID的子集，I_m1， …， I_mK为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值THRESH_Nb，则表示商品在这两帧间商品发生运动；

2）计算Frame_ID_Move中的连续运动帧索引号序列；

对帧索引号序列Frame_ID_Move中相邻元素I_m（i+1）和I_mi求差，I_m（i+1）-I_mi=1表示I_m（i+1）、I_mi为视频中的商品运动的连续帧索引号序列；

该连续帧索引号序列的集合Frame_ID_Move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引；

根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：

若商品连续运动片段对应帧索引号Frame_ID中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内；

若商品连续运动片段对应帧索引号Frame_ID中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出；

若商品连续运动片段对应帧索引号Frame_ID中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。