CN108230351A - 基于双目立体视觉行人检测的柜台评价方法与*** - Google Patents

Abstract

本发明公开了一种基于视觉行人检测的柜台评价方法与***，用于判断柜台对行人的吸引力及商业价值。***包括双目平行摄像机、嵌入式处理器、通信等模块。***靠柜台一侧倾斜安装，对来往的行人进行实时检测，其方法步骤为：标定左右摄像机，精确标定主点差；同步采集左右图像，通过混合高斯背景建模检测前景运动目标；按照自适应的窗口立体匹配方法得到前景目标的视差图像；生成前景目标在地面上的二维投影图像；对行人进行检测、跟踪、计数和平均速度计算；进行柜台吸引力及商业价值的分析及评价。本发明采用双目摄像机和立体视觉原理检测行人目标，算法鲁棒性高，抗干扰性强，检测精度高，评价指标有实用价值。

Description

基于双目立体视觉行人检测的柜台评价方法与***

技术领域

本发明涉及计算机视觉技术应用领域，尤其涉及一种基于双目立体视觉行人检测的柜台评价方法与***。

背景技术

随着人们生活水平的提高，逛商场、购物已成为一种常见的业余生活方式。对于商家而言，则更关心商场中的柜台对行人的吸引力和柜台的商业价值。行人平均速度是位移与时间的比，在一定程度上可以衡量过往行人对柜台的感兴趣程度。经过柜台前行人的速度越慢，反映了该柜台的吸引力越大；而柜台的商业价值与通过柜台前的行人数量及其速度有关，数量越多、速度越慢则价值越大。通过智能检测柜台前过往行人的数量与速度，可以有效地分析柜台对顾客的吸引力和柜台的商业价值。

计算机智能视频分析是人工智能领域中的一个新兴的发展方向和广受关注的课题，其核心是计算机视觉技术。计算机视觉通过图像传感器获得图像或图像序列，进而通过计算机采用图像处理、模式识别、人工智能等技术相结合的手段分析理解这些图像，对三维世界进行描述和解释，最终目标是能够代替人脑完成对现实世界的认识与理解。

双目立体视觉***是一种先进的计算机视觉***，它模拟人类双眼的立体感知过程，使用双目摄像机从两个不同的位置获得平面视图，可分析得到物体的三维深度信息，能够有效避免场景光线变化、阴影、透视效应及遮挡的影响。相比于常用的单目视觉检测技术，采用双目立体视觉技术可灵活适应不同的应用场景，得到更好的行人检测精度，进而可以更加准确地评估柜台的吸引力与商业价值。

发明内容

鉴于目前存在的上述不足，本发明提供一种基于双目立体视觉行人检测的柜台评价方法与***，能够检测并分析商场中柜台前行人速度、数量的***，并进而给出柜台的吸引力与商业价值。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于双目立体视觉的行人检测***，包括双目平行摄像机、DSP处理器、通信模块和上位主机，所述双目平行摄像机包括左摄像机A1、右摄像机A2，分别与DSP处理器相连，用于采集左右图像；所述DSP处理器与上位主机相连，用于数据通信及实时数字视频传输。

一种基于双目立体视觉行人检测的柜台评价方法，采用上述***进行检测和评价，所述方法包括以下步骤：

标定左右摄像机，精确标定主点差；

同步采集左右图像，通过混合高斯背景建模检测前景运动目标；

按照自适应的窗口立体匹配方法得到前景目标的视差图像；

生成前景目标在地面上的二维投影图像；

对行人进行检测、跟踪、计数和平均速度计算；

进行柜台吸引力及商业价值的分析及评价。

依照本发明的一个方面，所述步骤标定左右摄像机，精确标定主点差包括：标定左右摄像机获得摄像机内外参数，再采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，确定***的检测范围。

依照本发明的一个方面，所述标定左右摄像机获得摄像机内外参数，再采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，确定***的检测范围，其具体如下：

左右摄像机分别采集若干张图片，根据张氏标定算法进行标定，可得到摄像机内外参数；

将双目摄像机平放在一定高度，垂直向下拍摄地面，人工测量摄像机离地面的高度；

根据平行双目***测距原理，计算理论视差值，公式为：

其中，l_r-l_l为同一位置像素点水平方向的理论视差值，f、B和H分别为摄像机的焦距、左右摄像机间基线距离以及摄像机离地高度；

在右视图中选取任一特征点(x_r,y_r)，为了易于匹配，一般取位于图像中心且纹理明显区域的像素点；通过区域匹配法，在左视图中搜索到特征点(x_r,y_r)的对应像素点(x_l,y_l)，得到实际视差值x_l-x_r和y_l-y_r；

将理论视差值与实际视差值做差值计算，得到双目摄像机两个坐标方向上的精确的主点差数值；

在采集图像上人工划定图像中的左右检测边界a、b，确定行人检测区域。

依照本发明的一个方面，所述步骤同步采集左右图像，通过混合高斯背景建模检测前景运动目标包括：同步采集左右图像，利用背景差分法进行前景运动目标的检测和提取包括：同步采集左右图像，对图像通过混合高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取，具体如下，

利用混合高斯模型构建图像背景帧B_k，对于某一时间t，任一背景像素的混合高斯概率分布可表示为：

ω_it＝(1-α)ω_i(t-1)+αM_Nt (3)

其中N表示混合高斯模型的个数，ω_it是t时刻第i个高斯模型的权值，η是高斯分布函数，学习率是α。模型匹配则M_Nt＝1，否则M_Nt＝0。当像素点与第i个模型匹配时，高斯分布中的均值与方差更新公式如下：

μ_it＝(1-β_i)μ_i(t-1)+β_ix_t (4)

使用背景差分法，将视频图像的当前帧f_k与背景图像B_k相减，若两者像素差值D_k大于某一阈值T，即可判定此像素是运动目标上的像素，否则为背景像素点。检测出前景后，过滤背景，分割出前景g_k(x,y)。用公式表示如下：

D_k(x,y)＝|f_k(x,y)-B_k(x,y)| (6)

依照本发明的一个方面，所述步骤按照自适应的窗口立体匹配方法得到前景目标的视差图像包括：对已提取获得的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到前景目标的视差图 像，具体如下：

利用区域匹配方法，依据标定主点差在对应的行扫描线上进行匹配。初始窗口大小为15*3；

在初始窗口内统计像素灰度值方差，如果小于预设定的阈值，则说明初始窗口所包含的纹理信息不够多，则将匹配窗口宽度扩大50％，然后继续计算灰度值方差并进行比较，直到达到图像宽度的1/5；

匹配窗口内图像相似性测度采用NCC(Normalized Cross-Correlation)归一化互相关函数。像素级测度计算后对测度NCC(x,y,d)值进行两次型插值，得到NCC(x,y,d)最大值所对应的偏移量d，即是所得的亚像素级精度视差。

依照本发明的一个方面，所述步骤生成前景目标在地面上的二维投影图像包括：利用标定结果和前景目标视差生成前景目标在地面上的二维投影图像，具体如下：

根据视差计算深度信息。利用平行双目测距原理，求得各前景像素的摄像机坐标系(Xc，Yc，Zc)中的Zc为：

其中d是像素视差值，f、B分别为摄像机的焦距、左右摄像机间基线距离；

从像素坐标系(u,v)转换成摄像机坐标系的Xc，Yc。计算公式为：

其中，u0,v0是摄像机主点；dx,dy是像素在x轴和y轴方向上的物理尺寸；

由世界坐标系(Xw，Yw，Zw)与摄像机坐标系之间的转换关系式可以得到(u,v)像素点对应的世界坐标系的值，转换公式为：

式中外参数R，T已由标定得到。(Xw，Yw)表示该像素点在世界坐标系的位置，Zw表示目标的高度；

生成前景目标在世界坐标系Ow-XwYw上的二维地面投影图像。目标在投影图像上的灰度值用高度Zw表示。

依照本发明的一个方面，所述步骤利用标定结果和前景目标视差生成前景目标在地面上的二维投影图像包括：可根据行人高度的取值范围，过滤阴影误检区域。

依照本发明的一个方面，所述步骤对行人进行检测、跟踪、计数和平均速度计算包括：在投影图像中对行人进行检测与跟踪，计算行人的平均速度并进行双方向行人计数，具体如下：

行人目标检测。对投影图中的运动目标块进行标记，去除噪声和干扰小目标，以各目标块的质心表示目标的位置，同时记录其平均灰度；

行人目标匹配跟踪。在视频相邻两帧上，从多个目标中寻找最佳匹配目标时，定义一种代价函数用于衡量两个匹配目标的相似度，代价函数定义如下：

式中，S(x,yn)为目标x和目标yn的投影灰度平均值之差的绝对值，Dx(x,yn)为x和yn的中心点在图像行方向的距离，Dy(x,yn)为x和yn的中心点在图像列方向的距离，a,b的取值分别表示上述两个测量标准在代价函数中所占权重，可根据实际情况调整。F(x,yn)函数值越小，说明两个目标相似度越大，故如果目标yn使函数F(x,yn)的取值达到最小，则下一帧图像上的目标yn为上一帧目标x的最佳匹配目标；

行人平均速度计算及方向判断。当目标越过左右边界线a,b时，根据其运动方向确定是新进目标还是离开检测区域目标。对新进目标，记录其进入时间和位置；对离开区域的目标记录其离开时间和位置，据此计算其经过检测区域的平均速度，并对相应方向的计数数量加一。

依照本发明的一个方面，所述步骤进行柜台吸引力及商业价值的分析及评价包括：根据柜台前行人的平均速度与数量，统计分析柜台对行人的吸引力及商业价值，具体如下：

记录一段时间内所有经过的行人的数量及每人的平均速度；

用三个指标描述柜台吸引力，第一个指标是：

W＝P(v_0.4)+0.8P(v_0.8)+0.6P(v_1.2)+0.4P(v_1.6)+0.2P(v_1.6) (12)

式中P(v_0.4)、P(v_0.8)、P(v_1.2)、P(v_1.6)、P(v _1.6)分别表示一段时间内过往人数在速度0～0.4m/s，0.4～0.8m/s，0.8～1.2m/s，1.2～1.6m/s，≥1.6m/s区间上的概率；

W取值范围为[0.2,1]，划分四个区间：0.2～0.4、0.4～0.6、0.6～0.8、0.8～1，分别递增表示四个吸引力程度，值越大吸引力越大；

第二个指标为一段时间所有行人平均速度倒数的平均值：

式中n表示一段时间通过的总人数，vi表示第i个人通过的平均速度。V越大，柜台对行人吸引力越大，反之越小；

第三个指标是柜台前经过的总人数里平均速度小于1.2m/s(大小可以根据实际情况调整)的行人占比，比值越高反映柜台的吸引力越大；

用一段时间内经过的总人数、人群平均速度的均值两个指标反映柜台商业价值，感兴趣的人群数量越大、平均速度均值越小，则柜台商业价值越大，反之则越小。

本发明实施的优点：本发明采用双目摄像机，利用立体视觉原理，得到行人目标的深度信息，解决了单目视觉技术普遍存在的对光线变化及复杂背景敏感、易受阴影干扰的问题；利用目标映射到二维地平面的投影图像，实现对行人的跟踪与平均速度的计算。本发明提出的基于双目立体视觉行人检测的柜台吸引力与价值分析***，能有效地对拍摄到的商场柜台前过道上的行人进行检测，算法鲁棒性高，抗干扰性强，可准确地对行人进行双方向计数与平均速度的计算。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述的一种基于双目立体视觉的行人检测***的硬件***构成示意图；

图2为本发明所述的一种双目立体视觉的行人检测方法示意图；

图3为本发明所述的一种基于双目立体视觉行人检测的柜台评价方法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于双目立体视觉的行人检测***，包括双目平行摄像机、DSP处理器、通信模块和上位主机，所述双目平行摄像机包括左摄像机A1、右摄像机A2，分别与DSP处理器相连，用于采集左右图像；所述DSP处理器通过通信模块与上位主机相连，用于数据通信及实时数字视频传输。所述通信模块可为网口、WIFI通信模块等。

如图2所示，本***的应用场景是在商场的过道上进行以行人为目标的检测。根据商场布置的实际情况，本***摄像机设备设计成靠柜台一侧安装，倾斜拍摄过道视频图像；为了使左右摄像机采集的视图易于立体匹配，两摄像机需处于同一高度，两摄像机间的基线平行于过道方向。

如图3所示，一种基于双目立体视觉行人检测的柜台评价方法，采用上述***进行检测和评价，所述方法包括以下步骤：

步骤S1：标定左右摄像机，精确标定主点差；

所述步骤标定左右摄像机，精确标定主点差包括：标定左右摄像机获得摄像机内外参数，再采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，确定***的检测范围。其具体实施方式为：

左右摄像机分别采集若干张图片，根据张氏标定算法进行标定，可得到摄像机内外参数；

将双目摄像机平放在一定高度，垂直向下拍摄地面，人工测量摄 像机离地面的高度；

根据平行双目***测距原理，计算理论视差值，公式为：

其中，l_r-l_l为同一位置像素点水平方向的理论视差值，f、B和H分别为摄像机的焦距、左右摄像机间基线距离以及摄像机离地高度；

在右视图中选取任一特征点(x_r,y_r)，为了易于匹配，一般取位于图像中心且纹理明显区域的像素点；通过区域匹配法，在左视图中搜索到特征点(x_r,y_r)的对应像素点(x_l,y_l)，得到实际视差值x_l-x_r和y_l-y_r；

将理论视差值与实际视差值做差值计算，得到双目摄像机两个坐标方向上的精确的主点差数值；

在采集图像上人工划定图像中的左右检测边界a、b，确定行人检测区域。

步骤S2：同步采集左右图像，通过混合高斯背景建模检测前景运动目标；

所述步骤同步采集左右图像，通过混合高斯背景建模检测前景运动目标包括：同步采集左右图像，利用背景差分法进行前景运动目标的检测和提取包括：同步采集左右图像，对图像通过混合高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取，具体如下，

利用混合高斯模型构建图像背景帧B_k，对于某一时间t，任一背景像素的混合高斯概率分布可表示为：

ω_it＝(1-α)ω_i(t-1)+αM_Nt (3)

其中N表示混合高斯模型的个数，ω_it是t时刻第i个高斯模型的权值，η是高斯分布函数，学习率是α。模型匹配则M_Nt＝1，否则M_Nt＝0。当像素点与第i个模型匹配时，高斯分布中的均值与方差更新公式如下：

μ_it＝(1-β_i)μ_i(t-1)+β_ix_t (4)

使用背景差分法，将视频图像的当前帧f_k与背景图像B_k相减，若两者像素差值D_k大于某一阈值T，即可判定此像素是运动目标上的像素，否则为背景像素点。检测出前景后，过滤背景，分割出前景g_k(x,y)。用公式表示如下：

D_k(x,y)＝|f_k(x,y)-B_k(x,y)| (6)

步骤S3：按照自适应的窗口立体匹配方法得到前景目标的视差图像；

依照本发明的一个方面，所述步骤按照自适应的窗口立体匹配方法得到前景目标的视差图像包括：对已提取获得的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到前景目标的视差图像，具体如下：

利用区域匹配方法，依据标定主点差在对应的行扫描线上进行匹配。初始窗口大小为15*3；

在初始窗口内统计像素灰度值方差，如果小于预设定的阈值，则说明初始窗口所包含的纹理信息不够多，则将匹配窗口宽度扩大50％，然后继续计算灰度值方差并进行比较，直到达到图像宽度的1/5；

匹配窗口内图像相似性测度采用NCC(NormalizedCross-Correlation)归一化互相关函数。像素级测度计算后对测度NCC(x,y,d)值进行两次型插值，得到NCC(x,y,d)最大值所对应的偏移量d，即是所得的亚像素级精度视差。

步骤S4：生成前景目标在地面上的二维投影图像；

所述步骤生成前景目标在地面上的二维投影图像包括：利用标定结果和前景目标视差生成前景目标在地面上的二维投影图像，具体如下：

根据视差计算深度信息。利用平行双目测距原理，求得各前景像素的摄像机坐标系(Xc，Yc，Zc)中的Zc为：

其中d是像素视差值，f、B分别为摄像机的焦距、左右摄像机间基线距离；

从像素坐标系(u,v)转换成摄像机坐标系的Xc，Yc。计算公式为：

其中，u0,v0是摄像机主点；dx,dy是像素在x轴和y轴方向上的物理尺寸；

由世界坐标系(Xw，Yw，Zw)与摄像机坐标系之间的转换关系式可以得到(u,v)像素点对应的世界坐标系的值，转换公式为：

式中外参数R，T已由标定得到。(Xw，Yw)表示该像素点在世界坐标系的位置，Zw表示目标的高度；

生成前景目标在世界坐标系Ow-XwYw上的二维地面投影图像。目标在投影图像上的灰度值用高度Zw表示。

在实际应用时，可根据行人高度的取值范围，过滤阴影等误检区域。

步骤S5：对行人进行检测、跟踪、计数和平均速度计算；

所述步骤对行人进行检测、跟踪、计数和平均速度计算包括：在投影图像中对行人进行检测与跟踪，计算行人的平均速度并进行双方向行人计数，具体如下：

行人目标检测。对投影图中的运动目标块进行标记，去除噪声和干扰小目标，以各目标块的质心表示目标的位置，同时记录其平均灰度；

行人目标匹配跟踪。在视频相邻两帧上，从多个目标中寻找最佳匹配目标时，定义一种代价函数用于衡量两个匹配目标的相似度，代 价函数定义如下：

式中，S(x,yn)为目标x和目标yn的投影灰度平均值之差的绝对值，Dx(x,yn)为x和yn的中心点在图像行方向的距离，Dy(x,yn)为x和yn的中心点在图像列方向的距离，a,b的取值分别表示上述两个测量标准在代价函数中所占权重，可根据实际情况调整。F(x,yn)函数值越小，说明两个目标相似度越大，故如果目标yn使函数F(x,yn)的取值达到最小，则下一帧图像上的目标yn为上一帧目标x的最佳匹配目标；

行人平均速度计算及方向判断。当目标越过左右边界线a,b时，根据其运动方向确定是新进目标还是离开检测区域目标。对新进目标，记录其进入时间和位置；对离开区域的目标记录其离开时间和位置，据此计算其经过检测区域的平均速度，并对相应方向的计数数量加一。

步骤S6：进行柜台吸引力及商业价值的分析及评价。

所述步骤进行柜台吸引力及商业价值的分析及评价包括：根据柜台前行人的平均速度与数量，统计分析柜台对行人的吸引力及商业价值，具体如下：

记录一段时间内所有经过的行人的数量及每人的平均速度；

用三个指标描述柜台吸引力，第一个指标是：

W＝P(v_0.4)+0.8P(v_0.8)+0.6P(v_1.2)+0.4P(v_1.6)+0.2P(v_1.6) (12)

式中P(v_0.4)、P(v_0.8)、P(v_1.2)、P(v_1.6)、P(v _1.6)分别表示一段时间内过往人数在速度0～0.4m/s，0.4～0.8m/s，0.8～1.2m/s，1.2～1.6m/s，≥1.6m/s区间上的概率；

W取值范围为[0.2,1]，划分四个区间：0.2～0.4、0.4～0.6、0.6～0.8、0.8～1，分别递增表示四个吸引力程度，值越大吸引力越大；

第二个指标为一段时间所有行人平均速度倒数的平均值：

式中n表示一段时间通过的总人数，vi表示第i个人通过的平均速度。V越大，柜台对行人吸引力越大，反之越小；

第三个指标是柜台前经过的总人数里平均速度小于1.2m/s(大小可以根据实际情况调整)的行人占比，比值越高反映柜台的吸引力越大；

用一段时间内经过的总人数、人群平均速度的均值两个指标反映柜台商业价值，感兴趣的人群数量越大、平均速度均值越小，则柜台商业价值越大，反之则越小。

本发明实施的优点：本发明采用双目摄像机，利用立体视觉原理，得到行人目标的深度信息，解决了单目视觉技术普遍存在的对光线变化及复杂背景敏感、易受阴影干扰的问题；利用目标映射到二维地平面的投影图像，实现对行人的跟踪与平均速度的计算。本发明提出的基于双目立体视觉行人检测的柜台吸引力与价值分析***，能有效地对拍摄到的商场柜台前过道上的行人进行检测，算法鲁棒性高，抗干扰性强，可准确地对行人进行双方向计数与平均速度的计算。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于双目立体视觉的行人检测***，其特征在于，包括双目平行摄像机、DSP处理器、通信模块和上位主机，所述双目平行摄像机包括左摄像机A1、右摄像机A2，分别与DSP处理器相连，用于采集左右图像；所述DSP处理器与上位主机相连，用于数据通信及实时数字视频传输。

2.一种基于双目立体视觉行人检测的柜台评价方法，采用权利要求1所述***进行检测和评价，其特征在于，所述方法包括以下步骤：

标定左右摄像机，精确标定主点差；

同步采集左右图像，通过混合高斯背景建模检测前景运动目标；

按照自适应的窗口立体匹配方法得到前景目标的视差图像；

生成前景目标在地面上的二维投影图像；

对行人进行检测、跟踪、计数和平均速度计算；

进行柜台吸引力及商业价值的分析及评价。

3.根据权利要求2所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤标定左右摄像机，精确标定主点差包括：标定左右摄像机获得摄像机内外参数，再采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，确定***的检测范围。

4.根据权利要求3所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述标定左右摄像机获得摄像机内外参数，再采用人机交互的方式对左右摄像机进行主点差标定，获得精确的主点差参数，确定***的检测范围，其具体如下：

左右摄像机分别采集若干张图片，根据张氏标定算法进行标定，可得到摄像机内外参数；

将双目摄像机平放在一定高度，垂直向下拍摄地面，人工测量摄像机离地面的高度；

根据平行双目***测距原理，计算理论视差值，公式为：

其中，l_r-l_l为同一位置像素点水平方向的理论视差值，f、B和H分别为摄像机的焦距、左右摄像机间基线距离以及摄像机离地高度；

在右视图中选取任一特征点(x_r,y_r)，为了易于匹配，一般取位于图像中心且纹理明显区域的像素点；通过区域匹配法，在左视图中搜索到特征点(x_r,y_r)的对应像素点(x_l,y_l)，得到实际视差值x_l-x_r和y_l-y_r；

将理论视差值与实际视差值做差值计算，得到双目摄像机两个坐标方向上的精确的主点差数值；

在采集图像上人工划定图像中的左右检测边界a、b，确定行人检测区域。

5.根据权利要求2所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤同步采集左右图像，通过混合高斯背景建模检测前景运动目标包括：同步采集左右图像，对图像通过混合高斯模型构建场景的背景图像，利用背景差分法进行前景运动目标的检测和提取，具体如下，

利用混合高斯模型构建图像背景帧B_k，对于某一时间t，任一背景像素的混合高斯概率分布可表示为：

ω_it＝(1-α)ω_i(t-1)+αM_Nt (3)

其中N表示混合高斯模型的个数，ω_it是t时刻第i个高斯模型的权值，η是高斯分布函数，学习率是α。模型匹配则M_Nt＝1，否则M_Nt＝0。当像素点与第i个模型匹配时，高斯分布中的均值与方差更新公式如下：

μ_it＝(1-β_i)μ_i(t-1)+β_ix_t (4)

使用背景差分法，将视频图像的当前帧f_k与背景图像B_k相减，若两者像素差值D_k大于某一阈值T，即可判定此像素是运动目标上的像素，否则为背景像素点。检测出前景后，过滤背景，分割出前景g_k(x,y)。用公式表示如下：

D_k(x,y)＝|f_k(x,y)-B_k(x,y)| (6)

6.根据权利要求2所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤按照自适应的窗口立体匹配方法得到前景目标的视差图像包括：对已提取获得的前景目标区域，按照自适应的窗口立体匹配方法进行立体匹配，得到前景目标的视差图像，具体如下：

利用区域匹配方法，依据标定主点差在对应的行扫描线上进行匹配。初始窗口大小为15*3；

在初始窗口内统计像素灰度值方差，如果小于预设定的阈值，则说明初始窗口所包含的纹理信息不够多，则将匹配窗口宽度扩大50％，然后继续计算灰度值方差并进行比较，直到达到图像宽度的1/5；

匹配窗口内图像相似性测度采用NCC(Normalized Cross-Correlation)归一化互相关函数。像素级测度计算后对测度NCC(x,y,d)值进行两次型插值，得到NCC(x,y,d)最大值所对应的偏移量d，即是所得的亚像素级精度视差。

7.根据权利要求2所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤生成前景目标在地面上的二维投影图像包括：利用标定结果和前景目标视差生成前景目标在地面上的二维投影图像，具体如下：

根据视差计算深度信息。利用平行双目测距原理，求得各前景像素的摄像机坐标系(Xc，Yc，Zc)中的Zc为：

其中d是像素视差值，f、B分别为摄像机的焦距、左右摄像机间基线距离；

从像素坐标系(u,v)转换成摄像机坐标系的Xc，Yc。计算公式为：

其中，u0,v0是摄像机主点；dx,dy是像素在x轴和y轴方向上的物理尺寸；

由世界坐标系(Xw，Yw，Zw)与摄像机坐标系之间的转换关系式可以得到(u,v)像素点对应的世界坐标系的值，转换公式为：

式中外参数R，T已由标定得到。(Xw，Yw)表示该像素点在世界坐标系的位置，Zw表示目标的高度；

生成前景目标在世界坐标系Ow-XwYw上的二维地面投影图像。目标在投影图像上的灰度值用高度Zw表示。

8.根据权利要求7所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤利用标定结果和前景目标视差生成前景目标在地面上的二维投影图像包括：可根据行人高度的取值范围，过滤阴影误检区域。

9.根据权利要求2所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤对行人进行检测、跟踪、计数和平均速度计算包括：在投影图像中对行人进行检测与跟踪，计算行人的平均速度并进行双方向行人计数，具体如下：

行人目标检测。对投影图中的运动目标块进行标记，去除噪声和干扰小目标，以各目标块的质心表示目标的位置，同时记录其平均灰度；

行人目标匹配跟踪。在视频相邻两帧上，从多个目标中寻找最佳匹配目标时，定义一种代价函数用于衡量两个匹配目标的相似度，代价函数定义如下：

式中，S(x,yn)为目标x和目标yn的投影灰度平均值之差的绝对值，Dx(x,yn)为x和yn的中心点在图像行方向的距离，Dy(x,yn)为x和yn的中心点在图像列方向的距离，a,b的取值分别表示上述两个测量标准在代价函数中所占权重，可根据实际情况调整。F(x,yn)函数值越小，说明两个目标相似度越大，故如果目标yn使函数F(x,yn)的取值达到最小，则下一帧图像上的目标yn为上一帧目标x的最佳匹配目标；

行人平均速度计算及方向判断。当目标越过左右边界线a,b时，根据其运动方向确定是新进目标还是离开检测区域目标。对新进目标，记录其进入时间和位置；对离开区域的目标记录其离开时间和位置，据此计算其经过检测区域的平均速度，并对相应方向的计数数量加一。

10.根据权利要求2所述的基于双目立体视觉行人检测的柜台评价方法，其特征在于，所述步骤进行柜台吸引力及商业价值的分析及评价包括：根据柜台前行人的平均速度与数量，统计分析柜台对行人的吸引力及商业价值，具体如下：

记录一段时间内所有经过的行人的数量及每人的平均速度；

用三个指标描述柜台吸引力，第一个指标是：

W＝P(v_0.4)+0.8P(v_0.8)+0.6P(v_1.2)+0.4P(v_1.6)+0.2P(v_1.6) (12)

式中P(v_0.4)、P(v_0.8)、P(v_1.2)、P(v_1.6)、P(v_1.6)分别表示一段时间内过往人数在速度0～0.4m/s，0.4～0.8m/s，0.8～1.2m/s，1.2～1.6m/s，≥1.6m/s区间上的概率；

W取值范围为[0.2,1]，划分四个区间：0.2～0.4、0.4～0.6、0.6～0.8、0.8～1，分别递增表示四个吸引力程度，值越大吸引力越大；

第二个指标为一段时间所有行人平均速度倒数的平均值：

式中n表示一段时间通过的总人数，vi表示第i个人通过的平均速度。V越大，柜台对行人吸引力越大，反之越小；

第三个指标是柜台前经过的总人数里平均速度小于1.2m/s(大小可以根据实际情况调整)的行人占比，比值越高反映柜台的吸引力越大；

用一段时间内经过的总人数、人群平均速度的均值两个指标反映柜台商业价值，感兴趣的人群数量越大、平均速度均值越小，则柜台商业价值越大，反之则越小。