CN104504688A - 基于双目立体视觉的客流密度估计的方法和*** - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的客流密度估计的方法和***，它包括双目平行摄像机、DSP处理器、通信模块、视频输出模块等，采用上述***对客流密度进行估计，其步骤为：(1)对左右摄像机进行标定，得出左右摄像机的内外参数；计算左右摄像机的精确主点差；(2)实时采集左右图像并进行位置校正，采用自适应的窗口立体匹配方法得到当前帧视差图像；(3)对前景人体目标进行分割，得到二值化的前景人体目标图像；(4)生成前景人体目标的二维映射图像；(5)计算拥挤度，通过拥挤度与人数的非线性关系得到密度估计。该方法不受场景光线变化、阴影、透视效应及遮挡的影响，***具有设备简单，密度估计准确率高的特点。

Description

基于双目立体视觉的客流密度估计的方法和***

技术领域

本发明是涉及计算机视觉技术应用领域，具体地说是涉及一种基于双目立体视觉的客流密度估计的方法和***。

背景技术

客流密度是指在一个平面上的客流密集程度，可用单位面积上的客流人数表示，用于车站、大厅、广场等人群集聚场所的客流统计与管理。目前，在客流统计领域，基于计算机视觉的方法已成为主要技术手段和研究热点。该类方法分为：基于单目视觉的方法和基于双目立体视觉的方法。

基于单目视觉的方法采用单个摄像机拍摄客流场景画面，具有图像采集、运动目标检测、人头检测与跟踪、客流统计等步骤。该方法成本较低，实施方便。但是，由于很难处理光照变化、透视效应及遮挡阴影等的影响，造成前景目标的检测困难和前景目标的分割误差，导致统计精度较差。

基于双目立体视觉的客流统计方法采用双目摄像机拍摄客流视频图像，利用立体视觉中深度感知原理，从双目视频图像中得到目标的深度信息，再利用深度信息进行前景目标的检测、分割，进而达到密度估计的目的。该类方法虽然理论上可以有效地处理光照变化、透视效应及遮挡阴影等所造成的影响。但是，该类方法摄像机标定繁琐，视差匹配和目标分割算法的计算量大、精度低，由此得到的密度估计***的实时性和适应性较差，估计精度低。

发明内容

本发明的目的在于针对现有基于计算机视觉的客流密度估计技术中存在的问题，提供一种基于双目立体视觉的客流密度估计的方法和***，不仅不受场景光线变化、阴影、透视效应及遮挡的影响，而且设备简单，算法计算量较低，能有效提高客流密度估计的精度和实时性。

为了达到上述目的，本发明采用的技术方案是：

一种基于双目立体视觉的客流密度估计的***，其特征在于：

该***由双目平行摄像机、DSP处理器、通信模块、视频输出模块、上位主机、视频监视器等组，DSP处理器分别与双目平行摄像机、通信模块、视频输出模块连接，通信模块与上位主机连接，视频输出模块与视频监视器连接，所述的双目平行摄像机模块，它包括左摄像机A1、右摄像机A2，分别用于采集左右图像；所述的通信模块，它包括网络接口及RS-485接口，用于与上位主机的数据通信；所述的视频输出模块，用于将客流视频图像输出至视频监视器进行实时监控。

一种采用上述基于双目立体视觉的客流密度估计的***对一个平面上的客流数量进行统计，其具体方法如下：

(1)、对左右摄像机进行标定，得出左右摄像机的内外参数；根据左右摄像机的标定点的视差计算左右摄像机的主点差；

(2)、实时采集左右图像，依据主点差进行位置校正，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像；

(3)、根据当前帧视差图像和背景帧视差图像对前景人体目标进行分割，得到二值化的前景人体目标图像；

(4)、计算前景人体目标图像中每一个像素点对应的二维地平面的位置，生成二维映射图像；

(5)、把地平面上前景人体目标区域面积与背景区域面积做比值得到拥挤度，通过拥挤度与人数的非线性关系得到单位面积人数密度估计。

本发明的基于双目立体视觉的客流密度估计的方法与现有基于单目图像处理的客流密度估计方法相比较，具有如下特征和优点：本发明采用双目摄像机，利用立体视觉原理，得到物体的深度信息，解决了单目视觉技术普遍存在的对光线变化敏感、易受阴影干扰的问题；利用目标映射到二维平面实现前景人体目标的分割，有效克服了透视效应和遮挡，达到密度估计的目的。本发明提出的基于双目立体视觉的客流密度估计的方法适用于车站、展厅、广场等经常会迎来短期的客流高峰的公共场所，不受场景光线变化、阴影、透视效应及遮挡的影响，具有设备简单，密度估计准确率高的特点。

附图说明

图1是本发明的基于双目立体视觉的客流密度估计的方法的硬件***构成示意图。

图2是本发明的基于双目立体视觉的客流密度估计的方法的流程图。

图3是本发明的基于双目立体视觉的客流密度估计的方法的具体实施方式流程示意图。

具体实施方式

以下结合附图对本发明的基于双目立体视觉的客流密度估计的方法及***及作进一步的详细描述。

如图1所示，上述基于双目立体视觉的客流密度估计的***，其特征在于：

该***由双目平行摄像机、DSP处理器、通信模块、视频输出模块、上位主机、视频监视器等组成，DSP处理器分别与双目平行摄像机、通信模块、视频输出模块连接，一起构成客流密度估计装置，通信模块与上位主机连接，视频输出模块与视频监视器连接；

所述的双目平行摄像机模块，它包括左摄像机A1、右摄像机A2，分别用于采集左右图像；

所述的通信模块，它包括网络接口及RS-485接口，分别用于与上位主机的数据通信；

所述的视频输出模块，用于将客流视频图像输出至视频监视器进行实时监控，

***安装时自顶向前下倾斜安装，通过摄像机光轴与摄像机支柱的倾斜角度α的调整以实现设定区域的客流密度估计。夹角越小，则密度估计区域越大。

如图2、图3所示，上述基于双目立体视觉的客流密度估计的方法，采用上述的基于双目立体视觉的客流密度估计的***进行区域的人群密度估计，包括如下步骤：

(1)、对左右摄像机进行标定，得出左右摄像机的内外参数；根据左右摄像机的标定点的视差计算左右摄像机的主点差，计算背景帧视差图像，其具体步骤如下：

(1-1)、采用张正友摄像机标定算法，设置棋盘格标定板，左右摄像机从不同方向拍摄至少三幅图像像素坐标系下的标定图像，提取各标定图像中的角点作为特征点；

(1-2)、利用上述标定图像中的特征点求单应矩阵，然后由单应矩阵求出摄像机的内外参数，包括主点坐标u ₀、v ₀、旋转矩阵R、平移向量T，利用标定结果计算各标定点在X _c Y _c Z _c 摄像机坐标系下的坐标；

(1-3)、根据上述标定点在左右标定图像中的坐标计算左右摄像机的主点差，水平方向的主点差d _u 的计算公式为：

                                     (1)

其中，Z _c 为标定点在摄像机坐标系下的Z轴值，d是标定点在图像像素坐标系水平方向的坐标差，即标定点的视差，B是左右摄像机的基线长度，f是左右摄像机的焦距，对各标定点所求出的主点差进行平均即可得到左右摄像机的主点差；

采用所有标定点在像素坐标系下的v坐标差的平均值作为垂直方向的主点差d _v ；

(1-4)、计算场景背景视差图像；

(2)、实时采集左右图像，依据主点差进行位置校正，按照自适应的窗口匹配方法进行立体视差匹配，得到当前帧视差图像，其具体如下：

(2-1)、实时采集左右摄像机的左右图像，按照步骤(1)所述的左右摄像机主点差，对左图像平移（d _u ,d _v ）以校正主点差对立体匹配的影响，用于下一步的精确视差计算；

 (2-2)、得到当前帧视差图像，首先设左图像中的一幅图像为参考图像，另一幅图像为匹配图像，将参考图像中像素点为中心、大小为像素的块的一个自适应窗口为匹配基元，然后，在匹配图像中以视差范围内每个像素点为中心、大小同为的窗口，依次计算参考图像中待匹配像素的窗口相关性测量值，记为，其相关性测量值表达式如下： (2)

其中， 为图像像素坐标，和分别表示右、左图像的灰度值，和分别为右、左图像中以匹配像素点为中心的窗口内像素平均灰度，为沿极线方向在视差匹配范围内的偏移量，对相关性测量值进行二次型插值，得到相关性测量最大值所对应的偏移量d即是所得的视差；

     利用上述区域匹配的方法对图像所有像素点进行视差计算得到当前帧视差图像，每一像素点的初始自适应窗口宽度为图像宽度的4%，高度是3行，然后在窗口内统计像素的灰度方差，如果灰度方差小于某个门限，说明窗口内包含太少的结构信息，则将匹配窗口的宽度放大50%，继续计算其灰度方差并进行判断，直至大于门限或达到图像宽度的1/5，所用方差门限由实验确定；

     (3)、根据当前帧视差图像和背景帧视差图像对前景人体目标进行分割，得到二值化的前景人体目标图像；

(3-1)、计算视差的背景差，背景帧视差与当前帧视差相减所得的差值记为，其表达式为：

                 (3)

其中，表示像素位置坐标，表示当前帧视差（第k帧），表示背景帧视差，为计算出的视差差值；

(3-2)、计算二值化前景人体目标图像，其表达式为：

                    (4)

其中，T表示视差差值的阈值，由实验确定；

(4)、计算前景人体目标图像中每一个像素点对应的二维地平面的位置，生成二维映射图像，其具体如下：

(4-1)、把图像像素坐标系下的前景人体目标图像中的点，映射至以物理单位(例如毫米）表示的图像坐标系，映射关系为：

                                (5)

   其中，和为每个像素在图像坐标系轴和轴方向上的物理尺寸，u和v为图像像素坐标系中的像素坐标，和为图像的主点坐标；

(4-2)、将图像坐标系中的像素值映射至摄像机坐标系下的轴值、轴值、轴值，其表达关系式如下：

                                   (6)

其中，为摄像机坐标系下的轴上点的坐标值，为摄像机坐标系下的轴上点的坐标值，为摄像机坐标系下的轴上点的坐标值，由以下公式计算得到：

                                       (7)

    其中d是步骤(2)所述的像素点的视差，B是左右摄像机的基线长度，f是左右摄像机的焦距，

(4-3)、将摄像机坐标系中的像素值映射至世界坐标系，得到前景人体目标图像中的每一个像素点对应的二维地平面的位置，计算公式如下：

                        (8)

其中，为空间任意一点的世界坐标 ，R 为摄像机旋转矩阵， T 为摄像机平移向量，在第一步的摄像机标定时确定；

(4-4)、根据所有前景人体目标点的世界坐标位置形成X _w Y _w 地平面分布的二维映射图像，映射图像的X _w Y _w 坐标值，对Z _w 非零的前景人体目标点，其映射图像的灰度值置为1，对Z _w 零的前景人体目标点，其其映射图像的灰度值置为0；

(5)、把地平面上前景人体目标区域面积与背景区域面积做比值得到拥挤度，通过拥挤度与人数的非线性关系得到单位面积人数密度估计，其具体如下：

(5-1)、将背景图像的密度估计区域映射到X _w Y _w 地平面上，得到一个背景映射区域，实际的前景人体目标图像也映射到背景映射区域，把前景人体目标区域面积与背景映射区域面积之比定义为拥挤度，其计算式为：

                                  (9)

其中， S _f 是映射图像中的前景人体目标图像面积， S _b 是背景映射区域面积， y是拥挤度；

(5-2)、拥挤度与实际场景中单位面积人数之间的关系用二次型多项式进行拟合，其拟合关系式为：

                             (10)

其中，、、分别为二次型多项式系数，其系数值由实际场景中的拥挤度和单位面积的人数之间的实验值预先标定，通常，单位面积采用平方米，每平方米的人数即是所估计的人群密度。

重复步骤2-5即可得到实时的人群密度估计。

Claims (7)

1.一种基于双目立体视觉的客流密度估计的***，其特征在于： 该***由双目平行摄像机、DSP处理器、通信模块、视频输出模块、上位主机、视频监视器等组成，DSP处理器分别与双目平行摄像机、通信模块、视频输出模块连接，通信模块与上位主机连接，视频输出模块与视频监视器连接，所述的双目平行摄像机模块，它包括左摄像机A1、右摄像机A2，分别用于采集左右图像；所述的通信模块，它包括网络接口及RS-485接口，用于与上位主机的数据通信；所述的视频输出模块，用于将客流视频图像输出至视频监视器进行实时监控。

2.一种基于双目立体视觉的客流密度估计的方法，采用根据权利要求1所述述基于双目立体视觉的客流密度估计的***对一个平面上的客流数量进行统计，其特征在于，该方法步骤如下：

(1)、对左右摄像机进行标定，得出左右摄像机的内外参数；根据左右摄像机的标定点的视差计算左右摄像机的主点差；

(2)、实时采集左右图像，依据主点差进行位置校正，按照自适应的窗口立体匹配方法进行立体匹配，得到当前帧视差图像；

(3)、根据当前帧视差图像和背景帧视差图像对前景人体目标进行分割，得到二值化的前景人体目标图像；

(4)、计算前景人体目标图像中每一个像素点对应的二维地平面的位置，生成二维映射图像；

(5)、把地平面上前景人体目标区域面积与背景区域面积做比值得到拥挤度，通过拥挤度与人数的非线性关系得到单位面积人数密度估计。

3.根据权利要求2所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(1)所述的对左右摄像机进行标定，得出左右摄像机的内外参数；根据左右摄像机的标定点的视差计算左右摄像机的主点差，其具体步骤如下：

(1-1)、采用张正友摄像机标定算法，设置棋盘格标定板，左右摄像机从不同方向拍摄至少三幅图像像素坐标系下的标定图像，提取各标定图像中的角点作为特征点；

(1-2)、利用上述标定图像中的特征点求单应矩阵，然后由单应矩阵求出摄像机的内外参数，包括主点坐标u ₀、v ₀、旋转矩阵R、平移向量T，利用标定结果计算各标定点在X _c Y _c Z _c 摄像机坐标系下的坐标；

(1-3)、根据上述标定点在左右标定图像中的坐标计算左右摄像机的主点差，水平方向的主点差d _u 的计算公式为：

                                     (1)

其中，Z _c 为标定点在摄像机坐标系下的Z轴值，d是标定点在图像像素坐标系水平方向的坐标差，即标定点的视差，B是左右摄像机的基线长度，f是左右摄像机的焦距，对各标定点所求出的主点差进行平均即可得到左右摄像机的主点差。

4.根据权利要求3所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(2)所述的实时采集左右图像，依据主点差进行位置校正，按照自适应的窗口匹配方法进行立体视差匹配，得到当前帧视差图像，其具体如下：

(2-1)、实时采集左右摄像机的左右图像，按照步骤(1)所述的左右摄像机主点差，对左图像平移（d _u ,d _v ）以校正主点差对立体匹配的影响，用于下一步的精确视差计算；

(2-2)、得到当前帧视差图像，首先设左图像中的一幅图像为参考图像，另一幅图像为匹配图像，将参考图像中像素点为中心、大小为像素的块的一个自适应窗口为匹配基元，然后，在匹配图像中以视差范围内每个像素点为中心、大小同为的窗口，依次计算参考图像中待匹配像素的窗口相关性测量值，记为，其相关性测量值表达式如下：

        (2)

其中， 为图像像素坐标，和分别表示右、左图像的灰度值，和分别为右、左图像中以匹配像素点为中心的窗口内像素平均灰度，为沿极线方向在视差匹配范围内的偏移量，对相关性测量值进行二次型插值，得到相关性测量最大值所对应的偏移量d即是所得的视差。

5.根据权利要求4所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(3)所述的根据当前帧视差图像和背景帧视差图像对前景人体目标进行分割，得到二值化的前景人体目标图像；

(3-1)、计算视差的背景差，背景帧视差与当前帧视差相减所得的差值记为，其表达式为：

               (3)

其中，表示像素位置坐标，表示当前帧视差（第k帧），表示背景帧视差，为计算出的视差差值；

(3-2)、计算二值化前景人体目标图像，其表达式为：

                      (4)

其中，T表示视差差值的阈值，由实验确定。

6.根据权利要求5所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(4)所述的计算前景人体目标图像中每一个像素点对应的二维地平面的位置，生成二维映射图像，其具体如下：

(4-1)、把图像像素坐标系下的前景人体目标图像中的点，映射至以物理单位（例如毫米）表示的图像坐标系，映射关系为：

                               (5)

   其中，和为每个像素在图像坐标系轴和轴方向上的物理尺寸，u和v为图像像素坐标系中的像素坐标，和为图像的主点坐标；

(4-2)、将图像坐标系中的像素值映射至摄像机坐标系下的轴值、轴值、轴值，其表达关系式如下：

                                  (6)

其中，为摄像机坐标系下的轴上点的坐标值，为摄像机坐标系下的轴上点的坐标值，为摄像机坐标系下的轴上点的坐标值，由以下公式计算得到：

                                     (7)

    其中d是步骤(2)所述的像素点的视差，B是左右摄像机的基线长度，f是左右摄像机的焦距，

(4-3)、将摄像机坐标系中的像素值映射至世界坐标系，得到前景人体目标图像中的每一个像素点对应的二维地平面的位置，计算公式如下：

                     (8)

其中，为空间任意一点的世界坐标 ，R 为摄像机旋转矩阵， T 为摄像机平移向量，在第一步的摄像机标定时确定；

(4-4)、根据所有前景人体目标点的世界坐标位置形成X _w Y _w 地平面分布的二维映射图像，映射图像的X _w Y _w 坐标值，对Z _w 非零的前景人体目标点，其映射图像的灰度值置为1，对Z _w 零的前景人体目标点，其其映射图像的灰度值置为0。

7.根据权利要求6所述的基于双目立体视觉的客流密度估计的方法，其特征在于，上述步骤(5)所述的把地平面上前景人体目标区域面积与背景区域面积做比值得到拥挤度，通过拥挤度与人数的非线性关系得到单位面积人数密度估计，其具体如下：

(5-1)、将背景图像的密度估计区域映射到X _w Y _w 地平面上，得到一个背景映射区域，实际的前景人体目标图像也映射到背景映射区域，把前景人体目标区域面积与背景映射区域面积之比定义为拥挤度，其计算式为：

                                    (9)

其中， S _f 是映射图像中的前景人体目标图像面积， S _b 是背景映射区域面积， y是拥挤度；

(5-2)、拥挤度与实际场景中单位面积人数之间的关系用二次型多项式进行拟合，其拟合关系式为：

                              (10)

其中，、、分别为二次型多项式系数，其系数值由实际场景中的拥挤度和单位面积的人数之间的实验值预先标定。