CN106709438A - 一种基于视频会议的人数统计方法 - Google Patents

Abstract

本发明提出了一种基于视频会议的人数统计方法。该方法包括步骤S1:输入视频会议流；S2:从会议视频流中获取检测窗口S3:对检测窗口进行预处理；S4:并行的两路，第一路对检测窗口提取Muti‑Hog头部特征，并用MI‑SVM训练得到分类器进行检测，并标记出目标。第二路使用使用高效人脸检测库对窗口进行人脸检测，并标记；S5：将两路检测结果输入决策级目标判别器；S6:输出判别结果，完成参会人数统计。其中，第一路主要针对参会人员中低头，被遮挡人员识别，第二路要针对抬头参会人员，该方法主要解决视频会议的背景下存在参会人员抬头，低头，被遮挡以及复杂场景干扰等对人数统计造成的难点，大大提升人数统计的准确性，能够对会议视频流进行实时人数统计。

Description

一种基于视频会议的人数统计方法

技术领域

本发明涉及视频会议技术领域，更具体的说是一种基于视频会议的人数统计方法。

背景技术

视频、图像的采集原理便是基于人眼视觉功能发展而来，是重要的信息载体。因此，随着软硬件技术的不断更新、发展，利用计算机技术实现视觉功能即由计算机来代替人脑对视频中的信息进行处理和解释，成为近年来计算机视觉领域的研究热点之一，其研究成果已广泛应用在国民经济的各个领域，发挥着不同的重要功能。

随着计算机网络和视频技术的快速发展，利用计算机技术实现视觉功能则成为计算机领域目前最热门的课题之一。而人数统计则是计算机视觉领域一个重要的研究方向。基于视频的实时人数统计***就是计算机视觉领域的一个具体应用。它利用各种不断更新和完善的视频图像处理算法借助计算机强大的数据处理功能，对监控视频场景中出现的行人、其它运动物体进行分析、处理，达到识别人，统计人数的目的。

随着视频会议技术的成熟，视频会议已经成为各个行业部门之间远程交流的重要途径。而统计各个分会场与主会场的参会人数情况成为一项繁重的任务。目前，通常采用人工统计的方法，这样人工计数方法的弊端。首先，统计人员的注意力很难长时间保持高度集中，极易在疲倦时漏数人数。其二，是成本方面，人力成本需持续性投入，而设备只需一次性投入。

现阶段已有的一些人数统计技术主要针对视频监控中行人或者人流量的统计，并没有特别适用于视频会议的人数统计。例如：中国专利CN201510970928名称为“一种基于智能视频处理技术的课堂检测方法”，提出了一种基于Adaboost教室人数统计，该方法选择的是人体上半身做的目标来提取特征，由于视频会议会场的原因，往往会议视频中参会人员可能只能看到头部或者半个头部，该方法无法适用于视频会议。

有鉴于此，有必要提出一种方法来对视频会议中人数进行统计，以解决上述问题。

发明内容

本发明的目的在于提供一种视频会议的人数统计方法，其可有效地提高实时统计视频会议中参会人数的效率与准确度。

为实现上述发明目的，本发明提供了一种基于视频图像处理的人数统计方法，所述人数统计方法包括以下步骤:

S1、输入视频会议流；

S2、从视频会议流中获取检测窗口；

S3、对待检测窗口进行预处理,保证检测窗口中目标大小，位置以及目标图像质量的一致性。

S4、并行的两路，第一路对检测窗口提取Muti-Hog头部特征，并用MI-SVM训练得到分类器进行检测，并标记出目标。第二路使用使用高效人脸检测库对窗口进行人脸检测，同时标记目标；

S5、将两路检测结果输入决策级目标判别器；

S6、输出判别结果，得到人数统计结果，完成实时参会人数统计。

作为本发明的进一步方案，所述步骤S1具体为通过摄像机获取视频会议的视频流，摄像机所处位置位于会场斜上方。

为本发明的进一步方案，所述步骤S2具体对接受到的IP报文进行解包后，将视频流传输至服务器中的参会人数统计***中。

发明的进一步方案，所述步骤S3具体预操作为中值滤波与归一化。

作为本发明的进一步方案，所述具体预操作为中值滤波，进行中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性，不会使图像产生显著的模糊，比较适合于视频会议图像。

作为本发明的进一步方案，所述具体预操作为归一化，其目的目的是使不同成像条件(光照强度，方向，距离，姿势等)下视频帧具有尺度一致性，以便于特征提取时的准确性。

作为本发明的进一步方案，所述步骤S3第一路具体提取Muti-Hog头部特征，由于原始Hog的受最初Block设计的影响，仅仅可以测得局部细节特征。本方法在的基础上改进Hog特征，采用三次线性插值的方法对每个cell中的梯度方向进行投票，并采用多种尺度的Block调整Hog的结构。等效地实现了原始Hog中要求块与块重叠带来的较高准确性的优势。多尺度的选择避免了原始Hog中较大的block和较小的block对检测效果不好的缺点。使得多尺度成为一个优势。

作为本发明的进一步方案，所述步骤S3第一路主要针对视频会议中低头，有遮挡人员统计，所用分类器为MI-SVM(Multiple-instance)，本质思想是将标准SVM的最大化样本间距扩展为最大化样本集间距。具体来说是选取正样本集中最像正样本的样本用作训练，正样本集内其它的样本就等候发落。同样取负样本中离分界面最近的负样本作为负样本，优化了SVM模型，提高了SVM的训练效率。同时在训练分类器的时候在原有的正负两类样本的基础上添加了第三类Hard examples用来检测视频中特别难检测的目标，如：只有半张脸以及部分模糊等情况下易漏检的目标。

作为本发明的进一步方案，所述步骤S3第二路主要针对视频会议中正脸抬头人员的检测，主要以Shiqi.Yu高效人脸检测库为基础进行人脸检测，该方法速度快(OpenCVhaar+adaboost的2-3倍),准确度高(FDDB非公开类评测排名第二)。

作为本发明的进一步方案，所述步骤S4对两路输入的检测结果进行判别，

作为本发明的进一步方案，所述步骤S5对S4做出判别的结果，并输出实时统计的人数。

本发明视频人数检测方法，将各大公司企业的视频会议中普遍存在的视频会议的视频流来进行人数分析，是对现有资源的开发利用，可节省人力资源成本。本发明的人数统计方法，能够对视频会议中的人数进行准确统计和标记，实现了视频会议自动化。利用视频会议摄像机位置以及会议视频的特点，选择了对不同目标进行不同检测的分类检测的方法，针对视频会议中正脸人物则采用当前较为先进人脸检测库来检测。针对会议视频中低头，遮挡严重的目标采用头部特征作为分类器学习样本，采用高效的MI-SVM进行训练得到的分类器，能够准确的检测出视频会议中低头以及存在遮挡的人物。最后经过决策级的目标判别从而决定是否为目标。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明一种基于视频会议人数统计方法具体实施方式中的流程示意图；

图2 Muti-Hog的Block的三次线性插值示意图；

图3为本发明中使用MI-SVM训练的流程示意图；

图4(a)-图4(c)为采用本方法进行人数统计的实例照片；

图5为采用daboost+haar人数统计方法进行人数统计的实例照片。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

请参图1所示，图1为本发明一种视频会议人数统计方法的具体实施方式中的流程示意图。该方法包括如下步骤：

步骤S1、输入视频会议的视频流；

该方法所对应的视频会议的摄像机一般位于视频会议会场正前方偏上方45度，将采集到的视频流通过H.264编码通过IP镜像的形式发送到服务器端。

当前许多人数统计方法，需要用到帧差法等许多前景要素的处理，该方法只要训练足够多的实验样本，在不需要前景要素的基础上即可对视频会议人数进行实时统计。

步骤S2、获取检测窗口；

对接受到的IP报文进行解包后，将视频流传输至服务器中的参会人数统计***。

步骤S3、对检测窗口进行预处理。预处理包括中值滤波和归一化。

中值滤波是对一个滑动窗口内的诸像素灰度值排序，用其中值代替窗口中心象素的原来灰度值，它是一种非线性的图像平滑法，它能够抑制视频会议中噪声对视频的影响，在抑制随机噪声的同时能有效保护边缘少受模糊。中值滤波可以过滤尖峰脉冲。目的在于我们对于滤波后的数据更感兴趣。滤波后的数据保留的原图像的变化趋势，同时去除了尖峰脉冲对分析造成的影响。本方法中中值滤波过程如下：

1、将滤波模板(含有若干个点的滑动窗口)在视频帧中漫游，并将模板中心与视频帧中某个像素位置重合；

2、读取模板中各对应像素的灰度值；

3、将这些灰度值从小到大排列；

4、取这一列数据的中间数据，将其赋给对应模板中心位置的像素。如果窗口中有奇数个元素，中值取元素按灰度值大小排序后的中间元素灰度值。如果窗口中有偶数个元素，中值取元素按灰度值大小排序后，中间两个元素灰度的平均值。

视频帧归一化的目的是使不同成像条件下视频帧具有尺度一致性，以便于特征提取时的准确性。以保证提取特征的准确性。

步骤S4、并行的两路，第一路对检测窗口提取Muti-Hog头部特征，并用MI-SVM训练得到分类器进行检测，并标记出目标。第二路使用使用高效人脸检测库对窗口进行人脸检测。

因为视频会议中人员姿势各异，存在抬头，低头，遮挡等各种形态，单一特征如，头肩，人脸，或者头部特征都发保证人数统计的准确性。S4步骤在这种背景下采用两路并行的人员检测。

第一路对检测窗口提取Muti-Hog头部特征，并用MI-SVM训练得到分类器进行检测。这一步选取Muti-Hog头部特征作为检测的特征。视频会议中由于会议桌及参会人员之间的互相遮挡，能获取的有效信息有限，以往的头肩检测以及行人检测的技术无法适用。在这里分类器的识别目标设定为头部作为检测特征，无论是遮挡还是低头情况下，人头可以在该场景下提取的可靠特征，基于人头的视频会议人数检测对视频会议中的参会人数有效、快速、准确地统计。

其中，步骤S4所述Muti-Hog在原始Hog的基础上改进Hog特征,，采用三次线性插值的方法对每个cell中的梯度方向进行投票，并采用多种尺度的Block调整Hog的结构,如图2所示，图中的像素点(X,Y)在利用梯度幅值作为权重进行投票时，要根据该像素点距离其他格子中心的距离进行加权，同时该像素点的梯度方向也要在其相邻的区间内进行插值。最后对生成的21个Block特征进行了特征挑选。选出了14个Block组成的组成多尺度的Hog。

等效地实现了原始Hog中要求块与块重叠带来的较高准确性的优势。多尺度的选择避免了原始Hog中较大的block和较小的block对检测效果不好的缺点。使得多尺度成为一个优势。可以将头部的细节轮廓信息和宏观轮廓信息都提取出来"形成了更好的特征描述。

提取Muti-Hog特征提取方法就是将一个image(你要检测的目标或者扫描窗口)：

1)灰度化(将视频帧看做一个x,y,z(灰度)的三维图像)；

2)采用Gamma校正法对输入视频进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

3)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

4)将图像划分成小cells(这里cell的长宽为Block的一半)；

5)统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor；

6)将每4个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的Muti-HOG特征descriptor。

7)将视频帧内的所有block的Muti-HOG特征descriptor串联起来就可以得到该窗口的Muti-HOG特征descriptor了。

其中，步骤S4所述MI-SVM分类器的训练流程示意图如图3，在原有的正负样本的基础上，为了减少误检，本方法添加另一类样本—Hard Example。Hard example就是一种自举法(Bootstrap)，自举法首先使用初始负样本集来训练一个模型，然后收集被这个初始模型错误分类的负样本来形成一个负样本难例集，再送入分类器进行训练。本流程中，是指利用第一次训练的分类器在负样本原图(肯定没有参会人员)上进行人数检测时所有检测到的矩形框，这些矩形框区域很明显都是误报，把这些误报的矩形框保存为图片，加入到初始的负样本集合中，重新进行SVM的训练，可显著减少误报。

本方法采用的MI-SVM作为训练分类器，对样本提取Muti-Hog特征进行训练得到model,由model生成检测子，用检测子检测负样本，得到Hard Example提取hardexample的Muti-hog特征并结合第一步中的特征一起投入训练，得到最终分类器HOGDescriptorMuti-Hog。

MI-SVM(Multiple-instance learning)本质思想是将标准SVM的最大化样本间距扩展为最大化样本集间距。具体来说是选取正样本集中最像正样本的样本用作训练，正样本集内其它的样本就等候发落。同样取负样本中离分界面最近的负样本作为负样本。第一步是在正样本集中优化；第二步是优化SVM模型,能够大大提升SVM训练的效率。

在该步骤中将检测窗口提取的Muti-Hog的descriptor在训练好得分类器中进行分类判别，并对识别到的人头进行标记，并标记人数为T。

步骤S4中第二路采用的高效人脸检测库来进行视频会议中抬头人员的统计，该人脸检测库速度快(OpenCV haar+adaboost的2-3倍),准确度高(FDDB非公开类评测排名第二)。

步骤S4中第二路的人脸检测他们首先利用椭圆K均值聚类将人脸和非人脸样本各自聚成六个类，这种聚类方法使得人脸与非人脸样本分布的边界比较清晰。然后设置两组距离矩阵来度量检测数据和十二个样本类的距离。最后使用这些距离矩阵来训练一个多层感知器作为分类器进行人脸检测。

所述步骤4第二路中调用人脸检测库的，facedetect_frontal_surveillance()函数进行识别，并将识别到人脸进行标记，该函数面人脸检测的角度范围[-60,60]度，能够很好的完成对抬头人员进行检测。

步骤S5、将两路检测结果输入决策级目标判别器；

其中，步骤S5所述决策级目标判别器，是类似集合理论中的并集的理论。因为两路识别的目标人数中会出现重叠，单纯的相加会造成误检。所以在上述步骤S4中在统计人数的同时该方法还对检测出的目标进行标记，在决策级的判别器中，先统计两者都统计到的参会人员记为U。则实际参会人数:

W＝T+V-U；

步骤S6、在输出窗口显示实际参会人数，随后进行下一窗口检测，完成对视频会议实时参会人数统计。

图4(a)～图4(c)为采用本方法进行人数统计的实例照片；图5为采用daboost+haar人数统计方法进行人数统计的实例照片。从两种方法的对比图可以看出，采用本发明的方法进行人数统计，能够准确的检测出视频会议中低头以及存在遮挡的人物，效率高，准确性好，而采用daboost+haar人数统计方法进行人数统计，其准确性大打折扣。具体的测试结果如下表所示：

实验结果统计表

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于视频会议的人数统计方法，其特征在于，该方法包括：

S1、输入视频会议流；

S2、从视频会议流中获取检测窗口；

S3、对待检测窗口进行预处理,保证检测窗口中目标大小，位置以及目标图像质量的一致性；

S4、并行的两路，第一路对检测窗口提取Muti-Hog头部特征，并用MI-SVM训练得到分类器进行检测，并标记出目标，第二路使用使用高效人脸检测库对窗口进行人脸检测，同时标记目标；

S5、将两路检测结果输入决策级目标判别器；

S6、输出判别结果，得到人数统计结果，完成实时参会人数统计。

2.如权利要求1所述的一种基于视频会议的人数统计方法，其特征在于：在步骤S3中，人头特征优选使用Muti-Hog来提取，Muti-Hog是在原有Hog特征提取的基础上，采用三次线性插值的方法对每个cell中的梯度方向进行投票，并采用多种尺度的Block调整Hog的结构。

3.如权利要求1或2所述一种基于视频会议的人数统计方法，其特征在于：在步骤S3中，在对人头特征进行训练时在原有正负样本的基础添加了一类Hard Example作为特例。

4.如权利要求1所述的一种基于视频会议的人数统计方法，其特征在于：将人脸检测应用到人数统计中来。

5.如权利要求2或4所述的一种基于视频会议的人数统计方法，其特征在于：在步骤S4中，采用决策级的人数判别机制，在统计人数的同时该方法还对检测出的目标进行标记，在决策级目标判别器中，分别统计第一路人数统计结果为T，第二路统计结果为V,统计两者都统计到的参会人员记为U，则实际参会人数:

W＝T+V-U。

6.如权利要求1所述的一种基于视频会议的人数统计方法，其特征在于：在步骤S2中，预处理使用了中值滤波与归一化两种方法。

7.根据权利要求1或2所述的一种基于视频会议的人数统计方法，其特征在于：在步骤S3中，同时使用两种特征人头与人脸来应对视频会议参会人员存在的低头、抬头及被遮挡多种情形，准确统计视频会议参会人数。