CN111353338B - 一种基于营业厅视频监控的能效改进方法 - Google Patents

Abstract

本发明提供了一种基于营业厅视频监控的能效改进方法，包括以下步骤：A、获取实时视频监控，确认所述视频监控中的人员信息；B、基于所述人员信息确认不同业务的办理时间，从而确定出不同员工的办理效率；C、基于所述办理效率调整员工分配；所述人员信息至少包括对客户及员工的识别、定位和跟踪。由上，可以通过对客户及员工的识别、定位和跟踪判断出客户办理业务的时间，以及员工办理业务的效率，从而调整员工分配，以达到营业厅最高的运行效率。

Description

一种基于营业厅视频监控的能效改进方法

技术领域

本发明涉及视频监控技术领域，特别是一种基于营业厅视频监控的能效改进方法。

背景技术

现有技术对于营业厅的监控存在着许多难点，例如：外观差异较大，例如在不同的角度，行人的外观是很不一样的。处于不同姿态、不同衣着(包括打伞、戴帽子、戴围巾、提行李等附着物)的行人，外观差异也很大。又例如追踪困难大，由于行人非常密集，存在严重的遮挡，我们只能看到人体的一部分。再例如背景复杂，行人检测一般面临的背景都非常复杂，有些物体的外观和形状、颜色、纹理很像人体，导致算法无法准确的区分。

对于营业厅运行的监督往往依赖于营业厅视频监控技术，如果无法依据视频监控技术对营业厅进行有效的监督，则对于营业厅能效的改进存在着掣肘。

发明内容

本发明的主要目的在于提供一种基于营业厅视频监控的能效改进方法，包括以下步骤：

A、获取实时视频监控，确认所述视频监控中的人员信息；

B、基于所述人员信息确认不同业务的办理时间，从而确定出不同员工的办理效率；

C、基于所述办理效率调整员工分配；

所述人员信息至少包括对客户及员工的识别、定位和跟踪。

由上，可以通过对客户及员工的识别、定位和跟踪判断出客户办理业务的时间，以及员工办理业务的效率，从而调整员工分配，以达到营业厅最高的运行效率。

其中，步骤A中，所述确认所述视频监控中的人员信息包括：

将所述视频监控的图像进行背景建模，以确定背景模型和前景图像；

在所述前景图像中进行包括人形检测、人脸检测、人脸识别、人员定位、人员统计的步骤。

由上，实现对客户及员工的识别、定位和跟踪。

其中，步骤A中，还包括对视频监控进行语音识别的步骤。

由上，针对吃东西、电话聊天等非常小的动作在在视频中存在识别难度的情况，采用语音识别方式可以配合视频监控来实现。从而更有效的对营业厅进行视频监控。

其中，将所述视频监控的图像进行背景建模的步骤包括：对图像中每一个像素点的颜色值建立混合高斯模型，通过一段时间的采样观测，根据各个高斯分布的持续性和变动性的差异确定真实背景，所述真实背景所对应的高斯分布作为背景模型。

由上，利用高斯混合模型实现背景建模就是用来描述多模态场景，在不断更新背景模型的同时，在新一帧图像中直接检测出属于目标的像素点，减少了计算差分图像和二值化图像等环节，有效地提高了检测速度。

其中，所述步骤B包括：

对客户进行识别、定位和跟踪，获取客户进入营业厅的时间，根据在不同业务区域停留的时间获得用户办理业务的等待时长和办理时长，从而对业务办理的效率进行统计。

所述步骤B还包括：对客户的移动轨迹或者行为模式与正常移动轨迹或正常行为模式进行比较，从而对客户的安全行为进行监测。

由上，可以对客户的业务办理行为和安全行为进行有效的检测和判断。

其中，所述步骤B还包括：对各工作人员进行识别和定位，根据各工作人员离开和返回工位的时间节点，进行离席时间分析，从而对各工作人员的业务办理效率进行统计。

由上，可以对员工的业务办理效率进行统计和评估。

其中，步骤C后还包括，基于所述办理效率的历史数据，对不同客户办理特定业务分配特定的员工；

所述特定的员工包括办理特定业务效率最高的员工。

由上，基于客户进出营业厅的历史频次，与其办理的业务类型和数量进行匹配，分析该人员关注的业务点，提出为该人员提供个性化、精准化服务的相关建议。例如某客户办理某一项业务时间长，则安排办理该业务用时最短的员工接待，从而可以提高效率。

附图说明

图1为基于营业厅视频监控的能效改进方法第一实施例的原理示意图；

图2为基于营业厅视频监控的能效改进方法第二实施例的原理示意图。

具体实施方式

本申请通过视频分析技术，对营业厅工作环境、工作人员、客户业务办理过程等几个方面进行深度发掘，辅助管理人员对营业厅业务办理的效率进行人工干预，如增加业务办理坐席数量，对客户进行人工分流和业务指引，以提高客户办理业务的效率。通过对客户办理业务花费时间的统计分析，评价营业厅接待客户的效率。另外，通过对大量营业厅客户办理业务的行为、轨迹等的分析和提取，建立客户在营业厅正常的行为模式、行动轨迹及等候区域的数据模型，对进入营业厅人员的轨迹、行为通过该数据模型进行比对，判断其行为模式是否正常。

前述视频分析技术主要包括：客户体验监测，营业厅服务人员行为监督。

其中客户体验监测包含营业厅效能监测分析和客户轨迹分析及异常行为监测。

营业厅服务人员行为监督包含营业厅服务人员到岗、离岗稽查。

如图1所示为客户体验监测的流程图，包括以下步骤：

S101：实时视频监控。

以营业厅为例，在营业厅的不同位置架设摄像装置，从而将所述营业厅设置为监控区域。

S102：视频处理过程，本过程包括以下几个子步骤：

首先，使用清晰化算法对视频图像进行去噪、去雾、去模糊等预处理。

其次对于不同场景采取了不同的策略：对于营业厅大厅中人员(客户)行为(例如奔跑、打架等行为)采用了视频动作识别的方式。对于营业厅工作人员在工位上的一些动作，采用了基于静态图像的识别。所述基于静态图像的识别包括：静态人脸考勤机在进行人脸识别的时候，人需要在考勤机前不断地调整脸部角度以便于考勤机抓拍到正面、合格的人脸图像来进行比对。设备的算法是比较简单的。这样一来时间就比较长。而所述视频动作识别是在人正常的行走过程中进行人脸判断、追踪、抓拍、比对，需要应对光线、角度、抓拍模糊等问题，比对要求又快又准。

但是需要说明的是，吃东西、电话聊天等非常小的动作在远镜头视频下识别还存在技术难度，因此这部分可以考虑结合或者语音识别来实现。

视频图像背景建模；

背景建模技术是视频图像中运动目标检测的一种方法，其基本思想是对图像的背景进行建模，其原理是将当前的图像与背景模型进行某种比较，根据比较结果确定前景目标(需要检测的运动目标)。

利用高斯混合模型实现背景建模就是用来描述多模态场景的一种方法。该方法能在不断更新背景模型的同时，在新一帧图像中直接检测出属于目标的像素点，减少了计算差分图像和二值化图像等环节，有效地提高了检测速度。算法的基本思想是：对图像中每一个像素点的颜色值建立混合高斯模型，通过一段时间的采样观测，根据各个高斯分布的持续性和变动性的差异，判断哪一个分布更加接近于真实背景，该高斯分布就作为背景模型。如果图像中像素点的颜色值不符合该高斯分布，则被认为是目标点。具体计算方法如下。

设图像中位置为(x0,y0)的像素点在一段时间内的观测值为：

{X₁，…,Xt}＝{I(x₀,y₀,i):1≤i≤t}——式1

利用多个高斯分布对式1中的观测值进行建模，可以得到当前像素点的颜色值概率为：

其中，K为高斯分布的个数(通常取3-5)；ω_i,t为权重的估计值，即t时刻该像素点属于第i个高斯分布的可能性的大小；μ_i,t为t时刻第i个高斯分布的均值；Σ_i,t为第i个高斯分布的协方差矩阵；η为高斯分布概率密度函数：

为了计算简便，假定像素点颜色值的三个分量(R,G,B)相互独立，并且具有相同的方差，则式3中的协方差矩阵可以写为：

这样，就建立起了被观察像素点(x0,y0)颜色值的高斯混合模型。对于输入图像中的像素点(x0,y0,t)，将它的颜色值与已存在的K个高斯分布相比较，判断其是否和已经存在的高斯分布相匹配，如果匹配，则该像素点为背景点。所谓“匹配”，即满足式5。

|(X_t-μ_i,t-1)|＜TH×σ_i,t-1——式5

其中，μ_i,t-1为第i个高斯分布在t-1时刻的均值，TH通常取2.5，σ_i,t-1为第i个高斯分布在t-1时刻的标准偏差。

如果没有找到匹配的高斯分布，则将输入像素的颜色值作为均值，建立一个新的高斯分布，代替之前K个高斯分布中概率最小、权重最低的分布，该分布具有较大的方差和较低的权重，从而重新建立背景模型。

如果存在匹配的高斯分布，则背景模型中各个参数进行如下更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)——式6

μ_t＝(1-ρ)μ_t-1+ρX_t——式7

其中，α是模型学习速率，1/α表征了模型参数变化的速率；对于匹配的高斯分布M_k,t为1，其余不匹配的高斯分布M_k,t为0；式7和式8只针对于匹配的高斯分布，其余不匹配的高斯分布对应的参数保持不变；ρ为参数学习速率，定义为：

ρ＝αη(X_t|μ_k,σ_k)——式9

这样，通过式6～式9，就实现了高斯混合模型的更新。高斯混合模型的方法，能够充分表征场景的多模态特性；可以很快适应背景的变化，即使是当场景中有光照变化、小幅度重复运动时，也能检测出运动目标；如果场景中有目标进入，长时间停留而成为背景，高斯混合模型方法同样可以及时地更新背景模型。

根据上述步骤建立的背景模型，对视频图像中的运动目标进行监测，确定该视频图像中所有区别于背景模型的前景目标。所述前景目标即包括客户的轨迹，采用视频动作识别技术，具体包括：

人形检测：

在视频监控中，自动在场景中搜索人体被视为理解人类活动的首要预处理步骤。本申请采用方向梯度直方图特征(HOG，Histogram of Oriented Gradient)来描述感兴趣目标，同时采用隐支持向量机分类器(LSVM，Lagrangian Support Vector Machine)对前述向梯度直方图特征进行训练和分类，随后运用隐支持向量机分类器对图像进行检测。过程中需要手动将感兴趣目标划分为不同的区域，并且计算每个区域的尺度不变特征特征(SIFT，Scale-invariant feature transform)。结合这些特点，使用迭代算法训练分类器(例如Adaboost算法)来检测目标。该方法能够很好的解决目标由于运动而产生外形变化的问题，同时对于光照变化和微量偏移不敏感，能够较好检测出真实场景视频图像中的人形目标并加以标注。

物体跟踪：

物体跟踪技术指从图像序列中将前景变化区域从背景图像中提取出来。体实现步骤为特征提取、特征匹配、基于区域的跟踪、基于模型的跟踪。

a.特征提取

特征提取是指从景物的原始图像中提取图像的描绘特征。

理想的图像特征应具备的特点是：

特征应具有直观意义，符合人们的视觉特性；

特征应具备较好的分类能力，能够区分不同的图像内容；

特征计算应该相对简单，以便于快速识别；

特征应具备图像平移、旋转、尺度变化等不变性。

目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。提取对尺度伸缩、形变和亮度变化不敏感的有效特征。

b.特征匹配

特征匹配是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。其跟踪算法包含基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。

基于特征的跟踪算法对于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；通过与滤波器(例如Kalman滤波器)联合使用，也具有很好的跟踪效果。

c.基于模型的跟踪

基于模型的跟踪是通过人工标注数据对所跟踪目标建立模型，然后通过匹配跟踪目标进行特征提取与模型进行拟合计算。通过模型进行物体跟踪不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强。

S103：人员检测。

基于图像处理后，本步骤则需要在确定了前景目标的视频图像中进行人员识别，包括以下子步骤：

人脸检测

人脸检测是人脸识别中的第一个环节，是一项关键技术。人脸检测是指假设在输入图像中存在一个或者多个人脸区域的情况下，确定图像中全部人脸的位置、大小和姿势的过程。

本申请使用的方法是基于特征提取算法(例如Haar-like算法)、级联结构的迭代算法，为适应背景的复杂性，将肤色等人脸特征和迭代算法相结合的人脸检测新算法。算法实现了实时人脸检测，使人脸检测技术取得了突破性进展。算法首先结合人脸特征，利用人脸特征确定人脸的大致方向，然后用级联结构的迭代算法进行验证。

人脸识别

本申请采用基于人工神经网络的人脸识别技术。目前使用的混合型神经网络进行人脸识别时，其中的非监督神经网络用于特征提取，而监督神经网络用于分类。将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善。由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果。这种混合神经网络方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用。

语音转写

本***采用了实时语音转写技术，它是利用语音识别引擎对音频中的声音信号进行特征提取、语音解码、语言模型匹配，最终得到讲话内容文本的一个复杂计算过程。ASR识别过程计算量大、占用计算资源多。除了采用先进的神经元网络识别算法外，提升语音识别准确率的有效措施是大量采用历史录音数据进行深度机器学习，数据需要来自本领域，即国网客服中心的真实数据，经过人工标注并审核后才能作为训练集，训练集越大，识别准确率越高。识别后的文本内容准确，后续的质检与分析算法才能发挥应有的作用。

在实时语音转写过程中，关键问题是如何做到及时处理每天新生成的大量语音，做到实时转写。***部署的ASR服务器是有限的，需要做到现有计算资源的充分利用，今后业务量增长，应允许随时进行服务扩展，不停机地完成***转写能力的增容。

S104：人员定位/统计。

基于步骤S103中所识别出的人员，一方面对其进行定位；另一方面进行计数，当营业厅人员的统计数量大于提前设置的预警值时输出进入步骤S108，否则进入步骤S105。

S108：进行语音提示告警，启动视频抓拍，并同时启动应急预案。

所述应急预案包括但不限于关闭大门停止其他人员进入；启动人员疏散等等。

又例如，当客户的移动轨迹或者行为模式与正常情况不符且存在较大差异时，会自动进行告警和抓拍记录，同时通知安保部门对异常行为的客户进行人工引导或采取其他应急预案，防止出现个别客户情绪激动而产生威胁工作人员或其他客户人身安全的情况。

S105：人员跟踪。

对人员定位后根据其移动轨迹进行跟踪，直至离开营业厅，从而提取其离开营业厅的时间和图片信息。

S106：效率分析。

通过对实时监控视频的分析，获取客户进入营业厅的时间信息，同样对客户进行识别、定位和跟踪，根据在不同区域停留时间的分析，可以获得用户办理业务的等待时长、业务办理时长等时间参数，从而可以对营业厅业务办理的效率进行统计分析。

例如，根据人员的数量以及在监控区域的停留时间，可以确定不同时间段的人员情况，即对应分析出“高峰期”时段所对应的时间。

又如，通过记录营业厅的总人流量和不同时间段办理业务的排队人数可以进行不同的应对。可选的，当检测到排队人数超过一定值时发出告警信号，提示营业厅采取增加临时业务办理窗口等措施，减少客户等待时间。

又如，通过结合营业厅业务办理量、业务窗口数量、业务办理时长等信息，对营业厅服务承载能力和整体服务效率进行全面评估，为优化营业厅布点、营业窗口设置及人员配置，提升客户体验提供参考依据。

S107：存储。

将步骤S106的效率分析结果及步骤S108的异常事件信息均进行存储，方便后期的查询和调阅。

较佳的，还包括以下步骤：

S109：基于业务统计进行个性化定制。

基于人员(客户)进出监控区域的历史频次，与其办理的业务类型和数量进行匹配，分析该人员关注的业务点，提出为该人员提供个性化、精准化服务的相关建议。例如某客户办理某一项业务时间长，则安排办理该业务用时最短的员工接待，从而可以提高效率。

图2所示为营业厅服务人员行为监督的原理示意图，包括以下步骤：

S201：实时监控视频；

S202：视频处理；

S203：人员识别；

S204：人员定位/统计；

S205：人员跟踪；

上述步骤S101～S103与第一实施例中的步骤S101～S105相同，不再赘述。

S206：判定工作人员的行为是否符合服务质检标准，若符合则进入S207，否则进入步骤S208；

基于步骤S103中所识别出的工作人员的到岗和离岗情况，判定其工作时间内的行为是否符合服务质检标准，具体包括以下子步骤：

根据工作人员的到岗时间，判定其是否迟到，若迟到，则进入步骤S208。

S207：存储并生成服务质检报告；

将步骤S206对工作人员的行为分析结果及视频抓拍的内容进行存储，保存事件信息，并结合告警信息、视频抓拍生成服务质检报告，以便对客户投诉的营业厅问题进行调查取证。

S208：进行异常处理。

所述异常处理包括视频抓拍，根据工作人员离开和返回工位的时间节点，进行离席时间分析，若未超出离席时间的报警阈值，则判定为正常离席；若超出离席时间的报警阈值，则进行告警信息提示、视频抓拍；

本步骤还包括，针对工作人员的迟到或离岗情况，启动应急预案，包括通知管理者，调用其他工作人员等措施，以保证工位上有工作人员执勤，避免客户等待，保证营业厅的服务质量

S209：根据服务质检报告，进行综合分析；

本步骤中，该综合分析过程依赖于视频分析技术和音频分析技术；

所述视频分析包含智能视频片段检索和视频调阅：

视频片段检索主要是针对用户输入的异常特征信息、时间信息、异常位置信息、地点信息，从所有的索引文件中进行快速筛选，并返回最终的视频片段地址，用户可以对检索结果进行调阅，从而对营业厅进行相关的质量复检；

视频调阅分为三部分：实时视频调阅、异常片段调阅、完整录像调阅。实时视频调阅为客户提供了查看当前各个营业厅中视频画面的功能；异常片段调阅针对异常视频，用户可以进行调阅查看；完整录像调阅可以为用户提供调阅完整视频的功能。视频调阅包括视频播放器，视频处理详细结果展现，并在图像中标注出人体或异常物体，标注框伴随人体同步移动。

所述音频分析包含音频检索和音频调听：

音频检索主要针对采集的时间信息、监控设备信息、异常信息等，从所有的索引存储中进行快速筛选，并返回音频片段的存储地址，用户可以进行调听，从而对营业厅进行相关的质量复检。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于营业厅视频监控的能效改进方法，其特征在于，包括以下步骤：

A、获取实时视频监控，确认所述视频监控中的人员信息；

B、基于所述人员信息确认不同业务的办理时间，从而确定出不同员工的办理效率；

C、基于所述办理效率调整员工分配；

所述人员信息至少包括对客户及员工的识别、定位和跟踪；

还包括：

对营业厅人员进行计数，当营业厅人员的统计数量大于设置的预警值时，进行语音提示告警，启动视频抓拍，并同时启动应急预案；

对不同时段办理业务的排队人数进行统计，当检测到排队人数超过一定值时发出告警信号，提示营业厅采取增加临时业务办理窗口措施；

基于客户进出监控区域的历史频次，与其办理的业务类型和数量进行匹配，分析该客户关注的业务点，为该客户提供个性化定制服务；

步骤A中，所述确认所述视频监控中的人员信息包括：将所述视频监控的图像进行背景建模，以确定背景模型和前景图像；在所述前景图像中进行包括人形检测、人脸检测、人脸识别、人员定位、人员统计的步骤；

步骤A中，还包括对视频监控进行语音识别的步骤；

其中，将所述视频监控的图像进行背景建模的步骤包括：对图像中每一个像素点的颜色值建立混合高斯模型，通过一段时间的采样观测，根据各个高斯分布的持续性和变动性的差异确定真实背景，所述真实背景所对应的高斯分布作为背景模型；

步骤B包括：对客户进行识别、定位和跟踪，获取客户进入营业厅的时间，根据在不同业务区域停留的时间获得用户办理业务的等待时长和办理时长，从而对业务办理的效率进行统计；

步骤B还包括：对客户的移动轨迹或者行为模式与正常移动轨迹或正常行为模式进行比较，从而对客户的安全行为进行监测；

步骤B还包括：对各工作人员进行识别和定位，根据各工作人员离开和返回工位的时间节点，进行离席时间分析，从而对各工作人员的业务办理效率进行统计；

步骤C后还包括，基于所述办理效率的历史数据，对不同客户办理特定业务分配特定的员工；所述特定的员工包括办理特定业务效率最高的员工。