CN105979210A - 一种基于多枪多球摄像机阵列的行人识别*** - Google Patents

Abstract

本发明提供了一种基于多枪多球摄像机阵列的行人识别***，包括：至少一个枪机、附属于枪机的多个球机和服务器；枪机，用于采集整个监控场景中的视频图像；服务器，用于对视频图像中的所有运动目标进行检测跟踪，并在检测到异常运动目标时，控制枪机对应的所有球机工作；球机，用于在服务器的控制下，调整自身的采集参数并采集对应的异常运动目标的高分辨率视频图像；服务器还用于，提取所有球机采集的异常运动目标的高分辨率视频图像中的多维度特征，并存储在对应的视图库中，以便后续进行异常目标的比对和识别；其解决了大范围监控和局部高清监控的问题，且通过球机抓取多个视角的图像，能够保证信息的完整和有效，提高了后续识别和比对性能。

Description

一种基于多枪多球摄像机阵列的行人识别***

技术领域

本发明涉及视频监控技术领域，具体而言，涉及一种基于多枪多球摄像机阵列的行人识别***。

背景技术

随着科技的不断发展，现代化的安防技术也越来越朝着网络化、数字化、智能化、模块化发展，同时各种先进安防手段相互嵌入、联动、互补，使得现代安防产品日趋成熟实用。如视频监控***常用于居民区和路况交通监控等场景，以保障居民的生活安全和交通秩序有条不紊的进行。

目前，预装有视频监控***的视频监控设备应用于社会的各个角落，给社会治安带来了飞跃发展，它充当着监控人员的“眼睛”，通过上述视频监控设备，能够方便调查待调查时间和地点对应的视频图像，为事后的事件调查起到关键性作用，也为案件破获提供了科学可靠的证据。

对于安装在居民区的视频监控设备，一般采用一个高清枪机和服务器，由高清枪机采集覆盖整个居民区的视频图像，并由服务器分析枪机采集的视频图像中的人脸特征，并将该视频图像和对应的人脸特征的分析结果进行保存，以便后续用于事后事件的调查和作为储备证据。

但是，现有技术中的通过高清枪机采集的视频图像的分辨率较低，当其作为证据用于识别比对目标时，识别精度较差。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于多枪多球摄像机阵列的行人识别***，能够解决大范围监控和局部高清监控的问题，提高了后续识别和比对性能。

第一方面，本发明实施例提供了一种基于多枪多球摄像机阵列的行人识别***，所述***包括：至少一个枪机、附属于所述枪机的多个球机和服务器；

所述枪机，用于采集整个监控场景中的视频图像；

所述服务器，用于对所述视频图像中的所有运动目标进行检测跟踪，并在检测到异常运动目标时，控制所述枪机对应的所有球机工作；

所述球机，用于在所述服务器的控制下，调整自身的采集参数，根据调整后的采集参数采集其附属的枪机检测到的异常运动目标的高分辨率视频图像；所述采集参数至少包括球机的以下参数：水平角度、俯仰角度和光学放大倍数；

所述服务器还用于，提取所有所述球机采集的异常运动目标的高分辨率视频图像中的多维度特征，并将所述多维度特征存储在对应的视图库中，以便后续根据存储的所述多维度特征进行异常目标的比对和识别；其中，所述多维度特征包括：人脸和人体的关联多维度特征。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在所述枪机为多个时，建立多个枪机之间的关联关系；

所述关联关系的建立过程包括：在任意两个枪机对应的枪机画面中进行场景特征点匹配，得到匹配的特征点集；根据所述匹配的特征点集建立两个枪机画面对应的两个平面之间的映射关系；根据所述映射关系建立任意两个枪机的场景画面中的目标对应关系。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，每个所述球机至少附属于一台枪机；当所述球机附属于多台枪机时，根据高优先级抢占原则进行所述枪机对所述球机的控制；其中，所述枪机的优先级是根据如下原则设定的：就近原则或者球机视角最佳原则。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述服务器对所述视频图像中的所有运动目标进行检测跟踪包括：

所述服务器定位所述视频图像中的所有运动目标，对所述所有运动目标的运行轨迹进行实时跟踪与分析，并在检测到所述运行轨迹对应异常行为时，设置所述运动轨迹对应的运动目标为异常运动目标，并增加所述异常运动目标的优先级；所述异常行为至少包括：快速奔跑、逆行、滞留和打架。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述服务器对所述视频图像中的所有运动目标进行检测跟踪，还包括：

所述服务器定位所述视频图像中的所有运动目标，根据所述运动目标在所述枪机画面中的位置以及运动方向，判断所述运动目标是否将要离开当前的场景区域；若是，则设置所述运动目标为异常运动目标，并增加所述异常运动目标的优先级。

结合第一方面的第三种可能的实施方式或第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述服务器还用于，控制所述枪机对应的所有球机按照异常运动目标优先级高低原则抓拍所述异常运动目标的高分辨率图像。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述服务器还用于，对所有运动目标进行标记，并设置抓拍过的所述运动目标的优先级为0；其中，优先级为0表示不进行抓拍。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述服务器控制所述球机调整自身的采集参数包括：

所述服务器在检测到异常运动目标时，定位所述异常运动目标在所述枪机中的目标位置，根据所述目标位置设置球机控制参数，以根据所述球机控制参数控制球机以最佳观察视角采集异常运动目标的高分辨率视频图像；所述球机控制参数包括所述球机的以下参数：水平角度、俯仰角度和光学放大倍数。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述服务器对所述视频图像中的所有运动目标进行检测跟踪，还包括：

所述服务器采用Faster RCNN算法定位所述视频图像中的所有运动目标，在定位所述运动目标后，采用基于深度学习的人群分割方法对所有运动目标进行分割处理，并采用粒子滤波跟踪算法对分割处理后的所有运动目标的运行轨迹进行实时跟踪与分析。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述服务器提取所有所述球机采集的异常运动目标的高分辨率视频图像中的多维度特征包括：

所述服务器在检测到所述球机采集的异常运动目标的高分辨率视频图像时，捕捉所述高分辨率视频图像中的人脸画面和人体的画面，分别从所述人脸画面和所述人体画面中提取对应的人脸多维度特征和人体多维度特征，得到人脸和人体的关联多维度特征。

本发明实施例提供的一种基于多枪多球摄像机阵列的行人识别***，包括：至少一个枪机、附属于枪机的多个球机和服务器；其通过枪机进行大范围的场景监控，并通过服务器识别枪机采集图像中的异常运动目标，同时控制球机对其附属的枪机中的异常运动目标进行抓拍，以得到该异常运动目标的高分辨率图像，最终提取该异常运动目标中的人脸和人体的关联多维度特征进行保存，用以进行后续的异常目标的比对和识别，其与现有技术中的通过高清枪机采集的视频图像的分辨率较低，当其作为证据用于识别比对目标时，识别精度较差相比，同时解决了大范围监控和局部高清监控的问题，并且对于感兴趣或重点监控目标，可以通过球机抓取到多个视角的图像，能够保证信息的完整和有效，提高了后续识别和比对性能；另外，通过人脸和人体的特征融合方式实现高性能的行人识别和比对功能，也是识别精度和准确率较高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种基于多枪多球摄像机阵列的行人识别***的结构示意图。

主要标识说明：101、枪机；102、球机(具体包括102a、102b和102c)；103、服务器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到传统的人脸识别***，一般均是采用一个高清枪机进行场景中的视频图像采集，并通过服务器对采集的场景视频图像进行动态人脸识别，然后将该视频图像和对应的人脸特征的分析结果进行保存，以便后续用于事后事件的调查和作为储备证据；而上述人脸识别***中，监控范围小且图像分辨率查，并且单独通过人脸特征进行目标识别和比对的手段之一，也使得识别精度较差。

基于上述问题，本发明实施例提供了一种基于多枪多球摄像机阵列的行人识别***，下面通过实施例进行描述。

参考图1所示的一种基于多枪多球摄像机阵列的行人识别***的结构示意图，图1中仅示出了一个枪机101和附属于上述枪机101的三个球机102；本发明实施例提供了一种基于多枪多球摄像机阵列的行人识别***，***包括：至少一个枪机101、附属于枪机101的多个球机102和服务器103；其中，每一个枪机101均对应有多个架设在不同位置的球机102；

枪机101，用于采集整个监控场景中的视频图像；

服务器103，用于对视频图像中的所有运动目标进行检测跟踪，并在检测到异常运动目标时，控制枪机101对应的所有球机102工作；

球机102，用于在服务器103的控制下，调整自身的采集参数，根据调整后的采集参数采集其附属的枪机101检测到的异常运动目标的高分辨率视频图像；采集参数至少包括球机102的以下参数：水平角度、俯仰角度和光学放大倍数；

服务器103还用于，提取所有球机102采集的异常运动目标的高分辨率视频图像中的多维度特征，并将多维度特征存储在对应的视图库中，以便后续根据存储的多维度特征进行异常目标的比对和识别；其中，多维度特征包括：人脸和人体的关联多维度特征。

本发明实施例提供的一种基于多枪多球摄像机阵列的行人识别***，包括：至少一个枪机101、附属于枪机101的多个球机102和服务器103；其通过枪机101进行大范围的场景监控，并通过服务器103识别枪机101采集图像中的异常运动目标，同时控制球机102对其附属的枪机101中的异常运动目标进行抓拍，以得到该异常运动目标的高分辨率图像，最终提取该异常运动目标中的人脸和人体的关联多维度特征进行保存，用以进行后续的异常目标的比对和识别，其与现有技术中的通过高清枪机采集的视频图像的分辨率较低，当其作为证据用于识别比对目标时，识别精度较差相比，同时解决了大范围监控和局部高清监控的问题，并且对于感兴趣或重点监控目标，可以通过球机102抓取到多个视角的图像，能够保证信息的完整和有效，提高了后续识别和比对性能；另外，通过人脸和人体的特征融合方式实现高性能的行人识别和比对功能，也是识别精度和准确率较高。

本发明实施例中的多枪多球指的是：多个枪机101摄像机和多个球机102摄像机组成的摄像机阵列。

在本发明实施例中，首先选定大范围监控场景，对选定大范围监控场景，在其四周架设若干枪机101和球机102，枪机101负责监控整个场景，其特点是监控范围大，但无法获取局部的高分辨率图像；球机102负责按需调整采集参数(如视角和光学放大倍数)，并根据按照调整后的采集参数拍摄场景中运动目标的高分辨率视频图像。

服务器103则对枪机画面(即枪机101采集的视频图像)中进行运动目标进行检测跟踪，当发现值得关注的目标(以行人为主)后，控制枪机101附属的所有球机102进行多方位高分辨率抓拍，获得该目标的高分辨率视频片段，并通过智能分析技术提取该高分辨率图像中的多维度特征。该多维度特征将用于后续目标识别和比对。本发明实施例中的运动目标可以为行人、车辆或者动物等，本发明实施例中的识别***主要应用的运动目标为行人。

下面从识别***中的基础设施搭建和识别***的运行两个方面进行整体介绍：

第一，对上述识别***中的基础设施搭建进行简要说明：

1、首先选定监控场景：本发明实施例提供的识别***一般适用于监控场景较大，高空遮挡小，四周有高建筑物的情况。

2、枪机101的点位架设：在实际监控过程中，枪机101可以为一台，也可以为多台，而枪机101的数量的确定，只要满足枪机101的视场可以覆盖整个监控场景即可，并且枪机101在架设位置优选在较高的位置。

3、球机102点位架设：球机102是附属于上述枪机101的，球机102一般需要至少三台球机102(推荐为四台)，目的是将球机102分布架设在监控场景的四个方向，以使得球机102尽可能均匀分布在监控场景四周；本发明实施例中，球机102架设高度选择：球机102和场景中的运动目标连线的角度和地平面最好小于30度，该中架设方式有利于球机102获取到最佳人脸。

4、枪机101、球机102和服务器103之间可以实现网络通信。

本发明实施例中，枪机101和球机102可以是一体机。上述服务器103可以为智能分析服务器，配置在枪机101的后端，以分别对枪机101和球机102采集的视频图像进行相应的处理；上述服务器103也可以为嵌入式的智能分析模块，其内嵌在枪机101中，以分别对枪机101和球机102采集的视频图像进行相应的处理；上述相应的处理包括：服务器103对枪机101采集的视频图像进行检测跟踪，还可以对所有球机102进行控制，以及对球机102采集的高分辨率的视频图像进行特征提取并保存。

本发明实施例中的，大场景监控：一般指的是范围较大的监控场景，摄像机距离监控目标比较远，例如广场监控、码头监控、置于大厦楼顶的地面监控等。行人识别：可以识别人的身份，或在多个场景中自动判定两个人是否是同一个人，也称为Person Reidentification(即重新鉴定或者重新识别)技术。

第二，对上述识别***的运行的过程进行详细说明：

1、首先进行***标定：如上，本发明实施例中，枪机101可以一个，也可以为多个，在枪机101为多个时，建立多个枪机101之间的关联关系；关联关系的建立过程包括：在任意两个枪机101对应的枪机画面中进行场景特征点匹配，得到匹配的特征点集；根据匹配的特征点集建立两个枪机画面对应的两个平面之间的映射关系；根据映射关系建立任意两个枪机101的场景画面中的目标对应关系。

具体的，当枪机101为多个时，建立枪机101之间的对应关系：如果两台枪机101之间的视场没有交叠，则认为两台枪机101之间没有关系，这种标定方式并不常见；标定方式可以采用上述自动标定的方式，即通过地平面假设来标定两个枪机101之间的关系，具体依据传统的计算机视觉方法，首先在两个枪机画面中直接进行场景特征点匹配，根据匹配的特征点集可建立两个平面之间的映射关系，从而建立两个场景画面中的目标对应关系。通过上述地平面假设方法标定两个枪机101之间的关系，目的是保证两个场景画面中的目标对应关系是线性的；通常，上述标定过程可以通过4个点的标定方法来实现，即选择四个场景特征点进行匹配。有了上述的标定关系后，在一个枪机101中看到的某个目标，可以直接对应到另一个枪机101的画面中同一个目标所在的位置。

2、建立起枪机101和球机102直接的对应关系：每个球机102至少附属于一台枪机101；当球机102附属于多台枪机101时，根据高优先级抢占原则进行枪机101对球机102的控制；其中，枪机101的优先级是根据如下原则设定的：就近原则或者球机102视角最佳原则。

具体的，枪机101和球机102直接的对应关系属于标准的枪球标定，枪球标定可以由枪球设备厂商提供，有的厂商提供自动标定，即采用同上述多个枪机101之间的对应关系的建立用到的特征点匹配的方法，有的厂商提供手动标定方法：即通过人工选定枪机画面的点(该点一般需要至少3个点)，然后调整球机102视角使得该点在球机102画面中处于居中位置，以完成标定。

并且，每个球机102至少附属于一台枪机101，如果一个球机102属于多台枪机101，每个枪机101对球机102的控制是有优先级差异的。当多台枪机101同时控制一台球机102时，遵循高优先级抢占原则，而枪机101的优先级的设定一般可以是就近原则，或者根据球机102视角最佳原则。其中，就近原则即：距离该球机102最近的枪机101优先级最高；球机102视角最佳原则即：对于枪机101中的一个目标，如果关联的球机102都可以通过枪机101的控制改变视角看到该目标，例如定义目标大小为指标，当球机102通过改变视角看到的目标在画面中的像素高度越大，则球机102的视角越佳，对应的，控制该视角越佳的球机102的枪机101的优先级越高；最终控制最佳视角的球机102的枪机101的优先级最高。

3、标定枪机101中的目标位置和球机102控制参数的关系：

服务器103控制球机102调整自身的采集参数包括：服务器103在检测到异常运动目标时，定位异常运动目标在枪机101中的目标位置，根据目标位置设置球机102控制参数，以根据球机102控制参数控制球机102以最佳观察视角采集异常运动目标的高分辨率视频图像；球机102控制参数包括球机102的以下参数：水平角度、俯仰角度和光学放大倍数。

具体的，球机102控制参数的关系，包括球机102的水平角度、俯仰角度以及光学放大倍数，也称为球机102的3D定位。枪机101中的目标位置和球机102控制参数的对应关系主要是为了获得在球机102视场中的最佳观察视角，即通过确定球机102的水平角度和俯仰角度，使拍摄(或者说抓拍)的目标尽可能居中；通过确定球机102的光学放大倍数，使拍摄(或者说抓拍)的画面完整包含目标，并且目标细节尽可能看得清楚。实际中，由于目标可能运动，通常首先将枪机101中目标的位置进行放大，然后根据放大后的目标位置设置球机102控制参数，避免目标移动出球机102视野。

本发明实施例中，服务器103还可以对视频图像中的所有运动目标进行检测跟踪，具体方法包括：

服务器103定位视频图像中的所有运动目标，对所有运动目标的运行轨迹进行实时跟踪与分析，并在检测到运行轨迹对应异常行为时，设置运动轨迹对应的运动目标为异常运动目标，并增加异常运动目标的优先级；异常行为至少包括：快速奔跑、逆行、滞留和打架；

服务器103定位视频图像中的所有运动目标，根据运动目标在枪机画面中的位置以及运动方向，判断运动目标是否将要离开当前的场景区域，若是，则设置运动目标为异常运动目标，并增加异常运动目标的优先级。

具体的，服务器103定位视频图像中的所有运动目标的方法具体是：服务器103采用Faster RCNN算法进行人体检测，以定位行人，并且在服务器103定位视频图像中的所有运动目标(如行人)后，采用基于深度学习的人群分割方法对所有运动目标(如行人)进行人群分割处理，并采用粒子滤波跟踪算法对分割处理后的所有运动目标的运行轨迹进行实时跟踪与分析。

服务器103对枪机101采集的视频图像中的所有的运动目标进行了优先级划分，得到按照优先级排列的运动目标，对应的，服务器103则控制枪机101对应的所有球机102按照异常运动目标优先级高低原则抓拍异常运动目标的高分辨率图像。

在服务器103控制对应的球机102抓拍了异常运动目标的同时，服务器103实时对所有运动目标进行标记，并设置抓拍过的运动目标的优先级为0；其中，优先级为0表示不进行抓拍。

本发明实施例中，服务器103对所有枪机101采集的视频图像实时进行运动目标检测与跟踪，同时通过人体检测辅助人群分割。具体的，服务器103通过Faster RCNN算法对所有枪机101采集的视频图像实时进行人体检测，以定位行人，同时采用基于深度学习的人群分割方法进行人群分割，以区分聚集在一起的人群，防止聚集在一起的人群作为一个运动目标，并通过粒子滤波跟踪算法，对人群分割后的人体的运动轨迹进行实时跟踪。

服务器103在对行人的运动轨迹进行实时跟踪后，对所有运动目标(即行人)进行判定是否抓拍其高分辨率特征，并根据以下原则设定所有运动目标(即行人)的优先级，其中，运动目标的默认优先级为1(基础值)，0表示不进行抓拍；当服务器103检测到人体的运动轨迹为异常行为时，增加该运动轨迹对应的运动目标(即行人)的抓拍优先级，即在默认的优先级基础值的基础上增加预设数值，而具体增加的数值可以根据人体的运动轨迹与异常行为的相似度确定，如可以加1，可以加2等。

若一个枪机101附属的球机102需要抓拍多个运动目标，则服务器103控制对应的球机102按照运动目标的拍摄优先级进行抓拍，即优先拍摄当前优先级最高的运动目标(即行人)。如果所有运动目标(即行人)的优先级都是0，则服务器103控制球机102随机抓拍。

服务器103会对所有跟踪运动目标(即行人)进行标记，对于已经抓拍高分辨率特征的运动目标(即行人)，直接设置优先级为0，不再抓拍。

服务器103对运动目标的运行轨迹进行异常行为判断，当检测到运行轨迹对应为异常行为时，增加该运行轨迹对应的运动目标的优先级(如优先级加1)，以对异常运动目标的优先抓拍；这些异常包括：快速奔跑、逆行、长时间滞留、打架等。

服务器103根据运动目标在枪机画面中的位置以及运动方向，判断目标是否将要离开视场，同时增加要离开现场的运动目标的优先级(如优先级加1)，以将要离开视场的运动目标优先抓拍。

球机102在服务器103的控制下执行高清抓拍任务：当某个运动目标判定需要进行高分辨特征提取后，根据该运动目标所属的枪机101，控制该枪机101下属的所有球机102动态关注该目标，而为了保证每个关注目标能够抓拍尽可能多视角的高分辨率特征，同一时刻只抓拍一个目标，所以，能看到该目标的球机102，都会执行该目标的抓拍任务。服务器103会对球机102视频进行实时分析，由于此时目标已经放大，可以进行人脸和人体的检测、跟踪以及特征提取，这些信息将保存到后台视图库中，以便后续用于进行人脸和人体的检索分析。

具体的，球机102每次高分辨率抓拍任务有默认时间，一般设置为3-5秒，即球机102在接收到抓拍任务后开始改变视角和光学放大倍数进行抓拍，3-5秒后即结束这次抓拍任务。

并且，本发明提供的识别***支持手动选定场景中的一个区域，设置为最高优先级，可中断其他正在执行的任务。所有关联球机102进行高清监控，所有球机102的监控时间(即上面提到的球机102高分辨率抓拍任务时间)默认为10秒，该时间可人工根据需要进行配置，球机102在完成后高清监控任务自动回到正常监控流程中。当球机102在没有更多的高清抓拍任务时，其回到任意一个预置位置，作为普通监控使用。

在本发明实施例中，服务器103提取所有球机102采集的异常运动目标的高分辨率视频图像中的多维度特征包括：

服务器103在检测到球机102采集的异常运动目标的高分辨率视频图像时，捕捉高分辨率视频图像中的人脸画面和人体的画面，分别从人脸画面和人体画面中提取对应的人脸多维度特征和人体多维度特征，得到人脸和人体的关联多维度特征。

具体的，通过多个球机102度异常运动目标进行拍摄或者抓拍，对同一个目标整个识别***会抓取多视角、多时间点的细节视频图像，通过这些图像，服务器103可以提取到对应的运动目标(即行人)的人脸、人体等多维度信息。为了便于后续进行以异常目标的比对和识别，人脸识别技术要求正脸，而本发明实施例提供的***，即便人的朝向不受控，在多视角抓拍下，也有很大的机会抓到若干张正脸；而多角度画面，同样能够提取更加完备的特征，有利于进行人体检索；例如背面和正面衣帽特征差异很大的情况，对于提高检索成功率有很大帮助。因此，服务器103会自动筛选并关联更多特征到同一个目标上，形成一组有效的人脸、人体特征集合，并从中提取一些结构化属性，包括是否佩戴眼镜、是否戴帽子、上身颜色、下身颜色等。这些信息可用于进行异常目标的比对和识别，如视图库的文本检索、人脸识别、人体检索等。

本发明实施例提供的基于多枪多球摄像机阵列的行人识别***，可以应用在多个场景，如可以用在广场中，针对非法集会，或者对重点关注人员进行布控；可以用在政府单位门口，针对上访人员，进行身份识别、预警；可以用在商场中，针对顾客的身份识别、重点推荐。

本发明实施例提供的一种基于多枪多球摄像机阵列的行人识别***，包括：至少一个枪机101、附属于枪机101的多个球机102和服务器103；其通过枪机101进行大范围的场景监控，并通过服务器103识别枪机101采集图像中的异常运动目标，同时控制球机102对其附属的枪机101中的异常运动目标进行抓拍，以得到该异常运动目标的高分辨率图像，最终提取该异常运动目标中的人脸和人体的关联多维度特征进行保存，用以进行后续的异常目标的比对和识别，其与现有技术中的通过高清枪机采集的视频图像的分辨率较低，当其作为证据用于识别比对目标时，识别精度较差相比，同时解决了大范围监控和局部高清监控的问题，并且对于感兴趣或重点监控目标，可以通过球机102抓取到多个视角的图像，能够保证信息的完整和有效，提高了后续识别和比对性能；另外，通过人脸和人体的特征融合方式实现高性能的行人识别和比对功能，也是识别精度和准确率较高。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于多枪多球摄像机阵列的行人识别***，其特征在于，所述***包括：至少一个枪机、附属于所述枪机的多个球机和服务器；

所述枪机，用于采集整个监控场景中的视频图像；

所述服务器，用于对所述视频图像中的所有运动目标进行检测跟踪，并在检测到异常运动目标时，控制所述枪机对应的所有球机工作；

所述球机，用于在所述服务器的控制下，调整自身的采集参数，根据调整后的采集参数采集其附属的枪机检测到的异常运动目标的高分辨率视频图像；所述采集参数至少包括球机的以下参数：水平角度、俯仰角度和光学放大倍数；

所述服务器还用于，提取所有所述球机采集的异常运动目标的高分辨率视频图像中的多维度特征，并将所述多维度特征存储在对应的视图库中，以便后续根据存储的所述多维度特征进行异常目标的比对和识别；其中，所述多维度特征包括：人脸和人体的关联多维度特征。

2.根据权利要求1所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，在所述枪机为多个时，建立多个枪机之间的关联关系；

所述关联关系的建立过程包括：在任意两个枪机对应的枪机画面中进行场景特征点匹配，得到匹配的特征点集；根据所述匹配的特征点集建立两个枪机画面对应的两个平面之间的映射关系；根据所述映射关系建立任意两个枪机的场景画面中的目标对应关系。

3.根据权利要求2所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，每个所述球机至少附属于一台枪机；当所述球机附属于多台枪机时，根据高优先级抢占原则进行所述枪机对所述球机的控制；其中，所述枪机的优先级是根据如下原则设定的：就近原则或者球机视角最佳原则。

4.根据权利要求3所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器对所述视频图像中的所有运动目标进行检测跟踪包括：

所述服务器定位所述视频图像中的所有运动目标，对所述所有运动目标的运行轨迹进行实时跟踪与分析，并在检测到所述运行轨迹对应异常行为时，设置所述运动轨迹对应的运动目标为异常运动目标，并增加所述异常运动目标的优先级；所述异常行为至少包括：快速奔跑、逆行、滞留和打架。

5.根据权利要求3所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器对所述视频图像中的所有运动目标进行检测跟踪，还包括：

所述服务器定位所述视频图像中的所有运动目标，根据所述运动目标在所述枪机画面中的位置以及运动方向，判断所述运动目标是否将要离开当前的场景区域；若是，则设置所述运动目标为异常运动目标，并增加所述异常运动目标的优先级。

6.根据权利要求4或5所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器还用于，控制所述枪机对应的所有球机按照异常运动目标优先级高低原则抓拍所述异常运动目标的高分辨率图像。

7.根据权利要求6所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器还用于，对所有运动目标进行标记，并设置抓拍过的所述运动目标的优先级为0；其中，优先级为0表示不进行抓拍。

8.根据权利要求1所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器控制所述球机调整自身的采集参数包括：

所述服务器在检测到异常运动目标时，定位所述异常运动目标在所述枪机中的目标位置，根据所述目标位置设置球机控制参数，以根据所述球机控制参数控制球机以最佳观察视角采集异常运动目标的高分辨率视频图像；所述球机控制参数包括所述球机的以下参数：水平角度、俯仰角度和光学放大倍数。

9.根据权利要求6所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器对所述视频图像中的所有运动目标进行检测跟踪，还包括：

所述服务器采用Faster RCNN算法定位所述视频图像中的所有运动目标，在定位所述运动目标后，采用基于深度学习的人群分割方法对所有运动目标进行分割处理，并采用粒子滤波跟踪算法对分割处理后的所有运动目标的运行轨迹进行实时跟踪与分析。

10.根据权利要求1所述的基于多枪多球摄像机阵列的行人识别***，其特征在于，所述服务器提取所有所述球机采集的异常运动目标的高分辨率视频图像中的多维度特征包括：

所述服务器在检测到所述球机采集的异常运动目标的高分辨率视频图像时，捕捉所述高分辨率视频图像中的人脸画面和人体的画面，分别从所述人脸画面和所述人体画面中提取对应的人脸多维度特征和人体多维度特征，得到人脸和人体的关联多维度特征。