CN110738692A - 一种基于spark集群的智能视频识别方法 - Google Patents

一种基于spark集群的智能视频识别方法 Download PDF

Info

Publication number
CN110738692A
CN110738692A CN201810800463.4A CN201810800463A CN110738692A CN 110738692 A CN110738692 A CN 110738692A CN 201810800463 A CN201810800463 A CN 201810800463A CN 110738692 A CN110738692 A CN 110738692A
Authority
CN
China
Prior art keywords
pedestrian
data
cameras
video
spark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810800463.4A
Other languages
English (en)
Inventor
肖晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Excellent Hundred Million Information Technology Co Ltds In Guangzhou
Original Assignee
Excellent Hundred Million Information Technology Co Ltds In Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Excellent Hundred Million Information Technology Co Ltds In Guangzhou filed Critical Excellent Hundred Million Information Technology Co Ltds In Guangzhou
Priority to CN201810800463.4A priority Critical patent/CN110738692A/zh
Publication of CN110738692A publication Critical patent/CN110738692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于spark集群的智能视频识别方法，包含以下步骤：A、使用kafka创建视频收集模块，kafka中的每一个topic存放一个摄像头的数据；视频收集模块与一个网络摄像机集群协同工作，网络摄像机用于提供实时视频流数据，视频收集模块将数据传输给视频流处理模块。本发明结合当前在计算机视觉领域取得较好效果的深度学习网络，并且结合spark集群实现大规模的分布式计算，将多个摄像头的图片进行分析，并综合分析所有摄像头的分析结果，本发明利用RDD的分区特性，通过将摄像头的分析算法运行于各个分区的中，实现多个摄像头的高并发分布式计算，使得集群的消费能力大大提高。

Description

一种基于spark集群的智能视频识别方法
技术领域
本发明涉及视频流技术领域，具体是一种基于spark集群的智能视频识别方法。
背景技术
随着社会的发展，视频监控在维护社会稳定、保障公共安全方面起着越来越重要的作用。目前，全国各地主要的公共场所都已经按照了大量监控摄像头，用以监控异动发生。而全国性的“安全城市”计划旨在建立一个大摄像头网络，覆盖全国各大城市和地区，以保障市民的公共安全。
目前随着深度学习的发展，其在图像识别，计算机视觉领域取得了许多重大突破。例如行人检测，行人追踪，行人行为分析等等一系列基于深度学习的视频算法。深度学习的主要贡献在于改变了我们处理计算机视觉问题的传统思想。
行人检测主要解决的是识别出物体在图片的位置信息和其所属类别。传统的目标检测是先在图像中选择候选区域，然后对这些区域提取特征，最后输入到分类器中进行分类。然而基于滑动窗口的区域选择策略没有针对性，窗口冗余，导致计算量大。基于候选区域的深度学习目标检测法大大地降低了计算量，并且取得了更高质量的候选窗口。
行人追踪技术需要实现的是在一段时间内对同一个物体在复杂背景下，如光照变化，运动模糊，物体遮挡，背景相似干扰，物体尺度变化等，进行精准实时的跟踪。因此，行人追踪在安防，监控等领域作为一种核心的技术。
发明内容
本发明的目的在于提供一种基于spark集群的智能视频识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于spark集群的智能视频识别方法，包含以下步骤：
A、使用kafka创建视频收集模块，kafka中的每一个topic存放一个摄像头的数据；视频收集模块与一个网络摄像机集群协同工作，网络摄像机用于提供实时视频流数据，视频收集模块将数据传输给视频流处理模块，
B、视频流处理模块利用spark的RDD数据创建多个分区，每个分区部署一个摄像头的分析算法模型，在每个分区上运行MTCNN神经网络，进行行人检测与分析，并将各个分区的计算结果汇总到“分析结果汇总模块”；
C、分析结果汇总模块将各个摄像头的分析结果存储、汇总在这一个行人追踪模块中，
D、行人追踪模块结合多个摄像头的历史数据，使用行人特征相似度判断行人的“同一性”，并根据“同一性”最终分析得出行人的行走轨迹。
作为本发明的进一步技术方案：所述步骤A中，使用kafka作为视频流数据收集器。
作为本发明的进一步技术方案：所述步骤B中，使用spark集群的每个分区并行运行神经网络模型算法。
作为本发明的进一步技术方案：所述步骤D中使用行人特征相似度判断行人的“同一性”。
作为本发明的进一步技术方案：所述行人追踪模块基于kafka创建，kafka中的每一个topic对应一个摄像头的分析结果数据。
与现有技术相比，本发明的有益效果是：本发明结合当前在计算机视觉领域取得较好效果的深度学习网络，并且结合spark集群实现大规模的分布式计算，将多个摄像头的图片进行分析，并综合分析所有摄像头的分析结果，本发明利用RDD的分区特性，通过将摄像头的分析算法运行于各个分区的中，实现多个摄像头的高并发分布式计算，使得集群的消费能力大大提高。
附图说明
图1为本发明的硬件示意图。
图2为视频流处理模块的运行原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，实施例1：一种基于spark集群的智能视频识别方法，如图1所示，图中视频流收集模块会与一个网络摄像机集群协同工作，这些摄像机会提供实时视频。该组件必须要从每个摄像机读取数据并将视频流转换为一系列的视频帧。为了区分每个网络摄像机，收集器要通过camera.url和camera.id属性维护摄像机ID与URL之间的映射，这两个属性会在stream-collector.properties文件中定义。这些属性在定义时，可以按照逗号分隔的格式定义摄像机URL和ID的列表。不同的摄像机可能会以不同的规格来提供数据，比如编解码器（codec）、分辨率或者每秒的帧数。在通过视频流创建帧的时候，收集器必须要保留这些细节数据；
视频流处理模块会从配置文件中读取摄像头集群配置，并且根据配置建立相对应的RDD分区。并且对所有分区执行重复以下步骤：
（1）从本地文件中加载行人检测，行人特征抽取神经网络模型到各个分区。
（2）从Kafka broker中以VideoEventData dataset的形式读取JSON信息；
（3）根据摄像机ID对VideoEventData dataset进行分组并将其传递给视频流处理器；
（4）根据JSON数据创建一个frame对象并处理视频流数据。
（5）使用MTCNN神经网络对frame进行行人检测、识别。
（6）统计每一帧的行人检测、识别结果，并存储到“分析结果汇总模块”。
（7）重新从步骤2开始，重复执行该流程。
分析结果汇总模块：
分析结果汇总模块采用kafka集群存储。主要作用是汇聚多个摄像头的行人检测、识别结果数据。行人检测、结果的数据中包括：摄像头的id（camera_id），行人图片（passerby_image）,行人特征向量（passerby_feature），时间（time）等数据。存储格式为每个kafka的一个topic存储一个摄像头的数据，这样有效的保证了数据的有序性。
行人追踪模块：
行人追踪模块使用spark分布式集群的并行计算，从“分析结果汇总模块”中订阅所有topic的数据，当新的行人检测、分析结果被存储到“分析结果汇总模块”中的时候，kafka会通过“发布-订阅”模式，将数据发送到spark分布式集群中的各个节点中进行计算。
实施例2：在实施例1的基础上，本申请行人追踪模块的计算步骤如下：
（1）获取各个topic的行人检测、分析结果数据。
（2）根据行人特征向量（passerby_feature）进行聚类。使用余弦相似度来衡量各个行人特征向量之间的相似性，对各个行人特征向量进行聚类，从而得出每个人在摄像头下的行走轨迹。
（3）将当前分析的结果持久化到数据库中。
通过上述步骤，可以快速准确的得出每个人在摄像头下的行走轨迹。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于spark集群的智能视频识别方法，其特征在于，包含以下步骤：
使用kafka创建视频收集模块，kafka中的每一个topic存放一个摄像头的数据；视频收集模块与一个网络摄像机集群协同工作，网络摄像机用于提供实时视频流数据，视频收集模块将数据传输给视频流处理模块，
视频流处理模块利用spark的RDD数据创建多个分区，每个分区部署一个摄像头的分析算法模型，在每个分区上运行MTCNN神经网络，进行行人检测与分析，并将各个分区的计算结果汇总到“分析结果汇总模块”；
分析结果汇总模块将各个摄像头的分析结果存储、汇总在这一个行人追踪模块中，
行人追踪模块结合多个摄像头的历史数据，使用行人特征相似度判断行人的“同一性”，并根据“同一性”最终分析得出行人的行走轨迹。
2.根据权利要求1所述的一种基于spark集群的智能视频识别方法，其特征在于，所述步骤A中，使用kafka作为视频流数据收集器。
3.根据权利要求2所述的一种基于spark集群的智能视频识别方法，其特征在于，所述步骤B中，使用spark集群的每个分区并行运行神经网络模型算法。
4.根据权利要求3所述的一种基于spark集群的智能视频识别方法，其特征在于，所述步骤D中使用行人特征相似度判断行人的“同一性”。
5.根据权利要求1所述的一种基于spark集群的智能视频识别方法，其特征在于，所述行人追踪模块基于kafka创建，kafka中的每一个topic对应一个摄像头的分析结果数据。
CN201810800463.4A 2018-07-20 2018-07-20 一种基于spark集群的智能视频识别方法 Pending CN110738692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810800463.4A CN110738692A (zh) 2018-07-20 2018-07-20 一种基于spark集群的智能视频识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810800463.4A CN110738692A (zh) 2018-07-20 2018-07-20 一种基于spark集群的智能视频识别方法

Publications (1)

Publication Number Publication Date
CN110738692A true CN110738692A (zh) 2020-01-31

Family

ID=69234131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810800463.4A Pending CN110738692A (zh) 2018-07-20 2018-07-20 一种基于spark集群的智能视频识别方法

Country Status (1)

Country Link
CN (1) CN110738692A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637200A (zh) * 2020-12-22 2021-04-09 武汉烽火众智数字技术有限责任公司 一种松耦合的视频目标跟踪实现方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection
CN206149401U (zh) * 2016-07-29 2017-05-03 海南思蓝网络科技有限公司 一种基于大数据架构的人脸识别监控***
CN106686108A (zh) * 2017-01-13 2017-05-17 中电科新型智慧城市研究院有限公司 一种基于分布式检测技术的视频监控方法
CN106897664A (zh) * 2017-01-08 2017-06-27 广东工业大学 一种基于分布式大数据平台的行人检测方法
WO2017117879A1 (zh) * 2016-01-08 2017-07-13 中兴通讯股份有限公司 人员识别处理方法、装置及***
CN107657232A (zh) * 2017-09-28 2018-02-02 南通大学 一种行人智能识别方法及其***
CN108268598A (zh) * 2017-12-18 2018-07-10 苏州航天***工程有限公司 一种基于视频图像数据的分析***及分析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection
WO2017117879A1 (zh) * 2016-01-08 2017-07-13 中兴通讯股份有限公司 人员识别处理方法、装置及***
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
CN206149401U (zh) * 2016-07-29 2017-05-03 海南思蓝网络科技有限公司 一种基于大数据架构的人脸识别监控***
CN106897664A (zh) * 2017-01-08 2017-06-27 广东工业大学 一种基于分布式大数据平台的行人检测方法
CN106686108A (zh) * 2017-01-13 2017-05-17 中电科新型智慧城市研究院有限公司 一种基于分布式检测技术的视频监控方法
CN107657232A (zh) * 2017-09-28 2018-02-02 南通大学 一种行人智能识别方法及其***
CN108268598A (zh) * 2017-12-18 2018-07-10 苏州航天***工程有限公司 一种基于视频图像数据的分析***及分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMIT BAGHEL，: ""使用OpenCV、Kafka和Spark技术进行视频流分析"" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637200A (zh) * 2020-12-22 2021-04-09 武汉烽火众智数字技术有限责任公司 一种松耦合的视频目标跟踪实现方法

Similar Documents

Publication Publication Date Title
Zhang et al. Deep convolutional neural networks for forest fire detection
US9251425B2 (en) Object retrieval in video data using complementary detectors
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
Benezeth et al. Abnormal events detection based on spatio-temporal co-occurences
Yu et al. Remotenet: Efficient relevant motion event detection for large-scale home surveillance videos
Piciarelli et al. Surveillance-oriented event detection in video streams
CN106663196A (zh) 视频中的计算机显著人物识别
Mu et al. A fast recognition algorithm for suspicious behavior in high definition videos
Feris et al. Large-scale vehicle detection in challenging urban surveillance environments
Tian et al. Video object detection for tractability with deep learning method
Zhang et al. Crowd density estimation based on statistical analysis of local intra-crowd motions for public area surveillance
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测***及方法
Tomar et al. Crowd analysis in video surveillance: A review
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Seidenari et al. Dense spatio-temporal features for non-parametric anomaly detection and localization
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Sun et al. Automated human use mapping of social infrastructure by deep learning methods applied to smart city camera systems
Sarhan et al. Traffic light Detection using OpenCV and YOLO
Yang et al. Video anomaly detection for surveillance based on effective frame area
Shuaibu et al. Adaptive feature learning CNN for behavior recognition in crowd scene
Elharrouss et al. Mhad: multi-human action dataset
CN110738692A (zh) 一种基于spark集群的智能视频识别方法
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
Supangkat et al. Moving Image Interpretation Models to Support City Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination