CN113221612A - 一种基于物联网的视觉智能行人监控***和方法 - Google Patents

一种基于物联网的视觉智能行人监控***和方法 Download PDF

Info

Publication number
CN113221612A
CN113221612A CN202011372747.1A CN202011372747A CN113221612A CN 113221612 A CN113221612 A CN 113221612A CN 202011372747 A CN202011372747 A CN 202011372747A CN 113221612 A CN113221612 A CN 113221612A
Authority
CN
China
Prior art keywords
pedestrian
pedestrians
camera
internet
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011372747.1A
Other languages
English (en)
Inventor
孙权
杨立琛
任飞
彭飞
李宏胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202011372747.1A priority Critical patent/CN113221612A/zh
Publication of CN113221612A publication Critical patent/CN113221612A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于物联网的视觉智能行人监控***和方法，第一相机识别监控视频中的非资料库行人，即未知行人；第二相机检测监控视频中的行人总数；信息交互端、网关、服务器实现行人信息的存储与传输；用户终端用于使用者获取实时行人信息或向服务器发送指令；无线通讯装置接连于网关，物联网接收终端发送的指令后，通过接连服务器的网关将指令发送至无线通讯装置，实时起到警报或与行人交流确认行人信息与目的的作用。具有智能化、实时性、成本低的优点。

Description

一种基于物联网的视觉智能行人监控***和方法
技术领域
本发明属于物联网监控技术领域，具体涉及一种基于物联网的视觉智能行人监控***和方法。
背景技术
物联网是信息科技产业的第三次革命。物联网是指通过信息传感设备，按约定的协议，将任何物体与网络相连接，物体通过信息传播媒介进行信息交换和通信，以实现智能化识别、定位、跟踪、监管等功能，物联网技术代表了互联网未来的发展方向。
深度学习的概念是于2006年由Hinton等人提出的，源于人工神经网络的研究：神经元之间的相互连接关系。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，广泛地应用于计算机视觉、语音识别、自然语言处理等其他领域中。
随着计算机硬件性能提升，基于深度神经网络的行人识别技术再次一起了广大研究者和学者的兴趣，研究深度学习也成为了目前计算机视觉的研究热点。该研究涉及了图像处理、计算机视觉、机器学习、图像检索等诸多研究领域，具有重要的科学意义，可广泛应用于计算机是觉得应用领域，如在智能安防、安保等领域，具有良好的应用前景。
在信息、网络、无线移动通信技术与网络技术正在以惊人的速度进行自我更新、自我升级的时代，5G(第五代移动通信技术)，即最新一代蜂窝移动通信技术，代表了无线移动通信技术最新发展方向，近年来不管是在科学研究还是实际应用中，都得到了广泛地研究发展和实际使用。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于物联网的视觉智能行人监控***和方法。
为实现上述技术目的，本发明采取的技术方案为：
一种基于物联网的视觉智能行人监控***，包括第一相机、第二相机、信息交互端、网关、服务器、用户终端和无线通讯装置；
第一相机识别监控视频中的非资料库行人，即未知行人；
第二相机检测监控视频中的行人总数；
信息交互端、网关、服务器实现行人信息的存储与传输；
用户终端用于使用者获取实时行人信息或向服务器发送指令；
无线通讯装置接连于网关，物联网接收终端发送的指令后，通过接连服务器的网关将指令发送至无线通讯装置，实时起到警报或与行人交流确认行人信息与目的的作用。
为优化上述技术方案，采取的具体措施还包括：
上述的信息交互端通过ZigBee或者mMTC与网关进行通信。
上述的网关采用WiFi与服务器进行握手连接，采用EDP协议进行双向通信。
一种基于物联网的视觉智能行人监控方法，包括：
步骤1、第一相机识别监控视频中人物图像，将识别的人物图像与行人照片资料库对比，得出非资料库行人；
步骤2、第二相机检测监控视频中的行人总数；
步骤3、计算非资料库行人，即未知行人的数量；
步骤4、将未知行人数量与未知行人图像依次经过信息交互端、网关、服务器传输至用户终端。
上述的步骤2所述第二相机检测监控视频中的行人总数，具体为：
第二相机使用Faster R-CNN算法扫描出监控视频中的行人个数。
上述的第二相机使用Faster R-CNN算法扫描出监控视频中的行人个数，即行人重识别，包括以下步骤：
步骤21.输入图像；
步骤22.通过区域生成网络RPN生成候选区域；
步骤23.提取特征；
步骤24.分类器分类；
步骤25.回归器回归并进行位置调整。
上述的步骤1所述第一相机识别监控视频中人物图像，将识别的人物图像与行人照片资料库对比，得出非资料库行人，具体为：
采用机器学习决策树算法对行人照片资料库进行训练，然后对监控视频中的行人面部进行识别，得出非资料库行人，即未知行人。
本发明具有以下有益效果：
1.智能化，不需要人为的实时监测，而且24小时持续可以使用。
2.实时性，直接可以通过摄像头采集到的视频就可以进行行人重识别，然后将信息发送至物联网网关，协议可以使用传统的ZigBee，或者顺应5G的潮流，使用mMTC。
3.成本低，除了摄像头的价格外，基本上不需要额外的支出。
4.改进神经网络算法，使用Faster R-CNN进行行人重识别。
附图说明
图1是本发明方法的流程示意图；
图2是行人重识别流程示意图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
本发明的一种基于物联网的视觉智能行人监控***，包括第一相机、第二相机、信息交互端、网关、服务器、用户终端和无线通讯装置；
第一相机识别监控视频中的非资料库行人，即未知行人；
第二相机检测监控视频中的行人总数；
信息交互端、网关、服务器实现行人信息的存储与传输；
用户终端用于使用者获取实时行人信息或向服务器发送指令；
无线通讯装置接连于网关，物联网接收终端发送的指令后，通过接连服务器的网关将指令发送至无线通讯装置，实时起到警报或与行人交流确认行人信息与目的的作用。
实施例中，所述信息交互端通过ZigBee或者mMTC与网关进行通信。
实施例中，所述网关采用WiFi与服务器进行握手连接，采用EDP协议进行双向通信。
参见图1，一种基于物联网的视觉智能行人监控方法，包括：
步骤1、第一相机识别监控视频中人物图像，将识别的人物图像与行人照片资料库对比，得出非资料库行人；
步骤2、第二相机检测监控视频中的行人总数；
步骤3、计算非资料库行人，即未知行人的数量；
步骤4、将未知行人数量与未知行人图像依次经过信息交互端、网关、服务器传输至用户终端。
实施例中，步骤1所述第一相机识别监控视频中人物图像，将识别的人物图像与行人照片资料库对比，得出非资料库行人，具体为：
采用机器学习决策树算法对行人照片资料库进行训练，然后对监控视频中的行人面部进行识别，得出非资料库行人，即未知行人。(行人面部识别)
实施例中，步骤2所述第二相机检测监控视频中的行人总数，具体为：
参见图2，第二相机使用Faster R-CNN算法扫描出监控视频中的行人个数，包括以下步骤：
即候选区域生成，特征提取，分类器分类，回归器回归，这四步全都交给深度神经网络来做，并且全部运行在GPU上，这大大提高了操作的效率；Faster RCNN可以说是由两个模块组成的：区域生成网络RPN候选框提取模块+Fast RCNN检测模块；RPN是全卷积神经网络，其内部与普通卷积神经网络不同之处在于是将CNN中的全连接层变成卷积层。FasterRCNN是基于RPN提取的proposal检测并识别proposal中的目标；其具体流程大致可概括为：1.输入图像。2.通过区域生成网络RPN生成候选区域。3.提取特征。4.分类器分类。5.回归器回归并进行位置调整。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于物联网的视觉智能行人监控***，其特征在于，包括第一相机、第二相机、信息交互端、网关、服务器、用户终端和无线通讯装置；
第一相机识别监控视频中的非资料库行人，即未知行人；
第二相机检测监控视频中的行人总数；
信息交互端、网关、服务器实现行人信息的存储与传输；
用户终端用于使用者获取实时行人信息或向服务器发送指令；
无线通讯装置接连于网关，物联网接收终端发送的指令后，通过接连服务器的网关将指令发送至无线通讯装置，实时起到警报或与行人交流确认行人信息与目的的作用。
2.根据权利要求1所述的一种基于物联网的视觉智能行人监控***，其特征在于，所述信息交互端通过ZigBee或者mMTC与网关进行通信。
3.根据权利要求1所述的一种基于物联网的视觉智能行人监控***，其特征在于，所述网关采用WiFi与服务器进行握手连接，采用EDP协议进行双向通信。
4.根据权利要求1-3任一所述的一种基于物联网的视觉智能行人监控***的行人监控方法，其特征在于，包括：
步骤1、第一相机识别监控视频中人物图像，将识别的人物图像与行人照片资料库对比，得出非资料库行人；
步骤2、第二相机检测监控视频中的行人总数；
步骤3、计算非资料库行人，即未知行人的数量；
步骤4、将未知行人数量与未知行人图像依次经过信息交互端、网关、服务器传输至用户终端。
5.根据权利要求4所述的一种基于物联网的视觉智能行人监控方法，其特征在于，步骤2所述第二相机检测监控视频中的行人总数，具体为：
第二相机使用Faster R-CNN算法扫描出监控视频中的行人个数。
6.根据权利要求5所述的一种基于物联网的视觉智能行人监控方法，其特征在于，第二相机使用Faster R-CNN算法扫描出监控视频中的行人个数，即行人重识别，包括以下步骤：
步骤21.输入图像；
步骤22.通过区域生成网络RPN生成候选区域；
步骤23.提取特征；
步骤24.分类器分类；
步骤25.回归器回归并进行位置调整。
7.根据权利要求4所述的一种基于物联网的视觉智能行人监控方法，其特征在于，步骤1所述第一相机识别监控视频中人物图像，将识别的人物图像与行人照片资料库对比，得出非资料库行人，具体为：
采用机器学习决策树算法对行人照片资料库进行训练，然后对监控视频中的行人面部进行识别，得出非资料库行人，即未知行人。
CN202011372747.1A 2020-11-30 2020-11-30 一种基于物联网的视觉智能行人监控***和方法 Pending CN113221612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011372747.1A CN113221612A (zh) 2020-11-30 2020-11-30 一种基于物联网的视觉智能行人监控***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011372747.1A CN113221612A (zh) 2020-11-30 2020-11-30 一种基于物联网的视觉智能行人监控***和方法

Publications (1)

Publication Number Publication Date
CN113221612A true CN113221612A (zh) 2021-08-06

Family

ID=77085783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011372747.1A Pending CN113221612A (zh) 2020-11-30 2020-11-30 一种基于物联网的视觉智能行人监控***和方法

Country Status (1)

Country Link
CN (1) CN113221612A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007081519A2 (en) * 2005-12-30 2007-07-19 Steven Kays Genius adaptive design
CN107229894A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 基于计算机视觉分析技术的智能视频监控方法及***
CN107798878A (zh) * 2017-11-29 2018-03-13 合肥寰景信息技术有限公司 基于面部识别的交通安全提醒***
CN109740577A (zh) * 2019-02-28 2019-05-10 南京信息工程大学 一种基于树莓派的实时人脸重识别摄像***及其调试方法
CN109819208A (zh) * 2019-01-02 2019-05-28 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法
CN109858388A (zh) * 2019-01-09 2019-06-07 武汉中联智诚科技有限公司 一种智慧旅游管理***
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN109934176A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人识别***、识别方法及计算机可读存储介质
CN110009210A (zh) * 2019-03-26 2019-07-12 北京师范大学珠海分校 一种基于关注度和专注度的学生听课水平综合评估方法
CN111823252A (zh) * 2020-07-10 2020-10-27 上海迪勤智能科技有限公司 一种智能机器人***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007081519A2 (en) * 2005-12-30 2007-07-19 Steven Kays Genius adaptive design
CN107229894A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 基于计算机视觉分析技术的智能视频监控方法及***
CN107798878A (zh) * 2017-11-29 2018-03-13 合肥寰景信息技术有限公司 基于面部识别的交通安全提醒***
CN109819208A (zh) * 2019-01-02 2019-05-28 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法
CN109858388A (zh) * 2019-01-09 2019-06-07 武汉中联智诚科技有限公司 一种智慧旅游管理***
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN109740577A (zh) * 2019-02-28 2019-05-10 南京信息工程大学 一种基于树莓派的实时人脸重识别摄像***及其调试方法
CN109934176A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人识别***、识别方法及计算机可读存储介质
CN110009210A (zh) * 2019-03-26 2019-07-12 北京师范大学珠海分校 一种基于关注度和专注度的学生听课水平综合评估方法
CN111823252A (zh) * 2020-07-10 2020-10-27 上海迪勤智能科技有限公司 一种智能机器人***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
任飞等: ""基于改进进化神经网络的双目视觉***标定"", 《电光与控制》, 2 June 2020 (2020-06-02) *
王海起;李建;刘香斌;陈海波;: "基于视频的校园教室空闲率分析***", 地理信息世界, no. 06, 25 December 2019 (2019-12-25) *
胡鹏: ""基于单目摄像头的密集人群跨线计数及其嵌入式***的实现"", 《中国硕士学位论文全文数据库》, 15 August 2020 (2020-08-15) *
黄凯: ""多目标行人检测与追踪算法研究及其在视频监控平台的应用"", 《中国硕士学位论文全文数据库》, 15 March 2020 (2020-03-15) *

Similar Documents

Publication Publication Date Title
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
WO2021103868A1 (zh) 一种行人结构化方法、装置、设备和存储介质
CN106845415B (zh) 一种基于深度学习的行人精细化识别方法及装置
CN111639544A (zh) 基于多分支跨连接卷积神经网络的表情识别方法
CN109325507B (zh) 结合超像素显著性特征与hog特征图像分类方法和***
CN112836675B (zh) 一种基于聚类生成伪标签的无监督行人重识别方法及***
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN102917207A (zh) 基于运动序列的异常行为视觉监测***
CN110334577B (zh) 一种基于海思安防芯片的人脸识别方法
CN107702020B (zh) 一种多功能联动的智慧路灯控制方法
Li et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines
Zhou et al. Algorithm of Helmet Wearing Detection Based on AT-YOLO Deep Mode.
CN116092119A (zh) 基于多维度特征融合的人体行为识别***及其工作方法
CN113761995A (zh) 一种基于双变换对齐与分块的跨模态行人重识别方法
CN113687610B (zh) 一种gan-cnn电力监测***终端信息防护法方法
CN105956604B (zh) 一种基于两层时空邻域特征的动作识别方法
Yin Object Detection Based on Deep Learning: A Brief Review
Zhang [Retracted] Sports Action Recognition Based on Particle Swarm Optimization Neural Networks
Daogang et al. Anomaly identification of critical power plant facilities based on YOLOX-CBAM
Fung-Lung et al. An image acquisition method for face recognition and implementation of an automatic attendance system for events
CN113221612A (zh) 一种基于物联网的视觉智能行人监控***和方法
CN116433645A (zh) 一种皮带鼓包检测方法与检测***
Yang et al. Heterogeneous face detection based on multi‐task cascaded convolutional neural network
CN117831131B (zh) 一种基于卷积神经网络的典型违章行为智能化识别算法的压缩方法
Zhang Face Recognition Model Design Based on Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination