CN117315592B - 一种基于机器人端实时监控摄像的识别预警*** - Google Patents

一种基于机器人端实时监控摄像的识别预警*** Download PDF

Info

Publication number
CN117315592B
CN117315592B CN202311587094.2A CN202311587094A CN117315592B CN 117315592 B CN117315592 B CN 117315592B CN 202311587094 A CN202311587094 A CN 202311587094A CN 117315592 B CN117315592 B CN 117315592B
Authority
CN
China
Prior art keywords
early warning
personnel
risk
identification
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311587094.2A
Other languages
English (en)
Other versions
CN117315592A (zh
Inventor
张敏
余妍秋
杜光会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Academy Of Medical Sciences Sichuan Provincial People's Hospital
Original Assignee
Sichuan Academy Of Medical Sciences Sichuan Provincial People's Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Academy Of Medical Sciences Sichuan Provincial People's Hospital filed Critical Sichuan Academy Of Medical Sciences Sichuan Provincial People's Hospital
Priority to CN202311587094.2A priority Critical patent/CN117315592B/zh
Publication of CN117315592A publication Critical patent/CN117315592A/zh
Application granted granted Critical
Publication of CN117315592B publication Critical patent/CN117315592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

本发明的技术领域为计算机视觉与图像分析领域，具体涉及一种基于机器人端实时监控摄像的识别预警***，基于采集院内识别照片，将院内识别照片输入到院内危险事件识别模型，得到人员风险物品识别结果；将人员风险物品识别结果进行危险品区域框联通域扩展处理，判断联通域扩展后的人员风险物品识别结果是否满足危险预警条件；如果联通域扩展后的人员风险物品识别结果满足危险预警条件，对人员风险物品识别结果进行照片切割、标准化以及帧语义处理，得到人员预警候选照片；将人员预警候选照片输入到人员预警模型，提示人员预警结果。本发明基于对人员进行预警任务，从而实现对应急救援人员的辅助诊断，有效提高危险人员的诊断效率与准确性。

Description

一种基于机器人端实时监控摄像的识别预警***
技术领域
本发明的技术领域为计算机视觉与图像分析领域，具体涉及一种基于机器人端实时监控摄像的识别预警***。
背景技术
若有意外发生时，只能事后透过这些监控***所录制的影片来寻找可能的蛛丝马迹，故目前的环景影像监控***所存在的缺点即是无法即时侦测入侵的物件，也无法即时通知保全人员前往救援。
同时，目前很多大医院不能及时地收集病患的恢复和求援信息，又不利于医生对病患状况的判断。
发明内容
根据本发明第一方面，本发明请求保护一种基于机器人端实时监控摄像的识别预警***，其特征在于，包括：
环境数据采集模块，获取院内的环境图像，对所述环境图像输入到院内危险事件识别模型，得到环境风险识别结果；
风险物品识别模块，采集院内识别照片，将所述院内识别照片输入到院内危险事件识别模型，得到人员风险物品识别结果；
人员风险物品联通域扩展模块，将所述人员风险物品识别结果进行危险品区域框联通域扩展处理，判断联通域扩展后的人员风险物品识别结果是否满足危险预警条件；
人员预警候选提示模块，如果所述联通域扩展后的人员风险物品识别结果满足危险预警条件，对所述人员风险物品识别结果进行照片切割、标准化以及帧语义处理，得到人员预警候选照片；
人员预警提示模块，将所述人员预警候选照片输入到人员预警模型，提示人员预警结果；
应急策略执行模块，依据所述人员预警结果和环境风险识别结果采取预设的应急对应策略。
进一步的，所述环境数据采集模块，还包括：
采集院内环境照片；
对所述院内环境照片进行标签检测，并提示多个维度的环境标签帧；
将各个维度的环境标签帧进行集成，并提示集成后的环境标签帧；
对集成后的环境标签帧进行标签分析，建立第一标签集；
基于第一标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的环境风险识别结果；
所述多个维度包括所述院内环境照片中的设备、烟雾浓度、物品统计；
所述风险物品识别模块，还包括：
采集院内识别照片；
对所述院内识别照片进行标签检测，并提示多个维度的识别标签帧；
将各个维度的识别标签帧进行集成，并提示集成后的识别标签帧；
对集成后的识别标签帧进行标签分析，建立第二标签集；
基于第二标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的人员风险物品识别结果；
所述多个维度包括所述院内识别照片中的时间、人数、方向、动作。
进一步的，所述人员风险物品联通域扩展模块，还包括：
将人员风险物品识别结果基于危险品区域框联通域扩展出，对所述危险品区域框进行预设像素填充处理，得到人员风险物品识别联通域扩展结果；
判断所述人员风险物品识别联通域扩展结果的最小外界矩形是否达到面积百分比perc_area，若达到面积百分比，则满足危险预警条件。
进一步的，所述人员预警候选提示模块，还包括：
基于去均值实现中心化的处理，所述帧语义处理中，进行意图场景以及安全场景的增强；
所述意图场景包括对人员风险物品识别结果进行危险度评估操作；
所述安全场景包括危险人物距离计算操作。
进一步的，所述人员预警提示模块，还包括：
所述人员预警模型包括危险预警区域运动模型以及行为动作模型；
将所述人员预警候选照片输入到所述危险预警区域运动模型中，得到第一预警结果；
当所述第一预警结果为运动场景后，将所述人员预警候选照片输入到所述行为动作模型中，得到第二预警结果；
将所述第一预警结果和/或第二预警结果作为人员预警结果进行提示；
所述危险预警区域运动模型以及行为动作模型均采用基于神经网络的复合预警模型YOLO v5；
所述危险预警区域运动模型以及行为动作模型均由多个线性卷积块构成；
将所述人员预警候选照片输入到所述危险预警区域运动模型或行为动作模型中包括：
基于带有Softmax回归函数的pool层进行特征解析；
将所述人员预警候选照片输入到N个线性卷积块，提取人员的特征，与背景进分离；
基于平均池化以及全连接层提示危险预警区域运动模型以及行为动作模型的预警的标签和分数；
所述线性卷积块包括依次连接的神经网络运算引擎、SEchunk以及3*3池化；
所述SEchunk包括依次连接的全连接层、3*3池化层、Sigmoid回归层、3*3池化层、Softmax回归层；
危险预警区域运动模型以及行为动作模型的复合预警模型包括模糊网络和精准网络；
在所述模糊网络，危险预警区域运动模型以及行为动作模型均关注人员的色彩变化以及纹理的自然特征；
在精准网络中，危险预警区域运动模型关注人员的边界信息，行为动作模型关注于人员的手持动作，进行突出显示。
进一步的，所述应急策略执行模块，还包括：
所述环境风险识别结果至少包括火焰高风险、火焰低风险、火焰已发生；
所述人员预警结果至少包括：严重冲突、一般冲突、潜在冲突；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第一应急策略；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰低风险时，采取第二应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰已发生时，采取第三应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰低风险时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第四应急策略；
所述第一应急策略为开启所有消防通道与应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第二应急策略为开启所有消防通道，自动呼叫急救医疗与警务人员；
所述第三应急策略为开启所有应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第三应急策略为自动呼叫急救医疗与警务消防人员。
本发明的技术领域为计算机视觉与图像分析领域，具体涉及一种基于机器人端实时监控摄像的识别预警***，针对人体运动轨迹做算法分析，识别出人的各种异常行为动作。人体行为分析技术基于监控实时画面中的人体架构形态为基础，将时间、人数、方向、动作这四个维度纳入算法维度，根据医院这个特殊场景进行特殊行为识别与预警。物品识别及预警则基于医院这个复杂环境，对视频画面中的危险物品（如：刀）进行反复测试、学习，使得***能识别该物品，在***设置区域内出现该物品即发出告警。
附图说明
图1为本发明所请求保护的一种基于机器人端实时监控摄像的识别预警方法的工作流程图；
图2为本发明所请求保护的一种基于机器人端实时监控摄像的识别预警方法的预警模型示意图；
图3为本发明所请求保护的一种基于机器人端实时监控摄像的识别预警方法的线性卷积块示意图；
图4为本发明所请求保护的一种基于机器人端实时监控摄像的识别预警方法的SEchunk示意图；
图5为本发明所请求保护的一种基于机器人端实时监控摄像的识别预警***的结构模块图。
具体实施方式
本方案旨在基于对人员进行预警任务，从而实现对应急救援人员的辅助诊断，有效提高危险人员的诊断效率与准确性。
根据本发明第一实施例，参照附图1，本发明请求保护一种基于机器人端实时监控摄像的识别预警方法，其特征在于，包括：
获取院内的环境图像，对所述环境图像输入到院内危险事件识别模型，得到环境风险识别结果；
采集院内识别照片，将所述院内识别照片输入到院内危险事件识别模型，得到人员风险物品识别结果；
将所述人员风险物品识别结果进行危险品区域框联通域扩展处理，判断联通域扩展后的人员风险物品识别结果是否满足危险预警条件；
如果所述联通域扩展后的人员风险物品识别结果满足危险预警条件，对所述人员风险物品识别结果进行照片切割、标准化以及帧语义处理，得到人员预警候选照片；
将所述人员预警候选照片输入到人员预警模型，提示人员预警结果；
依据所述人员预警结果和环境风险识别结果采取预设的应急对应策略。
进一步的，所述获取院内的环境图像，对所述环境图像输入到院内危险事件识别模型，得到环境风险识别结果，还包括：
采集院内环境照片；
对所述院内环境照片进行标签检测，并提示多个维度的环境标签帧；
将各个维度的环境标签帧进行集成，并提示集成后的环境标签帧；
对集成后的环境标签帧进行标签分析，建立第一标签集；
基于第一标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的环境风险识别结果；
所述多个维度包括所述院内环境照片中的设备、烟雾浓度、物品统计；
所述采集院内识别照片，将所述院内识别照片输入到院内危险事件识别模型，得到人员风险物品识别结果，还包括：
采集院内识别照片；
对所述院内识别照片进行标签检测，并提示多个维度的识别标签帧；
将各个维度的识别标签帧进行集成，并提示集成后的识别标签帧；
对集成后的识别标签帧进行标签分析，建立第二标签集；
基于第二标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的人员风险物品识别结果；
所述多个维度包括所述院内识别照片中的时间、人数、方向、动作。
进一步的，所述将所述人员风险物品识别结果进行危险品区域框联通域扩展处理，判断联通域扩展后的人员风险物品识别结果是否满足危险预警条件，还包括：
将人员风险物品识别结果基于危险品区域框联通域扩展出，对所述危险品区域框进行预设像素填充处理，得到人员风险物品识别联通域扩展结果；
判断所述人员风险物品识别联通域扩展结果的最小外界矩形是否达到面积百分比perc_area，若达到面积百分比，则满足危险预警条件。
其中，在该实施例中，矩形框表示基于院内危险事件识别模型得到的人员风险物品区域，即危险品区域框Danger box；
将人员风险物品基于危险品区域框联通域扩展出，指的是对输入照片进行联通域扩展。为了保证人员的全局特征的完整性，对内部的危险品区域框填充了32个像素点的边界范围，得到***的的危险品区域框；
其中，在该实施例中，基于联通域扩展照片，采集***危险品区域框内的照片，将其作为预警模型的输入照片。同时对其进行判断是否危险预警模型的预警标准，具体指输入照片的最小外界矩形是否达到面积百分比perc_area。若达到面积百分比，即满足预警条件。
进一步的，所述如果所述联通域扩展后的人员风险物品识别结果满足危险预警条件，对所述人员风险物品识别结果进行照片切割、标准化以及帧语义处理，得到人员预警候选照片，还包括：
基于去均值实现中心化的处理，所述帧语义处理中，进行意图场景以及安全场景的增强；
所述意图场景包括对人员风险物品识别结果进行危险度评估操作；
所述安全场景包括危险人物距离计算操作。
进一步的，所述将所述人员预警候选照片输入到人员预警模型，提示人员预警结果，还包括：
所述人员预警模型包括危险预警区域运动模型以及行为动作模型；
将所述人员预警候选照片输入到所述危险预警区域运动模型中，得到第一预警结果；
当所述第一预警结果为运动场景后，将所述人员预警候选照片输入到所述行为动作模型中，得到第二预警结果；
将所述第一预警结果和/或第二预警结果作为人员预警结果进行提示；
所述危险预警区域运动模型以及行为动作模型均采用基于神经网络的复合预警模型YOLO v5；
所述危险预警区域运动模型以及行为动作模型均由多个线性卷积块构成；
将所述人员预警候选照片输入到所述危险预警区域运动模型或行为动作模型中包括：
基于带有Softmax回归函数的pool层进行特征解析；
将所述人员预警候选照片输入到N个线性卷积块，提取人员的特征，与背景进分离；
基于平均池化以及全连接层提示危险预警区域运动模型以及行为动作模型的预警的标签和分数；
所述线性卷积块包括依次连接的神经网络运算引擎、SEchunk以及3*3池化；
所述SEchunk包括依次连接的全连接层、3*3池化层、Sigmoid回归层、3*3池化层、Softmax回归层；
危险预警区域运动模型以及行为动作模型的复合预警模型包括模糊网络和精准网络；
在所述模糊网络，危险预警区域运动模型以及行为动作模型均关注人员的色彩变化以及纹理底层的自然特征；
在精准网络中，危险预警区域运动模型关注人员的边界信息，行为动作模型关注于人员的手持动作，进行突出显示。
其中，在该实施例中，由于行为动作是对人员的受伤评估再受伤的风险的一种方法，人员预警模型的逻辑如下：只有危险人员先经过区域运动模型，判断该人员是否处于人员运动。对运动人员的再受伤概率再进行评估，将其输入行为动作模型中。若人员处于运动，则人员的预警结果提示包括区域运动以及行为动作。否则，只提示区域运动的结果。
所述的区域运动模型以及行为动作模型均采用基于神经网络的预警模型实现，目前使用的模型为YOLO v5，其主要结构由多个线性卷积块构成。网络结构如图2所示；
首先基于带有Softmax回归函数的池化层进行特征解析；其次将其输入到N个线性卷积块，提取人员的特征，将其与背景进分离；最后基于平均池化以及全连接层提示预警标签和分数。其中，N为15。其具体的操作如表1所示：
表1 预警模型分层表
其中，s表示步长，Softmax和Sigmoid表示不同的回归函数。√表示线性卷积块是否带有SEchunk。表1提供更详细的卷积的细节。
具体的，在该实施例中，参照图3，线性卷积块由神经网络运算引擎、SEchunk以及3*3池化构成。其中，SEchunk仅在特定层的线性卷积块中出现，即在第5、6、7、12、13、14、15、16层中，引入SEchunk提取通道和空间特征；其SEchunk如图4所示。
区域运动和行为动作模型在模糊网络中，两个模型均关注人员的色彩变化以及纹理底层的自然特征。在第16层网络中，区域运动模型关注于人员的边界信息。在第17层网络中，行为动作模型关注于人员的手持动作，进行突出显示。
基于上述步骤，本发明的基于神经网络的危险人员区域运动和行为动作方法，实现对人员发展时期的划分，再基于判断人员的受伤可能，实现人员再受伤的行为动作评估。从而解决了技术问题中提到的噪声干扰和精度难以保证的问题。
所述依据所述人员预警结果和环境风险识别结果采取预设的应急对应策略，还包括：
所述环境风险识别结果至少包括火焰高风险、火焰低风险、火焰已发生；
所述人员预警结果至少包括：严重冲突、一般冲突、潜在冲突；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第一应急策略；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰低风险时，采取第二应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰已发生时，采取第三应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰低风险时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第四应急策略；
所述第一应急策略为开启所有消防通道与应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第二应急策略为开启所有消防通道，自动呼叫急救医疗与警务人员；
所述第三应急策略为开启所有应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第三应急策略为自动呼叫急救医疗与警务消防人员。
根据本发明第二实施例，参照图5，本发明请求保护一种基于机器人端实时监控摄像的识别预警***，其特征在于，包括：
环境数据采集模块，获取院内的环境图像，对所述环境图像输入到院内危险事件识别模型，得到环境风险识别结果；
风险物品识别模块，采集院内识别照片，将所述院内识别照片输入到院内危险事件识别模型，得到人员风险物品识别结果；
人员风险物品联通域扩展模块，将所述人员风险物品识别结果进行危险品区域框联通域扩展处理，判断联通域扩展后的人员风险物品识别结果是否满足危险预警条件；
人员预警候选提示模块，如果所述联通域扩展后的人员风险物品识别结果满足危险预警条件，对所述人员风险物品识别结果进行照片切割、标准化以及帧语义处理，得到人员预警候选照片；
人员预警提示模块，将所述人员预警候选照片输入到人员预警模型，提示人员预警结果；
应急策略执行模块，依据所述人员预警结果和环境风险识别结果采取预设的应急对应策略。
进一步的，所述环境数据采集模块，还包括：
采集院内环境照片；
对所述院内环境照片进行标签检测，并提示多个维度的环境标签帧；
将各个维度的环境标签帧进行集成，并提示集成后的环境标签帧；
对集成后的环境标签帧进行标签分析，建立第一标签集；
基于第一标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的环境风险识别结果；
所述多个维度包括所述院内环境照片中的设备、烟雾浓度、物品统计；
所述风险物品识别模块，还包括：
采集院内识别照片；
对所述院内识别照片进行标签检测，并提示多个维度的识别标签帧；
将各个维度的识别标签帧进行集成，并提示集成后的识别标签帧；
对集成后的识别标签帧进行标签分析，建立第二标签集；
基于第二标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的人员风险物品识别结果；
所述多个维度包括所述院内识别照片中的时间、人数、方向、动作。
进一步的，所述人员风险物品联通域扩展模块，还包括：
将人员风险物品识别结果基于危险品区域框联通域扩展出，对所述危险品区域框进行预设像素填充处理，得到人员风险物品识别联通域扩展结果；
判断所述人员风险物品识别联通域扩展结果的最小外界矩形是否达到面积百分比perc_area，若达到面积百分比，则满足危险预警条件。
进一步的，所述人员预警候选提示模块，还包括：
基于去均值实现中心化的处理，所述帧语义处理中，进行意图场景以及安全场景的增强；
所述意图场景包括对人员风险物品识别结果进行危险度评估操作；
所述安全场景包括危险人物距离计算操作。
进一步的，所述人员预警提示模块，还包括：
所述人员预警模型包括危险预警区域运动模型以及行为动作模型；
将所述人员预警候选照片输入到所述危险预警区域运动模型中，得到第一预警结果；
当所述第一预警结果为运动场景后，将所述人员预警候选照片输入到所述行为动作模型中，得到第二预警结果；
将所述第一预警结果和/或第二预警结果作为人员预警结果进行提示；
所述危险预警区域运动模型以及行为动作模型均采用基于神经网络的复合预警模型YOLO v5；
所述危险预警区域运动模型以及行为动作模型均由多个线性卷积块构成；
将所述人员预警候选照片输入到所述危险预警区域运动模型或行为动作模型中包括：
基于带有Softmax回归函数的pool层进行特征解析；
将所述人员预警候选照片输入到N个线性卷积块，提取人员的特征，与背景进分离；
基于平均池化以及全连接层提示危险预警区域运动模型以及行为动作模型的预警的标签和分数；
所述线性卷积块包括依次连接的神经网络运算引擎、SEchunk以及3*3池化；
所述SEchunk包括依次连接的全连接层、3*3池化层、Sigmoid回归层、3*3池化层、Softmax回归层；
危险预警区域运动模型以及行为动作模型的复合预警模型包括模糊网络和精准网络；
在所述模糊网络，危险预警区域运动模型以及行为动作模型均关注人员的色彩变化以及纹理的自然特征；
在精准网络中，危险预警区域运动模型关注人员的边界信息，行为动作模型关注于人员的手持动作，进行突出显示。
进一步的，所述应急策略执行模块，还包括：
所述环境风险识别结果至少包括火焰高风险、火焰低风险、火焰已发生；
所述人员预警结果至少包括：严重冲突、一般冲突、潜在冲突；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第一应急策略；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰低风险时，采取第二应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰已发生时，采取第三应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰低风险时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第四应急策略；
所述第一应急策略为开启所有消防通道与应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第二应急策略为开启所有消防通道，自动呼叫急救医疗与警务人员；
所述第三应急策略为开启所有应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第三应急策略为自动呼叫急救医疗与警务消防人员。
在精准网络中，危险预警区域运动模型关注人员的边界信息，行为动作模型关注于人员的手持动作，进行突出显示。本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以基于硬件实现，也可以基于软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可基于计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其同物限定。

Claims (3)

1.一种基于机器人端实时监控摄像的识别预警***，其特征在于，包括：
环境数据采集模块，获取院内的环境图像，对所述环境图像输入到院内危险事件识别模型，得到环境风险识别结果；
风险物品识别模块，采集院内识别照片，将所述院内识别照片输入到院内危险事件识别模型，得到人员风险物品识别结果；
人员风险物品联通域扩展模块，将所述人员风险物品识别结果进行危险品区域框联通域扩展处理，判断联通域扩展后的人员风险物品识别结果是否满足危险预警条件；
人员预警候选提示模块，如果所述联通域扩展后的人员风险物品识别结果满足危险预警条件，对所述人员风险物品识别结果进行照片切割、标准化以及帧语义处理，得到人员预警候选照片；
人员预警提示模块，将所述人员预警候选照片输入到人员预警模型，提示人员预警结果；
应急策略执行模块，依据所述人员预警结果和环境风险识别结果采取预设的应急对应策略；
所述环境数据采集模块，还包括：
采集院内环境照片；
对所述院内环境照片进行标签检测，并提示多个维度的环境标签帧；
将各个维度的环境标签帧进行集成，并提示集成后的环境标签帧；
对集成后的环境标签帧进行标签分析，建立第一标签集；
基于第一标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的环境风险识别结果；
所述多个维度包括所述院内环境照片中的设备、烟雾浓度、物品统计；
所述风险物品识别模块，还包括：
采集院内识别照片；
对所述院内识别照片进行标签检测，并提示多个维度的识别标签帧；
将各个维度的识别标签帧进行集成，并提示集成后的识别标签帧；
对集成后的识别标签帧进行标签分析，建立第二标签集；
基于第二标签集，对集成后的标签帧进行包含复合级特征融合的动态卷积，提示符合标签集的人员风险物品识别结果；
所述多个维度包括所述院内识别照片中的时间、人数、方向、动作；
所述人员预警提示模块，还包括：
所述人员预警模型包括危险预警区域运动模型以及行为动作模型；
将所述人员预警候选照片输入到所述危险预警区域运动模型中，得到第一预警结果；
当所述第一预警结果为运动场景后，将所述人员预警候选照片输入到所述行为动作模型中，得到第二预警结果；
将所述第一预警结果和/或第二预警结果作为人员预警结果进行提示；
所述危险预警区域运动模型以及行为动作模型均采用基于神经网络的复合预警模型YOLO v5；
所述危险预警区域运动模型以及行为动作模型均由多个线性卷积块构成；
将所述人员预警候选照片输入到所述危险预警区域运动模型或行为动作模型中包括：
基于带有Softmax回归函数的pool层进行特征解析；
将所述人员预警候选照片输入到N个线性卷积块，提取人员的特征，与背景进分离；
基于平均池化以及全连接层提示危险预警区域运动模型以及行为动作模型的预警的标签和分数；
所述线性卷积块包括依次连接的神经网络运算引擎、SEchunk以及3*3池化；
所述SEchunk包括依次连接的全连接层、3*3池化层、Sigmoid回归层、3*3池化层、Softmax回归层；
危险预警区域运动模型以及行为动作模型的复合预警模型包括模糊网络和精准网络；
在所述模糊网络，危险预警区域运动模型以及行为动作模型均关注人员的色彩变化以及纹理的自然特征；
在精准网络中，危险预警区域运动模型关注人员的边界信息，行为动作模型关注于人员的手持动作，进行突出显示；
所述人员预警候选提示模块，还包括：
基于去均值实现中心化的处理，所述帧语义处理中，进行意图场景以及安全场景的增强；
所述意图场景包括对人员风险物品识别结果进行危险度评估操作；
所述安全场景包括危险人物距离计算操作。
2.如权利要求1所述的一种基于机器人端实时监控摄像的识别预警***，其特征在于，所述人员风险物品联通域扩展模块，还包括：
将人员风险物品识别结果基于危险品区域框联通域扩展出，对所述危险品区域框进行预设像素填充处理，得到人员风险物品识别联通域扩展结果；
判断所述人员风险物品识别联通域扩展结果的最小外界矩形是否达到面积百分比perc_area，若达到面积百分比，则满足危险预警条件。
3.如权利要求1所述的一种基于机器人端实时监控摄像的识别预警***，其特征在于，所述应急策略执行模块，还包括：
所述环境风险识别结果至少包括火焰高风险、火焰低风险、火焰已发生；
所述人员预警结果至少包括：严重冲突、一般冲突、潜在冲突；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第一应急策略；
当所述人员预警结果为严重冲突且所述环境风险识别结果为火焰低风险时，采取第二应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰已发生时，采取第三应急策略；
当所述人员预警结果为一般冲突且所述环境风险识别结果为火焰低风险时，或所述人员预警结果为潜在冲突且所述环境风险识别结果为火焰高风险或火焰已发生时，采取第四应急策略；
所述第一应急策略为开启所有消防通道与应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第二应急策略为开启所有消防通道，自动呼叫急救医疗与警务人员；
所述第三应急策略为开启所有应急灯具，自动呼叫急救医疗与警务、消防人员；
所述第三应急策略为自动呼叫急救医疗与警务消防人员。
CN202311587094.2A 2023-11-27 2023-11-27 一种基于机器人端实时监控摄像的识别预警*** Active CN117315592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311587094.2A CN117315592B (zh) 2023-11-27 2023-11-27 一种基于机器人端实时监控摄像的识别预警***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311587094.2A CN117315592B (zh) 2023-11-27 2023-11-27 一种基于机器人端实时监控摄像的识别预警***

Publications (2)

Publication Number Publication Date
CN117315592A CN117315592A (zh) 2023-12-29
CN117315592B true CN117315592B (zh) 2024-01-30

Family

ID=89255514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311587094.2A Active CN117315592B (zh) 2023-11-27 2023-11-27 一种基于机器人端实时监控摄像的识别预警***

Country Status (1)

Country Link
CN (1) CN117315592B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6067197B1 (ja) * 2015-10-29 2017-01-25 株式会社 テクノミライ デジタルスマートセフティシステム、方法及びプログラム
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、***和智能终端
CN112001335A (zh) * 2020-08-27 2020-11-27 武汉科技大学 一种地铁乘客不安全行为风险评估界面***
CN114419706A (zh) * 2022-01-18 2022-04-29 安徽启路达光电科技有限公司 一种医院安检方法及安检***
CN114463928A (zh) * 2021-12-29 2022-05-10 上海瑞琨计算机***集成有限公司 一种智能报警方法和***
CN114782897A (zh) * 2022-05-09 2022-07-22 江西交通职业技术学院 基于机器视觉及深度学习的危险行为检测方法及***
CN115171220A (zh) * 2022-08-09 2022-10-11 长沙海信智能***研究院有限公司 异常通行预警方法、装置及电子设备
CN115376268A (zh) * 2022-10-21 2022-11-22 山东太平天下智慧科技有限公司 一种基于图像识别的监控报警消防联动***
CN115393789A (zh) * 2022-08-03 2022-11-25 中国民航机场建设集团有限公司 建筑工地危险区域人群聚集预警方法、***、设备及存储介质
CN115984767A (zh) * 2022-12-13 2023-04-18 南通市亿控自动化***有限公司 一种基于监控画面实时分析的异常预警方法及***
CN116012784A (zh) * 2023-01-03 2023-04-25 上海煤科信息科技有限公司 基于ai机器人识别的采煤过程巡检方法及***
CN116524414A (zh) * 2023-06-26 2023-08-01 广州英码信息科技有限公司 一种打架行为识别方法、***及计算机可读存储介质
CN116563776A (zh) * 2023-03-08 2023-08-08 国网宁夏电力有限公司信息通信公司 基于人工智能的违章行为告警方法、***、介质及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6067197B1 (ja) * 2015-10-29 2017-01-25 株式会社 テクノミライ デジタルスマートセフティシステム、方法及びプログラム
CN107045623A (zh) * 2016-12-30 2017-08-15 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、***和智能终端
CN112001335A (zh) * 2020-08-27 2020-11-27 武汉科技大学 一种地铁乘客不安全行为风险评估界面***
CN114463928A (zh) * 2021-12-29 2022-05-10 上海瑞琨计算机***集成有限公司 一种智能报警方法和***
CN114419706A (zh) * 2022-01-18 2022-04-29 安徽启路达光电科技有限公司 一种医院安检方法及安检***
CN114782897A (zh) * 2022-05-09 2022-07-22 江西交通职业技术学院 基于机器视觉及深度学习的危险行为检测方法及***
CN115393789A (zh) * 2022-08-03 2022-11-25 中国民航机场建设集团有限公司 建筑工地危险区域人群聚集预警方法、***、设备及存储介质
CN115171220A (zh) * 2022-08-09 2022-10-11 长沙海信智能***研究院有限公司 异常通行预警方法、装置及电子设备
CN115376268A (zh) * 2022-10-21 2022-11-22 山东太平天下智慧科技有限公司 一种基于图像识别的监控报警消防联动***
CN115984767A (zh) * 2022-12-13 2023-04-18 南通市亿控自动化***有限公司 一种基于监控画面实时分析的异常预警方法及***
CN116012784A (zh) * 2023-01-03 2023-04-25 上海煤科信息科技有限公司 基于ai机器人识别的采煤过程巡检方法及***
CN116563776A (zh) * 2023-03-08 2023-08-08 国网宁夏电力有限公司信息通信公司 基于人工智能的违章行为告警方法、***、介质及设备
CN116524414A (zh) * 2023-06-26 2023-08-01 广州英码信息科技有限公司 一种打架行为识别方法、***及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Real-Time Early Safety Warning for Personnel Intrusion Behavior on Construction Sites Using a CNN Model;Jinyu Zhao等;《buildings》;第13卷;1-17 *
基于行为识别技术的公共安全突发事件预警研究;周天麒;《中国安防》;14-20 *
某综合医院急诊科医患暴力冲突预警分级与应对策略研究;吕君;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》(第06期);E053-151 *

Also Published As

Publication number Publication date
CN117315592A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN110458101B (zh) 基于视频与设备结合的服刑人员体征监测方法及设备
Sokolova et al. A fuzzy model for human fall detection in infrared video
Anishchenko Machine learning in video surveillance for fall detection
RU2713876C1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
US20200311962A1 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
US20180046866A1 (en) Method of Detecting a Moving Object by Reconstructive Image Processing
CN111652185A (zh) 一种基于违章行为识别的安全施工方法、***、装置及存储介质
CN113850229A (zh) 基于视频数据机器学习的人员异常行为预警方法、***及计算机设备
CN114898261A (zh) 一种基于视频和生理数据融合的睡眠质量评估方法及***
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及***
CN114067431A (zh) 图像处理方法、装置、计算机设备和存储介质
Dilshad et al. Efficient Deep Learning Framework for Fire Detection in Complex Surveillance Environment.
CN113392765A (zh) 一种基于机器视觉的摔倒检测方法和***
KR102182660B1 (ko) 시공간 특징을 이용한 폭력 감지 시스템, 방법 및 상기 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
CN117351405B (zh) 一种人群行为分析***及方法
CN114170585A (zh) 危险驾驶行为的识别方法、装置、电子设备及存储介质
CN117315592B (zh) 一种基于机器人端实时监控摄像的识别预警***
CN116681568A (zh) 一种基于5g网络的信息安全防护监管***及方法
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN115171335A (zh) 一种融合图像和语音的独居老人室内安全保护方法及装置
Katkar et al. Detection and Tracking the Criminal Activity using Network of CCTV cameras
CN114997279A (zh) 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法
KR102662251B1 (ko) 인공지능 기반의 치매 환자 추적 방법
CN116453194B (zh) 一种人脸属性判别方法及装置
CN115376275B (zh) 一种基于图像处理的施工安全告警方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant