CN117312828A - 公共设施监控方法和*** - Google Patents

公共设施监控方法和*** Download PDF

Info

Publication number
CN117312828A
CN117312828A CN202311274868.6A CN202311274868A CN117312828A CN 117312828 A CN117312828 A CN 117312828A CN 202311274868 A CN202311274868 A CN 202311274868A CN 117312828 A CN117312828 A CN 117312828A
Authority
CN
China
Prior art keywords
public facility
signal
public
feature
utility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311274868.6A
Other languages
English (en)
Other versions
CN117312828B (zh
Inventor
蔡志飞
刘强
张茂林
余俊峰
黄浩
杜强顺
凡军燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optical Valley Technology Co ltd
Original Assignee
Optical Valley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optical Valley Technology Co ltd filed Critical Optical Valley Technology Co ltd
Priority to CN202311274868.6A priority Critical patent/CN117312828B/zh
Publication of CN117312828A publication Critical patent/CN117312828A/zh
Application granted granted Critical
Publication of CN117312828B publication Critical patent/CN117312828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种公共设施监控方法和***，其中，方法包括：获取无源传感器采集的传感信号；提取传感信号中的公共设施信号特征；在检测到公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的公共设施的传感信号对应的当前公共设施的视频数据，视频数据的获取持续时长覆盖公共设施的传感信号发生的持续时长；提取视频数据中的公共设施图像变化特征；将公共设施信号特征和公共设施图像变化特征输入至公共设施状态识别模型，得到当前公共设施的状态识别结果。通过复用其他传感器的低维度数据的实时性特征和图像数据配合且结合的方式共同对公共设施的状态进行监测，以及时准确的对公共设施的状态进行监测。

Description

公共设施监控方法和***
技术领域
本申请涉及设施监控技术领域，具体涉及一种公共设施监控方法和***。
背景技术
近年来，随着园区经济的社会转型和生产生活方式的变革，智慧园区应运而生，公共设施也逐渐偏向智能化，为了保障公共设施利用的合理性和规范性，需要对公共设施的使用状态进行监测和管理。
目前对公共设施的进行监测和管理主要针对路灯、井盖、护栏、环卫设施进行监测和管理，而当前对公共设施的监测与管理仅通过巡视人员进行简单的巡视，很显然，采用人工监测方式，不仅监测效率低，不同的监测人员对于公共设施的状态可能存在主观上的判断或仅就公共设施处于静止状态下的监测，因此，监测结果可能存在较大的误差，无法保障公共设施的监测效果和护栏的预警效率。
相关技术中，存在一些基于路侧摄像头对公共设施检测的方案。然而通过路侧摄像头进行检测时，若进行实时监测，则需要存储和计算大量的视频/图像数据，存储和计算压力较大；为了减轻计算和存储的压力，在另一些技术中，按照预定时间间隔进行公共设施图像采集，显然无法实时对公共设施状态进行监控，并且，只采用图像进行识别和监控，在天气条件和距离的影响下，其成像质量势必会收到影响，因此，可能导致识别不准。并且，对于公共设施细微的变化往往难以识别。导致监测准确率下降。
因此，如何及时准确的对公共设施的状态进行监测成为亟待解决的技术问题。
发明内容
本申请提供了一种公共设施监控方法和***，以至少解决相关技术中所存在的如何及时准确的对公共设施的状态进行监测的技术问题。
根据本申请的第一方面，提供了一种公共设施监控方法，包括：获取无源传感器采集的传感信号，所述无源传感器的监测范围覆盖多个公共设施；提取所述传感信号中的公共设施信号特征；在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；提取所述视频数据中的公共设施图像变化特征；将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。
可选地，所述公共设施状态识别模型包括：传感信号识别模型、图像识别模型和第一融合模块；所述将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述公共设施状态识别结果包括：将所述公共设施信号特征输入所述传感信号识别模型，得到公共设施状态第一识别结果，在所述公共设施状态第一识别结果表征公共设施异常状态时，将所述公共设施图像变化特征输入所述图像识别模型，得到所述公共设施状态第二识别结果；将所述公共设施状态第一识别结果和所述公共设施状态第二识别结果输入至所述第一融合模块，得到公共设施状态融合识别结果作为所述公共设施状态识别结果。
可选地，所述将所述公共设施状态第一识别结果和所述公共设施状态第二识别结果输入至所述第一融合模块，得到公共设施状态融合识别结果作为所述公共设施状态识别结果包括：基于所述第一识别结果和所述第二识别结果的概率的比值确定所述第一识别结果的第一融合权重和所述第二识别结果的第二融合权重；基于所述第一融合权重和所述第二融合权重将所述第一识别结果和所述第二识别结果融合得到所述公共设施状态识别结果。
可选地，所述公共设施状态识别模型包括特征对准模块，第二融合模块和识别模块；所述将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述公共设施状态识别结果包括：将所述公共设施信号特征和所述图像变化特征输入所述特征对准模块进行时序和特征维度对准；将对准后的所述公共设施信号特征和所述图像变化特征输入第二融合模块通过注意力机制进行融合，得到融合特征；将所述融合特征输入至所述识别模块，得到所述所述公共设施状态识别结果。
可选地，所述将对准后的所述公共设施信号特征和所述图像变化特征输入第二融合模块通过注意力机制进行融合，得到融合特征包括：将对准后的所述公共设施信号特征和所述图像变化特征按照按照所述视频数据的帧率分别拆分成公共设施信号特征序列和图像变化特征序列，得到特征对序列；计算每一特征对中特征相似度；基于所述特征相似度确定每一特征对的注意力权重，所述融合权重与所述特征相似度成正相关；基于所述注意力权重对所述特征对进行加权融合，得到所述融合特征。
可选地，所述计算每一特征对中特征相似度包括：基于所述当前公共设施的属性分别确定每一所述图像变化特征序列对应的理论传感信号特征序列，并计算属于同一特征对的理论传感信号特征和实际提取的公共设施信号特征的所述特征相似度；和/或；基于所述当前公共设施的属性分别确定每一所述公共设施信号特征序列对应的理论图像变化特征序列，并计算属于同一特征对的理论图像变化特征和实际提取的图像变化特征的特征相似度。
可选地，所述无源传感器包括布置于路侧的振动监测装置，所述传感信号包括所述振动监测装置采集到的广谱振动信号，所述公共设施信号特征包括：公共设施被异常触动时的振动特征。
可选地，所述提取所述传感信号中的公共设施信号特征包括：获取所述广谱振动信号中每一振动信号的传播方向；基于所述公共设施分布位置和所述传播方向确定预选公共设施振动信号；对所述预选公共设施振动信号进行时域和频域的局部分析滤波，得到所述公共设施振动信号；分别提取所述公共设施振动信号的频域特征、时域特征和振动波类型特征作为所述公共设施振动特征。
可选地，公共设施监控方法还包括：获取至少一次公共设施状态勘察结果；基于所述勘察结果和所述勘察结果对应的所述公共设施状态识别结果、所述公共设施信号特征和所述公共设施图像变化特征对所述公共设施状态识别模型进行更新训练，对所述公共设施状态识别模型的参数进行更新。
根据第二方面，本申请实施例提供了一种公共设施监控装置，包括：第一获取模块，用于获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；第一特征提取模块，用于提取所述传感信号中的公共设施信号特征；第二获取模块，用于在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；第二特征提取模块，用于提取所述视频数据中的公共设施图像变化特征；识别模块，用于将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。
根据第三方面，本申请实施例提供了一种公共设施监控***，包括：无源传感器，布置于路侧，所述无源传感器的监测范围覆盖多个公共设施，用于接收所述传感信号信号；图像采集装置，布置于路侧，图像采集范围覆盖至少一个公共设施，用于采集所述公共设施的视频数据；数据处理模块，分别与所述无源传感器和所述图像采集装置连接，用于执行如上述第一方面任意一项所述的公共设施监控方法。
本申请的公共设施监控方法，通过获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；提取所述传感信号中的公共设施信号特征；在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；提取所述视频数据中的公共设施图像变化特征；将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。在本申请中，通过复用智慧城始终多种传感器的多源数据，并且将多源数据中的无源传感器采集的传感信号作为公共设施被干扰或触动的初判信号，进而触发图像采集装置对公共设施进行图像采集，进一步结合公共设施信号特征和公共设施图像特征共同对公共设施的状态进行监测，一方面可以减小因图像数据占用内存和算力过大导致的资源开销大的问题，另一方面，通过复用其他传感器的低维度数据的实时性特征和图像数据配合且结合的方式共同对公共设施的状态进行监测，可在无需过高算力和过多存储资源的情况下，能够更为及时准确的对公共设施的状态进行监测。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请提供的公共设施监控方法的流程示意图；
图2为本申请提供的一种公共设施状态识别模型的模型结构示意图
图3为本申请提供的另一种公共设施状态识别模型的模型结构示意图；
图4为本申请提供的公共设施监控装置的示意图；
图5为本申请提供的电子设备的示意图。
具体实施方式
为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见背景技术的描述，现有的对于公共设施监控往往是通过人工或路侧摄像头进行视觉监控，然而，无论是人工监控还是视频监控，都难以做到实时准确的监控，尤其是对于一些细微状态或需外力干涉才能显现的变化，人工监控和视觉监控往往会出现遗漏，例如，井盖松动，在无车辆碾压时的静止状态下，与正常井盖无异，难以通过视觉或人工监控发现井盖松动，再例如，一些路灯等路侧杆状设施或路侧围栏等，若发生轻微松动，在无外力干涉下可能与正常状态下无异，在例如大风或其他外力干涉下，可能会出现晃动，难以通过视觉或人工监控发现井盖松动。
而申请发现，目前园区的构建往往需要多源数据采集端，需要多种传感器，视觉采集装置等，而在园区的地下管道或路侧的地下，为了对地下设施进行监测，或为了周界安防，在地下布置了很多无源传感设备，例如，振动电缆，振动光纤，地波传感器等。在地上布置可很多环境监测的传感器，例如，噪音检测传感器等。申请人发现，这些传感器在采集数据时，往往会采集其所在的探测范围内的所有数据，因此，可以利用已布置的传感器采集的数据与视觉结合进行公共设施监测。基于此，本申请提出了一种公共设施监控方法，参见图1，该方法可以包括如下步骤：
S10.获取无源传感器采集的传感信号，所述无源传感器的监测范围覆盖多个公共设施。作为示例性的实施例，无源传感器往往是基于外界实际发生的信号的触发而被动的采集传感信号，并且，这些传感信号往往是低维度信号，例如，只有数值和数值之间的关系两个维度的数字信号或连续波形的模拟信号。并且，这些信号经过过滤、聚类或特征提取之后，其数据量较低，不仅仅能够通过被检测物体触发而实时监测被监测物体，也能够以较小的计算量和数据存储量实现监测目的。
在本实施例中，无源传感器可以采用振动电缆，振动光纤，地波传感器等作为传感信号采集端进行采集。在本实施例中，以振动电缆或振动光纤为例进行说明。
为对地下设施例如，地下光缆，地下线路，地下管道等进行监测，往往布置有振动电缆或振动光纤等，可以通过采集地下或地面的振动信号，并对震动信号进行分析，进而得到对应的监控结果。在本申请中，可以利用振动电缆或振动光纤等较广的监测范围和较高的灵敏度，对振动电缆或振动光纤覆盖范围内的地表的公共设施进行监控。
在本实施例中，采集的传感信号可以为广谱振动信号，即采集传感器覆盖范围内的所有振动信号作为广谱振动信号。
S20.提取所述传感信号中的公共设施信号特征。作为示例性的实施例，在本实施例中，可以通过对传感信号滤波的方式进行公共设施信号特征的提取。在本实施例中，公共设施的位置往往是固定的，并且，每一公共设施均可进行编号管理，为其赋予ID，并与其位置信息绑定。在本实施例中，公共设施被干扰或被触发时，会产生对应的被干扰或被触发的信号。因此，在本实施例中，可以基于采集的信号的传播方向和公共设施与传感器的相对位置和距离进行初步筛选。并且，公共设施往往具有固定的结构、材料等，其被触发的信号的往往较为固定，例如，井盖在被汽车碾压时产生的振动信号，其振动的频率，持续时长，幅值等可能较为固定，因此，可以通过信号的传播方向和信号本身的特征确定是否为公共设施被触发或被干扰的信号。
作为示例性的实施例，对于公共设施被触发或被干扰的信号特征的提取可以先采用信号传播方向与公共设施和传感器的相对位置进行初步筛选，确定初步筛选后的信号集合。在通过小波分析将原始信号通过小波变换得到多个尺度下的小波系数，然后通过小波系数的变化，同时提取时域和频域信息。
而一些现场环境往往较为复杂，例如，马路上车辆多，行人多，因此，干扰信息也较多，然而，不同的物体产生的信号的特征往往具有区别，并且，公共设施往往较为固定，因此，其产生的被干扰信号的特征也往往较为固定，因此，在进行小波分析之前，可以基于机器学习对小波分析的输入进行再次筛选，在本实施例中，通过采集公共设施在不同干扰下产生的振动信号，以及在不同场景下被触发时产生的振动进行进行标记，构建样本集，通过样本集中的振动信号进行预处理、降维和特征提取，得到高维特征向量，并通过机器学习算法对这些特征按照不同的公共设施，以及不同的干扰场景进行分类。以训练特征提取模型。在训练完成后，将初步筛选后的信号集合输入训练好的特征提取模型中，可以将信号集中的信号按照公共设施或干扰类型进行分类，以进一步区分传感信号是否属于公共设施被干扰的信号。
通过对信号进一步区分，再经过小波分析，可以得到信号集中是否存在公共设施被干扰的信号特征。当检测到所述公共设施信号特征符合预设传感信号特征时，进入步骤S30。其中预设传感信号特征为预先得到的公共设施被干扰的信号特征。当未检测到所述公共设施信号特征符合预设传感信号特征时，返回步骤S10。
S30.获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长。作为示例性的实施例，当检测到到所述公共设施信号特征符合预设传感信号特征时，可以通过公共设施信号确定对应的公共设施的编号和对应的位置，此时调用能够覆盖该公共设施的图像采集装置，例如，路侧或路上的摄像头对对应的公共设施进行图像采集。在本实施例中，所称的视频数据可以包括多个图像的集合，也可以包括连续帧的视频。在本实施例中，在本实施例中，对于视频数据的采集的结束时间的确定可以通过实施监测所述公共设施传感信号的持续状态，其中，视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长，以便能够完整的采集到公共设施被干扰或被触发的全部过程。
S40.提取所述视频数据中的公共设施图像变化特征。在本实施例中，在获取到视频数据之后，可以对视频数据进行关键帧提取，以便筛选出能够表征公共设施关动态特征的关键帧。
在本实施例中，将图像数据或筛选出的关键帧通过预训练的图像特征提取网络对公共设施图像特征进行提取，在本实施例中，可以通过级联的卷积网络和时序特征提取网络对公共设施图像特征进行提取，通过卷积网络提取公共设施的静态特征，在得到静态特征之后，构建静态特征序列，通过时序特征提取网络提取静态特征序列中的时序关联特征，即提取公共设施动态图像特征。以保证能够提取到公共设施的具体状态和动态状态的特征。
作为可选的实施例，在静态特征提取网络中，视频数据或关键帧数据以像素为单位被输入网络，以一维卷积和激活操作来提取特征。输入的图像在经过卷积层后，以LeakyReLU函数进行激活。在第一个卷积层当中，还使用了批标准化操作，以加强激活函数的处理效果，加速模型的收敛，并防止了梯度消失现象的出现。
具体的，在静态特征提取网络中，先对视频数据或关键帧数据进行二维运算。首先数据被输入卷积层，卷积核大小为3×3，且填充参数为1，在进行批标准化操作后，使用LeakyReLU激活层进行激活；然后再输入进卷积核大小为1×1的卷积层，并使用LeakyReLU激活层进行二次激活，最后用池化大小为2×2的最大池化层对特征图进行池化。
示例性的，在静态特征提取网络中，视频数据或关键帧数据以每个像素为中心，半径为r的区域为单位被输入网络，其中r为超参数。因此，对其进行的卷积操作以及激活操作都是二维的。这样，通过考察各个像素及其邻域像素当中的信息，使网络对视频数据或关键帧数据所包含的空间信息进行学习。以提取视频数据或关键帧数据中与空间信息相关的静态特征，例如，井盖是否发生移位，杆状设备是否发生倾斜等空间上的静态特征。
在得到静态特征之后，通过循环神经网络(如LSTM、GRU)来提取静态特征序列中的时序相关特征，以表征图像变化特征，例如，杆状设备左右摇摆，井盖上下跳动等动态特征。
S50.将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。作为示例性的实施例，公共设施状态识别模型可以采用分类模型，在本实施例中，公共设施状态识别模型可以分别采用公共设施信号特征识别模型和图像变化特征识别模型分别对所述公共设施信号特征和所述公共设施图像变化特征进行分类，也可以先将所述公共设施信号特征和所述公共设施图像变化特征进行融合，再利用分类模型进行分类。最终得到公共设施状态识别结果。
在本申请中，通过获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；提取所述传感信号中的公共设施信号特征；在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；提取所述视频数据中的公共设施图像变化特征；将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。在本申请中，通过复用智慧城始终多种传感器的多源数据，并且将多源数据中的无源传感器采集的传感信号作为公共设施被干扰或触动的初判信号，进而触发图像采集装置对公共设施进行图像采集，进一步结合公共设施信号特征和公共设施图像特征共同对公共设施的状态进行监测，一方面可以减小因图像数据占用内存和算力过大导致的资源开销大的问题，另一方面，通过复用其他传感器的低维度数据的实时性特征和图像数据配合且结合的方式共同对公共设施的状态进行监测，可在无需过高算力和过多存储资源的情况下，能够更为及时准确的对公共设施的状态进行监测。
作为可选的实施例，参见图2所示，公共设施状态识别模型包括：传感信号识别模型、图像识别模型、第一融合模块和结果输出模块；
将所述公共设施信号特征输入所述传感信号识别模型，得到公共设施状态第一识别结果。作为示例性的实施例，传感信号识别模型可以基于传感信号的类别选择，例如，在本实施例中，可以采用卷积神经网络作为传感信号识别模型，也可以深度学习神经网络作为传感信号识别模型，在本实施例中通过带有公共设施干扰事件或触发事件标记的信号特征样本对传感信号识别模型进行训练得到预训练的传感信号识别模型。再将提取的公共设施信号特征输入至预训练的传感信号识别模型之后，得到对应的第一识别结果。
在所述公共设施状态第一识别结果表征公共设施异常状态时，将所述公共设施图像变化特征输入所述图像识别模型，得到所述公共设施状态第二识别结果。作为示例性的实施例，图像识别模型可以采用R-CNN模型，例如可以采用Faster R-CNN，或者采用Mask R-CNN，Mask R-CNN在FasterR-CNN的基础上增加了对图像特征的分割功能，进一步提升了检测精度。
在可选的实施例中，还可以采用SSD模型，SSD通过在不同尺度的特征上应用卷积滑窗来检测目标，通过多层特征图的融合来提高检测精度，具有较快的检测速度和较好的准确性。
将所述公共设施状态第一识别结果和所述公共设施状态第二识别结果输入至所述第一融合模块，得到公共设施状态融合识别结果作为所述公共设施状态识别结果。作为示例性的实施例，基于所述第一识别结果和所述第二识别结果的概率的比值确定所述第一识别结果的第一融合权重和所述第二识别结果的第二融合权重；基于所述第一融合权重和所述第二融合权重将所述第一识别结果和所述第二识别结果融合得到所述公共设施状态识别结果。在本实施例中，可以通过第一融合权重和第二融合权重将第一识别结果和第二识别进行串联或求和得到公共设施状态识别结果。
作为可选的实施例，第一融合模块可以采用深度交叉注意模块，该深度注意力交叉模块可以包括相关层、注意层和深度相关层。根据传感信号特征和图像变化特征在时序上的相关性，形成注意图，从而强调两种数据当中相关性强的特征；其中相关层专门用来集成两种特征，而不是简单地进行串联、求和，运用注意机制和互卷积操作，通过传感信号特征和图像变化特征在时序上的相关性，多次对第一识别结果和第二识别结果进行融合。
具体的，在所述相关层基于传感信号特征和图像变化特征在时序上的相关性得到相关性矩阵；在注意层中计算所述相关性矩阵对应的交叉注意矩阵；利用注意层对所述交叉注意矩阵进行学习得到传感信号特征和图像变化特征的非互斥关系；利用注意机制将非互斥关系进行融合，得出传感信号特征和图像变化特征关系特征图；在深度相关层中，对所述关系特征图运用互相卷积操作进行特征融合，得出所述融合权重，基于融合权重对第一识别结果和第二识别结果进行融合。
作为另一种可选的实施例，如图3所示，公共设施状态识别模型包括特征对准模块，第二融合模块和识别模块，在本实施例中，可以先对公共设施信号特征和所述公共设施图像变化特征进行融合，在针对融合特征公共设施状态识别。
作为示例性的实施例，将所述公共设施信号特征和所述图像变化特征输入所述特征对准模块进行时序和特征维度对准。在本实施例中，公共设施信号特征和所述图像变化特征具有时序上的关联，即公共设施状态发生变化时，会对应产生传感信号，因此，可以基于时序关系将特征进行对准，另外，图像变化特征和公共设施信号特征在特征维度上也不同，在本实施例中，还需要两种特征进行维度上的对准，在本实施例中，可以以公共设施信号特征为振动特征为例进行说明，可以对振动特征进行分解，例如，采用小波包分解树提取多个频带信号分量，求取各个频带的信号的能量，以信号个频带能量为元素构造特征向量，并对向量进行归一化，得到特征向量的直方图。同样，对图像变化特征进行二值化处理，并求取图像变化特征的特征向量直方图，进而实现维度对准。
将对准后的所述公共设施信号特征和所述图像变化特征输入第二融合模块通过注意力机制进行融合，得到融合特征；将对准后的所述公共设施信号特征和所述图像变化特征按照按照所述视频数据的帧率分别拆分成公共设施信号特征序列和图像变化特征序列，得到特征对序列；计算每一特征对中特征相似度；基于所述特征相似度确定每一特征对的注意力权重，所述融合权重与所述特征相似度成正相关；基于所述注意力权重对所述特征对进行加权融合，得到所述融合特征。
在本实施例中，第二融合模块的融合权重可以基于对准后的公共设施信号特征序列和图像变化特征序列中的每一特征对的相似度，基于特征相似度确定每一特征对的注意力权重，即相似度高的特征对对应的特征权重更大，例如，一些特征表征公共设施出现人为拖拽或出现松动，该部分特征对相似度较高，则在进行融合时，该部分特征对的权重较大，即最后识别时，人为拖拽或出现松动识别概率对增大。
将所述融合特征输入至所述识别模块，得到所述所述公共设施状态识别结果。
作为另一种可选的实施例，第二注意力模块可以采用深度交叉注意模块，该深度注意力交叉模块可以包括相关层、注意层和深度相关层。根据传感信号特征和图像变化特征在时序上的相关性，形成注意图，从而强调两种数据当中相关性强的特征；其中相关层专门用来集成两种特征，而不是简单地进行串联、求和，运用注意机制和互卷积操作，通过传感信号特征和图像变化特征在时序上的相关性，多次对传感信号特征和图像变化特征进行融合。
具体的，在所述相关层基于传感信号特征和图像变化特征在时序上的相关性得到相关性矩阵；在注意层中计算所述相关性矩阵对应的交叉注意矩阵；利用注意层对所述交叉注意矩阵进行学习得到传感信号特征和图像变化特征的非互斥关系；利用注意机制将非互斥关系进行融合，得出传感信号特征和图像变化特征关系特征图；在深度相关层中，对所述关系特征图运用互相卷积操作对传感信号特征和图像变化特征进行特征融合。
作为一种可选的实施例，在计算每一特征对中特征相似度时，可以基于所述当前公共设施的属性分别确定每一所述图像变化特征序列对应的理论传感信号特征序列，并计算属于同一特征对的理论传感信号特征和实际提取的公共设施信号特征的所述特征相似度；和/或；基于所述当前公共设施的属性分别确定每一所述公共设施信号特征序列对应的理论图像变化特征序列，并计算属于同一特征对的理论图像变化特征和实际提取的图像变化特征的特征相似度。
作为另一种可选的实施例，在得到公共设施识别结果之后，分别获取每一次的状态识别结果，并通过实地勘探公共设施状态，将公共设施状态勘察结果与状态识别结果进行对比；通过反向学习，学习公共设施信号特征和所述公共设施图像变化特征与公共设施状态勘察结果与状态识别结果的对比结果的关系，进而调整状态识别模型的参数，以便使状态识别模型更为准确。
本申请实施例还提供了一种公共设施监控装置，如图4所示，包括：
第一获取模块41，用于获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；
第一特征提取模块42，用于提取所述传感信号中的公共设施信号特征；
第二获取模块43，用于在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；
第二特征提取模块44，用于提取所述视频数据中的公共设施图像变化特征；
识别模块45，用于将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。
需要说明的是，该实施例中的第一获取模块41可以用于执行上述步骤S10，该实施例中的第一特征提取模块42可以用于执行上述步骤S20，该实施例中的第二获取模块43可以用于执行上述步骤S30，该实施例中的第二特征提取模块44可以用于执行上述步骤S40，该实施例中的识别模块45可以用于执行上述步骤S50。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图5所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
因此，根据本申请实施例的又一个方面，还提供了一种用于实施上述方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图5是根据本申请实施例的一种可选的电子设备的结构框图，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信，其中，
存储器503，用于存储计算机程序；
处理器501，用于执行存储器503上所存放的计算机程序时，实现如下步骤：
获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；
提取所述传感信号中的公共设施信号特征；
在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；
提取所述视频数据中的公共设施图像变化特征；
将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable GateArray，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，实施上述方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如，终端设备还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行上述方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；
提取所述传感信号中的公共设施信号特征；
在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；
提取所述视频数据中的公共设施图像变化特征；
将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请中未述及的地方采用或借鉴已有技术即可实现。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种公共设施监控方法，其特征在于，包括：
获取无源传感器采集的传感信号，所述无源传感器的监测范围可覆盖多个公共设施；
提取所述传感信号中的公共设施信号特征；
在检测到所述公共设施信号特征符合预设传感信号特征时，获取布置于路侧的图像采集装置采集的所述公共设施的传感信号对应的当前公共设施的视频数据，所述视频数据的获取持续时长覆盖所述公共设施的传感信号发生的持续时长；
提取所述视频数据中的公共设施图像变化特征；
将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述当前公共设施的状态识别结果，所述公共设施状态识别模型通过异常公共设施信号特征和对应的异常公共设施图像变化特征作为样本进行训练得到。
2.如权利要求1所述的公共设施监控方法，其特征在于，所述公共设施状态识别模型包括：传感信号识别模型、图像识别模型和第一融合模块；
所述将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述公共设施状态识别结果包括：
将所述公共设施信号特征输入所述传感信号识别模型，得到公共设施状态第一识别结果，
在所述公共设施状态第一识别结果表征公共设施异常状态时，将所述公共设施图像变化特征输入所述图像识别模型，得到所述公共设施状态第二识别结果；
将所述公共设施状态第一识别结果和所述公共设施状态第二识别结果输入至所述第一融合模块，得到公共设施状态融合识别结果作为所述公共设施状态识别结果。
3.如权利要求2所述的公共设施监控方法，其特征在于，所述将所述公共设施状态第一识别结果和所述公共设施状态第二识别结果输入至所述第一融合模块，得到公共设施状态融合识别结果作为所述公共设施状态识别结果包括：
基于所述第一识别结果和所述第二识别结果的概率的比值确定所述第一识别结果的第一融合权重和所述第二识别结果的第二融合权重；
基于所述第一融合权重和所述第二融合权重将所述第一识别结果和所述第二识别结果融合得到所述公共设施状态识别结果。
4.如权利要求1所述的公共设施监控方法，其特征在于，所述公共设施状态识别模型包括特征对准模块，第二融合模块和识别模块；
所述将所述公共设施信号特征和所述公共设施图像变化特征输入至公共设施状态识别模型，得到所述公共设施状态识别结果包括：
将所述公共设施信号特征和所述图像变化特征输入所述特征对准模块进行时序和特征维度对准；
将对准后的所述公共设施信号特征和所述图像变化特征输入第二融合模块通过注意力机制进行融合，得到融合特征；
将所述融合特征输入至所述识别模块，得到所述所述公共设施状态识别结果。
5.如权利要求4所述的公共设施监控方法，其特征在于，所述将对准后的所述公共设施信号特征和所述图像变化特征输入第二融合模块通过注意力机制进行融合，得到融合特征包括：
将对准后的所述公共设施信号特征和所述图像变化特征按照按照所述视频数据的帧率分别拆分成公共设施信号特征序列和图像变化特征序列，得到特征对序列；
计算每一特征对中特征相似度；
基于所述特征相似度确定每一特征对的注意力权重，所述融合权重与所述特征相似度成正相关；
基于所述注意力权重对所述特征对进行加权融合，得到所述融合特征。
6.如权利要求5所述的公共设施监控方法，其特征在于，所述计算每一特征对中特征相似度包括：
基于所述当前公共设施的属性分别确定每一所述图像变化特征序列对应的理论传感信号特征序列，并计算属于同一特征对的理论传感信号特征和实际提取的公共设施信号特征的所述特征相似度；和/或；
基于所述当前公共设施的属性分别确定每一所述公共设施信号特征序列对应的理论图像变化特征序列，并计算属于同一特征对的理论图像变化特征和实际提取的图像变化特征的特征相似度。
7.如权利要求1所述的公共设施监控方法，其特征在于，所述无源传感器包括布置于路侧的振动监测装置，所述传感信号包括所述振动监测装置采集到的广谱振动信号，所述公共设施信号特征包括：公共设施被异常触动时的振动特征。
8.如权利要求7所述的公共设施监控方法，其特征在于，所述提取所述传感信号中的公共设施信号特征包括：
获取所述广谱振动信号中每一振动信号的传播方向；
基于所述公共设施分布位置和所述传播方向确定预选公共设施振动信号；
对所述预选公共设施振动信号进行时域和频域的局部分析滤波，得到所述公共设施振动信号；
分别提取所述公共设施振动信号的频域特征、时域特征和振动波类型特征作为所述公共设施振动特征。
9.如权利要求1所述的公共设施监控方法，其特征在于，还包括：
获取至少一次公共设施状态勘察结果；
基于所述勘察结果和所述勘察结果对应的所述公共设施状态识别结果、所述公共设施信号特征和所述公共设施图像变化特征对所述公共设施状态识别模型进行更新训练，对所述公共设施状态识别模型的参数进行更新。
10.一种公共设施监控***，其特征在于，包括：
无源传感器，布置于路侧，所述无源传感器的监测范围覆盖多个公共设施，用于接收所述传感信号信号；
图像采集装置，布置于路侧，图像采集范围覆盖至少一个公共设施，用于采集所述公共设施的视频数据；
数据处理模块，分别与所述无源传感器和所述图像采集装置连接，用于执行如权利要求1-9任意一项所述的公共设施监控方法。
CN202311274868.6A 2023-09-28 2023-09-28 公共设施监控方法和*** Active CN117312828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311274868.6A CN117312828B (zh) 2023-09-28 2023-09-28 公共设施监控方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311274868.6A CN117312828B (zh) 2023-09-28 2023-09-28 公共设施监控方法和***

Publications (2)

Publication Number Publication Date
CN117312828A true CN117312828A (zh) 2023-12-29
CN117312828B CN117312828B (zh) 2024-06-14

Family

ID=89280722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311274868.6A Active CN117312828B (zh) 2023-09-28 2023-09-28 公共设施监控方法和***

Country Status (1)

Country Link
CN (1) CN117312828B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022835A (zh) * 2015-08-14 2015-11-04 武汉大学 一种群智感知大数据公共安全识别方法及***
US20170220854A1 (en) * 2016-01-29 2017-08-03 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
CN110097037A (zh) * 2019-05-22 2019-08-06 天津联图科技有限公司 智能监测方法、装置、存储介质及电子设备
CN110719444A (zh) * 2019-11-07 2020-01-21 中国人民解放军国防科技大学 多传感器融合的全方位监控与智能摄像方法与***
CN111209434A (zh) * 2020-01-09 2020-05-29 国网江苏省电力有限公司徐州供电分公司 一种基于多源异构数据融合的变电站设备巡检***及方法
CN111862524A (zh) * 2020-07-10 2020-10-30 广州博冠智能科技有限公司 一种基于智能家居***的监控报警方法及装置
CN113109344A (zh) * 2021-05-07 2021-07-13 南京邮电大学 一种基于物联网技术实时高效的新型水质监测***
CN113313273A (zh) * 2021-07-28 2021-08-27 佛山市东信科技有限公司 基于大数据环境下的公共设施检测方法、***和存储介质
CN114973120A (zh) * 2022-04-14 2022-08-30 山东大学 一种基于多维传感数据与监控视频多模异构融合的行为识别方法及***
CN115700542A (zh) * 2021-07-21 2023-02-07 威海北洋光电信息技术股份公司 基于深度学习的光纤管道安全预警算法
CN115761723A (zh) * 2022-11-14 2023-03-07 际络科技(上海)有限公司 基于多传感器融合的3d目标检测方法及装置
US20230083460A1 (en) * 2022-10-21 2023-03-16 Chengdu Qinchuan Iot Technology Co., Ltd. Methods for communal facilities management in smart cities based on the internet of things, systems, and mediums
CN115859186A (zh) * 2023-02-17 2023-03-28 齐鲁工业大学(山东省科学院) 基于格拉米角场的分布式光纤传感事件识别方法及***
WO2023087525A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN116311525A (zh) * 2023-03-23 2023-06-23 电子科技大学 一种基于跨模态融合的视频行为识别方法
CN116612440A (zh) * 2023-07-21 2023-08-18 山东金宇信息科技集团有限公司 一种基于机器视觉的建筑工程安全监测方法、设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022835A (zh) * 2015-08-14 2015-11-04 武汉大学 一种群智感知大数据公共安全识别方法及***
US20170220854A1 (en) * 2016-01-29 2017-08-03 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
CN110097037A (zh) * 2019-05-22 2019-08-06 天津联图科技有限公司 智能监测方法、装置、存储介质及电子设备
CN110719444A (zh) * 2019-11-07 2020-01-21 中国人民解放军国防科技大学 多传感器融合的全方位监控与智能摄像方法与***
CN111209434A (zh) * 2020-01-09 2020-05-29 国网江苏省电力有限公司徐州供电分公司 一种基于多源异构数据融合的变电站设备巡检***及方法
CN111862524A (zh) * 2020-07-10 2020-10-30 广州博冠智能科技有限公司 一种基于智能家居***的监控报警方法及装置
CN113109344A (zh) * 2021-05-07 2021-07-13 南京邮电大学 一种基于物联网技术实时高效的新型水质监测***
CN115700542A (zh) * 2021-07-21 2023-02-07 威海北洋光电信息技术股份公司 基于深度学习的光纤管道安全预警算法
CN113313273A (zh) * 2021-07-28 2021-08-27 佛山市东信科技有限公司 基于大数据环境下的公共设施检测方法、***和存储介质
WO2023087525A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN114973120A (zh) * 2022-04-14 2022-08-30 山东大学 一种基于多维传感数据与监控视频多模异构融合的行为识别方法及***
US20230083460A1 (en) * 2022-10-21 2023-03-16 Chengdu Qinchuan Iot Technology Co., Ltd. Methods for communal facilities management in smart cities based on the internet of things, systems, and mediums
CN115761723A (zh) * 2022-11-14 2023-03-07 际络科技(上海)有限公司 基于多传感器融合的3d目标检测方法及装置
CN115859186A (zh) * 2023-02-17 2023-03-28 齐鲁工业大学(山东省科学院) 基于格拉米角场的分布式光纤传感事件识别方法及***
CN116311525A (zh) * 2023-03-23 2023-06-23 电子科技大学 一种基于跨模态融合的视频行为识别方法
CN116612440A (zh) * 2023-07-21 2023-08-18 山东金宇信息科技集团有限公司 一种基于机器视觉的建筑工程安全监测方法、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HE, Y等: "Research on abnormal behavior recognition of the elderly based on spatial-temporal feature fusion", 《ISAIMS 2022: 2022 3RD INTERNATIONAL SYMPOSIUM ON ARTIFICIAL INTELLIGENCE FOR MEDICINE SCIENCES》, 12 May 2023 (2023-05-12), pages 85 - 92 *
段鸿杰;计洪图;李晓宇;梁琦;: "基于监控视频的油田施工场景状态识别", 自动化技术与应用, no. 08, 25 August 2020 (2020-08-25) *
洪歆慧;胡婷婷;: "基于利益相关者视角的市井公共设施设计研究", 设计, no. 17, 9 September 2020 (2020-09-09) *
熊杨婷;: "基于物联网的城市公共设施智能控制模型设计实现", 现代电子技术, no. 24, 15 December 2017 (2017-12-15) *

Also Published As

Publication number Publication date
CN117312828B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US9008365B2 (en) Systems and methods for pedestrian detection in images
KR102197946B1 (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
CN105931402B (zh) 基于图像识别的光纤周界入侵监测方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
Chambon et al. Automatic road pavement assessment with image processing: Review and comparison
CN110570613A (zh) 基于分布式光纤***的围栏振动入侵定位和模式识别方法
CN103810717B (zh) 一种人体行为检测方法及装置
CN110458126B (zh) 一种受电弓状态监测方法及装置
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及***
CN113052147B (zh) 一种行为识别方法及装置
CN116647644B (zh) 基于数字孪生技术的校园交互式监控方法以及***
CN113221759A (zh) 基于异常检测模型的道路遗撒识别方法以及装置
CN114093106B (zh) 基于EfficientNET分类网络的入侵信号报警方法及***
CN116092119A (zh) 基于多维度特征融合的人体行为识别***及其工作方法
Srinidhi et al. Pothole detection using CNN and AlexNet
CN111753587A (zh) 一种倒地检测方法及装置
CN117312828B (zh) 公共设施监控方法和***
Avanzato et al. A cnn-based differential image processing approach for rainfall classification
CN109375187B (zh) 雷达目标的确定方法及装置
Kumar et al. The Real Time Vehicle License Plate Identification System
CN111814764B (zh) 一种遗撒物确定***
CN114998837A (zh) 入侵事件的实时识别方法、装置、***及介质
CN117314391B (zh) 运维作业管理方法、装置、电子设备和存储介质
CN111157967B (zh) 基于脉冲相干雷达的智能垃圾隔袋识别和分类方法
Hachicha et al. Multi-temporal SAR classification according to change detection operators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant