CN116630909B - 基于无人机的无人值守智能监控***及其方法 - Google Patents
基于无人机的无人值守智能监控***及其方法 Download PDFInfo
- Publication number
- CN116630909B CN116630909B CN202310717185.7A CN202310717185A CN116630909B CN 116630909 B CN116630909 B CN 116630909B CN 202310717185 A CN202310717185 A CN 202310717185A CN 116630909 B CN116630909 B CN 116630909B
- Authority
- CN
- China
- Prior art keywords
- construction
- road
- feature
- classification
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000010276 construction Methods 0.000 claims abstract description 210
- 239000011159 matrix material Substances 0.000 claims description 68
- 230000007246 mechanism Effects 0.000 claims description 49
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于无人机的无人值守智能监控***及其方法，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。
Description
技术领域
本申请涉及智能化监控技术领域，并且更具体地，涉及一种基于无人机的无人值守智能监控***及其方法。
背景技术
占道施工会影响道路通行能力，造成交通拥堵和安全隐患，给城市管理带来挑战。
目前，对占道施工的监管主要依靠人工巡查和投诉举报，效率低下，难以覆盖全时段和全区域。因此，期待一种解决方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于无人机的无人值守智能监控***及其方法，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。
第一方面，提供了一种基于无人机的无人值守智能监控***，其包括：监控图像采集模块，用于获取由无人机采集的施工监控图像；道路区域识别模块，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及
监控结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
第二方面，提供了一种基于无人机的无人值守智能监控方法，其包括：获取由无人机采集的施工监控图像；将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及
将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的基于无人机的无人值守智能监控***的框图。
图2为根据本申请实施例的基于无人机的无人值守智能监控***中所述道路空间特征提取模块的框图。
图3为根据本申请实施例的基于无人机的无人值守智能监控***中所述施工空间特征提取模块的框图。
图4为根据本申请实施例的基于无人机的无人值守智能监控***中所述一致性优化模块的框图。
图5为根据本申请实施例的基于无人机的无人值守智能监控***中所述监控结果生成模块的框图。
图6为根据本申请实施例的基于无人机的无人值守智能监控方法的流程图。
图7为根据本申请实施例的基于无人机的无人值守智能监控方法的***架构的示意图。
图8为根据本申请实施例的基于无人机的无人值守智能监控***的应用场景图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图1为根据本申请实施例的基于无人机的无人值守智能监控***的框图。如图1所示，根据本申请实施例的基于无人机的无人值守智能监控***100，包括：监控图像采集模块110，用于获取由无人机采集的施工监控图像；道路区域识别模块120，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块130，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块140，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块150，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块160，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块170，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及，监控结果生成模块180，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
所述基于无人机的无人值守智能监控***可以实现对施工现场的实时监控和检测， 1.可以提高施工现场的安全性和效率，通过实时监控，可以及时发现施工现场的安全隐患，减少事故的发生，同时可以监测施工进度和效率，提高施工质量和效率。2.可以实现自动化监控，无人机可以自动巡航、采集图像，***可以自动识别道路区域和施工区域，实现自动化监控，减轻人力负担。3.可以提高监控精度和准确性，通过使用卷积神经网络和空间注意力机制等技术，可以对图像进行高精度、高准确性的识别和分析，提高监控的精度和准确性。4. 可以实现智能化分析和优化，通过对分类特征图进行流形几何一致性优化，可以进一步提高监控的准确性和精度，实现智能化分析和优化。
具体地，在本申请实施例中，所述监控图像采集模块110，用于获取由无人机采集的施工监控图像。针对上述技术问题，本申请的技术构思是利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。
具体地，在本申请的技术方案中，首先，获取由无人机采集的施工监控图像。这里，使用无人机采集的所述施工监控图像可以获得更广阔的视角，以及更全面、更准确的监控数据。具体来说，更广阔的视角可以拍摄到较大区域的道路情况，能更好地反映整个施工区域内的情况。并且，由于无人机可以快速地飞行拍摄，可以在较短时间内获得更多的数据，提高了数据采集的效率。
利用无人机采集施工监控图像，可以提高监控效率和覆盖面，无人机可以在空中进行高空俯瞰和全景拍摄，可以更全面、高效地监控施工现场，覆盖面积更广，监控效果更好。可以实现自动化监控，无人机可以自动巡航，实现对施工现场的自动化监控，无需人工干预，大大提高了监控效率和准确性。可以提高监控精度和准确性，无人机可以拍摄高分辨率的图像，可以更清晰地捕捉施工现场的细节，提高监控精度和准确性，可以更快速地发现占道施工等违规行为。还可以实现智能化分析和优化，通过对采集的图像进行深度学习和人工智能技术的处理，可以实现对施工现场的智能化分析和优化，为城市管理部门提供更多有价值的数据支持，帮助其更好地规划和管理城市建设。
具体地，在本申请实施例中，所述道路区域识别模块120，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像。接着，将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像。这里，通过所述道路目标检测网络可以自动化地识别道路区域。也就是说，通过这种方式可以将注意力聚焦于道路区域，而忽略背景区域。
其中，目标检测网络是一种深度学习算法，用于在图像或视频中自动检测和定位特定的目标物体。目标检测网络可以将图像中的每个像素点都分类为目标物体或非目标物体，并且可以确定目标物体的位置和大小。目标检测网络通常由两部分组成：特征提取网络和目标检测网络。特征提取网络用于从输入图像中提取特征，通常使用卷积神经网络（CNN）实现。目标检测网络则使用这些特征来预测目标物体的位置和类别。常见的目标检测网络包括YOLO（You Only Look Once）、Faster R-CNN（Faster Region-based ConvolutionalNeural Network）和SSD（Single Shot MultiBox Detector）等。
进一步地，道路感兴趣区域是指在施工监控图像中，与道路相关的区域，通常是指道路本身及其周围的区域。在进行施工监控时，通过提取道路感兴趣区域，可以将注意力集中在道路区域，从而提高监控的效率和准确性。
在本申请的其他实施例中，道路感兴趣区域的提取可以使用图像处理技术和目标检测算法来实现。在图像处理方面，可以使用Canny边缘检测、Hough变换等算法来提取道路边缘。在目标检测方面，可以使用深度学习算法中的目标检测网络，例如YOLO、SSD、FasterR-CNN等，来自动识别道路区域。
提取出道路感兴趣区域后，可以进一步对其进行分析和处理，还可以将道路感兴趣区域与其他监控数据进行融合，实现更加智能化的监控和分析。
具体地，在本申请实施例中，所述道路空间特征提取模块130，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵。然后，将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵。其中，所述卷积神经网络具有较强的特征提取能力，在处理道路感兴趣区域图像时可以提取出高维的道路空间特征，这有助于提升占道施工检测的效果。特别地，使用空间注意力机制可以在特征提取的过程中更加关注道路的空间位置信息。
图2为根据本申请实施例的基于无人机的无人值守智能监控***中所述道路空间特征提取模块的框图，如图2所示，所述道路空间特征提取模块130，包括：第一卷积编码单元131，用于使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；第一空间注意力单元132，用于将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；第一激活单元133，用于将所述道路空间注意力图通过Softmax激活函数以得到道路空间注意力特征图；第一空间增强单元134，用于计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及，第一池化单元135，用于对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。
注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
空间注意力机制是一种能够让神经网络模型更加关注图像中重要的区域的技术。在使用空间注意力机制的第一卷积神经网络模型中，模型通过注意力机制来选择图像中重要的区域，从而提高模型的分类准确性和对图像的理解能力。
具体地说，这种模型包括两个关键的模块：卷积层和注意力层。卷积层用于提取图像中的特征，而注意力层则通过计算每个像素点的重要性来确定哪些区域对于分类任务最为关键。使用空间注意力机制的第一卷积神经网络模型在图像分类、目标检测等任务中具有很好的效果。通过使用注意力机制，模型能够更加准确地识别图像中的目标，从而提高了分类准确性。此外，该模型还能够自动地关注图像中的重要区域，从而减少了对人工特征工程的依赖，提高了模型的鲁棒性和泛化能力。
具体地，在本申请实施例中，所述施工区域提取模块140，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像。考虑到在道路监管的过程中，占道施工主要发生在道路上的某个局部区域，为了提高检测的效率，在本申请的技术方案中，基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像。
通过这样的方式可以只保留目标区域内的信息并排除与目标无关的信息，即，保留施工作业对象，从而能够使得后续的计算机模型能更好地聚焦于施工作业对象。这样，可以有效降低噪声干扰，提高数据的准确性。
在本申请的一个实施例中，道路感兴趣区域图像可以作为模板，与施工监控图像进行匹配，得到在施工监控图像中的位置。接着，可以根据模板的位置，在施工监控图像上施加掩码，以得到掩码施工监控图像。掩码施工监控图像是指将施工监控图像中的非道路区域遮盖掉，只保留道路感兴趣区域的图像。
掩码的实现方式可以采用图像处理中的掩膜操作，即将道路感兴趣区域图像作为掩膜，与施工监控图像进行按位与（AND）操作，即可得到掩码施工监控图像。掩码施工监控图像可以减少背景噪声和无关信息的干扰，提高道路区域的识别和分析精度。通过这样的方式，可以实现对道路区域的精确识别和监控，从而及时发现和处理占道施工问题，提高施工现场的安全性和效率。
具体地，在本申请实施例中，所述施工空间特征提取模块150，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵。进一步地，为了提取施工作业对象的特征，将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵。同样地，使用空间注意力机制可以帮助模型更好地关注施工作业对象及其周边的特征信息，使得模型更加关注施工作业对象的变化和特征，从而提高模型的准确性。
图3为根据本申请实施例的基于无人机的无人值守智能监控***中所述施工空间特征提取模块的框图，如图3所示，所述施工空间特征提取模块150，包括：第二卷积编码单元151，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；第二空间注意力单元152，用于将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；第二激活单元153，用于将所述施工空间注意力图通过Softmax激活函数以得到施工空间注意力特征图；第二空间增强单元154，用于计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及，第二池化单元155，用于对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。
在本申请的另一个实施例中，在获取道路感兴趣区域图像后，将其与施工监控图像进行匹配，匹配的方式使用深度学习的方法，如基于卷积神经网络的目标检测算法。匹配后，可以得到道路感兴趣区域在施工监控图像中的位置，然后可以根据这个位置信息对施工监控图像进行掩码处理，得到掩码施工监控图像，掩码施工监控图像只保留了道路感兴趣区域内的信息，这样可以减少后续的图像处理和分析的计算量，提高监控***的效率。
掩码施工监控图像可以用于后续的道路区域识别、空间特征提取、分类特征图生成等模块的处理。同时，由于掩码施工监控图像只保留了道路感兴趣区域内的信息，因此可以减少误判和漏检的情况，提高监控***的准确性和可靠性。
具体地，在本申请实施例中，所述空间关联特征提取模块160，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图。如前所述，道路空间特征矩阵和施工作业对象特征矩阵分别提取出了目标区域内关于道路和施工作业对象的空间特征，在本申请的技术方案中，将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图。这样，可以将信息进行整合，并挖掘两者在空间维度上的关联。
其中，所述空间关联特征提取模块160，用于：使用所述基于第三卷积神经网络模型的空间关联特征提取器的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于第三卷积神经网络模型的空间关联特征提取器的最后一层的输出为所述分类特征图，所述基于第三卷积神经网络模型的空间关联特征提取器的第一层的输入为所述输入张量。
卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
具体地，在本申请实施例中，所述一致性优化模块170，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图。图4为根据本申请实施例的基于无人机的无人值守智能监控***中所述一致性优化模块的框图，如图4所示，所述一致性优化模块170，包括：逐片近似因数计算单元171，用于计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；以及，加权优化单元172，用于以所述多个逐片近似因数对各个特征矩阵进行加权以得到所述优化分类特征图。
在本申请的技术方案中，考虑到所述道路感兴趣区域图像和所述掩码施工监控图像之间具有源图像差异，而使用空间注意力机制的卷积神经网络模型在图像的空间语义特征提取的同时，会强化图像特征语义的空间分布，这就使得所述道路空间特征矩阵和所述施工作业对象特征矩阵的整体特征分布之间存在较大差异。由此，在将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器得到所述分类特征图时，由于所述分类特征图的各个特征矩阵表达所述道路空间特征矩阵和所述施工作业对象特征矩阵的整体特征分布之间的关联特征，所述各个特征矩阵之间也会具有较高的整体分布的不一致性，也就是，所述分类特征图的通道维度下的各个特征矩阵之间具有较高的由整体分布不一致性导致的高维特征流形的流形几何不一致性，从而影响所述分类特征图通过分类器进行分类回归时的收敛难度，即，降低了训练速度和收敛到的分类结果的准确性。
因此，本申请的申请人计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数，表示为：以如下优化公式计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；其中，所述优化公式为：，其中，/>是所述分类特征图的第/>个特征矩阵的第/>个行向量或者列向量，/>表示/>函数，表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个逐片近似因数。
具体地，所述基于凸分解的特征几何度量的逐片近似因数可以通过的平滑最大函数来定义每个特征矩阵的高维特征流形的局部几何形状间的符号化距离度量，以基于高维特征流形的凸多面体（convex polytope）分解来获得每个凸多面体对象的可微的凸指示符（convex indicator），并进而以/>函数确定用于表达高维特征流形的可学***面距离参数，以近似地度量特征几何。这样，通过以所述基于凸分解的特征几何度量的逐片近似因数对特征矩阵进行加权，就可以提升所述分类特征图在不同通道下的不同特征矩阵之间的高维特征流形的流形几何一致性，从而降低所述分类特征图通过分类器进行分类回归时的收敛难度，即，改进了训练速度和收敛到的分类结果的准确性。
具体地，在本申请实施例中，所述监控结果生成模块180，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。继而，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。也就是，所述分类器可以对所述分类特征图进行分类，将其划分为“存在占道施工的现象”和“不存在占道施工的现象”两类，从而实现对占道施工的自动检测和识别。在实际应用中，由于分类结果具有较高的可解释性，可以作为进行决策的依据。具体来说，响应于所述分类结果为“存在占道施工的现象”，应及时采取相应的措施，保障城市交通的顺畅和施工的安全。
图5为根据本申请实施例的基于无人机的无人值守智能监控***中所述监控结果生成模块的框图，如图5所示，所述监控结果生成模块180，包括：展开单元181，用于将所述优化分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元182，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元183，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
其中，分类器可以采用一些经典的机器学习算法，如支持向量机（SVM）、决策树（Decision Tree）和随机森林（Random Forest）等。在分类器的训练过程中，需要准备一些已经标注好的占道施工图像样本，以便分类器能够学习到占道施工的特征，从而识别出新的占道施工图像。
通过这样的方式，可以实现对占道施工现象的自动化识别，从而及时发现和处理占道施工问题，提高施工现场的安全性和效率。此外，该***还可以实现智能化分析和优化，例如可以对施工现场的占道施工情况进行统计和分析，以便对施工流程进行优化和改进，提高施工效率和质量。
综上，基于本申请实施例的基于无人机的无人值守智能监控***100被阐明，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。
如上所述，根据本申请实施例的基于无人机的无人值守智能监控***100可以实现在各种终端设备中，例如用于基于无人机的无人值守智能监控的服务器等。在一个示例中，根据本申请实施例的基于无人机的无人值守智能监控***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于无人机的无人值守智能监控***100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于无人机的无人值守智能监控***100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于无人机的无人值守智能监控***100与该终端设备也可以是分立的设备，并且该基于无人机的无人值守智能监控***100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中，图6为根据本申请实施例的基于无人机的无人值守智能监控方法的流程图。图7为根据本申请实施例的基于无人机的无人值守智能监控方法的***架构的示意图。如图6和图7所示，根据本申请实施例的基于无人机的无人值守智能监控方法，其包括：210，获取由无人机采集的施工监控图像；220，将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；230，将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；240，基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；250，将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；260，将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；270，对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及，280，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。
在一个具体示例中，在上述基于无人机的无人值守智能监控方法中，将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵，包括：使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；将所述道路空间注意力图通过Softmax激活函数以得到道路空间注意力特征图；计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及，对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。
在一个具体示例中，在上述基于无人机的无人值守智能监控方法中，将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵，包括：使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；将所述施工空间注意力图通过Softmax激活函数以得到施工空间注意力特征图；计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及，对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。
本领域技术人员可以理解，上述基于无人机的无人值守智能监控方法中的各个步骤的具体操作已经在上面参考图1到图5的基于无人机的无人值守智能监控***的描述中得到了详细介绍，并因此，将省略其重复描述。
图8为根据本申请实施例的基于无人机的无人值守智能监控***的应用场景图。如图8所示，在该应用场景中，首先，获取由无人机（例如，如图8中所示意的M）采集的施工监控图像（例如，如图8中所示意的C）；然后，将获取的施工监控图像输入至部署有基于无人机的无人值守智能监控算法的服务器（例如，如图8中所示意的S）中，其中所述服务器能够基于无人机的无人值守智能监控算法对所述施工监控图像进行处理，以生成用于表示是否存在占道施工的现象的分类结果。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (8)
1.一种基于无人机的无人值守智能监控***，其特征在于，包括：
监控图像采集模块，用于获取由无人机采集的施工监控图像；
道路区域识别模块，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；
道路空间特征提取模块，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；
施工区域提取模块，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；
施工空间特征提取模块，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；
空间关联特征提取模块，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；
一致性优化模块，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及
监控结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象；
其中，所述一致性优化模块，包括：
逐片近似因数计算单元，用于计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；以及
加权优化单元，用于以所述多个逐片近似因数对各个特征矩阵进行加权以得到所述优化分类特征图；
其中，所述逐片近似因数计算单元，用于：以如下优化公式计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；
其中，所述优化公式为：
，
其中，是所述分类特征图的第/>个特征矩阵的第/>个行向量或者列向量，表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个逐片近似因数。
2.根据权利要求1所述的基于无人机的无人值守智能监控***，其特征在于，所述道路空间特征提取模块，包括：
第一卷积编码单元，用于使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；
第一空间注意力单元，用于将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；
第一激活单元，用于将所述道路空间注意力图通过Softmax激活函数以得到道路空间注意力特征图；
第一空间增强单元，用于计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及
第一池化单元，用于对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。
3.根据权利要求2所述的基于无人机的无人值守智能监控***，其特征在于，所述施工空间特征提取模块，包括：
第二卷积编码单元，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；
第二空间注意力单元，用于将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；
第二激活单元，用于将所述施工空间注意力图通过Softmax激活函数以得到施工空间注意力特征图；
第二空间增强单元，用于计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及
第二池化单元，用于对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。
4.根据权利要求3所述的基于无人机的无人值守智能监控***，其特征在于，所述空间关联特征提取模块，用于：使用所述基于第三卷积神经网络模型的空间关联特征提取器的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述基于第三卷积神经网络模型的空间关联特征提取器的最后一层的输出为所述分类特征图，所述基于第三卷积神经网络模型的空间关联特征提取器的第一层的输入为所述输入张量。
5.根据权利要求4所述的基于无人机的无人值守智能监控***，其特征在于，所述监控结果生成模块，包括：
展开单元，用于将所述优化分类特征图按照行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
6.一种基于无人机的无人值守智能监控方法，其特征在于，包括：
获取由无人机采集的施工监控图像；
将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；
将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；
基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；
将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；
将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；
对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及
将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象；
其中，对所述分类特征图进行流形几何一致性优化以得到优化分类特征图，包括：
计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；以及
以所述多个逐片近似因数对各个特征矩阵进行加权以得到所述优化分类特征图；
其中，计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数，包括：以如下优化公式计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；
其中，所述优化公式为：
，
其中，是所述分类特征图的第/>个特征矩阵的第/>个行向量或者列向量，表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个逐片近似因数。
7.根据权利要求6所述的基于无人机的无人值守智能监控方法，其特征在于，将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵，包括：
使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；
将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；
将所述道路空间注意力图通过Softmax激活函数以得到道路空间注意力特征图；
计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及
对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。
8.根据权利要求7所述的基于无人机的无人值守智能监控方法，其特征在于，将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵，包括：
使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；
将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；
将所述施工空间注意力图通过Softmax激活函数以得到施工空间注意力特征图；
计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及
对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310717185.7A CN116630909B (zh) | 2023-06-16 | 2023-06-16 | 基于无人机的无人值守智能监控***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310717185.7A CN116630909B (zh) | 2023-06-16 | 2023-06-16 | 基于无人机的无人值守智能监控***及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630909A CN116630909A (zh) | 2023-08-22 |
| CN116630909B true CN116630909B (zh) | 2024-02-02 |
Family
ID=87641877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310717185.7A Active CN116630909B (zh) | 2023-06-16 | 2023-06-16 | 基于无人机的无人值守智能监控***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630909B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291812A (zh) * | 2020-02-11 | 2020-06-16 | 浙江大华技术股份有限公司 | 属性类别的获取方法及装置、存储介质、电子装置 |
| CN112686207A (zh) * | 2021-01-22 | 2021-04-20 | 北京同方软件有限公司 | 一种基于区域信息增强的城市街道场景目标检测方法 |
| CN114170569A (zh) * | 2021-12-10 | 2022-03-11 | 山东大学 | 一种路面异常情况监测方法、***、存储介质及设备 |
| CN115257784A (zh) * | 2022-06-15 | 2022-11-01 | 西安电子科技大学 | 基于4d毫米波雷达的车路协同*** |
| CN115392320A (zh) * | 2022-09-08 | 2022-11-25 | 江苏鑫鸿电气设备有限公司 | 具有防盗功能的变压器及其方法 |
| CN115744084A (zh) * | 2022-11-21 | 2023-03-07 | 华能伊敏煤电有限责任公司 | 基于多传感器数据融合的皮带张紧控制***及其方法 |
| CN115770374A (zh) * | 2022-12-28 | 2023-03-10 | 湖北博利特种汽车装备股份有限公司 | 基于cafs***的电动巡航消防车 |
| CN116001716A (zh) * | 2022-12-29 | 2023-04-25 | 陕西省君凯电子科技有限公司 | 机械设备的智能远程管理*** |
| CN116152768A (zh) * | 2023-03-01 | 2023-05-23 | 重庆赛力斯新能源汽车设计院有限公司 | 基于路况识别的智能驾驶预警***及方法 |
| CN116167989A (zh) * | 2023-02-10 | 2023-05-26 | 昇兴博德新材料温州有限公司 | 铝杯的智能化生产方法及其*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11586865B2 (en) * | 2021-02-18 | 2023-02-21 | Volkswagen Aktiengesellschaft | Apparatus, system and method for fusing sensor data to do sensor translation |
-
2023
- 2023-06-16 CN CN202310717185.7A patent/CN116630909B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291812A (zh) * | 2020-02-11 | 2020-06-16 | 浙江大华技术股份有限公司 | 属性类别的获取方法及装置、存储介质、电子装置 |
| CN112686207A (zh) * | 2021-01-22 | 2021-04-20 | 北京同方软件有限公司 | 一种基于区域信息增强的城市街道场景目标检测方法 |
| CN114170569A (zh) * | 2021-12-10 | 2022-03-11 | 山东大学 | 一种路面异常情况监测方法、***、存储介质及设备 |
| CN115257784A (zh) * | 2022-06-15 | 2022-11-01 | 西安电子科技大学 | 基于4d毫米波雷达的车路协同*** |
| CN115392320A (zh) * | 2022-09-08 | 2022-11-25 | 江苏鑫鸿电气设备有限公司 | 具有防盗功能的变压器及其方法 |
| CN115744084A (zh) * | 2022-11-21 | 2023-03-07 | 华能伊敏煤电有限责任公司 | 基于多传感器数据融合的皮带张紧控制***及其方法 |
| CN115770374A (zh) * | 2022-12-28 | 2023-03-10 | 湖北博利特种汽车装备股份有限公司 | 基于cafs***的电动巡航消防车 |
| CN116001716A (zh) * | 2022-12-29 | 2023-04-25 | 陕西省君凯电子科技有限公司 | 机械设备的智能远程管理*** |
| CN116167989A (zh) * | 2023-02-10 | 2023-05-26 | 昇兴博德新材料温州有限公司 | 铝杯的智能化生产方法及其*** |
| CN116152768A (zh) * | 2023-03-01 | 2023-05-23 | 重庆赛力斯新能源汽车设计院有限公司 | 基于路况识别的智能驾驶预警***及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Universal Image Embedding: Retaining and Expanding Knowledge With Multi-Domain Fine-Tuning;SOCRATIS GKELIOS等;《IEEE Acess》;第11卷;第38208-38217页 * |
| 联合局部约束的邻域嵌入人脸超分辨率重建;黄福珍;周晨旭;何林巍;;中国图象图形学报(第06期);第18-27页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630909A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11475660B2 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
| CN111738124B (zh) | 基于Gabor变换和注意力的遥感图像云检测方法 | |
| CN109214280B (zh) | 基于街景的店铺识别方法、装置、电子设备及存储介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN112966665A (zh) | 路面病害检测模型训练方法、装置和计算机设备 | |
| Tao et al. | Smoky vehicle detection based on multi-scale block Tamura features | |
| CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
| CN116797533B (zh) | 电源适配器的外观缺陷检测方法及其*** | |
| CN111062950A (zh) | 一种用于多类别森林场景图像分割的方法、存储介质和设备 | |
| Fernández et al. | Robust Real‐Time Traffic Surveillance with Deep Learning | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| CN115272882A (zh) | 一种基于遥感影像的离散建筑物检测方法及*** | |
| CN113496221B (zh) | 基于深度双边滤波的点监督遥感图像语义分割方法及*** | |
| CN117765348A (zh) | 目标检测模型的部署方法和目标检测方法及电子设备 | |
| CN117351659A (zh) | 一种水文地质灾害监测装置及监测方法 | |
| CN117671450A (zh) | 一种基于transformer的属地网络图像内容***的DETR架构方法 | |
| CN116630909B (zh) | 基于无人机的无人值守智能监控***及其方法 | |
| CN117671480A (zh) | 基于视觉大模型的滑坡自动识别方法、***和计算机设备 | |
| CN113705489B (zh) | 基于先验区域知识指导的遥感影像细粒度飞机识别方法 | |
| CN112348011B (zh) | 一种车辆定损方法、装置及存储介质 | |
| CN117671507B (zh) | 一种结合气象数据的河流水质预测方法 | |
| CN117407733B (zh) | 一种基于对抗生成shapelet的流量异常检测方法及*** | |
| CN117274903B (zh) | 基于智能ai芯片的电力巡检智能预警设备及其方法 | |
| Pandey et al. | Advanced IoT-Based Fire and Smoke Detection System leveraging Deep Learning and TinyML | |
| CN118364951A (zh) | 台风灾害下的输电线路预警方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |