CN114445780A - 裸土苫盖的检测方法及装置、识别模型的训练方法及装置 - Google Patents

裸土苫盖的检测方法及装置、识别模型的训练方法及装置 Download PDF

Info

Publication number
CN114445780A
CN114445780A CN202210126530.5A CN202210126530A CN114445780A CN 114445780 A CN114445780 A CN 114445780A CN 202210126530 A CN202210126530 A CN 202210126530A CN 114445780 A CN114445780 A CN 114445780A
Authority
CN
China
Prior art keywords
frame
detection
bare soil
prediction
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210126530.5A
Other languages
English (en)
Inventor
司成润
张玉香
刘德华
郑艳伟
苏传朋
李知乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xizheng Digital Technology Co ltd
Original Assignee
Qingdao Xizheng Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xizheng Digital Technology Co ltd filed Critical Qingdao Xizheng Digital Technology Co ltd
Priority to CN202210126530.5A priority Critical patent/CN114445780A/zh
Publication of CN114445780A publication Critical patent/CN114445780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，公开一种裸土苫盖的检测方法，包括：根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像；将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别；对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框；在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息。本申请还公开一种识别模型的训练方法。

Description

裸土苫盖的检测方法及装置、识别模型的训练方法及装置
技术领域
本申请涉及人工智能技术领域，例如涉及一种裸土苫盖的检测方法及装置、识别模型的训练方法及装置。
背景技术
目前，在环保领域，污染溯源对环境保护的作用至关重要。污染溯源涉及大量场景、众多技术手段的应用。其中，扬尘是环境污染最常见的一种情形，工地的裸土苫盖是防止扬尘的一个重要环节。为了提高渣土车苫盖的监控精度，相关技术中的一种渣土车苫盖的检测方法，包括：获取待检测视频图像帧；根据所述待检测视频图像帧，检测渣土车苫盖是否关闭；如果所述渣土车苫盖未关闭，则发送提示信息。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
现有技术的检测方法只能用于检测渣土车的苫盖是否关闭，不能对工地现场的裸土的苫盖情况进行识别，目前，工地裸土的苫盖情况依旧是通过工作人员人工检查确定的，但是人工检查的方式一方面存在着非常大的不稳定性和主观性，另一方面，也容易被工地人员有针对性的进行掩盖导致无效检查，并且，人工检查的方式难以实现无死角的监控，也无法全天候检测。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种裸土苫盖的检测方法及装置、识别模型的训练方法及装置，通过深度学习在目标检测领域的广泛应用，实现针对工地现场的人工智能的裸土苫盖检测。
在一些实施例中，所述裸土苫盖的检测方法，包括：
根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像；
将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别；
对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框；
在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息
在一些实施例中，所述识别模型的训练方法，包括：
获取训练样本并标注训练标签，其中，所述训练样本包括多个包含裸土的工地现场图像，所述训练标签包括每个所述工地现场图像对应的至少一个基准框的位置信息和基准框中裸土的类别；
根据所述训练样本和训练标签，对预训练的DERT模型进行训练；
构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，获得所述识别模型。
在一些实施例中，所述裸土苫盖的检测装置，包括：
摄像头控制模块，被配置为根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像；
检测模块，被配置为将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别；
识别模块，被配置为对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框；
报警模块，被配置为在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息。
在一些实施例中，所述识别模型的训练装置，包括：
样本标签获取模块，被配置为获取训练样本并标注训练标签，其中，所述训练样本包括多个包含裸土的工地现场图像，所述训练标签包括每个所述工地现场图像对应的至少一个基准框的位置信息和基准框中裸土的类别；
模型训练模块，被配置为根据所述训练样本和训练标签，对预训练的DERT模型进行训练；
模型反馈调节模块，被配置为构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，获得所述识别模型。
本公开实施例提供的裸土苫盖的检测方法及装置、识别模型的训练方法及装置，可以实现以下技术效果：
本申请通过将深度学习技术与工厂安全机制相结合，通过获取反映工地现场不同视角的多个待检测图像，并通过识别模型对待检测图像进行裸土是否苫盖的目标识别，实现了全天候实时监测工地裸土的苫盖情况并发出报警信息，解决了人工检查带来的不稳定性和主观性等问题，对污染溯源及生态环境保护都具有重要意义。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个裸土苫盖的检测方法的示意图；
图2是本公开实施例提供的另一个裸土苫盖的检测方法的示意图；
图3是本公开实施例提供的另一个裸土苫盖的检测方法的示意图；
图4是本公开实施例提供的另一个裸土苫盖的检测方法的示意图；
图5是本公开实施例提供的一个识别模型的训练方法的示意图；
图6是本公开实施例提供的另一个识别模型的训练方法的示意图；
图7是本公开实施例提供的另一个识别模型的训练方法的示意图；
图8是本公开实施例提供的另一个识别模型的训练方法的示意图；
图9是本公开实施例提供的一个裸土苫盖的检测装置和识别模型的训练装置的示意图；
图10是本公开实施例提供的一个计算设备的框架示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和裸土苫盖识别模型可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
本公开实施例中，终端设备是指具有无线连接功能的电子设备，终端设备可以通过连接互联网，与如上的智能家电设备进行通信连接，也可以直接通过蓝牙、wifi等方式与如上的智能家电设备进行通信连接。在一些实施例中，终端设备例如为可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作***、触摸屏和/或显示屏的硬件设备。
目前，工地裸土苫盖是通过工作人员人工检查确定的。这种方式由人的主观行为完成，一方面存在着非常大的不稳定性和主观性，另一方面，也容易被工地人员有针对性的进行掩盖。同时，人工方式难以实时无死角的监控，也无法全天候监测。
深度学习在目标检测领域发挥的作用越来越大，其利用先进的卷积神经理论、深度置信网、神经网络等构建一个多层次的学习***，能够实现特征检测、目标检测等，提高了机器学习的准确性、可靠性和先进性。
本公开实施例涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，可应用于智能云和工地现场，提升生态溯源的效率，对保护生态环境起到了积极作用。
其中，人工智能(Artificial Intelligence，AI)是研究和开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
计算机视觉，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
DETR(Detection Transformer，Transformer的视觉版本)模型：使用常用的主干网络backbone(比如残差网络ResNet等)，通过对视频帧进行特征提取，生成特征图(feature map)，再将特征图输入至以Transformer为基本机构的模型进行编码-解码，最终输出检测框和检测框中目标对象的类别。
结合图1所示，本公开实施例提供一种裸土苫盖的检测方法，包括：
步骤101：根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像。
在本申请的实施例中，本申请的摄像头控制模块可以根据预设的重叠率，通过布设在工地现场的多个摄像头，不断旋转摄像头并拍照，拍摄得到反映工地现场不同视角的多个待检测图像。
步骤102：将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别。
在本申请的实施例中，本申请的通过预先训练好的识别模型对多个待检测图像进行目标检测，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框、所述检测框中的裸土的类别(未苫盖或苫盖)和预测类别概率等。
步骤103：对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框。
在本申请的实施例中，本申请的摄像头在拍摄时由于存在重叠，因此会存在检测框之间较大重叠，此时，为了减少不必要计算，需要对多个裸土的检测框进行去重操作，删除掉重复检测的区域，得到至少一个目标检测框。
步骤104：在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息。
在本申请的实施例中，当任一所述目标检测框中的裸土的类别为未苫盖时，即出现了有裸土未苫盖的情况，则进行报警处理。
采用本公开实施例提供的裸土苫盖的检测方法，通过将深度学习技术与工厂安全机制相结合，通过获取反映工地现场不同视角的多个待检测图像，并通过识别模型对待检测图像进行裸土是否苫盖的目标识别，实现了全天候实时监测工地裸土的苫盖情况并发出报警信息，解决了人工检查带来的不稳定性和主观性等问题，实现全天候、无死角的监控检测，对污染溯源及生态环境保护都具有重要意义。
可选地，结合图2所示，所述根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像，包括：
步骤201：根据拍摄设备的焦距、拍摄设备沿水平方向的尺寸和工地现场的水平宽度，计算出所述待检测图像的水平尺寸。
在本申请的实施例中，通过查询拍摄设备例如照相机的焦距f和、拍摄设备沿水平方向的尺寸Sw，结合现场测量得到工地现场的水平宽度Bw，根据以下公式，计算出所述待检测图像的水平尺寸w：
Figure BDA0003500562810000061
步骤202：根据拍摄设备拍摄工地现场的全景所需的总角度和所述待检测图像的水平尺寸，计算出拍摄设备所需的转动步数和每一步对应的旋转角度。
在本申请的实施例中，根据现场旋转相机的云台测试得到的，拍摄设备拍摄工地现场的全景所需的总角度A，以及待检测图像的水平尺寸w，计算出拍摄设备所需的转动步数t和每一步对应的旋转角度ω：
Figure BDA0003500562810000071
其中，
Figure BDA0003500562810000073
表示将x向下取整，t为总角度A与每一步对应的旋转角度ω的商。
步骤203：从所述拍摄设备从极限位置开始，按照所述拍摄设备所需的转动步数和每一步对应的旋转角度控制所述拍摄设备进行旋转，以使所述拍摄设备在每一步转动结束后对工地现场进行拍摄，获取反映工地现场不同视角的多个待检测图像。
在本申请的实施例中，从所述拍摄设备从极限位置开始，例如相机云台的最左侧极限位置或者最右侧极限位置，拍摄设备根据旋转角度ω转动并拍摄照片，直至完成转动步数t对应的步数(一般为个位数，例如3步、4步或5步)，获取反映工地现场不同视角的多个待检测图像，应当注意的是，在工地现场布设有多个拍摄设备的情况下，便会获得多组待检测图像。
这样，本申请通过摄像头控制模块根据计算得到的旋转步数和角度，不断旋转摄像头并拍照，然后推送给识别模型，从而实现在不需要人工参与的情况下实现工地现场的裸土苫盖情况的信息采集。
可选地，结合图3所示，所述对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框，包括：
步骤301：获取任意两个裸土的检测框，计算两个检测框的重合面积。
在本申请的实施例中，识别模型输出的n个检测框为：
Figure BDA0003500562810000072
其中，x表示检测框左上角横坐标、y表示检测框纵坐标、w表示检测框宽度、h表示检测框高度、c表示预测类别(苫盖或未苫盖)，p表示预测类别为c的概率。
本申请从n个检测框中获取任意两个裸土的检测框，通过函数计算两个检测框的重合面积Inter。
步骤302：根据所述两个检测框的重合面积，计算两个检测框的交并比。
在本申请的实施例中，本申请进一步根据两个检测框的重合面积两个检测框的重合面积，通过函数计算两个检测框的交并比IoU。
步骤303：在所述两个检测框的交并比大于等于预设的交并比阈值、且两个检测框中的裸土的类别相同的情况下，删除两个检测框中预测类别概率较小的检测框，得到至少一个裸土的目标检测框。
在本申请的实施例中，本申请预先设定好有一个交并比阈值τ，如果两个检测框的交并比IoU大于等于交并比阈值τ，且两个检测框中的裸土的类别相同(均为苫盖或未苫盖)，则比较两个检测框中预测类别概率，将预测类别概率较小的检测框
Figure BDA0003500562810000081
删除。
这样，能更加精确地确定出重合度较高的检测框，并合理的保留最具有判断价值的检测框。
可选地，结合图4所示，本申请的裸土苫盖的检测方法，还包括：
步骤401：将多个待检测图像、至少一个裸土的目标检测框、每个目标检测框中的裸土的类别和每个目标检测框的预测类别概率，与拍摄设备所属的工地现场的工地信息进行绑定，得到工地裸土苫盖检测信息。
步骤402：将所述工地裸土苫盖检测信息存储至数据库。
步骤403：提供用户查询功能接口，根据用户输入的检索条件查询所述工地裸土苫盖检测信息。
在本申请的实施例中，本申请将多个待检测图像、至少一个裸土的目标检测框、每个目标检测框中的裸土的类别和每个目标检测框的预测类别概率，与拍摄设备所属的工地现场的工地信息进行绑定，得到工地裸土苫盖检测信息，进而将工地裸土苫盖检测信息存储至数据库，并同时提供用户查询功能，可以按时间、地点和是否苫盖等查询工地苫盖检测信息。
这样，可以提升生态溯源的效率，留存证据和档案以供后续的督查整改。
结合图5所示，本公开实施例提供一种识别模型的训练方法，包括：
步骤501：获取训练样本并标注训练标签，其中，所述训练样本包括多个包含裸土的工地现场图像，所述训练标签包括每个所述工地现场图像对应的至少一个基准框的位置信息和基准框中裸土的类别。
在本申请的实施例中，本申请可以通过安防摄像机获取图像资料，挑取不同工地、不同光照、不同天气下的视频及图像资料，然后将获取的视频及图片资料传到本***。
在视频抽帧处理过程中，本***需要对获得的视频进行跳帧操作，为尽量覆盖不同情况，提高本发明的准确率，在进行跳帧处理时，选取不同工地中，光照有明显差异的帧。有些图像场景及光照非常接近，以及图像模糊不清，对模型训练起不到积极作用，予以丢弃。将场景不同、光照多样、裸土拍摄全面的图像进行保留。
视频可以为在线采集的视频，比如可以通过网络爬虫技术，在线采集待检测视频，或者，视频也可以为线下采集的视频，或者，视频也可以为实时采集的视频流，或者，视频也可以为人工合成的视频，等等，本公开实施例对此并不做限制。
例如，采集2000张以上包括裸土苫盖或未苫盖图像进行标签的标注，主要依靠人力通过相关标注软件进行。将裸土苫盖和不苫盖的，都进行标注。在标注过程中，有些裸土在图像中不完整，将图像中可见部分进行标注。对于边缘小于50像素的裸土，不进行标注，数据标注完成后划分为训练集，验证集及测试集等，得到m个基准框σi(xi,yi,wi,hi,li)，其中i＝1,2,...,m，五个分量分别为区域左上角横坐标、纵坐标、宽度、高度和标签，标签li＝1表示苫盖，li＝0表示未苫盖。
步骤502：根据所述训练样本和训练标签，对预训练的DERT模型进行训练。
在本申请的实施例中，本申请使用预训练的DERT模型进行训练，其中，前端网络结构直至FFNFFN(Feed-Forward Network，前馈网络)层等同DETR模型，到FFN后得到n个预测框
Figure BDA0003500562810000091
其中j＝1,2,...,n，预测类别
Figure BDA0003500562810000092
表示苫盖，
Figure BDA0003500562810000093
表示未苫盖，
Figure BDA0003500562810000094
表示预测类别为
Figure BDA0003500562810000095
的概率。
步骤503：构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，获得所述识别模型。
采用本公开实施例提供的识别模型的训练方法，针对基于DETR模型的目标检测方法会找不到某个实例，或者完全找错位置的情况，通过构造加权损失函数进行反向加权传播，解决了部分目标区域检测不到或者检测错的问题，提升了模型的准确率。
可选地，结合图6所示，所述构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，包括：
步骤601：获取所述DERT模型输出的多个预测框。
步骤602：遍历计算每个预测框与所有的基准框的交并比，确定所述每个预测框对应交并比最小的目标基准框。
步骤603：遍历计算所述每个预测框与所述目标基准框的损失值，得到所有预测框对应的总体损失值。
步骤604：根据所述总体损失值进行反向传播，以持续训练所述DERT模型。
在本申请的实施例中，本申请构造加权损失函数包含两层循环，外层循环为预测框循环，内存循环为标注的基准框循环。其中，内循环中同时计算，同时查找与当前预测框交并比最小的基准框，最后使用这个找到的基准框依次计算中心距离、预测框损失和加权损失，最后把加权损失加入到总体损失。外层所有预测框都计算完成后，使用累加的总体损失进行反向传播。
这样，能够实现在模型训练的反馈调节的过程中，随机性遍历选择预测框，在每次迭代过程中都获得高置信度的目标基准框，并将所有预测框根据与目标基准框的交并比进行加权，使每个预测框都对训练产生贡献。
可选地，结合图7所示，所述遍历计算每个预测框与所有的基准框的交并比，确定所述每个预测框对应交并比最小的目标基准框，包括：
步骤701：计算当前预测框与当前基准框的重合面积。
在本申请的实施例中，通过以下公式计算任意一个当前基准框和任意一个当前预测框的重合面积：
Figure BDA0003500562810000101
其中，包括m个基准框σi(xi,yi,wi,hi,li)，以及到n个预测框
Figure BDA0003500562810000102
得到对应的重合面积Inter。
步骤702：根据所述当前预测框与当前基准框的重合面积，计算当前预测框与当前基准框的交并比。
在本申请的实施例中，通过以下公式计算任意一个当前基准框和任意一个当前预测框的交并比：
Figure BDA0003500562810000111
步骤703：在所述当前预测框与当前基准框的交并比小于缓存的交并比最小值的情况下，将当前预测框与当前基准框的交并比作为所述交并比最小值进行缓存。
在本申请的实施例中，通过以下公式求解最接近区域：
Figure BDA0003500562810000112
步骤704：重复上述步骤直至遍历所有的基准框，以确定当前预测框对应的目标基准框。
在本申请的实施例中，本申请的判断是否还有未计算的基准框，若有，则重复步骤701至步骤703，以通过循环的方式确定当前预测框对应的目标基准框。
步骤705：重复上述步骤直至遍历所有的预测框，以确定每个预测框对应的目标基准框。
在本申请的实施例中，本申请的判断是否还有未计算的预测框，若有，则重复步骤701至步骤704，以通过循环的方式确定每个预测框对应的目标基准框。
这样，通过内部循环的方式，确定出每个预测框对应的交并比最为接近的目标基准框，提高了模型的训练效果。
可选地，结合图8所示，所述遍历计算所述每个预测框与所述目标基准框的损失值，得到所有预测框对应的总体损失值，包括：
步骤801：计算每个预测框与对应的目标基准框之间的中心距离。
在本申请的实施例中，本申请通过以下公式计算每个预测框与对应的目标基准框之间的中心距离：
Figure BDA0003500562810000113
步骤802：根据每个预测框与对应的目标基准框之间的中心距、每个预测框与对应的目标基准框的交并比和交并比-位置权重系数，计算每个预测框的坐标损失函数。
在本申请的实施例中，本申请通过以下公式计算每个预测框的坐标损失函数：
Figure BDA0003500562810000121
其中，交并比-位置权重系数需要满足以下条件：
λIoU+λd＝1,λIoU>0,λd>0
步骤803：根据每个预测框与对应的目标基准框的交并比、指示函数和每个预测框的坐标损失函数，计算加权损失函数，得到所有预测框对应的总体损失值。
在本申请的实施例中，本申请通过以下公式计算加权损失函数：
Figure BDA0003500562810000122
其中，指示函数I的定义为：
Figure BDA0003500562810000123
这样，本申请根据加权损失函数进行反向传播，持续训练得到最终模型，以实现外部循环。
结合图9所示，本公开实施例提供一种裸土苫盖的检测装置，包括：
摄像头控制模块901，被配置为根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像；
检测模块902，被配置为将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别；
识别模块903，被配置为对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框；
报警模块904，被配置为在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息。
可选的，所述摄像头控制模块901，具体被配置为：
根据拍摄设备的焦距、拍摄设备沿水平方向的尺寸和工地现场的水平宽度，计算出所述待检测图像的水平尺寸；
根据拍摄设备拍摄工地现场的全景所需的总角度和所述待检测图像的水平尺寸，计算出拍摄设备所需的转动步数和每一步对应的旋转角度；
从所述拍摄设备从极限位置开始，按照所述拍摄设备所需的转动步数和每一步对应的旋转角度控制所述拍摄设备进行旋转，以使所述拍摄设备在每一步转动结束后对工地现场进行拍摄，获取反映工地现场不同视角的多个待检测图像。
可选的，所述识别模块903，具体被配置为：
获取任意两个裸土的检测框，计算两个检测框的重合面积；
根据所述两个检测框的重合面积，计算两个检测框的交并比；
在所述两个检测框的交并比大于等于预设的交并比阈值、且两个检测框中的裸土的类别相同的情况下，删除两个检测框中预测类别概率较小的检测框，得到至少一个裸土的目标检测框。
可选的，所述装置还包括存储和查询模块，被配置为：
将多个待检测图像、至少一个裸土的目标检测框、每个目标检测框中的裸土的类别和每个目标检测框的预测类别概率，与拍摄设备所属的工地现场的工地信息进行绑定，得到工地裸土苫盖检测信息；
将所述工地裸土苫盖检测信息存储至数据库；
提供用户查询功能接口，根据用户输入的检索条件查询所述工地裸土苫盖检测信息。
本申请通过将深度学习技术与工厂安全机制相结合，通过获取反映工地现场不同视角的多个待检测图像，并通过识别模型对待检测图像进行裸土是否苫盖的目标识别，实现了全天候实时监测工地裸土的苫盖情况并发出报警信息，解决了人工检查带来的不稳定性和主观性等问题，对污染溯源及生态环境保护都具有重要意义
结合图9所示，本公开实施例提供一种识别模型的训练装置，包括：
样本标签获取模块905，被配置为获取训练样本并标注训练标签，其中，所述训练样本包括多个包含裸土的工地现场图像，所述训练标签包括每个所述工地现场图像对应的至少一个基准框的位置信息和基准框中裸土的类别；
模型训练模块906，被配置为根据所述训练样本和训练标签，对预训练的DERT模型进行训练；
模型反馈调节模块907，被配置为构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，获得所述识别模型。
可选的，所述模型反馈调节模块907，具体被配置为：
获取所述DERT模型输出的多个预测框；
遍历计算每个预测框与所有的基准框的交并比，确定所述每个预测框对应交并比最小的目标基准框；
遍历计算所述每个预测框与所述目标基准框的损失值，得到所有预测框对应的总体损失值；
根据所述总体损失值进行反向传播，以持续训练所述DERT模型。
可选的，所述模型反馈调节模块907，具体被配置为：
计算当前预测框与当前基准框的重合面积；
根据所述当前预测框与当前基准框的重合面积，计算当前预测框与当前基准框的交并比；
在所述当前预测框与当前基准框的交并比小于缓存的交并比最小值的情况下，将当前预测框与当前基准框的交并比作为所述交并比最小值进行缓存；
重复上述步骤直至遍历所有的基准框，以确定当前预测框对应的目标基准框；
重复上述步骤直至遍历所有的预测框，以确定每个预测框对应的目标基准框。
可选的，所述模型反馈调节模块907，具体被配置为：
计算每个预测框与对应的目标基准框之间的中心距离；
根据每个预测框与对应的目标基准框之间的中心距、每个预测框与对应的目标基准框的交并比和交并比-位置权重系数，计算每个预测框的坐标损失函数；
根据每个预测框与对应的目标基准框的交并比、指示函数和每个预测框的坐标损失函数，计算加权损失函数，得到所有预测框对应的总体损失值。
本申请针对基于DETR模型的目标检测方法会找不到某个实例，或者完全找错位置的情况，通过构造加权损失函数进行反向加权传播，解决了部分目标区域检测不到或者检测错的问题，提升了模型的准确率。
结合图10所示，本公开实施例提供一种计算设备，包括处理器(processor)100和存储器(memory)101。可选地，该计算设备还可以包括通信接口(CommunicationInterface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的裸土苫盖的检测方法和识别模型的训练方法。
此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中的裸土苫盖的检测方法和识别模型的训练方法。
存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述识别模型的训练方法和裸土苫盖的检测方法。
上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、裸土苫盖识别模型和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于裸土苫盖识别模型、设备等)，可以通过其它的方式实现。例如，以上所描述的裸土苫盖识别模型实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，裸土苫盖识别模型或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种裸土苫盖的检测方法，其特征在于，包括：
根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像；
将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别；
对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框；
在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息。
2.根据权利要求1所述的检测方法，其特征在于，所述根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像，包括：
根据拍摄设备的焦距、拍摄设备沿水平方向的尺寸和工地现场的水平宽度，计算出所述待检测图像的水平尺寸；
根据拍摄设备拍摄工地现场的全景所需的总角度和所述待检测图像的水平尺寸，计算出拍摄设备所需的转动步数和每一步对应的旋转角度；
从所述拍摄设备从极限位置开始，按照所述拍摄设备所需的转动步数和每一步对应的旋转角度控制所述拍摄设备进行旋转，以使所述拍摄设备在每一步转动结束后对工地现场进行拍摄，获取反映工地现场不同视角的多个待检测图像。
3.根据权利要求1所述的检测方法，其特征在于，所述对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框，包括：
获取任意两个裸土的检测框，计算两个检测框的重合面积；
根据所述两个检测框的重合面积，计算两个检测框的交并比；
在所述两个检测框的交并比大于等于预设的交并比阈值、且两个检测框中的裸土的类别相同的情况下，删除两个检测框中预测类别概率较小的检测框，得到至少一个裸土的目标检测框。
4.根据权利要求3所述的检测方法，其特征在于，还包括：
将多个待检测图像、至少一个裸土的目标检测框、每个目标检测框中的裸土的类别和每个目标检测框的预测类别概率，与拍摄设备所属的工地现场的工地信息进行绑定，得到工地裸土苫盖检测信息；
将所述工地裸土苫盖检测信息存储至数据库；
提供用户查询功能接口，根据用户输入的检索条件查询所述工地裸土苫盖检测信息。
5.一种识别模型的训练方法，其特征在于，包括：
获取训练样本并标注训练标签，其中，所述训练样本包括多个包含裸土的工地现场图像，所述训练标签包括每个所述工地现场图像对应的至少一个基准框的位置信息和基准框中裸土的类别；
根据所述训练样本和训练标签，对预训练的DERT模型进行训练；
构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，获得所述识别模型。
6.根据权利要求5所述的训练方法，其特征在于，所述构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，包括：
获取所述DERT模型输出的多个预测框；
遍历计算每个预测框与所有的基准框的交并比，确定所述每个预测框对应交并比最小的目标基准框；
遍历计算所述每个预测框与所述目标基准框的损失值，得到所有预测框对应的总体损失值；
根据所述总体损失值进行反向传播，以持续训练所述DERT模型。
7.根据权利要求6所述的训练方法，其特征在于，所述遍历计算每个预测框与所有的基准框的交并比，确定所述每个预测框对应交并比最小的目标基准框，包括：
计算当前预测框与当前基准框的重合面积；
根据所述当前预测框与当前基准框的重合面积，计算当前预测框与当前基准框的交并比；
在所述当前预测框与当前基准框的交并比小于缓存的交并比最小值的情况下，将当前预测框与当前基准框的交并比作为所述交并比最小值进行缓存；
重复上述步骤直至遍历所有的基准框，以确定当前预测框对应的目标基准框；
重复上述步骤直至遍历所有的预测框，以确定每个预测框对应的目标基准框。
8.根据权利要求6所述的训练方法，其特征在于，所述遍历计算所述每个预测框与所述目标基准框的损失值，得到所有预测框对应的总体损失值，包括：
计算每个预测框与对应的目标基准框之间的中心距离；
根据每个预测框与对应的目标基准框之间的中心距、每个预测框与对应的目标基准框的交并比和交并比-位置权重系数，计算每个预测框的坐标损失函数；
根据每个预测框与对应的目标基准框的交并比、指示函数和每个预测框的坐标损失函数，计算加权损失函数，得到所有预测框对应的总体损失值。
9.一种裸土苫盖的检测装置，其特征在于，包括：
摄像头控制模块，被配置为根据预设的重叠率，获取反映工地现场不同视角的多个待检测图像；
检测模块，被配置为将所述多个待检测图像输入至预设的识别模型中，得到每个待检测图像对应的识别结果，其中，所述识别结果包括裸土的检测框和所述检测框中的裸土的类别；
识别模块，被配置为对多个所述裸土的检测框进行去重操作，得到至少一个目标检测框；
报警模块，被配置为在任一所述目标检测框中的裸土的类别为未苫盖的情况下，生成并发送对应的报警信息。
10.一种识别模型的训练装置，其特征在于，包括：
样本标签获取模块，被配置为获取训练样本并标注训练标签，其中，所述训练样本包括多个包含裸土的工地现场图像，所述训练标签包括每个所述工地现场图像对应的至少一个基准框的位置信息和基准框中裸土的类别；
模型训练模块，被配置为根据所述训练样本和训练标签，对预训练的DERT模型进行训练；
模型反馈调节模块，被配置为构造加权损失函数，通过对所述加权损失函数进行加权反向传播以持续训练所述DERT模型，获得所述识别模型。
CN202210126530.5A 2022-02-10 2022-02-10 裸土苫盖的检测方法及装置、识别模型的训练方法及装置 Pending CN114445780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210126530.5A CN114445780A (zh) 2022-02-10 2022-02-10 裸土苫盖的检测方法及装置、识别模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210126530.5A CN114445780A (zh) 2022-02-10 2022-02-10 裸土苫盖的检测方法及装置、识别模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN114445780A true CN114445780A (zh) 2022-05-06

Family

ID=81371664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210126530.5A Pending CN114445780A (zh) 2022-02-10 2022-02-10 裸土苫盖的检测方法及装置、识别模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN114445780A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821485A (zh) * 2022-06-28 2022-07-29 中关村科学城城市大脑股份有限公司 施工现场裸露识别处理方法、装置、电子设备及存储介质
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及***
CN116189000A (zh) * 2022-11-11 2023-05-30 北京市测绘设计研究院 地块分析方法及装置
WO2024022059A1 (zh) * 2022-07-29 2024-02-01 京东方科技集团股份有限公司 环境检测报警方法、装置、计算机设备及存储介质
CN117576076A (zh) * 2023-12-14 2024-02-20 湖州宇泛智能科技有限公司 一种裸土检测方法、装置和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821485A (zh) * 2022-06-28 2022-07-29 中关村科学城城市大脑股份有限公司 施工现场裸露识别处理方法、装置、电子设备及存储介质
WO2024022059A1 (zh) * 2022-07-29 2024-02-01 京东方科技集团股份有限公司 环境检测报警方法、装置、计算机设备及存储介质
CN116189000A (zh) * 2022-11-11 2023-05-30 北京市测绘设计研究院 地块分析方法及装置
CN116189000B (zh) * 2022-11-11 2023-11-14 北京市测绘设计研究院 地块分析方法及装置
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及***
CN117576076A (zh) * 2023-12-14 2024-02-20 湖州宇泛智能科技有限公司 一种裸土检测方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN114445780A (zh) 裸土苫盖的检测方法及装置、识别模型的训练方法及装置
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及***
CN106791710A (zh) 目标检测方法、装置和电子设备
EP2758941A1 (en) Three-dimensional map system
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
CN110659391A (zh) 一种视频侦查方法及装置
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN112836683B (zh) 用于便携式摄像设备的车牌识别方法、装置、设备和介质
CN110147731A (zh) 车辆类型识别方法及相关产品
KR102366544B1 (ko) 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법
CN115294528A (zh) 一种行人安全监控方法及装置
CN114550051A (zh) 一种车损检测方法、装置、计算机设备及存储介质
CN114170272A (zh) 一种云端环境下基于感知传感器的事故报告、储存方法
CN108847031A (zh) 交通行为监控方法、装置、计算机设备和存储介质
CN116647644A (zh) 基于数字孪生技术的校园交互式监控方法以及***
CN113505704B (zh) 图像识别的人员安全侦测方法、***、设备及存储介质
CN113496235A (zh) 图像处理方法、装置及***、存储介质、计算设备
CN115760886B (zh) 基于无人机鸟瞰图的地块划分方法、装置及相关设备
CN116152745A (zh) 一种抽烟行为检测方法、装置、设备及存储介质
CN115908493A (zh) 一种小区人员轨迹管理与展示方法及其***
CN116110127A (zh) 一种多联动的加油站套现行为识别***
CN116245498A (zh) 光缆路由标识检测方法、装置，及电子设备
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination