CN112837326B - 遗留物检测方法、装置及设备 - Google Patents

遗留物检测方法、装置及设备 Download PDF

Info

Publication number
CN112837326B
CN112837326B CN202110111585.4A CN202110111585A CN112837326B CN 112837326 B CN112837326 B CN 112837326B CN 202110111585 A CN202110111585 A CN 202110111585A CN 112837326 B CN112837326 B CN 112837326B
Authority
CN
China
Prior art keywords
image
area
carryover
pixel point
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110111585.4A
Other languages
English (en)
Other versions
CN112837326A (zh
Inventor
邵新庆
吴肖
张磊
覃晓元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN202110111585.4A priority Critical patent/CN112837326B/zh
Publication of CN112837326A publication Critical patent/CN112837326A/zh
Application granted granted Critical
Publication of CN112837326B publication Critical patent/CN112837326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种遗留物检测方法、装置及设备，通过获取目标检测区域的采集时刻间隔大于等于预设时长的第一图像和第二图像；将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息；根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域；根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域；根据第一区域和第二区域，确定目标检测区域中是否存在遗留物。由于遗留物在监控区域中通常仅占据较小的比例，而通过像素点的类别进行遗留物的划分，可以更准确地检测到图像中的任意小的物体，从而降低了遗留物检测的漏检率。

Description

遗留物检测方法、装置及设备
技术领域
本发明涉及深度学习技术领域，具体涉及一种遗留物检测方法、装置及设备。
背景技术
遗留物检测是指当某个物体在监控区域被遗留或被遗弃一定时间后，通过对图像视频进行处理，自动检测出该物体的位置，并触发报警预防意外。遗留物检测是智能视频监控中的一项基本功能，对监控区域不明物体及时找回或者排除潜在危险具有重大的意义，是预防危险、保证安全的一项重要措施。
随着深度学习技术的发展，逐渐采用目标检测方法对遗留物进行定位和识别，但是由于遗留物在监控区域中通常仅占据较小的比例，导致了基于目标检测方法的遗留物检测存在着较大的漏检率。
发明内容
本发明实施例提供一种遗留物检测方法、装置及设备，用以降低遗留物检测的漏检率。
根据第一方面，一种实施例中提供一种遗留物检测方法，包括：
获取目标检测区域的第一图像和第二图像，其中，所述第一图像和所述第二图像的采集时刻间隔大于等于预设时长；
将所述第一图像和所述第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到所述第一图像和所述第二图像中各像素点对应的类别信息，所述目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；
根据所述第一图像中各像素点对应的类别信息确定所述第一图像中疑似存在遗留物的第一区域；
根据所述第二图像中各像素点对应的类别信息确定所述第二图像中疑似存在遗留物的第二区域；
根据所述第一区域和所述第二区域，确定所述目标检测区域中是否存在遗留物。
可选的，所述根据所述第一区域和所述第二区域，确定所述目标检测区域中是否存在遗留物，包括：
计算所述第一区域与所述第二区域的重合度；
若所述重合度大于预设阈值，则确定所述目标检测区域中存在遗留物；
若所述重合度小于或等于预设阈值，则确定所述目标检测区域中不存在遗留物。
可选的，所述计算所述第一区域与所述第二区域的重合度，包括：
通过预设交并比公式得到所述第一区域与所述第二区域的重合度，所述预设交并比公式为：
其中，IoU为所述所述第一区域与所述第二区域的重合度，为所述第一图像中疑似存在遗留物和所述第二图像中疑似存在遗留物的重叠区域，为所述第一图像中疑似存在遗留物和所述第二图像中疑似存在遗留物的合并区域。
可选的，在所述确定所述目标检测区域中存在遗留物之后，所述方法还包括：
输出提示信息，以提示所述目标检测区域中存在遗留物。
可选的，所述目标语义分割模型输出的类别信息包括遗留物，还包括人、机动车、非机动车、动物和背景中的一种或者多种。
可选的，所述目标语义分割模型包括依次连接的特征提取模块、金字塔池化模块和预测模块；
所述特征提取模块用于通过卷积神经网络获取输入图像的第一特征图；
所述金字塔池化模块用于通过扩张卷积从所述第一特征图获取所述输入图像在多个尺度上的特征图，并将所述多个尺度上的特征图进行升采样后与所述第一特征图进行合并，得到合并后的特征图；
所述预测模块用于通过对所述合并后的特征图进行卷积操作，预测所述输入图像中各像素点属于各类别的概率，并将各像素点中最大概率值对应的类别确定为相应像素点对应的类别信息。
可选的，在对所述目标语义分割模型进行训练时，根据交叉熵损失函数确定所述目标语义分割模型是否收敛。
根据第二方面，一种实施例中提供一种遗留物检测装置，包括：
第一获取模块，用于获取目标检测区域的第一图像和第二图像，其中，所述第一图像和所述第二图像的采集时刻间隔大于等于预设时长；
第二获取模块，用于将所述第一图像和所述第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到所述第一图像和所述第二图像中各像素点对应的类别信息，所述目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；
第一确定模块，用于根据所述第一图像中各像素点对应的类别信息确定所述第一图像中疑似存在遗留物的第一区域；
第二确定模块，用于根据所述第二图像中各像素点对应的类别信息确定所述第二图像中疑似存在遗留物的第二区域；
第三确定模块，用于根据所述第一区域和所述第二区域，确定所述目标检测区域中是否存在遗留物。
根据第三方面，一种实施例中提供一种电子设备，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现上述第一方面中任一项所述的遗留物检测方法。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述第一方面中任一项所述的遗留物检测方法。
本发明实施例提供一种遗留物检测方法、装置及设备，包括：获取目标检测区域的第一图像和第二图像，其中，第一图像和第二图像的采集时刻间隔大于等于预设时长；将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息，目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域；根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域；根据第一区域和第二区域，确定目标检测区域中是否存在遗留物。在本发明实施例中，可以由预先训练好的目标语义分割模型输出间隔预设时长的两个图像中各像素点对应的类别信息，根据各像素点对应的类别信息，从两个图像中分别划分出各自图像中的疑似存在遗留物的区域，从而根据各自的区域确定目标检测区域中是否存在遗留物。由于遗留物在监控区域中通常仅占据较小的比例，而通过像素点的类别进行遗留物的划分，可以更容易、更准确地检测到图像中的任意小的物体，从而降低了遗留物检测的漏检率。
附图说明
图1为本发明实施例提供的一种遗留物检测方法的实施例一的流程示意图；
图2为本发明实施例提供的一种遗留物检测方法的实施例二的流程示意图；
图3为本发明实施例提供的一种遗留物检测方法的实施例三的流程示意图；
图4为本发明实施例提供的一种目标语义分割模型的结构示意图；
图5为本发明实施例提供的一种遗留物检测装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
现有技术中在采用目标检测方法对遗留物进行定位和识别时，由于遗留物在监控区域中通常仅占据较小的比例，导致了基于目标检测方法的遗留物检测存在着较大的漏检率。为了降低遗留物检测的漏检率，本发明实施例提供了一种遗留物检测方法、装置及设备，以下分别进行详细说明。
图1为本发明实施例提供的一种遗留物检测方法的实施例一的流程示意图，如图1所示，本实施例提供的遗留物检测方法可以包括：
S101，获取目标检测区域的第一图像和第二图像。
本发明实施例的执行主体可以为任意具有处理能力的设备，例如，可以由与监控摄像机所连接的本地主机来执行本实施例提供的遗留物检测方法。
具体实现时，从监控摄像机拍摄的监控视频中获取到目标检测区域的第一图像和第二图像。其中，第一图像和第二图像的采集时刻间隔大于等于预设时长。例如，假设预设时长为5分钟，那么第一图像和第二图像的采集时刻间隔可以为5分钟、7分钟等。需要说明的是，由于物体在目标检测区域中遗留的时间大于等于预设时长时，则确定该物体为遗留物，因此需获取间隔采集时刻大于等于预设时长的两个图像，以便后续对于遗留物的确定。
S102，将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息。
其中，目标语义分割模型可以基于标注了各像素点对应的类别信息的训练样本训练得到。具体实现时，目标语义分割模型的训练过程，可以包括以下步骤：
步骤a：获取多个样本图像和每个样本图像所对应的标签信息，其中，标签信息用于标识样本图像中每个像素点的类别。
步骤b：将任一样本图像输入至初始语义分割模型，以由初始语义分割模型输出针对任一样本图像中每个像素点的类别预测概率。
步骤c：根据任一样本图像中每个像素点的类别预测概率和任一样本图像所对应的标签信息，计算预设损失函数的损失值。
步骤d：根据预设损失函数的损失值，对初始语义分割模型的参数进行调整，以得到更新的语义分割模型。
步骤e：针对更新的语义分割模型，迭代上述训练过程，直至基于预设损失函数的损失值确定预设损失函数实现收敛或者迭代次数大于预设训练迭代次数。
步骤f：将基于预设损失函数的损失值确定预设损失函数实现收敛或者迭代次数大于预设训练迭代次数所对应的语义分割模型作为目标语义分割模型。
具体实现时，上述预设损失函数可以为交叉熵损失函数。由于本发明实施例提供的目标语义分割模型是基于标注了各像素点对应的类别信息的训练样本训练得到的，因此不需要大量的训练数据，使得模型的泛化能力较好。
S103，根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域。
具体的，可以将第一图像中的像素点对应的类别为遗留物的所有像素点，组合为第一图像中疑似存在遗留物的第一区域。此外，为了提高遗留物检测的精度，也可以进一步通过掩膜的方式过滤掉第一区域中与第一图像中的疑似存在遗留物不相关的数据。
S104，根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域。
具体的，可以将第二图像中的像素点对应的类别为遗留物的所有像素点，组合为第二图像中疑似存在遗留物的第二区域。同时，为了提高遗留物检测的精度，也可以进一步通过掩膜的方式过滤掉第二区域中与第二图像中的疑似存在遗留物不相关的数据。
S105，根据第一区域和第二区域，确定目标检测区域中是否存在遗留物。
通过采集时刻间隔大于等于预设时长的两个图像中疑似存在遗留物的区域，可以预测疑似存在遗留物在采集时刻间隔内的两个位置是否发生变化，从而确定目标检测区域中是否存在遗留物。
本发明实施例提供的遗留物检测方法，通过获取目标检测区域的第一图像和第二图像，其中，第一图像和第二图像的采集时刻间隔大于等于预设时长；将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息，目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域；根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域；根据第一区域和第二区域，确定目标检测区域中是否存在遗留物。通过本发明实施例提供的方法，可以由预先训练好的目标语义分割模型输出间隔预设时长的两个图像中各像素点对应的类别信息，根据各像素点对应的类别信息，从两个图像中分别划分出各自图像中的疑似存在遗留物的区域，从而根据各自的区域确定目标检测区域中是否存在遗留物。由于遗留物在监控区域中通常仅占据较小的比例，而通过像素点的类别进行遗留物的划分，可以更容易、更准确地检测到图像中任意小的物体，从而降低了遗留物检测的漏检率。
可选的，目标语义分割模型输出的类别信息包括遗留物，还可以包括人、机动车、非机动车、动物和背景中的一种或者多种。通过对监控场景中对遗留物检测有重大影响的物体进行划分，可以排除以上干扰，从而提高遗留物检测检测的精度。
图2为本发明实施例提供的一种遗留物检测方法的实施例二的流程示意图，如图2所示，本实施例提供的遗留物检测方法可以包括：
S201，获取目标检测区域的第一图像和第二图像。
其中，第一图像和第二图像的采集时刻间隔大于等于预设时长。
S202，将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息。
目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到。
S203，根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域。
S204，根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域。
S201-S204的具体实现方式可以参考上述实施例一中对于S101-S104的相关说明。
S205，计算第一区域与第二区域的重合度。
S206，判断第一区域与第二区域的重合度是否大于预设阈值。
若是，则执行S207；若否，则执行S208。
S207，确定目标检测区域中存在遗留物。
当第一区域与第二区域的重合度比较高时，表征疑似存在遗留物在采集时刻间隔内的两个位置所发生的变化较小，因此确定目标检测区域中存在遗留物。
S208，确定目标检测区域中不存在遗留物。
当第一区域与第二区域的重合度比较低时，表征疑似存在遗留物在采集时刻间隔内的两个位置所发生的变化较大，因此确定目标检测区域中不存在遗留物。
本发明实施例提供的遗留物检测方法，通过判断第一区域与第二区域的重合度是否大于预设阈值，若重合度大于预设阈值，则确定目标检测区域中存在遗留物；若重合度小于或等于预设阈值，则确定目标检测区域中不存在遗留物，可以确定疑似存在遗留物在采集时刻间隔内的两个位置所发生的变化，从而更准确地确定目标检测区域中是否存在遗留物。
作为一种可以实现的方式，上述实施例二的S205的具体实现方式可以为：通过预设交并比(Intersection over Union，IoU)公式得到第一区域与第二区域的重合度，预设交并比公式为：
其中，IoU为第一区域与第二区域的重合度，为第一图像中疑似存在遗留物和第二图像中疑似存在遗留物的重叠区域，/>为第一图像中疑似存在遗留物和第二图像中疑似存在遗留物的合并区域。
作为一种可以实现的方式，在上述实施例二的S207之后，本实施例提供的遗留物检测方法还可以包括：输出提示信息，以提示目标检测区域中存在遗留物，以便工作人员更快速地发现遗留物。
下面以一个具体的实现方式为例对本发明实施例提供的遗留物检测方法进行说明。图3为本发明实施例提供的一种遗留物检测方法的实施例三的流程示意图，如图3所示，本实施例提供的遗留物检测方法可以包括：
S301，对目标语义分割模型最终的输出类别进行定义。
在进行遗留物检测时，需要对最终的输出类别进行定义。举例说明，根据使用场景，本发明实施例可以将目标语义分割模型的输出类别定义为6个类别：人、机动车、非机动车、小动物，背景和遗留物。其中，背景可以包含路面，草丛等物体摆放的地方；遗留物可以是附着在人或者车上面的小物件。
可选的，此外对于遗留物检测存在很大干扰的其他物体，也可以作为一个或多个其他输出类别进行扩充，以排除这样的干扰，从而提高遗留物检测的精度。本发明实施例不对目标语义分割模型最终的输出类别做具体的限定。
S302，设计目标语义分割模型。
具体实现时，目标语义分割网络可以分为编码器和解码器两个部分，其中，编码器主要是对原始图像数据进行高层抽象，获取原始图像数据包括的语义信息；解码器是将高层语义信息还原成像素类别信息。例如，图4为本发明实施例提供的一种目标语义分割模型的结构示意图，如图4所示，该目标语义分割模型可以包括依次连接的特征提取模块410、金字塔池化模块420和预测模块430。具体实现时，编码器可以包括图4中的特征提取模块410和金字塔池化模块420，解码器可以包括图4中的预测模块430。
其中，上述特征提取模块410，可以用于通过卷积神经网络获取输入图像的第一特征图。
上述金字塔池化模块420，可以用于通过扩张卷积从第一特征图获取输入图像在多个尺度上的特征图，并将多个尺度上的特征图进行升采样后与第一特征图进行合并，得到合并后的特征图。
上述预测模块430，可以用于通过对合并后的特征图进行卷积操作，预测输入图像中各像素点属于各类别的概率，并将各像素点中最大概率值对应的类别确定为相应像素点对应的类别信息。例如，假设像素点m属于“遗留物”类别的概率为0.9，像素点m属于“人”类别的概率为0.02，像素点m属于“机动车”类别的概率为0.01，像素点m属于“非机动车”类别的概率为0.01，像素点m属于“动物”类别的概率为0.01，像素点m属于“背景”类别的概率为0.05，那么将像素点m中最大概率值0.9对应的“遗留物”类别，确定为像素点m对应的类别信息。
例如，目标语义分割模型的输入可以为一张待分析的图像，该图像的分辨率可以为1920×1080，其数据格式可以为一个3维的矩阵1080*1920*3(height*width*channel，HWC)，其中，“3”表示彩色图像RGB(工业界的一种颜色标准)三个通道。在编码网络中，可以通过一个特征提取网络(特征提取模块410)，获取图像特征图(Feature Map)，例如特征提取网络可以为卷积神经网络(Convolutional Neural Networks，CNN)，它的输出尺度为135*240*256。此处，特征提取网络考虑到计算速度，可以选择Resnet18残差网络，进行8倍下采样。然后，可以利用金字塔池化模块420对获取的特征图进行编码，从而可以充分利用全局信息。具体的，金字塔池化模块作为编码器(Encoder)，主要利用扩张卷积的高感受野提取整体信息，同时利用1*1卷积操作降低特征图的通道数，降低数据维度。获得在各个尺度上的特征之后，通过一个升采样将特征图的分辨率与解码器输出的特征图进行合并。最后，识别阶段可以利用预测模块430具有的卷积操作进行类别预测(Final Prediction)，输出图像中每个像素的预测概率。图像中每个像素的预测概率的大小为1080*1920*6，其中，“1920”和“1080”对应原始图像的宽和高，“6”表示每个类别的预测概率，具体实现时，可以取概率值最大的对应类别作为该像素点的类别，输出为1080*1920*1。
S303，制作目标语义分割模型的训练集。
制作目标语义分割模型的训练集，主要包括采集样本数据和标注语义标签。具体的，对原始图片数据进行区域标注，获得带标签的图片。并且，对这些原始图片数据和标签进行预处理：将原始图片和标签均等比例缩放到1920*1080*3(W*H*C)分辨率，并对原始图片中缩放后尺度达不到训练网络输入尺度的部分进行补“0”填充，对标签中缩放后尺度达不到训练网络输入尺度的部分进行补“背景类别值”填充，特别的，标签的缩放需要使用最近邻插值方法。
S304，训练目标语义分割模型。
目标语义分割模型的训练集为上述S303中处理完成的原始图像与对应的标签图像{X，Y}，其中，X的维度为1080*1920*3，Y的维度为1080*1920*1。
在对目标语义分割模型进行训练时，增加交叉熵损失函数(Cross EntropyLoss)，交叉熵损失函数如下所示：
其中，H(X，Y)为图像的损失值，其中N为该图像的像素数量，p(xi)为第i个像素的标签，q(xi)为第i个像素的预测值。
当上述损失函数和训练集设计完成之后，可以采用Facebook公司的Pytorch训练框架进行模型训练，当训练达到设定的训练迭代次数或者最后收敛满足预期，则输出训练得到的目标语义分割模型。
S305，进行图像语义识别。
从监控视频中获取图像帧a输入到上述S304中训练好的目标语义分割模型中，对图像帧a中每个像素点的类别进行预测，可以获得图像帧a中各像素点对应的类别信息。并且根据图像帧a中各像素点对应的类别信息确定图像帧a中疑似存在遗留物的区域，记做疑似存在遗留物预测图像Ip，其中，该预测图像每个像素的像素值为类别值(0到5)。此外对用户关注的遗留物检测区域，通过掩膜的方式过滤预测图像中不相关的数据，记做掩膜图像为IM。最后得到的疑似遗留物结果为：Iloss＝Ip*IM。
S306，遗留物分析。
定义遗留物的类别属性之后，需要再对遗留物在特定环境下遗留的时间进行定义，此处定义在关注区域(目标检测区域)中放置t时间为遗留物，在本发明实施例中可以假设t为5分钟。假定通过S305确定在间隔5分钟的两张图像中都检测到疑似存在遗留物，那么可以通过前后两个疑似存在遗留物的位置来判断是否存在遗留物，即可以通过计算两张图像中的疑似存在遗留物的区域的交并比：“预测的区域”和“真实的区域”的交集与“预测的区域”和“真实的区域”的并集的比值。其中，交并比公式如下所示：
当IoU的值大于阈值τ，则可以确定关注区域中存在遗留物；当IoU的值小于或等于阈值τ，则可以确定关注区域中不存在遗留物。本发明实施例中可以将τ设置为0.7。如果任意一张图像中没有检测到疑似遗留物时，那么IoU为0，则可以确定关注区域中不存在遗留物。
图5为本发明实施例提供的一种遗留物检测装置的结构示意图，如图5所示，该遗留物检测装置50可以包括第一获取模块510、第二获取模块520、第一确定模块530、第二确定模块540以及第三确定模块550。
其中，第一获取模块510，可以用于获取目标检测区域的第一图像和第二图像，其中，第一图像和第二图像的采集时刻间隔大于等于预设时长。
第二获取模块520，可以用于将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息，目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到。
第一确定模块530，可以用于根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域。
第二确定模块540，可以用于根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域。
第三确定模块550，可以用于根据第一区域和第二区域，确定目标检测区域中是否存在遗留物。
本发明实施例提供的遗留物检测装置，通过第一获取模块，获取目标检测区域的第一图像和第二图像，其中，第一图像和第二图像的采集时刻间隔大于等于预设时长；通过第二获取模块，将第一图像和第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到第一图像和第二图像中各像素点对应的类别信息，目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；通过第一确定模块，根据第一图像中各像素点对应的类别信息确定第一图像中疑似存在遗留物的第一区域；通过第二确定模块，根据第二图像中各像素点对应的类别信息确定第二图像中疑似存在遗留物的第二区域；通过第三确定模块，根据第一区域和第二区域，确定目标检测区域中是否存在遗留物。由预先训练好的目标语义分割模型输出间隔预设时长的两个图像中各像素点对应的类别信息，根据各像素点对应的类别信息，从两个图像中分别划分出各自图像中的疑似存在遗留物的区域，从而根据各自的区域确定目标检测区域中是否存在遗留物。由于遗留物在监控区域中通常仅占据较小的比例，而通过像素点的类别进行遗留物的划分，可以更容易、更准确地检测到图像中的任意小的物体，从而降低了遗留物检测的漏检率。
可选的，上述第三确定模块550在实现根据第一区域和第二区域，确定目标检测区域中是否存在遗留物时，可以具体用于：计算第一区域与第二区域的重合度；若重合度大于预设阈值，则确定目标检测区域中存在遗留物；若重合度小于或等于预设阈值，则确定目标检测区域中不存在遗留物。
可选的，上述第三确定模块550在实现计算第一区域与第二区域的重合度时，可以具体用于：通过预设交并比公式得到第一区域与第二区域的重合度，预设交并比公式为：
其中，IoU为第一区域与第二区域的重合度，为第一图像中疑似存在遗留物和第二图像中疑似存在遗留物的重叠区域，/>为第一图像中疑似存在遗留物和第二图像中疑似存在遗留物的合并区域。
可选的，上述遗留物检测装置50还可以包括输出模块(图中未示出)，可以用于输出提示信息，以提示目标检测区域中存在遗留物。
可选的，目标语义分割模型输出的类别信息包括遗留物，还包括人、机动车、非机动车、动物和背景中的一种或者多种。
可选的，上述目标语义分割模型可以包括依次连接的特征提取模块、金字塔池化模块和预测模块；其中，特征提取模块用于通过卷积神经网络获取输入图像的第一特征图；金字塔池化模块用于通过扩张卷积从第一特征图获取输入图像在多个尺度上的特征图，并将多个尺度上的特征图进行升采样后与第一特征图进行合并，得到合并后的特征图；预测模块用于通过对合并后的特征图进行卷积操作，预测输入图像中各像素点属于各类别的概率，并将各像素点中最大概率值对应的类别确定为相应像素点对应的类别信息。
可选的，在对目标语义分割模型进行训练时，根据交叉熵损失函数确定目标语义分割模型是否收敛。
另外，相应于上述实施例所提供的遗留物检测方法，本发明实施例还提供了一种电子设备，该电子设备可以包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现本发明实施例提供的遗留物检测方法的所有步骤。
另外，相应于上述实施例所提供的遗留物检测方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序被处理器执行时实现本发明实施例提供的遗留物检测方法的所有步骤。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种遗留物检测方法，其特征在于，包括：
获取目标检测区域的第一图像和第二图像，其中，所述第一图像和所述第二图像的采集时刻间隔大于等于预设时长；
将所述第一图像和所述第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到所述第一图像和所述第二图像中各像素点对应的类别信息，所述目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；
根据所述第一图像中各像素点对应的类别信息确定所述第一图像中疑似存在遗留物的第一区域；
根据所述第二图像中各像素点对应的类别信息确定所述第二图像中疑似存在遗留物的第二区域；
通过掩膜的方式过滤掉第一区域中与第一图像中的疑似存在遗留物不相关的数据，并通过掩膜的方式过滤掉第二区域中与第二图像中的疑似存在遗留物不相关的数据；
根据过滤后的所述第一区域和所述第二区域，确定所述目标检测区域中是否存在遗留物。
2.如权利要求1所述的方法，其特征在于，所述根据过滤后的所述第一区域和所述第二区域，确定所述目标检测区域中是否存在遗留物，包括：
计算过滤后的所述第一区域与所述第二区域的重合度；
若所述重合度大于预设阈值，则确定所述目标检测区域中存在遗留物；
若所述重合度小于或等于预设阈值，则确定所述目标检测区域中不存在遗留物。
3.如权利要求2所述的方法，其特征在于，所述计算过滤后的所述第一区域与所述第二区域的重合度，包括：
通过预设交并比公式得到过滤后的所述第一区域与所述第二区域的重合度，所述预设交并比公式为：
其中，IoU为所述过滤后的所述第一区域与所述第二区域的重合度，为所述第一图像中疑似存在遗留物和所述第二图像中疑似存在遗留物的重叠区域，为所述第一图像中疑似存在遗留物和所述第二图像中疑似存在遗留物的合并区域。
4.如权利要求2所述的方法，其特征在于，在所述确定所述目标检测区域中存在遗留物之后，所述方法还包括：
输出提示信息，以提示所述目标检测区域中存在遗留物。
5.如权利要求1所述的方法，其特征在于，所述目标语义分割模型输出的类别信息包括遗留物，还包括人、机动车、非机动车、动物和背景中的一种或者多种。
6.如权利要求1-5任一项所述的方法，其特征在于，所述目标语义分割模型包括依次连接的特征提取模块、金字塔池化模块和预测模块；
所述特征提取模块用于通过卷积神经网络获取输入图像的第一特征图；
所述金字塔池化模块用于通过扩张卷积从所述第一特征图获取所述输入图像在多个尺度上的特征图，并将所述多个尺度上的特征图进行升采样后与所述第一特征图进行合并，得到合并后的特征图；
所述预测模块用于通过对所述合并后的特征图进行卷积操作，预测所述输入图像中各像素点属于各类别的概率，并将各像素点中最大概率值对应的类别确定为相应像素点对应的类别信息。
7.如权利要求6所述的方法，其特征在于，在对所述目标语义分割模型进行训练时，根据交叉熵损失函数确定所述目标语义分割模型是否收敛。
8.一种遗留物检测装置，其特征在于，包括：
第一获取模块，用于获取目标检测区域的第一图像和第二图像，其中，所述第一图像和所述第二图像的采集时刻间隔大于等于预设时长；
第二获取模块，用于将所述第一图像和所述第二图像分别输入到预先训练好的目标语义分割模型中，以分别得到所述第一图像和所述第二图像中各像素点对应的类别信息，所述目标语义分割模型基于标注了各像素点对应的类别信息的训练样本训练得到；
第一确定模块，用于根据所述第一图像中各像素点对应的类别信息确定所述第一图像中疑似存在遗留物的第一区域；
第二确定模块，用于根据所述第二图像中各像素点对应的类别信息确定所述第二图像中疑似存在遗留物的第二区域；
第三确定模块，用于通过掩膜的方式过滤掉第一区域中与第一图像中的疑似存在遗留物不相关的数据，并通过掩膜的方式过滤掉第二区域中与第二图像中的疑似存在遗留物不相关的数据，根据过滤后的所述第一区域和所述第二区域，确定所述目标检测区域中是否存在遗留物。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN202110111585.4A 2021-01-27 2021-01-27 遗留物检测方法、装置及设备 Active CN112837326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110111585.4A CN112837326B (zh) 2021-01-27 2021-01-27 遗留物检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110111585.4A CN112837326B (zh) 2021-01-27 2021-01-27 遗留物检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112837326A CN112837326A (zh) 2021-05-25
CN112837326B true CN112837326B (zh) 2024-04-09

Family

ID=75931947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110111585.4A Active CN112837326B (zh) 2021-01-27 2021-01-27 遗留物检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112837326B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527009A (zh) * 2017-07-11 2017-12-29 浙江汉凡软件科技有限公司 一种基于yolo目标检测的遗留物检测方法
CN109409315A (zh) * 2018-11-07 2019-03-01 浩云科技股份有限公司 一种atm机面板区域遗留物检测方法及***
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
WO2020244108A1 (en) * 2019-06-05 2020-12-10 Boe Technology Group Co., Ltd. Methods and apparatuses for semantically segmenting input image, and computer-program product

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188799B2 (en) * 2018-11-12 2021-11-30 Sony Corporation Semantic segmentation with soft cross-entropy loss

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527009A (zh) * 2017-07-11 2017-12-29 浙江汉凡软件科技有限公司 一种基于yolo目标检测的遗留物检测方法
CN109409315A (zh) * 2018-11-07 2019-03-01 浩云科技股份有限公司 一种atm机面板区域遗留物检测方法及***
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
WO2020244108A1 (en) * 2019-06-05 2020-12-10 Boe Technology Group Co., Ltd. Methods and apparatuses for semantically segmenting input image, and computer-program product

Also Published As

Publication number Publication date
CN112837326A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN108550259B (zh) 道路拥堵判断方法、终端设备及计算机可读存储介质
CN111696094A (zh) 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、***及存储介质
CN111582175A (zh) 一种共享多尺度对抗特征的高分遥感影像语义分割方法
CN113095346A (zh) 数据标注的方法以及数据标注的装置
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN111597961B (zh) 面向智能驾驶的移动目标轨迹预测方法、***、装置
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及***
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN115375999B (zh) 应用于危化品车检测的目标检测模型、方法及装置
Isa et al. Real-time traffic sign detection and recognition using Raspberry Pi
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
Gupta et al. Computer vision based animal collision avoidance framework for autonomous vehicles
Qaddour et al. Automatic damaged vehicle estimator using enhanced deep learning algorithm
US20230281999A1 (en) Infrastructure analysis using panoptic segmentation
CN112837326B (zh) 遗留物检测方法、装置及设备
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
CN113420660B (zh) 一种红外图像目标检测模型构建方法、预测方法及***
CN115909187A (zh) 基于Transformer和超分辨率遥感图像的违停车辆检测方法、***、设备和介质
CN112115928B (zh) 基于违停车辆标签的神经网络的训练方法和检测方法
Malarvizhi et al. Autonomous Traffic Sign Detection and Recognition in Real Time
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
CN112016534A (zh) 车辆违停检测的神经网络的训练方法、检测方法和装置
CN116469013B (zh) 道路积水预测方法、装置、计算机设备及存储介质
CN116612466B (zh) 基于人工智能的内容识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant