CN113468976A - 垃圾检测方法、垃圾检测***以及计算机可读存储介质 - Google Patents

垃圾检测方法、垃圾检测***以及计算机可读存储介质 Download PDF

Info

Publication number
CN113468976A
CN113468976A CN202110646613.2A CN202110646613A CN113468976A CN 113468976 A CN113468976 A CN 113468976A CN 202110646613 A CN202110646613 A CN 202110646613A CN 113468976 A CN113468976 A CN 113468976A
Authority
CN
China
Prior art keywords
target
detected
garbage
preset threshold
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110646613.2A
Other languages
English (en)
Inventor
白家男
章合群
周祥明
傅凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110646613.2A priority Critical patent/CN113468976A/zh
Publication of CN113468976A publication Critical patent/CN113468976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种垃圾检测方法、垃圾检测***以及计算机可读存储介质，上述垃圾检测方法包括：获取多个视频帧，并从每个视频帧中获得目标检测区域中待检测目标的跟踪结果；其中，跟踪结果包括待检测目标的类别；响应于待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间；响应于第一累计时间大于第三预设阈值，将第一累计时间清空，并将所有告警目标上报进行告警显示。这样可以提升垃圾桶满溢和暴露垃圾的告警准确率，避免出现个别视频帧的误检对结果判断的影响。

Description

垃圾检测方法、垃圾检测***以及计算机可读存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种垃圾检测方法、垃圾检测***以及计算机可读存储介质。
背景技术
近年来，各地政府在努力推进全国文明城市建设的进程，无论是城市道路或人流量较大的商业地段，还是各个居住小区内都增设了大量的垃圾桶。人们的日常生活中会产生很多的垃圾，很容易导致垃圾桶满溢而导致各种垃圾堆积在一起，这不但影响市容，不利于构建文明城市，而且会产生刺鼻的异味，容易滋生细菌导致污染空气，尤其到了炎热的夏天，情况会更为严重。因此，如果有方法能够及时识别垃圾桶满溢或者暴露的垃圾，并通知相关人员进行清理就十分有必要了。
目前常用的方法为对获取的原始图像进行区域检测得到原始图像中的目标区域，在对目标区域进行目标检测，获得垃圾的位置信息和种类信息，但是，由于垃圾桶内的垃圾漏出的部分比较少，特征不明显，仅靠单一的目标检测算法很难稳定识别出垃圾桶的垃圾，容易造成垃圾桶满溢漏报，而且垃圾检测区域场景复杂，各种物品堆叠在一起，容易产生垃圾误检。
发明内容
本申请主要解决的技术问题是提供一种垃圾检测方法、垃圾检测***以及计算机可读存储介质，可以提升垃圾桶满溢和暴露垃圾的告警准确率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种垃圾检测方法，包括：获取多个视频帧，并从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果；其中，所述跟踪结果包括所述待检测目标的类别；响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间；响应于所述第一累计时间大于第三预设阈值，将所述第一累计时间清空，并将所有所述告警目标上报进行告警显示。
其中，所述从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果的步骤之后，还包括：响应于所述待检测目标的类别为垃圾桶且其满溢置信度小于或等于所述第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度小于或等于所述第二预设阈值，将所述待检测目标进行汇总，并累计所有所述待检测目标对应视频帧的时间以获得第二累计时间；响应于所述第二累计时间大于第四预设阈值，将所述第一累计时间和所述第二累计时间清空，并返回至获取多个视频帧的步骤。
其中，所述将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间的步骤之前，包括：将所述待检测目标对应视频帧的告警标志位设置为第一标志位；所述将所述待检测目标进行汇总，并累计所有所述待检测目标对应视频帧的时间以获得第二累计时间的步骤之前，包括：将所述待检测目标对应视频帧的告警标志位设置为第二标志位。
其中，所述从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果的步骤之后，包括：通过匹配算法获得当前视频帧中每个所述待检测目标对应的坐标框与已有视频帧中所述待检测目标对应的坐标框的标准值；响应于所述标准值大于第五预设阈值，将所述待检测目标的状态位设置为更新，并获得所述待检测目标的跟踪结果。
其中，所述通过匹配算法获得当前视频帧中每个所述待检测目标对应的坐标框与已有视频帧中所述待检测目标对应的坐标框的标准值的步骤之后，还包括：响应于所述标准值小于或等于第五预设阈值，判断所述待检测目标是否为所有所述视频帧中第一次出现的跟踪目标；若是，则将所述待检测目标的状态位设置为创建；否则，将所述待检测目标的状态位设置为丢失；所述将所述待检测目标的状态位设置为丢失的步骤之后，包括：响应于所述待检测目标的状态位为丢失的视频帧的个数大于第六预设阈值，将所述待检测目标的状态位设置为删除并将所述待检测目标的跟踪结果删除。
其中，所述响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间的步骤之后，包括：判断所述待检测目标对应的坐标框的中心点坐标是否位于所述目标检测区域内；若是，则进入响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间的步骤；否则，返回至获取多个视频帧的步骤。
其中，所述响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应的视频帧时间以获得第一累计时间的步骤之前，包括：获取所述目标检测区域内所述垃圾桶对应的第一坐标框；根据所述第一坐标框获得所述垃圾桶对应的第二坐标框，其中，所述第二坐标框的顶部相对于所述第一坐标框向上延伸所述垃圾桶高度的预设比例；将所述第二坐标框对应的图像输入至第一目标分类网络中，获得所述垃圾桶对应的满溢置信度。
其中，所述响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应的视频帧时间以获得第一累计时间的步骤之前，包括：获取所述目标检测区域内所述暴露垃圾对应的第三坐标框；将所述第三坐标框对应的图像输入至第二目标分类网络中，获得所述暴露垃圾对应的垃圾置信度；根据所述垃圾置信度判断所述暴露垃圾的类别是否为垃圾；若是，则获得第一权重系数与目标检测置信度的乘积和第二权重系数与所述垃圾置信度的乘积的和值，并将所述和值作为所述暴露垃圾的检测分类联合置信度；否则，删除所述暴露垃圾。
其中，所述从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果的步骤之前，还包括：获取所述目标检测区域中待检测目标的类别；根据所述类别获得每个所述待检测目标对应的目标检测置信度。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种垃圾检测***，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例中所提及的垃圾检测方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现上述任一实施例中所提及的垃圾检测方法。
区别于现有技术的情况，本申请的有益效果是：本申请中获取多个视频帧，并从每个视频帧中获得目标检测区域中待检测目标的跟踪结果，其中，跟踪结果包括待检测目标的类别，当待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，当待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间，当第一累计时间大于第三预设阈值，将第一累计时间清空，并将所有告警目标上报进行告警显示。通过这样的设计方式，可以提升垃圾桶满溢和暴露垃圾的告警准确率，避免出现个别视频帧的误检对结果判断的影响。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请垃圾检测方法一实施方式的流程示意图；
图2是目标检测区域示意图；
图3是图1中步骤S1之前一实施方式的流程示意图；
图4是图1中步骤S1之后一实施方式的流程示意图；
图5是图4中步骤S25之后一实施方式的流程示意图；
图6是图1中步骤S2之前一实施方式的流程示意图；
图7是图1中步骤S3之前一实施方式的流程示意图；
图8是图1中步骤S2之前或步骤S3之前一实施方式的流程示意图；
图9是本申请垃圾检测***一实施方式的框架示意图；
图10是本申请垃圾检测***一实施方式的结构示意图；
图11是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1-图2，图1是本申请垃圾检测方法一实施方式的流程示意图，图2是目标检测区域示意图。具体而言，上述垃圾检测方法包括：
S1：获取多个视频帧，并从每个视频帧中获得目标检测区域中待检测目标的跟踪结果。
具体而言，跟踪结果包括待检测目标的类别。具体地，在本实施例中，可以在垃圾桶区域附近安装智能摄像头，摄像头需要清晰的捕捉到垃圾桶以及垃圾桶内的实时画面，通过视频编解码技术进行解码数据，获取多个视频帧。在每个视频帧中设置闭合的目标检测区域，如图2所示，在目标检测区域中对待检测目标设置对应的坐标框。当然，在其他实施例中，也可以对待检测目标进行标号，本申请对此不作限定。
具体地，在本实施例中，请参阅图3，图3是图1中步骤S1之前一实施方式的流程示意图。具体而言，步骤S1之前包括：
S10：获取目标检测区域中待检测目标的类别。
具体而言，待检测目标的类别TypeOD为垃圾桶和暴露垃圾。
S11：根据类别获得每个待检测目标对应的目标检测置信度。
具体地，在本实施例中，根据待检测目标的类别TypeOD获得待检测目标对应的目标检测置信度ConfOD，其中，目标检测置信度ConfOD为0-1之间的小数。
另外，在本实施例中，请参阅图4，图4是图1中步骤S1之后一实施方式的流程示意图。具体而言，步骤S1之后包括：
S20：通过匹配算法获得当前视频帧中每个待检测目标对应的坐标框与已有视频帧中待检测目标对应的坐标框的标准值。
具体而言，本申请采用检测跟踪的方式根据每一帧图像的检测和分类的结果通过匹配算法对当前视频帧中每个待检测目标与已有视频帧中待检测目标进行匹配，形成新的跟踪轨迹。具体地，通过计算获得当前视频帧中每个待检测目标对应的坐标框与已有视频帧中待检测目标对应的坐标框的标准值IOU。
S21：判断标准值是否大于第五预设阈值。
具体而言，判断标准值IOU是否大于第五预设阈值，其中，第五预设阈值为用户根据实际情况进行配置的，本申请在此不作限定。
S22：若是，将待检测目标的状态位设置为更新，并获得待检测目标的跟踪结果。
具体地，在本实施例中，若标准值IOU大于第五预设阈值，说明待检测目标与前面已有视频帧中的待检测目标匹配成功，则将待检测目标的状态位设置为更新Update，并获得待检测目标的跟踪结果。当然，在其他实施例中，当当前视频帧中待检测目标对应的坐标框能够与多个已有视频帧中待检测目标对应的坐标框匹配时，取标准值IOU最大的跟踪坐标框对应的视频帧为跟踪目标。
S23：否则，判断待检测目标是否为所有视频帧中第一次出现的跟踪目标。
具体地，在本实施例中，若标准值IOU小于或等于第五预设阈值，则说明该待检测目标在所有视频帧中找不到与之匹配的跟踪轨迹，判断待检测目标是否为所有视频帧中第一次出现的跟踪目标。
S24：若是，则将待检测目标的状态位设置为创建。
具体而言，若待检测目标为所有视频帧中第一次出现的跟踪目标，则将待检测目标的状态位设置为创建Create，并为该待检测目标编号，即ID。
S25：否则，将待检测目标的状态位设置为丢失。
具体而言，若待检测目标不是所有视频帧中第一次出现的跟踪目标，则说明该待检测目标在视频帧中丢失，将上述待检测目标的状态位设置为丢失Lost。
具体地，在本实施例中，请参阅图5，图5是图4中步骤S25之后一实施方式的流程示意图。具体而言，步骤S25之后，包括：
S30：判断待检测目标的状态位为丢失的视频帧的个数是否大于第六预设阈值。
具体地，在本实施例中，若待检测目标的状态位为丢失Lost时，判断待检测目标的状态位为丢失的视频帧的个数是否大于第六预设阈值，其中，第六预设阈值可以为12帧，也可以为根据实际情况设置的其他数值，本申请在此不作限定。
S31：若是，将待检测目标的状态位设置为删除并将待检测目标的跟踪结果删除。
具体而言，若待检测目标的状态位为丢失的视频帧的个数大于第六预设阈值，则将待检测目标的状态位设置为删除Delete并将待检测目标的跟踪结果删除，可以避免出现无效资源占用的情况。
S32：否则，返回至将待检测目标的状态位设置为丢失的步骤。
具体而言，若待检测目标的状态位为丢失的视频帧的个数小于或等于第六预设阈值，则返回至步骤S25。
通过这种设计方式，可以得到待检测目标的运动轨迹和身份信息，便于做漏装的逻辑判断，从而提高检测的准确性和可靠性。
S2：判断待检测目标的类别为垃圾桶时其满溢置信度是否大于第一预设阈值。
具体地，在本实施例中，当待检测目标的类别为垃圾桶时，判断该待检测目标的满溢置信度ConfOC—Full是否大于第一预设阈值th1，其中，第一预设阈值th1为0-1之间的浮点数。
另外，在本实施例中，请参阅图6，图6是图1中步骤S2之前一实施方式的流程示意图。具体而言，步骤S2之前，包括：
S40：获取目标检测区域内垃圾桶对应的第一坐标框。
具体地，在本实施例中，当目标检测区域内的待检测目标为垃圾桶时，该垃圾桶对应的第一坐标框Rect的左上角坐标点为(x1,y1)，右下角坐标点为(x2,y2)。
S41：根据第一坐标框获得垃圾桶对应的第二坐标框。
具体而言，由于输出的第一坐标框Rect可能会出现只能够检测到垃圾桶桶身而不包含桶口的情况，这样就看不到垃圾桶中的垃圾堆叠情况，所以需要将第一坐标框Rect的顶部向上延伸垃圾桶高度的预设比例，得到垃圾桶对应的第二坐标框RectOC，也就是说，第二坐标框RectOC的顶部相对于第一坐标框Rect向上延伸垃圾桶高度的预设比例。具体地，预设比例可以为15％，也可以为其它比例，本申请在此不作限定。在本实施例中，调整y1的位置得到y1’，具体公式如下所示：
y1’＝max(y1-(y2-y1)*0.15，0)
根据上述公式得到垃圾桶对应的第二坐标框RectOC，第二坐标框RectOC的左上角坐标点为(x1,y1’)，右下角坐标点为(x2,y2)。这样后面就可以充分判断垃圾桶的满溢程度，避免出现误检的情况，从而提高了垃圾桶满溢检测的准确性。
S42：将第二坐标框对应的图像输入至第一目标分类网络中，获得垃圾桶对应的满溢置信度。
具体地，在本实施例中，将第二坐标框RectOC对应的图像抠出，输入至第一目标分类网络中，获得垃圾桶对应的满溢置信度ConfOC—Full，其中，满溢置信度ConfOC—Full为0-1之间的小数。具体而言，本申请中的第一目标分类网络为二分类网络，检测的类别分别为满溢或非满溢。
S3：判断待检测目标的类别为暴露垃圾时其检测分类联合置信度是否大于第二预设阈值。
具体地，在本实施例中，当待检测目标的类别为暴露垃圾时，判断该待检测目标的检测分类联合置信度Conf是否大于第二预设阈值th2，其中，第二预设阈值th2为0-1之间的浮点数。
另外，在本实施例中，请参阅图7，图7是图1中步骤S3之前一实施方式的流程示意图。具体而言，步骤S3之前，包括：
S50：获取目标检测区域内暴露垃圾对应的第三坐标框。
具体地，在本实施例中，当目标检测区域内的待检测目标为暴露垃圾时，获得该暴露垃圾对应的第三坐标框。
S51：将第三坐标框对应的图像输入至第二目标分类网络中，获得暴露垃圾对应的垃圾置信度。
具体地，在本实施例中，将第三坐标框对应的图像抠出，输入至第二目标分类网络中，获得暴露垃圾对应的垃圾置信度ConfOC，其中，垃圾置信度ConfOC为0-1之间的小数。具体而言，本申请中的第二目标分类网络为二分类网络，检测的类别分别为垃圾或非垃圾。
S52：根据垃圾置信度判断暴露垃圾的类别是否为垃圾。
具体而言，由于垃圾的类型众多，在垃圾桶附近各种物品堆叠在一起，很有可能对地面水渍、灰尘、树叶等目标产生误检，如果只采用单一的检测算法，会产生很多误报的情况，所以可以根据步骤S61中获得的垃圾置信度判断暴露垃圾的类别是否为垃圾，提高检测的可靠性。
S53：若是，则获得第一权重系数与目标检测置信度的乘积和第二权重系数与垃圾置信度的乘积的和值，并将和值作为暴露垃圾的检测分类联合置信度。
具体而言，若判断出来暴露垃圾的类别为垃圾，则获得第一权重系数α与目标检测置信度ConfOD的乘积和第二权重系数β与垃圾置信度ConfOC的乘积的和值，并将和值作为暴露垃圾的检测分类联合置信度Conf，具体公式如下所示：
Conf＝αConfOD+βConfOC
其中，β＝1-α，在本实施例中，设置α＝0.5，当然，在其他实施例中，α也可以为其他数值，根据实际情况决定，本申请在此不作限定。
S54：否则，删除暴露垃圾。
具体而言，若判断出来暴露垃圾的类别为非垃圾，则删除该暴露垃圾，无需对其进行后续的操作，不仅节省了资源，而且提高了暴露垃圾检测的可靠性。
本申请中在步骤S2或S3之前，对上述步骤S40-S42和步骤S50-S54中待检测目标对应的检测和分类信息进行整合，将整合的信息应用到后续的步骤中对垃圾进行检测。具体而言，当待检测目标为垃圾桶时，整合的信息包括第一坐标框Rect、目标检测置信度ConfOD和满溢置信度ConfOC—Full；当待检测目标为暴露垃圾时，整合的信息包括第三坐标框和检测分类联合置信度Conf。通过这样的设计方式，采用满溢置信度的结果可以提高检测垃圾桶是否满溢的准确性，采用检测分类联合置信度的结果可以提高检测暴露垃圾检测的可靠性。
具体地，在本实施例中，请参阅图8，图8是图1中步骤S2之前或步骤S3之前一实施方式的流程示意图。具体而言，步骤S2之前或步骤S3之前包括：
S60：判断待检测目标对应的坐标框的中心点坐标是否位于目标检测区域内。
具体地，在本实施例中，待检测目标对应的坐标框的左上角坐标点为(x1,y1x，右下角坐标点为(x2,y2)，该待检测目标对应的坐标框的中心点坐标为
Figure BDA0003110045460000101
判断中心点坐标
Figure BDA0003110045460000102
是否位于目标检测区域内。
S61：若是，则进入判断待检测目标的类别为垃圾桶时其满溢置信度是否大于第一预设阈值的步骤或者判断待检测目标的类别为暴露垃圾时其检测分类联合置信度是否大于第二预设阈值的步骤。
具体而言，若中心点坐标
Figure BDA0003110045460000111
位于目标检测区域内，则进入步骤S2或步骤S3。
S62：否则，返回至获取多个视频帧的步骤。
具体而言，若中心点坐标
Figure BDA0003110045460000112
不位于目标检测区域内，则返回至步骤S1。
S4：若是，将待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间。
具体而言，当待检测目标的类别为垃圾桶时，若待检测目标的满溢置信度ConfOC—Full大于第一预设阈值th1，则将该待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间t，规则累计告警时间为t+1，其中，t的单位可以是帧，也可以是其他时间单位，本申请在此不作限定。另外，在本实施例中，在步骤S4之前，还包括：将该待检测目标对应视频帧的告警标志位设置为第一标志位。通过累计计数的方式，可以避免出现个别帧的误检对结果判断的影响。
具体而言，当待检测目标的类别为暴露垃圾时，若待检测目标的检测分类联合置信度Conf大于第二预设阈值th2，则将该待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间t，规则累计告警时间为t+1，其中，t的单位可以是帧，也可以是其他时间单位，本申请在此不作限定。另外，在本实施例中，在步骤S4之前，还包括将该待检测目标对应视频帧的告警标志位设置为第一标志位。通过累计计数的方式，可以避免出现个别帧的误检对结果判断的影响。
S5：否则，将待检测目标进行汇总，并累计所有待检测目标对应视频帧的时间以获得第二累计时间。
具体而言，当待检测目标的类别为垃圾桶时，若待检测目标的满溢置信度ConfOC—Full小于或等于第一预设阈值th1，将所有满足上述条件的待检测目标进行汇总，并累计所有待检测目标对应视频帧的时间以获得第二累计时间n，未满足告警累计时间为n+1，其中，n的单位可以是帧，也可以是其他时间单位，本申请在此不作限定。另外，在本实施例中，在步骤S5之前，还包括：将待检测目标对应视频帧的告警标志位设置为第二标志位，其中，第二标志位与第一标志位不同。
具体而言，当待检测目标的类别为暴露垃圾时，若待检测目标的检测分类联合置信度Conf小于或等于第二预设阈值th2，则将所有满足上述条件的待检测目标进行汇总，并累计所有待检测目标对应视频帧的时间以获得第二累计时间n，未满足告警累计时间为n+1，其中，n的单位可以是帧，也可以是其他时间单位，本申请在此不作限定。另外，在本实施例中，在步骤S5之前，还包括将待检测目标对应视频帧的告警标志位设置为第二标志位，其中，第二标志位与第一标志位不同。
S6：判断第一累计时间是否大于第三预设阈值。
具体地，在本实施例中，判断第一累计时间t是否大于第三预设阈值t1，其中，第三预设阈值t1是用户根据实际情况进行配置的，本申请在此不作限定。通过这样的设计方式，可以设置告警时间间隔来提醒监控者及时清理垃圾。
S7：若是，将第一累计时间清空，并将所有告警目标上报进行告警显示。
具体而言，若第一累计时间t大于第三预设阈值t1，则将第一累计时间t设置为0，并将所有告警目标上报进行告警显示。具体地，若上报的告警目标为满溢的垃圾桶，则上报的信息包括告警目标的类别、坐标框以及满溢置信度ConfOC—Full；若上报的告警目标为暴露的垃圾，则上报的信息包括告警目标的类别、对应的坐标框以及检测分类联合置信度Conf，本申请在此不作限定。
S8：否则，返回至获取多个视频帧的步骤。
具体而言，若第一累计时间t小于或等于第三预设阈值t1，则返回至步骤S1。
S9：判断第二累计时间是否大于第四预设阈值。
具体地，在本实施例中，判断第二累计时间n是否大于第四预设阈值n1，其中，第四预设阈值n1可以为50帧，也可以是用户根据实际情况进行配置的其他数值，本申请在此不作限定。
S10：若是，将第一累计时间和第二累计时间清空，并返回至获取多个视频帧的步骤。
具体而言，若第二累计时间n大于第四预设阈值n1，则将第一累计时间t和第二累计时间n设置为0，并返回至步骤S1。这样可以通过设置未满足告警累计时间，当连续超过第四预设阈值n1都没有满足告警条件的目标，就重新累计告警时间，可以避免出现个别帧的误检对结果判断的影响。
S11：否则，返回至获取多个视频帧的步骤。
具体而言，若第二累计时间n小于或等于第四预设阈值n1，则返回至步骤S1。
通过这样的设计方式，不但可以提升垃圾桶满溢和暴露垃圾的告警准确率，避免出现个别视频帧的误检对结果判断的影响，并且通过设置告警时间阈值达到重复告警提醒的目的，从而提醒监控者及时清理垃圾。
另外，在本实施例中，在步骤S1之前还包括采集目标检测区域的视频序列，获取视频帧得到的图像作为训练数据集。首先制作用于目标检测的训练数据集，标注垃圾桶、暴露垃圾作为正样本，对其进行深度学习之后得到第一目标分类网络，这样可以同时检测出垃圾桶与暴露垃圾这两个类别；接下来制作用于目标分类的数据集，分类的数据集分为两种，第一个分类数据集是垃圾桶图片集合，分为满溢的垃圾桶和未满溢的垃圾桶两类，第二个分类数据集是暴露垃圾与非垃圾的图片集合，对其进行深度学习之后得到第二目标分类网络，这样可以同时检测出垃圾桶满溢或非满溢以及暴露垃圾为垃圾或非垃圾。通过这样的设计方式，可以提升垃圾桶满溢和暴露垃圾的告警准确率，从而提醒监控者及时清理垃圾。
请参阅图9，图9是本申请垃圾检测***一实施方式的框架示意图。上述垃圾检测***具体包括：
获取模块10，用于获取多个视频帧，并从每个视频帧中获得目标检测区域中待检测目标的跟踪结果；其中，跟踪结果包括待检测目标的类别。
判断模块12，与获取模块10耦接，用于判断待检测目标的类别为垃圾桶且其满溢置信度是否大于第一预设阈值，或者，判断待检测目标的类别为暴露垃圾且其检测分类联合置信度是否大于第二预设阈值。当然，判断模块12还用于判断第一累计时间是否大于第三预设阈值。
处理模块14，与获取模块12耦接，用于响应于待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间。当然，处理模块14还用于响应于第一累计时间大于第三预设阈值，将第一累计时间清空，并将所有告警目标上报进行告警显示。
请参阅图10，图10是本申请垃圾检测***一实施方式的结构示意图。该垃圾检测***包括相互耦接的处理器100和存储器102。具体地，在本实施例中，处理器100和存储器102相互配合以实现上述任一实施例所提及的垃圾检测方法。
具体而言，处理器100还可以称为CPU(Central Processing Unit，中央处理单元)。处理器100可能是一种集成电路芯片，具有信号的处理能力。处理器100还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器100可以由多个集成电路芯片共同实现。
请参阅图11，图11是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质20存储有计算机程序200，能够被计算机所读取，计算机程序200能够被处理器执行，以实现上述任一实施例中所提及的垃圾检测方法。其中，该计算机程序200可以以软件产品的形式存储在上述计算机可读存储介质20中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。具有存储功能的计算机可读存储介质20可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
总而言之，区别于现有技术的情况，本申请中获取多个视频帧，并从每个视频帧中获得目标检测区域中待检测目标的跟踪结果，其中，跟踪结果包括待检测目标的类别，当待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，当待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将待检测目标作为告警目标，并累计所有告警目标对应视频帧的时间以获得第一累计时间，当第一累计时间大于第三预设阈值，将第一累计时间清空，并将所有告警目标上报进行告警显示。通过这样的设计方式，不但可以提升垃圾桶满溢和暴露垃圾的告警准确率，避免出现个别视频帧的误检对结果判断的影响，并且通过设置告警时间阈值达到重复告警提醒的目的，从而提醒监控者及时清理垃圾。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种垃圾检测方法，其特征在于，包括：
获取多个视频帧，并从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果；其中，所述跟踪结果包括所述待检测目标的类别；
响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间；
响应于所述第一累计时间大于第三预设阈值，将所述第一累计时间清空，并将所有所述告警目标上报进行告警显示。
2.根据权利要求1所述的垃圾检测方法，其特征在于，所述从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果的步骤之后，还包括：
响应于所述待检测目标的类别为垃圾桶且其满溢置信度小于或等于所述第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度小于或等于所述第二预设阈值，将所述待检测目标进行汇总，并累计所有所述待检测目标对应视频帧的时间以获得第二累计时间；
响应于所述第二累计时间大于第四预设阈值，将所述第一累计时间和所述第二累计时间清空，并返回至获取多个视频帧的步骤。
3.根据权利要求2所述的垃圾检测方法，其特征在于，
所述将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间的步骤之前，包括：
将所述待检测目标对应视频帧的告警标志位设置为第一标志位；
所述将所述待检测目标进行汇总，并累计所有所述待检测目标对应视频帧的时间以获得第二累计时间的步骤之前，包括：
将所述待检测目标对应视频帧的告警标志位设置为第二标志位。
4.根据权利要求1所述的垃圾检测方法，其特征在于，所述从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果的步骤之后，包括：
通过匹配算法获得当前视频帧中每个所述待检测目标对应的坐标框与已有视频帧中所述待检测目标对应的坐标框的标准值；
响应于所述标准值大于第五预设阈值，将所述待检测目标的状态位设置为更新，并获得所述待检测目标的跟踪结果。
5.根据权利要求4所述的垃圾检测方法，其特征在于，
所述通过匹配算法获得当前视频帧中每个所述待检测目标对应的坐标框与已有视频帧中所述待检测目标对应的坐标框的标准值的步骤之后，还包括：
响应于所述标准值小于或等于第五预设阈值，判断所述待检测目标是否为所有所述视频帧中第一次出现的跟踪目标；
若是，则将所述待检测目标的状态位设置为创建；
否则，将所述待检测目标的状态位设置为丢失；
所述将所述待检测目标的状态位设置为丢失的步骤之后，包括：
响应于所述待检测目标的状态位为丢失的视频帧的个数大于第六预设阈值，将所述待检测目标的状态位设置为删除并将所述待检测目标的跟踪结果删除。
6.根据权利要求1所述的垃圾检测方法，其特征在于，所述响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间的步骤之前，包括：
判断所述待检测目标对应的坐标框的中心点坐标是否位于所述目标检测区域内；
若是，则进入响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，或者，响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应视频帧的时间以获得第一累计时间的步骤；
否则，返回至获取多个视频帧的步骤。
7.根据权利要求1所述的垃圾检测方法，其特征在于，所述响应于所述待检测目标的类别为垃圾桶且其满溢置信度大于第一预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应的视频帧时间以获得第一累计时间的步骤之前，包括：
获取所述目标检测区域内所述垃圾桶对应的第一坐标框；
根据所述第一坐标框获得所述垃圾桶对应的第二坐标框，其中，所述第二坐标框的顶部相对于所述第一坐标框向上延伸所述垃圾桶高度的预设比例；
将所述第二坐标框对应的图像输入至第一目标分类网络中，获得所述垃圾桶对应的满溢置信度。
8.根据权利要求1所述的垃圾检测方法，其特征在于，所述响应于所述待检测目标的类别为暴露垃圾且其检测分类联合置信度大于第二预设阈值，将所述待检测目标作为告警目标，并累计所有所述告警目标对应的视频帧时间以获得第一累计时间的步骤之前，包括：
获取所述目标检测区域内所述暴露垃圾对应的第三坐标框；
将所述第三坐标框对应的图像输入至第二目标分类网络中，获得所述暴露垃圾对应的垃圾置信度；
根据所述垃圾置信度判断所述暴露垃圾的类别是否为垃圾；
若是，则获得第一权重系数与目标检测置信度的乘积和第二权重系数与所述垃圾置信度的乘积的和值，并将所述和值作为所述暴露垃圾的检测分类联合置信度；
否则，删除所述暴露垃圾。
9.根据权利要求1所述的垃圾检测方法，其特征在于，所述从每个所述视频帧中获得目标检测区域中待检测目标的跟踪结果的步骤之前，还包括：
获取所述目标检测区域中待检测目标的类别；
根据所述类别获得每个所述待检测目标对应的目标检测置信度。
10.一种垃圾检测***，其特征在于，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至9中任一项所述的垃圾检测方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现权利要求1至9任一项所述的垃圾检测方法。
CN202110646613.2A 2021-06-10 2021-06-10 垃圾检测方法、垃圾检测***以及计算机可读存储介质 Pending CN113468976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646613.2A CN113468976A (zh) 2021-06-10 2021-06-10 垃圾检测方法、垃圾检测***以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646613.2A CN113468976A (zh) 2021-06-10 2021-06-10 垃圾检测方法、垃圾检测***以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113468976A true CN113468976A (zh) 2021-10-01

Family

ID=77869530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646613.2A Pending CN113468976A (zh) 2021-06-10 2021-06-10 垃圾检测方法、垃圾检测***以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113468976A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283387A (zh) * 2022-03-08 2022-04-05 深圳市万物云科技有限公司 一种垃圾点保洁工单智能生成方法、装置及相关介质
CN114532918A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 清洁机器人及其目标检测方法、装置及存储介质
CN116189099A (zh) * 2023-04-25 2023-05-30 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160167233A1 (en) * 2014-12-11 2016-06-16 Xiaomi Inc. Methods and devices for cleaning garbage
CN108960174A (zh) * 2018-07-12 2018-12-07 广东工业大学 一种目标检测结果优化方法及装置
CN110956104A (zh) * 2019-11-20 2020-04-03 河南华衍智能科技有限公司 一种检测垃圾桶溢出的方法、装置及***
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及***
CN112560755A (zh) * 2020-12-24 2021-03-26 中再云图技术有限公司 一种识别城市暴露垃圾的目标检测方法
CN112883921A (zh) * 2021-03-22 2021-06-01 北京易华录信息技术股份有限公司 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法
CN112926431A (zh) * 2021-02-20 2021-06-08 北京市商汤科技开发有限公司 垃圾检测方法、装置、设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160167233A1 (en) * 2014-12-11 2016-06-16 Xiaomi Inc. Methods and devices for cleaning garbage
CN108960174A (zh) * 2018-07-12 2018-12-07 广东工业大学 一种目标检测结果优化方法及装置
CN110956104A (zh) * 2019-11-20 2020-04-03 河南华衍智能科技有限公司 一种检测垃圾桶溢出的方法、装置及***
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及***
CN112560755A (zh) * 2020-12-24 2021-03-26 中再云图技术有限公司 一种识别城市暴露垃圾的目标检测方法
CN112926431A (zh) * 2021-02-20 2021-06-08 北京市商汤科技开发有限公司 垃圾检测方法、装置、设备及计算机存储介质
CN112883921A (zh) * 2021-03-22 2021-06-01 北京易华录信息技术股份有限公司 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陶威远;姜太平;郑一然;: "基于Faster R-CNN算法的垃圾分类识别***", 网络安全技术与应用, no. 03, 15 March 2020 (2020-03-15) *
魏书法;程章林;: "基于图像的城市场景垃圾自动检测", 集成技术, no. 01, 15 January 2017 (2017-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114532918A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 清洁机器人及其目标检测方法、装置及存储介质
CN114283387A (zh) * 2022-03-08 2022-04-05 深圳市万物云科技有限公司 一种垃圾点保洁工单智能生成方法、装置及相关介质
CN116189099A (zh) * 2023-04-25 2023-05-30 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN116189099B (zh) * 2023-04-25 2023-10-10 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法

Similar Documents

Publication Publication Date Title
CN113468976A (zh) 垃圾检测方法、垃圾检测***以及计算机可读存储介质
CN111178182A (zh) 一种丢垃圾行为的实时检测方法
CN111126252A (zh) 摆摊行为检测方法以及相关装置
US20230153698A1 (en) Methods and systems for accurately recognizing vehicle license plates
Chetouane et al. Vision‐based vehicle detection for road traffic congestion classification
WO2022174541A1 (zh) 一种垃圾检测方法、装置、设备、存储介质及程序产品
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
WO2021022698A1 (zh) 尾随检测方法、装置、电子设备及存储介质
CN113052158A (zh) 夜间红外场景目标识别方法、装置、电子设备及存储介质
CN112560755A (zh) 一种识别城市暴露垃圾的目标检测方法
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN110490150A (zh) 一种基于车辆检索的违章图片自动审核***及方法
CN111553355A (zh) 基于监控视频的出店经营检测及通知管理店主的方法
US20210004600A1 (en) Assessing video stream quality
Chen et al. A precise information extraction algorithm for lane lines
CN113963316A (zh) 目标事件的确定方法、装置、存储介质及电子装置
CN112183460A (zh) 一种智能识别环境卫生的方法及装置
CN110458203B (zh) 一种广告图像素材检测方法
CN110855932B (zh) 基于视频数据的报警方法、装置、电子设备及存储介质
CN112347810A (zh) 移动目标物体的检测方法、装置及存储介质
CN114925239B (zh) 基于人工智能的智慧教育目标视频大数据检索方法及***
Mago et al. Optimized outdoor parking system for smart cities using advanced saliency detection method and hybrid features extraction model
CN116386280A (zh) 一种用于城市地下空间关键区域的涝灾监测预警***
Arandjelović et al. CCTV scene perspective distortion estimation from low-level motion features
CN112734699A (zh) 物品状态告警方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination