CN113095301A - 占道经营监测方法、***与服务器 - Google Patents

占道经营监测方法、***与服务器 Download PDF

Info

Publication number
CN113095301A
CN113095301A CN202110554463.2A CN202110554463A CN113095301A CN 113095301 A CN113095301 A CN 113095301A CN 202110554463 A CN202110554463 A CN 202110554463A CN 113095301 A CN113095301 A CN 113095301A
Authority
CN
China
Prior art keywords
booth
target
iou
anchor
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110554463.2A
Other languages
English (en)
Other versions
CN113095301B (zh
Inventor
杨帆
张凯翔
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202110554463.2A priority Critical patent/CN113095301B/zh
Publication of CN113095301A publication Critical patent/CN113095301A/zh
Application granted granted Critical
Publication of CN113095301B publication Critical patent/CN113095301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种占道经营监测方法、***与服务器，首先划定违规占道经营区域，针对监控视频每隔N帧取1帧图片，通过目标检测算法，检测相关区域内的摊位，并提取出相关摊位目标的bbox坐标信息；再计算当前帧和上一帧图片中所有目标矩形框的交并比并且排序；然后，获取当前检测目标，当检测目标的交并比小于所有阈值时（第一次出现），将该目标图片加入底库；最后，当检测目标的交并比值大于阈值且连续M次时，判定为违规占道经营。通过本发明的监测，可解决占道经营治理难、耗时费力的问题。相较于现有技术，本发明的占道经营监测方法具有较高的准确率，较低的误检，并且监测的实时性强，便于实施，部署成本低。

Description

占道经营监测方法、***与服务器
技术领域
本发明涉及图像处理技术领域，具体而言涉及一种基于目标检测与位置约束的占道经营监测方法、***与服务器。
背景技术
占道经营是指经营者占用城市道路、桥梁、城市广场等公共场所进行盈利性买卖商品或服务的行为。该行为在影响城市交通安全的同时，还会造成城市环境污染，给周边市民的出行和日常生活带来不便。由于城市管理人力资源有限，仅靠人工巡查方式难以根治违章占道经营行为并且效率低下。通过人工巡查的方式进行，由辖区内各街道办每日至少投入3-5名工作人员进行餐饮露天烧烤、占道经营情况开展巡查工作，依靠人力盯守、巡查的管理方式，效率低、质量不高、整治效果极易反复。
现有技术中尝试采用基于端到端的深度学习方法，对特定道路等公共领域内的违章占用摊位进行实时检测，并对检测结果进行实时分析与反馈，这样可以在很大程度上降低工作人员的工作强度，提高工作效率。
现有技术中提出了基于聚类算法进行占道经营的识别，例如采用优化的DBSCAN聚类算法对采集到的城市街道占道经营数据进行处理，以最终确定城市街道占道经营高发区域。但是，该方案采用优化的DBSCAN聚类算法来确定城市街道占道经营区域，却不能对占道经营行为及时发现，并通知城市管理人员及时处理占道经营事件。
现有技术中还提出了通过目标检测技术实现占道经营的识别，但通过简单的目标识别会导致***误报率高，准确率低等情况，致使频繁的报警，产生较高的误报率。
现有技术文献：
专利文献1：公开号为CN108304798A，公开日期为2018年7月20日的专利申请公开一种基于深度学习及运动一致性的街面秩序事件视频检测方法，以视频智能分析领域中静态视频帧中目标检测技术和动态视频中目标行为分析技术相结合的方式，多条件联合判定事件，设计出店外经营事件和占道经营事件的检测***，该检测方法采用目标识别与行为识别结合的多模型融合判定，模型相对复杂；
专利文献2：公开号为CN108831158A，公开日期为2018年11月16日的专利申请公开一种违停监测方法、装置及电子终端，基于SIFT算法提取占道经营区图像中的特征向量，通过相似度计算与判断，确定是否存在违章停车。该方案中仅仅使用特征向量提取与匹配的方式确定占道经营区域的特征，在应用到摊位识别时，相对于汽车在主干道的违停识别来说，更容易发生频繁报警和误报警的情况；
专利文件3：公开号为CN111931864A，公开日期为2020年11月13日的专利申请公开一种基于顶点距离与交并比多重优化目标检测器的方法与***，包括：获取锚与标注框的交并比IOU；基于锚与标注框对应的四个顶点之间的归一化距离系数distance，修正交并比IOU，得到修正的交并比P-IOU；基于修正的交并比P-IOU重新界定正负样本；以及基于重新界定正负样本分类训练检测器。通过基于顶点距离与交并比多重优化目标检测器的方法，通过优化匹配机制从而优化检测器分类性能，减少误检。
发明内容
本发明目的在于提供一种基于目标检测与位置约束的占道经营监测方法，包括以下步骤：
按照预设周期对输入的视频流持续性进行图像提取，获得按照时间序列的图像Pi，Pi表示第i帧图像，i取值为大于等于1的自然数；
采用基于中心点位置约束的目标检测器，检测出第i帧图像Pi中的摊位Qi，Qi表示第i帧图像中所有第j个摊位的集合，并提取所检测出摊位Qi的bbox坐标信息；所述基于中心点位置约束的目标检测器为基于锚的与顶点坐标与标注框的中心点坐标修正而训练的目标检测器；
从第i帧图像Pi开始，判断所检测出的摊位Qi的bbox坐标信息是否在预先划定的违规占道经营区域Z范围内，对于处于违规占道经营区域Z内，则进入下一步进行识别处理；所述识别处理过程包括：
在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与摊位Qi中的每一个摊位的交并比；并判定：
1)如果摊位Qi+1中的其中一个摊位Qi+1,k作为识别对象，与摊位Qi中的每一个摊位的交并比均小于设定的第一阈值，则将第i+1帧图像Pi+1中的该摊位Qi+1,k存入目标底库；目标底库中存储的每个摊位为一个目标；
2)如果摊位Qi+1中的其中一个摊位Qi+1,j作为识别对象，与摊位Qi中的其中一个摊位Qi,l的交并比超过设定的第二阈值，并且在从第i+1帧图像开始的连续的m帧图像中,该识别对象与上一帧图像中识别出的摊位的交并比均超过所述第二阈值，则判定为占道经营发送预警信息，否则，放弃该目标，不预警。
优选地，所述基于中心点位置约束的目标检测器为预先训练的目标检测器，训练过程包括：
首先，计算锚与标注框的交并比IOU；
然后，基于锚与标注框的顶点坐标和中心点坐标计算中心点距离d和对角线距离c，并根据中心点距离d和对角线距离c对交并比IOU进行修正，得到修正交并比D-IOU；
基于修正交并比D-IOU重新界定正负样本；以及
基于重新界定的正负样本分类训练检测器，得到基于中心点位置约束的目标检测器。
优选地，所述基于修正交并比D-IOU重新界定正负样本，包括：
保留每个锚对应的修正交并比D-IOU的最大值以及对应标注框gt的类别，并且如果修正交并比D-IOU的最大值为0，则判定该锚类别为背景，该锚判定为负样本；
将所有锚对应的修正交并比D-IOU的最大值与预设训练阈值进行比对，对于锚对应的修正交并比D-IOU的最大值大于预设训练阈值的，保留此锚匹配的标注框gt的类别，并判定该锚为正样本；对于锚对应的修正交并比D-IOU的最大值小于或者等于预设训练阈值的，将该锚匹配的标注框gt的类别修改成背景，判定该锚为负样本。
优选地，所述在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与摊位Qi中的每一个摊位的交并比，包括：
对于检测出的摊位Qi+1中的任意一个摊位Qi+1,x，分别计算该摊位Qi+1,x与第i帧图像Pi中的检测出的摊位Qi中的每一个摊位的交并比，获得多个交并比值并进行排序，取交并比值中的最大值，作为该摊位Qi+1,x与上一帧图像识别的摊位的交并比。
优选地，在判定占道经营发送预警信息时，还包括将识别对象进行目标底库识别的处理，具体包括以下步骤：
将所述步骤2)确定的识别对象与目标底库进行匹配，若匹配成功，则判定该识别对象为已有违规占道经营，发送预警信息；否则判定为新迁入违规占道经营。
优选地，所述将所述步骤2)确定的识别对象与目标底库进行匹配，包括：
提取所述步骤2)确定的识别对象的特征，分别与目标底库中存储的目标的特征进行匹配，计算步骤2)确定的识别对象的特征与目标底库中每一个目标特征的欧式距离，如果距离小于设定的阈值，判定二者为同一个目标。
本发明的第二方面还提出一种基于目标检测与位置约束的占道经营监测***，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述基于目标检测与位置约束的占道经营监测方法的过程。
本发明的第三方面还提出一种服务器，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述的基于目标检测与位置约束的占道经营监测方法的过程。
与现有技术相比，通过本发明的监测，可解决占道经营治理难、耗时费力的问题。相较于现有技术，本发明的占道经营监测方法具有较高的准确率以及较低的误检，并且监测的实时性强，便于实施，部署成本低。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合，只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
附图说明
图1是根据本发明示例性实施例的占道经营监测方法的流程示意图。
图2是根据本发明是理性实施例的基于中心位置约束修正交并比的原理图。
图3-5是占道经营识别场景在不同时间段的典型示意。
具体实施方式
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1所示示例实施例的基于目标检测与位置约束的占道经营监测方法，采用基于深度学习的方法进行占道经营的检测，通过上一帧图像与下一帧图像中摊位目标的连续检测实现对摊位是否位于划定的占道经营区域、同一摊位是否连续占道、占道经营的目标是否为同一摊位进行分析与预警，并使用累加机制进行处理，避免和减少误检测与频繁报警的问题。
在可选的实施例中，基于目标检测与位置约束的占道经营监测方法，可预先划定违规占道经营区域，在监测过程中，针对监控视频每隔N帧取1帧图片，通过目标检测算法，检测相关区域内的摊位，并提取出相关摊位目标的bbox坐标信息；再计算当前帧和上一帧图片中所有目标矩形框的交并比并且排序；然后，获取当前检测目标，当检测目标的交并比小于所有阈值时（第一次出现），将该目标图片加入底库；当检测目标的交并比值大于阈值且连续M次时，判定为违规占道经营。通过本发明的监测，可解决占道经营治理难、耗时费力的问题。相较于现有技术，本发明的占道经营监测方法具有较高的准确率，较低的误检，并且监测的实时性强，便于实施，部署成本低。
结合图1所示示例的基于目标检测与位置约束的占道经营监测方法，其实现包括以下步骤：
按照预设周期对输入的视频流持续性进行图像提取，获得按照时间序列的图像Pi，Pi表示第i帧图像，i取值为大于等于1的自然数；
采用基于中心点位置约束的目标检测器，检测出第i帧图像Pi中的摊位Qi，Qi表示第i帧图像中所有第j个摊位的集合，并提取所检测出摊位Qi的bbox坐标信息；所述基于中心点位置约束的目标检测器为基于锚的与顶点坐标与标注框的中心点坐标修正而训练的目标检测器；
从第i帧图像Pi开始，判断所检测出的摊位Qi的bbox坐标信息是否在预先划定的违规占道经营区域Z范围内，对于处于违规占道经营区域Z内，则进入下一步进行识别处理；所述识别处理过程包括：
在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与摊位Qi中的每一个摊位的交并比；并判定：
1)如果摊位Qi+1中的其中一个摊位Qi+1,k作为识别对象，与摊位Qi中的每一个摊位的交并比均小于设定的第一阈值，则将第i+1帧图像Pi+1中的该摊位Qi+1,k存入目标底库；目标底库中存储的每个摊位为一个目标；
2)如果摊位Qi+1中的其中一个摊位Qi+1,j作为识别对象，与摊位Qi中的其中一个摊位Qi,l的交并比超过设定的第二阈值，并且在从第i+1帧图像开始的连续的m帧图像中,该识别对象与上一帧图像中识别出的摊位的交并比均超过所述第二阈值，则判定为占道经营发送预警信息，否则，放弃该目标，不预警。
下面我们结合附图所示，更加具体地描述以上实施例的各个步骤和各个方面的实施。
帧图像图提取
在本发明的实施例中，按照预设周期，例如25ms的提取周期，对输入的视频流持续性进行图像提取，获得按照时间序列的图像Pi，Pi表示第i帧图像，i取值为大于等于1的自然数，从而获得在后续处理过程的图像。
应当理解，视频流持续输入，按照预设周期进行图像提取的处理也在持续性进行。
摊位目标检测
本发明的实施例中，采用基于中心点位置约束的目标检测器，检测出第i帧图像Pi中的摊位Qi，Qi表示第i帧图像中所有第j个摊位的集合，并提取所检测出摊位Qi的bbox坐标信息。
作为示例，所使用的基于中心点位置约束的目标检测器为基于锚的与顶点坐标与标注框的中心点坐标修正而训练的目标检测器，相对于传统的目标检测器，我们在检测器的训练过程中进行中心位置约束，使得预测框与标注框尽可能重合，通过中心位置约束修正，选择重合度最高的预测框作为终的预测结果，提高模型学习与训练的精度和预测的准确度。
在可选的实施例中，基于中心点位置约束的目标检测器为预先训练的目标检测器，其训练过程包括：
首先，计算锚（anchor）与标注框（gt）的交并比IOU；
然后，基于锚（anchor）与标注框（gt）的顶点坐标和中心点坐标计算中心点距离d和对角线距离c，并根据中心点距离d和对角线距离c对交并比IOU进行修正，得到修正交并比D-IOU；
基于修正交并比D-IOU重新界定正负样本；以及
基于重新界定的正负样本分类训练检测器，得到基于中心点位置约束的目标检测器。
其中，如图2所示，根据中心点距离d和对角线距离c对交并比IOU进行修正，具体实现包括以下步骤：
根据以下公式进行修正，得到修正交并比D-IOU：
Figure DEST_PATH_IMAGE002
；
其中，中心点距离d表示锚框与标注框中心点的距离，对角线距离c表示能够同时包含锚框和标注框的最小闭包区域的对角线距离；
Figure DEST_PATH_IMAGE004
表示超参数，用于控制后半部分比值的权重，当其数值很大时等价于原始的IOU；
原始的IOU表示如下：
Figure DEST_PATH_IMAGE006
。
其中，超参数默认为1，用于控制后半部分比值的权重，当其数值很大时等价于原始的IOU。
图2中，两个实体线条部分构成的矩形框分别代表锚anchor和标注框gt。目的是为了让两个框重合，但是在实际预测的时候一般都会有一点偏差与错位，我们提出的中心距离修正的D-IOU的目的就是为了选择重合度最高的预测框作为终的预测结果。
在此基础上，基于修正交并比D-IOU重新界定用于目标检测器训练的正负样本，包括：
保留每个锚对应的修正交并比D-IOU的最大值以及对应标注框gt的类别，并且如果修正交并比D-IOU的最大值为0，则判定该锚类别为背景，该锚判定为负样本；
将所有锚对应的修正交并比D-IOU的最大值与预设训练阈值进行比对，对于锚对应的修正交并比D-IOU的最大值大于预设训练阈值的，保留此锚匹配的标注框gt的类别，并判定该锚为正样本；对于锚对应的修正交并比D-IOU的最大值小于或者等于预设训练阈值的，将该锚匹配的标注框gt的类别修改成背景，判定该锚为负样本。
由此，以重新界定后的正样本和负样本作为训练集，基于现有的目标检测算法分类训练检测器，提高分类检测器的精度和准确性，从而在本发明的占道经营的复杂场景下，提高识别的精度，如图3-5所示为识别场景在不同时间段的典型示意。
摊位目标是否位于划定区域判定
在本实施例中，对于从图像中识别出来的摊位目标，获得其bbox坐标信息，即可根据摊位目标的bbox坐标信息判断其是否在预先划定的违规占道经营区域Z范围。
在可选的实施例中，我们采用交并比计算实现，从第i帧图像Pi开始，判断所检测出的摊位Qi的bbox坐标信息是否在预先划定的违规占道经营区域Z范围内，其具体包括：
计算所检测出的摊位Qi的bbox坐标信息与预先划定的违规占道经营区域Z的交并比，如果交并比的值超过预设值，则判定位于违规占道经营区域Z范围内，否则判定不在违规占道经营区域Z范围内。
摊位目标占道经营识别处理
在本实施例中，对于从图像中提取出的摊位目标，如果判定处于预先划定的违规占道经营区域Z，则需要进一步进行占道经营识别处理，将第i+1帧图像Pi+1检测出的摊位Qi+1与上一帧即第i帧图像Pi检测出的摊位Qi中的摊位进行对比，确定是否属于占道经营或者临时停靠，具体包括以下步骤：
在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与上一帧即第i帧图像Pi检测出的摊位Qi中的每一个摊位的交并比；并判定：
1)如果摊位Qi+1中的其中一个摊位Qi+1,k作为识别对象，与摊位Qi中的每一个摊位的交并比均小于设定的第一阈值，则将第i+1帧图像Pi+1中的该摊位Qi+1,k存入目标底库；目标底库中存储的每个摊位为一个目标；
2)如果摊位Qi+1中的其中一个摊位Qi+1,j作为识别对象，与摊位Qi中的其中一个摊位Qi,l的交并比超过设定的第二阈值，并且在从第i+1帧图像开始的连续的m帧图像中,该识别对象与上一帧图像中识别出的摊位的交并比均超过所述第二阈值，则判定为占道经营发送预警信息，否则，放弃该目标，不预警。
其中，摊位Qi+1,j和摊位Qi+1,k的下标j与k，仅用于区分作用，无特殊指代含义，即摊位Qi+1中的一个摊位。
其中，如图3-5所示的场景下，存在摊位检测框的重叠现象，因此，优选地，我们对相邻处理的两帧图像中的摊位的交并比处计算，采用逐一计算并取最大值的方式，即：
在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与摊位Qi中的每一个摊位的交并比，包括：
对于检测出的摊位Qi+1中的任意一个摊位Qi+1,x，分别计算该摊位Qi+1,x与第i帧图像Pi中的检测出的摊位Qi中的每一个摊位的交并比，获得多个交并比值并进行排序，取交并比值中的最大值，作为该摊位Qi+1,x与上一帧图像识别的摊位的交并比。
其中，摊位Qi+1,j的下标x，仅用于区分作用，无特殊指代含义，即摊位Qi+1中的一个摊位。
例如，对于当前帧第i+1帧图像Pi+1检测出的摊位Qi+1中的一个摊位目标A，则与上一帧图像Pi中的检测出的摊位Qi中的每一个摊位进行交并比计算，由于所检测出的摊位的检测框的顶点坐标、bbox坐标确定，因此我们可以计算出与摊位Qi中的每一个摊位的交并比的值，并对其进行排序，取交并比值中的最大值，作为该摊位目标A与上一帧图像识别的摊位的交并比。
其中，如果计算出的与摊位Qi中的每一个摊位的交并比的值均小于预设的第一阈值，则该摊位目标被判定为新摊位目标，即在上一帧图像中没有出现过，则将其加如到目标底库中。
如果，以该摊位Qi+1,x与上一帧图像识别的摊位的交并比与预设的第二阈值相比，超过设定的第二阈值，并且在从第i+1帧图像开始的连续的m帧图像中,该识别对象与上一帧图像中识别出的摊位的交并比均超过所述第二阈值，则表明其为一个占道经营的摊位目标，进行报警。
同一目标识别判定
在判定占道经营发送预警信息时，还包括将识别对象进行目标底库识别的处理，具体包括以下步骤：
将所述步骤2)确定的识别对象与目标底库进行匹配，若匹配成功，则判定该识别对象为已有违规占道经营，发送预警信息；否则判定为新迁入违规占道经营。
可选的示例中，将所述步骤2)确定的识别对象与目标底库进行匹配，包括：
提取所述步骤2)确定的识别对象的特征，分别与目标底库中存储的目标的特征进行匹配，计算步骤2)确定的识别对象的特征与目标底库中每一个目标特征的欧式距离，如果距离小于设定的阈值，判定二者为同一个目标。
基于目标检测与位置约束的占道经营监测***
根据本发明公开的实施例，还提出一种基于目标检测与位置约束的占道经营监测***，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述任意一实施例的基于目标检测与位置约束的占道经营监测方法的过程。
在可选的实施例中，本发明实施例的基于目标检测与位置约束的占道经营监测***，可基于计算机***实现，计算机***具有包括处理器、存储器以及数据总线的***架构设计，以在此基础上是实现数据收发、数据处理等逻辑与功能。
服务器
根据本发明公开的实施例，一种服务器，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述任意一实施例的基于目标检测与位置约束的占道经营监测方法的过程。
在可选的实施例中，本发明提出的服务器，可基于本地的服务器或者云端服务器实现，不论是本地或者云端部署的服务器，其具有例如处理器、存储器、网络传输单元等部件构成的***架构，以在此基础上是实现数据收发、数据处理等逻辑与功能。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种占道经营监测方法，其特征在于，包括以下步骤：
按照预设周期对输入的视频流持续性进行图像提取，获得按照时间序列的图像Pi，Pi表示第i帧图像，i取值为大于等于1的自然数；
采用基于中心点位置约束的目标检测器，检测出第i帧图像Pi中的摊位Qi，Qi表示第i帧图像中所有第j个摊位的集合，并提取所检测出摊位Qi的bbox坐标信息；所述基于中心点位置约束的目标检测器为基于锚的与顶点坐标与标注框的中心点坐标修正而训练的目标检测器；
从第i帧图像Pi开始，判断所检测出的摊位Qi的bbox坐标信息是否在预先划定的违规占道经营区域Z范围内，对于处于违规占道经营区域Z内，则进入下一步进行识别处理；所述识别处理过程包括：
在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与摊位Qi中的每一个摊位的交并比；并判定：
1)如果摊位Qi+1中的其中一个摊位Qi+1,k作为识别对象，与摊位Qi中的每一个摊位的交并比均小于设定的第一阈值，则将第i+1帧图像Pi+1中的该摊位Qi+1,k存入目标底库；目标底库中存储的每个摊位为一个目标；
2)如果摊位Qi+1中的其中一个摊位Qi+1,j作为识别对象，与摊位Qi中的其中一个摊位Qi,l的交并比超过设定的第二阈值，并且在从第i+1帧图像开始的连续的m帧图像中,该识别对象与上一帧图像中识别出的摊位的交并比均超过所述第二阈值，则判定为占道经营发送预警信息，否则，放弃该目标，不预警。
2.根据权利要求1所述的占道经营监测方法，其特征在于，所述基于中心点位置约束的目标检测器为预先训练的目标检测器，训练过程包括：
首先，计算锚与标注框的交并比IOU；
然后，基于锚与标注框的顶点坐标和中心点坐标计算中心点距离d和对角线距离c，并根据中心点距离d和对角线距离c对交并比IOU进行修正，得到修正交并比D-IOU；
基于修正交并比D-IOU重新界定正负样本；以及
基于重新界定的正负样本分类训练检测器，得到基于中心点位置约束的目标检测器。
3.根据权利要求2所述的占道经营监测方法，其特征在于，所述根据中心点距离d和对角线距离c对交并比IOU进行修正，包括：
根据以下公式进行修正，得到修正交并比D-IOU：
Figure DEST_PATH_IMAGE001
其中，中心点距离d表示锚框与标注框中心点的距离，对角线距离c表示能够同时包含 锚框和标注框的最小闭包区域的对角线距离；
Figure 887554DEST_PATH_IMAGE002
表示超参数；
IOU表示如下：
Figure DEST_PATH_IMAGE003
；
其中，anchor表示锚，gt表示标注框。
4.根据权利要求1所述的占道经营监测方法，其特征在于，所述基于修正交并比D-IOU重新界定正负样本，包括：
保留每个锚对应的修正交并比D-IOU的最大值以及对应标注框gt的类别，并且如果修正交并比D-IOU的最大值为0，则判定该锚类别为背景，该锚判定为负样本；
将所有锚对应的修正交并比D-IOU的最大值与预设训练阈值进行比对，对于锚对应的修正交并比D-IOU的最大值大于预设训练阈值的，保留此锚匹配的标注框gt的类别，并判定该锚为正样本；对于锚对应的修正交并比D-IOU的最大值小于或者等于预设训练阈值的，将该锚匹配的标注框gt的类别修改成背景，判定该锚为负样本。
5.根据权利要求1所述的占道经营监测方法，其特征在于，所述判断所检测出的摊位Qi的bbox坐标信息是否在预先划定的违规占道经营区域Z范围内，包括：
计算所检测出的摊位Qi的bbox坐标信息与预先划定的违规占道经营区域Z的交并比，如果交并比的值超过预设值，则判定位于违规占道经营区域Z范围内，否则判定不在违规占道经营区域Z范围内。
6.根据权利要求1所述的占道经营监测方法，其特征在于，所述在第i+1帧图像Pi+1检测出的摊位Qi+1中，基于bbox坐标信息，计算摊位Qi+1中的每一个摊位与摊位Qi中的每一个摊位的交并比，包括：
对于检测出的摊位Qi+1中的任意一个摊位Qi+1,x，分别计算该摊位Qi+1,x与第i帧图像Pi中的检测出的摊位Qi中的每一个摊位的交并比，获得多个交并比值并进行排序，取交并比值中的最大值，作为该摊位Qi+1,x与上一帧图像识别的摊位的交并比。
7.根据权利要求1所述的占道经营监测方法，其特征在于，在判定占道经营发送预警信息时，还包括将识别对象进行目标底库识别的处理，具体包括以下步骤：
将所述步骤2)确定的识别对象与目标底库进行匹配，若匹配成功，则判定该识别对象为已有违规占道经营，发送预警信息；否则判定为新迁入违规占道经营。
8.根据权利要求7所述的占道经营监测方法，其特征在于，所述将所述步骤2)确定的识别对象与目标底库进行匹配，包括：
提取所述步骤2)确定的识别对象的特征，分别与目标底库中存储的目标的特征进行匹配，计算步骤2)确定的识别对象的特征与目标底库中每一个目标特征的欧式距离，如果距离小于设定的阈值，判定二者为同一个目标。
9.一种占道经营监测***，其特征在于，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括权利要求1-8中任意一项的占道经营监测方法的过程。
10.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括权利要求1-8中任意一项的占道经营监测方法的过程。
CN202110554463.2A 2021-05-21 2021-05-21 占道经营监测方法、***与服务器 Active CN113095301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110554463.2A CN113095301B (zh) 2021-05-21 2021-05-21 占道经营监测方法、***与服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110554463.2A CN113095301B (zh) 2021-05-21 2021-05-21 占道经营监测方法、***与服务器

Publications (2)

Publication Number Publication Date
CN113095301A true CN113095301A (zh) 2021-07-09
CN113095301B CN113095301B (zh) 2021-08-31

Family

ID=76664613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110554463.2A Active CN113095301B (zh) 2021-05-21 2021-05-21 占道经营监测方法、***与服务器

Country Status (1)

Country Link
CN (1) CN113095301B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505767A (zh) * 2021-09-10 2021-10-15 南通辑兴紧固件科技有限公司 一种基于云计算的载货车辆占道经营行为检测方法及***
CN113947620A (zh) * 2021-10-22 2022-01-18 哈尔滨航天恒星数据***科技有限公司 一种基于划线检测在市场摊区摊位溢出管理***设计方法
CN115272984A (zh) * 2022-09-29 2022-11-01 江西电信信息产业有限公司 占道经营检测方法、***、计算机及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304798A (zh) * 2018-01-30 2018-07-20 北京同方软件股份有限公司 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN109214389A (zh) * 2018-09-21 2019-01-15 上海小萌科技有限公司 一种目标识别方法、计算机装置及可读存储介质
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN110503095A (zh) * 2019-08-27 2019-11-26 中国人民公安大学 目标检测模型的定位质量评价方法、定位方法及设备
CN111126252A (zh) * 2019-12-20 2020-05-08 浙江大华技术股份有限公司 摆摊行为检测方法以及相关装置
CN111931864A (zh) * 2020-09-17 2020-11-13 南京甄视智能科技有限公司 基于顶点距离与交并比多重优化目标检测器的方法与***
CN112465799A (zh) * 2020-12-09 2021-03-09 南京甄视智能科技有限公司 目标检测器的优化以及目标检测
CN112507813A (zh) * 2020-11-23 2021-03-16 北京旷视科技有限公司 事件检测方法、装置、电子设备及存储介质
CN112651293A (zh) * 2020-10-30 2021-04-13 华设设计集团股份有限公司 一种公路违法设摊事件视频检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304798A (zh) * 2018-01-30 2018-07-20 北京同方软件股份有限公司 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN110400332A (zh) * 2018-04-25 2019-11-01 杭州海康威视数字技术股份有限公司 一种目标检测跟踪方法、装置及计算机设备
CN109214389A (zh) * 2018-09-21 2019-01-15 上海小萌科技有限公司 一种目标识别方法、计算机装置及可读存储介质
CN110503095A (zh) * 2019-08-27 2019-11-26 中国人民公安大学 目标检测模型的定位质量评价方法、定位方法及设备
CN111126252A (zh) * 2019-12-20 2020-05-08 浙江大华技术股份有限公司 摆摊行为检测方法以及相关装置
CN111931864A (zh) * 2020-09-17 2020-11-13 南京甄视智能科技有限公司 基于顶点距离与交并比多重优化目标检测器的方法与***
CN112651293A (zh) * 2020-10-30 2021-04-13 华设设计集团股份有限公司 一种公路违法设摊事件视频检测方法
CN112507813A (zh) * 2020-11-23 2021-03-16 北京旷视科技有限公司 事件检测方法、装置、电子设备及存储介质
CN112465799A (zh) * 2020-12-09 2021-03-09 南京甄视智能科技有限公司 目标检测器的优化以及目标检测

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505767A (zh) * 2021-09-10 2021-10-15 南通辑兴紧固件科技有限公司 一种基于云计算的载货车辆占道经营行为检测方法及***
CN113505767B (zh) * 2021-09-10 2021-11-16 南通辑兴紧固件科技有限公司 一种基于云计算的载货车辆占道经营行为检测方法及***
CN113947620A (zh) * 2021-10-22 2022-01-18 哈尔滨航天恒星数据***科技有限公司 一种基于划线检测在市场摊区摊位溢出管理***设计方法
CN115272984A (zh) * 2022-09-29 2022-11-01 江西电信信息产业有限公司 占道经营检测方法、***、计算机及可读存储介质

Also Published As

Publication number Publication date
CN113095301B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113095301B (zh) 占道经营监测方法、***与服务器
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和***
CN106878674B (zh) 一种基于监控视频的停车检测方法及装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、***及装置
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别***的实现方法
Song et al. Vehicle behavior analysis using target motion trajectories
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN112560807B (zh) 一种基于人头检测的人群聚集检测方法
CN113822285A (zh) 一种用于复杂应用场景的车辆违停识别方法
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN107578048A (zh) 一种基于车型粗分类的远视场景车辆检测方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及***
Wu et al. Block-based hough transform for recognition of zebra crossing in natural scene images
Chughtai et al. Traffic Surveillance System: Robust Multiclass Vehicle Detection and Classification
CN115311458B (zh) 基于多任务学习的实时高速公路行人闯入事件检测方法
Kurniawan et al. Image processing technique for traffic density estimation
CN115187886A (zh) 一种车辆违规行为检测方法、装置及电子设备
CN116129343A (zh) 消防通道占用检测方法、装置及电子设备
Feng et al. Non-motor vehicle illegal behavior discrimination and license plate detection based on real-time video
CN113989749A (zh) 车站客流监控方法、电子设备及存储介质
Liu et al. Metro passenger flow statistics based on YOLOv3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.