CN112560743A - 公共区域异物检测方法、装置、设备及存储介质 - Google Patents

公共区域异物检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112560743A
CN112560743A CN202011538797.2A CN202011538797A CN112560743A CN 112560743 A CN112560743 A CN 112560743A CN 202011538797 A CN202011538797 A CN 202011538797A CN 112560743 A CN112560743 A CN 112560743A
Authority
CN
China
Prior art keywords
foreign matter
pedestrian
feature
inputting
monitoring image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011538797.2A
Other languages
English (en)
Other versions
CN112560743B (zh
Inventor
梁俊杰
赖众程
洪叁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202011538797.2A priority Critical patent/CN112560743B/zh
Publication of CN112560743A publication Critical patent/CN112560743A/zh
Application granted granted Critical
Publication of CN112560743B publication Critical patent/CN112560743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域，公开了一种公共区域异物检测方法、装置、设备及存储介质。该方法包括：采集第一监控图像并进行噪音和光线过滤，得到第二监控图像；标定第二监控图像中的行人检测区域和异物检测区域；将第二监控图像和行人检测区域输入行人检测模型进行行人识别；若行人识别结果为有行人，则将第二监控图像和异物检测区域输入异物定位模型进行异物定位；若异物定位结果非空，则将定位到的异物外接矩形图像输入异物分类模型进行物品分类，输出异物属于不同物品名称的概率值并取最大概率值对应物品名称作为异物名称以及进行异物预警。本发明能够抗干扰识别异物，提升异物识别精度，同时还能自动识别异物所属类别并进行预警。

Description

公共区域异物检测方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种公共区域异物检测方法、装置、设备及存储介质。
背景技术
在某些服务行业，为给客户提供一个舒适、宽敞、干净、安静的办理业务环境，保证客户服务体验或安全，比如银行大厅内，通常需要对公共区域进行异物检视。营业方人员往往每隔一定时间都会通过摄像头来观察着各个业务区的环境，是否桌面整齐、干净等等。而这种检视方式通常是由纯人工观察实现，这不仅效率低、观察时间还不准时，而且还浪费着人力成本。
现有基于摄像头自动识别异物的方式虽然能够由机器自动完成，但异物识别过程在复杂环境下的鲁棒性不好，容易受环境的干扰，比如因光线产生的阴影等其他干扰而导致误检成异物，检测准确率有待提高且抗干扰能力不足。
发明内容
本发明的主要目的在于解决如何在复杂公共场景下提高异物检测准确率的技术问题。
本发明第一方面提供了一种公共区域异物检测方法，所述公共区域异物检测方法包括：
采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
可选的，在本发明第一方面的第一种实现方式中，所述对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像包括：
采用快速傅立叶变换将所述第一监控图像从空间域转化到频域；
采用ButterWorth带通滤波器过滤所述第一监控图像对应频域中的低频分量和高频分量；
采用快速傅立叶反变换将过滤后的所述第一监控图像从频域恢复到空间域，得到去干扰后的第二监控图像。
可选的，在本发明第一方面的第二种实现方式中，在所述采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像之前，还包括：
拍摄目标监控区域的多张样本图像，其中，所述样本图像中包含有行人以及放置的异物；
依次对所述各样本图像进行行人检测与异物检测，输出行人检测框与异物检测框；
合并所述各样本图像对应的行人检测框与异物检测框；
将合并后的行人检测框对应外接矩形坐标作为行人检测区域对应的坐标标定框，以及将合并后的异物检测框对应外接矩形坐标作为异物检测区域对应的坐标标定框。
可选的，在本发明第一方面的第三种实现方式中，所述行人检测模型依次包括：Fast SE-Resnet18网络、多层卷积层、池化层、全连接层以及SoftMax层，所述将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果包括：
将所述第二监控图像和所述行人检测区域输入所述行人检测模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述行人检测区域内的多个第一特征图；
将所述各第一特征图输入所述行人检测模型中的多层卷积层进行多轮卷积操作，得到所述各第一特征图对应的多个第一特征矩阵；
将所述各第一特征矩阵输入所述行人检测模型中的池化层进行下采样与特征压缩，输出多个第二特征矩阵；
将所述各第二特征矩阵输入所述行人检测模型中的全连接层进行特征组合，得到多个第三特征矩阵；
将所述各第三特征矩阵输入所述行人检测模型中的SoftMax层进行特征分类，输出行人识别结果。
可选的，在本发明第一方面的第四种实现方式中，所述异物定位模型包括：编码器和解码器，所述编码器由Fast SE-Resnet18网络构成，所述解码器依次包括：池化层、多层反卷积层、SoftMax层，所述若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果包括：
若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入所述异物定位模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述异物检测区域内的多个第一分割特征图；
将所述各第一分割特征图输入所述异物定位模型中的池化层进行上采样与特征压缩，输出多个第二分割特征图；
将所述各第二分割特征图输入所述异物定位模型中的多层反卷积层进行反卷积操作，得到所述各第二分割特征图对应的多个分割特征矩阵；
将所述各分割特征矩阵输入所述异物定位模型中的SoftMax层进行特征分类，输出所述第二监控图像中各分割图像为背景的概率值，并根据所述各概率值，定位异物所在的分割图像并作为异物定位结果输出。
可选的，在本发明第一方面的第五种实现方式中，所述异物分类模型依次包括：SE-ResNet34网络、多层卷积层、池化层、全连接层以及SoftMax层，所述若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值包括：
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入所述SE-ResNet34网络进行特征提取，输出所述异物外接矩形图像的多个第二特征图；
将所述各第二特征图输入所述异物分类模型中的多层卷积层进行卷积操作，得到所述各第二特征图对应的多个第四特征矩阵；
将所述各第四特征矩阵输入所述异物分类模型中的池化层进行下采样与特征压缩，输出多个第五特征矩阵；
将所述各第五特征矩阵输入所述异物分类模型中的全连接层进行特征组合，得到多个第六特征矩阵；
将所述各第六特征矩阵输入所述异物分类模型中的SoftMax层进行特征分类，输出目标异物分别对应不同物品名称的概率值。
本发明第二方面提供了一种公共区域异物检测装置，所述公共区域异物检测装置包括：
去干扰模块，用于采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
区域标定模块，用于基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
行人识别模块，用于将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
异物定位模块，用于若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
物品分类模块，用于若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
异物确定模块，用于选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
可选的，在本发明第二方面的第一种实现方式中，所述公共区域异物检测装置还包括：
标定框选定模块，用于拍摄目标监控区域的多张样本图像，其中，所述样本图像中包含有行人以及放置的异物；依次对所述各样本图像进行行人检测与异物检测，输出行人检测框与异物检测框；合并所述各样本图像对应的行人检测框与异物检测框；将合并后的行人检测框对应外接矩形坐标作为行人检测区域对应的坐标标定框，以及将合并后的异物检测框对应外接矩形坐标作为异物检测区域对应的坐标标定框。
可选的，在本发明第二方面的第二种实现方式中，所述去干扰模块包括：
采集单元，用于采集目标监控区域的第一监控图像；
去干扰单元，用于采用快速傅立叶变换将所述第一监控图像从空间域转化到频域；采用ButterWorth带通滤波器过滤所述第一监控图像对应频域中的低频分量和高频分量；采用快速傅立叶反变换将过滤后的所述第一监控图像从频域恢复到空间域，得到去干扰后的第二监控图像。
可选的，在本发明第二方面的第三种实现方式中，所述行人检测模型依次包括：Fast SE-Resnet18网络、多层卷积层、池化层、全连接层以及SoftMax层，所述行人识别模块具体用于：
将所述第二监控图像和所述行人检测区域输入所述行人检测模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述行人检测区域内的多个第一特征图；将所述各第一特征图输入所述行人检测模型中的多层卷积层进行多轮卷积操作，得到所述各第一特征图对应的多个第一特征矩阵；将所述各第一特征矩阵输入所述行人检测模型中的池化层进行下采样与特征压缩，输出多个第二特征矩阵；将所述各第二特征矩阵输入所述行人检测模型中的全连接层进行特征组合，得到多个第三特征矩阵；将所述各第三特征矩阵输入所述行人检测模型中的SoftMax层进行特征分类，输出行人识别结果。
可选的，在本发明第二方面的第四种实现方式中，所述异物定位模型包括：编码器和解码器，所述编码器由Fast SE-Resnet18网络构成，所述解码器依次包括：池化层、多层反卷积层、SoftMax层，所述异物定位模块具体用于：
若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入所述异物定位模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述异物检测区域内的多个第一分割特征图；将所述各第一分割特征图输入所述异物定位模型中的池化层进行上采样与特征压缩，输出多个第二分割特征图；将所述各第二分割特征图输入所述异物定位模型中的多层反卷积层进行反卷积操作，得到所述各第二分割特征图对应的多个分割特征矩阵；将所述各分割特征矩阵输入所述异物定位模型中的SoftMax层进行特征分类，输出所述第二监控图像中各分割图像为背景的概率值，并根据所述各概率值，定位异物所在的分割图像并作为异物定位结果输出。
可选的，在本发明第二方面的第四种实现方式中，所述异物分类模型依次包括：SE-ResNet34网络、多层卷积层、池化层、全连接层以及SoftMax层，所述物品分类模块具体用于：
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入所述SE-ResNet34网络进行特征提取，输出所述异物外接矩形图像的多个第二特征图；将所述各第二特征图输入所述异物分类模型中的多层卷积层进行卷积操作，得到所述各第二特征图对应的多个第四特征矩阵；将所述各第四特征矩阵输入所述异物分类模型中的池化层进行下采样与特征压缩，输出多个第五特征矩阵；将所述各第五特征矩阵输入所述异物分类模型中的全连接层进行特征组合，得到多个第六特征矩阵；将所述各第六特征矩阵输入所述异物分类模型中的SoftMax层进行特征分类，输出目标异物分别对应不同物品名称的概率值。
本发明第三方面提供了一种公共区域异物检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述公共区域异物检测设备执行上述的公共区域异物检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的公共区域异物检测方法。
本发明提供的技术方案中，在采集到监控原始图像后，先将原始图像转到频域上，利用带通滤波器过滤高频的噪音和低频的光线干扰，然后再将过滤后的频域图转换到空间域上，得到去除干扰后的新图像，然后进行行人识别，当确定存在行人时，再对对新的图像进行异物定位，使用分割网络得到与背景图不一样的异物，最后再经过分类网络进行异物分类得到异物所属物品类别。本发明能够抗干扰识别异物，提升了异物识别精度，同时自动识别异物所属类别，便于工作人员快速处理。
附图说明
图1为本发明实施例中公共区域异物检测方法的第一个实施例示意图；
图2为本发明实施例中公共区域异物检测方法的第二个实施例示意图；
图3为本发明实施例中公共区域异物检测装置的第一个实施例示意图；
图4为本发明实施例中公共区域异物检测装置的第二个实施例示意图；
图5为本发明实施例中公共区域异物检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种公共区域异物检测方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中公共区域异物检测方法的第一个实施例包括：
101、采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
可以理解的是，本发明的执行主体可以为公共区域异物检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中通过摄像头拍摄目标监控区域形成监控图像，在进行检测时只需采集一帧图像进行检测，目标监控区域不限，可以是营业大厅，也可以是休息室等。本实施例中所述的异物指原本不属于当前监控区域环境中的物品，在具体应用场景中特指他人遗忘的物品，比如雨伞、茶杯、背包、手提包等。
可选的，在一实施例中，采用如下方式进行噪音和光线过滤：
S1、采用快速傅立叶变换将所述第一监控图像从空间域转化到频域；
S2、采用ButterWorth带通滤波器过滤所述第一监控图像对应频域中的低频分量和高频分量；
S3、采用快速傅立叶反变换将过滤后的所述第一监控图像从频域恢复到空间域，得到去干扰后的第二监控图像。
本可选实施例中，先将原始图像从空间域转化到频域上，具体利用快速傅立叶变换将空间域转到频域上。经过分析环境光等光线干扰是属于低频分量，而噪音是属于高频分量，因此使用Butterworth带通滤波来过滤低频分量和高频分量，使用带通滤波器可以过滤图像中的噪音和光线等干扰。最后再对滤去环境光的频域图像，经快速傅立叶反变换，从频域恢复到空间域，得到新的RGB图像。
102、基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
本实施例中，为快速实现行人检测与异物检测，减少检测工作量，提升检测效率与准确率，因此，在进行检测前，先标定出待检测区域，具体包括：
(一)行人检测区域
增加进行行人检测是为了避免发生误判。物品只有在无人看管的情况下才可判定为异物，如果有客户在目标检测区域里面，那么客户由可能是在进行业务或者等待，这时物品有人看管，因此属于正常状态，不能产生异物预警。
(二)异物检测区域
通常摄像头都固定设置在高空位置，其拍摄的视野覆盖整个监控区域，而监控区域内可能还存在其他的物品(非异物)，如果对所有监控区域都进行异物检测势必需要识别多种物品以及还需要对识别到的物品进行异物区分，这不仅增加了算法的复杂度，同时也降低了检测效率和异物识别准确度，因此，需要进一步缩小检测范围，也即标定异物检测区域。
可选的，在一实施例中，采用如下方式获取行人检测区域和异物检测区域对应的坐标标定框，具体如下：
S1、拍摄目标监控区域的多张样本图像，其中，所述样本图像中包含有行人以及放置的异物；
S2、依次对所述各样本图像进行行人检测与异物检测，输出行人检测框与异物检测框；
S3、合并所述各样本图像对应的行人检测框与异物检测框；
S4、将合并后的行人检测框对应外接矩形坐标作为行人检测区域对应的坐标标定框，以及将合并后的异物检测框对应外接矩形坐标作为异物检测区域对应的坐标标定框。
本可选实施例中，由于摄像头位置固定、拍摄视角也固定，并且监控区域内的固定物品位置不会发生变化，因此，由同一摄像头拍摄的任意照片中固定物品的位置坐标相同，因此，可将上述方式得到的坐标标定框用于标定行人检测区域和异物检测区域。
103、将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
本实施例中，行人检测模型预先训练生成，该模型能够对输入图像中的指定区域进行行人检测，既可以是针对走动的人，也可以是针对坐着或站着的人。
传统的目标检测模型SSD模型(Single Shot MultiBox Detector)使用VGG16基础网络来提取图像的特征。VGG16基础网络在提取特征时候比较耗时，而且缺少了注意机制的特性，让神经网络关注不重要的部分，从而产生误差。因此本实施例使用自定义的卷积神经网络模型进行训练，该卷积神经网络模型优选使用Fast SE-Resnet18网络代替SSD的基础网络VGG16。
本实施例仅对监控图像(即第二监控图像)中标定的行人检测区域内的图像进行行人识别，减少了计算量，提升了行人识别速度和检测准确度。
104、若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
本实施例中，若行人检测模型识别到当前目标监控区域内存在行人，则当前环境中存在的物品可能属于该行人所有而非异物，因此无需进行异物检测，直接对下一帧监控图像进行处理。而若当前目标监控区域内不存在行人，则可以进行异物检测。
传统的图像分割模型SegNet模型的网络结构复杂且识别速度和准确率都不太理想，因此本实施例针对SegNet模型的缺点进行创新，使用自定义的卷积神经网络模型进行训练，该卷积神经网络模型优选使用自定义的Fast SE-Resnet18网络代替SegNet的基础网络。
本实施例中，异物定位模型在识别图像中异物的同时，还进一步通过外接矩形框输出该异物在监控图像中的位置。本实施例仅对监控图像(即第二监控图像)中标定的异物检测区域内的图像进行异物识别，减少了计算量，提升了异物识别速度和检测准确度。
105、若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
本实施例中，若异物定位结果非空，也即当定位到监控图像中的异物时，进一步将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，给出该异物的属于各类物品的概率值。而若异物定位结果为空，则继续对下一帧监控图像进行处理。
106、选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
本实施例中，在识别出目标监控区域内的异物后，进一步向相关监控人员进行异物预警，比如提醒目标监控区域存在某某物品等，以便工作人员能够及时处理，比如该物品可能是客户遗忘而落下的，可以让工作人员及时提醒客户。
本实施例中，在采集到监控原始图像后，先将原始图像转到频域上，利用带通滤波器过滤高频的噪音和低频的光线干扰，然后再将过滤后的频域图转换到空间域上，得到去除干扰后的新图像，然后进行行人识别，当确定存在行人时，再对对新的图像进行异物定位，使用分割网络得到与背景图不一样的异物，最后再经过分类网络进行异物分类得到异物所属物品类别。本实施例能够抗干扰识别异物，提升了异物识别精度，同时自动识别异物所属类别，便于工作人员快速处理。
请参阅图2，本发明实施例中公共区域异物检测方法的第二个实施例包括：
201、采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
202、基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
203、将所述第二监控图像和所述行人检测区域输入行人检测模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述行人检测区域内的多个第一特征图；
204、将所述各第一特征图输入所述行人检测模型中的多层卷积层进行多轮卷积操作，得到所述各第一特征图对应的多个第一特征矩阵；
205、将所述各第一特征矩阵输入所述行人检测模型中的池化层进行下采样与特征压缩，输出多个第二特征矩阵；
206、将所述各第二特征矩阵输入所述行人检测模型中的全连接层进行特征组合，得到多个第三特征矩阵；
207、将所述各第三特征矩阵输入所述行人检测模型中的SoftMax层进行特征分类，输出行人识别结果；
本实施例中，行人检测模型由Fast SE-Resnet18网络、多层卷积层、池化层、全连接层以及SoftMax层构成。本实施例使用自定义的卷积神经网络模型进行训练，该卷积神经网络模型优选使用Fast SE-Resnet18网络代替SSD的基础网络VGG16。
本实施例的Fast SE-Resnet18网络主要由以下4部分依次上下连接构成，每一部分包括由上下叠加的两个相同卷积核构成，具体结构如下：
Figure BDA0002853970340000111
Figure BDA0002853970340000112
Fast SE-Resnet18网络里面的每个部分用于进行特征叠加，叠加机制具体为：在每部分的下面小部分中叠加一次，而且上面的小部分会添加一个SE_Block结构，从而使Fast SE-Resnet18网络自动聚焦在细微的关键信息上面。而且Fast SE-Resnet18网络采用了密集连接策略来进行特征融合，密集连接是上层的连接点都与下层每个链连接点叠加融合。
本实施例中，Fast SE-Resnet18网络作为行人检测模型的基础网络进行初步特征提取，还进一步增加了多层卷积层、一层池化层、一层全连接层以及一层SoftMax层，其中，使用Fast SE-Resnet18网络进行特征提取可以提升特征提取速度，丰富特征信息量，提高识别准确度，最后输出监控图像在行人检测区域内的多个特征图，然后将Fast SE-Resnet18网络输出的特征图进一步输入多层卷积层进行多轮卷积操作，得到特征图对应特征矩阵，然后将特征矩阵输入池化层进行下采样与特征压缩，提升特征矩阵的特征信息量，最后再将处理后的特征矩阵输入全连接层进行特征组合，并将组合后的特征矩阵输入SoftMax层进行特征分类，从而得到行人识别结果。
208、若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入所述异物定位模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述异物检测区域内的多个第一分割特征图；
209、将所述各第一分割特征图输入所述异物定位模型中的池化层进行上采样与特征压缩，输出多个第二分割特征图；
210、将所述各第二分割特征图输入所述异物定位模型中的多层反卷积层进行反卷积操作，得到所述各第二分割特征图对应的多个分割特征矩阵；
211、将所述各分割特征矩阵输入所述异物定位模型中的SoftMax层进行特征分类，输出所述第二监控图像中各分割图像为背景的概率值，并根据所述各概率值，定位异物所在的分割图像并作为异物定位结果输出；
本实施例中，异物定位模型依次包括：编码器和解码器，编码器由Fast SE-Resnet18网络构成，解码器依次包括：池化层、多层反卷积层、SoftMax层，本实施例针对SegNet模型的缺点进行创新，使用自定义的卷积神经网络模型进行训练，该卷积神经网络模型优选使用自定义的Fast SE-Resnet18网络代替SegNet的基础网络，以提高分割模型的速度和准确率。下面以224*224大小的图像进行异物检测的举例说明。
首先将224*224大小的图像输入到Fast SE-Resnet18网络中，在卷积层conv5_x中特征图的大小为7*7，然后经过两个卷积后进行上采样将特征图扩大到14*14，再通过多层反卷积层进行反卷积操作，将特征图的大小进一步扩大为56*56，最后再直接输入SoftMax层进行特征分类，给出各分割图像为背景的概率值，比如黑色为背景，白色为前景，白色区域即为从监控图像中定位到的异物。
本实施例中，Fast SE-Resnet18网络作为异物定位模型的编码器用于进行初步特征提取，还进一步提供了解码器用于对提取的特征进行处理，具体包括：一层池化层、多层反卷积层、一层SoftMax层，其中，使用Fast SE-Resnet18网络进行特征提取可以提升特征提取速度，丰富特征信息量，提高识别准确度，最后输出监控图像在异物检测区域内的多个分割特征图，然后再将Fast SE-Resnet18网络输出的分割特征图进一步输入池化层进行上采样与特征压缩，提升分割特征图的特征信息量，最后再将处理后的分割特征图输入多层反卷积层进行反卷积操作，得到对应的分割特征矩阵，最后再将分割特征矩阵输入SoftMax层进行特征分类，输出监控图像中各分割图像为背景的概率值，并根据各概率值，定位异物所在的分割图像并作为异物定位结果输出。
212、若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
本实施例中，异物分类模型依次包括：SE-ResNet34网络、多层卷积层、池化层、全连接层以及SoftMax层。本实施例根据监控环境与监控场景的实际情况，预先将异物的类别设定为常见的类别，比如书本、瓶子、手机、电脑、小风扇、钱包、口罩、笔、纸巾、伞、钥匙、书包、衣服等。本实施例的异物分类模型用于识别监控图像中的异物为上述物品的概率。
本实施例对ResNet34网络进行了改进，提出了使用SE-ResNet34网络作为异物分类模型的基础网络进行特征提取，主要由以下4部分依次上下连接构成，每一部分包括由上下叠加的多个相同卷积核构成，具体结构如下：
Figure BDA0002853970340000131
Figure BDA0002853970340000132
SE-ResNet34网络里面的每个部分用于进行特征叠加，叠加机制具体为：在每部分的下面小部分中叠加一次，而且上面的小部分会添加一个SE_Block结构，从而使SE-ResNet34网络自动聚焦在细微的关键信息上面。而且SE-ResNet34网络同样采用了密集连接策略来进行特征融合，密集连接是上层的连接点都与下层每个链连接点叠加融合。
可选的，在一实施例中，物品分类的处理过程如下：
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入所述SE-ResNet34网络进行特征提取，输出所述异物外接矩形图像的多个第二特征图；
将所述各第二特征图输入所述异物分类模型中的多层卷积层进行卷积操作，得到所述各第二特征图对应的多个第四特征矩阵；
将所述各第四特征矩阵输入所述异物分类模型中的池化层进行下采样与特征压缩，输出多个第五特征矩阵；
将所述各第五特征矩阵输入所述异物分类模型中的全连接层进行特征组合，得到多个第六特征矩阵；
将所述各第六特征矩阵输入所述异物分类模型中的SoftMax层进行特征分类，输出目标异物分别对应不同物品名称的概率值。
本可选实施例中，先将定位到的异物外接矩形图像缩放成指定大小，比如224*224，然后再输入到SE-ResNet34网络中进行特征提取，得到异物外接矩形图像的特征图，然后再将提取到的特征图输入多层卷积层进行卷积操作，得到特征图对应特征矩阵，然后将特征矩阵输入池化层进行下采样与特征压缩，提升特征矩阵的特征信息量，最后再将处理后的特征矩阵输入全连接层进行特征组合，并将组合后的特征矩阵输入SoftMax层进行特征分类，从而得到得到异物为指定物品类别的概率。
213、选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
本实施例对现有目标识别、图像分割模型进行了改进，大幅提升了图像特征提取速度，丰富特征信息量，提高识别准确度，同时还能够抗干扰识别异物以及自动识别异物所属类别，便于工作人员快速处理。
上面对本发明实施例中公共区域异物检测方法进行了描述，下面对本发明实施例中公共区域异物检测装置进行描述，请参阅图3，本发明实施例中公共区域异物检测装置第一个实施例包括：
去干扰模块301，用于采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
区域标定模块302，用于基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
行人识别模块303，用于将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
异物定位模块304，用于若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
物品分类模块305，用于若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
异物确定模块306，用于选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
本实施例中，在采集到监控原始图像后，先将原始图像转到频域上，利用带通滤波器过滤高频的噪音和低频的光线干扰，然后再将过滤后的频域图转换到空间域上，得到去除干扰后的新图像，然后进行行人识别，当确定存在行人时，再对对新的图像进行异物定位，使用分割网络得到与背景图不一样的异物，最后再经过分类网络进行异物分类得到异物所属物品类别。本实施例能够抗干扰识别异物，提升了异物识别精度，同时自动识别异物所属类别，便于工作人员快速处理。
请参阅图4，本发明实施例中公共区域异物检测装置第二个实施例包括：
去干扰模块301，用于采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
区域标定模块302，用于基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
行人识别模块303，用于将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
异物定位模块304，用于若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
物品分类模块305，用于若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
异物确定模块306，用于选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警；
标定框选定模块307，用于拍摄目标监控区域的多张样本图像，其中，所述样本图像中包含有行人以及放置的异物；依次对所述各样本图像进行行人检测与异物检测，输出行人检测框与异物检测框；合并所述各样本图像对应的行人检测框与异物检测框；将合并后的行人检测框对应外接矩形坐标作为行人检测区域对应的坐标标定框，以及将合并后的异物检测框对应外接矩形坐标作为异物检测区域对应的坐标标定框。
可选的，在一实施例中，所述去干扰模块301包括：
采集单元，用于采集目标监控区域的第一监控图像；
去干扰单元，用于采用快速傅立叶变换将所述第一监控图像从空间域转化到频域；采用ButterWorth带通滤波器过滤所述第一监控图像对应频域中的低频分量和高频分量；采用快速傅立叶反变换将过滤后的所述第一监控图像从频域恢复到空间域，得到去干扰后的第二监控图像。
可选的，在一实施例中，所述行人检测模型依次包括：Fast SE-Resnet18网络、多层卷积层、池化层、全连接层以及SoftMax层，所述行人识别模块303具体用于：
将所述第二监控图像和所述行人检测区域输入所述行人检测模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述行人检测区域内的多个第一特征图；将所述各第一特征图输入所述行人检测模型中的多层卷积层进行多轮卷积操作，得到所述各第一特征图对应的多个第一特征矩阵；将所述各第一特征矩阵输入所述行人检测模型中的池化层进行下采样与特征压缩，输出多个第二特征矩阵；将所述各第二特征矩阵输入所述行人检测模型中的全连接层进行特征组合，得到多个第三特征矩阵；将所述各第三特征矩阵输入所述行人检测模型中的SoftMax层进行特征分类，输出行人识别结果。
可选的，在一实施例中，所述异物定位模型包括：编码器和解码器，所述编码器由Fast SE-Resnet18网络构成，所述解码器依次包括：池化层、多层反卷积层、SoftMax层，所述异物定位模块304具体用于：
若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入所述异物定位模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述异物检测区域内的多个第一分割特征图；将所述各第一分割特征图输入所述异物定位模型中的池化层进行上采样与特征压缩，输出多个第二分割特征图；将所述各第二分割特征图输入所述异物定位模型中的多层反卷积层进行反卷积操作，得到所述各第二分割特征图对应的多个分割特征矩阵；将所述各分割特征矩阵输入所述异物定位模型中的SoftMax层进行特征分类，输出所述第二监控图像中各分割图像为背景的概率值，并根据所述各概率值，定位异物所在的分割图像并作为异物定位结果输出。
可选的，在一实施例中，所述异物分类模型依次包括：SE-ResNet34网络、多层卷积层、池化层、全连接层以及SoftMax层，所述物品分类模块305具体用于：
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入所述SE-ResNet34网络进行特征提取，输出所述异物外接矩形图像的多个第二特征图；将所述各第二特征图输入所述异物分类模型中的多层卷积层进行卷积操作，得到所述各第二特征图对应的多个第四特征矩阵；将所述各第四特征矩阵输入所述异物分类模型中的池化层进行下采样与特征压缩，输出多个第五特征矩阵；将所述各第五特征矩阵输入所述异物分类模型中的全连接层进行特征组合，得到多个第六特征矩阵；将所述各第六特征矩阵输入所述异物分类模型中的SoftMax层进行特征分类，输出目标异物分别对应不同物品名称的概率值。
本实施例对现有目标识别、图像分割模型进行了改进，大幅提升了图像特征提取速度，丰富特征信息量，提高识别准确度，同时还能够抗干扰识别异物以及自动识别异物所属类别，便于工作人员快速处理。
上面图3和图4从模块化功能实体的角度对本发明实施例中的公共区域异物检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中公共区域异物检测设备进行详细描述。
图5是本发明实施例提供的一种公共区域异物检测设备的结构示意图，该公共区域异物检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对公共区域异物检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在公共区域异物检测设备500上执行存储介质530中的一系列指令操作。
公共区域异物检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作***531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的公共区域异物检测设备结构并不构成对公共区域异物检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种公共区域异物检测设备，所述公共区域异物检测设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述公共区域异物检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述公共区域异物检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种公共区域异物检测方法，其特征在于，所述公共区域异物检测方法包括：
采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
2.根据权利要求1所述的公共区域异物检测方法，其特征在于，所述对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像包括：
采用快速傅立叶变换将所述第一监控图像从空间域转化到频域；
采用ButterWorth带通滤波器过滤所述第一监控图像对应频域中的低频分量和高频分量；
采用快速傅立叶反变换将过滤后的所述第一监控图像从频域恢复到空间域，得到去干扰后的第二监控图像。
3.根据权利要求1所述的公共区域异物检测方法，其特征在于，在所述采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像之前，还包括：
拍摄目标监控区域的多张样本图像，其中，所述样本图像中包含有行人以及放置的异物；
依次对所述各样本图像进行行人检测与异物检测，输出行人检测框与异物检测框；
合并所述各样本图像对应的行人检测框与异物检测框；
将合并后的行人检测框对应外接矩形坐标作为行人检测区域对应的坐标标定框，以及将合并后的异物检测框对应外接矩形坐标作为异物检测区域对应的坐标标定框。
4.根据权利要求1-3中任一项所述的公共区域异物检测方法，其特征在于，所述行人检测模型依次包括：Fast SE-Resnet18网络、多层卷积层、池化层、全连接层以及SoftMax层，所述将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果包括：
将所述第二监控图像和所述行人检测区域输入所述行人检测模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述行人检测区域内的多个第一特征图；
将所述各第一特征图输入所述行人检测模型中的多层卷积层进行多轮卷积操作，得到所述各第一特征图对应的多个第一特征矩阵；
将所述各第一特征矩阵输入所述行人检测模型中的池化层进行下采样与特征压缩，输出多个第二特征矩阵；
将所述各第二特征矩阵输入所述行人检测模型中的全连接层进行特征组合，得到多个第三特征矩阵；
将所述各第三特征矩阵输入所述行人检测模型中的SoftMax层进行特征分类，输出行人识别结果。
5.根据权利要求1-3中任一项所述的公共区域异物检测方法，其特征在于，所述异物定位模型包括：编码器和解码器，所述编码器由Fast SE-Resnet18网络构成，所述解码器依次包括：池化层、多层反卷积层、SoftMax层，所述若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果包括：
若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入所述异物定位模型中的Fast SE-Resnet18网络进行特征提取，输出所述第二监控图像在所述异物检测区域内的多个第一分割特征图；
将所述各第一分割特征图输入所述异物定位模型中的池化层进行上采样与特征压缩，输出多个第二分割特征图；
将所述各第二分割特征图输入所述异物定位模型中的多层反卷积层进行反卷积操作，得到所述各第二分割特征图对应的多个分割特征矩阵；
将所述各分割特征矩阵输入所述异物定位模型中的SoftMax层进行特征分类，输出所述第二监控图像中各分割图像为背景的概率值，并根据所述各概率值，定位异物所在的分割图像并作为异物定位结果输出。
6.根据权利要求1-3中任一项所述的公共区域异物检测方法，其特征在于，所述异物分类模型依次包括：SE-ResNet34网络、多层卷积层、池化层、全连接层以及SoftMax层，所述若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值包括：
若所述异物定位结果非空，则将定位到的异物外接矩形图像输入所述SE-ResNet34网络进行特征提取，输出所述异物外接矩形图像的多个第二特征图；
将所述各第二特征图输入所述异物分类模型中的多层卷积层进行卷积操作，得到所述各第二特征图对应的多个第四特征矩阵；
将所述各第四特征矩阵输入所述异物分类模型中的池化层进行下采样与特征压缩，输出多个第五特征矩阵；
将所述各第五特征矩阵输入所述异物分类模型中的全连接层进行特征组合，得到多个第六特征矩阵；
将所述各第六特征矩阵输入所述异物分类模型中的SoftMax层进行特征分类，输出目标异物分别对应不同物品名称的概率值。
7.一种公共区域异物检测装置，其特征在于，所述公共区域异物检测装置包括：
去干扰模块，用于采集目标监控区域的第一监控图像，并对所述第一监控图像进行噪音和光线过滤，得到去干扰后的第二监控图像；
区域标定模块，用于基于预置坐标标定框，标定所述第二监控图像中的行人检测区域和异物检测区域；
行人识别模块，用于将所述第二监控图像和所述行人检测区域输入预置行人检测模型进行行人识别，输出行人识别结果；
异物定位模块，用于若所述行人识别结果为有行人，则将所述第二监控图像和所述异物检测区域输入预置异物定位模型进行异物定位，输出异物定位结果；
物品分类模块，用于若所述异物定位结果非空，则将定位到的异物外接矩形图像输入预置异物分类模型进行物品分类，输出目标异物分别对应不同物品名称的概率值；
异物确定模块，用于选取最大概率值对应的物品名称作为所述目标异物的物品名称，并对所述目标异物进行异物预警。
8.根据权利要求7所述的公共区域异物检测装置，其特征在于，所述公共区域异物检测装置还包括：
标定框选定模块，用于拍摄目标监控区域的多张样本图像，其中，所述样本图像中包含有行人以及放置的异物；依次对所述各样本图像进行行人检测与异物检测，输出行人检测框与异物检测框；合并所述各样本图像对应的行人检测框与异物检测框；将合并后的行人检测框对应外接矩形坐标作为行人检测区域对应的坐标标定框，以及将合并后的异物检测框对应外接矩形坐标作为异物检测区域对应的坐标标定框。
9.一种公共区域异物检测设备，其特征在于，所述公共区域异物检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述公共区域异物检测设备执行如权利要求1-6中任一项所述的公共区域异物检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的公共区域异物检测方法。
CN202011538797.2A 2020-12-23 2020-12-23 公共区域异物检测方法、装置、设备及存储介质 Active CN112560743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011538797.2A CN112560743B (zh) 2020-12-23 2020-12-23 公共区域异物检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011538797.2A CN112560743B (zh) 2020-12-23 2020-12-23 公共区域异物检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112560743A true CN112560743A (zh) 2021-03-26
CN112560743B CN112560743B (zh) 2024-05-31

Family

ID=75032247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011538797.2A Active CN112560743B (zh) 2020-12-23 2020-12-23 公共区域异物检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112560743B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160217A (zh) * 2021-05-12 2021-07-23 北京京东乾石科技有限公司 一种线路异物的检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985169A (zh) * 2018-06-15 2018-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN109784186A (zh) * 2018-12-18 2019-05-21 深圳云天励飞技术有限公司 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
WO2020062088A1 (zh) * 2018-09-28 2020-04-02 安徽继远软件有限公司 图像识别方法和设备、存储介质和处理器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985169A (zh) * 2018-06-15 2018-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
WO2020062088A1 (zh) * 2018-09-28 2020-04-02 安徽继远软件有限公司 图像识别方法和设备、存储介质和处理器
CN109784186A (zh) * 2018-12-18 2019-05-21 深圳云天励飞技术有限公司 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160217A (zh) * 2021-05-12 2021-07-23 北京京东乾石科技有限公司 一种线路异物的检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112560743B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111553422A (zh) 手术器械自动识别回收方法及***
KR101933856B1 (ko) 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법
CN110443179B (zh) 离岗检测方法、装置以及存储介质
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
CN108960260A (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN112435214A (zh) 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN111161295A (zh) 一种菜品图像背景剥离方法
CN113988271A (zh) 高分辨率遥感影像变化的检测方法及装置、设备
CN112132773B (zh) 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
CN112560743B (zh) 公共区域异物检测方法、装置、设备及存储介质
CN114782437A (zh) 一种基于人工智能的电脑主板质量检测方法及***
CN114723724A (zh) 基于人工智能的危险品识别方法、装置、设备及存储介质
Tribak et al. QR code patterns localization based on Hu Invariant Moments
CN117830210A (zh) 缺陷检测方法、装置、电子设备及存储介质
CN113052234A (zh) 一种基于图像特征和深度学习技术的玉石分类方法
CN116503733B (zh) 遥感图像目标检测方法、设备及存储介质
CN117315578A (zh) 一种结合分类网络的锈斑面积扩大的监测方法与***
CN116563306A (zh) 自适应火灾痕迹光谱图像分割方法及***
CN110992361A (zh) 基于代价平衡的发动机紧固件检测***及检测方法
Tan et al. Automatic extraction of built-up area based on deep convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant