CN111242010A - 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法 - Google Patents

一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法 Download PDF

Info

Publication number
CN111242010A
CN111242010A CN202010026367.6A CN202010026367A CN111242010A CN 111242010 A CN111242010 A CN 111242010A CN 202010026367 A CN202010026367 A CN 202010026367A CN 111242010 A CN111242010 A CN 111242010A
Authority
CN
China
Prior art keywords
edge
garbage
throwing
identity
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010026367.6A
Other languages
English (en)
Inventor
余齐齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Bohai Zhongtian Information Technology Co ltd
Original Assignee
Xiamen Bohai Zhongtian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Bohai Zhongtian Information Technology Co ltd filed Critical Xiamen Bohai Zhongtian Information Technology Co ltd
Priority to CN202010026367.6A priority Critical patent/CN111242010A/zh
Publication of CN111242010A publication Critical patent/CN111242010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及判断乱扔垃圾及识别违法人员身份的技术领域，特别涉及一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其中，本发明提供的一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法，通过边缘AI计算方法，实现加速识别的计算资源和存储资源，能够更快速识别是否有乱扔垃圾的行为，在采用边缘AI计算去判断乱扔垃圾的行为同时采用人脸识别技术，识别乱扔垃圾人员的身份，帮助做好人员身份溯源，由违法行为追溯到违法人员，有利于对乱扔垃圾的个体进行教育及建立责任体系。

Description

一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法
技术领域
本发明涉及判断乱扔垃圾及识别违法人员身份的技术领域，特别涉及一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法。
背景技术
随着我国社会经济的快速发展，如何进一步提升城市品位，改善城市形象，美化城市环境等问题成为摆在政府面前的重大课题，提升环境和优化城市管理，树立城市新形象，提升城市品位，促进文明城市的活动全面开展。
随着城市化进程的不断加深，城市环境监测效率不足成为一个亟待解决的问题，生活垃圾作为影响城市环境的一个重要影响因素，随着城市生活水平的提升而大量产生，而垃圾的有效管控也越来越成为城市环保工作的一个重大课题，以往大量随意丢弃的垃圾已经对我们的水土资源造成了危害，直接威胁着我们的生存与发展；而环卫工作的信息采集处理和分析作为其中重要一环也还没有成熟的解决方案，通常仅是通过环卫工人的人为发现并制止，效率低下。这种情况下，原有的环境监测方式已经无法满足数字城市的实际需要，基于人工智能的综合高效的环境检测***成为城市化发展的必然诉求。
然而，目前乱扔垃圾的不文明现象仍然比比皆是、履禁不止，很难进行有效的管控，全靠人们的自主意识。现有的人工智能算法模型在识别是否存在乱扔垃圾行为上，采用的是首先判断是否有人进入禁扔垃圾区域，然后进行语音播报提醒不可乱扔垃圾。
此种方法只能起到提醒的作用，实现效果取决于个人素质的高低，无法真正做到禁止乱扔垃圾的行为。
发明内容
为解决上述背景技术中提及的现有技术中仅仅能够实现提醒禁止乱扔垃圾，无法对乱扔垃圾人员的身份进行确认的问题，本发明提供一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法,包括以下步骤：
S100、云端算例中心用基于Region Proposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
S200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
S300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒；
S400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
在上述方案的基础上，进一步地，所述原始数据算例模型通过以下步骤得到：
S110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
S120、基于源数据和fasterrcnn算法网络进行AI建模，生成原始数据算例模型。
在上述方案的基础上，进一步地，所述步骤S110包括以下步骤：
S111、获取包含人和扔垃圾行为的图片，作为数据源；
S112、将数据源进行模型深度模型训练标注并形成源数据，所述标注包括图像所在位置、图像名称、图像宽高、图像维度以及标注的物体的名称与Bbox的xy坐标值。
在上述方案的基础上，进一步地，所述步骤S120包括以下步骤：
S121、原始图片经过多层卷积神经网络，提取出候选图像的feature maps，所述feature maps还可以被共享用于后续RPN网络和全连接层使用；
S122、所述feature maps经过RPN层生成region proposals，先生成一堆anchorbox，然后进行裁剪过滤，再通过softmax判断anchors属于前景还是后景，同时利用bounding box regression修正anchor box形成更为精确的proposal；
S123、所述proposal在Roi Pooling层获得固定大小的proposal feature map；
S124、所述proposal feature map进行全连接操作，通过全连接层与softmax进行具体类别分类，并利用L1 Loss完成bounding box regression回归操作获得物体的精确位置，从而生成原始数据算例模型。
在上述方案的基础上，进一步地，所述S122包括以下步骤：
所述fasterrcnn采用了SPP-net中的SPP层，引入了多任务损失函数，用于计算bbox回归和分类的损失。
在上述方案的基础上，进一步地，所述多任务损失函数为：
Figure BDA0002362613390000031
其中，所述pi为anchor预测为目标的概率，
Figure BDA0002362613390000032
Ncls为总的anchor数量，ti＝(tx,ty,tw,th)是一个向量，表示anchor，RPN训练阶段预测的偏移量，
Figure BDA0002362613390000041
是与ti维度相同的向量，表示anchor，RPN训练阶段相对于gt实际的偏移量，gt为标注的正确目标，λ为标注数，Lreg为标注正确目标数,Lcls为分类个数，Nreg为positive anchor的数量。
在上述方案的基础上，进一步地，所述bbox回归和分类的损失的计算，使用思维向量(x,y,w,h)来表示,计算步骤如下：
1)、平移(Δx,Δy),Δx＝PWdx(P),Δy＝Phdy(P)；
2)、尺度缩放(SW,Sh),SW＝PWdW(P),Sh＝Phdh(P)；
其中，x，y，w，h分别表示图像的中心点坐标和宽高,PW为目标位置，Ph为目标高度，dx(P)为目标横坐标，dy(P)为目标纵坐标，dw(P)为缩放大小，dh(P)为缩放高度，Sw为目标缩放大小，Sh为目标缩放高度。
在上述方案的基础上，进一步地，所述边缘计算节点采用的设备型号为VA-TU-DL，优选为VA-TU-EDGE-B01。
本发明提供的一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法与现有的技术相比，具有以下的技术效果：
本发明能快速准确的识别禁扔垃圾区域是否存在乱扔垃圾的行为，并且识别出乱扔垃圾人员的身份，帮助建立一套完整的禁乱扔垃圾***。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于边缘AI的判断并识别乱扔垃圾人员身份的方法框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明提供一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法,包括以下步骤：
S100、云端算例中心用基于Region Proposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
S200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
S300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒；
S400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
具体实施时，如图1所示，包括以下步骤：
S100、云端算例中心用基于Region Proposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
S200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
S300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒。
其中，通过现场摄像头实时采集现场视频数据传送到边缘计算设备，边缘计算设备检测到手拿垃圾的人员进入到监控现场开始对手拿垃圾的人员及其手上的垃圾进行跟踪直至垃圾被扔出去，边缘计算设备会对垃圾从被扔出去的过程视频结合算例模型进行计算得出计算结果值并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，具体判断是否存在乱扔垃圾的违法行为则是通过算例模型根据结果的数值与设定的阈值进行比对，如果低于阈值则为乱扔垃圾；如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒，所述提醒可以为做播放语音或其它相关操作，诸如通过发声设备广播或者警铃等方式；
需要说明的是，不仅可以通过摄像头采集现场视频数据，本领域普通技术人员还可以通过其他图像或视频采集数据的设备进行实施，此处不再做过多赘述；
S400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看，方便在识别违法人员身份的同时，由违法行为追溯到违法人员，有利于对乱扔垃圾的个体进行教育及建立责任体系。
本发明提供的一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法能快速准确的识别禁扔垃圾区域是否存在乱扔垃圾的行为，并且识别出乱扔垃圾人员的身份，帮助建立一套完整的禁乱扔垃圾***。
优选地，所述原始数据算例模型通过以下步骤得到：
S110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
S120、基于源数据和fasterrcnn算法网络进行AI建模，生成原始数据算例模型。
优选地，所述原始数据算例模型通过以下步骤得到：
S110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
S120、基于源数据和fasterrcnn算法网络进行AI建模，生成原始数据算例模型。
具体实施时，其中，作为一种CNN网络目标检测方法，fasterrcnn使用卷积层+池化层方式来提取原始图像的feature maps,为后续的RPN层和全连接层提供支撑；RPN网络主要用于生成region proposals；
首先，任意大小的图片通过Conv layers后，原始图像被裁剪为原来的1/16，然后Feature Map进入Intemediate layer过滤最终产生Anchor box后，再通过softmax判断anchors属于前景或者后景即判断物体或不是物体，即在图像上生成MxN大小的矩阵，先做1x1的卷积输出WxHx18大小的图像，
然后通过softmax函数及reshape layer最终得到是否为物体，同时bounding boxregression修正anchor box形成较精确的proposal；
接着，利用RPN生成的proposals和VGG16最后一层得到的feature map，最终获取固定大小的proposal feature map,进入到后面可利用全连接操作来进行目标识别和定位；
最后，把Roi Pooling层形成固定大小的feature map进行全连接操作，利用Softmax进行具体类别的分类，其中，所述feature map通过softmax函数映射成为(0,1)的值，而这些值的累和为1满足概率的性质，这样就可以选取概率最大的作为预测目标，据此进行分类，再利用L1 Loss完成bounding box regression回归操作获得物体的精确位置，即rpn_loss_bbox使用smooth L1计算函数，在rpn-data中对anchor box进行预测标记并计算出与gt_boxes之间的偏移量；同时bounding box regression获得每个region proposal的位置偏移量bbox_pred，回归获得更加精确的目标检测位置，最终获取物体的精确位置；
最终，通过以上方式生成原始数据的算例模型。
优选地，所述步骤S110包括以下步骤：
S111、获取包含人和扔垃圾行为的图片，作为数据源；
S112、将数据源进行模型深度模型训练标注并形成源数据，所述标注包括图像所在位置、图像名称、图像宽高、图像维度以及标注的物体的名称与Bbox的xy坐标值。
具体实施时，通过以下方法进行模型深度模型训练标注：
Figure BDA0002362613390000081
Figure BDA0002362613390000091
优选地，所述步骤S120包括以下步骤：
S121、原始图片经过多层卷积神经网络，提取出候选图像的feature maps，所述feature maps还可以被共享用于后续RPN网络和全连接层使用；
S122、所述feature maps经过RPN层生成region proposals，先生成一堆anchorbox，然后进行裁剪过滤，再通过softmax判断anchors属于前景还是后景，同时利用bounding box regression修正anchor box形成更为精确的proposal；
S123、所述proposal在Roi Pooling层获得固定大小的proposal feature map；
S124、所述proposal feature map进行全连接操作，通过全连接层与softmax进行具体类别分类，并利用L1 Loss完成bounding box regression回归操作获得物体的精确位置，从而生成原始数据算例模型。
优选地，所述S122包括以下步骤：
所述fasterrcnn采用了SPP-net中的SPP层，引入了多任务损失函数，用于计算bbox回归和分类的损失。
优选地，所述多任务损失函数为：
Figure BDA0002362613390000101
其中，所述pi为anchor预测为目标的概率，
Figure BDA0002362613390000102
Ncls为总的anchor数量，ti＝(tx,ty,tw,th)是一个向量，表示anchor，RPN训练阶段预测的偏移量，
Figure BDA0002362613390000103
是与ti维度相同的向量，表示anchor，RPN训练阶段相对于gt实际的偏移量，gt为标注的正确目标，λ为标注数，Lreg为标注正确目标数,Lcls为分类个数，Nreg为positive anchor的数量。
优选地，所述bbox回归和分类的损失的计算，使用思维向量(x,y,w,h)来表示,计算步骤如下：
1)、平移(Δx,Δy),Δx＝PWdx(P),Δy＝Phdy(P)；
2)、尺度缩放(SW,Sh),SW＝PWdW(P),Sh＝Phdh(P)；
其中，x，y，w，h分别表示图像的中心点坐标和宽高,PW为目标位置，Ph为目标高度，dx(P)为目标横坐标，dy(P)为目标纵坐标，dw(P)为缩放大小，dh(P)为缩放高度，Sw为目标缩放大小，Sh为目标缩放高度。
优选地，所述边缘计算节点采用的设备型号为VA-TU-DL。
具体实施时，优选采用边缘设备型号为VA-TU-EDGE-B01。
为检验本发明提供的基于边缘AI的判断并识别乱扔垃圾人员身份的方法在实际中的应用，现提供如下测试：
算例中心采集了100000张人脸图片和100000张扔垃圾行为的图片进行标注训练，建立人脸识别模型和扔垃圾识别模型。边缘设备安装人脸识别模型和扔垃圾识别模型，边缘设备摄像头每日约采集1500张人脸图片和1000张扔垃圾图片，模型对摄像头采集到的图片进行研判，并输出研判的结果。现场采集到的图片返回算例中心进行不断的标注训练，人脸识别模型准确率达98％，扔垃圾识别模型准确率达90％。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于边缘AI的判断并识别乱扔垃圾人员身份的方法,其特征在于，包括以下步骤：
S100、云端算例中心用基于Region Proposal的深度学习目标检测算法的fasterrcnn框架进行原始数据算例模型学习；
S200、云端算例中心通过云计算的云卸载方式将fasterrcnn框架学习获得的原始数据算例模型分发到各个边缘计算节点；
S300、现场摄像头将采集到的扔垃圾的人员视频和图片传到边缘计算节点，边缘计算节点结合已有的算例模型进行计算并根据计算结果判断扔垃圾的人员是否存在乱扔垃圾的违法行为，如果存在则下发指令到现场终端设备，现场终端设备根据指令做出提醒；
S400、所述边缘计算节点将判断结果以及采集到的扔垃圾的人员视频和图片传输至云端算例中心进行保存或查看。
2.根据权利要求1所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述原始数据算例模型通过以下步骤得到：
S110、构建人和扔垃圾行为识别的图像数据库并对图像进行模型深度模型训练标注形成源数据；
S120、基于源数据和fasterrcnn算法网络进行AI建模，生成原始数据算例模型。
3.根据权利要求2所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述步骤S110包括以下步骤：
S111、获取包含人和扔垃圾行为的图片，作为数据源；
S112、将数据源进行模型深度模型训练标注并形成源数据，所述标注包括图像所在位置、图像名称、图像宽高、图像维度以及标注的物体的名称与Bbox的xy坐标值。
4.根据权利要求2所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述步骤S120包括以下步骤：
S121、原始图片经过多层卷积神经网络，提取出候选图像的feature maps，所述feature maps还可以被共享用于后续RPN网络和全连接层使用；
S122、所述feature maps经过RPN层生成region proposals，先生成一堆anchor box，然后进行裁剪过滤，再通过softmax判断anchors属于前景还是后景，同时利用boundingbox regression修正anchor box形成更为精确的proposal；
S123、所述proposal在Roi Pooling层获得固定大小的proposal feature map；
S124、所述proposal feature map进行全连接操作，通过全连接层与softmax进行具体类别分类，并利用L1 Loss完成bounding box regression回归操作获得物体的精确位置，从而生成原始数据算例模型。
5.根据权利要求4所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述S122包括以下步骤：
所述fasterrcnn采用了SPP-net中的SPP层，引入了多任务损失函数，用于计算bbox回归和分类的损失。
6.根据权利要求5所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于，所述多任务损失函数为：
Figure FDA0002362613380000021
其中，所述pi为anchor预测为目标的概率，
Figure FDA0002362613380000022
Ncls为总的anchor数量，ti＝(tx,ty,tw,th)是一个向量，表示anchor，RPN训练阶段预测的偏移量，
Figure FDA0002362613380000031
是与ti维度相同的向量，表示anchor，RPN训练阶段相对于gt实际的偏移量，gt为标注的正确目标，λ为标注数，Lreg为标注正确目标数,Lcls为分类个数，Nreg为positive anchor的数量。
7.根据权利要求5所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于：所述bbox回归和分类的损失的计算，使用思维向量(x,y,w,h)来表示,计算步骤如下：
1)、平移(Δx,Δy),Δx＝PWdx(P),Δy＝Phdy(P)；
2)、尺度缩放(SW,Sh),SW＝PWdW(P),Sh＝Phdh(P)；
其中，x，y，w，h分别表示图像的中心点坐标和宽高,PW为目标位置，Ph为目标高度，dx(P)为目标横坐标，dy(P)为目标纵坐标，dw(P)为缩放大小，dh(P)为缩放高度，Sw为目标缩放大小，Sh为目标缩放高度。
8.根据权利要求1所述的基于边缘AI的判断并识别乱扔垃圾人员身份的方法，其特征在于：所述边缘计算节点采用的设备型号为VA-TU-DL。
CN202010026367.6A 2020-01-10 2020-01-10 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法 Pending CN111242010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010026367.6A CN111242010A (zh) 2020-01-10 2020-01-10 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010026367.6A CN111242010A (zh) 2020-01-10 2020-01-10 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法

Publications (1)

Publication Number Publication Date
CN111242010A true CN111242010A (zh) 2020-06-05

Family

ID=70864096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026367.6A Pending CN111242010A (zh) 2020-01-10 2020-01-10 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法

Country Status (1)

Country Link
CN (1) CN111242010A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115846A (zh) * 2020-09-15 2020-12-22 上海迥灵信息技术有限公司 乱丢垃圾行为的识别方法、识别装置和可读存储介质
CN115394065A (zh) * 2022-10-31 2022-11-25 之江实验室 一种基于ai自动识别丢包行为报警的方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测***
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测***
CN107766889A (zh) * 2017-10-26 2018-03-06 济南浪潮高新科技投资发展有限公司 一种云端边缘计算融合的深度学习计算***和方法
CN109167963A (zh) * 2018-09-28 2019-01-08 广东马上到网络科技有限公司 一种公共文明的监控方法及***
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109598303A (zh) * 2018-12-03 2019-04-09 江西洪都航空工业集团有限责任公司 一种基于城市场景的垃圾检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110189292A (zh) * 2019-04-15 2019-08-30 浙江工业大学 一种基于Faster R-CNN和密度估计的癌细胞检测方法
CN110378935A (zh) * 2019-07-22 2019-10-25 四创科技有限公司 基于图像语义信息的抛物识别方法
CN110659622A (zh) * 2019-09-27 2020-01-07 北京文安智能技术股份有限公司 一种倾倒垃圾检测方法、装置及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730904A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测***
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测***
CN107666594A (zh) * 2017-09-18 2018-02-06 广东电网有限责任公司东莞供电局 一种视频监控实时监测违章作业的方法
CN107766889A (zh) * 2017-10-26 2018-03-06 济南浪潮高新科技投资发展有限公司 一种云端边缘计算融合的深度学习计算***和方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109167963A (zh) * 2018-09-28 2019-01-08 广东马上到网络科技有限公司 一种公共文明的监控方法及***
CN109598303A (zh) * 2018-12-03 2019-04-09 江西洪都航空工业集团有限责任公司 一种基于城市场景的垃圾检测方法
CN110189292A (zh) * 2019-04-15 2019-08-30 浙江工业大学 一种基于Faster R-CNN和密度估计的癌细胞检测方法
CN110378935A (zh) * 2019-07-22 2019-10-25 四创科技有限公司 基于图像语义信息的抛物识别方法
CN110659622A (zh) * 2019-09-27 2020-01-07 北京文安智能技术股份有限公司 一种倾倒垃圾检测方法、装置及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
I_LINDA: "Mask R-CNN—Faster RCNN学习笔记", Retrieved from the Internet <URL:《https://blog.csdn.net/qq_34713831/article/details/85122631》> *
Y.Z.Y.: "目标检测——Faster R-CNN（三）", Retrieved from the Internet <URL:《https://blog.csdn.net/qq_42823043/article/details/90744280》> *
做计算机视觉的小硕妹子: "论文阅读之Siamese RPN以及一些其他内容的补充", Retrieved from the Internet <URL:《https://blog.csdn.net/weixin_44287997/article/details/100782196》> *
大哲子: "图像处理—对象的定位与识别", Retrieved from the Internet <URL:《https://blog.csdn.net/qq_36183496/article/details/98581895》> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115846A (zh) * 2020-09-15 2020-12-22 上海迥灵信息技术有限公司 乱丢垃圾行为的识别方法、识别装置和可读存储介质
CN112115846B (zh) * 2020-09-15 2024-03-01 上海迥灵信息技术有限公司 乱丢垃圾行为的识别方法、识别装置和可读存储介质
CN115394065A (zh) * 2022-10-31 2022-11-25 之江实验室 一种基于ai自动识别丢包行为报警的方法和装置

Similar Documents

Publication Publication Date Title
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN108062349A (zh) 基于视频结构化数据及深度学习的视频监控方法和***
CN113822247B (zh) 基于航拍影像的违章建筑识别方法及***
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN112668375B (zh) 景区内游客分布分析***及方法
CN111626162A (zh) 基于时空大数据分析的水上救援***及溺水警情预测方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN111242010A (zh) 一种基于边缘ai的判断并识别乱扔垃圾人员身份的方法
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN111935450A (zh) 一种智能疑犯追踪方法、***及计算机可读存储介质
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN112637550B (zh) 多路4k准实时拼接视频的ptz动目标跟踪方法
CN110490150A (zh) 一种基于车辆检索的违章图片自动审核***及方法
CN111125290B (zh) 一种基于河长制的智能巡河方法、装置及存储介质
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN112395967A (zh) 一种口罩佩戴监测方法、电子设备和可读存储介质
CN113095301A (zh) 占道经营监测方法、***与服务器
CN115223204A (zh) 一种人员违规穿着检测方法、装置、设备及存储介质
CN113536997B (zh) 基于图像识别和行为分析的智能安防***及方法
CN112836590B (zh) 洪涝灾害监测方法、装置、电子设备及存储介质
CN114821486B (zh) 一种电力作业场景下人员识别方法
CN115830381A (zh) 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件
CN114170677A (zh) 一种检测抽烟行为的网络模型训练方法及其设备
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备
CN110443197A (zh) 一种视觉场景智能理解方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605