CN115294486B - 一种基于无人机和人工智能的违章垃圾识别和判定方法 - Google Patents

一种基于无人机和人工智能的违章垃圾识别和判定方法 Download PDF

Info

Publication number
CN115294486B
CN115294486B CN202211219087.2A CN202211219087A CN115294486B CN 115294486 B CN115294486 B CN 115294486B CN 202211219087 A CN202211219087 A CN 202211219087A CN 115294486 B CN115294486 B CN 115294486B
Authority
CN
China
Prior art keywords
artificial intelligence
unmanned aerial
aerial vehicle
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219087.2A
Other languages
English (en)
Other versions
CN115294486A (zh
Inventor
陈钢
刘攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Byte Technology Qingdao Co Ltd
Original Assignee
Byte Technology Qingdao Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Byte Technology Qingdao Co Ltd filed Critical Byte Technology Qingdao Co Ltd
Priority to CN202211219087.2A priority Critical patent/CN115294486B/zh
Publication of CN115294486A publication Critical patent/CN115294486A/zh
Application granted granted Critical
Publication of CN115294486B publication Critical patent/CN115294486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，尤其为一种基于无人机和人工智能的违章垃圾识别和判定方法，包括如下步骤：无人机采集高清视频；对无人机采集的高清视频进行帧间差处理，获取有效高清图片；通过5G技术将获得的高清图片传给地面工作站，对图片进行进一步预处理；对预处理后的图片通过人工智能算法进行运算，进而实现对垃圾的识别和判定。本发明通过无人机采集图像数据，并通过改进帧间差算法，通过扩大帧差检测变化较慢的目标，可以获取有效高清图片抛弃无用的或重复的图片，进一步提升5G传输的速度和人工智能算法的检测效率；将垃圾数据图像与人工智能算法相结合，实现对垃圾的自动识别和判定。

Description

一种基于无人机和人工智能的违章垃圾识别和判定方法
技术领域
本发明涉及图像处理技术领域，尤其是一种基于无人机和人工智能的违章垃圾识别和判定方法。
背景技术
在过去信息化技术尚未普及时，违章建筑管理部门通常采用人工巡视的手段来人工发现垃圾。近些年，也出现了利用摄像头进行远程监控的方法在违章建筑附近进行监测，但是该种方法存在一些缺点，例如存在监测死角和资金投入较大等。这些方法虽然可以对垃圾影像进行采集，但是对垃圾识别判断主要还是通过人工识别方式，在获取的影像数量较多或影像范围较大时，通过人工识别方式会产生巨大的工作量，同时识别效率也相对较低。并且目前智能识别和自动特征提取等技术还处于研究阶段，并不能广泛应用，导致无人机巡查效果大打折扣。。
发明内容
本发明的目的是通过提出一种基于无人机和人工智能的违章垃圾识别和判定方法，以解决上述背景技术中提出的缺陷。
本发明采用的技术方案如下：
提供一种基于无人机和人工智能的违章垃圾识别和判定方法，包括如下步骤：
S1.1：无人机采集高清视频；
S1.2：对无人机采集的高清视频进行帧间差处理，获取有效高清图片；
S1.3：通过5G技术将获得的高清图片传给地面工作站，对图片进行进一步预处理；
S1.4：对预处理后的图片通过人工智能算法进行运算，进而实现对垃圾的识别和判定。
作为本发明的一种优选技术方案：所述S1.2中，帧间差处理采用改进帧间差分法，所述改进帧间差分法利用三帧图像信息，通过对当前帧、前后帧的图像进行差分运算。
作为本发明的一种优选技术方案：所述改进帧间差分法公式如下：
Figure 649777DEST_PATH_IMAGE001
；
Figure 629234DEST_PATH_IMAGE002
和
Figure 471288DEST_PATH_IMAGE003
分别为前后两帧与当前帧进行差分后的图像，
Figure 928814DEST_PATH_IMAGE004
和
Figure 805503DEST_PATH_IMAGE005
、
Figure 696142DEST_PATH_IMAGE006
分别为t时刻、t-1时刻和t+1时刻的图像的灰度值，
Figure 759913DEST_PATH_IMAGE007
为灰度系数，
Figure 21130DEST_PATH_IMAGE008
为待检测区域的像素总数目，
Figure 549063DEST_PATH_IMAGE009
为待检测图像；
再通过阈值T处理得到的帧差图像，并进行二值化处理：
Figure 604744DEST_PATH_IMAGE010
；
其中，
Figure 155811DEST_PATH_IMAGE011
或
Figure 955140DEST_PATH_IMAGE012
，
Figure 212946DEST_PATH_IMAGE013
或均为二值化得到的结果。
作为本发明的一种优选技术方案：所述S1.3中，预处理的方法包含图片灰度处理、颜色反转以及canny边缘检测算法；
所述图片灰度处理公式如下：
Figure 705107DEST_PATH_IMAGE014
；
其中，
Figure 9049DEST_PATH_IMAGE015
、
Figure 346490DEST_PATH_IMAGE016
和
Figure 786699DEST_PATH_IMAGE017
分别代表红、绿、蓝三种颜色的分量，将彩色图像的三分量求取平均值得到一个灰度值；
所述颜色反转公式如下：
Figure 184182DEST_PATH_IMAGE018
；
其中，
Figure 772158DEST_PATH_IMAGE019
为当前像素值，
Figure 913289DEST_PATH_IMAGE020
为颜色反转后的像素值；
所述canny边缘检测算法如下：
Figure 208004DEST_PATH_IMAGE021
；
Figure 41968DEST_PATH_IMAGE022
为高斯分布标准差，
Figure 727027DEST_PATH_IMAGE023
为像素点；
用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值：
Figure 665990DEST_PATH_IMAGE024
；
Figure 80791DEST_PATH_IMAGE025
；
其中，
Figure 820077DEST_PATH_IMAGE026
为幅值，
Figure 320329DEST_PATH_IMAGE027
为方向，
Figure 600000DEST_PATH_IMAGE028
和
Figure 134887DEST_PATH_IMAGE029
分别是图像在像素点
Figure 45074DEST_PATH_IMAGE030
的水平梯度幅值和垂直梯度幅值。
作为本发明的一种优选技术方案：所述canny边缘检测算法检测后，通过sobel算子计算梯度值和梯度方向，滤除最大值；设置八个梯度方向，包括：
Figure 32621DEST_PATH_IMAGE031
；
并设置阈值：
Figure 991350DEST_PATH_IMAGE032
；
其中，
Figure 115164DEST_PATH_IMAGE033
为各待测点灰度值；
根据图像清晰度评价值对噪声进行过滤：
Figure 461832DEST_PATH_IMAGE034
；
其中，
Figure 671096DEST_PATH_IMAGE035
时有效。
作为本发明的一种优选技术方案：所述S1.4中，所述人工智能算法步骤为：图像输入、基础特征提取、多层复杂特征提取、特征学习和分类检测结果；包括对图像进行卷积计算，经过池化层、激活函数和全连接层，由Softmax分类器输出分类结果，实现对垃圾的识别和判定。
作为本发明的一种优选技术方案：所述卷积计算为小矩阵在图像或输入特征图上滑动，所述输出分类结果为做矩阵的乘法和加法得到的结果，计算方法如下：
Figure 558150DEST_PATH_IMAGE036
；
其中，
Figure 802049DEST_PATH_IMAGE037
为卷积核通道数，sum为矩阵加法运算符，b为特征参数，
通过不同位置的特征进行聚合统计，选择代表性的值来表示原来的特征；采用maxpooling的方法，计算公式如下：
Figure 788460DEST_PATH_IMAGE038
；
其中，
Figure 750599DEST_PATH_IMAGE039
为不同位置的特征值。
在神经网络中引入激活函数relu函数，计算公式如下：
Figure 51131DEST_PATH_IMAGE040
；
其中，x为特征值，用于提高人工智能算法的表征能力。
作为本发明的一种优选技术方案：卷积层和所述池化层、激活函数结构将原始数据映射到特征向量空间，全连接层通过计算公式：
Figure 415116DEST_PATH_IMAGE041
；
其中，
Figure 578287DEST_PATH_IMAGE042
为映射的特征样本，将学到的分布式特征整合总结，然后映射到样本标记空间。
作为本发明的一种优选技术方案：Softmax将输入的神经网络的特征向量映射到（0,1）空间，这些值的相加和为1，选择最大概率值作为分类结果：
Figure 27723DEST_PATH_IMAGE043
；
其中，
Figure 256579DEST_PATH_IMAGE044
为分类向量。
作为本发明的一种优选技术方案：所述人工智能算法处理后，进行垃圾检测，并将检测结果汇总到终端设备进行可视化展示与信息存储。
本发明提供的基于无人机和人工智能的违章垃圾识别和判定方法，与现有技术相比，其有益效果有：
本发明通过无人机采集图像数据，并通过改进帧间差算法，通过扩大帧差检测变化较慢的目标，可以获取有效高清图片抛弃无用的或重复的图片，进一步提升5G传输的速度和人工智能算法的检测效率；将垃圾数据图像与人工智能算法相结合，实现对垃圾的自动识别和判定。通过无人驾驶航拍技术进行摄影，为航拍摄影提供了操作方便，易于转场的遥感平台。起飞降落受场地限制较小，在操场、公路或其它较开阔的地面均可起降，其稳定性、安全性好，转场等非常容易。
附图说明
图1为本发明优选实施例的方法流程图；
图2为本发明优选实施例的技术结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明优选实施例提供了一种基于无人机和人工智能的违章垃圾识别和判定方法，包括如下步骤：
S1.1：无人机采集高清视频；
S1.2：对无人机采集的高清视频进行帧间差处理，获取有效高清图片；
S1.3：通过5G技术将获得的高清图片传给地面工作站，对图片进行进一步预处理；
S1.4：对预处理后的图片通过人工智能算法进行运算，进而实现对垃圾的识别和判定。
所述S1.2中，帧间差处理采用改进帧间差分法，所述改进帧间差分法利用三帧图像信息，通过对当前帧、前后帧的图像进行差分运算。
所述改进帧间差分法公式如下：
Figure 209492DEST_PATH_IMAGE045
；
Figure 68863DEST_PATH_IMAGE046
和
Figure 474437DEST_PATH_IMAGE047
分别为前后两帧与当前帧进行差分后的图像，
Figure 710246DEST_PATH_IMAGE004
和
Figure 455348DEST_PATH_IMAGE005
、
Figure 485621DEST_PATH_IMAGE006
分别为t时刻、t-1时刻和t+1时刻的图像的灰度值，
Figure 644070DEST_PATH_IMAGE007
为灰度系数，
Figure 152412DEST_PATH_IMAGE008
为待检测区域的像素总数目，
Figure 79916DEST_PATH_IMAGE009
为待检测图像；
再通过阈值T处理得到的帧差图像，并进行二值化处理：
Figure 77828DEST_PATH_IMAGE048
；
其中，
Figure 457994DEST_PATH_IMAGE011
或
Figure 770027DEST_PATH_IMAGE012
，
Figure 817617DEST_PATH_IMAGE013
或均为二值化得到的结果。
所述S1.3中，预处理的方法包含图片灰度处理、颜色反转以及canny边缘检测算法；
所述图片灰度处理公式如下：
Figure 861796DEST_PATH_IMAGE049
其中，
Figure 994838DEST_PATH_IMAGE015
、
Figure 940639DEST_PATH_IMAGE016
和
Figure 577157DEST_PATH_IMAGE017
分别代表红、绿、蓝三种颜色的分量，将彩色图像的三分量求取平均值得到一个灰度值；
所述颜色反转公式如下：
Figure 120134DEST_PATH_IMAGE050
；
其中，
Figure 271629DEST_PATH_IMAGE019
为当前像素值，
Figure 191044DEST_PATH_IMAGE051
为颜色反转后的像素值；
所述canny边缘检测算法如下：
Figure 682068DEST_PATH_IMAGE052
；
其中，
Figure 395946DEST_PATH_IMAGE053
为高斯分布标准差，
Figure 503579DEST_PATH_IMAGE030
为像素点；
用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值：
Figure 633209DEST_PATH_IMAGE054
；
Figure 244319DEST_PATH_IMAGE055
；
其中，
Figure 129099DEST_PATH_IMAGE026
为幅值，
Figure 458449DEST_PATH_IMAGE027
为方向，
Figure 516404DEST_PATH_IMAGE028
和
Figure 982020DEST_PATH_IMAGE029
分别是图像在像素点
Figure 37701DEST_PATH_IMAGE030
的水平梯度幅值和垂直梯度幅值。
所述canny边缘检测算法检测后，通过sobel算子计算梯度值和梯度方向，滤除最大值；设置八个梯度方向，包括：
Figure 854347DEST_PATH_IMAGE031
；
并设置阈值：
Figure 653676DEST_PATH_IMAGE056
；
其中，
Figure 245237DEST_PATH_IMAGE057
为各待测点灰度值；
根据图像清晰度评价值对噪声进行过滤：
Figure 737399DEST_PATH_IMAGE058
；
其中，
Figure 447866DEST_PATH_IMAGE059
时有效。
所述S1.4中，所述人工智能算法步骤为：图像输入、基础特征提取、多层复杂特征提取、特征学习和分类检测结果；包括对图像进行卷积计算，经过池化层、激活函数和全连接层，由Softmax分类器输出分类结果，实现对垃圾的识别和判定。
所述卷积计算为小矩阵在图像或输入特征图上滑动，所述输出分类结果为做矩阵的乘法和加法得到的结果，计算方法如下：
Figure 50885DEST_PATH_IMAGE060
；
其中，
Figure 756673DEST_PATH_IMAGE061
为卷积核通道数，sum为矩阵加法运算符，b为特征参数，
通过不同位置的特征进行聚合统计，选择代表性的值来表示原来的特征；采用maxpooling的方法，计算公式如下：
Figure 888577DEST_PATH_IMAGE062
；
其中，
Figure 679816DEST_PATH_IMAGE063
为不同位置的特征值。
在神经网络中引入激活函数relu函数，计算公式如下：
Figure 617685DEST_PATH_IMAGE064
；
其中，x为特征值，用于提高人工智能算法的表征能力。
卷积层和所述池化层、激活函数结构将原始数据映射到特征向量空间，全连接层通过计算公式：
Figure 177979DEST_PATH_IMAGE065
；
其中，
Figure 480784DEST_PATH_IMAGE066
为映射的特征样本，将学到的分布式特征整合总结，然后映射到样本标记空间。
Softmax将输入的神经网络的特征向量映射到（0,1）空间，而这些值的相加和为1，选择最大概率值作为分类结果：
Figure 759319DEST_PATH_IMAGE067
；
其中，
Figure 376245DEST_PATH_IMAGE068
为分类向量。
所述人工智能算法处理后，进行垃圾检测，并将检测结果汇总到终端设备进行可视化展示与信息存储。
本实施例中，参照图2，基于无人机和人工智能的垃圾数据识别算法主要由三部分组成：无人机、5G技术、人工智能算法。其中，人工智能算法包括图像输入、基础特征提取、多层复杂特征提取、特征学习和分类检测结果。
无人机担当的采集高清视频的作用，并对视频进行帧间差处理，获取有效的高清图片，抛弃无用的或重复的图片，进一步提升5G传输的速度和人工智能算法的检测效率。其中，帧间差分法的实现原理数学公式表示如下：
Figure 791046DEST_PATH_IMAGE069
；
其中，
Figure 795911DEST_PATH_IMAGE070
为连续两帧图像之间的差分图像，
Figure 30583DEST_PATH_IMAGE071
和
Figure 513517DEST_PATH_IMAGE072
分别为
Figure 845141DEST_PATH_IMAGE073
和
Figure 489749DEST_PATH_IMAGE074
时刻的图像，
Figure 471438DEST_PATH_IMAGE075
为差分图像二值化时选取的阈值，
Figure 758062DEST_PATH_IMAGE076
表示前景，
Figure 819559DEST_PATH_IMAGE077
表示背景。
对帧间差分法进行改进，通过扩大帧差检测变化较慢的目标，所述改进帧间差分法利用三帧图像信息，通过对当前帧、前后帧的图像进行差分运算。
所述改进帧间差分法公式如下：
Figure 900648DEST_PATH_IMAGE078
；
Figure 375491DEST_PATH_IMAGE046
和
Figure 200228DEST_PATH_IMAGE047
分别为前后两帧与当前帧进行差分后的图像，
Figure 240865DEST_PATH_IMAGE004
和
Figure 758434DEST_PATH_IMAGE005
、
Figure 454995DEST_PATH_IMAGE006
分别为t时刻、t-1时刻和t+1时刻的图像的灰度值，
Figure 83422DEST_PATH_IMAGE007
为灰度系数，
Figure 181828DEST_PATH_IMAGE008
为待检测区域的像素总数目，
Figure 542402DEST_PATH_IMAGE009
为待检测图像；
再通过阈值T处理得到的帧差图像，并进行二值化处理：
Figure 991838DEST_PATH_IMAGE079
；
其中，
Figure 486274DEST_PATH_IMAGE011
或
Figure 376869DEST_PATH_IMAGE012
，
Figure 236241DEST_PATH_IMAGE013
或均为二值化得到的结果。
运用5G技术将经过帧间差分法处理的图像传给地面的工作站，进一步对图像进行预处理，预处理的方法包含图片灰度处理、颜色反转以及canny边缘检测。
图片灰度处理的数学表示公式如下：
Figure 641814DEST_PATH_IMAGE080
；
其中，
Figure 877624DEST_PATH_IMAGE015
、
Figure 956481DEST_PATH_IMAGE016
和
Figure 783492DEST_PATH_IMAGE017
分别代表红、绿、蓝三种颜色的分量，将彩色图像中的三分量亮度求平均得到一个灰度值。
颜色反转数学表示公式如下：
Figure 941941DEST_PATH_IMAGE081
；
其中，
Figure 184703DEST_PATH_IMAGE019
为当前像素值，
Figure 377787DEST_PATH_IMAGE051
为颜色反转后的像素值；反转像素值等于255减去当前像素值。
canny边缘检测的数学表示公式如下：
Figure 251065DEST_PATH_IMAGE082
其中，
Figure 896810DEST_PATH_IMAGE053
为高斯分布标准差，
Figure 208843DEST_PATH_IMAGE030
为像素点，用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值：
Figure 990854DEST_PATH_IMAGE083
；
Figure 362929DEST_PATH_IMAGE084
；
其中，
Figure 292708DEST_PATH_IMAGE026
为幅值，
Figure 408432DEST_PATH_IMAGE027
为方向，
Figure 310529DEST_PATH_IMAGE028
和
Figure 853505DEST_PATH_IMAGE029
分别是图像在像素点
Figure 208263DEST_PATH_IMAGE030
的水平梯度幅值和垂直梯度幅值。
通过sobel算子计算梯度值和梯度方向，滤除最大值；设置八个梯度方向，包括：
Figure 127678DEST_PATH_IMAGE031
；
并设置阈值：
Figure 884281DEST_PATH_IMAGE085
；
其中，
Figure 615738DEST_PATH_IMAGE086
为各待测点灰度值；
根据图像清晰度评价值对噪声进行过滤:
Figure 457792DEST_PATH_IMAGE087
；
其中，
Figure 915318DEST_PATH_IMAGE088
时有效。
将经过预处理之后的图像，送给人工智能算法，对图像进行卷积计算，经过池化层、激活函数和全连接层，由Softmax分类器输出分类结果。进而实现对垃圾的识别和判定。
卷积计算是一些小矩阵在图像或输入特征图上滑动，做矩阵的乘法和加法得到的结果就是输出分类结果，计算方法：
Figure 526428DEST_PATH_IMAGE089
；
其中，
Figure 348890DEST_PATH_IMAGE061
为卷积核通道数，sum为矩阵加法运算符，b为特征参数。
经过卷积层后提取的特征尺寸还是过大，直接用来训练十分不方便同时容易过拟合。对不同位置的特征进行聚合统计，选择代表性的值来表示原来的特征。本模型选择是maxpooling的方法，计算公式如下：
Figure 678240DEST_PATH_IMAGE090
；
其中，
Figure 673878DEST_PATH_IMAGE091
为不同位置的特征值。
为了让人工智能算法具有很好的表征能力，必须引入非线性元素。因此，在神经网络中引入激活函数。本模型引入的激活函数是relu函数，计算公式如下：
Figure 139495DEST_PATH_IMAGE092
；
其中，x为特征值。
卷积层、池化层和激活函数等结构是将原始数据映射到特征向量空间，全连接层的作用是将学到的分布式特征整合总结，然后映射到样本标记空间，计算公式如下：
Figure 460755DEST_PATH_IMAGE093
；
其中，
Figure 11822DEST_PATH_IMAGE094
为映射的特征样本。
Softmax将输入的神经网络的特征向量映射到（0,1）空间，而这些值的相加和为1，输出值可以理解为概率值。所以在输出结果的时候，选择概率值最大的作为分类结果。
Figure 76730DEST_PATH_IMAGE095
；
其中，
Figure 459169DEST_PATH_IMAGE044
为分类向量。
经过人工智能算法的处理之后，就可以将垃圾准确的检测出来，将检测结果汇总到终端设备进行可视化展示与信息的存储。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：包括如下步骤：
S1.1：无人机采集高清视频；
S1.2：对无人机采集的高清视频进行帧间差处理，获取有效高清图片；
S1.3：通过5G技术将获得的高清图片传给地面工作站，对图片进行进一步预处理；
S1.4：对预处理后的图片通过人工智能算法进行运算，进而实现对垃圾的识别和判定;
所述S1.2中，帧间差处理采用改进帧间差分法，所述改进帧间差分法利用三帧图像信息，通过对当前帧、前后帧的图像进行差分运算;
所述改进帧间差分法公式如下：
Figure 667172DEST_PATH_IMAGE001
；
Figure 849891DEST_PATH_IMAGE002
和
Figure 832891DEST_PATH_IMAGE004
分别为前后两帧与当前帧进行差分后的图像，
Figure 165783DEST_PATH_IMAGE005
和
Figure 121101DEST_PATH_IMAGE006
、
Figure 881246DEST_PATH_IMAGE007
分别为t时刻、t-1时刻和t+1时刻的图像的灰度值，
Figure 372050DEST_PATH_IMAGE008
为灰度系数，N为待检测区域的像素总数目，
Figure 836529DEST_PATH_IMAGE009
为待检测图像；
再通过阈值T处理得到的帧差图像，并进行二值化处理：
Figure 708670DEST_PATH_IMAGE010
；
其中，
Figure 842980DEST_PATH_IMAGE011
或
Figure 534992DEST_PATH_IMAGE012
，
Figure 475266DEST_PATH_IMAGE013
或均为二值化得到的结果。
2.根据权利要求1所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：所述S1.3中，预处理的方法包含图片灰度处理、颜色反转以及canny边缘检测算法；
所述图片灰度处理公式如下：
Figure DEST_PATH_IMAGE014
；
其中，
Figure 201914DEST_PATH_IMAGE015
、
Figure DEST_PATH_IMAGE016
和
Figure 772704DEST_PATH_IMAGE017
分别代表红、绿、蓝三种颜色的分量，将彩色图像的三分量求取平均值得到一个灰度值；
所述颜色反转公式如下：
Figure DEST_PATH_IMAGE018
；
其中，
Figure 90028DEST_PATH_IMAGE019
为当前像素值，
Figure 302835DEST_PATH_IMAGE020
为颜色反转后的像素值；
所述canny边缘检测算法如下：
Figure 149568DEST_PATH_IMAGE021
；
其中，
Figure 422417DEST_PATH_IMAGE022
为高斯分布标准差，
Figure 416918DEST_PATH_IMAGE023
为像素点；
用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值：
Figure 698995DEST_PATH_IMAGE024
；
Figure 337918DEST_PATH_IMAGE025
；
其中，
Figure 47248DEST_PATH_IMAGE026
为幅值，
Figure 198219DEST_PATH_IMAGE027
为方向，
Figure 346303DEST_PATH_IMAGE028
和
Figure 636470DEST_PATH_IMAGE029
分别是图像在像素点
Figure 782281DEST_PATH_IMAGE030
的水平梯度幅值和垂直梯度幅值。
3.根据权利要求2所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：所述canny边缘检测算法检测后，通过sobel算子计算梯度值和梯度方向，滤除最大值；设置八个梯度方向，包括：0°，45°，90°，135°，180°，225°，270°，315°；
并设置阈值：
Figure 157899DEST_PATH_IMAGE031
；
其中，
Figure 719461DEST_PATH_IMAGE032
为各待测点灰度值；
根据图像清晰度评价值对噪声进行过滤：
Figure 926452DEST_PATH_IMAGE033
；
其中，
Figure 180847DEST_PATH_IMAGE034
时有效。
4.根据权利要求1所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：所述S1.4中，所述人工智能算法步骤为：图像输入、基础特征提取、多层复杂特征提取、特征学习和分类检测结果；包括对图像进行卷积计算，经过池化层、激活函数和全连接层，由Softmax分类器输出分类结果，实现对垃圾的识别和判定。
5.根据权利要求4所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：所述卷积计算为小矩阵在图像或输入特征图上滑动，所述输出分类结果为做矩阵的乘法和加法得到的结果，计算方法如下：
Figure 43760DEST_PATH_IMAGE035
；
其中，
Figure 468401DEST_PATH_IMAGE036
为卷积核通道数，sum为矩阵加法运算符，b为特征参数；
通过不同位置的特征进行聚合统计，选择代表性的值来表示原来的特征；采用maxpooling的方法，计算公式如下：
Figure 467581DEST_PATH_IMAGE037
；
其中，
Figure 17511DEST_PATH_IMAGE038
为不同位置的特征值；
在神经网络中引入激活函数relu函数，计算公式如下：
Figure 367721DEST_PATH_IMAGE039
；
其中，x为特征值，用于提高人工智能算法的表征能力。
6.根据权利要求4所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：卷积层和所述池化层、激活函数结构将原始数据映射到特征向量空间，全连接层通过计算公式：
Figure 598982DEST_PATH_IMAGE040
；
其中，
Figure 718248DEST_PATH_IMAGE042
为映射的特征样本，b为特征参数，将学到的分布式特征整合总结，然后映射到样本标记空间。
7.根据权利要求4所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：Softmax将输入的神经网络的特征向量映射到（0,1）空间，这些值的相加和为1，选择最大概率值作为分类结果：
Figure 48866DEST_PATH_IMAGE043
；
其中，
Figure 886372DEST_PATH_IMAGE044
为分类向量。
8.根据权利要求4所述的基于无人机和人工智能的违章垃圾识别和判定方法，其特征在于：所述人工智能算法处理后，进行垃圾检测，并将检测结果汇总到终端设备进行可视化展示与信息存储。
CN202211219087.2A 2022-10-08 2022-10-08 一种基于无人机和人工智能的违章垃圾识别和判定方法 Active CN115294486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219087.2A CN115294486B (zh) 2022-10-08 2022-10-08 一种基于无人机和人工智能的违章垃圾识别和判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219087.2A CN115294486B (zh) 2022-10-08 2022-10-08 一种基于无人机和人工智能的违章垃圾识别和判定方法

Publications (2)

Publication Number Publication Date
CN115294486A CN115294486A (zh) 2022-11-04
CN115294486B true CN115294486B (zh) 2023-01-13

Family

ID=83834617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219087.2A Active CN115294486B (zh) 2022-10-08 2022-10-08 一种基于无人机和人工智能的违章垃圾识别和判定方法

Country Status (1)

Country Link
CN (1) CN115294486B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588145B (zh) * 2022-12-12 2023-03-21 深圳联和智慧科技有限公司 基于无人机的河道垃圾漂浮识别方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472200A (zh) * 2018-09-29 2019-03-15 深圳市锦润防务科技有限公司 一种智能的海面垃圾检测方法、***和存储介质
CN112581492A (zh) * 2019-09-27 2021-03-30 北京京东尚科信息技术有限公司 一种运动目标检测方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN108230368A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 一种快速运动目标检测方法
CN109460764B (zh) * 2018-11-08 2022-02-18 中南大学 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法
CN110298323B (zh) * 2019-07-02 2021-10-15 中国科学院自动化研究所 基于视频分析的打架检测方法、***、装置
CN110599523A (zh) * 2019-09-10 2019-12-20 江南大学 一种融合帧间差分法的ViBe鬼影抑制方法
CN110910318A (zh) * 2019-10-21 2020-03-24 中国科学院西安光学精密机械研究所 综合诊断光路快速自动准直***弱对比度纹影小球中心计算方法
CN111539296B (zh) * 2020-04-17 2022-09-23 河海大学常州校区 一种基于遥感影像变化检测的违章建筑识别方法及***
CN114120120A (zh) * 2021-11-25 2022-03-01 广东电网有限责任公司 基于遥感影像的违章建筑检测方法、装置、设备及介质
CN114241364A (zh) * 2021-11-30 2022-03-25 南京理工大学 一种架空输电线路异物目标快速标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472200A (zh) * 2018-09-29 2019-03-15 深圳市锦润防务科技有限公司 一种智能的海面垃圾检测方法、***和存储介质
CN112581492A (zh) * 2019-09-27 2021-03-30 北京京东尚科信息技术有限公司 一种运动目标检测方法和装置

Also Published As

Publication number Publication date
CN115294486A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及***
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN103605977B (zh) 一种车道线的提取方法及装置
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
US9418402B2 (en) System for improving foggy luminance image using fog reduction estimation model
CN109918971B (zh) 监控视频中人数检测方法及装置
CN103544484A (zh) 一种基于surf的交通标志识别方法及***
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
US20150287170A1 (en) Apparatus for improving fogged image using user-controllable root operator
CN103034983B (zh) 一种基于各向异性滤波的去雾方法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别***与方法
CN103824081A (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN105976338A (zh) 一种基于天空识别与分割的暗通道先验去雾方法
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN115294486B (zh) 一种基于无人机和人工智能的违章垃圾识别和判定方法
CN106657948A (zh) 低照度Bayer图像的增强方法及增强装置
CN105138987A (zh) 一种基于聚合通道特征和运动估计的车辆检测方法
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置
Sahu et al. Image dehazing based on luminance stretching
CN114708532A (zh) 一种监控视频质量评估方法、***及存储介质
Alami et al. Local fog detection based on saturation and RGB-correlation
Wang et al. Haze removal algorithm based on single-images with chromatic properties
Khan et al. Recent advancement in haze removal approaches
Zhao et al. Image dehazing based on haze degree classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant