CN110263675A - 一种社区安保机器人的垃圾目标识别***及其识别方法 - Google Patents
一种社区安保机器人的垃圾目标识别***及其识别方法 Download PDFInfo
- Publication number
- CN110263675A CN110263675A CN201910474670.XA CN201910474670A CN110263675A CN 110263675 A CN110263675 A CN 110263675A CN 201910474670 A CN201910474670 A CN 201910474670A CN 110263675 A CN110263675 A CN 110263675A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- target
- odometer
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000002699 waste material Substances 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 240000000560 Citrus x paradisi Species 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 3
- 235000018290 Musa x paradisiaca Nutrition 0.000 claims description 3
- 235000013405 beer Nutrition 0.000 claims description 3
- 235000013361 beverage Nutrition 0.000 claims description 3
- 235000019504 cigarettes Nutrition 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000004064 recycling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 240000008790 Musa x paradisiaca Species 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 abstract 5
- 230000006870 function Effects 0.000 description 8
- 241000234295 Musa Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Tourism & Hospitality (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种社区安保机器人的垃圾目标识别***及其识别方法,所述识别***包括建图模块以及分别与建图模块信号连接的里程计模块和目标识别模块,所述识别方法包括位姿计算、激光雷达数据运动畸变的去除、目标定位和点云地图建立等步骤,里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至建图模块,目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向建图模块发布目标的位置和深度信息,建图模块用于对来源于里程计模块和目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。本发明降低了管理人员的监控压力,提高了保洁人员的工作效率。
Description
【技术领域】
本发明涉及机器人领域,尤其是一种社区安保机器人的垃圾目标识别***及其识别方法。
【背景技术】
随着居民消费水平的提高,社区内人们产生的生活垃圾的数量也随之不断增加。废弃的生活垃圾不仅严重影响社区的环境卫生,而且还容易滋生蚊虫和传播疾病进而危害人们的身体健康。
目前,社区的生活垃圾多由保洁工人定时清理,这种方式对处理居民楼下垃圾桶内的生活垃圾具有很好的效果,但对于社区内其他区域中近乎随机产生的生活垃圾,则显得效果较差和浪费人力。因此,需要开发出一种能够监控社区内生活垃圾变化情况的视觉***。
当前的垃圾识别***多基于固定摄像头,当要监控整个社区的垃圾变化情况时,则势必需要布设较多的摄像头,同时,这种识别***未能把来源于各路监控视频的识别结果整合到一个地图中,因而给后台的监控管理人员也带来了巨大的挑战。
此外,当前的垃圾识别方法多采用了基于深度学***台的要求较高等问题。
【发明内容】
本发明要解决的技术问题是提供利用社区安保机器人在自主行走的过程中的实时位姿信息,把图像中识别的生活垃圾的位置通过进行一系列的坐标变换,映射到一个不断更新的二维地图中,从而实现了监控整个社区生活垃圾变化情况的一种社区安保机器人的垃圾目标识别***及其识别方法。
本发明的目的是这样实现的:
一种社区安保机器人的垃圾目标识别***,包括建图模块以及分别与所述建图模块信号连接的里程计模块和目标识别模块,所述里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至所述建图模块,所述目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向所述建图模块发布目标的位置和深度信息,所述建图模块用于对来源于所述里程计模块和所述目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。
上所述的一种社区安保机器人的垃圾目标识别***的识别方法,包括如下步骤:
A:位姿计算:
A1:轮式里程计的标定:收集n段数据,每段数据包含两个车轮子的角速度(WL,WR),该段数据持续的时间以及激光雷达的匹配值,基于模型的方法,计算出两轮间距b和两个轮子的半径;
A2:激光雷达数据运动畸变的去除:工控机读取激光数据,STM32上传里程计积分数据,检查里程计队列中的位姿数据与激光雷达数据时间上是否同步,如果同步则不进行处理,否则对位姿数据进行二次插值,最后根据位姿数据对激光雷达数据进行变换并得到去除运动畸变后的激光雷达数据;
A3:对采集到的激光雷达数据使用前端配准算法:首先寻找点云中的匹配点,然后根据匹配计算旋转矩阵R和平移矩阵T,对点云进行位姿变化并计算误差,不断迭代,直至误差小于容忍值;
A4:基于图优化技术对位姿图进行优化;
B:目标定位:目标识别模块利用目标识别算法找到垃圾废弃物在图像中的位置,然后发布目标的位置和深度;
C:点云地图建立:建图模块对来源于里程计模块和目标识别模块信息进行处理,建图模块分别订阅里程计模块和目标识别模块发布的话题,并根据下面的公式进行坐标变换:
z=d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换,得到其在世界坐标系下的坐标,最后拼接和构建点云地图。
如上所述的一种社区安保机器人的垃圾目标识别***的识别方法,还包括如下步骤:
D:建立训练集和测试集:
D1:细化垃圾废弃物的定义:选取社区中常见的14种废品作为垃圾废弃物的定义,包括了垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐;
D2:搜集垃圾废弃物的照片:采用现场采集和爬取两种方式获取相应的样本图像;
D3:图像的预处理:对收集到的数据进行裁切以及变换到416×416;
D4:样本数据的扩增:采取以下方式扩充扩充样本数据:
a.样本图像的宽和高放大1.5倍;
b.样本图像的宽缩小1/3,高缩小1/2,且保证图像是32的倍数;
c.样本图像的亮度增强;
d.样本图像的亮度减弱;
e.样本图像翻转90°或者180°;
f.样本图像添加噪声;
D5:人工标注:根据步骤D1中的定义,使用图像标注工具imageLabel对样本集中的图像数据进行标注,得到标签数据(x,y,w,h,c);
D6:样本集的划分:按照98:2的比例划分样本集为训练集和测试集;
E:构建改进的yolov3模型:分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层,上采样层使用了双线性插值算法对特征图进行了扩展,残差层将低层的输出与高层的输出相加,拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加,预测层包含了3个特征图,每个特征图的每个网格上又包含了3个长宽比不同的anchorbox,每个anchor box是一个1×20的向量,包含了以下的预测信息:tX,ty,tw,th,边界框包含物体的置信度以及物体属于垃圾废弃物的概率;
F:训练网络:使用随机初始化策略初始化模型的权重,然后把训练数据丢入模型中,经前向传播后则预测层特征图的每个网格可以得到了一个3×(4+1+15)的预测结果,最后,按照如下的代价函数公式计算预测结果与真实结果的误差:
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差,当代价函数的损失值较小且稳定也就是收敛时,则停止训练;
G:网络测试:把测试集数据丢入模型中,并得到预测结果,设置边界框的置信度阀值Thscores=0.6,剔除置信度较低的预测结果,再设置一个非极大值抑制的阀值为0.5,执行非极大值抑制,防止同一个目标被多重识别,最后输出修正后的预测结果。
本发明相比现有技术,具有如下技术特点:
1、基于里程计模块的位姿建立了一个社区内垃圾废弃物分布的动态地图,降低了管理人员的监控压力,提高了保洁人员的工作效率。
2、基于改进的yolov3,其使用深度可分离卷积替代darknet-53中的一部分传统卷积,极大的降低了模型的计算量,而且基于改进yolov3目标识别算法能够更准确的识别社区内的垃圾废弃物,且模型的参数较少,减少了训练和优化时的时间,提高了模型的识别速度,降低了对硬件的要求。
【附图说明】
下面结合附图对本发明的具体实施方式作进一步详细说明,其中:
图1为本发明的结构示意图;
图2为发明所述里程计模块的计算流程图;
图3为本发明进行目标识别的流程图;
图4为本发明进行点云地图建立的流程图;
图5为本发明改进的yolov3模型的结构图。
【具体实施方式】
一种社区安保机器人的垃圾目标识别***,包括建图模块以及分别与建图模块信号连接的里程计模块和目标识别模块,里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至所述建图模块,更具体的,激光里程计包括了一个16线的激光雷达,轮式里程计包括了2个光电编码器,其实时估算机器人的位姿,目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向所述建图模块发布目标的位置和深度信息,更具体的,是基于目标识别算法首先找到垃圾废弃物在图像中的位置,然后基于ROS发布包含了垃圾废弃物的位置和深度信息的话题,建图模块用于对来源于里程计模块和目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。
上述的一种社区安保机器人的垃圾目标识别***的识别方法,包括如下步骤:
A:位姿计算:
A1:轮式里程计的标定:收集n段数据,每段数据包含两个车轮子的角速度(WL,WR),该段数据持续的时间以及激光雷达的匹配值,基于模型的方法,计算出两轮间距b和两个轮子的半径;
A2:激光雷达数据运动畸变的去除:工控机读取激光数据,STM32上传里程计积分数据,检查里程计队列中的位姿数据与激光雷达数据时间上是否同步,如果同步则不进行处理,否则对位姿数据进行二次插值,最后根据位姿数据对激光雷达数据进行变换并得到去除运动畸变后的激光雷达数据;
A3:对采集到的激光雷达数据使用前端配准算法:首先寻找点云中的匹配点,然后根据匹配计算旋转矩阵R和平移矩阵T,对点云进行位姿变化并计算误差,不断迭代,直至误差小于容忍值;
A4:基于图优化技术对位姿图进行优化;
B:目标定位:目标识别模块利用目标识别算法找到垃圾废弃物在图像中的位置,然后发布目标的位置和深度;
C:点云地图建立:建图模块对来源于里程计模块和目标识别模块信息进行处理,建图模块分别订阅里程计模块和目标识别模块发布的话题,并根据下面的公式进行坐标变换:
z=d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换,得到其在世界坐标系下的坐标,最后拼接和构建点云地图。其中的x和z为垃圾目标在相机坐标系下的坐标,u为目标在图像坐标系下位置,d为目标离摄像头距离,fX和cX均为摄像头的内参。利用优化后的位姿对垃圾目标在相机坐标系下的坐标进行变换,得到了其在世界坐标系下的坐标,进行点云拼接和滤波(外点去除滤波器和降采样滤波器),最后构建一个全局的点云地图。
D:建立训练集和测试集:
D1:细化垃圾废弃物的定义:选取社区中常见的14种废品作为垃圾废弃物的定义,包括了垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐;
D2:搜集垃圾废弃物的照片:采用现场采集和爬取两种方式获取相应的样本图像;
D3:图像的预处理:对收集到的数据进行裁切以及变换到416×416;
D4:样本数据的扩增:采取以下方式扩充扩充样本数据:
a.样本图像的宽和高放大1.5倍;
b.样本图像的宽缩小1/3,高缩小1/2,且保证图像是32的倍数;
c.样本图像的亮度增强;
d.样本图像的亮度减弱;
e.样本图像翻转90°或者180°;
f.样本图像添加噪声;
D5:人工标注:根据步骤D1中的定义,使用图像标注工具imageLabel对样本集中的图像数据进行标注,得到标签数据(x,y,w,h,c),其中的x和y代表了图像中目标的中心坐标,w和h则代表了目标的宽和高,c代表了目标的类别,c=0表示了背景,c=1-14依次表示了步骤D1中定义的垃圾废弃物;
D6:样本集的划分:按照98:2的比例划分样本集为训练集和测试集;
E:构建改进的yolov3模型:分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层,改进的yolov3模型即是由这6个基本层级构成,使用深度可分离卷积层代替了原yolov3残差模块中的3×3的卷积层,极大的减少了需要计算的参数数量,提高了模型的运算速度,进一步降低了模型对硬件平台的依赖,上采样层使用了双线性插值算法对特征图进行了扩展,残差层将低层的输出与高层的输出相加,避免了梯度消失现象,增加了模型的深度,拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加,提高了边界框的回归精度,预测层包含了3个特征图,每个特征图的每个网格上又包含了3个长宽比不同的anchor box,每个anchor box是一个1×20的向量,包含了以下的预测信息:tX,ty,tw,th,边界框包含物体的置信度以及物体属于垃圾废弃物的概率,其中(tX,ty,tw,th,)与目标边界框(x,y,w,h)的关系如下公式所示:
x=σ(tx)+cx
y=σ(ty)+cy
其中(cx,cy)代表了网格偏离图像左上角的坐标,(pw,ph)代表了anchor box的宽和高;
F:训练网络:使用随机初始化策略初始化模型的权重,然后把训练数据丢入模型中,经前向传播后则预测层特征图的每个网格可以得到了一个3×(4+1+15)的预测结果,最后,按照如下的代价函数公式计算预测结果与真实结果的误差:
代价函数中预测值和真实值之间的损失为三类,即:边界框损失、置信度损失和分类损失,其中边界框的中心坐标损失、置信度损失和分类损失均采用了二值交叉熵损失函数,边界框的宽和高则使用欧氏损失函数,更详细地,在置信度损失中,由于网格中可能包含了多个目标,此外每个网格也设置了3个anchor box,因而这里选取输出结果中目标类别置信度最高的anchor box负责预测该目标,通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差,当代价函数的损失值较小且稳定也就是收敛时,则停止训练;
G:网络测试:把测试集数据丢入模型中,并得到预测结果,设置边界框的置信度阀值Thscores=0.6,剔除置信度较低的预测结果,再设置一个非极大值抑制的阀值为0.5,执行非极大值抑制,防止同一个目标被多重识别,最后输出修正后的预测结果;观察模型的准确率和查全率是否达到设计要求,否则添加新的训练集对模型继续进行训练。
Claims (3)
1.一种社区安保机器人的垃圾目标识别***,其特征在于包括建图模块以及分别与所述建图模块信号连接的里程计模块和目标识别模块,所述里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至所述建图模块,所述目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向所述建图模块发布目标的位置和深度信息,所述建图模块用于对来源于所述里程计模块和所述目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。
2.权利要求1所述的一种社区安保机器人的垃圾目标识别***的识别方法,其特征在于包括如下步骤:
A:位姿计算:
A1:轮式里程计的标定:收集n段数据,每段数据包含两个车轮子的角速度(WL,WR),该段数据持续的时间以及激光雷达的匹配值,基于模型的方法,计算出两轮间距b和两个轮子的半径;
A2:激光雷达数据运动畸变的去除:工控机读取激光数据,STM32上传里程计积分数据,检查里程计队列中的位姿数据与激光雷达数据时间上是否同步,如果同步则不进行处理,否则对位姿数据进行二次插值,最后根据位姿数据对激光雷达数据进行变换并得到去除运动畸变后的激光雷达数据;
A3:对采集到的激光雷达数据使用前端配准算法:首先寻找点云中的匹配点,然后根据匹配计算旋转矩阵R和平移矩阵T,对点云进行位姿变化并计算误差,不断迭代,直至误差小于容忍值;
A4:基于图优化技术对位姿图进行优化;
B:目标定位:目标识别模块利用目标识别算法找到垃圾废弃物在图像中的位置,然后发布目标的位置和深度;
C:点云地图建立:建图模块对来源于里程计模块和目标识别模块信息进行处理,建图模块分别订阅里程计模块和目标识别模块发布的话题,并根据下面的公式进行坐标变换:
z=d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换,得到其在世界坐标系下的坐标,最后拼接和构建点云地图。
3.根据权利要求2所述的一种社区安保机器人的垃圾目标识别***的识别方法,其特征在于还包括如下步骤:
D:建立训练集和测试集:
D1:细化垃圾废弃物的定义:选取社区中常见的14种废品作为垃圾废弃物的定义,包括了垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐;
D2:搜集垃圾废弃物的照片:采用现场采集和爬取两种方式获取相应的样本图像;
D3:图像的预处理:对收集到的数据进行裁切以及变换到416×416;
D4:样本数据的扩增:采取以下方式扩充扩充样本数据:
a.样本图像的宽和高放大1.5倍;
b.样本图像的宽缩小1/3,高缩小1/2,且保证图像是32的倍数;
c.样本图像的亮度增强;
d.样本图像的亮度减弱;
e.样本图像翻转90°或者180°;
f.样本图像添加噪声;
D5:人工标注:根据步骤D1中的定义,使用图像标注工具imageLabel对样本集中的图像数据进行标注,得到标签数据(x,y,w,h,c);
D6:样本集的划分:按照98:2的比例划分样本集为训练集和测试集;
E:构建改进的yolov3模型:分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层,上采样层使用了双线性插值算法对特征图进行了扩展,残差层将低层的输出与高层的输出相加,拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加,预测层包含了3个特征图,每个特征图的每个网格上又包含了3个长宽比不同的anchorbox,每个anchor box是一个1×20的向量,包含了以下的预测信息:tX,ty,tw,th,边界框包含物体的置信度以及物体属于垃圾废弃物的概率;
F:训练网络:使用随机初始化策略初始化模型的权重,然后把训练数据丢入模型中,经前向传播后则预测层特征图的每个网格可以得到了一个3×(4+1+15)的预测结果,最后,按照如下的代价函数公式计算预测结果与真实结果的误差:
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差,当代价函数的损失值较小且稳定也就是收敛时,则停止训练;
G:网络测试:把测试集数据丢入模型中,并得到预测结果,设置边界框的置信度阀值Thscores=0.6,剔除置信度较低的预测结果,再设置一个非极大值抑制的阀值为0.5,执行非极大值抑制,防止同一个目标被多重识别,最后输出修正后的预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910474670.XA CN110263675B (zh) | 2019-06-03 | 2019-06-03 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910474670.XA CN110263675B (zh) | 2019-06-03 | 2019-06-03 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110263675A true CN110263675A (zh) | 2019-09-20 |
CN110263675B CN110263675B (zh) | 2024-02-20 |
Family
ID=67916389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910474670.XA Active CN110263675B (zh) | 2019-06-03 | 2019-06-03 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263675B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796026A (zh) * | 2019-10-10 | 2020-02-14 | 湖北工业大学 | 一种基于全局特征拼接的行人重识别方法 |
CN111008994A (zh) * | 2019-11-14 | 2020-04-14 | 山东万腾电子科技有限公司 | 基于MPSoC的运动目标实时检测跟踪***及方法 |
CN111037554A (zh) * | 2019-12-12 | 2020-04-21 | 杭州翼兔网络科技有限公司 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
CN111414804A (zh) * | 2020-02-27 | 2020-07-14 | 广州文远知行科技有限公司 | 识别框确定方法、装置、计算机设备、车辆和存储介质 |
CN111428619A (zh) * | 2020-03-20 | 2020-07-17 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
CN111458721A (zh) * | 2020-03-31 | 2020-07-28 | 江苏集萃华科智能装备科技有限公司 | 一种暴露垃圾的识别定位方法、装置及*** |
CN111474953A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多动态视角协同的空中目标识别方法及*** |
CN111507271A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN111739622A (zh) * | 2020-07-22 | 2020-10-02 | 北京梦天门科技股份有限公司 | 医疗废弃物在线监控与预测方法及*** |
CN111914815A (zh) * | 2020-09-05 | 2020-11-10 | 广东鲲鹏智能机器设备有限公司 | 一种垃圾目标的机器视觉智能识别***及方法 |
CN111950354A (zh) * | 2020-06-30 | 2020-11-17 | 深圳市雄帝科技股份有限公司 | ***归属国识别方法、装置及电子设备 |
CN112115968A (zh) * | 2020-08-10 | 2020-12-22 | 北京智行者科技有限公司 | 一种智能清扫车垃圾识别方法及*** |
CN112115982A (zh) * | 2020-08-27 | 2020-12-22 | 中犹(南京)智慧城市创新研究院有限公司 | 一种基于yolov3的路面撒漏病害自动检测方法 |
CN112163628A (zh) * | 2020-10-10 | 2021-01-01 | 北京航空航天大学 | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 |
CN112945266A (zh) * | 2019-12-10 | 2021-06-11 | 炬星科技(深圳)有限公司 | 激光导航机器人及其机器人的里程计校准方法 |
CN113483762A (zh) * | 2021-07-05 | 2021-10-08 | 河南理工大学 | 一种位姿优化方法及设备 |
CN114593737A (zh) * | 2022-03-11 | 2022-06-07 | 美智纵横科技有限责任公司 | 控制方法、装置、机器人及存储介质 |
CN115272853A (zh) * | 2022-07-27 | 2022-11-01 | 清华大学 | 基于人工智能技术与大数据的工业废弃地识别方法及产品 |
CN115394065A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种基于ai自动识别丢包行为报警的方法和装置 |
CN111160440B (zh) * | 2019-12-24 | 2023-11-21 | 广东省智能制造研究所 | 一种基于深度学习的安全帽佩戴检测方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
CN208165794U (zh) * | 2017-11-14 | 2018-11-30 | 中国矿业大学 | 一种智能分类垃圾桶 |
-
2019
- 2019-06-03 CN CN201910474670.XA patent/CN110263675B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
CN208165794U (zh) * | 2017-11-14 | 2018-11-30 | 中国矿业大学 | 一种智能分类垃圾桶 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796026A (zh) * | 2019-10-10 | 2020-02-14 | 湖北工业大学 | 一种基于全局特征拼接的行人重识别方法 |
CN111008994A (zh) * | 2019-11-14 | 2020-04-14 | 山东万腾电子科技有限公司 | 基于MPSoC的运动目标实时检测跟踪***及方法 |
CN112945266A (zh) * | 2019-12-10 | 2021-06-11 | 炬星科技(深圳)有限公司 | 激光导航机器人及其机器人的里程计校准方法 |
CN111037554A (zh) * | 2019-12-12 | 2020-04-21 | 杭州翼兔网络科技有限公司 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
CN111160440B (zh) * | 2019-12-24 | 2023-11-21 | 广东省智能制造研究所 | 一种基于深度学习的安全帽佩戴检测方法及装置 |
CN111414804B (zh) * | 2020-02-27 | 2024-05-14 | 广州文远知行科技有限公司 | 识别框确定方法、装置、计算机设备、车辆和存储介质 |
CN111414804A (zh) * | 2020-02-27 | 2020-07-14 | 广州文远知行科技有限公司 | 识别框确定方法、装置、计算机设备、车辆和存储介质 |
CN111428619A (zh) * | 2020-03-20 | 2020-07-17 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
CN111428619B (zh) * | 2020-03-20 | 2022-08-05 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
CN111474953A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多动态视角协同的空中目标识别方法及*** |
CN111474953B (zh) * | 2020-03-30 | 2021-09-17 | 清华大学 | 多动态视角协同的空中目标识别方法及*** |
CN111458721A (zh) * | 2020-03-31 | 2020-07-28 | 江苏集萃华科智能装备科技有限公司 | 一种暴露垃圾的识别定位方法、装置及*** |
CN111507271A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN111507271B (zh) * | 2020-04-20 | 2021-01-12 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN111950354A (zh) * | 2020-06-30 | 2020-11-17 | 深圳市雄帝科技股份有限公司 | ***归属国识别方法、装置及电子设备 |
CN111739622A (zh) * | 2020-07-22 | 2020-10-02 | 北京梦天门科技股份有限公司 | 医疗废弃物在线监控与预测方法及*** |
CN111739622B (zh) * | 2020-07-22 | 2021-01-26 | 北京梦天门科技股份有限公司 | 医疗废弃物在线监控与预测方法及*** |
CN112115968A (zh) * | 2020-08-10 | 2020-12-22 | 北京智行者科技有限公司 | 一种智能清扫车垃圾识别方法及*** |
CN112115968B (zh) * | 2020-08-10 | 2024-04-19 | 北京智行者科技股份有限公司 | 一种智能清扫车垃圾识别方法及*** |
CN112115982A (zh) * | 2020-08-27 | 2020-12-22 | 中犹(南京)智慧城市创新研究院有限公司 | 一种基于yolov3的路面撒漏病害自动检测方法 |
CN111914815A (zh) * | 2020-09-05 | 2020-11-10 | 广东鲲鹏智能机器设备有限公司 | 一种垃圾目标的机器视觉智能识别***及方法 |
CN112163628A (zh) * | 2020-10-10 | 2021-01-01 | 北京航空航天大学 | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 |
CN113483762A (zh) * | 2021-07-05 | 2021-10-08 | 河南理工大学 | 一种位姿优化方法及设备 |
CN114593737A (zh) * | 2022-03-11 | 2022-06-07 | 美智纵横科技有限责任公司 | 控制方法、装置、机器人及存储介质 |
CN115272853A (zh) * | 2022-07-27 | 2022-11-01 | 清华大学 | 基于人工智能技术与大数据的工业废弃地识别方法及产品 |
CN115394065A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110263675B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263675A (zh) | 一种社区安保机器人的垃圾目标识别***及其识别方法 | |
EP3614308B1 (en) | Joint deep learning for land cover and land use classification | |
CN111462282B (zh) | 一种场景图生成方法 | |
Cole et al. | Using laser range data for 3D SLAM in outdoor environments | |
CN111553387A (zh) | 一种基于Yolov3的人员目标检测方法 | |
Ochoa et al. | A framework for the management of agricultural resources with automated aerial imagery detection | |
CN110263706A (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
CN107886086A (zh) | 一种基于图像视频的目标动物检测方法及装置 | |
CN111914815A (zh) | 一种垃圾目标的机器视觉智能识别***及方法 | |
CN116189099B (zh) | 基于改进yolov8的暴露垃圾检测及堆放监控的方法 | |
CN107808123A (zh) | 图像可行域检测方法、电子设备、存储介质、检测*** | |
CN107397658B (zh) | 一种多尺度全卷积网络及视觉导盲方法和装置 | |
Zorzi et al. | Full-waveform airborne LiDAR data classification using convolutional neural networks | |
CN113110513A (zh) | 一种基于ros的居家整理移动机器人 | |
CN109919239A (zh) | 一种基于深度学习的农作物病虫害智能检测方法 | |
CN111611970A (zh) | 一种基于城管监控视频的乱扔垃圾行为检测方法 | |
CN109753853A (zh) | 一种同时完成行人检测与行人重识别的方法 | |
CN114375689B (zh) | 一种农业采摘机器人目标成熟判定和分类收纳方法 | |
CN113486764A (zh) | 一种基于改进的YOLOv3的坑洼检测方法 | |
CN111091101A (zh) | 基于一步法的高精度行人检测方法、***、装置 | |
Putra et al. | Automatic detection and counting of oil palm trees using remote sensing and object-based deep learning | |
CN114022837A (zh) | 车站遗留物品检测方法、装置、电子设备及存储介质 | |
CN106875061A (zh) | 一种目标路径确定的方法以及相关装置 | |
CN116682098A (zh) | 一种城市生活垃圾自动识别分类***及方法 | |
CN117589167A (zh) | 一种基于三维点云模型的无人机巡检航线规划方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |