CN110263675B - 一种社区安保机器人的垃圾目标识别***及其识别方法 - Google Patents
一种社区安保机器人的垃圾目标识别***及其识别方法 Download PDFInfo
- Publication number
- CN110263675B CN110263675B CN201910474670.XA CN201910474670A CN110263675B CN 110263675 B CN110263675 B CN 110263675B CN 201910474670 A CN201910474670 A CN 201910474670A CN 110263675 B CN110263675 B CN 110263675B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- odometer
- target
- garbage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000002699 waste material Substances 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 244000276331 Citrus maxima Species 0.000 claims description 3
- 235000001759 Citrus maxima Nutrition 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 3
- 244000141359 Malus pumila Species 0.000 claims description 3
- 240000008790 Musa x paradisiaca Species 0.000 claims description 3
- 235000018290 Musa x paradisiaca Nutrition 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 235000021016 apples Nutrition 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 235000013405 beer Nutrition 0.000 claims description 3
- 235000013361 beverage Nutrition 0.000 claims description 3
- 235000019504 cigarettes Nutrition 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 210000003608 fece Anatomy 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 239000011087 paperboard Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 2
- 238000003892 spreading Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000004140 cleaning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种社区安保机器人的垃圾目标识别***及其识别方法，所述识别***包括建图模块以及分别与建图模块信号连接的里程计模块和目标识别模块，所述识别方法包括位姿计算、激光雷达数据运动畸变的去除、目标定位和点云地图建立等步骤，里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至建图模块，目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向建图模块发布目标的位置和深度信息，建图模块用于对来源于里程计模块和目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。本发明降低了管理人员的监控压力，提高了保洁人员的工作效率。
Description
【技术领域】
本发明涉及机器人领域，尤其是一种社区安保机器人的垃圾目标识别***及其识别方法。
【背景技术】
随着居民消费水平的提高，社区内人们产生的生活垃圾的数量也随之不断增加。废弃的生活垃圾不仅严重影响社区的环境卫生，而且还容易滋生蚊虫和传播疾病进而危害人们的身体健康。
目前，社区的生活垃圾多由保洁工人定时清理，这种方式对处理居民楼下垃圾桶内的生活垃圾具有很好的效果，但对于社区内其他区域中近乎随机产生的生活垃圾，则显得效果较差和浪费人力。因此，需要开发出一种能够监控社区内生活垃圾变化情况的视觉***。
当前的垃圾识别***多基于固定摄像头，当要监控整个社区的垃圾变化情况时，则势必需要布设较多的摄像头，同时，这种识别***未能把来源于各路监控视频的识别结果整合到一个地图中，因而给后台的监控管理人员也带来了巨大的挑战。
此外，当前的垃圾识别方法多采用了基于深度学***台的要求较高等问题。
【发明内容】
本发明要解决的技术问题是提供利用社区安保机器人在自主行走的过程中的实时位姿信息，把图像中识别的生活垃圾的位置通过进行一系列的坐标变换，映射到一个不断更新的二维地图中，从而实现了监控整个社区生活垃圾变化情况的一种社区安保机器人的垃圾目标识别***及其识别方法。
本发明的目的是这样实现的：
一种社区安保机器人的垃圾目标识别***，包括建图模块以及分别与所述建图模块信号连接的里程计模块和目标识别模块，所述里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至所述建图模块，所述目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向所述建图模块发布目标的位置和深度信息，所述建图模块用于对来源于所述里程计模块和所述目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。
上所述的一种社区安保机器人的垃圾目标识别***的识别方法，包括如下步骤：
A：位姿计算：
A1：轮式里程计的标定：收集n段数据，每段数据包含两个车轮子的角速度(WL,WR)，该段数据持续的时间以及激光雷达的匹配值，基于模型的方法，计算出两轮间距b和两个轮子的半径；
A2：激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，最后根据位姿数据对激光雷达数据进行变换并得到去除运动畸变后的激光雷达数据；
A3：对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值；
A4：基于图优化技术对位姿图进行优化；
B：目标定位：目标识别模块利用目标识别算法找到垃圾废弃物在图像中的位置，然后发布目标的位置和深度；
C：点云地图建立：建图模块对来源于里程计模块和目标识别模块信息进行处理，建图模块分别订阅里程计模块和目标识别模块发布的话题，并根据下面的公式进行坐标变换：
z＝d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图。
如上所述的一种社区安保机器人的垃圾目标识别***的识别方法，还包括如下步骤：
D：建立训练集和测试集：
D1：细化垃圾废弃物的定义：选取社区中常见的14种废品作为垃圾废弃物的定义，包括了垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐；
D2：搜集垃圾废弃物的照片：采用现场采集和爬取两种方式获取相应的样本图像；
D3：图像的预处理：对收集到的数据进行裁切以及变换到416×416；
D4：样本数据的扩增：采取以下方式扩充扩充样本数据：
a.样本图像的宽和高放大1.5倍；
b.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；
c.样本图像的亮度增强；
d.样本图像的亮度减弱；
e.样本图像翻转90°或者180°；
f.样本图像添加噪声；
D5：人工标注：根据步骤D1中的定义，使用图像标注工具imageLabel对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)；
D6：样本集的划分：按照98:2的比例划分样本集为训练集和测试集；
E：构建改进的yolov3模型：分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，上采样层使用了双线性插值算法对特征图进行了扩展，残差层将低层的输出与高层的输出相加，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，预测层包含了3个特征图，每个特征图的每个网格上又包含了3个长宽比不同的anchorbox，每个anchor box是一个1×20的向量，包含了以下的预测信息：tX，ty，tw，th，边界框包含物体的置信度以及物体属于垃圾废弃物的概率；
F：训练网络：使用随机初始化策略初始化模型的权重，然后把训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到了一个3×(4+1+15)的预测结果，最后，按照如下的代价函数公式计算预测结果与真实结果的误差：
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；
G：网络测试：把测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值为0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果。
本发明相比现有技术，具有如下技术特点：
1、基于里程计模块的位姿建立了一个社区内垃圾废弃物分布的动态地图，降低了管理人员的监控压力，提高了保洁人员的工作效率。
2、基于改进的yolov3，其使用深度可分离卷积替代darknet-53中的一部分传统卷积，极大的降低了模型的计算量，而且基于改进yolov3目标识别算法能够更准确的识别社区内的垃圾废弃物，且模型的参数较少，减少了训练和优化时的时间，提高了模型的识别速度，降低了对硬件的要求。
【附图说明】
下面结合附图对本发明的具体实施方式作进一步详细说明，其中：
图1为本发明的结构示意图；
图2为发明所述里程计模块的计算流程图；
图3为本发明进行目标识别的流程图；
图4为本发明进行点云地图建立的流程图；
图5为本发明改进的yolov3模型的结构图。
【具体实施方式】
一种社区安保机器人的垃圾目标识别***，包括建图模块以及分别与建图模块信号连接的里程计模块和目标识别模块，里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至所述建图模块，更具体的，激光里程计包括了一个16线的激光雷达，轮式里程计包括了2个光电编码器，其实时估算机器人的位姿，目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向所述建图模块发布目标的位置和深度信息，更具体的，是基于目标识别算法首先找到垃圾废弃物在图像中的位置，然后基于ROS发布包含了垃圾废弃物的位置和深度信息的话题，建图模块用于对来源于里程计模块和目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图。
上述的一种社区安保机器人的垃圾目标识别***的识别方法，包括如下步骤：
A：位姿计算：
A1：轮式里程计的标定：收集n段数据，每段数据包含两个车轮子的角速度(WL,WR)，该段数据持续的时间以及激光雷达的匹配值，基于模型的方法，计算出两轮间距b和两个轮子的半径；
A2：激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，最后根据位姿数据对激光雷达数据进行变换并得到去除运动畸变后的激光雷达数据；
A3：对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值；
A4：基于图优化技术对位姿图进行优化；
B：目标定位：目标识别模块利用目标识别算法找到垃圾废弃物在图像中的位置，然后发布目标的位置和深度；
C：点云地图建立：建图模块对来源于里程计模块和目标识别模块信息进行处理，建图模块分别订阅里程计模块和目标识别模块发布的话题，并根据下面的公式进行坐标变换：
z＝d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图。其中的x和z为垃圾目标在相机坐标系下的坐标，u为目标在图像坐标系下位置，d为目标离摄像头距离，fX和cX均为摄像头的内参。利用优化后的位姿对垃圾目标在相机坐标系下的坐标进行变换，得到了其在世界坐标系下的坐标，进行点云拼接和滤波(外点去除滤波器和降采样滤波器)，最后构建一个全局的点云地图。
D：建立训练集和测试集：
D1：细化垃圾废弃物的定义：选取社区中常见的14种废品作为垃圾废弃物的定义，包括了垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐；
D2：搜集垃圾废弃物的照片：采用现场采集和爬取两种方式获取相应的样本图像；
D3：图像的预处理：对收集到的数据进行裁切以及变换到416×416；
D4：样本数据的扩增：采取以下方式扩充扩充样本数据：
a.样本图像的宽和高放大1.5倍；
b.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；
c.样本图像的亮度增强；
d.样本图像的亮度减弱；
e.样本图像翻转90°或者180°；
f.样本图像添加噪声；
D5：人工标注：根据步骤D1中的定义，使用图像标注工具imageLabel对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)，其中的x和y代表了图像中目标的中心坐标，w和h则代表了目标的宽和高，c代表了目标的类别，c＝0表示了背景，c＝1-14依次表示了步骤D1中定义的垃圾废弃物；
D6：样本集的划分：按照98:2的比例划分样本集为训练集和测试集；
E：构建改进的yolov3模型：分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，改进的yolov3模型即是由这6个基本层级构成，使用深度可分离卷积层代替了原yolov3残差模块中的3×3的卷积层，极大的减少了需要计算的参数数量，提高了模型的运算速度，进一步降低了模型对硬件平台的依赖，上采样层使用了双线性插值算法对特征图进行了扩展，残差层将低层的输出与高层的输出相加，避免了梯度消失现象，增加了模型的深度，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，提高了边界框的回归精度，预测层包含了3个特征图，每个特征图的每个网格上又包含了3个长宽比不同的anchor box，每个anchor box是一个1×20的向量，包含了以下的预测信息：tX，ty，tw，th，边界框包含物体的置信度以及物体属于垃圾废弃物的概率，其中(tX，ty，tw，th，)与目标边界框(x，y，w，h)的关系如下公式所示：
x＝σ(tx)+cx
y＝σ(ty)+cy
其中(cx，cy)代表了网格偏离图像左上角的坐标，(pw，ph)代表了anchor box的宽和高；
F：训练网络：使用随机初始化策略初始化模型的权重，然后把训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到了一个3×(4+1+15)的预测结果，最后，按照如下的代价函数公式计算预测结果与真实结果的误差：
代价函数中预测值和真实值之间的损失为三类，即：边界框损失、置信度损失和分类损失，其中边界框的中心坐标损失、置信度损失和分类损失均采用了二值交叉熵损失函数，边界框的宽和高则使用欧氏损失函数，更详细地，在置信度损失中，由于网格中可能包含了多个目标，此外每个网格也设置了3个anchor box，因而这里选取输出结果中目标类别置信度最高的anchor box负责预测该目标，通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；
G：网络测试：把测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值为0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果；观察模型的准确率和查全率是否达到设计要求,否则添加新的训练集对模型继续进行训练。
Claims (1)
1.一种社区安保机器人的垃圾目标识别***的识别方法，其识别***包括建图模块以及分别与所述建图模块信号连接的里程计模块和目标识别模块，所述里程计模块包括轮式里程计和激光里程计以用于计算出当前机器人的位姿并将相应的位姿数据发送至所述建图模块，所述目标识别模块包括一摄像头以用于利用目标识别算法找到垃圾废弃物在图像中的位置并向所述建图模块发布目标的位置和深度信息，所述建图模块用于对来源于所述里程计模块和所述目标识别模块的信息进行处理并构建垃圾废弃物对应的点云地图，其识别方法包括如下步骤：
A：位姿计算：
A1：轮式里程计的标定：收集n段数据，每段数据包含两个车轮子的角速度(WL,WR)，该段数据持续的时间以及激光雷达的匹配值，基于模型的方法，计算出两轮间距b和两个轮子的半径；
A2：激光雷达数据运动畸变的去除：工控机读取激光数据，
STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，最后根据位姿数据对激光雷达数据进行变换并得到去除运动畸变后的激光雷达数据；
A3：对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值；
A4：基于图优化技术对位姿图进行优化；
B：目标定位：目标识别模块利用目标识别算法找到垃圾废弃物在图像中的位置，然后发布目标的位置和深度；
C：点云地图建立：建图模块对来源于里程计模块和目标识别模块信息进行处理，建图模块分别订阅里程计模块和目标识别模块发布的话题，并根据下面的公式进行坐标变换：
z＝d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图；
D：建立训练集和测试集：
D1：细化垃圾废弃物的定义：选取社区中常见的14种废品作为垃圾废弃物的定义，包括了垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐；
D2：搜集垃圾废弃物的照片：采用现场采集和爬取两种方式获取相应的样本图像；
D3：图像的预处理：对收集到的数据进行裁切以及变换到416×416；
D4：样本数据的扩增：采取以下方式扩充扩充样本数据：
a.样本图像的宽和高放大1.5倍；
b.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；
c.样本图像的亮度增强；
d.样本图像的亮度减弱；
e.样本图像翻转90°或者180°；
f.样本图像添加噪声；
D5：人工标注：根据步骤D1中的定义，使用图像标注工具imageLabel对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)；
D6：样本集的划分：按照98:2的比例划分样本集为训练集和测试集；
E：构建改进的yolov3模型：分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，上采样层使用了双线性插值算法对特征图进行了扩展，残差层将低层的输出与高层的输出相加，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，预测层包含了3个特征图，每个特征图的每个网格上又包含了3个长宽比不同的anchorbox，每个anchor box是一个1×20的向量，包含了以下的预测信息：tx，ty，tw，th，边界框包含物体的置信度以及物体属于垃圾废弃物的概率；
F：训练网络：使用随机初始化策略初始化模型的权重，然后把训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到了一个3×(4+1+15)的预测结果，最后，按照如下的代价函数公式计算预测结果与真实结果的误差：
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；
G：网络测试：把测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值为0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910474670.XA CN110263675B (zh) | 2019-06-03 | 2019-06-03 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910474670.XA CN110263675B (zh) | 2019-06-03 | 2019-06-03 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110263675A CN110263675A (zh) | 2019-09-20 |
| CN110263675B true CN110263675B (zh) | 2024-02-20 |
Family
ID=67916389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910474670.XA Active CN110263675B (zh) | 2019-06-03 | 2019-06-03 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110263675B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796026A (zh) * | 2019-10-10 | 2020-02-14 | 湖北工业大学 | 一种基于全局特征拼接的行人重识别方法 |
| CN111008994A (zh) * | 2019-11-14 | 2020-04-14 | 山东万腾电子科技有限公司 | 基于MPSoC的运动目标实时检测跟踪***及方法 |
| CN112945266A (zh) * | 2019-12-10 | 2021-06-11 | 炬星科技（深圳）有限公司 | 激光导航机器人及其机器人的里程计校准方法 |
| CN111037554B (zh) * | 2019-12-12 | 2021-04-13 | 罗冬 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
| CN111160440B (zh) * | 2019-12-24 | 2023-11-21 | 广东省智能制造研究所 | 一种基于深度学习的安全帽佩戴检测方法及装置 |
| CN111414804B (zh) * | 2020-02-27 | 2024-05-14 | 广州文远知行科技有限公司 | 识别框确定方法、装置、计算机设备、车辆和存储介质 |
| CN111428619B (zh) * | 2020-03-20 | 2022-08-05 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
| CN111474953B (zh) * | 2020-03-30 | 2021-09-17 | 清华大学 | 多动态视角协同的空中目标识别方法及*** |
| CN111458721B (zh) * | 2020-03-31 | 2022-07-12 | 江苏集萃华科智能装备科技有限公司 | 一种暴露垃圾的识别定位方法、装置及*** |
| CN111507271B (zh) * | 2020-04-20 | 2021-01-12 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
| CN111950354A (zh) * | 2020-06-30 | 2020-11-17 | 深圳市雄帝科技股份有限公司 | ***归属国识别方法、装置及电子设备 |
| CN111739622B (zh) * | 2020-07-22 | 2021-01-26 | 北京梦天门科技股份有限公司 | 医疗废弃物在线监控与预测方法及*** |
| CN112115968B (zh) * | 2020-08-10 | 2024-04-19 | 北京智行者科技股份有限公司 | 一种智能清扫车垃圾识别方法及*** |
| CN112115982A (zh) * | 2020-08-27 | 2020-12-22 | 中犹(南京)智慧城市创新研究院有限公司 | 一种基于yolov3的路面撒漏病害自动检测方法 |
| CN111914815A (zh) * | 2020-09-05 | 2020-11-10 | 广东鲲鹏智能机器设备有限公司 | 一种垃圾目标的机器视觉智能识别***及方法 |
| CN112163628A (zh) * | 2020-10-10 | 2021-01-01 | 北京航空航天大学 | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 |
| CN113483762A (zh) * | 2021-07-05 | 2021-10-08 | 河南理工大学 | 一种位姿优化方法及设备 |
| CN114593737A (zh) * | 2022-03-11 | 2022-06-07 | 美智纵横科技有限责任公司 | 控制方法、装置、机器人及存储介质 |
| CN115272853B (zh) * | 2022-07-27 | 2023-06-27 | 清华大学 | 基于人工智能技术与大数据的工业废弃地识别方法及产品 |
| CN115394065A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN208165794U (zh) * | 2017-11-14 | 2018-11-30 | 中国矿业大学 | 一种智能分类垃圾桶 |
-
2019
- 2019-06-03 CN CN201910474670.XA patent/CN110263675B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066507A (zh) * | 2017-01-10 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种基于云机器人混合云架构的语义地图构建方法 |
| CN208165794U (zh) * | 2017-11-14 | 2018-11-30 | 中国矿业大学 | 一种智能分类垃圾桶 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110263675A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263675B (zh) | 一种社区安保机器人的垃圾目标识别***及其识别方法 | |
| CN111914815A (zh) | 一种垃圾目标的机器视觉智能识别***及方法 | |
| Caltagirone et al. | Fast LIDAR-based road detection using fully convolutional neural networks | |
| CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| CN110924340B (zh) | 一种用于智能捡垃圾的移动机器人***与实现方法 | |
| Jiang et al. | Deep neural networks-based vehicle detection in satellite images | |
| CN111360780A (zh) | 一种基于视觉语义slam的垃圾捡拾机器人 | |
| Zhu et al. | Segmentation and classification of range image from an intelligent vehicle in urban environment | |
| CN107886086A (zh) | 一种基于图像视频的目标动物检测方法及装置 | |
| WO2022247045A1 (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN113110513A (zh) | 一种基于ros的居家整理移动机器人 | |
| CN104794435A (zh) | 一种基于视觉的无人机对地运动目标检测方法 | |
| CN102289822A (zh) | 一种多摄像机协同跟踪运动目标的方法 | |
| CN113469264A (zh) | 一种垃圾自动分类模型的构建方法、垃圾分拣方法和*** | |
| Nazerdeylami et al. | Smart coastline environment management using deep detection of manmade pollution and hazards | |
| CN113569313A (zh) | 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法 | |
| Rajeswari et al. | Automatic road extraction based on level set, normalized cuts and mean shift methods | |
| CN115143950A (zh) | 一种智能汽车局部语义栅格地图生成方法 | |
| Hou et al. | Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard | |
| CN106875061A (zh) | 一种目标路径确定的方法以及相关装置 | |
| Cheng et al. | Application of simultaneous location and map construction algorithms based on lidar in the intelligent robot food runner | |
| CN112488190A (zh) | 一种基于深度学习的点云数据分类方法及*** | |
| CN115359411B (zh) | 一种基于改进DeepLab V3+网络的变电站环境理解方法 | |
| CN116129293A (zh) | 一种基于无人机的车辆实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |