CN111914815A - 一种垃圾目标的机器视觉智能识别***及方法 - Google Patents
一种垃圾目标的机器视觉智能识别***及方法 Download PDFInfo
- Publication number
- CN111914815A CN111914815A CN202010924563.5A CN202010924563A CN111914815A CN 111914815 A CN111914815 A CN 111914815A CN 202010924563 A CN202010924563 A CN 202010924563A CN 111914815 A CN111914815 A CN 111914815A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- garbage
- layer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000002699 waste material Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000004140 cleaning Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 244000276331 Citrus maxima Species 0.000 description 1
- 235000001759 Citrus maxima Nutrition 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000010791 domestic waste Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000011087 paperboard Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种垃圾目标的机器视觉智能识别***，包括有里程计模块、目标识别模块、建图模块，本发明的***建立一个垃圾目标分布的动态地图，降低了管理人员的监控压力，提高了保洁人员的工作效率，本发明还公开了一种垃圾目标的机器视觉智能识别方法，包括有以下步骤：计算位姿数据、识别垃圾目标、建立点云地图、建立训练集和测试集、构建改进的yolov3模型、训练网络、网络测试，本发明的方法使用深度可分离卷积替代darknet‑53中的一部分传统卷积，极大的降低了模型的计算量，基于改进yolov3目标识别算法，能够更准确的识别垃圾目标，且模型的参数较少，减少了训练和优化时的时间，提高了模型的识别速度，降低了对硬件的要求。
Description
[技术领域]
本发明专利涉及机器视觉和机器学习领域，具体而言，涉及一种垃圾目标的机器视觉智能识别***及方法。
[背景技术]
随着居民消费水平的提高，社区内人们产生的生活垃圾的数量也随之不断增加。废弃的生活垃圾不仅严重影响社区的环境卫生，而且还容易滋生蚊虫和传播疾病进而危害人们的身体健康。目前社区的生活垃圾多由保洁工人定时清理，这种方式对处理居民楼下垃圾桶内的生活垃圾具有很好的效果，但对于社区内其他区域中近乎随机产生的生活垃圾，则显得效果较差和浪费人力。因此，需要开发出一种能够监控社区内生活垃圾变化情况的视觉***。
当前的垃圾识别***多基于固定摄像头，当要监控整个社区的垃圾变化情况时，则势必需要布设较多的摄像头；同时，这种识别***未能把来源于各路监控视频的识别结果整合到一个地图中，因而给后台的监控管理人员也带来了巨大的挑战。
此外，当前的垃圾机器视觉识别方法多采用了基于深度学***台的要求较高等问题。。
本发明就是基于以上问题产生的。
[发明内容]
本发明的目的是针对现有技术的不足，提出一种垃圾目标的机器视觉智能识别***及方法，本发明利用机器人在自主行走的过程中的实时位姿信息，把图像中识别的垃圾目标的位置通过进行一系列的坐标变换，映射到一个不断更新的二维地图中，从而实现了监控整个社区生活垃圾变化情况。
为解决上述技术问题，本发明所采用的技术方案是：
一种垃圾目标的机器视觉智能识别***，包括有
里程计模块，用于计算机器人的位姿数据；
目标识别模块，利用目标识别算法查找垃圾目标在图像中的位置并计算垃圾目标的位置数据和深度数据；
建图模块，接收处理里程计模块的位姿数据、目标识别模块的垃圾目标位置数据和深度数据，得到垃圾目标在世界坐标系下的坐标，拼接构建得到垃圾目标的点云地图。
如上所述的一种垃圾目标的机器视觉智能识别***，所述里程计模块包括有轮式里程计和激光里程计。
如上所述的一种垃圾目标的机器视觉智能识别***，所述目标识别模块包括有一个高清摄像头。
一种垃圾目标的机器视觉智能识别方法，包括有以下步骤：
步骤A，计算位姿数据：
A1，轮式里程计的标定：收集若干段数据，每段数据包含两个车轮子的角速度WL和WR、该段数据持续的时间以及激光雷达的匹配值，基于模型的方法计算出两的轮间距b和两个轮子的半径；
A2，激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，根据位姿数据对激光雷达数据进行变换得到去除运动畸变后的激光雷达数据；
A3，对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值。
A4，基于图优化技术对位姿图进行优化；
步骤B，识别垃圾目标：
目标识别模块利用目标识别算法找到垃圾目标在图像中的位置，然后发布垃圾目标的位置数据和深度数据；
步骤C，建立点云地图：
建图模块对来源于里程计模块和目标识别模块的数据进行处理，根据下面的公式进行坐标变换：
z＝d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图。
如上所述的一种垃圾目标的机器视觉智能识别方法，还包括有以下步骤：
步骤D，建立训练集和测试集：
D1，细化垃圾目标的定义：选取若干种废品作为垃圾目标的定义；
D2，搜集废品的照片：采用现场采集和爬取两种方式获取相应的样本图像；
D3，图像的预处理：对收集到的图像数据进行裁切以及变换到416×416规格的样本数据；
D4，样本数据的扩增：采取以下方式扩充样本数据：
D4-1.样本图像的宽和高放大1.5倍；
D4-2.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；
D4-3.样本图像的亮度增强；
D4-4.样本图像的亮度减弱；
D4-5.样本图像翻转90度或者180度；
D4-6.样本图像添加噪声；
D5，人工标注：根据步骤D1中的定义，使用图像标注工具对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)；
D6，样本集的划分：按照98:2的比例划分样本集为训练集和测试集；
步骤E，构建改进的yolov3模型：
分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，上采样层使用双线性插值算法对特征图进行扩展，残差层将低层的输出与高层的输出相加，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，预测层包含3个特征图，每个特征图的每个网格上还包含3个长宽比不同的anchor box，每个anchor box是一个1×20的向量并包含以下的预测信息：tx,ty,tw,th，边界框包含物体的置信度以及物体属于垃圾目标的概率；
步骤F，训练网络：
使用随机初始化策略初始化模型的权重，然后将训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到一个3×(4+1+15)的预测结果，最后按照如下的代价函数公式计算预测结果与真实结果的误差：
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；
步骤G，网络测试：
将测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值为Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果。
与现有技术相比，本发明的有益效果是：
1、本发明基于里程计模块的位姿建立一个垃圾目标分布的动态地图，降低了管理人员的监控压力，提高了保洁人员的工作效率。
2、本发明使用深度可分离卷积替代darknet-53中的一部分传统卷积，极大的降低了模型的计算量，基于改进yolov3目标识别算法，能够更准确的识别垃圾目标，且模型的参数较少，减少了训练和优化时的时间，提高了模型的识别速度，降低了对硬件的要求。
[附图说明]
图1是本发明的结构示意图；
图2是里程计模块的计算流程图；
图3是本发明进行目标识别的流程图；
图4是本发明建立点云地图的流程图；
图5是本发明改进yolov3模型的结构示意图。
[具体实施方式]
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
如图1至图5所示，一种垃圾目标的机器视觉智能识别***，包括有：
里程计模块1，用于计算机器人的位姿数据；
目标识别模块2，利用目标识别算法查找垃圾目标在图像中的位置并计算垃圾目标的位置数据和深度数据；
建图模块3，接收处理里程计模块1的位姿数据、目标识别模块2的垃圾目标位置数据和深度数据，得到垃圾目标在世界坐标系下的坐标，拼接构建得到垃圾目标的点云地图。
所述里程计模块1包括有轮式里程计11和激光里程计12，激光里程计12包括有一个16线的激光雷达，轮式里程计11包含有2个光电编码器，里程计模块1实时估算机器人位姿。
所述目标识别模块2包括有一个高清摄像头。
本发明基于里程计模块1的位姿建立一个垃圾目标分布的动态地图，降低了管理人员的监控压力，提高了保洁人员的工作效率。
一种垃圾目标的机器视觉智能识别方法，包括有以下步骤：
步骤A，计算位姿数据：
A1，轮式里程计11的标定：收集若n段数据，每段数据包含两个车轮子的角速度WL和WR、该段数据持续的时间以及激光雷达的匹配值，基于模型的方法计算出两的轮间距b和两个轮子的半径；
A2，激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，根据位姿数据对激光雷达数据进行变换得到去除运动畸变后的激光雷达数据；
A3，对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值。
A4，基于图优化技术对位姿图进行优化；
步骤B，识别垃圾目标：
目标识别模块2利用目标识别算法找到垃圾目标在图像中的位置，然后发布垃圾目标的位置数据和深度数据；
步骤C，建立点云地图：
建图模块3对来源于里程计模块1和目标识别模块2的数据进行处理，根据下面的公式进行坐标变换：
z＝d
其中，(x,z)为垃圾目标在相机坐标系下的坐标，u为目标在图像坐标系下位置，d为目标离摄像头距离，fx和cx均为摄像头的内参，再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，进行点云拼接和滤波(外点去除滤波器和降采样滤波器)，最后拼接和构建点云地图；
步骤D，建立训练集和测试集：
D1，细化垃圾目标的定义：选取若干种废品作为垃圾目标的定义，具体地，选取社区中常见的14种废品作为垃圾目标的定义，包括有垃圾袋、快递包装袋、外卖打包盒、猫狗粪便、橘子皮、香蕉皮、柚子皮、烂苹果、香烟盒、厚纸板、废报纸、塑料饮料瓶、啤酒瓶和易拉罐；
D2，搜集废品的照片：采用现场采集和爬取两种方式获取相应的样本图像；
D3，图像的预处理：对收集到的图像数据进行裁切以及变换到416×416规格的样本数据；
D4，样本数据的扩增：采取以下方式扩充样本数据：
D4-1.样本图像的宽和高放大1.5倍；
D4-2.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；
D4-3.样本图像的亮度增强；
D4-4.样本图像的亮度减弱；
D4-5.样本图像翻转90度或者180度；
D4-6.样本图像添加噪声；
D5，人工标注：根据步骤D1中的定义，使用图像标注工具imageLabel对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)，其中(x，y)代表了图像中垃圾目标的中心坐标，w和h则分别代表垃圾目标的宽和高，c代表垃圾目标的类别，c＝0表示背景，c＝1～14依次表示步骤D1中定义的垃圾目标；
D6，样本集的划分：按照98:2的比例划分样本集为训练集和测试集；
步骤E，构建改进的yolov3模型：
分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，改进的yolov3模型即是由这6个基本层级构成，使用深度可分离卷积层代替原yolov3残差模块中的3×3的卷积层，上采样层使用双线性插值算法对特征图进行扩展，残差层将低层的输出与高层的输出相加，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，预测层包含3个特征图，每个特征图的每个网格上还包含3个长宽比不同的anchor box，每个anchor box是一个1×20的向量并包含以下的预测信息：tx,ty,tw,th，边界框包含物体的置信度以及物体属于垃圾目标的概率；
步骤F，训练网络：
使用随机初始化策略初始化模型的权重，然后将训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到一个3×(4+1+15)的预测结果，最后按照如下的代价函数公式计算预测结果与真实结果的误差：
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；
步骤G，网络测试：
将测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值为Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果。
本发明使用深度可分离卷积替代darknet-53中的一部分传统卷积，极大的降低了模型的计算量，基于改进yolov3目标识别算法，能够更准确的识别垃圾目标，且模型的参数较少，减少了训练和优化时的时间，提高了模型的识别速度，降低了对硬件的要求。
上述实施例只是本发明的优选方案，本发明还可有其他实施方案，如将多个实施例中记载的技术方案进行合理的组合。本领域的技术人员在不违背本发明精神的前提下还可作出等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所设定的范围内。
Claims (5)
1.一种垃圾目标的机器视觉智能识别***，其特征在于：包括有
里程计模块(1)，用于计算机器人的位姿数据；
目标识别模块(2)，利用目标识别算法查找垃圾目标在图像中的位置并计算垃圾目标的位置数据和深度数据；
建图模块(3)，接收处理里程计模块(1)的位姿数据、目标识别模块(2)的垃圾目标位置数据和深度数据，得到垃圾目标在世界坐标系下的坐标，拼接构建得到垃圾目标的点云地图。
2.根据权利要求1所述的一种垃圾目标的机器视觉智能识别***，其特征在于：所述里程计模块(1)包括有轮式里程计(11)和激光里程计(12)。
3.根据权利要求1所述的一种垃圾目标的机器视觉智能识别***，其特征在于：所述目标识别模块(2)包括有一个高清摄像头。
4.一种垃圾目标的机器视觉智能识别方法，其特征在于，包括有以下步骤：
步骤A，计算位姿数据：
A1，轮式里程计(11)的标定：收集若干段数据，每段数据包含两个车轮子的角速度WL和WR、该段数据持续的时间以及激光雷达的匹配值，基于模型的方法计算出两的轮间距b和两个轮子的半径；
A2，激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，根据位姿数据对激光雷达数据进行变换得到去除运动畸变后的激光雷达数据；
A3，对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值。
A4，基于图优化技术对位姿图进行优化；
步骤B，识别垃圾目标：
目标识别模块(2)利用目标识别算法找到垃圾目标在图像中的位置，然后发布垃圾目标的位置数据和深度数据；
步骤C，建立点云地图：
建图模块(3)对来源于里程计模块(1)和目标识别模块(2)的数据进行处理，根据下面的公式进行坐标变换：
z＝d
再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图。
5.根据权利要求4所述的一种垃圾目标的机器视觉智能识别方法，其特征在于，还包括有以下步骤：
步骤D，建立训练集和测试集：
D1，细化垃圾目标的定义：选取若干种废品作为垃圾目标的定义；
D2，搜集废品的照片：采用现场采集和爬取两种方式获取相应的样本图像；
D3，图像的预处理：对收集到的图像数据进行裁切以及变换到416×416规格的样本数据；
D4，样本数据的扩增：采取以下方式扩充样本数据：
D4-1.样本图像的宽和高放大1.5倍；
D4-2.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；
D4-3.样本图像的亮度增强；
D4-4.样本图像的亮度减弱；
D4-5.样本图像翻转90度或者180度；
D4-6.样本图像添加噪声；
D5，人工标注：根据步骤D1中的定义，使用图像标注工具对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)；
D6，样本集的划分：按照98:2的比例划分样本集为训练集和测试集；
步骤E，构建改进的yolov3模型：
分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，上采样层使用双线性插值算法对特征图进行扩展，残差层将低层的输出与高层的输出相加，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，预测层包含3个特征图，每个特征图的每个网格上还包含3个长宽比不同的anchor box，每个anchor box是一个1×20的向量并包含以下的预测信息：tx,ty,tw,th，边界框包含物体的置信度以及物体属于垃圾目标的概率；
步骤F，训练网络：
使用随机初始化策略初始化模型的权重，然后将训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到一个3×(4+1+15)的预测结果，最后按照如下的代价函数公式计算预测结果与真实结果的误差：
通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；
步骤G，网络测试：
将测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值为Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924563.5A CN111914815A (zh) | 2020-09-05 | 2020-09-05 | 一种垃圾目标的机器视觉智能识别***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924563.5A CN111914815A (zh) | 2020-09-05 | 2020-09-05 | 一种垃圾目标的机器视觉智能识别***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914815A true CN111914815A (zh) | 2020-11-10 |
Family
ID=73267259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010924563.5A Pending CN111914815A (zh) | 2020-09-05 | 2020-09-05 | 一种垃圾目标的机器视觉智能识别***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914815A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560755A (zh) * | 2020-12-24 | 2021-03-26 | 中再云图技术有限公司 | 一种识别城市暴露垃圾的目标检测方法 |
| CN113033672A (zh) * | 2021-03-29 | 2021-06-25 | 西安电子科技大学 | 基于特征增强的多类别光学图像旋转目标自适应检测方法 |
| CN113436251A (zh) * | 2021-06-24 | 2021-09-24 | 东北大学 | 一种基于改进的yolo6d算法的位姿估计***及方法 |
| CN117421692A (zh) * | 2023-12-18 | 2024-01-19 | 深圳火眼智能有限公司 | 垃圾投放站的垃圾违规投放识别方法、装置、设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263675A (zh) * | 2019-06-03 | 2019-09-20 | 武汉联一合立技术有限公司 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
| CN110796186A (zh) * | 2019-10-22 | 2020-02-14 | 华中科技大学无锡研究院 | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 |
| WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN111360780A (zh) * | 2020-03-20 | 2020-07-03 | 北京工业大学 | 一种基于视觉语义slam的垃圾捡拾机器人 |
-
2020
- 2020-09-05 CN CN202010924563.5A patent/CN111914815A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN110263675A (zh) * | 2019-06-03 | 2019-09-20 | 武汉联一合立技术有限公司 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
| CN110796186A (zh) * | 2019-10-22 | 2020-02-14 | 华中科技大学无锡研究院 | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 |
| CN111360780A (zh) * | 2020-03-20 | 2020-07-03 | 北京工业大学 | 一种基于视觉语义slam的垃圾捡拾机器人 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560755A (zh) * | 2020-12-24 | 2021-03-26 | 中再云图技术有限公司 | 一种识别城市暴露垃圾的目标检测方法 |
| CN112560755B (zh) * | 2020-12-24 | 2022-08-19 | 中再云图技术有限公司 | 一种识别城市暴露垃圾的目标检测方法 |
| CN113033672A (zh) * | 2021-03-29 | 2021-06-25 | 西安电子科技大学 | 基于特征增强的多类别光学图像旋转目标自适应检测方法 |
| CN113033672B (zh) * | 2021-03-29 | 2023-07-28 | 西安电子科技大学 | 基于特征增强的多类别光学图像旋转目标自适应检测方法 |
| CN113436251A (zh) * | 2021-06-24 | 2021-09-24 | 东北大学 | 一种基于改进的yolo6d算法的位姿估计***及方法 |
| CN113436251B (zh) * | 2021-06-24 | 2024-01-09 | 东北大学 | 一种基于改进的yolo6d算法的位姿估计***及方法 |
| CN117421692A (zh) * | 2023-12-18 | 2024-01-19 | 深圳火眼智能有限公司 | 垃圾投放站的垃圾违规投放识别方法、装置、设备 |
| CN117421692B (zh) * | 2023-12-18 | 2024-04-09 | 深圳火眼智能有限公司 | 垃圾投放站的垃圾违规投放识别方法、装置、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263675B (zh) | 一种社区安保机器人的垃圾目标识别***及其识别方法 | |
| CN111914815A (zh) | 一种垃圾目标的机器视觉智能识别***及方法 | |
| CN111461245B (zh) | 一种融合点云和图像的轮式机器人语义建图方法及*** | |
| CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN104156731A (zh) | 基于人工神经网络的车牌识别***与方法 | |
| CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
| CN110032952B (zh) | 一种基于深度学习的道路边界点检测方法 | |
| CN113469264A (zh) | 一种垃圾自动分类模型的构建方法、垃圾分拣方法和*** | |
| CN112991534B (zh) | 一种基于多粒度物体模型的室内语义地图构建方法及*** | |
| WO2022247045A1 (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
| CN113065486A (zh) | 适用于河道的漂浮物识别方法与***、设备、介质 | |
| CN114022837A (zh) | 车站遗留物品检测方法、装置、电子设备及存储介质 | |
| CN111611956B (zh) | 面向地铁视觉图像的轨道检测方法及*** | |
| CN115761674A (zh) | 一种道路边缘定位检测方法、设备及介质 | |
| Liu et al. | Automatic “ground truth” annotation and industrial workpiece dataset generation for deep learning | |
| CN103065296B (zh) | 一种基于边缘特征的高分辨率遥感影像居民区提取方法 | |
| CN110853058B (zh) | 基于视觉显著性检测的高分辨率遥感影像道路提取方法 | |
| CN113129370A (zh) | 结合生成数据和无标注数据的半监督物***姿估计方法 | |
| CN113222025B (zh) | 一种基于激光雷达的可行区域标签生成方法 | |
| CN212624084U (zh) | 一种垃圾目标的机器视觉智能识别装置 | |
| CN116129293A (zh) | 一种基于无人机的车辆实时检测方法 | |
| CN114580700B (zh) | 一种基于语义贝叶斯网络的tvdi干旱指数预测方法 | |
| CN114332039A (zh) | 一种光伏板积灰浓度识别网络、***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |