CN108596009A - 一种用于农机自动驾驶的障碍物检测方法和*** - Google Patents
一种用于农机自动驾驶的障碍物检测方法和*** Download PDFInfo
- Publication number
- CN108596009A CN108596009A CN201711483388.5A CN201711483388A CN108596009A CN 108596009 A CN108596009 A CN 108596009A CN 201711483388 A CN201711483388 A CN 201711483388A CN 108596009 A CN108596009 A CN 108596009A
- Authority
- CN
- China
- Prior art keywords
- obstacle detection
- information
- image data
- detection method
- range information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000012886 linear function Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 abstract description 40
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011900 installation process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于农机自动驾驶的障碍物检测方法，包括：利用双目视觉采集器获取带有距离信息的图像数据；把图像数据输入到深度卷积神经网络中，深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，根据物体块信息和类别信息计算被预测物体的可信度分值；确定可信的识别物体的位置坐标和距离信息并输出。本发明还公开了一种用于农机自动驾驶的障碍物检测***，包括：图像数据获取模块、识别模块和输出模块。本发明根据获取到的图像信息将识别到物体的位置信息和距离信息输出，有效地对农田障碍物进行检测，减少背景误识别并根据设定的危险区域发出报警。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种用于农机自动驾驶的障碍物检测方法和***。
背景技术
在农田作业过程中，不可避免地在田地里存在各种障碍物，如果不能将障碍物检测出来，会发生严重事故，造成人员伤亡或经济损失，因此需要对农田里面的障碍物进行有效的检测。但是对于农田里面的障碍物的识别有其特定的难点和挑战。一方面，农作物与障碍物往往在颜色和纹理等方面存在相似性，从而在障碍物的检测准确度上带来了很高的挑战；另一方面，田间的各种物体，包括农作物和田地的颜色和纹理也会随着季节变化而变化；这样更加增大了对障碍物检测的难度。
现有的一种农田障碍物检测方法为：首先通过田间导航图像采集设备采集农田图像，然后将农田图像进行去噪灰度化、小波变换、最大类间方差分割等操作，最后得到图像投影曲线，根据曲线的跳变点来判断农田中的障碍物。该方法基于传统的图像识别方法，通过小波变换和相应的分割算法(比如OTSU)对物体进行分离，这种方法需要依赖农作物和障碍物在颜色和频率两方面的差异来进行检测，一旦两者在颜色或者频率方面相似度过高，则对障碍物的检测方法会失效。
还有一种对农田障碍物的检测方法，该方法仅依靠频率信息完成障碍物的检测，当障碍物和作物产生的频率相近时，不容易检测到障碍物，检测效果不佳。
另外的一种农田障碍物检测方法，这种方法是：基于频率差异先对农田图像进行分割，再基于颜色信息进行障碍物、农田作物进行分离，这种方法会提升障碍物的检出率，但是在对障碍物基于频率信息的分割阶段，多变的背景频率成了最大干扰，会导致一部分障碍物因干扰过多发生漏检。
因此，现有技术中这些障碍物检测方法存在以下问题：
1、背景误识别：上述的检测方法需要依赖农作物和障碍物在颜色和/或频率上的差异来进行检测，当两者在颜色或者频率方面相似度过高时，就不容易检测出障碍物，因此背景成为极大的干扰，造成背景误识别。
2、缺失检出的物***置和距离信息：上述的检测方法仅仅对物体进行简单的识别，未给出具体的物***置和距离信息，不能够有效地发现障碍物，做出准确的判断。
发明内容
本发明的目的就是为了解决上述现有技术中存在的问题，提出一种减少背景误识别并能准确获得物体的位置和距离信息的障碍物检测方法和***。
为了克服现有技术的不足，本发明通过双目视觉采集器获取包含农田作物和障碍物的带有深度(距离)信息的图像点云，然后使用深度卷积神经网络对采集到的图像进行离线训练和在线推理，根据获取到的图像信息将识别到物体的位置信息和物体相对于车辆的距离信息输出，从而有效地对农田障碍物进行检测，进而还可根据设定的危险区域发出报警。
为了达到上述目的，本发明采用的技术方案为：
一种用于农机自动驾驶的障碍物检测方法，包括以下步骤：
步骤1，利用双目视觉采集器获取带有距离信息的图像数据；
步骤2，把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；
步骤3，确定可信的识别物体的位置坐标和距离信息并输出。
进一步的，还包括以下步骤：步骤4，根据所述步骤3输出的物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。
进一步的，所述物体块信息包括被预测物体的中心在该子图像中的相对坐标、被预测物体的宽度和高度、以及所述物体块的可信度。
进一步的，所述类别信息为所述物体块属于特定类别的条件概率。
进一步的，所述深度卷积神经网络包括多个卷积层和多个最大池化层，其中卷积层的激活函数包括泄漏修正线性函数。
进一步的，所述物体的位置坐标包括物体的最左边点的坐标和最右边点的坐标。
进一步的，根据车辆尺寸确定所述危险区域的左右边界和前向长度。
一种用于农机自动驾驶的障碍物检测***，包括：
图像数据获取模块，用于利用双目视觉采集器获取带有距离信息的图像数据；
识别模块，用于把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；
输出模块，用于确定可信的识别物体的位置坐标和距离信息并输出。
进一步的，还包括报警模块，用于根据所述物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。
进一步的，所述物体的位置坐标包括物体的最左边点的坐标和最右边点的坐标。
本发明的有益效果是：
1、显著提升了障碍物的检出率：本发明通过双目视觉采集器，获取到包含农作物和障碍物的带有深度信息的图像点云，并使用深度卷积神经网络对采集到的图像进行离线训练和在线推理，从而显著提升了障碍物的检出率。
2、弥补了物体的位置和距离信息的缺失：在现有技术中，对于检测出的障碍物不能提供位置和距离信息，导致后续的碰撞预警模块不能够有效地进行分析判断，做出合理的预警。本发明利用双目视觉采集器，获取每个像素点的位置和深度信息，然后关联到每个被识别的物体上，输出物体的位置和距离信息，进而能够进行有效的障碍物碰撞预警。
3、对未知物体的检测：本发明采用基于全局图像信息的深度卷积神经网络算法，能够很好的识别出来不在训练数据中的物体，即使不能够给出具体的分类信息，也能够准确地识别出物体，并且给出物体的位置和距离信息，从而能够进行有效的障碍物碰撞预警。
4、减少背景误识别：本发明采用的深度卷积神经网络算法基于全局图像信息进行推理，能够有效地编码物体类别的上下文信息，和其他基于滑动窗口(DPM)或者区域(R-CNN)的深度神经网络算法相比，可以大大地减少背景误识别的发生。
5、运行速度快：现有技术中通常是先对物体进行识别，然后再对识别的物体分类，即通过前后两个步骤来实现，而本发明是同时进行物体的识别和分类，所以其运行速度很快，达到单帧25-50毫秒，也就是每秒最多可以预测40帧的图像，远远能够满足在农田这种低速作业场景情况下的需求。
6、减少传感器、安装方便、信息采集精度高：本发明利用双目视觉采集器对物体信息进行采集，避免了采购重复的传感器，从而降低了成本，同时其安装过程也较为方便；并且采集的物体信息精度高，能够满足农机作业场景的需要。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明一种用于农机自动驾驶的障碍物检测方法的一个实施例的流程图；
图2是本发明一种用于农机自动驾驶的障碍物检测方法的另一个实施例的流程图；
图3是本发明一种用于农机自动驾驶的障碍物检测***的一个实施例的结构示意图；
图4是本发明一种用于农机自动驾驶的障碍物检测***的另一个实施例的结构示意图；
图5为本发明的一个实施例中的深度卷积神经网络的架构示意图；
图6为本发明的一个实施例的车辆采集图像示意图；
图7为本发明的一个实施例的图像采集的坐标示意图；
图8为本发明的一个实施例的图像分割示意图；
图9a为本发明的一个实施例障碍物在危险区域里面的场景示意图；
图9b为本发明的另一个实施例障碍物不在危险区域内的场景示意图。
具体实施方式
以下描述用于公开本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变形。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。；在这里使用的术语仅用于描述各种实施例的目的且不意在限制。如在此使用的，单数形式意在也包括复数形式，除非上下文清楚地指示例外。另外将理解术语“包括”和/或“具有”当在该说明书中使用时指定所述的特征、数目、步骤、操作、组件、元件或其组合的存在，而不排除一个或多个其它特征、数目、步骤、操作、组件、元件或其组的存在或者附加。
图1为本发明的一种用于农机自动驾驶的障碍物检测方法的一个实施例流程图，参照图1，本实施例中，提供一种用于农机自动驾驶的障碍物检测方法，包括以下步骤：
步骤1，利用双目视觉采集器获取带有距离信息的图像数据；在本实施例中，采用摄像头作为双目视觉采集器，但本发明并不限于此，也可以采用其他的图像采集装置实现该双目视觉采集器；
步骤2，对所述图像数据进行特征提取、映射和抽样，并利用深度卷积神经网络预测其中的物体块信息和物体块的类别信息，进而得到被预测物体的可信度分值，并将该可信度分值与一预定阈值比较来判断所述预测物体是否为可信的识别物体；
步骤3，确定可信的识别物体的位置坐标和距离信息并输出。
进一步的，步骤1中获取的图像数据为带有深度信息的图像点云，每个图像像素表示为(x,y,d)，其中(x,y)为图像坐标系中的坐标，d为该像素(x,y)所对应的实际物体到摄像头(本实施例中包括左摄像头和右摄像头)的距离，也就是物体到车辆的距离。
参见图6，图6为本发明的一个实施例的车辆采集图像的示意图，其中双目摄像头安装在车辆顶部位置，正对车身前方,A、B为车辆前方的两个物体。
图7为本发明的一个实施例的图像采集的坐标示意图，从图7可以看到，前方物体A的左下角LB点在双目摄像头采集的图像坐标系中的映射点的坐标为(x1,y1)，d1为LB点到双目摄像头中心点(对应于图像坐标系中的点(x0,y0))的实际距离(图中未示出)。
进一步的，在步骤2中，包括以下几个子步骤：
步骤2.1：把输入的图片分割成多个子图像，在本实施例中以分成N×N的方格为例(但并不限于此，也可以分割成其他的形状或数量)。
步骤2.2：对所述的每个方格进行预测，得到若干物体块的信息。这里，物体块是指根据预测得到的、可能存在物体的区域，在图中表示为一个区域轮廓。如果一个物体块的中心落在某个方格(子图像)之内，那么这个方格就负责来预测这个物体；本实施例中限定每个方格只负责预测最多B个物体，其中B是一个经验值，本实施例中B的取值例如为2。
所述预测得到的物体块的信息可包含五个输出值：(x′,y′,W,H,Sconfidence)。
其中，(x′,y′)表示被预测物体的中心在该方格内的相对坐标，W和H是物体在方格图像内的宽度和高度值，Sconfidence为所预测物体块的可信度，所述可信度用于反映该物体块包含物体的可能性和精确度，其定义如下：
其中，P(object)为物体存在于该物体块中的概率，为预测的物体块(predict)和实际物体块(ground truth)的交并比(intersection over union)。
在本实施例中，训练好的深度卷积神经网络模型能够自动为每个物体块确定上述P(object)和的值，从而得到每个物体块的可信度Sconfidence。
步骤2.3：在对物体块进行预测的同时，每个方格还预测其所包含的物体属于某个类别的条件概率，并把所预测出来的概率最高的类别及其概率值作为结果输出。这里为了优化计算效率，不论一个方格中可能包含多少个物体或物体块，只预测该方格中的所有物体同属于某一个类别的概率。
这样，在步骤2.2和步骤2.3的基础上，就可以继续进行步骤2.4：
步骤2.4：根据步骤2.2得到的可信度和步骤2.3得到的类别概率，计算每个方格内存在物体并且该物体属于类别C的可信度分值CP，
CP＝P(ClassC|Object)×Sconfidence
其中，P(ClassC|Object)为每个物体属于类别C的条件概率。
所述物体的可能类别例如包括：人，牲畜，电线杆，车辆等障碍物、农作物。
图8为本发明的一个实施例的图像分割示意图，其中图8a为一个图片按照4X4的方格分割的图，图8b中显示了所预测出来的两个可能的物体块,图8c显示对每一个方格预测得到的、物体所属的类别，相同的颜色表示相同的类别；图8d为综合图8b、8c的结果而得到的最终输出结果，即带有类别信息的物体块的示意图，其中把图8b的物体块和图8c的类别信息进行了合并。
本实施例中对物体的整个识别过程采用回归分析方法，当然，本发明也可使用聚类分析等已知方法对整个物体进行识别。
图5为本实施例的深度卷积神经网络架构的示意图，其具体设计如图5所示，图中共有24层卷积层(Conv.Layer)和5个最大池化层(Maxpool Layer)，其中前23层卷积层的激活函数是泄漏修正线性函数(Leaky Rectified Linear Function)：
最后一层卷积层的激活函数是线性函数(Linear Function)：
φ(x)＝λx，本实施例中λ的取值可以选为1，但并不限于此，也可以设为其他常数。
同时，为了能够有效的识别大小不同的物体，在损失函数里面累积宽度和高度的平方根，本实施例中使用修正过的和方差函数作为损失函数(Loss Function/ErrorFunction)，例如为：
其中，N为子图像的个数，B为块的个数，obj为包含物体的块的个数，na为不包含物体的块的个数，Pi(C)为预测物体属于某个类别C的概率，(xi,yi)为预测物体的中心在第i个方格内的坐标，W和H是物体的宽度和高度值。为在训练模型中第i个方格中识别的物体的实际坐标值，和为在训练模型中第i个方格中识别的物体的实际宽度和高度，CPi为第i个方格中物体块出现的概率；表示第i个方格中物体块实际出现的概率，例如取值为1或0，如果物体块出现，取值为1，否则为0；表示第i个方格中物体属于某个类别的实际的概率，例如取值为1或0，如果物体属于该类别，取值为1，否则为0。
取值为0或1，如果第i个方格里面的第j个物体块负责预测物体，则的值为1，否则为0。
取值为1或0，如果第i个方格里面的第j个物体块负责预测物体，则的值为0，否则为1。
同样的，取值也是0或1，如果物体出现在第i个方格里，则的值为1，否则为0。
考虑到要同时优化物体块的识别和物体的分类，所以要降低不包含物体的块带来的噪声影响。为了区分包含物体的块和不包含物体的块，上述公式中引入了两个系数，分别为λobj和λna，其中λobj为包含物体的块的系数，λna为不包含物体的块的系数，从而增加包含物体的块的权重，降低不包含物体的块的权重。
λobj和λna的取值是根据经验设定的，本实施例中，可以设置λobj为一个远大于λna的值，例如λobj可取值为4，λna可取值为0.4。
另外，在合理范围内，本领域技术人员可以理解，深度卷积神经网络的层数和每层卷积层的参数都是可以改变的；激活函数的参数和损失函数中的参数也是可以改变的，这些改变均可以达到本发明要实现的目的，都在本发明的保护范围之内。
步骤2.5：将预测得到的每个物体的可信度分值CP与设定的经验阈值相比较，判断识别出来的物体是否可信，把所有的可信的识别物体加入到一个识别列表中。
步骤3：确定每一个可信的识别物体的地理位置和距离信息，并输出识别的每个物体的最左边点(leftmost)最右边点(rightmost)的地理坐标和距离信息，具体表示为(xleftmost,yleftmost,xrightmost,yrightmost,d)，其中d为该物体到双目摄像头的距离。
参照图2，本发明的另一实施例还提供一种用于农机自动驾驶的障碍物检测方法，该方法与图1所示的方法基本相同，其区别在于，进一步的，还包括步骤4，根据上述步骤3中所确定的物体的地理位置和距离信息，判断该物体是否处于当前车辆的行进路径上，如果处于行进路径上则进行报警。
在一个实施例中，如果满足以下条件，则判断该物体处于当前车辆的行进路径上：
(xdanger-zone-left≤xrightmost或xdanger-zone-right≥
xleftmost)并且(d≤Ddanger-zone-distance)，
其中xdanger-zone-left和xdanger-zone-right是根据车身的宽度确定的危险区域的左右边界，例如：
xdanger-zone-left＝-λv×Wv，
xdanger-zone-right＝λv×Wv，
其中Wv为车身的宽度，Ddanger-zone-distance是根据车辆实际工作情况所定义的危险区域的前向长度；λv为常数，其取值范围例如为1.5～2.5。
参见图9a，图9a为本发明的一个实施例中障碍物A在危险区域内的场景示意图，这时会发出报警信号，本实施例中λv优选地取值为2。
图9b为本发明的另一个实施例中障碍物B不在危险区域内的场景示意图，这时不会发出报警信号，本实施例中λv优选地取值为2。
参见图3，图3为本发明一种用于农机自动驾驶的障碍物检测***的一个实施例的结构示意图，包括：
图像数据获取模块，用于利用双目视觉摄像头获取带有距离信息的图像数据；
识别模块，用于对所述图像数据进行特征提取、映射和抽样，并利用深度卷积神经网络预测其中的物体块信息和物体块的类别信息，进而得到被预测物体的可信度分值，并将该可信度分值与一预定阈值比较来判断所述预测物体是否为可信的识别物体；
输出模块，用于确定可信的识别物体的位置坐标和距离信息并输出。
参见图4，本发明的另一实施例还提供一种用于农机自动驾驶的障碍物检测***，其与图3所示的基本相同，区别在于，还包括报警模块，用于根据所述物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。
进一步的，所述物体的位置坐标包括物体最左边点的坐标和最右边点的坐标。
本发明的利用双目视觉采集器和深度卷积神经网络的方法也可适用于病虫害识别、杂草识别、成熟度等其他场景。
综上所述，本发明通过双目视觉采集器获取包含农田作物和障碍物的带有深度(距离)信息的图像点云，然后使用深度卷积神经网络对采集到的图像进行离线训练和在线推理，根据获取到的图像信息将识别到物体的位置信息和物体相对于车辆的距离信息输出，从而有效地对农田障碍物进行检测，进而还可根据设定的危险区域发出报警。
由此，本发明获得了以下有益效果：
1、显著提升了障碍物的检出率：本发明通过双目视觉采集器，获取到包含农作物和障碍物的带有深度信息的图像点云，并使用深度卷积神经网络对采集到的图像进行离线训练和在线推理，从而显著提升了障碍物的检出率。
2、弥补了物体的位置和距离信息的缺失：在现有技术中，对于检测出的障碍物不能提供位置和距离信息，导致后续的碰撞预警模块不能够有效的进行分析判断，做出合理的预警。本发明利用双目视觉采集器，获取每个像素点的位置和深度信息，然后关联到每个被识别的物体上，输出物体的位置和距离信息，进而能够进行有效的障碍物碰撞预警。
3、对未知物体的检测：本发明采用基于全局图像信息的深度神经网络算法，能够很好的识别出来不在训练数据中的物体，即使不能够给出具体的分类信息，也能够准确地识别出物体，并且给出物体的位置和距离信息，从而能够进行有效的障碍物碰撞预警。
4、减少背景误识别：本发明采用的深度神经网络算法基于全局图像信息进行推理，能够有效地编码物体类别的上下文信息，和其他基于滑动窗口(DPM)或者区域(R-CNN)的深度神经网络算法相比，可以大大地减少背景误识别的发生。
5、运行速度快：现有技术中通常是先对物体进行识别，然后再对识别的物体分类，即通过前后两个步骤来实现，而本发明是同时进行物体的识别和分类，所以其运行速度很快，达到单帧25-50毫秒，也就是每秒最多可以预测40帧的图像，远远能够满足在农田这种低速作业场景情况下的需求。
6、减少传感器、安装方便、信息采集精度高：本发明利用双目视觉采集器对物体信息进行采集，避免了采购重复的传感器，从而降低了成本，同时其安装过程也较为方便；并且采集的物体信息精度高，能够满足农机作业场景的需要。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种用于农机自动驾驶的障碍物检测方法，其特征在于，包括以下步骤：
步骤1，利用双目视觉采集器获取带有距离信息的图像数据；
步骤2，把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；
步骤3，确定可信的识别物体的位置坐标和距离信息并输出。
2.根据权利要求1所述的障碍物检测方法，其特征在于，还包括以下步骤：
步骤4，根据所述步骤3输出的物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。
3.根据权利要求1所述的障碍物检测方法，其特征在于，所述物体块信息包括被预测物体的中心在该子图像中的相对坐标、被预测物体的宽度和高度、以及所述物体块的可信度。
4.根据权利要求1所述的障碍物检测方法，其特征在于，所述类别信息为所述物体块属于特定类别的条件概率。
5.根据权利要求1所述的障碍物检测方法，其特征在于：所述深度卷积神经网络包括多个卷积层和多个最大池化层，其中卷积层的激活函数包括泄漏修正线性函数。
6.根据权利要求1所述的障碍物检测方法，其特征在于，所述物体的位置坐标包括物体的最左边点的坐标和最右边点的坐标。
7.根据权利要求2所述的障碍物检测方法，其特征在于，根据农机尺寸确定所述危险区域的左右边界和前向长度。
8.一种用于农机自动驾驶的障碍物检测***，其特征在于，包括：
图像数据获取模块，用于利用双目视觉采集器获取带有距离信息的图像数据；
识别模块，用于把所述图像数据输入到深度卷积神经网络中，所述深度卷积神经网络把图像数据分割成多个子图像，对每个子图像进行处理，预测每个子图像中可能包含的物体块信息和物体块的类别信息，并根据所述物体块信息和类别信息计算被预测物体的可信度分值，将该可信度分值与预定阈值比较来判断所述预测物体是否为可信的识别物体；
输出模块，用于确定可信的识别物体的位置坐标和距离信息并输出。
9.根据权利要求8所述的障碍物检测***，其特征在于，还包括：报警模块，用于根据所述物体的位置坐标和距离信息，判断所述物体是否处于危险区域内并发出报警信号。
10.根据权利要求8所述的障碍物检测***，其特征在于，所述物体的位置坐标包括物体的最左边点的坐标和最右边点的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711483388.5A CN108596009A (zh) | 2017-12-29 | 2017-12-29 | 一种用于农机自动驾驶的障碍物检测方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711483388.5A CN108596009A (zh) | 2017-12-29 | 2017-12-29 | 一种用于农机自动驾驶的障碍物检测方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108596009A true CN108596009A (zh) | 2018-09-28 |
Family
ID=63633144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711483388.5A Pending CN108596009A (zh) | 2017-12-29 | 2017-12-29 | 一种用于农机自动驾驶的障碍物检测方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596009A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409244A (zh) * | 2018-09-29 | 2019-03-01 | 维沃移动通信有限公司 | 一种物体摆放方案的输出方法和移动终端 |
| CN109540138A (zh) * | 2018-11-12 | 2019-03-29 | 中南大学 | 基于视觉神经网络的室内导航方法、***及可读存储器 |
| CN109711279A (zh) * | 2018-12-08 | 2019-05-03 | 南京赫曼机器人自动化有限公司 | 一种用于农业环境的障碍物检测方法 |
| CN109740443A (zh) * | 2018-12-12 | 2019-05-10 | 歌尔股份有限公司 | 检测障碍物的方法、装置及运动设备 |
| CN110084133A (zh) * | 2019-04-03 | 2019-08-02 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
| CN110263628A (zh) * | 2019-05-09 | 2019-09-20 | 杭州飞步科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
| CN110646574A (zh) * | 2019-10-08 | 2020-01-03 | 张家港江苏科技大学产业技术研究院 | 基于无人船的水质电导率自主检测***及方法 |
| CN110764512A (zh) * | 2019-11-18 | 2020-02-07 | 江苏农林职业技术学院 | 一种农机驾驶控制*** |
| CN110900611A (zh) * | 2019-12-13 | 2020-03-24 | 合肥工业大学 | 一种新型机械臂目标定位及路径规划方法 |
| CN112418003A (zh) * | 2020-11-05 | 2021-02-26 | 湖南中联重科智能高空作业机械有限公司 | 工作平台障碍物识别方法、***及防撞方法、*** |
| WO2022078463A1 (zh) * | 2020-10-16 | 2022-04-21 | 爱驰汽车（上海）有限公司 | 基于汽车的障碍物检测方法及装置 |
| CN116823812A (zh) * | 2023-08-25 | 2023-09-29 | 中国农业大学 | 一种青贮玉米田间生命检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102538766A (zh) * | 2011-12-21 | 2012-07-04 | 武汉科技大学 | 一种主动式智能车用障碍物检测方法 |
| CN106004884A (zh) * | 2016-07-11 | 2016-10-12 | 南昌工学院 | 基于复合传感实现路情实时识别和危险判断的方法及其*** |
| CN107392965A (zh) * | 2017-07-24 | 2017-11-24 | 王华锋 | 一种基于深度学习和双目立体视觉相结合的测距方法 |
| CN107506711A (zh) * | 2017-08-15 | 2017-12-22 | 江苏科技大学 | 基于卷积神经网络的双目视觉障碍物检测***及方法 |
-
2017
- 2017-12-29 CN CN201711483388.5A patent/CN108596009A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102538766A (zh) * | 2011-12-21 | 2012-07-04 | 武汉科技大学 | 一种主动式智能车用障碍物检测方法 |
| CN106004884A (zh) * | 2016-07-11 | 2016-10-12 | 南昌工学院 | 基于复合传感实现路情实时识别和危险判断的方法及其*** |
| CN107392965A (zh) * | 2017-07-24 | 2017-11-24 | 王华锋 | 一种基于深度学习和双目立体视觉相结合的测距方法 |
| CN107506711A (zh) * | 2017-08-15 | 2017-12-22 | 江苏科技大学 | 基于卷积神经网络的双目视觉障碍物检测***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| JOSEPH REDMON ET AL.: "《You Only Look Once:Unified, Real-Time Object Detection》", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409244B (zh) * | 2018-09-29 | 2021-03-09 | 维沃移动通信有限公司 | 一种物体摆放方案的输出方法和移动终端 |
| CN109409244A (zh) * | 2018-09-29 | 2019-03-01 | 维沃移动通信有限公司 | 一种物体摆放方案的输出方法和移动终端 |
| CN109540138A (zh) * | 2018-11-12 | 2019-03-29 | 中南大学 | 基于视觉神经网络的室内导航方法、***及可读存储器 |
| CN109711279A (zh) * | 2018-12-08 | 2019-05-03 | 南京赫曼机器人自动化有限公司 | 一种用于农业环境的障碍物检测方法 |
| CN109711279B (zh) * | 2018-12-08 | 2023-06-20 | 南京赫曼机器人自动化有限公司 | 一种用于农业环境的障碍物检测方法 |
| CN109740443A (zh) * | 2018-12-12 | 2019-05-10 | 歌尔股份有限公司 | 检测障碍物的方法、装置及运动设备 |
| CN110084133B (zh) * | 2019-04-03 | 2022-02-01 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
| CN110084133A (zh) * | 2019-04-03 | 2019-08-02 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
| CN110263628B (zh) * | 2019-05-09 | 2021-11-23 | 杭州飞步科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
| CN110263628A (zh) * | 2019-05-09 | 2019-09-20 | 杭州飞步科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
| CN110646574A (zh) * | 2019-10-08 | 2020-01-03 | 张家港江苏科技大学产业技术研究院 | 基于无人船的水质电导率自主检测***及方法 |
| CN110646574B (zh) * | 2019-10-08 | 2022-02-08 | 张家港江苏科技大学产业技术研究院 | 基于无人船的水质电导率自主检测***及方法 |
| CN110764512A (zh) * | 2019-11-18 | 2020-02-07 | 江苏农林职业技术学院 | 一种农机驾驶控制*** |
| CN110900611A (zh) * | 2019-12-13 | 2020-03-24 | 合肥工业大学 | 一种新型机械臂目标定位及路径规划方法 |
| WO2022078463A1 (zh) * | 2020-10-16 | 2022-04-21 | 爱驰汽车（上海）有限公司 | 基于汽车的障碍物检测方法及装置 |
| CN112418003A (zh) * | 2020-11-05 | 2021-02-26 | 湖南中联重科智能高空作业机械有限公司 | 工作平台障碍物识别方法、***及防撞方法、*** |
| CN112418003B (zh) * | 2020-11-05 | 2023-09-29 | 湖南中联重科智能高空作业机械有限公司 | 工作平台障碍物识别方法、***及防撞方法、*** |
| CN116823812A (zh) * | 2023-08-25 | 2023-09-29 | 中国农业大学 | 一种青贮玉米田间生命检测方法 |
| CN116823812B (zh) * | 2023-08-25 | 2023-10-31 | 中国农业大学 | 一种青贮玉米田间生命检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596009A (zh) | 一种用于农机自动驾驶的障碍物检测方法和*** | |
| JP6759474B2 (ja) | 深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法及びシステム | |
| Wu et al. | Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms | |
| CN104821056B (zh) | 基于雷达与视频融合的智能警戒方法 | |
| CN110068818A (zh) | 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 | |
| CN109145836B (zh) | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 | |
| Bargoti et al. | A pipeline for trunk detection in trellis structured apple orchards | |
| CN112395987B (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
| CA3094424A1 (en) | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator | |
| CN109766796B (zh) | 一种面向密集人群的深度行人检测方法 | |
| CN111079518B (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN115345908B (zh) | 一种基于毫米波雷达的人体姿态识别方法 | |
| CN109949229A (zh) | 一种多平台多视角下的目标协同检测方法 | |
| CN109506628A (zh) | 一种基于深度学习的卡车环境下目标物测距方法 | |
| CN113092807B (zh) | 基于多目标跟踪算法的城市高架道路车辆测速方法 | |
| CN106780551A (zh) | 一种三维运动目标检测方法和*** | |
| CN111091101A (zh) | 基于一步法的高精度行人检测方法、***、装置 | |
| CN111048208A (zh) | 一种基于激光雷达的室内独居老人行走健康检测方法 | |
| CN107316024A (zh) | 基于深度学习的周界报警算法 | |
| CN111724356A (zh) | 一种用于ct影像肺炎识别的图像处理方法和*** | |
| CN113723833B (zh) | 造林实绩质量评价方法、***、终端设备及存储介质 | |
| CN116052099A (zh) | 一种面向非结构化道路的小目标检测方法 | |
| Fukui et al. | Development of a tomato volume estimating robot that autonomously searches an appropriate measurement position–basic feasibility study using a tomato bed mock-up– | |
| CN116109047A (zh) | 一种基于三维智能检测的智能调度方法 | |
| CN107992863A (zh) | 多分辨率粮虫种类视觉识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181116 Address after: Room 601-A06, Tiancheng Information Building, 88 Nantiancheng Road, Xiangcheng High-speed Railway New Town, Suzhou City, Jiangsu Province Applicant after: Suzhou Zhijia Technology Co., Ltd. Address before: 710000 Room 2301, 23rd Floor, Block B, Green Territory Building, No. 1 Jinye Road, Xi'an High-tech Zone, Shaanxi Province Applicant before: Xi'an Zhi Jia Technology Co., Ltd. |