CN110399859A - 无人跨运车的基于多传感器融合的障碍物辨识方法和装置 - Google Patents

无人跨运车的基于多传感器融合的障碍物辨识方法和装置 Download PDF

Info

Publication number
CN110399859A
CN110399859A CN201910710457.4A CN201910710457A CN110399859A CN 110399859 A CN110399859 A CN 110399859A CN 201910710457 A CN201910710457 A CN 201910710457A CN 110399859 A CN110399859 A CN 110399859A
Authority
CN
China
Prior art keywords
data
straddle carrier
laser
unmanned
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910710457.4A
Other languages
English (en)
Inventor
胡中望
邵诚佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhenghua Heavy Industries Co Ltd
Original Assignee
Shanghai Zhenghua Heavy Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhenghua Heavy Industries Co Ltd filed Critical Shanghai Zhenghua Heavy Industries Co Ltd
Priority to CN201910710457.4A priority Critical patent/CN110399859A/zh
Publication of CN110399859A publication Critical patent/CN110399859A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种无人跨运车的基于多传感器融合的障碍物辨识方法和装置，该方法包括设置在跨运车顶部的全景摄像机、设置在跨运车左前、左后、右前、右后处的激光雷达传感器、设置在远程的数据处理装置，其步骤如下，根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据；对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据；将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据，根据所述融合观测数据进行目标物的检测与辨识。使无人跨运车对四周进行实时识别，无人跨运车对障碍物的辨识和决策更加准确，安全性更高。

Description

无人跨运车的基于多传感器融合的障碍物辨识方法和装置
技术领域
本发明涉及集装箱跨运车的无人远程自动辨识和控制，更具体地，涉及一种用于无人跨运车的基于多传感器融合的障碍物辨识方法和装置。
背景技术
集装箱跨运车是用于码头前沿和堆场水平搬运和堆码集装箱的专用机械。
集装箱跨运车是集装箱装卸设备中的主力机型，通常承担由码头前沿到堆场的水平运输以及堆场的集装箱堆码工作。由于集装箱跨运车具有机动灵活、效率高、稳定性好、轮压低等特点，得到普遍的应用。集装箱跨运车作业对提高码头前沿设备的装卸效率十分有利。集装箱跨运车经过几十年的发展已经成为集装箱码头和堆场的关键设备。
随着集装箱大型化、箱载荷的提高,集装箱跨运车的载重能力和堆码高度也在不断提高。随着计算机技术的发展，集装箱跨运车的自动化程度不断得到提高。无人驾驶技术也应用在集装箱跨运车的无人驾驶自动控制中。
随着港口行业的发展，传统码头对效率、安全的重视和要求越来越高，更加关注人力成本。无人跨运车也成为了港口行业的一大变革。
为了解决无人跨运车在复杂港口作业环境中安全行驶问题，无人跨运车利用车载传感器来感知车辆周围环境，并根据感知所获得集装箱、卡车、行人等其它障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在港口道路上行驶，能够降低人工成本。
目前，无人跨运车在港口作业环境中，大都采取的是全局定位方法来盲目的控制车的运行，忽略障碍物的辨识，或者采用单一的传感器来辅助行驶。
目前的无人跨运车中，单一的传感器自身受环境影响的局限性，例如摄像机受光照影响及缺少测距能力，激光雷达视野覆盖范围有限，单一传感器的目标物检测可靠性、稳定性及识别率有待提高。而采取全局定位方法的无人跨运车，其定位设备采取的是布置信标方式、改造港口硬件设施，人力成本高、安全系数低。
为了解决现有技术的不足，本发明的无人跨运车采用了包括全景摄像机、激光雷达等多种感知传感器，进行多传感器融合以提高港区复杂场景下障碍物的辨识。
发明内容
本发明的目的是克服上述现有技术存在的缺陷，提供一种用于无人跨运车的基于多传感器融合的障碍物识别方法和装置。本发明的用于无人跨运车的基于多传感器融合的障碍物识别方法和装置采用4个激光雷达，分别安装在跨运车的左前、左后、右前、右后测，来覆盖和感知跨运车的整个周围环境，采用全景摄像机，安装在跨运车顶部且方向朝下，来识别跨运车内部障碍物信息，如吊具、集装箱等。
本发明以全景摄像机以及4个激光雷达为传感器，通过全景摄像机对跨运车周围和内部障碍物进行识别、通过多个激光雷达检测目标位置；进行多传感器融合识别，从而能够有效地解决由于单一的传感器自身受环境影响的局限性，使无人跨运车能够360度全视野、安全、可靠地检测与识别目标物。
根据本发明一个方面，提供一种用于无人跨运车的基于多传感器融合的障碍物辨识方法，其中，无人跨运车包括设置在跨运车顶部的全景摄像机、设置在跨运车左前、左后、右前、右后处的激光雷达传感器、设置在远程的数据处理装置，设置在跨运车顶部的全景摄像机为四个，摄像机设置为朝下。
所述障碍物辨识方法包括以下步骤：
S1根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据；
S2对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据；
S3将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据，
S4根据所述融合观测数据进行目标物的检测与辨识。
其中，步骤S1包括：
S11：通过安装在跨运车上的四个摄像机采集跨运车四周的图像；
S12：对具有不同视角的四张图像进行仿射变换，得到具有同一视角的图像；
S13：通过每张图像拍摄到的物体的重合区域，将四张图像叠加到一起，形成全景图。
其中，步骤S1还包括：
对全景图像进行以下处理：
S14：采用三层高斯金字塔滤波器，定义一个5-100米搜索区域；顶端的图像在高斯金字塔的第二层进行处理，图像的底部在高斯金字塔第三层进行处理；
S15：采用梯度分析法，设置自适应阈值来寻找局部梯度最大值，以查找候选跨运车作为目标物；
S16：确定目标物后，获取该一个或多个目标物的中心位置的坐标作为视觉观测数据。
其中，所述三层高斯金字塔按照以下方法构建：
首先，将来自摄像机采集的原始图像数据扩大一倍之后作为高斯金字塔的第一层图像，将第一层图像经过高斯卷积之后作为金字塔的第二层图像，高斯卷积函数G(x,y)为：
其中，参数σ为固定值1.6，(xo,yo)为邻域内中心像素的坐标，(x,y)为邻域内其他像素的坐标；
然后，将σ乘以一个预定比例系数k，等到一个新的平滑因子σ′＝k*σ，该新的平滑因子用于平滑第二层图像，结果作为第三层图像，由此获得三层高斯金字塔。
所述高斯卷积为高斯平滑或高斯滤波。
根据本发明一个方面的用于无人跨运车的基于多传感器融合的障碍物辨识方法中，所述激光数据包括点云数据，所述点云数据至少包括点云的坐标，步骤S2包括以下步骤：
S21：计算各点云至激光原点的距离；
S22：依据多个预设距离阈值范围形成多个点云区域；
S23：将位于同一点云区域，且点云间距离小于预设间距的多个点云聚类为目标物；以及
S24：将所述目标物的中心位置的位置信息作为所述激光观测数据。
步骤S2在计算各点云至激光原点的距离之前还包括以下步骤：
S211：利用体素网格VoxelGrid滤波对所述点云数据进行降采样；
S212：依据预设高度范围筛选降采样后的点云数据；
S213：利用随机抽样一致性算法RANSAC对筛选后的点云数据进行滤波；
S214：利用DoN算法对点云数据进行低频滤波。
根据本发明一个方面的用于无人跨运车的基于多传感器融合的障碍物辨识方法中，步骤S3包括：
采用卡尔曼滤波器kalman filter对视觉观测数据和激光观测数据进行数据融合，滤波数据不分先后，采取串行架构将多个传感器的视觉观测数据和激光观测数据进行依次处理。
本发明的用于无人跨运车的基于多传感器融合的障碍物辨识方法已用在八轮跨运车中。
八轮跨运车包括一过一、一过二、或者一过三跨运车。
根据本发明另一个方面，提供一种用于无人跨运车的基于多传感器融合的障碍物辨识装置，包括：设置在跨运车顶部的全景摄像机、设置在跨运车左前、左后、右前、右后处的激光雷达传感器、以及设置在远程的数据处理装置，其中，数据处理装置执行以下步骤：根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据；对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据；将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据，根据所述融合观测数据进行目标物的检测与辨识。
本发明采用全景摄像头360度范围采集数据。采用4个16线3d激光雷达进行激光扫描，通过多传感器融合方案，使无人跨运车对四周进行实时识别，无人跨运车对障碍物的辨识和决策更加准确，安全性更高。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是根据本发明的用于无人跨运车的基于多传感器融合的障碍物辨识方法的流程图。
图2是根据本发明的形成视觉观测数据的流程图；
图3是根据本发明的激光数据聚类的流程图；
图4是根据本发明激光数据聚类前预处理的流程图。
具体实施方式
以下结合说明书附图对本发明的技术方案进行具体说明。
以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。
根据本发明的无人驾驶跨运车包括设置在跨运车顶部的全景摄像机、设置在跨运车左前、左后、右前、右后车轮正前方和正后方处的激光雷达传感器、以及设置在远程的数据处理装置。设置在跨运车顶部的全景摄像机为四个，摄像机设置为朝下。
图1示出根据本发明的用于无人跨运车的基于多传感器融合的障碍物辨识方法的流程图。
如图1所示，根据本发明一实施例，用于无人跨运车的基于多传感器融合的障碍物辨识方法包括以下步骤：
根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据；
对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据；
将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据，
根据所述融合观测数据进行目标物的检测与辨识。
图2示出根据本发明的形成视觉观测数据的流程图。
如图2所示，根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据包括以下步骤：
通过安装在跨运车上的四个摄像机采集跨运车四周的图像；
对具有不同视角的四张图像进行仿射变换，得到具有同一视角的图像；
通过每张图像拍摄到的物体的重合区域，将四张图像叠加到一起，形成全景图；
对全景图像进行以下处理：
采用三层高斯金字塔滤波器，定义一个5-100米搜索区域；顶端的图像(遥远的车辆)在高斯金字塔的第二层进行处理，图像的底部(中近距离的车辆)在高斯金字塔第三层进行处理；
采用梯度分析法，设置特殊自适应阈值来寻找局部梯度最大值，帮助查找候选跨运车作为目标物；
确定目标物后，获取该一个或多个目标物的中心位置的坐标作为视觉观测数据。
具体而言，上述方法中的所述三层高斯金字塔按照以下方法构建：
首先，将来自摄像机采集的原始图像数据扩大一倍之后作为高斯金字塔的第一层图像，将第一层图像经过高斯卷积之后作为金字塔的第二层图像，高斯卷积函数G(x,y)为：
其中，参数σ为固定值1.6，(xo,yo)为邻域内中心像素的坐标，(x,y)为邻域内其他像素的坐标；
然后，将σ乘以一个预定比例系数k，等到一个新的平滑因子σ′＝k*σ，该新的平滑因子用于平滑第二层图像，结果作为第三层图像，由此获得三层高斯金字塔。
所述高斯卷积为高斯平滑或高斯滤波。
图3示出根据本发明的激光数据聚类的流程图。
本发明的方法中，所述激光数据包括点云数据，所述点云数据至少包括点云的坐标。
如图3所示，对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据包括执行以下步骤：
计算各点云至激光原点的距离；
依据多个预设距离阈值范围形成多个点云区域；
将位于同一点云区域，且点云间距离小于预设间距的多个点云聚类为目标物；以及
将所述目标物的中心位置的位置信息作为所述激光观测数据。
图4示出根据本发明激光数据聚类前预处理的流程图。
如图4所示，可选地，计算各点云至激光原点的距离之前还包括执行以下步骤：
利用体素网格(VoxelGrid)滤波对所述点云数据进行降采样；
依据预设高度范围筛选降采样后的点云数据；
利用随机抽样一致性算法(RANSAC)对筛选后的点云数据进行滤波；
利用DoN算法对点云数据进行低频滤波。
根据本发明的一实施例，获得用于进行目标检测和辨识用的激光观测数据的方法包括以下步骤：
1、利用体素网格(VoxelGrid)滤波对点云数据进行降采样
具体而言，使用体素网格方法实现下采样，即减少点的数量，减少点云数据，同时保持点云的形状特征。体素网格滤波在提高配准、曲面重建、形状辨识等算法速度中非常实用。
PCL实现的VoxelGrid类通过输入的点云数据创建一个三维体素栅格(体素栅格可想象为微小的空间三维立方体的集合)，然后在每个体素(即三维立方体)内，用体素中所有点的重心来近似显示体素中的其他点。这样该体素中所有点就用一个重心点最终表示。对于所有体素进行处理后，得到过滤后的点云。这种方法比用体素中心逼近方法慢，但是该方法对于采样点对应曲面表示则更为准确。所以该方法常用于对大数据量的下采样处理，特别是在配准、曲面重建等工作之前作为预处理，可以很好的提高程序速度。
2、依据预设高度范围筛选降采样后的点云数据。
即通过点云的z轴坐标值，筛选在一定高度的点云数据。
3、利用随机抽样一致性算法(RANdom SAmple Consensus，RANSAC)对筛选后的点云数据进行滤波。
具体而言，RANSAC算法用于排除错误的样本。在本发明中，RANSAC算法用于过滤一些照射在地面的点云数据。其输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。
RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集假设为局内点，并用下述方法进行验证：
a.有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
b.用a中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。
c.如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。
d.然后用所有假设的局内点去重新估计模型，因为该模型仅仅被初始的假设局内点估计过。
e.最后，通过估计局内点与模型的错误率来评估模型。
4、利用DoN(difference of normals)算法对点云数据进行低频滤波。
具体而言，DoN是Difference of Normal的简写。DoN算法的目的是在对点云数据进行低频滤波，低频信息(例如建筑物墙面，地面)往往会对分割产生干扰。DoN算法利用多尺度空间的思想。
DoN算法如下：对每个点云：在预设的第一尺度上计算点云的第一法线；在预设的第二尺度上计算点云的第二法线，其中，第二尺度大于第一尺度；计算第一法线减去第二法线的差并过滤差值较小的点以进行滤波。
数据融合部分：两种传感器得到各自的观测数据，每一个都具有位置和角度信息(x，y，z，angle)。
根据本发明的实施例，将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据包括以下操作：
采用卡尔曼滤波器(kalman filter)对视觉观测数据和激光观测数据进行数据融合。滤波数据不分先后，主要是采取串行架构将多个传感器的视觉观测数据和激光观测数据进行依次处理。例如，假设有三个传感器进行量测，先用第一个传感器的量测结果做一次完整的卡尔曼滤波过程；然后再用第二个传感器的量测进行卡尔曼滤波。注意第二次卡尔曼滤波过程不需要进行一步预测，二是直接使用第一次完整卡尔曼滤波过程得到的状态估计结果作为一步预测，然后使用第二个传感器的量测进行测量更新过程，得到第二次卡尔曼滤波过程的最优状态估计；同样，这个状态估计结果将作为第三个传感器量测进行量测更新时的一步预测结果。
公式如下：
X(k|k-1)＝AX(k-1|k-1)+BU(k) (3-2)
P(k|k-1)＝AP(k-1|k-1)AT+Q (3-3)
Kg(k)＝P(k|k-1)HT/(HP(k|k-1)HT+R) (3-4)
X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1)) (3-5)
P(k|k)＝(I-Kg(k)H)P(k|k-1) (3-6)
公式中变量含义：
1：X(k)是k时刻的***状态；X(k|k-1)是利用上一状态预测的结果；X(k-1|k-1)是上一状态最优的结果；U(k)是k时刻对***的控制量；A是状态转移矩阵；B是***参数***矩阵；
2：P(k)表示误差协方差，Q是过程噪声矩阵(即测量误差协方差矩阵)；
3：计算卡尔曼增益；
4：进行校正更新，即k时刻最优解；
5：下一步估计更新，迭代计算。
本发明的用于无人跨运车的基于多传感器融合的障碍物辨识方法已应用于八轮、一过三等的跨运车中，执行障碍物辨识。
本发明以全景摄像机以及4个激光雷达为传感器，通过全景摄像机对跨运车周围和内部障碍物进行识别、通过多个激光雷达检测目标位置；进行多传感器融合识别，从而能够有效地解决由于单一的传感器自身受环境影响的局限性，使无人跨运车能够360度全视野、安全、可靠地检测与识别目标物。
最后，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，在不脱离本发明构思的前提下还可以作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (12)

1.一种用于无人跨运车的基于多传感器融合的障碍物辨识方法，无人跨运车包括设置在跨运车顶部的全景摄像机、设置在跨运车左前、左后、右前、右后处的激光雷达传感器、设置在远程的数据处理装置，
其特征在于：所述方法包括以下步骤：
S1 根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据；
S2 对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据；
S3 将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据，
S4 根据所述融合观测数据进行目标物的检测与辨识。
2.如权利要求1所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，设置在跨运车顶部的全景摄像机为四个，摄像机设置为朝下。
3.如权利要求1所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，步骤S1包括：
S11：通过安装在跨运车上的四个摄像机采集跨运车四周的图像；
S12：对具有不同视角的四张图像进行仿射变换，得到具有同一视角的图像；
S13：通过每张图像拍摄到的物体的重合区域，将四张图像叠加到一起，形成全景图。
4.如权利要求3所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，步骤S1还包括：
对全景图像进行以下处理：
S14：采用三层高斯金字塔滤波器，定义一个5-100米搜索区域；顶端的图像在高斯金字塔的第二层进行处理，图像的底部在高斯金字塔第三层进行处理；
S15：采用梯度分析法，设置自适应阈值来寻找局部梯度最大值，以查找候选跨运车作为目标物；
S16：确定目标物后，获取该一个或多个目标物的中心位置的坐标作为视觉观测数据。
5.如权利要求4所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，
所述三层高斯金字塔按照以下方法构建：
首先，将来自摄像机采集的原始图像数据扩大一倍之后作为高斯金字塔的第一层图像，将第一层图像经过高斯卷积之后作为金字塔的第二层图像，高斯卷积函数G(x,y)为：
其中，参数σ为固定值1.6，(xo,yo)为邻域内中心像素的坐标，(x,y)为邻域内其他像素的坐标；
然后，将σ乘以一个预定比例系数k，等到一个新的平滑因子σ′＝k*σ，该新的平滑因子用于平滑第二层图像，结果作为第三层图像，由此获得三层高斯金字塔。
6.如权利要求5所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，
所述高斯卷积为高斯平滑或高斯滤波。
7.如权利要求1所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，所述激光数据包括点云数据，所述点云数据至少包括点云的坐标，步骤S2包括以下步骤：
S21：计算各点云至激光原点的距离；
S22：依据多个预设距离阈值范围形成多个点云区域；
S23：将位于同一点云区域，且点云间距离小于预设间距的多个点云聚类为目标物；以及
S24：将所述目标物的中心位置的位置信息作为所述激光观测数据。
8.如权利要求7所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，步骤S2在计算各点云至激光原点的距离之前还包括以下步骤：
S211：利用体素网格VoxelGrid滤波对所述点云数据进行降采样；
S212：依据预设高度范围筛选降采样后的点云数据；
S213：利用随机抽样一致性算法RANSAC对筛选后的点云数据进行滤波；
S214：利用DoN算法对点云数据进行低频滤波。
9.如权利要求1所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，步骤S3包括：
步骤S3包括采用卡尔曼滤波器kalman filter对视觉观测数据和激光观测数据进行数据融合，滤波数据不分先后，采取串行架构将多个传感器的视觉观测数据和激光观测数据进行依次处理。
10.如权利要求1所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，跨运车为八轮跨运车。
11.如权利要求10所述的用于无人跨运车的基于多传感器融合的障碍物辨识方法，其特征在于，八轮跨运车为一过一、一过二、或者一过三跨运车。
12.一种用于无人跨运车的基于多传感器融合的障碍物辨识装置，其特征在于，所述装置包括：设置在跨运车顶部的全景摄像机、设置在跨运车左前、左后、右前、右后处的激光雷达传感器、以及设置在远程的数据处理装置，
其特征在于：数据处理装置执行以下步骤：
根据来自图像采集装置的图像数据，获得一个或多个目标物的视觉观测数据；
对来自激光雷达传感器的激光数据进行聚类，获得一个或多个目标物的位置信息作为激光观测数据；
将同一目标物的视觉观测数据和激光观测数据按时序进行融合滤波以获得融合观测数据，
根据所述融合观测数据进行目标物的检测与辨识。
CN201910710457.4A 2019-08-02 2019-08-02 无人跨运车的基于多传感器融合的障碍物辨识方法和装置 Pending CN110399859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910710457.4A CN110399859A (zh) 2019-08-02 2019-08-02 无人跨运车的基于多传感器融合的障碍物辨识方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910710457.4A CN110399859A (zh) 2019-08-02 2019-08-02 无人跨运车的基于多传感器融合的障碍物辨识方法和装置

Publications (1)

Publication Number Publication Date
CN110399859A true CN110399859A (zh) 2019-11-01

Family

ID=68327336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710457.4A Pending CN110399859A (zh) 2019-08-02 2019-08-02 无人跨运车的基于多传感器融合的障碍物辨识方法和装置

Country Status (1)

Country Link
CN (1) CN110399859A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064415A (zh) * 2019-12-31 2021-07-02 华为技术有限公司 轨迹规划的方法、装置、控制器和智能车

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全***的图像处理方法
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全***的图像处理方法
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机智过人-第三季-第1期: "无人跨运车", 《腾讯视频》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064415A (zh) * 2019-12-31 2021-07-02 华为技术有限公司 轨迹规划的方法、装置、控制器和智能车

Similar Documents

Publication Publication Date Title
CN107576960B (zh) 视觉雷达时空信息融合的目标检测方法及***
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN106874854B (zh) 基于嵌入式平台的无人机车辆跟踪方法
JP5837287B2 (ja) 自動車用の障害物検知方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN108638999A (zh) 一种基于360度环视输入的防碰撞预警***及方法
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
CN102037490A (zh) 用于使图像模糊的方法和布置
CN112740225B (zh) 一种路面要素确定方法及装置
Palaniappan et al. Moving object detection for vehicle tracking in wide area motion imagery using 4d filtering
CN112001226A (zh) 一种无人驾驶3d目标检测方法、装置及存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
US11281916B2 (en) Method of tracking objects in a scene
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Ghahremannezhad et al. Automatic road detection in traffic videos
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
Pollard et al. GM-PHD filters for multi-object tracking in uncalibrated aerial videos
Omar et al. Detection and localization of traffic lights using YOLOv3 and Stereo Vision
CN110399859A (zh) 无人跨运车的基于多传感器融合的障碍物辨识方法和装置
Na et al. Drivable space expansion from the ground base for complex structured roads
Meuter et al. 3D traffic sign tracking using a particle filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191101