CN118192537A - 一种基于光场的自动驾驶感知避障***及方法 - Google Patents

Abstract

本发明公开了一种基于光场的自动驾驶感知避障***及方法，用于人工智能领域中的自动驾驶的感知避障，自动驾驶感知避障方法与先进的光场技术相结合，包含了光场环境感知模块、避障模。本发明借助深度学习的方法，实现了光场障碍物感知模块、光场障碍物匹配模块和移动物体轨迹跟踪模块，同时结合深度学习技术对多目标轨迹进行预测和避障优化轨迹，从而完成了自动驾驶感知避障。

Description

一种基于光场的自动驾驶感知避障***及方法

技术领域

本发明涉及一种基于光场的自动驾驶感知避障***及方法，属于信息技术领域。

背景技术

光场是空间中光线集合的完备表示，采集并显示光场就能在视觉上重现真实世界。全光函数包含7个维度，是表示光场的数学模型。光场是以人眼为中心对光线集合进行描述。由于光路是可逆的，以发光表面为中心来描述光线集合衍生出与光场类似的概念——反射场。反射场也具有7个维度的信息，但每个维度的定义与光场不尽相同。不论光场还是反射场，由于7个维度的信息会急剧增加采集、处理、传输的负担，因此实际应用中更多的是采用4D光场模型。随着Magic Leap One的上市，以及Google《Welcome to lightfield》在Steam上发布，光场作为下一代成像/呈像技术，受到越来越多的关注。

随着科技的不断进步，汽车产业也逐渐向着智能化方向发展。自动驾驶技术正是在这种背景下应运而生。它通过采用先进的传感器、算法和控制***，以及高精度地图、车联网等技术的支持，实现了对车辆的自动化控制。

自动驾驶技术的基本原理是通过对周围环境的实时感知，获取车辆行驶所需的各种信息，如车道、交通信号、其他车辆和障碍物的位置和速度等。然后通过高级算法进行数据分析和处理，生成车辆行驶所需的控制指令，再传达给车辆的发动机、转向和制动等***，从而实现车辆的自主行驶。根据自动驾驶技术的成熟程度，国际上将其分为六个等级。从L0到L5，级别越高，代表自动驾驶技术的成熟度越高，对人类驾驶员的依赖程度就越低。目前，大部分汽车的自动驾驶技术处于L2级别，即部分自动化阶段，而特斯拉、谷歌等公司的试验车辆已经达到了L4级别，具备较高的自动驾驶能力。

现有的自动驾驶感知避障技术大部分采用超声波雷达：这种雷达是普通汽车上最常见的装备，一般布置于前后保险杠，可以清晰分辨，超声波雷达向外发出超声波，用接收器接收反射回来的超声波，通过时间差来测算距离。作为声波，探测距离越短，精度就越高，因此常用于倒车雷达，探测距离在0.1-3米之间，是自动泊车等功能的必备硬件。缺点是车速较快时误差大，无法远距离传播信号。除此之外，对外界环境的准确感知也是目前的自动驾驶感知避障技术的难点。

发明内容

本发明技术解决问题：针对自动驾驶领域中精度不准，对环境感知能力较差等问题，提供一种基于光场的自动驾驶感知避障***及方法，能将外界环境信息通过光场技术进行感知，通过避障算法实现自动驾驶的避障，使外界环境信息利用更加充分、自动驾驶规划的路径更加合适与安全，使用户获得更安全和更有保障。

本发明采用如下的技术方案：

第一方面，本发明提供的一种基于光场的自动驾驶感知避障***，包括：光场环境感知模块，避障模块，光场环境感知模块将外界信息转变为目标障碍物的速度和方向信息，将所述目标障碍物的速度和方向信息传入到避障模块中，避障模块获取到目标障碍物的速度和方向信息规划出一条最优路径躲避障碍物；所述基于光场环境感知模块包括光场感知设备，光场目标障碍物感知模块、光场目标障碍物匹配模块和光场目标障碍物轨迹跟踪模块，避障模块包括多目标预测模块和避障优化轨迹模块：

光场感知设备，用于捕捉外界信息；

光场目标障碍物识别模块，基于外界信息，通过一种创新的光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

光场目标障碍物匹配模块，将识别后的目标障碍物采用一种创新的光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

光场目标障碍物轨迹跟踪模块，采用一种创新的光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

多目标预测模块，根据匹配后的光场目标障碍物的速度和方向信息，通过一种创新的基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

避障优化轨迹模块，基于预测后的光场目标障碍物的轨迹，设计创新的光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

特别地，所述光场目标障碍物识别模块中，一种光场目标障碍物检测算法采用光场空间-角度相结合的神经网络实现，所述光场空间-角度相结合的神经网络包括光场空间-角度编码模块、空间-角度注意力感知模块、光场空间目标定位模块和光场空间-角度解码模块；

光场空间-角度编码模块，将光场图像分别按照空间和角度通过多层聚焦残差网络分别编码成光场图像的空间和角度特征；

多层次注意力感知模块，从所述光场图像的空间特征中提取光场图像的结构、颜色信息，从光场图像的角度特征中提取光场图像的关联信息；

光场目标障碍物定位模块，利用滑动法通过在光场图像的结构、颜色信息中以不同尺度、不同大小的窗口滑动定位目标，并在每个窗口上应用一个特征提取器和一个特征分类器判断窗口是否有光场目标障碍物，同时根据光场图像的关联信息定位光场目标障碍物之间的相关性，最终确定光场目标障碍物的位置左上角顶点坐标和右下角顶点坐标；

光场目标障碍物解码模块，将光场目标障碍物的坐标位置，光场图像的结构、颜色信息和光场图像的关联信息结合起来进行解码分类，通过多层卷积和池化操作解码特征，再通过全连接层进行分类得到光场目标障碍物的分类类别，光场目标障碍物的坐标位置和光场目标障碍物的分类类别组成识别后的光场目标障碍物。

特别地，所述光场目标障碍物匹配模块中，一种光场目标障碍物匹配策略实现如下：

第一步：将光场图像按照角度划分成N张光场图片，对同一帧下不同角度的两张光场图片中的光场目标障碍物的分类类别进行比较，只有相同类别的光场目标障碍物继续以下第二步操作；

第二步：对同一帧下不同角度的两张光场图片中相同类别的光场目标障碍物进行匹配，所述匹配方法通过光场匹配神经网络对两张图片中的两个相同类别的光场目标障碍物、以及两张光场图片的角度信息为输入，回归得到两个光场目标障碍物相似的置信度，并设定阈值，如果该置信度超过阈值，则成功匹配，设定一个匹配的置信度和类别标志位，如果定位目标障碍物已经匹配成功，则比较置信度大小，选择更高的置信度的匹配结果作为最终结果；

第三步，重复第二步的过程，直至所有的目标物障碍均已经过处理，最终得到同一帧下不同角度的匹配后的光场目标障碍物。

特别地，所述光场光场目标障碍物轨迹跟踪模块中，一种基于光场多感知轨迹跟踪方法流程如下：

首先设定一个阈值帧数Z，将当前帧的不同角度的匹配后的光场目标障碍物和前一帧的不同角度的匹配后的光场目标障碍物输入到光场目标障碍物匹配模块中，对同一角度的不同帧的匹配后的光场目标障碍物再次进行匹配，得到二次匹配后的当前帧与前一帧的同一角度的光场目标障碍物；

如果匹配成功，对当前帧与前一帧的同一角度的匹配后的光场目标障碍物取前一帧的不同角度的匹配后的光场目标障碍物的序号ID；如果匹配不成功，则继续将当前帧的不同角度的匹配后的光场目标障碍物与前两帧的不同角度的匹配后的光场目标障碍物的结果进行匹配，如果匹配成功，则使用前两帧的不同角度的匹配后的光场目标障碍物的序号ID赋予当前帧的不同角度的匹配后的光场目标障碍物，如果匹配失败，则对前三帧进行匹配，重复Z次，如果还没有匹配成功，则对当前帧的同一角度的匹配后的光场目标障碍物赋予新的ID，作为新轨迹的开端；之后根据匹配成功的目标物计算其速度、加速度和方向，最终得到匹配后的光场目标障碍物的速度和方向信息。

特别地，所述多目标预测模块中，所述一种基于轨迹关联的多目标跟踪方法通过将所有匹配后的光场目标障碍物，以及他们的速度和方向分别输入到基于Transformer的多层神经元网络中实现，所述基于Transformer的多层神经元网络包括位置编码模块、全局关系建立模块和局部关系建立模块；位置编码模块将匹配后的光场目标障碍物的位置信息进行编码，再将光场目标障碍物的位置信息、以及他们的速度和方向输入到全局关系建立模块中，进行特征提取，得到全局轨迹信息，同时将光场目标障碍物的位置信息以及他们的速度和方向输入到局部关系建立模块中，得到局部轨迹信息；最后将全局轨迹信息和局部轨迹信息融合，得到预测后的光场目标障碍物的轨迹。

特别地，所述的避障优化轨迹模块中，基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，实现如下：

利用三次方程拟合预测后的光场目标障碍物的轨迹，轨迹方程如下：

f_id(a)＝K₀+K₁a+K₂a²+K₃a³+sinf((s，t))+cosf((s，t))

f((s，t))＝e^10000*s+e^10000*t

其中f_id(a)代表光场目标障碍物a的轨迹方程，K₀，K₁，K₂，K₃代表4个可变参数，K₀+K₁a+K₂a²+K₃a³表示拟合了光场目标障碍物a的预测轨迹，sinf((s，t))+cosf((s，t))表示光场图像的角度约束，s，t为约束条件，代表光场的角度位置；f((s，t)为将光场角度位置编码成光场角度特征；

再最小化约束条件公式D，求出最优轨迹f₂，D具体公式如下：

n是光场目标障碍物a的总数，假设自动驾驶物之前的为原始的轨迹为f₁，最优轨迹为f₂，光场目标障碍物a的轨迹方程f_id(a)，其中：(f₁-f₂)²保证两条轨迹相似，dis(f₂-f_id(a))表示最优的轨迹与光场目标障碍物的距离，Min(dis(f₂-f_id(a)))表示自动驾驶物与每一时刻光场目标障碍物最小相隔距离最大化，最终求出最优轨迹f₂，完成自动驾驶的感知避障。

第二方面，本发明提供一种基于光场的自动驾驶感知避障方法，实现如下：

外界信息被光场感知设备捕捉到后通过一种光场目标检测算法对障碍物进行识别；

基于外界信息，通过一种光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

将识别后的目标障碍物采用一种光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

采用一种光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

根据匹配后的光场目标障碍物的速度和方向信息，通过一种基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

第三方面，本发明提供一种电子设备，包括处理器和存储器，其中：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的计算机程序，执行时实现第一方面所述的***，或第二方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时，实现第一方面所述的***，或第二方面所述的方法。

本发明与现有技术相比的优点在于：

(1)本发明以计算机视觉中较为先进的光场技术为基础，创新的将光场技术与环境感知结合在一起，运用深度学习和卷积神经网络等先进技术，对光场图像进行处理，将外界的信息识别得到光场目标障碍物，采用一种创新的光场目标障碍物匹配策略，得到匹配后的准确的匹配后的光场目标障碍物，之后创新的对光场目标障碍物进行轨迹跟踪以及预测光场目标障碍物的轨迹，最后实现了基于光场的自动驾驶感知避障方法。现有的自动避障技术往往利用图像与雷达相结合的技术，效率较低，对图片的信息使用不够全面，本发明与现有技术相比，提供了高效率、高准确率的自动驾驶方法，节约了人力和物力。

(2)本发明实现了光场目标障碍物识别模块，创新的利用光场和深度学习神经网络技术分类识别出障碍物的类别。现有的障碍物识别网络大对遮挡的处理效果较差，光场的引入很好的提供了被遮挡物的信息，因此与现有的技术相比，该算法拥有较高的准确度和可靠性，保障了自动驾驶的安全性。

(3)本发明实现了光场目标障碍物匹配模块，基于光场规则的多视角信息和深度学习的技术，首次创新的提出了光场匹配神经网络，能动态匹配相同的光场目标障碍物，匹配算法比现有的方法准确率更高。

(4)本发明实现了光场目标障碍物轨迹跟踪模块，采用一种创新的光场多感知轨迹跟踪方法对光场目标障碍物进行轨迹跟踪，能动态计算光场目标障碍物的速度、加速度和方向等轨迹信息，光场为轨迹跟踪提供了更全面结构的特征和更丰富的视角信息，计算结果相比现有的技术相比更准确。

(5)本发明实现了多目标预测模块，基于光场规则的多视角信息，通过一种创新的基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，能同时动态的预测光场目标障碍物未来的轨迹，光场为障碍物为未来的轨迹提供了更丰富的视角特征，预测结果相比现有的技术相比更准确。

(6)本发明实现了避障优化轨迹模块，创新的将光场角度的约束增加到最小化约束条件中，能根据预测的光场目标障碍物的轨迹和光场的角度优化出自动避障物的一条最优轨迹，优化的最优轨迹相比现有的技术更准确。

附图说明

图1为本发明实施例基于光场的自动驾驶感知避障***的总体结构图；

图2为本发明实施例中的光场感知设备结构图；

图3为本发明实施例中的光场目标障碍物识别模块结构图；

图4为本发明实施例中的光场目标障碍物匹配模块结构图；

图5为本发明实施例中的光场目标障碍物轨迹跟踪模块结构图；

图6为本发明实施例中的多目标预测模块结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明的具体实施方式作进一步说明。

如图1所示，本发明实施例的基于光场的自动驾驶感知避障***结构图，左侧为光场环境感知模块，包括光场目标障碍物感知模块、光场目标障碍物匹配模块和光场目标障碍物轨迹跟踪模块。右侧为避障模块，包括：多目标预测模块和避障优化轨迹模块。

光场感知设备用于捕捉外界信息；光场目标障碍物识别模块，基于外界信息，通过一种光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；光场目标障碍物匹配模块，将识别后的目标障碍物采用一种光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；光场目标障碍物轨迹跟踪模块，采用一种光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；多目标预测模块，根据匹配后的光场目标障碍物的速度和方向信息，通过一种基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；避障优化轨迹模块，基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

如图2所示，光场感知设备的部署如下：由3×3的规则的光场相机阵列组成，形成光场感知物理设备，通过并行拍摄操控，实现多线程并行拍摄，保证光场相机阵列拍摄过程是同步进行，拍摄后，将同步传输到光场存储***中，得到N张光场图片I₁，I₂，I₃……I_N，存储成光场数据结构形式的数据L(x，y，s，t)。其中(x，y)是光场图片的空间分辨率，(s，t)是光场图片的角度分辨率。

如图3所示，将规则的光场数据结构形式的数据传入到光场目标障碍物识别模块中进行处理，其算法如下：光场数据结构形式的数据L(x，y，s，t)，经过由去噪、颜色增强、视角增强、白平衡等数据预处理方法，得到低噪声干扰、颜色平衡、对比明显和视角增强的光场数据图片；之后将光场图片输入到光场空间-角度相结合的神经网络中，网络一共分为四个部分，第一部分是光场空间-角度编码模块，将光场图片分别按照空间和角度通过多层聚焦残差网络将数据编码成图像的空间和角度特征，每个残差网络的模块是由卷积大小为kernel＝3×3，padding＝1，stride＝1的2D卷积、标准化处理和ReLU激活函数组成，多层聚焦残差网络模块是由6个残差卷积网络模块通过残差方式相加起来组成，每次计算得到的结果都与上一次残差计算的结果相加，保证经过残差网络后的结果的不会比之前差；第二部分是多层次注意力感知模块，所述光场图像的空间特征中提取光场图像的结构、颜色信息，从光场图像的角度特征中提取光场图像的关联信息，多层次注意力感知模块是由2D卷积模块、局部注意力机制和全局注意力机制组成，其中2D卷积模块是由卷积大小为kernel＝1×1，padding＝0，stride＝1的2D卷积、标准化处理和ReLU激活函数组成，局部注意力机制是由卷积大小为kernel＝1×1，padding＝0，stride＝1的2D卷积、标准化处理和ReLU激活函数组成，目标将输入的维度降低到总视角数目9，完成对每个视角的重点分析，全局注意力机制是由全局池化层，卷积大小为kernel＝1×1，padding＝0，stride＝1的2D卷积、标准化处理和ReLU激活函数组成，目标是将得到的特征全局都进行注意力分析，得到更重要的特征语义信息；第三部分是光场目标障碍物定位模块，该模块利用滑动法通过在图像以不同尺度、不同大小的窗口滑动来定位目标，并在每个窗口上应用一个特征提取器和一个特征分类器来判断窗口是否有光场目标障碍物，同时根据光场图像的关联信息定位光场目标障碍物之间的相关性，最终确定每张图片i的第n个障碍物的位置左上角顶点坐标和右下角顶点坐标具体将窗口大小设置为3×3，5×5，7×7，每次滑动的尺度分别是1，2和3，特征提取器用与上述2D卷积模块相同的处理方式对特征进行提取，特征分类器采用Sigmoid激活函数；第四部分是光场目标障碍物解码模块，将光场目标障碍物的坐标位置，光场图像的结构、颜色信息和光场图像的关联信息结合起来进行解码分类，通过多层卷积和池化操作来解码特征，最后通过全连接层进行分类得到分类类别/>具体网络设置为卷积大小为kernel＝1×1，padding＝0，stride＝1的2D卷积，池化层和ReLU激活函数组成的解码卷积块，并将该解码卷积块迭代6次，通过全连接层Linear操作得到最后的分类类别/>光场目标障碍物的坐标位置/>和光场目标障碍物的分类类别/>组成识别后的光场目标障碍物。

如图4所示，光场目标障碍物匹配模块是基于光场目标匹配方法对所获得的定位的光场目标障碍物进行匹配，其算法流程如下：首先将N张光场图片I₁，I₂，I₃……I_N按照角度分辨率(s，t)进行划分，之后将每张图片i定位的第n个光场目标障碍物信息和分类类别/>输入到光场目标障碍物匹配模块中，将N张光场图片中的定位的目标信息和分类类别两两进行光场目标障碍物匹配，具体实施，每次输入9张光场图片，两两匹配共需要36轮匹配；每轮匹配具体步骤如下：

第一步：光场图像按照角度划分成N张光场图片，对同一帧下不同角度的两张光场图片中的光场目标障碍物的分类类别进行比较，只有相同类别的光场目标障碍物继续以下第二步操作；

第二步：对同一帧下不同角度的两张光场图片中相同类别的光场目标障碍物进行匹配，该匹配方法通过设计了光场匹配神经网络对两张图片中的两个同类别的定位光场目标障碍物位置信息相对应的光场图片进行裁剪，裁剪之后仅以该位置的目标物以及两张光场图片的角度信息为输入，经过由卷积大小为kernel＝1×1，padding＝0，stride＝1的2D卷积、标准化处理和ReLU激活函数函数组成的特征提取模块来提取图像的特征，对图像之后采用迭代的残差卷积模块组成的特征增强模块，对得到的图像的特征进行增强操作，最后将增强后的特征进行回归比较，得到两个光场目标障碍物相似的置信度t_i，计算图像SSIM值来获得图像的结构相似性t_s、同时计算RGB颜色特征的相似性t_c，并将三个置信度求和，得到最终置信度t，具体计算公式如下：

t_i＝Softmax(Conv(x，y))

t＝t_i+t_s+t_c

其中x，y为两个光场目标障碍物，μ_x为光场目标障碍物x的像素平均值，μ_y为光场目标障碍物y的像素平均值，为光场目标障碍物x的方差，/>为光场目标障碍物y的方差，σ_xy为x和y的协方差，c₁和c₂是常数用来维持稳定；并设定一个阈值θ，如果最终置信度t超过阈值θ，则成功匹配，之后设定一个匹配的置信度和类别标志位/>代表着第i张图片中第n个光场目标障碍物；但是如果定位目标之前已经匹配成功，则需要比较匹配的两个置信度大小，选择更高的置信度的匹配结果作为同一帧下不同角度的匹配后的光场目标障碍物；

第三步：重复第二步的过程，直至所有的光场目标障碍物均已经过处理，最终得到同一帧下不同角度的匹配后的光场目标障碍物；

如图5所示，光场目标障碍物轨迹跟踪模块算法具体实施如下：首先设定一个阈值帧数Z＝15，将连续Z帧的光场目标障碍物匹配模块生成的匹配障碍物结果保存到轨迹跟踪模块中，将光场图像9张图片中的每一张图片的当前帧的不同角度的匹配后的光场目标障碍物和前一帧的不同角度的匹配后的光场目标障碍物输入到光场目标障碍物匹配模块中，对同一角度的不同帧的匹配后的光场目标障碍物再次进行匹配，得到二次匹配后的当前帧与前一帧的同一角度的光场目标障碍物；如果匹配成功，则对当前帧与前一帧的同一角度的匹配后的光场目标障碍物取前一帧的不同角度的匹配后的光场目标障碍物的序号ID；如果匹配不成功，则继续将当前帧的不同角度的匹配后的光场目标障碍物与前两帧的不同角度的匹配后的光场目标障碍物的结果重新进行匹配，如果匹配成功，则使用前两帧的不同角度的匹配后的光场目标障碍物的序号ID赋予当前帧的不同角度的匹配后的光场目标障碍物，如果匹配失败，则对前三帧进行匹配，如果匹配成功，更新ID，否则继续匹配，重复Z次，如果还没有匹配成功，则对当前帧的同一角度的匹配后的光场目标障碍物赋予新的ID，作为新轨迹的开端；之后根据匹配成功同一角度的不同帧的匹配后的光场目标障碍物在两张图像的位置以及时间差，计算其速度、加速度和方向，最终得到匹配后的光场目标障碍物的速度、加速度和方向信息；

如图6所示，多目标预测模块具体实施如下：首先分别将所有匹配后的光场目标障碍物的速度、加速度和方向信息分别输入到Transformer网络中，基于Transformer的多层神经元网络包括位置编码模块、全局关系建立模块和局部关系建立模块；位置编码模块将匹配后的光场目标障碍物的位置信息进行编码，之后将光场目标障碍物的位置信息、以及他们的速度、加速度和方向输入到全局关系建立模块中，进行特征提取，得到全局轨迹信息，全局关系建立模块是由多头注意力机制、残差网络和前馈神经网络组成，光场目标障碍物的位置信息、以及他们的速度、加速度和方向输入到多头注意力机制中，通过线性函数计算得到特征，通过点积计算注意力得分，通过残差网络对提取的特征进行增强操作，最后通过前馈神经网络将特征与注意力得分相结合得到全局的注意力机制，同时将光场目标障碍物的位置信息以及他们的速度和方向输入到局部关系建立模块中，得到局部轨迹信息，局部关系建立模块是通过残差网络组成，每个残差网络的模块是由卷积大小为kernel＝3×3，padding＝1，stride＝1的2D卷积；最后将全局轨迹信息和局部轨迹信息融合增强，得到预测后的光场目标障碍物的轨迹；

避障优化轨迹模块具体实施如下：根据光场目标障碍物的轨迹来设计最优的路线，首先根据所有匹配成功的光场目标障碍物的轨迹进行估计初始化，轨迹初始化主要是由行为规则决定的，由车道线和行为规划决定，不考虑目标位置，和目标的行为，生成当前的车道中心线、转弯线、换道轨迹、路口引导线等。同上，轨迹的初始化还是在感知模块基础下，包括拓扑地图、利用行为规划的决定，选择合适的预瞄点和轨迹。采用三次方程拟合预测后的光场目标障碍物的轨迹，轨迹方程如下：

f_id(a)＝K₀+K₁a+K₂a²+K₃a³+sinf((s，t))+cosf((s，t))

f((s，t))＝e^10000*s+e^10000*t

其中f_id(a)代表光场目标障碍物a的轨迹方程，K₀，K₁，K₂，K₃代表4个可变参数，K₀+K₁a+K₂a²+K₃a³表示拟合了光场目标障碍物a的预测轨迹，sinf((s，t))+cosf((s，t))表示光场图像的角度约束，s，t为约束条件，代表光场的角度位置；f((s，t)为将光场角度位置编码成光场角度特征；之后根据描述好的轨迹的多项式，本车周围其他车辆的位置，速度，加速度，设计一条新的轨迹，避免可能发生的碰撞，设定约束条件和约束公式，最小化约束公式D，定义如下：

n是光场目标障碍物a的总数，假设自动驾驶物之前的为原始的轨迹为f₁，最优轨迹为f₂，光场目标障碍物a的轨迹方程f_id(a)，其中：(f₁-f₂)²保证两条轨迹相似，dis(f₂-f_id(a))表示最优的轨迹与光场目标障碍物的距离，Min(dis(f₂-f_id(a)))表示自动驾驶物与每一时刻光场目标障碍物最小相隔距离最大化，最终求出最优轨迹f₂，每一时刻两车相隔距离，保证最小距离最大化是避障的关键，同时计算的轨迹尽量在横轴上都为0，保证车辆的舒适性，最优化上面的公式，求出的最优解，作为避障输出；求解方法采用Levenberg-Marquardt优化方法，初值为f₁，求出最优轨迹f₂，完成基于光场的自动驾驶感知避障方法。

基于同一发明构思，本发明另一实施例的基于光场的自动驾驶感知避障方法，实现步骤如下：

外界信息被光场感知设备捕捉到后通过一种光场目标检测算法对障碍物进行识别；

基于外界信息，通过一种光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

将识别后的目标障碍物采用一种光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

采用一种光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

根据匹配后的光场目标障碍物的速度和方向信息，通过一种基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

基于同一发明构思，本发明另一实施例提供一种电子设备(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法及***中各步骤。

基于同一发明构思，本发明另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法及***中的各个步骤。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (9)

1.一种基于光场的自动驾驶感知避障***，其特征在于：包括：光场环境感知模块，避障模块，光场环境感知模块将外界信息转变为目标障碍物的速度和方向信息，将所述目标障碍物的速度和方向信息传入到避障模块中，避障模块获取到目标障碍物的速度和方向信息规划出一条最优路径躲避障碍物；所述基于光场环境感知模块包括光场感知设备，光场目标障碍物感知模块、光场目标障碍物匹配模块和移动物体轨迹跟踪模块，避障模块包括多目标预测模块和避障优化轨迹模块：

光场感知设备，用于捕捉外界信息；

光场目标障碍物识别模块，基于外界信息，通过一种光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

光场目标障碍物匹配模块，将识别后的目标障碍物采用一种光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

光场目标障碍物轨迹跟踪模块，采用一种光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

多目标预测模块，根据匹配后的光场目标障碍物的速度和方向信息，通过一种基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

避障优化轨迹模块，基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

2.根据权利要求1所述的基于光场的自动驾驶感知避障***，其特征在于：所述光场目标障碍物识别模块中，一种光场目标障碍物检测算法采用光场空间-角度相结合的神经网络实现，所述光场空间-角度相结合的神经网络包括光场空间-角度编码模块、空间-角度注意力感知模块、光场空间目标定位模块和光场空间-角度解码模块；

光场空间-角度编码模块，将光场图像分别按照空间和角度通过多层聚焦残差网络分别编码成光场图像的空间和角度特征；

多层次注意力感知模块，从所述光场图像的空间特征中提取光场图像的结构、颜色信息，从光场图像的角度特征中提取光场图像的关联信息；

光场目标障碍物定位模块，利用滑动法通过在光场图像的结构、颜色信息中以不同尺度、不同大小的窗口滑动定位目标，并在每个窗口上应用一个特征提取器和一个特征分类器判断窗口是否有光场目标障碍物，同时根据光场图像的关联信息定位光场目标障碍物之间的相关性，最终确定光场目标障碍物的位置左上角顶点坐标和右下角顶点坐标；

光场目标障碍物解码模块，将光场目标障碍物的坐标位置，光场图像的结构、颜色信息和光场图像的关联信息结合起来进行解码分类，通过多层卷积和池化操作解码特征，再通过全连接层进行分类得到光场目标障碍物的分类类别，光场目标障碍物的坐标位置和光场目标障碍物的分类类别组成识别后的光场目标障碍物。

3.根据权利要求1所述的基于光场的自动驾驶感知避障***，其特征在于：所述光场目标障碍物匹配模块中，一种光场目标障碍物匹配策略实现如下：

第一步：将光场图像按照角度划分成N张光场图片，对同一帧下不同角度的两张光场图片中的光场目标障碍物的分类类别进行比较，只有相同类别的光场目标障碍物继续以下第二步操作；

第二步：对同一帧下不同角度的两张光场图片中相同类别的光场目标障碍物进行匹配，所述匹配方法通过光场匹配神经网络对两张图片中的两个相同类别的光场目标障碍物、以及两张光场图片的角度信息为输入，回归得到两个光场目标障碍物相似的置信度，并设定阈值，如果该置信度超过阈值，则成功匹配，设定一个匹配的置信度和类别标志位，如果定位目标障碍物已经匹配成功，则比较置信度大小，选择更高的置信度的匹配结果作为最终结果；

第三步，重复第二步的过程，直至所有的目标物障碍均已经过处理，最终得到同一帧下不同角度的匹配后的光场目标障碍物。

4.根据权利要求1所述的基于光场的自动驾驶感知避障***，其特征在于：所述光场光场目标障碍物轨迹跟踪模块中，一种基于光场多感知轨迹跟踪方法流程如下：

首先设定一个阈值帧数Z，将当前帧的不同角度的匹配后的光场目标障碍物和前一帧的不同角度的匹配后的光场目标障碍物输入到光场目标障碍物匹配模块中，对同一角度的不同帧的匹配后的光场目标障碍物再次进行匹配，得到二次匹配后的当前帧与前一帧的同一角度的光场目标障碍物；

如果匹配成功，对当前帧与前一帧的同一角度的匹配后的光场目标障碍物取前一帧的不同角度的匹配后的光场目标障碍物的序号ID；如果匹配不成功，则继续将当前帧的不同角度的匹配后的光场目标障碍物与前两帧的不同角度的匹配后的光场目标障碍物的结果进行匹配，如果匹配成功，则使用前两帧的不同角度的匹配后的光场目标障碍物的序号ID赋予当前帧的不同角度的匹配后的光场目标障碍物，如果匹配失败，则对前三帧进行匹配，重复Z次，如果还没有匹配成功，则对当前帧的同一角度的匹配后的光场目标障碍物赋予新的ID，作为新轨迹的开端；之后根据匹配成功的目标物计算其速度、加速度和方向，最终得到匹配后的光场目标障碍物的速度和方向信息。

5.根据权利要求1所述的基于光场的自动驾驶感知避障***，其特征在于：所述多目标预测模块中，所述一种基于轨迹关联的多目标跟踪方法通过将所有匹配后的光场目标障碍物，以及他们的速度和方向分别输入到基于Transformer的多层神经元网络中实现，所述基于Transformer的多层神经元网络包括位置编码模块、全局关系建立模块和局部关系建立模块；位置编码模块将匹配后的光场目标障碍物的位置信息进行编码，再将光场目标障碍物的位置信息、以及他们的速度和方向输入到全局关系建立模块中，进行特征提取，得到全局轨迹信息，同时将光场目标障碍物的位置信息以及他们的速度和方向输入到局部关系建立模块中，得到局部轨迹信息；最后将全局轨迹信息和局部轨迹信息融合，得到预测后的光场目标障碍物的轨迹。

6.根据权利要求1所述的基于光场的自动驾驶感知避障***，其特征在于：所述的避障优化轨迹模块中，基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，实现如下：

利用三次方程拟合预测后的光场目标障碍物的轨迹，轨迹方程如下：

f_id(α)＝K₀+K₁a+K₂a²+K₃a³+sin f((s,t))+cos f((s,t))

f((s,t))＝e^10000*s+e^10000*t

其中f_id(a)代表光场目标障碍物a的轨迹方程，k₀，k₁，K₂，k₃代表4个可变参数，K₀+K₁a+K₂a²+K₃a³表示拟合了光场目标障碍物a的预测轨迹，sinf((s,t))+cosf((s,t))表示光场图像的角度约束，s,t为约束条件，代表光场的角度位置；F((s,t)为将光场角度位置编码成光场角度特征；

再最小化约束条件公式D，D公式如下：

n是光场目标障碍物a的总数，假设自动驾驶物之前的为原始的轨迹为f₁，最优轨迹为f₂，光场目标障碍物a的轨迹方程f_id(a)，其中：(f₁-f₂)²保证两条轨迹相似，dis(f₂-f_id(a))表示最优轨迹与光场目标障碍物的距离，Min(dis(f₂-f_id(a)))表示自动驾驶物与每一时刻光场目标障碍物最小相隔距离最大化，最终求出最优轨迹f₂，完成自动驾驶的感知避障。

7.一种基于光场的自动驾驶感知避障方法，其特征在于，实现如下：

外界信息被光场感知设备捕捉到后通过一种光场目标检测算法对障碍物进行识别；

基于外界信息，通过一种光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

将识别后的目标障碍物采用一种光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

采用一种光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

根据匹配后的光场目标障碍物的速度和方向信息，通过一种基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

8.一种电子设备，其特征在于，包括处理器和存储器，其中：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的计算机程序，执行时实现权利要求1-6中任意之一所述***，或权利要求7所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1-6中任意之一所述的***，或权利要求7所述的方法。