CN113537002B - 一种基于双模神经网络模型的驾驶环境评估方法及装置 - Google Patents

Abstract

本发明提供的一种基于双模神经网络模型的驾驶环境评估方法及装置，通过获取周围不同驾驶车辆的多组坐标序列以及多组图像序列，对不同维度数据分别进行规范化处理，避免数据出现离群而被错误处理，提高后续识别的准确性；构建双模神经网络模型进行有针对性对不同维度的数据进行组合识别，可以提高识别的准确性；通过设计非线性函数作为双模神经网络模型的激励函数，使双模神经网络模型具有对非线性数据集分类的能力，在提高识别正确性的同时大幅提升了识别效率；根据双模神经网络对驾驶环境中的驾驶环境的状态进行预测，实现智能驾驶辅助功能。

Description

一种基于双模神经网络模型的驾驶环境评估方法及装置

技术领域

本发明属于自动驾驶领域技术领域，具体涉及一种基于双模神经网络模型的驾驶环境评估方法及装置。

背景技术

自动驾驶***，是近年来工业界研究的热门领域，其依靠机器学习、图像处理、雷达和定位***等信息采集分析***协同合作，让***可以在没有人类主动操作的环境下，自动、安全地操控机动车辆。驾驶环境对于自动驾驶的重要影响因素，备受关注。

现有技术中，自动驾驶***依靠机器学习、图像处理、各类信号、数据采集装置协同合作，让***可以在没有人类主动操作的环境下，自动、安全地操控机动车辆。其中，神经网络是完成自动驾驶、辅助驾驶任务的关键技术，它是一种运算模型，由大量的节点(称为神经元)之间相互联接构成。神经网络的每个节点代表一种特定的输出函数，称为激励函数；每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。对神经网络训练后得到的权重值类比于人类的记忆。神经网络作为一个整体，有多个输入和多个输出，直接与输入相联结的神经元节点称为输入层，直接与输出相联结的神经元称为输出层，输入层和输出层之间的神经元统称为隐藏层。在分析驾驶环境过程中，采用将驾驶图像以及驾驶数据依次输入神经网络模型，神经网络模型依照输入次序提取特征进行分析，最终输出驾驶环境是否安全的结果。

由于驾驶车辆的多样性，其驾驶图像以及驾驶数据类型较多，且常常处于不同的维度，神经网络模型需要在分析提取特征过程中不断适应不同维度的数据特征，效率较低；同时由于不同维度的数据容易出现离群现象，离群的数据呈现非线性，现有的神经网络模型对于非线性数据的识别能力不足，因此对于评估驾驶环境是否安全的结果并不准确。

发明内容

本发明提供了一种基于双模神经网络模型的驾驶环境评估方法及装置，以提高驾驶环境评估方法的准确性以及高效性。具体的技术方案如下。

第一方面，本发明提供的一种基于双模神经网络模型的驾驶环境评估方法包括：

获取周围驾驶车辆的多组坐标序列以及多组图像序列；

其中，所述图像序列为二维数据，所述坐标序列为一维数据；

将多组坐标序列组成第一子集，并将多组图像序列组成第二子集；

其中，所述第一子集中的每个元素是一个一维向量，所述第二子集中的每个元素是一个二维矩阵；

按照数据维度，对所述第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集；

构建双模神经网络模型；

其中，所述双模神经网络模型包括一维数据子网络以及二维数据子网络，所述一维数据子网络以及二维数据子网络的最后一个隐含层与输出层为全连接，所述一维数据子网络的输入层与二维数据子网络的输入层独立，所述一维数据子网络的隐含层与二维数据子网络的隐含层独立，所述双模神经网络模型的激励函数为非线性函数；

将所述第一子集输入已训练的一维数据子网络的输入层，并且将所述第二子集中的每个元素输入已训练的二维数据子网络别的输入层，以使所述二维数据子网络与所述一维数据子网络互相配合进行识别，输出驾驶环境的评估结果；

基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全。

可选的，所述按照数据维度，对所述第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集包括：

使用第一规范化公式对所述第一子集中的每个向量进行规范化，以及使用第二规范化公式对所述第二子集中的每个二维矩阵进行规范化，获得规范后的第一子集以及规范化后的第二子集；

其中，第一规范化公式为：

其中，a_t表示第一子集中的向量，

表示规范化后的第一子集中的向量，

mean表示向量a_t的均值，std为标准差，|a_t|表示向量的维度；

所述第二规范化公式为：

其中，

表示规范后的第二子集中的二维矩阵，d_t表示第二子集中的二维矩阵，

表示二维矩阵

中每个元素值。

其中，所述一维数据子网络包括一个输入层以及8个隐藏层，所述二维数据子网络包括一个输入层以及5个隐藏层，一维数据子网络的第8个隐藏层以及二维数据子网络的第5个隐藏层与所述双模神经网络模型的输出层全连接，所述输出层输出一个向量，向量的每个维度表示一个驾驶环境的状态。

可选的，所述已训练的一维数据子网络以及已训练的二维数据子网络通过如下步骤训练得到：

获取训练数据集；

其中，所述训练数据集包括多个样本，一个样本包括一维坐标序列以及对应的图像序列，所述样本包括包含标注驾驶环境的状态；

将一维坐标序列作为双模神经网络模型中一维数据子网络的输入，将该一维坐标序列对应的图像序列作为二维数据子网络的输入，将该样本标注的驾驶环境的状态作为双模神经网络模型的学习目标，迭代训练所述双模神经网络模型直至达到迭代次数或者损失函数最小，获得已训练的一维数据子网络和二维数据子网络。

可选的，所述激励函数为：

其中，x表示输入，α表示当x＞0时，产生一个较小的偏置时输入与输出近似相等的参数，R表示实数集。

其中，所述评估结果包括多个分量，每个分量对应一种驾驶环境的状态，每个分量的取值位于[0，1]之间。

可选的，所述基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全包括：

当分量的取值大于阈值时，将该分量对应的驾驶环境的状态确定为自驾车辆的驾驶环境的状态；

根据自驾车辆的驾驶环境的状态，确定驾驶环境是否安全。

可选的，在所述基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全之后，所述驾驶环境评估方法还包括：

当自驾车辆的驾驶环境为不安全时，向自驾车辆中控单元发送报警信息，以使中控单元控制自驾车辆进行相关操作，使得自驾车辆在最短时间处于安全的环境状态。

第二方面，本发明提供的一种基于双模神经网络模型的驾驶环境评估装置包括：

获取模块，用于获取周围驾驶车辆的多组坐标序列以及多组图像序列；

其中，所述图像序列为二维数据，所述坐标序列为一维数据；

组成模块，用于将多组坐标序列组成第一子集，并将多组图像序列组成第二子集；

其中，所述第一子集中的每个元素是一个一维向量，所述第二子集中的每个元素是一个二维矩阵；

处理模块，用于按照数据维度，对所述第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集；

构建模块，用于构建双模神经网络模型；

其中，所述双模神经网络模型包括一维数据子网络以及二维数据子网络，所述一维数据子网络以及二维数据子网络的最后一个隐含层与输出层为全连接，所述一维数据子网络的输入层与二维数据子网络的输入层独立，所述一维数据子网络的隐含层与二维数据子网络的隐含层独立，所述双模神经网络模型的激励函数为非线性函数；

识别模块，用于将所述第一子集输入已训练的一维数据子网络的输入层，并且将所述第二子集中的每个元素输入已训练的二维数据子网络别的输入层，以使所述二维数据子网络与所述一维数据子网络互相配合进行识别，输出驾驶环境的评估结果；

确定模块，用于基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全。

可选的，所述装置还包括训练模块，用于：

获取训练数据集；

其中，所述训练数据集包括多个样本，一个样本包括一维坐标序列以及对应的图像序列，所述样本包括包含标注驾驶环境的状态；

将一维坐标序列作为双模神经网络模型中一维数据子网络的输入，将该一维坐标序列对应的图像序列作为二维数据子网络的输入，将该样本标注的驾驶环境的状态作为双模神经网络模型的学习目标，迭代训练所述双模神经网络模型直至达到迭代次数或者损失函数最小，获得已训练的一维数据子网络和二维数据子网络。

本发明实施例的创新点包括：

1、本发明提供的一种基于双模神经网络模型的驾驶环境评估方法，通过获取周围不同驾驶车辆的多组坐标序列以及多组图像序列，对不同维度数据分别进行规范化处理，避免数据出现“离群”而被错误处理，提高后续识别的准确性。

2、本发明提供的一种基于双模神经网络模型的驾驶环境评估方法，构建双模神经网络模型进行有针对性对不同维度的数据进行组合识别，可以提高识别的准确性。

3、本发明提供的一种基于双模神经网络模型的驾驶环境评估方法，通过设计非线性函数作为双模神经网络模型的激励函数，使双模神经网络模型具有对非线性数据集分类的能力，在提高识别正确性的同时大幅提升了识别效率。

4、本发明提供的一种基于双模神经网络模型的驾驶环境评估方法，根据双模神经网络对驾驶环境中的驾驶环境的状态进行预测，实现智能驾驶辅助功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于双模神经网络模型的驾驶环境评估方法的流程示意图；

图2是全连接神经网络的结构示意图；

图3a是卷积层卷积的映射图；

图3b是卷积层连接方式示意图；

图4是三维卷积按时间维度展开的示意图；

图5是双模神经网络模型的结构示意图；

图6为本发明实施例提供的一种基于双模神经网络模型的驾驶环境评估装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

图1为本发明实施例提供的一种基于双模神经网络模型的驾驶环境评估方法的流程示意图。该方法应用于自动驾驶车辆。该方法具体包括以下步骤。

S1，获取周围驾驶车辆的多组坐标序列以及多组图像序列；

其中，图像序列为二维数据，坐标序列为一维数据；

可以理解，本实施步骤可以从随车辆安装的图像采集装置、激光测距装置、定位装置等数据、信号采集装置采集原始数据。本发明将原始数据(raw data)限定为直接从装置/设备采集到的离散的时间序列数据，且所有数据时间维度上的采样点相同。本发明将原始数据按维度分为两种：一种是二维图像数据形成的图像序列，每个单位时间有若干张图像；另一种是一维数据形成的序列，比如经纬度坐标数据。

S2，将多组坐标序列组成第一子集，并将多组图像序列组成第二子集；

其中，第一子集中的每个元素是一个一维向量，第二子集中的每个元素是一个二维矩阵；

本实施步骤中，假设驾驶***不同传感器采集到的原始数据序列形成一个集合S，其中输出一维数据序列的形成一个S的子集S_a，输出图像序列的形成S的子集S_d。|S_a|和|S_d|分别表示两个子集的大小，即数据来源的种类数。

在S_a中任意取一个元素a，是一个一维数据形成的序列，假设其长度为t，则可将a记作{a₁，a₂，...，a_t}，其中每一个元素a_t是一个一维向量。

同样，在S_d中任意取一个元素d，是一个二维图像数据形成的序列，假设其长度为t，则可将d记作{d₁，d₂，...，d_t}，其中每一个元素d_t是一个二维矩阵。

S3，按照数据维度，对第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集；

本发明可以针对不同的数据，分别设计不同的规范方法，为后续设计神经网络模型提供铺垫。

S4，构建双模神经网络模型；

其中，双模神经网络模型包括一维数据子网络以及二维数据子网络，一维数据子网络以及二维数据子网络的最后一个隐含层与输出层为全连接，一维数据子网络的输入层与二维数据子网络的输入层独立，一维数据子网络的隐含层与二维数据子网络的隐含层独立，双模神经网络模型的激励函数为非线性函数；一维数据子网络包括一个输入层以及8个隐藏层，二维数据子网络包括一个输入层以及5个隐藏层，一维数据子网络的第8个隐藏层以及二维数据子网络的第5个隐藏层与双模神经网络模型的输出层全连接，输出层输出一个向量，向量的每个维度表示一个驾驶环境的状态。

如图2所示，最左侧三个节点X₁，X₂，1为双模神经网络模型的输入层节点，右侧节点y为输出层节点，h₁，h₂，h₃为隐藏层节点，σ表示激励函数，作用是使神经网络具备非线性分类能力。神经网络的输出与输入之间的关系由下面式子定义：

a₁＝w_1-11x₁+w_1-21x₂+b_1-1

a₂＝w_1-12x₁+w_1-22x₂+b_1-2

a₃＝w_1-13x₁+w_1-23x₂+b_1-3

y＝σ(w_2-1σ(a₁)+w_2-2σ(a₂)+w_2-3σ(a₃))

其中，a₁表示h₁节点的输入与输出的关系，a₂表示h₂节点输入与输出关系，a₃表示h₃节点输入与输出关系，w带下角标表示节点之间的通道权重。b带下角标表示节点1与激励函数之间的参数。σ带括号表示括号内表示的通道的激励函数。

图2所示的是一种全连接的神经网络(最完备形态)，即隐藏层的每一个节点都与前一层的任一个节点有连接(不考虑激励函数)，实际应用中，隐藏层可以有多个，每一层的节点数与前一层的连接关系在实现允许的前提下可以自由定义，即在全连接的基础上进行连接的合并或删减。

对一维的输入

假设有一维输入数据若干类，类别数为|S_a|，时间采样数为T，将单位时间相同的一维向量展开，并形成一个长度为N1的新的向量，则组成一个N1×T的矩阵M_a。按照如下步骤建立与其连接的一维数据子网络网络NW_a。

(11)一维数据子网络NW_a第一个隐藏层Ha1定义如下。

Ha1是根据输入层M_a数据，通过卷积核

后的结果。图3a以及图3b中给出了p＝3，q＝3时的连接情况，每一个节点仅与其上一层(即输入的矩阵M_a)对应位置的3x3个节点有连接；将这3x3个连接的权重按行-列的顺序分别定义为

并且Ha1的每一个节点v与输入连接的3x3个点，其在对应位置的权重均相同。b带下角标表示第几个隐藏层的参数，从下角标为0的第一个隐藏层开始，pq表示卷积核的尺寸。

特别的，本发明定义本层窗口尺寸为5x5，即1≤p，q≤5。

(12)网络NW_a第二个隐藏层Ha2定义如下。

Ha2是根据隐藏层Ha1的输出数据，并在卷积窗口pxq内的最大值除以窗口尺寸得到的结果。图4给出了p＝4，q＝4时的连接情况，与其对应的4x4个节点连接，并且权重固定为1/16。

特别的，本发明定义本层卷积窗口为4x4，，即1≤p，q≤4。

(13)网络NW_a第三个隐藏层Ha3定义如下：

Ha3层是根据Ha2层的输出数据，通过卷积核

后的结果。

特别的，本发明定义本层窗口p＝q＝5。

(14)网络NW_a第四个隐藏层Ha4定义如下。

Ha4层是根据Ha3层的输出数据，通过卷积核

后的结果。并且卷积核

是一个对称矩阵。

特别的，本发明定义本层窗口尺寸为5x5，即1≤p，q≤5。

(15)网络NW_a第五个隐藏层Ha5定义如下。

并且当p＞q时，

Ha5层是根据Ha4层的输出数据，通过卷积核

后的结果。并且卷积核

是一个上(下)三角矩阵。

特别的，本发明定义本层窗口尺寸为5x5，即1≤p，q≤5。

(16)网络NW_a第六个隐藏层Ha6定义如下。

并且当p＜q时，

Ha6层是根据Ha5层的输出数据，通过卷积核

后的结果。并且卷积核

是一个与卷积核

相对的下(上)三角矩阵。

特别的，本发明定义本层窗口尺寸为5x5，即1≤p，q≤5。

(17)网络NW_a第七个隐藏层Ha7定义如下。

Ha7是根据隐藏层Ha6的输出数据，并在窗口pxq内的最大值除以窗口尺寸得到的结果。

特别的，本发明定义本层窗口尺寸为5x5，即1≤p，q≤4。

(18)网络NW_a第八个隐藏层Ha8是全连接层，Ha8的每一个节点与Ha7的每一个节点之间均存在连接，且连接权重均独立。

(19)网络NW_a第八个隐藏层Ha8后，以全连接形式连接输出层Y。

对二维图像的输入

假设有输入图像若干类，类别数为|S_d|，时间采样数为T，输入图像的尺寸相同，宽高分别为W和H，则输入数据M_d维度为W×H×T。按照如下步骤建立与其连接的二维数据子网络NW_d。

(21)网络NW_d第一个隐藏层Hd1定义如下。

Hd1是根据输入层M_d数据，通过卷积核

后的结果。卷积核

是三维的，pqr是三维卷积核的尺寸。三维卷积按时间维度展开的示意图如图4。在图4中，时间维度之外的两个维度上的连接方式与二维卷积示意图(图3a以及图3b)相同；时间维度上，在时间窗口内偏移量相等的节点的权重均相同，参考图4。

特别的，本发明定义本层窗口尺寸为7x7x7，即1≤p，q，r≤7。

(22)网络NW_d第二个隐藏层Hd2定义如下。

Hd2是根据隐藏层Hd1的输出数据，并在窗口p×q×r内求取最大值得到的结果。

特别的，本发明定义本层窗口尺寸为4x4x4，即1≤p，q，r≤4。

(23)网络NW_d第三个隐藏层Hd3定义如下。

Hd3是根据隐藏层Hd2的输出，通过卷积核

后的结果。

特别的，本发明定义本层窗口尺寸为5x5x5，即1≤p，q，r≤5。

(24)网络NW_d第四个隐藏层Hd4定义如下。

Hd4是根据隐藏层Hd3的输出数据，并在窗口p×q×r内求取最大值得到的结果。

特别的，本发明定义本层窗口尺寸为4x4x4，即1≤p，q，r≤4。

(25)网络NW_d第五个隐藏层Hd5是全连接层，Hd5的每一个节点与Hd4的每一个节点之间均存在连接，且连接权重均独立。

(26)网络NW_d第五个隐藏层Hd5后，以全连接形式连接输出层Y。此处输出层Y与(19)输出层Y一致。

网络NW_a和网络NW_d结合，构成本发明的双模神经网络模型结构，能够处理一维时序数据和二维图像时序数据，其构成图如图5。

输出层Y向量的每一个维度代表一种“安全状态”，值为1表示状态“正常”，值为0表示状态“不正常”。

激励函数为：

其中，x表示输入，α表示当x＞0时，产生一个较小的偏置时输入与输出近似相等的参数，R表示实数集。

下面以实际数据验证本发明的效果，参见表1。

表1实验对比效果

本发明中构建的双模神经网络模型，针对特殊输入数据结构，在模型首部对不同维度数据分别抽取特征，在模型尾部对不同维度数据进行融合，并采用特别设计的非线性处理单元，与经典算法相比，在保持决策正确性的同时可以大幅提升运算效率。

S5，将第一子集输入已训练的一维数据子网络的输入层，并且将第二子集中的每个元素输入已训练的二维数据子网络别的输入层，以使二维数据子网络与一维数据子网络互相配合进行识别，输出驾驶环境的评估结果；

S6，基于驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全。

根据输出向量Y的值，对驾驶车辆的若干驾驶环境，即驾驶车辆是否处于“安全状态”做出判断。评估结果包括多个分量，每个分量对应一种驾驶环境的状态，每个分量的取值位于[0，1]之间，每个分量之间相互独立，故根据分量的值对各“安全状态”进行判断。

“安全状态”是指根据现实应用预先定义的一组标志位，每个标志代表一种明确可分的二值现实状态，比如“周围5m内存在(不存在)障碍物”，“车速超过(不超过)100km/h”等。

本发明提供的一种基于双模神经网络模型的驾驶环境评估方法，通过获取周围不同驾驶车辆的多组坐标序列以及多组图像序列，对不同维度数据分别进行规范化处理，避免数据出现“离群”而被错误处理，提高后续识别的准确性；构建双模神经网络模型进行有针对性对不同维度的数据进行组合识别，可以提高识别的准确性；通过设计非线性函数作为双模神经网络模型的激励函数，使双模神经网络模型具有对非线性数据集分类的能力，在提高识别正确性的同时大幅提升了识别效率；根据双模神经网络对驾驶环境中的驾驶环境的状态进行预测，实现智能驾驶辅助功能。

作为本发明一种可选的实施方式，按照数据维度，对第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集包括：

使用第一规范化公式对第一子集中的每个向量进行规范化，以及使用第二规范化公式对第二子集中的每个二维矩阵进行规范化，获得规范后的第一子集以及规范化后的第二子集；

其中，第一规范化公式为：

其中，a_t表示第一子集中的向量，

表示规范化后的第一子集中的向量，

mean表示向量a_t的均值，std为标准差，|a_t|表示向量的维度；

第二规范化公式为：

其中，

表示规范后的第二子集中的二维矩阵，d_t表示第二子集中的二维矩阵，

表示二维矩阵

中每个元素值。

通过本实施方式得到规范化后的第一子集以及第二子集，作为后续双模神经网络模型的输入。

作为本发明一种可选的实施方式，已训练的一维数据子网络以及已训练的二维数据子网络通过如下步骤训练得到：

步骤一：获取训练数据集；

其中，训练数据集包括多个样本，一个样本包括一维坐标序列以及对应的图像序列，样本包括包含标注驾驶环境的状态；

步骤二：将一维坐标序列作为双模神经网络模型中一维数据子网络的输入，将该一维坐标序列对应的图像序列作为二维数据子网络的输入，将该样本标注的驾驶环境的状态作为双模神经网络模型的学习目标，迭代训练双模神经网络模型直至达到迭代次数或者损失函数最小，获得已训练的一维数据子网络和二维数据子网络。

可以理解，训练是根据训练数据，即一维数据序列和图像序列，与对应的输出层Y的值，求解网络中各节点权值w的过程，其目标是找出一组权值w，使网络对输入x的输出估计值

与y的误差最小。

作为本发明一种可选的实施方式，基于驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全包括：

步骤一：当分量的取值大于阈值时，将该分量对应的驾驶环境的状态确定为自驾车辆的驾驶环境的状态；

步骤二：根据自驾车辆的驾驶环境的状态，确定驾驶环境是否安全。

示例性的，当阈值取0.5时，如果分量的值大于0.5，认为分量所代表的状态为“正常”，否则为“异常”。

作为本发明一种可选的实施方式，在基于驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全之后，驾驶环境评估方法还包括：

当自驾车辆的驾驶环境为不安全时，向自驾车辆中控单元发送报警信息，以使中控单元控制自驾车辆进行相关操作，使得自驾车辆在最短时间处于安全的环境状态。

如图6所示，本发明提供的一种基于双模神经网络模型的驾驶环境评估装置包括：

获取模块61，用于获取周围驾驶车辆的多组坐标序列以及多组图像序列；

其中，图像序列为二维数据，坐标序列为一维数据；

组成模块62，用于将多组坐标序列组成第一子集，并将多组图像序列组成第二子集；

其中，第一子集中的每个元素是一个一维向量，第二子集中的每个元素是一个二维矩阵；

处理模块63，用于按照数据维度，对第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集；

构建模块64，用于构建双模神经网络模型；

其中，双模神经网络模型包括一维数据子网络以及二维数据子网络，一维数据子网络以及二维数据子网络的最后一个隐含层与输出层为全连接，一维数据子网络的输入层与二维数据子网络的输入层独立，一维数据子网络的隐含层与二维数据子网络的隐含层独立，双模神经网络模型的激励函数为非线性函数；

识别模块65，用于将第一子集输入已训练的一维数据子网络的输入层，并且将第二子集中的每个元素输入已训练的二维数据子网络别的输入层，以使二维数据子网络与一维数据子网络互相配合进行识别，输出驾驶环境的评估结果；

确定模块66，用于基于驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全。

可选的，装置还包括训练模块，用于：

获取训练数据集；

其中，训练数据集包括多个样本，一个样本包括一维坐标序列以及对应的图像序列，样本包括包含标注驾驶环境的状态；

将一维坐标序列作为双模神经网络模型中一维数据子网络的输入，将该一维坐标序列对应的图像序列作为二维数据子网络的输入，将该样本标注的驾驶环境的状态作为双模神经网络模型的学习目标，迭代训练双模神经网络模型直至达到迭代次数或者损失函数最小，获得已训练的一维数据子网络和二维数据子网络。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种基于双模神经网络模型的驾驶环境评估方法，其特征在于，所述方法包括：

获取周围驾驶车辆的多组坐标序列以及多组图像序列；

其中，所述图像序列为二维数据，所述坐标序列为一维数据；

将多组坐标序列组成第一子集，并将多组图像序列组成第二子集；

其中，所述第一子集中的每个元素是一个一维向量，所述第二子集中的每个元素是一个二维矩阵；

按照数据维度，对所述第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集；

构建双模神经网络模型；

其中，所述双模神经网络模型包括一维数据子网络以及二维数据子网络，所述一维数据子网络以及二维数据子网络的最后一个隐含层与输出层为全连接，所述一维数据子网络的输入层与二维数据子网络的输入层独立，所述一维数据子网络的隐含层与二维数据子网络的隐含层独立，所述双模神经网络模型的激励函数为非线性函数；

将所述第一子集输入已训练的一维数据子网络的输入层，并且将所述第二子集中的每个元素输入已训练的二维数据子网络别的输入层，以使所述二维数据子网络与所述一维数据子网络互相配合进行识别，输出驾驶环境的评估结果；

基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全；

所述已训练的一维数据子网络以及已训练的二维数据子网络通过如下步骤训练得到：

获取训练数据集；

其中，所述训练数据集包括多个样本，一个样本包括一维坐标序列以及对应的图像序列，所述样本包括包含标注驾驶环境的状态；

将一维坐标序列作为双模神经网络模型中一维数据子网络的输入，将该一维坐标序列对应的图像序列作为二维数据子网络的输入，将该样本标注的驾驶环境的状态作为双模神经网络模型的学习目标，迭代训练所述双模神经网络模型直至达到迭代次数或者损失函数最小，获得已训练的一维数据子网络和二维数据子网络。

2.根据权利要求1所述的驾驶环境评估方法，其特征在于，所述按照数据维度，对所述第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集包括：

使用第一规范化公式对所述第一子集中的每个向量进行规范化，以及使用第二规范化公式对所述第二子集中的每个二维矩阵进行规范化，获得规范后的第一子集以及规范化后的第二子集；

其中，第一规范化公式为：

其中，a_t表示第一子集中的向量，

表示规范化后的第一子集中的向量，

mean表示向量a_t的均值，std为标准差，|a_t|表示向量的维度；

所述第二规范化公式为：

其中，

表示规范后的第二子集中的二维矩阵，d_t表示第二子集中的二维矩阵，

表示二维矩阵

中每个元素值。

3.根据权利要求1所述的驾驶环境评估方法，其特征在于，所述一维数据子网络包括一个输入层以及8个隐藏层，所述二维数据子网络包括一个输入层以及5个隐藏层，一维数据子网络的第8个隐藏层以及二维数据子网络的第5个隐藏层与所述双模神经网络模型的输出层全连接，所述输出层输出一个向量，向量的每个维度表示一个驾驶环境的状态。

4.根据权利要求1所述的驾驶环境评估方法，其特征在于，所述激励函数为：

其中，x表示输入，α表示当x>0时，控制激励函数产生偏置使得输入与输出近似相等的参数，R表示实数集。

5.根据权利要求1所述的驾驶环境评估方法，其特征在于，所述评估结果包括多个分量，每个分量对应一种驾驶环境的状态，每个分量的取值位于[0,1]之间。

6.根据权利要求5所述的驾驶环境评估方法，其特征在于，所述基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全包括：

当分量的取值大于阈值时，将该分量对应的驾驶环境的状态确定为自驾车辆的驾驶环境的状态；

根据自驾车辆的驾驶环境的状态，确定驾驶环境是否安全。

7.根据权利要求1所述的驾驶环境评估方法，其特征在于，在所述基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全之后，所述驾驶环境评估方法还包括：

当自驾车辆的驾驶环境为不安全时，向自驾车辆中控单元发送报警信息，以使中控单元控制自驾车辆进行相关操作，使得自驾车辆在最短时间处于安全的环境状态。

8.一种基于双模神经网络模型的驾驶环境评估装置，其特征在于，所述装置包括：

获取模块，用于获取周围驾驶车辆的多组坐标序列以及多组图像序列；

其中，所述图像序列为二维数据，所述坐标序列为一维数据；

组成模块，用于将多组坐标序列组成第一子集，并将多组图像序列组成第二子集；

其中，所述第一子集中的每个元素是一个一维向量，所述第二子集中的每个元素是一个二维矩阵；

处理模块，用于按照数据维度，对所述第一子集中的每个向量以及第二子集中的每个二维矩阵进行规范化，以使向量映射在固定范围内，获得规范后的第一子集以及规范化后的第二子集；

构建模块，用于构建双模神经网络模型；

其中，所述双模神经网络模型包括一维数据子网络以及二维数据子网络，所述一维数据子网络以及二维数据子网络的最后一个隐含层与输出层为全连接，所述一维数据子网络的输入层与二维数据子网络的输入层独立，所述一维数据子网络的隐含层与二维数据子网络的隐含层独立，所述双模神经网络模型的激励函数为非线性函数；

识别模块，用于将所述第一子集输入已训练的一维数据子网络的输入层，并且将所述第二子集中的每个元素输入已训练的二维数据子网络别的输入层，以使所述二维数据子网络与所述一维数据子网络互相配合进行识别，输出驾驶环境的评估结果；

确定模块，用于基于所述驾驶环境的评估结果，确定自驾车辆的驾驶环境是否安全；

所述装置还包括训练模块，用于：

获取训练数据集；

其中，所述训练数据集包括多个样本，一个样本包括一维坐标序列以及对应的图像序列，所述样本包括包含标注驾驶环境的状态；

将一维坐标序列作为双模神经网络模型中一维数据子网络的输入，将该一维坐标序列对应的图像序列作为二维数据子网络的输入，将该样本标注的驾驶环境的状态作为双模神经网络模型的学习目标，迭代训练所述双模神经网络模型直至达到迭代次数或者损失函数最小，获得已训练的一维数据子网络和二维数据子网络。

Images