CN113954835B - 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 - Google Patents
一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113954835B CN113954835B CN202010682627.5A CN202010682627A CN113954835B CN 113954835 B CN113954835 B CN 113954835B CN 202010682627 A CN202010682627 A CN 202010682627A CN 113954835 B CN113954835 B CN 113954835B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- intersection
- vehicle
- instruction
- steering wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 131
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18159—Traversing an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Transportation (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Abstract
本发明提供一种车辆在路口处的行驶控制方法、***和计算机可读存储介质,其中,该方法包括:接收路口行驶指引指令并获取多帧前方路口图像,其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、中间摄像头采集的第二前方路口图像和右侧摄像头采集的第三前方路口图像;将多帧图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,输出与路口行驶指引指令对应的方向盘转角;根据方向盘转角生成控制指令,将控制指令发送给车辆执行机构,以控制车辆执行机构执行控制指令。该方法能够解决基于深度学习的无人驾驶***中,面对复杂场景,输入的视觉信息不足的缺陷,并提高端到端神经网络自动驾驶的能力。
Description
技术领域
本发明涉及车辆驾驶控制技术领域,具体而言,主要涉及一种车辆在路口处的行驶控制方法、***及计算机可读存储介质。
背景技术
在自动驾驶领域,基于深度学习的学习方式是指使用深度学习网络技术对人类司机的驾驶行为进行模仿和学习的一种自动驾驶技术。这一技术的主要缺点体现在学习能力上,其高度依赖输入信息。
目前的自动驾驶中,无人车按照导航指令做出行驶选择,但是其只使用了单一的车载摄像头,造成了***输入数据所含信息量不足的问题。在路口转向这一问题上,无人车面对的是一个复杂的场景,需要关注前方场景,也包括侧方的场景,例如路口边缘等,而且不同的路口的转弯半径也不一样,使用的单一的前向车载摄像头无法获取车辆两侧的信息,输入信息的缺失导致自动驾驶***在复杂场景下的学习能力受到限制。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种车辆在路口处的行驶控制方法、***和计算机可读存储介质,该方法能够克服现有技术中输入信息不足而导致自动驾驶***在复杂场景下的学习能力受限的缺陷。
为了实现上述目的,采用如下的技术方案:
第一方面,本发明提供一种车辆在路口处的行驶控制方法,包括:
接收路口行驶指引指令并获取多帧前方路口图像,其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像;
将所述多帧前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,获得与所述路口行驶指引指令对应的方向盘转角;
根据所述方向盘转角生成控制指令,将所述控制指令发送给车辆执行机构,以控制车辆执行机构执行所述控制指令。
其中,所述将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,获得与所述路口行驶指引指令对应的方向盘转角具体包括:
将所述第一前方路口图像、第二前方路口图像和第三前方路口图像输入所述已训练好的神经网络模型中进行特征提取,获得对应第一特征向量、第二特征向量和第三特征向量;
对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量;
根据所述路口行驶指引指令和所述第四特征向量计算获得所述路口行驶指引指令对应的方向盘转角。
其中,所述对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量具体包括:
分别对所述第一特征向量、所述第二特征向量和所述第三特征向量进行展平和压缩处理,对应得到第一压缩特征向量、第二压缩特征向量和第三压缩特征向量;
对所述第一压缩特征向量、所述第二压缩特征向量和所述第三压缩特征向量进行拼接,获得所述第四特征向量。
其中,所述根据所述路口行驶指引指令和所述第四特征向量计算获得与所述路口行驶指引指令对应的方向盘转角具体包括:
若所述路口行驶指引指令为左转,则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支,对所述第四特征向量进行运算并输出车辆左转时的方向盘转角,若所述路口行驶指引指令为直行,则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支,对所述第四特征向量进行运算并输出直行时的方向盘转角,若所述路口行驶指引指令为右转,则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支,对所述第四特征向量进行运算并输出右转时的方向盘转角。
其中,所述方法还包括在将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,获得与所述路口行驶指引指令对应的方向盘转角前包括:
将所述已训练好的神经网络模型进行压缩,并移植到车辆的车载平台中。
本发明还提供一种车辆在路口的行驶控制***,包括:
路口行驶指引指令接收单元,用于接收路口行驶指引指令;
前方路口图像获取单元,用于获取多帧前方路口图像,其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像;
神经网络处理单元,用于对所述多帧前方路口图像和所述路口行驶指引指令进行处理,输出与所述路口行驶指引指令对应的方向盘转角;
控制指令生成单元,用于根据所述方向盘转角生成控制指令,将所述控制指令发送给车辆执行机构,以控制车辆执行机构执行所述控制指令。
其中,所述前方路口图像获取单元具体包括:
第一前方路口图像获取单元,用于获取车辆的左端摄像头采集的第一前方路口图像;
第二前方路口图像获取单元,用于获取车辆的中间摄像头采集的前方第二路口图像
第三前方路口图像获取单元,用于获取车辆的右端摄像头采集的第三前方路口图像。
其中,所述神经网络处理单元具体包括:
第一特征向量生成单元,用于对所述第一前方路口图像进行特征提取,获得第一特征向量;
第二特征向量生成单元,用于对所述第二前方路口图像进行特征提取,获得第二特征向量;
第三特征向量生成单元,用于对所述第三前方路口图像进行特征提取,获得第三特征向量;
特征融合单元,用于对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量;
方向盘转角输出单元,用于根据所述路口行驶指引指令和所述第四特征向量计算并输出与所述路口行驶指引指令对应的方向盘转角。
其中,所述方向盘转角输出单元具体用于:
若所述路口行驶指引指令为左转,则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支,对所述第四特征向量进行运算并输出车辆左转时的方向盘转角,若所述路口行驶指引指令为直行,则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支,对所述第四特征向量进行运算并输出直行时的方向盘转角,若所述路口行驶指引指令为右转,则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支,对所述第四特征向量进行运算并输出右转时的方向盘转角。
第三方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被计算机设备执行时实现前述方法步骤。
本发明的有益效果:本发明实施例的车辆在路口处的行驶控制方法,通过获取车辆的多个车载摄像头采集的前方路口图像,根据所述前方路口图像生成特征向量,根据接收的路口行驶指引信息和特征向量计算获得路口行驶指引信息对应的方向盘转角。该方法可以解决基于深度学习的无人驾驶***中,面对复杂场景,输入的视觉信息不足的问题,此外,该神经网络模型可以接收来自驾驶员或者自动驾驶***的指令,完成相应指令下的驾驶任务,从而提高了端到端神经网络自动驾驶的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一的一种车辆在路口处的行驶控制方法的流程示意图;
图2为本发明实施例二的一种车辆在路口处的行驶控制***的结构示意图。
具体实施方式
以下各实施例的说明是参考附图,用以示例本发明可以用以实施的特定实施例。
本发明实施例一提供一种车辆在路口处的行驶控制方法,如图1所示,包括如下步骤:
S1、接收路口行驶指引指令并获取多帧前方路口图像,其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像。
在一具体实施方式中,获取车辆的左摄像头采集的第一前方路口图像、中间摄像头采集的第二前方路口图像和右摄像头采集的第三前方路口图像。其中,左摄像头安装在左后视镜下边缘,中间摄像头安装在车辆纵向对称轴线而且接近挡风玻璃上边缘,右摄像头安装在右后视镜下边缘,左右摄像头的FOV角度为120度,中间摄像头FOV的角度为60度,左、中、右摄像头的采集频率分别为30Hz。
在一具体实施方式中,所述路口行驶指引指令包括车辆左转、车辆直行和车辆右转。
S2、将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,输出与所述路口行驶指引指令对应的方向盘转角。
在一具体实施方式中,将所述第一前方路口图像、第二前方路口图像和第三前方路口图像输入所述已训练好的神经网络模型中,分别对所述第一前方路口图像、第二前方路口图像和第三前方路口图像采用一个ResNet-50网络进行特征提取,对应获得第一特征向量、第二特征向量和第三特征向量。其中,所述第一特征向量、第二特征向量和第三特征向量的维度为[4,8,2048],对所述第一特征向量、第二特征向量和第三特征向量进行展平,对应得到长度为65536的第一展平特征向量、第二展平特征向量和第三展平特征向量。为了降低对***计算能力的要求,对所述第一展平特征向量、第二展平特征向量和第三展平特征向量进行压缩,对应获得长度为512维的第一压缩特征向量、第二压缩特征向量和第三压缩特征向量。对所述第一压缩特征向量、第二压缩特征向量和第三压缩特征向量进行连接,生成长度为1536的第四特征向量。
在一具体实施方式中,所述神经网络模型包括三个输出分支,每一输出分支包括3个全连接层,每一层的单元数量分别为512、256和1,最终输出层为一个单元,激活函数为反正切函数,输出范围为当路口转向指令为左转时,则将第四特征向量输入左转输出分支,计算得到车辆左转行驶时对应的方向盘转角,当路口转向指引指令为直行时,则将第四特征向量输入直行输出分支,计算得到车辆直行行驶时对应的方向盘转角,当路口转向指引指令为右转时,则将第四特征向量输入右转输出分支,计算得到车辆右转行驶时对应的方向盘转角。车辆左转行驶时对应的方向盘转角为/>车辆右转行驶时对应的方向盘转角为/>
在一具体实施方式中,所述训练好的神经网络模型的训练集为:将原始图像进行下采样获得新样本序列,图像样本不少于10万张,同时根据图像记录的时间点,获得采集的驾驶员驾驶行为信息,即方向盘转角,将图像和对应的方向盘转角进行归一化,其中,方向盘转角的缩放因子为1/780,方向盘向左的最大转角为-780度,中间位置为0,向右最大转角为780度,用于训练所述神经网络模型的图像尺寸大小统一缩放为224*224,图像像素缩放因子为1/225。
神经网络的本质是寻找从输入到输出的最佳函数表达式,用I表示图像输入,C表示指令输入,w表示网络中涉及的优化函数,ws表示不同指令共享的网络参数,wi表示不同指令下独立的网络参数,i=1,2,3,分别表示左转、右转、直行,f表示网络的表达式,Y表示网络的输出,y表示图像对应的实际值,则网络可表示为Y=F(I,W),网络的优化则为寻找最优的参数使得∑(y-Y)2值最小,即:
由于在该实施方式中,涉及三种驾驶指令,对应三条分支输出,每一个驾驶指令都对应一个损失函数。
为了防止模型过拟合,通过对训练参数进行正则化,使得模型不能过拟合到训练数据中的随即噪音,在该实施例中采用L2正则化的方法。
为了对模型进行训练和优化,将采集得到的数据集分为训练集和测试集,其中,训练集比例为85%,测试集比例为15%。训练时采用adam优化算法,训练步数为100万步,学习率采用指数衰减发,即随着训练步数的增加逐渐减少学习率:
其中ldr为当前的学习率,lbr为基础的学习率,设为1e-4,rd为衰减系数,设为0.99,Cstep为当前训练的步数,Dstep为衰减速率,设为1万步。
S3、根据所述方向盘转角生成控制指令,将所述控制指令发送给车辆执行机构,以控制车辆执行机构执行所述控制指令。
在一具体实施方式中,该方法在将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,输出与所述路口行驶指引指令对应的方向盘转角前还包括:将所述已训练好的神经网络模型进行压缩,并移植到车辆的车载平台中。
由于该方法使用了第一前方路口图像、第二前方路口图像和第三前方路口图像,并且对应的采用了3个Resnet-50网络来进行图像处理,所以对计算力有一定的要求,在进行时实车实验时,需要对模型进行压缩,以满足自动驾驶中实时计算的时间要求。在一具体实施方式中,使用TensorRT工具进行深度学习网络的压缩和迁移。具体方法如下:
1)冻结模型
在训练模型时,模型的结构和权重分开保存。压缩模型的第一步是将模型结构和权重数据合并在一个文件中,使用冻结模型的方式,即使用pb文件的格式,将模型结构和权重数据合并成一个文件,并且保存下来。
2)设置参数
在进行模型压缩时,需要明确以下参数:
·MODEL_DIR:冻结模型中生成的pb模型地址
·CHANNEL、HEIGHT、WIDTH:图片的通道、高和宽。根据模型的输入
大小参数确定为3,224,224.
·ENGINE_PATH:保存TensorRT引擎的地址
·INPUT_NODE:模型的输入节点
·OUTPUT_NODE:模型的输出节点
·INPUT_SIZE:输入图片的大小
·MAX_BATCH_SIZE:在推理的时候,每一次推理输入图片的数量,设置
为1
·MAX_WORKSPACE:显存的大小设置为,1<<30,也就是1GB的大小。
3)压缩模型
使用TensorRT工具,将模型冻结中冻结好的pb模型进行压缩。根据设置参数中的设置,创建TensorRT中的engine,即引擎,这个engine将负责模型的前向运算。在模型压缩后,使用.plan文件的格式保存压缩过的模型。
4)使用TensorRT模型实现推理
将压缩过的模型迁移到嵌入式车载平台中。调用之前保存的plan文件,启用引擎,开始使用TensorRT实现推理。
本发明实施例的车辆在路口处的行驶控制方法,通过获取车辆的多个车载摄像头采集的前方路口图像,根据所述前方路口图像生成特征向量,根据接收的路口行驶指引信息和特征向量计算获得路口行驶指引信息对应的方向盘转角。该方法可以解决基于深度学习的无人驾驶***中,面对复杂场景,输入的视觉信息不足的问题,此外,该网络可以接收来自驾驶员或者自动驾驶***的指令,完成相应指令下的驾驶任务,从而提高了端到端神经网络自动驾驶的能力。
基于本发明实施例一,本发明实施例二提供一种车辆在路口处的行驶控制***,如图2所示,该***100包括:路口行驶指引指令接收单元1、前方路口图像获取单元2、神经网络处理单元3和控制指令生成单元4,其中,路口行驶指引指令接收单元1用于接收路口行驶指引指令;前方路口图像获取单元2用于获取车辆的多个摄像头采集的前方路口图像;神经网络处理单元3用于对所述前方路口图像和所述路口行驶指引指令进行处理,输出与所述路口行驶指引指令对应的方向盘转角;控制指令生成单元4用于根据所述方向盘转角生成控制指令,将所述控制指令发送给车辆执行机构,以控制车辆执行机构执行所述控制指令。
其中,所述前方路口图像获取单元2包括第一前方路口图像获取单元、第二前方路口图像处理单元和第三前方路口图像处理单元,其中,所述第一前方路口图像处理单元用于获取车辆的左端摄像头采集的第一前方路口图像,第二前方路口图像获取单元用于获取车辆的中间摄像头采集的前方第二路口图像,第三前方路口图像获取单元,用于获取车辆的右端摄像头采集的第三前方路口图像。
其中,所述神经网络处理单元3具体包括:第一特征向量生成单元,用于对所述第一前方路口图像进行特征提取,获得第一特征向量;第二特征向量生成单元,用于对所述第二前方路口图像进行特征提取,获得第二特征向量;第三特征向量生成单元,用于对所述第三前方路口图像进行特征提取,获得第三特征向量;特征融合单元,用于对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量;方向盘转角输出单元,用于根据所述路口行驶指引指令和所述第四特征向量计算获得与所述路口行驶指引指令对应的方向盘转角。
其中,所述方向盘转角输出单元具体用于:若所述路口行驶指引指令为左转,则将所述第四特征向量输入所述已训练好的神经网络模型的左转分支,对所述第四特征向量进行运算获得左转方向盘转角,若所述路口行驶指引指令为直行,则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支,对所述第四特征向量进行运算获得直行方向盘转角,若所述路口行驶指引指令为右转,则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支,对所述第四特征向量进行运算获得右转方向盘转角。
基于本发明实施例一,本发明实施例三提供一种计算机可读存储介质,所述计算机程序被计算机设备执行时实现前述的方法步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上所述实施方式仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及形变,而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (8)
1.一种车辆在路口处的行驶控制方法,其特征在于,包括:
接收路口行驶指引指令并获取多帧前方路口图像,其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像;
将所述多帧前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,获得与所述路口行驶指引指令对应的方向盘转角;其中,所述神经网络模型根据多帧前方路口图像获得第四特征向量,若所述路口行驶指引指令为左转,则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支,对所述第四特征向量进行运算并输出车辆左转时的方向盘转角,若所述路口行驶指引指令为直行,则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支,对所述第四特征向量进行运算并输出直行时的方向盘转角,若所述路口行驶指引指令为右转,则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支,对所述第四特征向量进行运算并输出右转时的方向盘转角;
根据所述方向盘转角生成控制指令,将所述控制指令发送给车辆执行机构,以控制车辆执行机构执行所述控制指令。
2.根据权利要求1所述的方法,其特征在于,所述将所述多帧前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,获得与所述路口行驶指引指令对应的方向盘转角具体包括:
将所述第一前方路口图像、第二前方路口图像和第三前方路口图像输入所述已训练好的神经网络模型中进行特征提取,获得对应第一特征向量、第二特征向量和第三特征向量;
对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量;
根据所述路口行驶指引指令和所述第四特征向量计算获得所述路口行驶指引指令对应的方向盘转角。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量具体包括:
分别对所述第一特征向量、所述第二特征向量和所述第三特征向量进行展平和压缩处理,对应得到第一压缩特征向量、第二压缩特征向量和第三压缩特征向量;
对所述第一压缩特征向量、所述第二压缩特征向量和所述第三压缩特征向量进行拼接,获得所述第四特征向量。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括在将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理,获得与所述路口行驶指引指令对应的方向盘转角前包括:
将所述已训练好的神经网络模型进行压缩,并移植到车辆的车载平台中。
5.一种车辆在路口的行驶控制***,其特征在于,包括:
路口行驶指引指令接收单元,用于接收路口行驶指引指令;
前方路口图像获取单元,用于获取多帧前方路口图像,其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像;
神经网络处理单元,用于对所述多帧前方路口图像和所述路口行驶指引指令进行处理,输出与所述路口行驶指引指令对应的方向盘转角;其中,所述神经网络模型根据多帧前方路口图像获得第四特征向量,若所述路口行驶指引指令为左转,则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支,对所述第四特征向量进行运算并输出车辆左转时的方向盘转角,若所述路口行驶指引指令为直行,则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支,对所述第四特征向量进行运算并输出直行时的方向盘转角,若所述路口行驶指引指令为右转,则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支,对所述第四特征向量进行运算并输出右转时的方向盘转角;
控制指令生成单元,用于根据所述方向盘转角生成控制指令,将所述控制指令发送给车辆执行机构,以控制车辆执行机构执行所述控制指令。
6.根据权利要求5所述的***,其特征在于,所述前方路口图像获取单元具体包括:
第一前方路口图像获取单元,用于获取车辆的左端摄像头采集的第一前方路口图像;
第二前方路口图像获取单元,用于获取车辆的中间摄像头采集的前方第二路口图像
第三前方路口图像获取单元,用于获取车辆的右端摄像头采集的第三前方路口图像。
7.根据权利要求6所述的***,其特征在于,所述神经网络处理单元具体包括:
第一特征向量生成单元,用于对所述第一前方路口图像进行特征提取,获得第一特征向量;
第二特征向量生成单元,用于对所述第二前方路口图像进行特征提取,获得第二特征向量;
第三特征向量生成单元,用于对所述第三前方路口图像进行特征提取,获得第三特征向量;
特征融合单元,用于对所述第一特征向量、第二特征向量和第三特征向量进行处理,获得第四特征向量;
方向盘转角输出单元,用于根据所述路口行驶指引指令和所述第四特征向量计算并输出与所述路口行驶指引指令对应的方向盘转角。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被计算机设备执行时实现前述权利要求1-4任一项的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010682627.5A CN113954835B (zh) | 2020-07-15 | 2020-07-15 | 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010682627.5A CN113954835B (zh) | 2020-07-15 | 2020-07-15 | 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113954835A CN113954835A (zh) | 2022-01-21 |
CN113954835B true CN113954835B (zh) | 2023-05-30 |
Family
ID=79459228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010682627.5A Active CN113954835B (zh) | 2020-07-15 | 2020-07-15 | 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113954835B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0913751B1 (de) * | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
EP2578464B1 (en) * | 2011-10-06 | 2014-03-19 | Honda Research Institute Europe GmbH | Video-based warning system for a vehicle |
CN107628032A (zh) * | 2017-08-09 | 2018-01-26 | 广东欧珀移动通信有限公司 | 自动驾驶控制方法、装置、车辆和计算机可读存储介质 |
CN109389838A (zh) * | 2018-11-26 | 2019-02-26 | 爱驰汽车有限公司 | 无人驾驶路口路径规划方法、***、设备及存储介质 |
CN109747659B (zh) * | 2018-11-26 | 2021-07-02 | 北京汽车集团有限公司 | 车辆驾驶的控制方法和装置 |
CN111351503A (zh) * | 2018-12-20 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶***、计算设备及存储介质 |
CN110203197B (zh) * | 2019-06-19 | 2021-01-29 | 厦门金龙联合汽车工业有限公司 | 一种车道识别及车道保持方法及终端设备 |
-
2020
- 2020-07-15 CN CN202010682627.5A patent/CN113954835B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113954835A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11120276B1 (en) | Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium | |
CN107274445B (zh) | 一种图像深度估计方法和*** | |
CN111696110B (zh) | 场景分割方法及*** | |
CN109003297B (zh) | 一种单目深度估计方法、装置、终端和存储介质 | |
CN109934119B (zh) | 调整车辆行驶方向方法、装置、计算机设备及存储介质 | |
JP7284352B2 (ja) | リアルタイムオブジェクト検出及び語意分割の同時行いシステム及び方法及び非一時的なコンピュータ可読媒体 | |
CN112026782B (zh) | 一种基于开关式深度学习网络模型的自动驾驶决策方法及*** | |
US20230419521A1 (en) | Unsupervised depth prediction neural networks | |
CN111192278B (zh) | 语义分割方法、装置、计算机设备和计算机可读存储介质 | |
JP7484055B2 (ja) | 深度情報付きのパノラマ画像を生成する方法、装置、記憶媒体、電子機器及びコンピュータプログラム | |
CN115004259B (zh) | 对象识别方法、装置、计算机设备和存储介质 | |
DE112022001546T5 (de) | Systeme und Verfahren zur Erzeugung von Objekterkennungs-Labels unter Verwendung fovealer Bildvergrößerung für autonomes Fahren | |
DE102019213547A1 (de) | Vorrichtung und Verfahren zum Trainieren eines Modells sowie Fahrzeug | |
CN113920484A (zh) | 基于单目rgb-d特征和强化学习的端到端自动驾驶决策方法 | |
CN115035296A (zh) | 一种基于鸟瞰投影的飞行汽车3d语义分割方法及*** | |
CN113954835B (zh) | 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 | |
CN111914596A (zh) | 车道线检测方法、装置、***及存储介质 | |
CN112668596B (zh) | 三维物体识别方法及装置、识别模型训练方法及装置 | |
DE102022214330A1 (de) | Verfahren zur Erzeugung mindestens einer Ground Truth aus der Vogelperspektive | |
CN114973181B (zh) | 多目bev视角的环境感知方法、装置、设备及存储介质 | |
CN115035150A (zh) | 视频数据处理方法及装置 | |
CN116245943A (zh) | 基于web的连续帧点云数据标注方法及装置 | |
CN114019947B (zh) | 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质 | |
CN116452627A (zh) | 基于特征掩码和yolo模型的运动目标检测方法、装置、介质 | |
CN117372825A (zh) | 一种bev语义地图构建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |