CN110083099B - 一种符合汽车功能安全标准自动驾驶架构***和工作方法 - Google Patents

一种符合汽车功能安全标准自动驾驶架构***和工作方法 Download PDF

Info

Publication number
CN110083099B
CN110083099B CN201910367428.2A CN201910367428A CN110083099B CN 110083099 B CN110083099 B CN 110083099B CN 201910367428 A CN201910367428 A CN 201910367428A CN 110083099 B CN110083099 B CN 110083099B
Authority
CN
China
Prior art keywords
unit
signal
data
radar
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910367428.2A
Other languages
English (en)
Other versions
CN110083099A (zh
Inventor
吕林泉
蒲紫光
陈涛
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Engineering Research Institute Co Ltd
Original Assignee
China Automotive Engineering Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Engineering Research Institute Co Ltd filed Critical China Automotive Engineering Research Institute Co Ltd
Priority to CN201910367428.2A priority Critical patent/CN110083099B/zh
Publication of CN110083099A publication Critical patent/CN110083099A/zh
Application granted granted Critical
Publication of CN110083099B publication Critical patent/CN110083099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2603Steering car

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种符合汽车功能安全标准自动驾驶架构***和工作方法,包括:传感器单元、数据采集单元、智能交互单元和动作执行单元;传感器单元数据发送端连接数据采集单元数据接收端,数据采集单元数据发送端漏极智能交互单元数据接收端,智能交互单元数据发送端连接动作执行单元数据接收端。克服硬件设备使用过程中的高功耗问题、安装占用空间大的问题;提升数据处理及响应过程中的实时性问题;优化决策执行过程中的时效性。

Description

一种符合汽车功能安全标准自动驾驶架构***和工作方法
技术领域
本发明涉及数据传输电路领域,尤其涉及一种符合汽车功能安全标准自动驾驶架构***和工作方法。
背景技术
由于近年来随着人工智能技术的迅速发展,传统汽车行业与信息技术结合在汽车自动驾驶技术方面的研究也受到了国家及业界高度重视,自动驾驶相关法律法规及道德规范也日趋进步和成熟,业界各部对于自动驾驶各方面的技术研究也在稳步深入及突破;自动驾驶正在迈向辉煌的下一阶段;但同时对于自动驾驶技术的研究也应该精益化;自动驾驶包含三个层级的研究:环境感知、任务决策及决策执行。现阶段市面上对于环境感知部分的研究已日趋成熟,应用激光雷达、毫米波雷达、高清摄像头等结合全球定位***已实现了较完备的环境感知***;已有不少L2级自动驾驶辅助***面向市场。
自从ISO 26262《道路车辆功能安全》国际标准发布以来,国内外各大汽车厂商及零部件设计制造商均高度重视产品功能安全的规范;自然我们在设计自动驾驶各部分***的时候也必须严格按照功能安全规范来执行。
嵌入式***具有计算机功能但又不称之为计算机。它是以应用为中心,软硬件可裁减的,适应应用***对功能、可靠性、成本、体积、功耗等综合性严格要求的专用计算机***。嵌入式***集***的应用软件与硬件于一体,具有软件代码小、高度自动化、响应速度快等特点,特别适合于要求实时和多任务的体系。嵌入式***主要由嵌入式处理器、相关支撑硬件、嵌入式操作***集应用软件***等组成,它是可独立工作的“器件”。
自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位***协同合作,让电脑可以在没有任何人类主动的操作下,自动安全地操作机动车辆。目前已有基于计算机平台的自动驾驶硬件架构;计算机平台具有不可避免的大体积、高功耗等不足之处;鉴于此现状,现提出一种基于嵌入式***符合功能安全的自动驾驶硬件架构。
如图1所示,现有技术方案是一种基于计算机平台来实现自动驾驶环境感知及决策的基础框架;外部各种传感器模块采集到环境数据后直接用以太网接口、CAN接口及RS232接口传输给计算机;计算机进行数据融合及运算处理;以深度复杂算法实现道路规划、避障、运动规划等自动驾驶决策;最后通过CANFD或USB通讯发送决策数据给汽车整车控制器(VCU)来执行整车控制决策。现有方案中计算机作为重要的数据融合,运算决策角色;计算机本身硬件决定了其功耗相对高;再者由于计算机外部挂了太多汽车用雷达、摄像头、视觉传感等传感器,计算机接受来自这些模块庞大的数据量,这就可能造成计算机的核心运算板块数据处理任务重、实时性不高、***可靠性降低、通讯稳定性较差等问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种符合汽车功能安全标准自动驾驶架构***和工作方法。
为了实现本发明的上述目的,本发明提供了一种符合汽车功能安全标准自动驾驶架构***,包括:传感器单元、数据采集单元、智能交互单元和动作执行单元;
传感器单元数据发送端连接数据采集单元数据接收端,数据采集单元数据发送端漏极智能交互单元数据接收端,智能交互单元数据发送端连接动作执行单元数据接收端。
优选的,所述数据采集单元包括:
处理器快速存取信号端连接SSD存储器单元信号端和DDR存储器单元信号端,处理器网络信号端连接网口RJ45,处理器USB信号端连接USB接口,处理器4口PCIe信号端连接Intel信号端,处理器单口PCI信号端连接可随机存取单元DRAM,DRAM信号输入端连接单片机即时通信信号端EIM,单片机SPI信号端连接控制器MCP2517,控制器信号输出端连接CANFD信号端,单片机网络信号端连接网线接口RJ45,单片机USB信号端连接USB接口,单片机UART串行接口连接RS232信号端,单片机闪存信号端连接FLASH信号端。
优选的,所述传感器单元包括:
OBD单元、V2X单元,车载摄像组件,毫米波激光雷达,GPS,探测雷达;OBD单元信号发送端连接数据采集单元OBD信号接收端,V2X单元信号发送端连接数据采集单元V2X信号接收端,车载摄像组件信号发送端连接视频组件信号接收端,视频组件信号发送端连接数据采集单元视频接收端,GPS信号发送端连接数据采集单元GPS信号接收端,毫米波激光雷达信号发送端连接数据采集单元毫米波雷达信号接收端,探测雷达信号发送端连接数据采集单元探测雷达信号接收端。
优选的,所述智能交互单元包括:
数据融合单元用于,将采集的OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达的数据经过数据采集单元进行收集整理之后,进行数据的融合操作,从而实现数据的进一步处理。
优选的,所述智能交互单元还包括:
深度学习单元用于将OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达数据进行神经网络学习,不断的训练和优化相应数据,从而使智能汽车工作更加稳定;
优选的,所述智能交互单元还包括:
路径规划单元用于集GPS数据和雷达数据、以及车载摄像数据之后,对驾驶者进行路径优化选择,规划更加合理的行驶路线。
优选的,所述智能交互单元还包括:
行为选择单元用于执行车辆相应组件的工作,传输到动作执行单元进行车辆的智能操控。
优选的,所述动作执行单元包括:将智能交互单元发送的工作数据进行动作执行操作,让发动机进行良性运转,档位操作合理,运行顺畅,遭遇障碍物能够及时进行刹车制动,合理调节方向盘操作***,遭遇突发事件及时弹出气囊、并正确显示智能汽车的仪表数据。
本发明还公开一种符合汽车功能安全标准自动驾驶架构的工作方法,包括如下步骤:
S1,收集传感器单元相应的传感数据,OBD单元、V2X单元,车载摄像组件,毫米波激光雷达,GPS,探测雷达;OBD单元信号发送端连接数据采集单元OBD信号接收端,V2X单元信号发送端连接数据采集单元V2X信号接收端,车载摄像组件信号发送端连接视频组件信号接收端,视频组件信号发送端连接数据采集单元视频接收端,GPS信号发送端连接数据采集单元GPS信号接收端,毫米波激光雷达信号发送端连接数据采集单元毫米波雷达信号接收端,探测雷达信号发送端连接数据采集单元探测雷达信号接收端;
S2,通过数据采集单元将传感数据发送到智能交互单元,处理器快速存取信号端连接SSD存储器单元信号端和DDR存储器单元信号端,处理器网络信号端连接网口RJ45,处理器USB信号端连接USB接口,处理器4口PCIe信号端连接Intel信号端,处理器单口PCI信号端连接可随机存取单元DRAM,DRAM信号输入端连接单片机即时通信信号端EIM,单片机SPI信号端连接控制器MCP2517,控制器信号输出端连接CANFD信号端,单片机网络信号端连接网线接口RJ45,单片机USB信号端连接USB接口,单片机UART串行接口连接RS232信号端,单片机闪存信号端连接FLASH信号端;
S3,智能交互单元发送到动作执行单元对智能汽车进行操作控制;
数据融合单元用于,将采集的OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达的数据经过数据采集单元进行收集整理之后,进行数据的融合操作,从而实现数据的进一步处理,深度学习单元用于将OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达数据进行神经网络学习,不断的训练和优化相应数据,从而使智能汽车工作更加稳定;路径规划单元用于集GPS数据和雷达数据、以及车载摄像数据之后,对驾驶者进行路径优化选择,规划更加合理的行驶路线;行为选择单元用于执行车辆相应组件的工作,传输到动作执行单元进行车辆的智能操控,动作执行各单元包括:将智能交互单元发送的工作数据进行动作执行操作,让发动机进行良性运转,档位操作合理,运行顺畅,遭遇障碍物能够及时进行刹车制动,合理调节方向盘操作***,遭遇突发事件及时弹出气囊、并正确显示智能汽车的仪表数据。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
克服硬件设备使用过程中的高功耗问题、安装占用空间大的问题;提升数据处理及响应过程中的实时性问题;优化决策执行过程中的时效性。
使得自动驾驶***整体功耗降低;其次可降低自动驾驶***硬件设备安装空间占用;再者使用基于1000base/T通讯技术可提高感知数据传送至决策中心的速度,大大提升数据处理及控制响应的实时性;增强自动驾驶控制的灵敏性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是现有技术示意图;
图2是本发明电路架构示意图;
图3是本发明电路架构原理图;
图4是本发明数据采集单元电路架构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
如图2所示,本发明通过嵌入式设备集成了外部传感设备的所有信号数据,对数据进行统一汇总;应用高速的1000base/T通讯技术传送给AI算法单元;同时运算单元与VCU单元也只通过单路的CANFD链接;实现运算单元接口简化的目的并增强通讯实时性跟实效性;
如图3所示,首先,配备于自动驾驶汽车车体的激光雷达、毫米波雷达、高清摄像头及视觉传感器、全球定位***、V2X和自动驾驶车辆自身数据接口获取自动驾驶汽车外部环境因素及车辆自身数据并形成相应格式的数据,通过传感设备支持的数据通讯方式(如:CAN网络、千兆以太网、RS232等)接入到接口数据转换单元实现传感数据的提取。
其次,接口数据转换单元生成的数据以基于1000bast/T技术的通讯方式传输到基于嵌入式的自动驾驶决策主控单元。自动驾驶主控单元根据接收到的数据运用基于深度学习、实时算法及AI的算法进行数据融合,然后进行运动趋势判定、行为选择、运动规划等控制决策运算。
最后,自动驾驶主控单元以CANFD的通讯方式将控制决策数据推送给汽车整车控制器(VCU),汽车整车控制器根据接收到的控制数据驱动汽车各电控单元执行决策动作,控制自动驾驶汽车的方向、油门、刹车等机构以实现自动驾驶。
***感知部分使用了四个侧向毫米波雷达和两个前向毫米波雷达来检测车辆四周的障碍物;一个32线和两个16线速腾激光雷达结合全球定位***用来构建高精度地图,和多移动、静止目标状态、运动趋势、速度、距离等信息的监测及跟踪;前后左右四个方位各一路高清摄像头用来监测车身四周的周边环境,并可用来做车道线及交通标识牌的识别或其他功能;V2X模块用以进行车车及车辆和道路周边网联站的信息交互;车身网络总线数据提供车辆自身的位置及速度等信息;所有传感设备采集到的数据信息均通过数据转化单元进行汇总发送。
决策算法部分采用多颗AI芯和图像信号处理模块运行于嵌入式***的方式构成;图像信号处理模块根据深度视觉的学习对于视觉信息进行处理辅助于AI芯进行自动驾驶车辆路径规划,轨迹规划等
执行部分通过CANFD数据总线控制自动驾驶车辆各执行机构进行决策执行。
由于嵌入式***具有专用性强、***内核小、实时性高、支持开放性和可伸缩性的体系结构、稳定性强生命周期长等优点;首先,本方案主要是以嵌入式***平台取代原计算机平台,将嵌入式***应用到自动驾驶硬件架构中,并集成了各传感器数据汇总至一个模块,简化自动驾驶感知部分与决策部分的数据接口,提升决策板块数据获取准确性及实时性,并缓解决策板块任务处理压力提升***稳定性;再者,本方案中所有的硬件设计均符合功能安全标准。
如图4所述数据采集单元,其中毫米波雷达信号、V2X及整车OBD数据通过CAN或者CANFD接口接入到数据采集单元,音视频信号、激光雷达信号及GPS信号通过以太网接口接入到数据采集单元;整车外部传感数据及整车内部车辆状态信息均由数据采集单元进行汇总及预处理,然后以基于1000base/T技术的方式转交于决策运算部分;数据采集单元分担了原决策运算单元的数据采集任务;能提升决策运算处理响应速度。
处理器为IntelAtom处理器,单片机为ARM系列Cortex-A9;
处理器快速存取信号端连接SSD存储器单元信号端和DDR存储器单元信号端,处理器网络信号端连接网口RJ45,处理器USB信号端连接USB接口,处理器4口PCIe信号端连接Intel信号端,处理器单口PCI信号端连接可随机存取单元DRAM(IDT70V261),DRAM信号输入端连接单片机即时通信信号端EIM,单片机SPI信号端连接控制器MCP2517,控制器信号输出端连接CANFD信号端,单片机网络信号端连接网线接口RJ45,单片机USB信号端连接USB接口,单片机UART串行接口连接RS232信号端,单片机闪存信号端连接FLASH信号端。通过设置若干数据I/O接口能够接收大量车载汽车功能参数数据,将该车载参数数据及时传输到智能交互单元。
VCU——电动汽车整车控制器(Vehicle Control Unit),实现整车控制决策的核心电子单元
CAN——控制器局域网络(Controller Area Network,CAN),是ISO国际标准化的串行通信协议
CANFD——可变速率的CAN(CAN with Flexible Data rate)
USB——通用串行总线(Universal Serial Bus)
RS232——异步传输通用接口
V2X——车对外的信息交换(Vehicle To Everything)
所述传感器单元包括:OBD单元、V2X单元,车载摄像组件,毫米波激光雷达,GPS,探测雷达;OBD单元信号发送端连接数据采集单元OBD信号接收端,V2X单元信号发送端连接数据采集单元V2X信号接收端,车载摄像组件信号发送端连接视频组件信号接收端,视频组件信号发送端连接数据采集单元视频接收端,GPS信号发送端连接数据采集单元GPS信号接收端,毫米波激光雷达信号发送端连接数据采集单元毫米波雷达信号接收端,探测雷达信号发送端连接数据采集单元探测雷达信号接收端。该相应的数据采集单元信号接收端通过具体的数据采集单元信号接收接口进行数据收集,收集完成之后发送到智能交互单元进行数据处理。
智能交互单元包括:数据融合单元用于,将采集的OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达的数据经过数据采集单元进行收集整理之后,进行数据的融合操作,从而实现数据的进一步处理,
深度学习单元用于将OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达数据进行神经网络学习,不断的训练和优化相应数据,从而使智能汽车工作更加稳定;
路径规划单元用于集GPS数据和雷达数据、以及车载摄像数据之后,对驾驶者进行路径优化选择,规划更加合理的行驶路线;
行为选择单元用于执行车辆相应组件的工作,传输到动作执行单元进行车辆的智能操控,
动作执行各单元包括:将智能交互单元发送的工作数据进行动作执行操作,让发动机进行良性运转,档位操作合理,运行顺畅,遭遇障碍物能够及时进行刹车制动,合理调节方向盘操作***,遭遇突发事件及时弹出气囊、并正确显示智能汽车的仪表数据。
该方法利用77GHz毫米波雷达和工业级高清摄像头对路***通情况进行检测。其中,毫米波雷达输出被测目标的类型、宽度、长度、存在概率、距路面原点相对位置及相对速度,摄像头则输出被测路口的图像信息。
路径规划单元还包括:S1,设置第一路口检测***,第一毫米波雷达信号输出端连接第一单片机雷达信号接收端,第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端,第一单片机信号输出端连接第一交换机雷达信号接收端,第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端;设置第二路口检测***,第二毫米波雷达信号输出端连接第二单片机雷达信号接收端,第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端,第二单片机信号输出端连接第二交换机雷达信号接收端,第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端;设置第N路口检测***,第N毫米波雷达信号输出端连接第N单片机雷达信号接收端,第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端,第N单片机信号输出端连接第N交换机雷达信号接收端,第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端;第一交换机信号输出端连接总交换机第一信号接收端,第二交换机信号输出端连接总交换机第二信号接收端,第N交换机信号输出端连接总交换机第N信号接收端,总交换机信号输出端连接数据库服务器信号接收端;设置N个路口检测***,对路口车辆和行人数据进行汇总收集,通过数据库服务器存储并进行深度学习;
S2,数据库服务器收集路口的车辆和行人数据,收集全部毫米波雷达采集的数据,并通过毫米波雷达输出被测目标的类型,将被测目标的类型进行判断,确定被测目标的类型,根据该类型扫描被测目标的宽度和长度,在相应路口出现的概率,并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置,根据被测目标在路面坐标系内的移动时间计算相对速度,通过高清摄像头输出被测路口的图像信息;
S2-1,根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选;
S2-2,毫米波雷达发射的雷达信号伴随着虚假目标,其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息,通过实时采集的雷达数据和图像数据,筛选剔除固定不变的树木信息、围栏信息和电线杆信息;
S2-3,根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选;接着利用卡尔曼滤波算法,对连续检出的目标进行跟踪和滤波;根据卡尔曼滤波的估计结果进行目标生命周期管理;
S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后,利用Elman神经网络对两个没有关联的被测目标信息进行融合,不匹配状态下则剔除该被测目标。
S3,利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别,同时结合高清摄像头的标定参数,计算被测目标位置及速度参数;通过基于卡尔曼滤波方法,对运动状态下的被测目标状态进行跟踪和滤波;再根据卡尔曼滤波的估计结果进行目标生命周期管理。利用深度学习方法,实现基于视觉图像的目标物类型识别及目标物测速及测距功能:首先利用已经训练的深度神经网络对图像连续图像帧进行目标识别,同时结合摄像头的标定参数,计算被测目标物位置及速度参数;接着基于卡尔曼滤波方法,对运动目标状态进行跟踪和滤波;最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。
所述目标生命周期管理是采用生命周期的形式,对视频和毫米波雷达检测中的漏检(或误检)状态进行修正,以此削弱目标状态值在检测结果中的跳变。在目标的预设生命周期内,若目标漏检(或误检),则认为原目标仍然存在,并利用卡尔曼滤波预测(或修正)其状态值;若超出目标的生命周期,则认为原目标已消失,对目标重新赋予一个ID。值得一提的是,以上当卡尔曼滤波的估计值与传感器检测值的差值超过某一特定阈值时,则将被测目标的生命周期减1。
该方法根据实际情况对毫米波雷达输出的目标信息进行筛选。需要说明的是,雷达给出的信号往往伴随着一些虚假目标,一般包括树木、围栏、电杆等,因此首先根据雷达给出的目标宽度、长度、位置及置信度信息对检出目标进行第一轮筛选;接着利用卡尔曼滤波算法,对连续检出的目标进行跟踪和滤波;最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。
在得到两类传感器的目标级检测结果后,再利用Elman神经网络对两个目标信息进行融合。
基于Vgg16的SSD网络(图像识别):
S3-1,将每个高清摄像头中采集的一帧图像,将一帧图片(300*300),输入到其对应嵌入式GPU的深度学习SSD模型中,该模型的核心为修改且已经训练的检测网络VGG16;(1.此处检测模型是放置在每个摄像头对应的嵌入式GPU里的,并不是在后台;2.检测模型是SSD,VGG16是SSD的一部分)
所述S3-1包括:
S3-A,将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7;
S3-B,去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8;
S3-C,采用扩展卷积或带孔卷积Atrous算法;
S3-D,将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1,其中S2为第二卷积核步长,S1为第一卷积核步长。
(2*2-S2,是指用一个2*2的卷积核,每次平移步长为2;3*3-S1,是指用一个3*3的卷积核,每次平移步长为1)
S3-2,抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map,然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox,然后分别对特征点构造的边界框进行检测和分类,生成多个边界框Boundingbox;
S3-3,将不同特征映射feature map所生成的边界框Boundingbox进行结合操作,经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox,得到最终车辆和行人数据被测目标的检测结果。
Elman神经网络(目标融合):
输入层为由不同传感器得到的目标的状态参数(横、纵坐标及速度),输出层为目标最终的状态参数。
进行***架构设计,实现路口车辆和行人的检测分析,
当同时捕获到一帧图像图像和一帧雷达报文时,一方面,基于深度学***面坐标,再根据连续图像中目标的位置变化,计算得到各目标物的速率;采用卡尔曼滤波方法,基于目标上一帧图像的预测值和当前帧图像的检测值进行目标状态参数的最优估计,对于预测值和检测值差值大于某一阈值的目标,则认为当前检测结果不可靠,直接以预测值作为结果输出,并使目标物的生命周期减1。
另一方面,从雷达给出的多个目标信息中,首先剔除宽度、长度、位置明显不符合被测目标客观参数范围,以及置信值低于某设定阈值的目标;接着采用卡尔曼滤波方法,计算目标上一帧报文参数的预测值,并将之和当前帧报文的检测值进行对比,若两者相差小于某一阈值,则直接将雷达当前帧报文参数作为结果输出,若预测值和检测值大于某一阈值,则认为雷达当前检测结果不可靠,结合预测值和检测值得到最优估计值,并使目标物的生命周期减1。
将以上传感器得到的目标级状态信息通过有线或无线网络传回后台终端,首先对不同传感器中,位置和速度参数接近的目标进行关联匹配(认为是同一目标)。对于目标物类别,以图像图像检测结果作为最终输出,同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层,将神经网络输出层结果当做目标的最终状态参数。
尽管已经示出和描述了本发明的实施例,在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化,本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种符合汽车功能安全标准自动驾驶架构***,其特征在于,包括:传感器单元、数据采集单元、智能交互单元和动作执行单元;
传感器单元数据发送端连接数据采集单元数据接收端,数据采集单元数据发送端连接智能交互单元数据接收端,智能交互单元数据发送端连接动作执行单元数据接收端;
所述智能交互单元包括:
路径规划单元用于集GPS数据和雷达数据、以及车载摄像数据之后,对驾驶者进行路径优化选择,规划更加合理的行驶路线;
路径规划单元包括:A,设置第一路口检测***,第一毫米波雷达信号输出端连接第一单片机雷达信号接收端,第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端,第一单片机信号输出端连接第一交换机雷达信号接收端,第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端;设置第二路口检测***,第二毫米波雷达信号输出端连接第二单片机雷达信号接收端,第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端,第二单片机信号输出端连接第二交换机雷达信号接收端,第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端;设置第N路口检测***,第N毫米波雷达信号输出端连接第N单片机雷达信号接收端,第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端,第N单片机信号输出端连接第N交换机雷达信号接收端,第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端;第一交换机信号输出端连接总交换机第一信号接收端,第二交换机信号输出端连接总交换机第二信号接收端,第N交换机信号输出端连接总交换机第N信号接收端,总交换机信号输出端连接数据库服务器信号接收端;设置N个路口检测***,对路口车辆和行人数据进行汇总收集,通过数据库服务器存储并进行深度学习;
B,数据库服务器收集路口的车辆和行人数据,收集全部毫米波雷达采集的数据,并通过毫米波雷达输出被测目标的类型,将被测目标的类型进行判断,确定被测目标的类型,根据该类型扫描被测目标的宽度和长度,在相应路口出现的概率,并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置,根据被测目标在路面坐标系内的移动时间计算相对速度,通过高清摄像头输出被测路口的图像信息;
B-1,根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选;
B-2,毫米波雷达发射的雷达信号伴随着虚假目标,其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息,通过实时采集的雷达数据和图像数据,筛选剔除固定不变的树木信息、围栏信息和电线杆信息;
B-3,根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选;接着利用卡尔曼滤波算法,对连续检出的目标进行跟踪和滤波;根据卡尔曼滤波的估计结果进行目标生命周期管理;
B-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后,利用Elman神经网络对两个没有关联的被测目标信息进行融合,不匹配状态下则剔除该被测目标;
C,利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别,同时结合高清摄像头的标定参数,计算被测目标位置及速度参数;通过基于卡尔曼滤波方法,对运动状态下的被测目标状态进行跟踪和滤波;再根据卡尔曼滤波的估计结果进行目标生命周期管理;利用深度学习方法,实现基于视觉图像的目标物类型识别及目标物测速及测距功能:首先利用已经训练的深度神经网络对图像连续图像帧进行目标识别,同时结合摄像头的标定参数,计算被测目标物位置及速度参数;接着基于卡尔曼滤波方法,对运动目标状态进行跟踪和滤波;最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。
2.根据权利要求1所述的符合汽车功能安全标准自动驾驶架构***,其特征在于,所述数据采集单元包括:
处理器快速存取信号端连接SSD存储器单元信号端和DDR存储器单元信号端,处理器网络信号端连接网口RJ45,处理器USB信号端连接USB接口,处理器4口PCIe信号端连接Intel信号端,处理器单口PCI信号端连接可随机存取单元DRAM,DRAM信号输入端连接单片机即时通信信号端EIM,单片机SPI信号端连接控制器MCP2517,控制器信号输出端连接CANFD信号端,单片机网络信号端连接网线接口RJ45,单片机USB信号端连接USB接口,单片机UART串行接口连接RS232信号端,单片机闪存信号端连接FLASH信号端。
3.根据权利要求1所述的符合汽车功能安全标准自动驾驶架构***,其特征在于,所述传感器单元包括:
OBD单元、V2X单元,车载摄像组件,毫米波激光雷达,GPS,探测雷达;OBD单元信号发送端连接数据采集单元OBD信号接收端,V2X单元信号发送端连接数据采集单元V2X信号接收端,车载摄像组件信号发送端连接视频组件信号接收端,视频组件信号发送端连接数据采集单元视频接收端,GPS信号发送端连接数据采集单元GPS信号接收端,毫米波激光雷达信号发送端连接数据采集单元毫米波雷达信号接收端,探测雷达信号发送端连接数据采集单元探测雷达信号接收端。
4.根据权利要求1所述的符合汽车功能安全标准自动驾驶架构***,其特征在于,所述智能交互单元包括:
数据融合单元用于,将采集的OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达的数据经过数据采集单元进行收集整理之后,进行数据的融合操作,从而实现数据的进一步处理。
5.根据权利要求1所述的符合汽车功能安全标准自动驾驶架构***,其特征在于,所述智能交互单元还包括:
深度学习单元用于将OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达数据进行神经网络学习,不断的训练和优化相应数据,从而使智能汽车工作更加稳定。
6.根据权利要求1所述的符合汽车功能安全标准自动驾驶架构***,其特征在于,所述智能交互单元还包括:
行为选择单元用于执行车辆相应组件的工作,传输到动作执行单元进行车辆的智能操控。
7.根据权利要求1所述的符合汽车功能安全标准自动驾驶架构***,其特征在于,动作执行单元包括:将智能交互单元发送的工作数据进行动作执行操作,让发动机进行良性运转,档位操作合理,运行顺畅,遭遇障碍物能够及时进行刹车制动,合理调节方向盘操作***,遭遇突发事件及时弹出气囊、并正确显示智能汽车的仪表数据。
8.一种基于权利要求1所述的符合汽车功能安全标准自动驾驶架构***的工作方法,其特征在于,包括如下步骤:
S1,收集传感器单元相应的传感数据,OBD单元、V2X单元,车载摄像组件,毫米波激光雷达,GPS,探测雷达;OBD单元信号发送端连接数据采集单元OBD信号接收端,V2X单元信号发送端连接数据采集单元V2X信号接收端,车载摄像组件信号发送端连接视频组件信号接收端,视频组件信号发送端连接数据采集单元视频接收端,GPS信号发送端连接数据采集单元GPS信号接收端,毫米波激光雷达信号发送端连接数据采集单元毫米波雷达信号接收端,探测雷达信号发送端连接数据采集单元探测雷达信号接收端;
S2,通过数据采集单元将传感数据发送到智能交互单元,处理器快速存取信号端连接SSD存储器单元信号端和DDR存储器单元信号端,处理器网络信号端连接网口RJ45,处理器USB信号端连接USB接口,处理器4口PCIe信号端连接Intel信号端,处理器单口PCI信号端连接可随机存取单元DRAM,DRAM信号输入端连接单片机即时通信信号端EIM,单片机SPI信号端连接控制器MCP2517,控制器信号输出端连接CANFD信号端,单片机网络信号端连接网线接口RJ45,单片机USB信号端连接USB接口,单片机UART串行接口连接RS232信号端,单片机闪存信号端连接FLASH信号端;
S3,智能交互单元发送到动作执行单元对智能汽车进行操作控制;
数据融合单元用于,将采集的OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达的数据经过数据采集单元进行收集整理之后,进行数据的融合操作,从而实现数据的进一步处理,深度学习单元用于将OBD单元、V2X单元、车载摄像组件、毫米波激光雷达、GPS、探测雷达数据进行神经网络学习,不断的训练和优化相应数据,从而使智能汽车工作更加稳定;路径规划单元用于集GPS数据和雷达数据、以及车载摄像数据之后,对驾驶者进行路径优化选择,规划更加合理的行驶路线;行为选择单元用于执行车辆相应组件的工作,传输到动作执行单元进行车辆的智能操控,动作执行各单元包括:将智能交互单元发送的工作数据进行动作执行操作,让发动机进行良性运转,档位操作合理,运行顺畅,遭遇障碍物能够及时进行刹车制动,合理调节方向盘操作***,遭遇突发事件及时弹出气囊、并正确显示智能汽车的仪表数据。
CN201910367428.2A 2019-05-05 2019-05-05 一种符合汽车功能安全标准自动驾驶架构***和工作方法 Active CN110083099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910367428.2A CN110083099B (zh) 2019-05-05 2019-05-05 一种符合汽车功能安全标准自动驾驶架构***和工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910367428.2A CN110083099B (zh) 2019-05-05 2019-05-05 一种符合汽车功能安全标准自动驾驶架构***和工作方法

Publications (2)

Publication Number Publication Date
CN110083099A CN110083099A (zh) 2019-08-02
CN110083099B true CN110083099B (zh) 2020-08-07

Family

ID=67418496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367428.2A Active CN110083099B (zh) 2019-05-05 2019-05-05 一种符合汽车功能安全标准自动驾驶架构***和工作方法

Country Status (1)

Country Link
CN (1) CN110083099B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110568852A (zh) * 2019-10-12 2019-12-13 深圳市布谷鸟科技有限公司 一种自动驾驶***及其控制方法
CN110962865A (zh) * 2019-12-24 2020-04-07 国汽(北京)智能网联汽车研究院有限公司 一种自动驾驶安全计算平台
CN213007637U (zh) * 2020-07-08 2021-04-20 深圳技术大学 一种纯电动汽车的边-云计算***
CN112289027A (zh) * 2020-10-27 2021-01-29 上海埃维汽车技术股份有限公司 一种符合汽车功能安全标准自动驾驶架构***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438238A (zh) * 2004-10-15 2009-05-20 伊塔斯公司 用于异常检测的方法和***
CN105190352A (zh) * 2013-01-21 2015-12-23 专利实验室有限公司 用于机动车的驾驶辅助设备
KR20180040020A (ko) * 2016-10-11 2018-04-19 주식회사 만도 운전지원장치 및 운전지원방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶***
KR20190006418A (ko) * 2017-07-10 2019-01-18 박석진 차량 후미 안전표시등
CN207473410U (zh) * 2017-11-16 2018-06-08 尹新通 一种汽车智能自动驾驶装置
CN108407808A (zh) * 2018-04-23 2018-08-17 安徽车鑫保汽车销售有限公司 一种汽车行驶智能预测***
CN108845577A (zh) * 2018-07-13 2018-11-20 武汉超控科技有限公司 一种嵌入式自动驾驶控制器及其安全监控方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438238A (zh) * 2004-10-15 2009-05-20 伊塔斯公司 用于异常检测的方法和***
CN105190352A (zh) * 2013-01-21 2015-12-23 专利实验室有限公司 用于机动车的驾驶辅助设备
KR20180040020A (ko) * 2016-10-11 2018-04-19 주식회사 만도 운전지원장치 및 운전지원방법

Also Published As

Publication number Publication date
CN110083099A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110083099B (zh) 一种符合汽车功能安全标准自动驾驶架构***和工作方法
CN111133447B (zh) 适于自主驾驶的对象检测和检测置信度的方法和***
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
JP6571545B2 (ja) 物体検出装置および物体検出方法
CN103901895B (zh) 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人
WO2018047115A1 (en) Object recognition and classification using multiple sensor modalities
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
US20220373353A1 (en) Map Updating Method and Apparatus, and Device
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN112149550A (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN103176185A (zh) 用于检测道路障碍物的方法及***
CN112771858A (zh) 自动车辆的相机评估技术
CN109840454B (zh) 目标物定位方法、装置、存储介质以及设备
CN111221342A (zh) 一种自动驾驶汽车环境感知***
CN113378741B (zh) 一种基于多源传感器的飞机牵引车辅助感知方法及其***
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
Faisal et al. Object detection and distance measurement using AI
CN114818819A (zh) 一种基于毫米波雷达与视觉信号的道路障碍物检测方法
CN114627409A (zh) 一种车辆异常变道的检测方法及装置
CN108663368A (zh) 一种实时监测高速公路路网夜间整体能见度的***及方法
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN116022657A (zh) 路径规划方法、装置和起重机
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及***
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant