CN113658441B - 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法 - Google Patents

一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法 Download PDF

Info

Publication number
CN113658441B
CN113658441B CN202110773891.4A CN202110773891A CN113658441B CN 113658441 B CN113658441 B CN 113658441B CN 202110773891 A CN202110773891 A CN 202110773891A CN 113658441 B CN113658441 B CN 113658441B
Authority
CN
China
Prior art keywords
sensing
information
module
detection
roadside
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110773891.4A
Other languages
English (en)
Other versions
CN113658441A (zh
Inventor
陈龙
罗彤
蔡英凤
王海
李祎承
刘擎超
孙晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202110773891.4A priority Critical patent/CN113658441B/zh
Publication of CN113658441A publication Critical patent/CN113658441A/zh
Application granted granted Critical
Publication of CN113658441B publication Critical patent/CN113658441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • G08G1/0955Traffic lights transportable
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20Undercarriages with or without wheels
    • F16M11/24Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • F16M11/26Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by telescoping, with or without folding
    • F16M11/28Undercarriages for supports with one single telescoping pillar
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/42Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/048Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/091Traffic information broadcasting
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法,属于智能交通领域。路侧装置由安装在可移动伸缩支架上的电源模块、感知模块、旋转设备云台、信息处理模块、通信模块、照明模块、交通信号灯模块等部分组成,可依据道路条件及感知需求灵活摆放;基于交通语义及不同工况,自适应调整感知角度,结合基于视觉传感器的YOLOv4‑5D算法及基于激光雷达的PV‑RCNN架构算法对环境信息进行感知建模。通信模块根据不同工况将路侧装置的感知结果广播给周边智能车辆及云端,使周边智能汽车获得超视距、多视角、多类别的环境感知信息。本发明解决了当前智能汽车单车感知能力孱弱,存在感知盲区且设备费用高昂、数据运算实时性差等问题。

Description

一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视 距感知方法
技术领域
本发明涉及智能交通领域,具体涉及一种面向车路协同驾驶的高灵活性路侧端基础设施。
背景技术
要让自动驾驶汽车安全的行驶在道路上,需由环境感知、规划决策、控制执行等功能模块的协同工作。其中,环境感知质量高低与否是汽车能否进行正确规划决策及控制执行的重要前提。
要实现自动驾驶汽车的单车环境感知,需要配备多种类、多数量的传感器,大大提升了感知难度与感知成本。基于自动驾驶车辆与路侧感知设备的车路协同感知,既可以有效减少单车感知成本,又可以解决单车感知能力孱弱、车辆无法完成超视距感知及存在死角等问题,从而提升车辆整体感知能力。
中国实用新型专利(CN207852108U)授权了“一种车路协同***及其车路协同路侧感知设备”,该方案设计了一种车路协同的路侧端感知设备,但该感知设备视角固定,无法根据路侧端实际感知需求及云端控制进行感知角度的调整。中国专利(CN110874945A)公开了“基于车路协同的路侧感知***及其车辆控制方法”该方法采用传感器识别再广播的方案识别交通灯信息,而本路侧端设施自身可放置交通信号灯并实现交通信息广播,无需检测环节,既增加了识别精度,又提升了感知效率。
发明内容
本发明旨在解决自动驾驶汽车感知能力孱弱的问题。为此,本发明提出一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法,根据道路交通感知需求布置本路侧装置,并获取感知场景内的交通环境信息,基于路侧装置将处理后的环境信息广播给周边车辆及云端,从而帮助周边车辆依据交通环境信息实现自动驾驶,有效提升单车感知能力,降低车辆感知***成本。
为实现上述目的,本发明提出一种面向自动驾驶的高灵活性可变视角路侧感知装置,包括:
可移动伸缩支架、以及安装于支架上的电源***、感知模块、可旋转设备云台、信息处理模块、通信模块、照明模块、交通信号灯模块等;
其中,所述电源***与所述感知模块、信息处理模块、通信模块、照明模块、交通信号灯模块等用电设备均为电连接,提供电力能源;
所述感知模块及交通信号灯模块输出端与信息处理模块端相连接,感知模块中各传感器对路侧单元环境进行实时感知采集,并将感知结果发送给信息处理模块,交通信号灯模块将交通信号灯颜色、时间信息发送给信息处理模块;
所述可旋转设备云台与信息处理模块及通信模块相连,可基于交通语义信息的实时感知需求,如大场景全域感知、局部区域重点感知、行人车辆实时跟踪等720°调整角度,使路侧感知装置具备自适应感知能力;
所述信息处理模块输出端与所述通信模块输入端相连接,信息处理模块将获取的各类数据信息进行整合,分析传感器感知信息,判断路侧端感知需求,并将处理后的结果信息发送给通信模块;
所述通信模块将获取的路侧端感知信息通过LTE、5G等方式对周边车辆进行广播,并上传云端处理器;
优选地,所述可移动伸缩支架包括可移动底部支座,该支座装配带有锁止功能的万向移动滚轮,支架纵向高度可伸缩旋转调节并固定,支架横向可以拆卸并调节角度;
优选地,可旋转设备云台横向安装于支架,可以依据指令或需求实现上、下、左、右四个维度的旋转,从而使架设在云台上的感知设备实现720°全向感知;
优选地,电源***采用插电式供电***以及蓄电池两种方式为路侧单元提供能源,并可使用市电或太阳能电池板为电源***提供电力保障;
优选地,感知模块包括激光雷达、视觉传感器、毫米波雷达、超声波雷达、红外线探测仪、气象传感器、光照传感器中的至少一个;
优选地,信息处理模块选取嵌入式处理器或可外接边缘计算设备;
优选地,通信模块基于无线通信,实现V2X(Vehicle to Everything)通信;优选地,交通信号灯模块配备有红黄绿三种颜色效果及圆灯、箭头灯两种显示效果;
基于车路协同驾驶,设计了两种自动驾驶汽车超视距感知方法:
当自动驾驶汽车未进入路侧感知装置检测范围时,路侧感知装置基于自身高精度经纬度坐标,将视觉、雷达等传感器检测到的目标相对于自身位置信息进行坐标转换,便可获得该目标在世界坐标系下的经纬度坐标。将目标的种类、经纬度坐标、尺寸、航向角等信息通过通讯模块广播给周边车辆及云端,从而使周边车辆基于车路协同驾驶获取超视距经纬度感知信息,从而实现超视距感知。
当自动驾驶汽车被路侧感知装置检测到后,路侧感知装置即可实时获取该自动驾驶汽车相对其的位置坐标。与此同时,路侧感知装置检测范围内所有被检测目标与路侧装置的相对坐标也可获得。因此,通过坐标转换,便可将路侧装置所检测各目标位置信息转换为以自动驾驶汽车为坐标原点的相对坐标信息。将目标以自动驾驶车辆为原点的相对坐标、种类、尺寸、航向角等信息通过通讯模块广播给周边车辆及云端,从而使周边车辆基于路车协同驾驶获取超视距自车坐标感知信息,从而实现超视距感知。
本发明的有益效果:
1.本发明提供了一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法,由安装在可移动伸缩支架上的电源***、感知模块、旋转设备云台、信息处理模块、通信模块、照明模块、交通信号灯模块等部分组成;可根据道路条件灵活摆放设备位置,调整设备高度;基于交通语义依据实际感知需求,自适应调整感知角度以对环境状态信息进行建模,并将感知信息广播给周边自动驾驶车辆及云端,从而为自动驾驶汽车获得超视距、多视角、多种类的环境感知信息成为可能,以解决当前无人驾驶车辆感知范围有限,单车感知能力孱弱且设备费用高昂的问题。
2.应用本发明的高灵活性路侧装置基于车路协同感知的超视距感知方法,针对不同工况,可有效解决当前智能汽车单车感知信息缺乏、感知视角固定、超视距感知困难、数据运算处理慢、安全性差等问题。
附图说明
图1为本可变视角路侧端感知装置安装有基础模块的结构示意图。
图2为本可变视角路侧端感知装置安装有选装模块的结构示意图。
图中,1-可移动底部支座,2-可伸缩支架,3-电源***,4-感知模块,5-信息处理模块,6-通信模块,7-环境感知模块,8-气象感知模块,9-照明模块,10-交通信号灯模块,11-太阳能供电模块,12-GPS定位模块。
图3为本可变视角路侧端感知装置基于车路协同的超视距感知方法流程图。
图4是YOLOV4-5D检测算法网络结构图。
图5是PV-RCNN框架结构图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明提出了一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法,包括电源模块、感知模块、可调节支架、可旋转设备云台、路侧处理模块、路侧通信模块;其中电源模块包括市电或蓄电池供电设备、太阳能电池板,为路侧装置供电;感知模块包含各类感知传感器,用于采集设备周边各种环境信息;路侧处理模块,用于对采集的信息进行边缘计算;路侧通信模块,用于将采集及处理后的信息广播给云端及目标车辆;所有模块均安装于可调节支架上。本路侧装置可灵活布置并基于获取的交通语义信息自适应旋转调节传感器感知视角进行感知,针对不同工况将感知信息及结果以不同方式与周边车辆及云端交互从而实现基于车路协同感知的自动驾驶,在显著提升单车超视距感知能力的同时显著降低了车载感知***的配置成本,从而有效降低了搭建智能交通***的成本。
下面将结合本发明中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实例仅为本发明的一部分示例,并非完整实施例。基于本发明的其他实施例均属于本发明的保护范围。
本发明提供了一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法,应用该路侧感知设备及方法能够帮助解决当前智能汽车单车感知信息缺乏、超视距感知困难、感知视角固定、数据运算处理慢、安全性差等问题。
上述面向自动驾驶的高灵活性可变视角路侧装置,依据实际感知需求可放置于道路两侧、交叉路口、封闭车库以及车载感知***存在感知困难的位置,为智能车辆提供其不易检测、感知存在障碍的交通环境信息,其中交通环境信息包括可行驶道路信息、路况信息、障碍物信息、能见度信息、天气信息、空气质量信息、预警信息等智能驾驶汽车所需要的信息。
本发明的路侧设施包括基础模块及选装模块,安装有基础模块的路侧端设施结构请参考图1,安装有选装模块的路侧端设施结构请参考图2,本路侧端感知装置基于路车协同的超视距感知方法流程图请参考图3。
如图1所示为一种面向自动驾驶的高灵活性可变视角路侧感知装置基础模块,包括但不限于:
1.可移动底部支座:
路侧单元的硬件设备均安装于底部支座上,底部支座下方可装配带有锁止功能的万向移动滚轮,用于支撑路侧设备灵活移动或固定放置。
2.可伸缩支架:
针对不同道路条件及感知视角,对支架采用分段式结构设计,其中纵向支架高度可伸缩旋转调节并固定,可手动或电动调节高度为1m~12m,各硬件设施依据实际情况安装于可伸缩支架的不同部位。
3.电源***:
采用插电式供电***或蓄电池两种方式为路侧单元提供能源,当路侧单元在无市电可用状态下使用蓄电池对***进行供电,当路侧单元在接入市电的状态下优先使用市电为设备供电,并同时为蓄电池充电。蓄电池包括铅酸电池或锂电池等电池。电源***为路侧单元中所有用电设备提供电力保障。
4.感知模块:
以激光雷达融合视觉传感器的感知方案为例,激光雷达与视觉传感器采取上下紧凑排列或左右紧凑排列的方式安装。其中激光雷达可选用机械旋转式激光雷达或固态激光雷达。感知设备顶部安装有人字或斜坡型雨雪遮挡板,用于防止感知设备被灰尘或雨雪遮挡视角。
4-1.可旋转设备云台
采用手动或电动控制旋转云台,可实现720°全向旋转,设备安装于可伸缩支架的中部或顶部,路侧端设备感知模块安装或悬挂于云台之上,实现于对周围环境在不同工况下的可变视角全向感知。
4-2.路侧传感器可变视角感知
当感知模块识别到目标时,可依据当前时刻感知、跟踪需求或云端指令旋转调节云台,感知传感器锁定目标并跟随目标运动方向移动从而实现对目标的变视角跟踪。
当路侧单元收到云端指令进行环境监测时,可依据指令旋转调节云台,对比固定视角感知,可变视角感知大幅提升单套感知传感器感知范围,实现对感知区域180°~360°的全向感知。
5.信息处理模块:
感知模块将获取的信息通过有线或无线传输方式输入信息处理模块,信息处理模块对路侧端设备包括但不限于传感器感知信息融合、目标检测、交通信号灯信息的各类数据进行处理计算,并将处理结果反馈或发送给通信模块。
其中,基于视觉的二维目标检测选用YOLOv4-5D算法,本检测算法基于YOLOv4的单阶段目标检测框架设计了新的特征融合模块PAN++并采用5尺度检测层来提高小目标的检测精度。与YOLOv4相比,YOLOv4-5D在BDD100K数据集上的平均精度提高了4.23%,在KITT数据集上提高了1.68%。并且,该算法的实时检测速度超过了66帧/秒(fps),比之前类似fps的方法具有更高的准确率。说明本算法面对自动驾驶道路场景可进行有效的目标多尺度实时检测。YOLOv4-5D的网络结构如图4所示,
与YOLOv4的网络结构相比较,为适应新增检测层导致所需的特征图的尺度变化,本算法对特征融合网络PAN进行重新设计,在原先三个浅层特征融合模块的基础上新增了两个特征融合模块。用于检测层的最大尺度特征图改为304×304,为小目标的检测提供重要特征。YOLOv4-5D网络结构在完成特征融合之后网络输出五个尺度的检测图,较YOLOv4,增加了152×152,304×304两个大尺度的用于检测小目标的检测图。其中尺度为304×304×36的检测图是通过PAN中的第五个特征融合模块输出的304×304×64的特征图经过交替使用3×3、1×1的卷积操作映射到304×304×64维的特征图上,然后通过一个卷积核尺寸为1×1卷积层得到的。剩余四个不同尺度的检测图均由类似上述步骤得到。改进后的网络较YOLOv4,在远景小目标的检测上考虑更加充分,同时又没有影响大目标的检测。YOLOv4-5D算法可准确识别并分类画面中的行人、交通标志、车辆种类等目标信息。
基于激光雷达的三维目标检测选用结合了Voxel-based方法与Point-based方法优点的基于PV-RCNN框架的点云检测算法,本发明设计的该算法为目前最先进的点云检测算法,其使用4层3D稀疏卷积层作为编码器来快速的生成3D检测框,同时为了补充由于Voxel操作带来的原始点云信息损失,设计了如式(1)的VSA(Voxel Set AbstractionModule)模块,将不同尺度范围的原始点云信息与3D稀疏卷积所提取的特征进行结合,生成关键点集合,实现了点云的多维度特征Si提取。
Figure BDA0003153503480000061
PV-RCNN其框架结构如图5所示。本算法可准确识别点云中行人、小轿车、大巴车、卡车等交通参与者的类别信息,并同时输出其三维位置及航向角信息。
6.通信模块:
基于网络通信,将经过信息处理模块处理的运算结果信息发送至车载模块、路侧设施或云端处理器,与此同时通信模块还可接收各方的反馈信息并发送给信息处理模块,依据云端指令,反馈控制可旋转设备云台位姿,其中通信网络包括但不限于4G网络、5G网络、LTE、蓝牙等无线传输方式。
如图2所示为安装有选装模块的面向自动驾驶的高灵活性可变视角路侧感知装置,除已具备的基础模块设施,还包括但不限于:
7.环境感知模块:
除激光雷达及视觉传感器外,路侧设施安装的感知设备还包括但不限于:毫米波雷达、超声波雷达、红外线探测仪等环境感知设备,根据传感器种类、数量及排列方式,一个设备云台可全向安装多种感知设备,单个路侧设感知装置可安装多套设备云台。
8.气象感知模块:
路侧端装置配备有各类气象传感器、光照传感器等,使其能够感知当前环境温度、湿度、亮度、能见度、PM2.5、风速、风向、噪声、雨量等信息,感知结果接入信息处理模块,由通信模块向车辆及云端发送气象信息。
9.照明模块:
路侧设备顶部或中部配备有照明模块,在黑夜及弱光环境下适时开启照明,对感知区域进行光线补偿,提升传感器感知性能。
10.交通信号灯模块:
路侧设备支架可配备有交通红绿信号灯,并将信号灯与信息处理模块连接,通过通信模块,使路侧端装置实现同步广播红绿灯显示、时间信息,接收云端、车端实时信息,控制信号灯显示。
11.太阳能供电模块:
在路侧设备顶部或中部安装有太阳能电池板,可在阳光充足时为电源***中的蓄电池进行充电。
12.GPS定位模块:
路侧设施配备有GPS模块,获取高精度经纬度坐标,以路侧设施坐标为参照点对检测车辆进行定位并广播,便于其他车辆更准确的获取道路中的车辆信息。以上所述模块中,电源***与感知模块、信息处理模块、通信模块、照明模块、交通信号灯模块等用电设备均为电连接,并为整套感知装置提供电力能源;
所述环境感知模块、气象感知模块及交通信号灯模块输出端与信息处理模块输入端相连接,感知模块中各传感器对路侧模块环境进行感知,并将感知结果发送给信息处理模块,交通信号灯模块将交通信号灯信息发送给信息处理模块;
所述信息处理模块输出端与所述通信模块输入端相连接,信息处理模块将获取的各类数据信息进行分析整合,并将处理后的结果信息发送给通信模块;
所述通信模块将获取的路侧端感知信息通过5G等无线方式对周边车辆进行广播或上传云端处理器;
所述可旋转设备云台输入端与信息处理模块输出端相联接,并可依据信息处理模块指令执行云台位姿调整,从而使路侧模块可以自适应调整架设在云台上端感知设备的感知角度;
所述信息处理模块对所获感知模块感知信息进行处理,基于当前时刻感知视角及感知内容,针对交通场景感知需求判断最优感知视角,并将角度调整位姿发送给可旋转云台,从而调整架设在云台上端感知设备的感知角度,实现路侧单元可变视角环境感知;
所述可旋转设备云台输入端与通信模块联接,并可依据通信模块所获云端指令执行云台位姿调整,从而调整架设在云台上端感知设备的感知角度;
基于上述感知设备,本发明实施例的超视距感知方法包括如下步骤:
S1:根据路况条件、感知需求,灵活布置、安装、并定位本可变视角路侧感知装置。
S2:基于道路硬件情况(如宽度、坡度、路口形状)及交通语义信息灵活调整设备云台,使所需感知区域覆盖于传感器感知范围中。
S3:各类感知、气象传感器各自进行环境感知,并将原始数据发送给信息处理模块。
S4:边缘计算平台(信息处理模块)将视觉传感器数据即视频画面基于YOLOv4-5D算法对视频中的每一帧图像进行多目标、多类别的二维检测并分类,并输出每一帧图像中的各个目标位置及其分类信息。
S5:边缘计算平台(信息处理模块)将激光雷达传感器数据及点云信息基于PV-RCNN框架的检测算法对各帧点云进行多目标、类别的三维目标检测并分类,输出点云中的各个目标的分类、位置、航向角等信息。
S6:路侧感知装置基于多传感器检测结果,获取周边目标的种类、尺寸、位置等信息。其中位置信息包括基于世界坐标系下的经纬度信息以及以路侧感知装置为坐标原点的相对位置信息。
S7:当路侧设施周边自动驾驶汽车未进入其检测范围时,执行S8;当路侧设施周边自动驾驶汽车进入其检测范围时,执行S9。
S8:路侧装置基于自身高精度经纬度坐标,将步骤S4、S5检测到的目标相对于自身位置信息进行坐标转换,可获得各目标在世界坐标系下的经纬度坐标。将目标的种类、经纬度坐标、尺寸、航向角等信息通过通讯模块广播给周边车辆及云端,从而该自动驾驶车辆基于路车协同驾驶获取超视距目标经纬度感知信息,实现超视距感知。
S9:路侧装置实时获取自动驾驶汽车相对其位置坐标。与此同时,路侧装置检测范围内其他所有被检测目标与路侧装置的相对坐标也可获得。通过坐标转换,可将路侧装置所检测各目标以路侧装置为坐标原点的位置信息转换为以自动驾驶汽车为坐标原点的相对坐标信息。将目标以自动驾驶车辆为原点的相对坐标、种类、尺寸、航向角等信息通过通讯模块广播给周边车辆及云端,从而使该自动驾驶车辆基于路车协同驾驶获取超视距自车坐标感知信息,从而实现超视距感知。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (2)

1.面向自动驾驶的高灵活性可变视角路侧感知装置的自动驾驶汽车超视距感知方法,所述面向自动驾驶的高灵活性可变视角路侧感知装置包括:可移动伸缩支架、以及安装于支架上的电源***、感知模块、可旋转设备云台、信息处理单元、通信模块、照明模块、交通信号灯模块;
所述电源***与所述感知模块、信息处理模块、通信模块、照明模块、交通信号灯模块均为电连接,提供电力能源;
所述感知模块及交通信号灯模块输出端与信息处理模块相连接,感知模块中各传感器对路侧模块环境进行实时感知采集,并将感知结果发送给信息处理模块,交通信号灯模块将交通信号灯颜色、时间信息发送给信息处理模块;
所述可旋转设备云台与信息处理模块及通信模块相连,可基于交通语义信息的实时感知需求,720°调整角度,使路侧感知装置具备自适应感知能力;
所述信息处理模块输出端与所述通信模块输入端相连接,信息处理模块将获取的各类数据信息进行整合,包括传感器感知信息融合、目标检测、交通信号灯信息的各类数据进行处理,并将处理后的结果信息发送给通信模块;
所述信息处理模块实现的目标检测包括基于视觉的二维目标检测和基于激光雷达的三维目标检测;
所述基于视觉的二维目标检测选用YOLOv4-5D网络模型算法,该算法基于YOLOv4的单阶段目标检测框架设计了新的特征融合模块PAN++,并采用5尺度检测层来提高小目标的检测精度;
所述YOLOv4-5D网络模型结构具体如下:
与YOLOv4的网络结构相比较,为适应新增检测层导致所需的特征图的尺度变化,对特征融合网络PAN进行重新设计,在原先三个浅层特征融合模块的基础上新增了两个特征融合模块,用于检测层的最大尺度特征图为304×304,YOLOv4-5D网络结构在完成特征融合之后网络输出五个尺度的检测图,增加152×152、304×304两个大尺度的用于检测小目标的检测图;其中尺度为304×304×36的检测图是通过PAN中的第五个特征融合模块输出的304×304×64的特征图经过交替使用3×3、1×1的卷积操作映射到304×304×64维的特征图上,然后通过一个卷积核尺寸为1×1卷积层得到的,剩余四个不同尺度的检测图均由上述步骤得到;
基于激光雷达的三维目标检测采用基于PV-RCNN框架的点云检测算法,该算法使用4层3D稀疏卷积层作为编码器来快速的生成3D检测框,同时为了补充由于Voxel操作带来的原始点云信息损失,设计了如式(1)的VSA(Voxel Set Abstraction Module)模块,将不同尺度范围的原始点云信息与3D稀疏卷积所提取的特征进行结合,生成关键点集合,实现了点云的多维度特征Si提取;
Figure FDA0003804107490000021
所述PV-RCNN模型算法可基于点云准确识别点云中行人、小轿车、大巴车、卡车交通参与者的类别信息,并同时输出其三维位置及航向角信息;
所述通信模块将获取的路侧端感知信息对周边车辆进行广播,并上传云端处理器;
所述可移动伸缩支架包括可移动底部支座,该支座装配带有锁止功能的万向移动滚轮,支架纵向高度可伸缩旋转调节并固定,支架横向可以拆卸并调节角度;
所述可旋转设备云台横向安装于支架,能够实现上、下、左、右四个维度的旋转,使架设在云台上的感知设备实现720°全向感知;
所述电源***采用插电式供电***以及蓄电池两种方式为路侧单元提供能源,并可使用市电或太阳能电池板为电源***提供电力保障;
所述感知模块包括激光雷达、视觉传感器、毫米波雷达、超声波雷达、红外线探测仪、气象传感器、光照传感器中的至少一个;
所述信息处理模块选取嵌入式处理器或可外接边缘计算设备;
所述通信模块基于无线通信,选用V2X通信模块;
所述交通信号灯模块配备有红黄绿三种颜色效果及圆灯、箭头灯两种显示效果,
其特征在于,包括如下步骤:
S1:根据路况条件、感知需求,灵活布置、安装、并定位可变视角路侧感知装置;
S2:基于道路硬件情况及交通语义信息灵活调整设备云台,使所需感知区域覆盖于传感器感知范围中;
S3:各类感知和气象传感器各自进行环境感知,并将原始数据发送给信息处理模块;
S4:信息处理模块将视觉传感器数据基于YOLOv4-5D算法进行二维目标检测;基于YOLOv4-5D算法进行二维目标检测的方法具体如下:
信息处理模块将视觉传感器数据即视频画面基于YOLOv4-5D算法对视频中的每一帧图像进行多目标和多类别的二维目标检测并分类,并输出每一帧图像中的各个目标位置及其分类信息;
S5:信息处理模块将激光雷达传感器数据基于PV-RCNN框架的检测算法进行三维目标检测;
S6:路侧感知装置基于多传感器检测结果,获取周边目标的种类、尺寸和位置信息,其中位置信息包括基于世界坐标系下的经纬度信息以及以路侧感知装置为坐标原点的相对位置信息;
S7:当路侧感知装置的周边自动驾驶汽车未进入其检测范围时,执行S8;当其周边的自动驾驶汽车进入其检测范围时,执行S9;
S8:路侧感知装置基于自身高精度经纬度坐标,将S4和S5检测到的目标相对于自身位置信息进行坐标转换,可获得各目标在世界坐标系下的经纬度坐标,将目标的种类、经纬度坐标、尺寸和航向角信息通过通信模块广播给周边车辆及云端,使得该自动驾驶车辆基于路车协同驾驶获取超视距目标经纬度感知信息,实现超视距感知;
S9:路侧感知装置实时获取自动驾驶汽车相对其位置坐标,与此同时,获取路侧感知装置检测范围内其他所有被检测目标与路侧感知装置的相对坐标,通过坐标转换,可将路侧感知装置所检测各目标以路侧感知装置为坐标原点的位置信息转换为以自动驾驶汽车为坐标原点的相对坐标信息,将目标以自动驾驶车辆为原点的相对坐标、种类、尺寸和航向角信息通过通信模块广播给周边车辆及云端,使该自动驾驶车辆基于路车协同驾驶获取超视距自车坐标感知信息,实现超视距感知。
2.根据权利要求1所述的自动驾驶汽车超视距感知方法,其特征在于,所述S5中基于PV-RCNN框架的检测算法进行三维目标检测的方法具体如下:
信息处理模块将激光雷达传感器数据及点云信息基于PV-RCNN框架的检测算法对各帧点云进行多目标、类别的三维目标检测并分类,输出点云中的各个目标的分类、位置、航向角信息。
CN202110773891.4A 2021-07-08 2021-07-08 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法 Active CN113658441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110773891.4A CN113658441B (zh) 2021-07-08 2021-07-08 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110773891.4A CN113658441B (zh) 2021-07-08 2021-07-08 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法

Publications (2)

Publication Number Publication Date
CN113658441A CN113658441A (zh) 2021-11-16
CN113658441B true CN113658441B (zh) 2022-11-18

Family

ID=78477210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110773891.4A Active CN113658441B (zh) 2021-07-08 2021-07-08 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法

Country Status (1)

Country Link
CN (1) CN113658441B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113884099B (zh) * 2021-12-07 2022-04-12 智道网联科技(北京)有限公司 一种路端移动物***置测量方法及装置
CN114485658A (zh) * 2021-12-08 2022-05-13 上海智能网联汽车技术中心有限公司 一种面向路侧感知***精度评估的装置及方法
CN114415206B (zh) * 2021-12-21 2024-06-07 广西汽车集团有限公司 一种智能驾驶车辆感知边界的测试设备及测试方法
CN114399917A (zh) * 2022-01-25 2022-04-26 北京理工大学 一种交通信号灯识别方法及车路协同路端设备
CN114489075A (zh) * 2022-01-26 2022-05-13 苏州挚途科技有限公司 无人通关车辆控制的方法、装置及电子设备
CN114814752A (zh) * 2022-04-26 2022-07-29 云控智行科技有限公司 一种路侧感知***的测试装置
CN117412266A (zh) * 2022-07-06 2024-01-16 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机设备以及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340197A (zh) * 2016-08-31 2017-01-18 北京万集科技股份有限公司 一种车路协同辅助驾驶***及方法
CN108510775A (zh) * 2018-03-12 2018-09-07 北京图森未来科技有限公司 一种车路协同***及其车路协同路侧感知设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019217545A1 (en) * 2018-05-09 2019-11-14 Cavh Llc Systems and methods for driving intelligence allocation between vehicles and highways
CN108833833B (zh) * 2018-06-20 2021-02-02 长安大学 面向智能网联汽车场景图像数据感知与协同处理***
CN109375635A (zh) * 2018-12-20 2019-02-22 安徽江淮汽车集团股份有限公司 一种自动驾驶汽车道路环境感知***及方法
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340197A (zh) * 2016-08-31 2017-01-18 北京万集科技股份有限公司 一种车路协同辅助驾驶***及方法
CN108510775A (zh) * 2018-03-12 2018-09-07 北京图森未来科技有限公司 一种车路协同***及其车路协同路侧感知设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PV-RCNN:Point-Voxel Feature Set Abstraction for 3D Object Detection;Shaoshuai Shi 等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;第10526-10535页 *
YOLOv4-5D: An Effective and Efficient Object Detector for Autonomous Driving;Yingfeng Cai 等;《IEEE Transactions on Instrumentation and Measurement》;20210310;第1-13页 *

Also Published As

Publication number Publication date
CN113658441A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113658441B (zh) 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法
CN110009765B (zh) 一种自动驾驶车辆场景数据***的场景格式转化方法
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN110537109B (zh) 用于自主驾驶的感测组件
CN108256413B (zh) 可通行区域检测方法及装置、存储介质、电子设备
US9778662B2 (en) Camera configuration on movable objects
CN103386975B (zh) 一种基于机器视觉的车辆避障方法及***
CN103413313B (zh) 基于电力机器人的双目视觉导航***及方法
KR101534056B1 (ko) 교통 신호 맵핑 및 검출
US7689347B2 (en) Traffic signal light control system and method
CN117441113A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN106412502B (zh) 基于人脸识别的视频监控智能化天网***及其工作方法
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶***及方法
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN115797873B (zh) 一种人群密度检测方法、***、设备、存储介质及机器人
CN208938350U (zh) 一种自适应巡航模式下的车载hmi显示***
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
CN115273028A (zh) 一种基于全域感知的智慧停车场语义地图构建方法及***
CN114445733A (zh) 一种基于机器视觉、雷达和WiFi的夜间道路信息感知***及信息融合方法
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
CN115871660B (zh) 双模态特征融合的无人驾驶压路机避障方法及***
CN111812659A (zh) 一种基于图像识别和激光测距的铁塔姿态预警装置及方法
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN204297108U (zh) 直升机避障***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant