CN112861748B - 一种自动驾驶中的红绿灯检测***及方法 - Google Patents

一种自动驾驶中的红绿灯检测***及方法 Download PDF

Info

Publication number
CN112861748B
CN112861748B CN202110199699.9A CN202110199699A CN112861748B CN 112861748 B CN112861748 B CN 112861748B CN 202110199699 A CN202110199699 A CN 202110199699A CN 112861748 B CN112861748 B CN 112861748B
Authority
CN
China
Prior art keywords
camera
traffic light
coordinate system
map
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110199699.9A
Other languages
English (en)
Other versions
CN112861748A (zh
Inventor
苏畅
周路翔
王洪尧
张旸
陈诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AutoCore Intelligence Technology Nanjing Co Ltd
Original Assignee
AutoCore Intelligence Technology Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AutoCore Intelligence Technology Nanjing Co Ltd filed Critical AutoCore Intelligence Technology Nanjing Co Ltd
Priority to CN202110199699.9A priority Critical patent/CN112861748B/zh
Publication of CN112861748A publication Critical patent/CN112861748A/zh
Application granted granted Critical
Publication of CN112861748B publication Critical patent/CN112861748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种自动驾驶中的红绿灯检测***及方法，包括获取预检测目标在地图坐标系下的坐标；标定相机的相机坐标系相对车身坐标系的关系；实时获取车身姿态信息，并计算出相机的当前姿态信息；确定红绿灯的位置；将裁剪后的只包含红绿灯的图片发送后进行颜色分类，获取出红绿灯的颜色；将红绿灯的id和类别信息编码发送进行车辆行驶轨迹的规划，本发明结合定位信息及地图信息，通过训练针对红绿灯的目标检测模型和分类模型，达到识别红绿灯颜色及剩余秒数的目的，并对模型使用推理引擎加速以达到在嵌入式设备上实时处理的目的，较好的解决了传统红绿灯检测方法鲁棒性差的问题。

Description

一种自动驾驶中的红绿灯检测***及方法
技术领域
本发明涉及一种自动驾驶中的红绿灯检测***及方法，属于智能辅助驾驶技术领域。
背景技术
在行车过程中自动检测出前方的红绿灯的位置和状态是高级辅助驾驶和无人驾驶中一种重要的技术。通常情况下由于复杂的交通场景，剧烈变化的光照，以及相机的分辨率，使得红绿灯的检测变得比较困难。
目前，传统的对于红绿灯的检测方法通过阈值分割，形态学变换等操作对图像进行处理，得到图片中感兴趣的物体区域，然后通过特定的先验知识，如区域连通性，长宽比，形状，相对位置等，处理这些区域，层层筛选，最后得到的就是红绿灯所在的区域，而后通过设定颜色阈值或利用特殊的颜色空间判断出红绿灯的颜色，这种方法的鲁棒性较差，需要调节的参数很多。故此，寻求一种全新的红绿灯检测方式具有重要意义。
发明内容
本发明要解决的技术问题是：提供一种全新的红绿灯检测方式，解决传统自动驾驶中对红绿灯的检测方法存在的鲁棒性较差的问题。
为了解决上述技术问题，本发明提出的技术方案是：一种自动驾驶中的红绿灯检测***，包括地图加载模块，用于通过建立地图坐标系描述空间内预检测目标的3d位置信息；感知模块，包括相机和激光雷达，与所述地图加载模块连接，通过相机及激光雷达的外参将所述预检测目标在地图坐标系下的坐标对应转化成相机下的相机坐标系坐标，并通过相机的内参将相机坐标系坐标对应转化成图像坐标系坐标；定位模块，与所述地图加载模块与所述感知模块连接，用于实时获取车身姿态信息和标定相机坐标系相对于车身坐标系的关系，并依据标定出的相机坐标系相对于车身坐标系的关系计算出相机当前的姿态信息；ROI区域检测模块，与所述地图加载模块、所述感知模块及所述定位模块连接，用于接收相机的内外参信息、激光雷达在地图坐标系下的位姿信息、相机拍摄的图像信息及所述地图加载模块中的矢量地图信息，获取地图坐标系下的红绿灯的3d位置信息后依据接受的相机内外参信息及激光雷达在地图坐标系下的位姿信息将红绿灯的3d位置信息转化成图像坐标系下的2d坐标信息，根据相机当前转化后表达为2d坐标的姿态信息计算出相机到红绿灯的距离，通过预先设置的第一阈值筛出符合要求的红绿灯，并通过计算红绿灯的yaw角度和相机的yaw角度之间的差值，并通过预先设置的第二阈值对红绿灯进行再次筛选，将红绿灯在图像中的位置提取出来；裁剪模块，与所述ROI区域检测模块及所述地图加载模块连接，裁剪出只包含红绿灯的图片；发送模块，与所述裁剪模块连接，用于将裁剪后的只包含红绿灯的图片发送至信号灯颜色判别模块；信号灯颜色判别模块，用于接收红绿灯的图片，输入至预训练好的mobilenetv2分类模型中进行颜色的分类；规划模块,与所述信号灯颜色判别模块连接，接收红绿灯的id和类别信息，编码后用于车辆行驶轨迹的规划。
作为本发明所述的自动驾驶中的红绿灯检测***的一种优选方案，其中：还包括目标检测模块，与所述ROI区域检测模块连接，用于利用预训练的目标检测模型yolov3精确红绿灯在图像中的位置。
为了解决上述技术问题，本发明还提出的技术方案是：一种自动驾驶中的红绿灯检测方法，包括以下步骤：地图加载模块加载地图信息，并利用矢量地图标记空间内预检测目标的3d位置信息，获取所述预检测目标在地图坐标系下的坐标；标定感知模块中相机的相机坐标系相对车身坐标系的关系；通过定位模块实时获取车身姿态信息，并依据标定出的相机坐标系与车身坐标系的关系计算出相机的当前姿态信息；ROI区域检测模块接收相机的内外参信息、激光雷达在地图坐标系下的位姿信息、相机拍摄的图像信息及矢量地图信息，获取地图坐标系下的红绿灯的3d位置信息，依据接受的相机内外参信息及激光雷达在地图坐标系下的位姿信息将红绿灯的3d位置信息转化成图像坐标系下的2d坐标信息，根据相机当前转化后表达为2d坐标的姿态信息计算出相机到红绿灯的距离，判定并排除掉非当前路口的红绿灯，并计算红绿灯的yaw角度和相机的yaw角度之间的差值，判定并排除掉横向车道和对向车道的灯后确定红绿灯的位置；发送模块将裁剪模块裁剪后的只包含红绿灯的图片发送至信号灯颜色判别模块通过预训练好的mobilenetv2分类模型进行颜色分类，获取出红绿灯的颜色；将红绿灯的id和类别信息编码发送至规划模块进行车辆行驶轨迹的规划。
作为本发明所述的自动驾驶中的红绿灯检测方法的一种优选方案，其中：实时获取的车身姿态信息包括车辆当前在地图坐标系下的位置及朝向信息。
作为本发明所述的自动驾驶中的红绿灯检测方法的一种优选方案，其中：判定并排除掉非当前路口的红绿灯包括以下步骤：预先设定一个阈值；对比获取的相机到红绿灯的距离与所述第一阈值的大小，当相机到红绿灯的距离小于所述阈值时，保留该红绿灯，否则排除该红绿灯。
作为本发明所述的自动驾驶中的红绿灯检测方法的一种优选方案，其中：所述阈值为100米。
作为本发明所述的自动驾驶中的红绿灯检测方法的一种优选方案，其中：判定并排除掉横向车道和对向车道的灯包括以下步骤：预先设定一个第二阈值；对比计算得出的红绿灯的yaw角度和相机的yaw角度之间的差值，当红绿灯的yaw角度和相机的yaw角度之间的差值小于所述第二阈值时，保留该红绿灯，否则排除该红绿灯。
作为本发明所述的自动驾驶中的红绿灯检测方法的一种优选方案，其中：所述ROI区域检测模块在提取红绿灯位置时，扩大ROI的范围，再通过预训练的目标检测模型yolov3进行检测。
本发明所起到的技术效果是：本发明提出的红绿灯检测方法结合定位信息及地图信息，通过训练针对红绿灯的目标检测模型和分类模型，达到识别红绿灯颜色及剩余秒数的目的，并对模型使用推理引擎加速以达到在嵌入式设备上实时处理的目的，较好的解决了传统红绿灯检测方法鲁棒性差的问题。
附图说明
下面结合附图对本发明作进一步说明。
图1是本发明提供的检测方法的流程图；
图2是本发明提供的检测***的模块图；
图3是本发明提供的检测***的整体框架图；
图4和图5分别是场景检测原图及对应的采用本发明的检测效果图；
图6和图7分别是第二场景检测原图及对应的采用本发明的第二检测效果图；
图8和图9分别是第三场景检测原图及对应的采用本发明的第三检测效果图。
具体实施方式
实施例
考虑到传统对于红绿灯的检测方法鲁棒性较差，需要调节的参数很多。
故此，请参阅图1和图3～9，本发明提供一种自动驾驶中的红绿灯检测方法，包括以下步骤：
S1:地图加载模块100加载地图信息，并利用矢量地图标记空间内预检测目标的3d位置信息，获取预检测目标在地图坐标系下的坐标；
需要说明的是，地图中已经人为标记好了预检测目标的3d信息(预检测目标是指地图中标记出的行人、标志物、建筑物、马路线、红绿灯等众多目标)。
S2:标定感知模块200中相机的相机坐标系相对车身坐标系的关系；
相机在固定后相对于车身的位置时固定的，故此可以事先标定出相机坐标系相对于车身坐标系的关系，并通过定位模块300实时获取车身姿态信息，依据标定出的相机坐标系与车身坐标系的关系计算出相机的当前姿态信息。
S3:通过定位模块300实时获取车身姿态信息，并依据标定出的相机坐标系与车身坐标系的关系计算出相机的当前姿态信息；
需要说明的是，定位模块300自主实时获取的车身姿态信息包括车辆当前在地图坐标系下的位置及朝向信息。
且此处计算的是相机坐标系到地图坐标系的转化关系，定位模块300可以给出激光雷达坐标系到地图坐标系的转化矩阵，相机相对于激光雷达的转化矩阵可以事先标定，两个矩阵相乘即可得到相机坐标系到地图坐标系的转化矩阵。
S4:ROI区域检测模块400接收相机的内外参信息、激光雷达在地图坐标系下的位姿信息、相机拍摄的图像信息及矢量地图信息，获取地图坐标系下的红绿灯的3d位置信息，依据接受的相机内外参信息及激光雷达在地图坐标系下的位姿信息将红绿灯的3d位置信息转化成图像坐标系下的2d坐标信息，根据相机当前转化后表达为2d坐标的姿态信息计算出相机到红绿灯的距离，判定并排除掉非当前路口的红绿灯，并计算红绿灯的yaw角度和相机的yaw角度之间的差值，判定并排除掉横向车道和对向车道的灯后确定红绿灯的位置；
需要说明的是：地图中包含的是目标的3d信息，而图像中只有目标的2d信息。本发明是从一个3d位置(地图中的红绿灯位置)转化到一个2d位置(图像中的红绿灯位置)，做这个转化需要相机的内参、相机与激光雷达的外参，具体的转化关系为：
①相机坐标系坐标＝外参矩阵*地图坐标系坐标；
②图像坐标系＝内参矩阵*相机坐标系坐标；
其中，相机有内外参，外参表达了不同坐标系下的转换关系，即相机坐标系与激光雷达坐标系之间的关系，为地图坐标系到相机坐标系的转换矩阵，由相机和激光雷达之间的转换矩阵和激光雷达在地图坐标系中的位姿相乘得到；内参表达了如何将相机坐标系下的一个3d点转换成图像坐标系下的一个2d点。
进一步的，判定并排除掉非当前路口的红绿灯包括以下步骤：
预先设定一个第一阈值；
对比获取的相机到红绿灯的距离与第一阈值的大小，当相机到红绿灯的距离小于第一阈值时，保留该红绿灯，否则排除该红绿灯。
其中，获取相机到红绿灯的距离包括：根据地图里等的坐标信息和当前相机在地图坐标系下的坐标通过以下公式计算欧式距离，当计算出的距离小于阈值时，则认为当前红绿灯是可被相机看见的红绿灯，保留，从而排除掉非当前路口的等。
公式为：
Figure BDA0002947691960000041
其中，(x1，y1)为地图文件中描述的红绿灯的位置信息；(x2，y2)为相机当前时刻在地图中的坐标位置。
优选的，阈值为100米。
更进一步的，判定并排除掉横向车道和对向车道的灯包括以下步骤：
预先设定一个第二阈值；
对比计算得出的红绿灯的yaw角度和相机的yaw角度之间的差值，当红绿灯的yaw角度和相机的yaw角度之间的差值小于第二阈值时，保留该红绿灯，否则排除该红绿灯。
其中，对比计算红绿灯的yaw角度和相机的yaw角度之间的差值包括：
①根据地图中的灯的位置，计算出在地图坐标系中红绿灯的yaw角；
依据公式：t1-yaw＝atan2(y,x)，计算出红绿灯的yaw角，其中，(y,x)为地图文件中描述的灯的位置，t1-yaw表示红绿灯的yaw角；
具体的：
Figure BDA0002947691960000051
②求出相机在地图坐标系下的yaw角度，具体包括：
Ⅰ求出向量z＝(0,0,1)在地图坐标系下的向量：z-map＝M*z，其中，M为相机坐标系到地图坐标系的旋转矩阵；
Ⅱ求出相机位姿在地图坐标系的yaw角度：camera-yaw＝atan2(z-map.y,z-map.x),其中，(y，x)为相机此刻在地图坐标系中的位置信息；
Ⅲ计算t1-yaw和camera-yaw之间的角度差异：通过计算向量v1＝(std::cos(t1-yaw),std::sin(t1-yaw))及向量v2＝(std::cos(camera-yaw),std::sin(camera-yaw))的点积；
需要说明的是：向量的点积为向量之间的相似程度，计算红绿灯与相机之间的角度，角度计算为：diff-angle＝std::acos(v1.dot(v2))，只有当diff-angle小于第二阈值时，才认为该红绿灯为当前位置的相机可见的红绿灯。
优选的，第二阈值设置为90度。
S5:发送模块600将裁剪模块500裁剪后的只包含红绿灯的图片发送至信号灯颜色判别模块700通过预训练好的mobilenetv2分类模型进行颜色分类，获取出红绿灯的颜色；
S6:将红绿灯的id和类别信息编码发送至规划模块800进行车辆行驶轨迹的规划。
更进一步的，考虑到定位精度的问题，在上述给出的ROI很难及其精确的框出红绿灯的位置，可能存在一定的偏移，故此，还包括ROI区域检测模块400在提取红绿灯位置时，扩大ROI的范围，再通过预训练的目标检测模型yolov3进行检测。具体的步骤为：
Ⅰ数据准备
开着装有摄像头的测试车,在测试道路上采集红绿灯图片。收集到一定数量后的图片后，对采集图片做数据增强处理，包括更改对比度，更改亮度，高斯模糊，高斯噪声，翻转等等，增加数据集的数量，通过标注工具标注出红绿灯的位置形成标注文件。
Ⅱ运行yolov3的训练程序，程序的输入为步骤1中的训练图片及相应的标注文件。在一定次数的迭代之后，当loss不再下降时，完成模型的训练。
Ⅲ加载模型，接收摄像头图片，运行推理，得到推理结果，结果为红绿灯在图像中的位置信息。
需要额外说明的是：本发明运行的yolov3训练程序将基于yolov3的目标检测模型进行改进，具体包括以darknet53作为特征提取器，删除两个yolo层，将训练集中到一个yolo层时，删除第82层和第94层的yolo层后，将训练集中到第106层的yolo层上，调大第97层的上采样层的上采样率至4倍上采样，通过连接第97层的输出与第11层的输出来更改第98个layer route层，且添加一个spp层对feature map从不同尺度上做pooling再做连接，完成feature map级别的局部特征与全局特征的融合。
请参阅图4～9，通过三组具体的分别对比，可以看出，采用本发明相较于传统检测技术在检测的精度定位上更优。
本发明结合了高精地图信息和基于深度学习的目标检测算法，对于所需关注的红绿灯在图像中的位置可以更准确定位，相对于传统的图像处理算法，用深度学习方式对红绿灯颜色进行分类的方法可以获得更好的准确性和鲁棒性，适应更多不同的场景和光线条件。
实施例2
请参阅图2和图3，为了解决传统检测鲁棒性差的问题，本发明还提供一种自动驾驶中的红绿灯检测***，包括：
地图加载模块100，用于通过建立地图坐标系描述空间内预检测目标的3d位置信息；
感知模块200，包括相机和激光雷达，与地图加载模块100连接，通过相机及激光雷达的外参将预检测目标在地图坐标系下的坐标对应转化成相机下的相机坐标系坐标，并通过相机的内参将相机坐标系坐标对应转化成图像坐标系坐标；
定位模块300，与地图加载模块100与感知模块200连接，用于实时获取车身姿态信息和标定相机坐标系相对于车身坐标系的关系，并依据标定出的相机坐标系相对于车身坐标系的关系计算出相机当前的姿态信息；
ROI区域检测模块400，与地图加载模块100、感知模块200及定位模块300连接，用于接收相机的内外参信息、激光雷达在地图坐标系下的位姿信息、相机拍摄的图像信息及地图加载模块100中的矢量地图信息，获取地图坐标系下的红绿灯的3d位置信息后依据接受的相机内外参信息及激光雷达在地图坐标系下的位姿信息将红绿灯的3d位置信息转化成图像坐标系下的2d坐标信息，根据相机当前转化后表达为2d坐标的姿态信息计算出相机到红绿灯的距离，通过预先设置的第一阈值筛出符合要求的红绿灯，并通过计算红绿灯的yaw角度和相机的yaw角度之间的差值，并通过预先设置的第二阈值对红绿灯进行再次筛选，将红绿灯在图像中的位置提取出来；
裁剪模块500，与ROI区域检测模块400及地图加载模块100连接，裁剪出只包含红绿灯的图片；
发送模块600，与裁剪模块500连接，用于将裁剪后的只包含红绿灯的图片发送至信号灯颜色判别模块700；
信号灯颜色判别模块700，用于接收红绿灯的图片，输入至预训练好的mobilenetv2分类模型中进行颜色的分类；
规划模块800,与信号灯颜色判别模块700连接，接收红绿灯的id和类别信息，编码后用于车辆行驶轨迹的规划。
进一步的，还包括目标检测模块900，与ROI区域检测模块400连接，用于利用预训练的目标检测模型yolov3精确红绿灯在图像中的位置。
本发明结合了高精地图信息和基于深度学习的目标检测算法，对于所需关注的红绿灯在图像中的位置可以更准确定位，相对于传统的图像处理算法，用深度学习方式对红绿灯颜色进行分类的方法可以获得更好的准确性和鲁棒性，适应更多不同的场景和光线条件。
本发明不局限于上述实施例所述的具体技术方案，除上述实施例外，本发明还可以有其他实施方式。对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等形成的技术方案，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自动驾驶中的红绿灯检测***，其特征在于，包括：
地图加载模块（100），用于通过建立地图坐标系描述空间内预检测目标的3d位置信息；
感知模块（200），包括相机和激光雷达，与所述地图加载模块（100）连接，通过相机及激光雷达的外参将所述预检测目标在地图坐标系下的坐标对应转化成相机下的相机坐标系坐标，并通过相机的内参将相机坐标系坐标对应转化成图像坐标系坐标；
定位模块（300），与所述地图加载模块（100）与所述感知模块（200）连接，用于实时获取车身姿态信息和标定相机坐标系相对于车身坐标系的关系，并依据标定出的相机坐标系相对于车身坐标系的关系计算出相机当前的姿态信息；
ROI区域检测模块（400），与所述地图加载模块（100）、所述感知模块（200）及所述定位模块（300）连接，用于接收相机的内外参信息、激光雷达在地图坐标系下的位姿信息、相机拍摄的图像信息及所述地图加载模块（100）中的矢量地图信息，获取地图坐标系下的红绿灯的3d位置信息后依据接受的相机内外参信息及激光雷达在地图坐标系下的位姿信息将红绿灯的3d位置信息转化成图像坐标系下的2d坐标信息，根据相机当前转化后表达为2d坐标的姿态信息计算出相机到红绿灯的距离，通过预先设置的第一阈值筛出符合要求的红绿灯，并通过计算红绿灯的yaw角度和相机的yaw角度之间的差值，并通过预先设置的第二阈值对红绿灯进行再次筛选，将红绿灯在图像中的位置提取出来；
裁剪模块（500），与所述ROI区域检测模块（400）及所述地图加载模块（100）连接，裁剪出只包含红绿灯的图片；
发送模块（600），与所述裁剪模块（500）连接，用于将裁剪后的只包含红绿灯的图片发送至信号灯颜色判别模块（700）；
信号灯颜色判别模块（700），用于接收红绿灯的图片，输入至预训练好的mobilenetv2分类模型中进行颜色的分类；
规划模块（800）,与所述信号灯颜色判别模块（700）连接，接收红绿灯的id和类别信息，编码后用于车辆行驶轨迹的规划；
其中，计算红绿灯的yaw角度和相机的yaw角度之间的差值的具体方法如下：
依据公式t1-yaw=atan2（y,x），计算出红绿灯的yaw角，其中，（y,x）为地图文件中描述的灯的位置，t1-yaw表示红绿灯的yaw角；
获取相机在地图坐标系下的yaw角度，具体包括：
获取出向量z=（0,0,1）在地图坐标系下的向量：z-map=M*z，其中，M为相机坐标系到地图坐标系的旋转矩阵；
获取出相机位姿在地图坐标系的yaw角度：camera-yaw=atan2（z-map.y,z-map.x）,其中，（y，x）为相机此刻在地图坐标系中的位置信息；
获取t1-yaw和camera-yaw之间的角度差异：获取向量v1=（std::cos(t1-yaw),std::sin(t1-yaw)）及向量v2=（std::cos(camera-yaw),std::sin(camera-yaw)）的点积。
2.根据权利要求1所述的自动驾驶中的红绿灯检测***，其特征在于：还包括目标检测模块（900），与所述ROI区域检测模块（400）连接，用于利用预训练的目标检测模型yolov3精确红绿灯在图像中的位置。
3.一种基于权利要求1所述的红绿灯检测***的自动驾驶中的红绿灯检测方法，其特征在于，包括以下步骤：
地图加载模块（100）加载地图信息，并利用矢量地图标记空间内预检测目标的3d位置信息，获取所述预检测目标在地图坐标系下的坐标；
标定感知模块（200）中相机的相机坐标系相对车身坐标系的关系；
通过定位模块（300）实时获取车身姿态信息，并依据标定出的相机坐标系与车身坐标系的关系计算出相机的当前姿态信息；
ROI区域检测模块（400）接收相机的内外参信息、激光雷达在地图坐标系下的位姿信息、相机拍摄的图像信息及矢量地图信息，获取地图坐标系下的红绿灯的3d位置信息，依据接受的相机内外参信息及激光雷达在地图坐标系下的位姿信息将红绿灯的3d位置信息转化成图像坐标系下的2d坐标信息，根据相机当前转化后表达为2d坐标的姿态信息计算出相机到红绿灯的距离，判定并排除掉非当前路口的红绿灯，并计算红绿灯的yaw角度和相机的yaw角度之间的差值，判定并排除掉横向车道和对向车道的灯后确定红绿灯的位置；
发送模块（600）将裁剪模块（500）裁剪后的只包含红绿灯的图片发送至信号灯颜色判别模块（700）通过预训练好的mobilenetv2分类模型进行颜色分类，获取出红绿灯的颜色；
将红绿灯的id和类别信息编码发送至规划模块（800）进行车辆行驶轨迹的规划。
4.根据权利要求3所述的自动驾驶中的红绿灯检测方法，其特征在于：实时获取的车身姿态信息包括车辆当前在地图坐标系下的位置及朝向信息。
5.根据权利要求3或4所述的自动驾驶中的红绿灯检测方法，其特征在于，判定并排除掉非当前路口的红绿灯包括以下步骤：
预先设定一个第一阈值；
对比获取的相机到红绿灯的距离与所述第一阈值的大小，当相机到红绿灯的距离小于所述第一阈值时，保留该红绿灯，否则排除该红绿灯。
6.根据权利要求5所述的自动驾驶中的红绿灯检测方法，其特征在于：所述阈值为100米。
7.根据权利要求3或4所述的自动驾驶中的红绿灯检测方法，其特征在于，判定并排除掉横向车道和对向车道的灯包括以下步骤：
预先设定一个第二阈值；
对比计算得出的红绿灯的yaw角度和相机的yaw角度之间的差值，当红绿灯的yaw角度和相机的yaw角度之间的差值小于所述第二阈值时，保留该红绿灯，否则排除该红绿灯。
8.根据权利要求7所述的自动驾驶中的红绿灯检测方法，其特征在于：所述ROI区域检测模块（400）在提取红绿灯位置时，扩大ROI的范围，再通过预训练的目标检测模型yolov3进行检测。
CN202110199699.9A 2021-02-22 2021-02-22 一种自动驾驶中的红绿灯检测***及方法 Active CN112861748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199699.9A CN112861748B (zh) 2021-02-22 2021-02-22 一种自动驾驶中的红绿灯检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199699.9A CN112861748B (zh) 2021-02-22 2021-02-22 一种自动驾驶中的红绿灯检测***及方法

Publications (2)

Publication Number Publication Date
CN112861748A CN112861748A (zh) 2021-05-28
CN112861748B true CN112861748B (zh) 2022-07-12

Family

ID=75989892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199699.9A Active CN112861748B (zh) 2021-02-22 2021-02-22 一种自动驾驶中的红绿灯检测***及方法

Country Status (1)

Country Link
CN (1) CN112861748B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
CN113763731B (zh) * 2021-09-28 2022-12-06 苏州挚途科技有限公司 高精地图重建道路交叉口红绿灯信息的方法和***
CN114694123B (zh) * 2022-05-30 2022-09-27 阿里巴巴达摩院(杭州)科技有限公司 交通信号灯感知方法、装置、设备及存储介质
CN117496486B (zh) * 2023-12-27 2024-03-26 安徽蔚来智驾科技有限公司 红绿灯形状识别方法、可读存储介质及智能设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489324B (zh) * 2013-09-22 2015-09-09 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN105489035B (zh) * 2015-12-29 2018-03-30 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法

Also Published As

Publication number Publication date
CN112861748A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112861748B (zh) 一种自动驾驶中的红绿灯检测***及方法
CN107235044B (zh) 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN109945858B (zh) 用于低速泊车驾驶场景的多传感融合定位方法
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN101929867B (zh) 使用道路模型的畅通路径检测
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
US9435885B2 (en) Road-terrain detection method and system for driver assistance systems
Hu et al. A multi-modal system for road detection and segmentation
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距***及方法
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN109583415A (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及***
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
US20220083792A1 (en) Method and device for providing data for creating a digital map
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
Joy et al. Real time road lane detection using computer vision techniques in python
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和***
Liu et al. Real-time traffic light recognition based on smartphone platforms
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN113219472A (zh) 一种测距***和方法
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN114648549A (zh) 一种融合视觉和激光雷达的交通场景目标检测及定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 210012 room 401-404, building 5, chuqiaocheng, No. 57, Andemen street, Yuhuatai District, Nanjing, Jiangsu Province

Patentee after: AUTOCORE INTELLIGENT TECHNOLOGY (NANJING) Co.,Ltd.

Address before: 211800 building 12-289, 29 buyue Road, Qiaolin street, Pukou District, Nanjing City, Jiangsu Province

Patentee before: AUTOCORE INTELLIGENT TECHNOLOGY (NANJING) Co.,Ltd.

CP02 Change in the address of a patent holder