CN112562061A - 一种基于激光雷达图像的驾驶视觉增强的***及方法 - Google Patents

一种基于激光雷达图像的驾驶视觉增强的***及方法 Download PDF

Info

Publication number
CN112562061A
CN112562061A CN202011367786.2A CN202011367786A CN112562061A CN 112562061 A CN112562061 A CN 112562061A CN 202011367786 A CN202011367786 A CN 202011367786A CN 112562061 A CN112562061 A CN 112562061A
Authority
CN
China
Prior art keywords
road
coordinates
coordinate system
dimensional
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011367786.2A
Other languages
English (en)
Inventor
刘力源
吴宏涛
王俊骅
姚晓峰
孟颖
何琨
孟泽彬
牛秉青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Shanxi Transportation Technology Research and Development Co Ltd
Original Assignee
Tongji University
Shanxi Transportation Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, Shanxi Transportation Technology Research and Development Co Ltd filed Critical Tongji University
Priority to CN202011367786.2A priority Critical patent/CN112562061A/zh
Publication of CN112562061A publication Critical patent/CN112562061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于激光雷达图像的驾驶视觉增强的***及方法。本发明以无人机装载高精度激光雷达设备，通过扫描道路环境的点云构建道路线形三维计算模型，扫描道路交通状态通过边缘计算结合道路线性模型结合车辆行驶过程中车载实时高精度GPS定位数据生成平行交通环境，构建基于驾驶人视点的前方观察路段道路车行道边线透视图以及车辆周边交通环境生成与预警方法，并通过抬头显示HUD设备将该透视图实时投射于驾驶人前方固定位置的投影面上，实现驾驶人观察视角下透视图成像与实际道路边线重叠以及道路情况实时更新的效果，从而弥补驾驶人在未知条件、风险环境或者雾天、夜间等不良条件下视觉信息采集的不足，起到为驾驶人行车导航及预警的作用。

Description

一种基于激光雷达图像的驾驶视觉增强的***及方法
技术领域
本发明属于智能驾驶技术领域，特别涉及一种基于激光雷达图像的驾驶视觉增强的***及方法。
背景技术
驾驶人由于未知环境所导致的危险驾驶行为是导致交通事故重要的原因之一。尤其是在陌生道路条件下以及异常交通环境例如雾天、暴雨、夜间等条件下，行驶环境认读性及可视性变差，能见度降低，视距变短，驾驶人生理心理紧张加剧，通过视觉获得的道路及交通信息容易存在缺失或偏差。当道路的线形特征发生变化时，驾驶人对前方道路走向的判断和相应的操作往往出现失误，容易发生车辆追尾、碰撞路侧护栏、偏离路线冲出车行道等交通事故，酿成严重后果。据统计，每年在不良天气情况下的交通事故占道路事故总数的15％左右，死亡率占到47％以上；70％左右的驾驶员进入雾区时心理过度紧张，85％左右的驾驶员在雾天开车感到疲劳。因此如何改善不良驾驶环境下的行车条件以及提高驾驶员对道路信息的感知能力，亟需开发针对未知环境以及异常环境的安全驾驶保障措施或安全辅助驾驶技术，提高在这些环境中的行车安全性。
目前，除临时关闭高速公路取消通行外，针对未知条件或风险场景下降低或预防交通事故的技术措施主要有两大类：基于道路设施的智能诱导***和基于车载的安全辅助驾驶***。
基于道路设施的智能诱导***通过采用监控、探测、通信、计算、显示及控制中心等多种设施构建高速公路智能电子诱导***，对进入异常环境(雾天或施工)范围的车辆在流量管理、速度控制、车距控制等方面实行智能管控和诱导。该***存在的问题是工程造价及维护成本昂贵，一般仅针对重要的高速公路施工或者异常天气多发路段，难以全面铺开建设。
基于车载的安全辅助驾驶***是近年来迅速发展的新技术，其核心思想是利用各种传感器辅助增强驾驶人的感知能力，利用红外热像仪、CCD、激光雷达、毫米波雷达等各种传感器探测驾驶员前方道路环境和周围车辆信息，并以图像形式实时提供给驾驶人，增强驾驶人对行车环境的感知能力。目前主要有基于红外热成像的夜视辅助驾驶技术、基于毫米波雷达或激光雷达的周边车辆信息探测技术、基于单目红外相机的图像去雾技术等。目前，以上基于单一传感器的技术都不能很好地兼顾***的准确性、可靠性与环境适应性的要求，离实际应用还存在较大的差距；同时对于多传感器融合方面，由于各种设备复杂，成本高昂，其研究与应用还有待进一步深入探索与发展，短时间内该技术的优势还难以充分显现；再次，装载在车辆的传感器以及激光雷达设备存在一定的范围限制，无法从更加广域以及全范围的角度生成具备指导意见的预警***，致使预警及展示效果不佳。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种基于激光雷达图像的驾驶视觉增强的***及方法。
技术方案如下：
一种基于激光雷达图像的驾驶视觉增强的***，包括：数据采集模块、数据存储模块、GPS定位模块、控制处理模块和抬头显示模块，其中：
所述数据采集模块通过装载无人机的激光雷达设备实时扫描道路及车辆环境，通过边缘计算，生成可编辑数据库；同时接收实时采集数据，构建道路线形三维计算模型以及车辆平行运行的数据库；所述GPS定位模块接收全球卫星定位***发送的定位信号，输出高精度的点位坐标到所述控制处理模块；所述控制处理模块接收点位坐标，从所述数据存储模块中调用当前位置对应的道路线形三维计算模型，计算驾驶员前方一定范围内道路车行道的边线特征点坐标，并经过坐标转换，实时生成并输出透视图至所述抬头显示模块，同时根据数据库中其它车辆位置及运行情况，匹配数据库坐标系，并实时更新；所述抬头显示模块接收透视图并利用HUD将透视图实时投射在前方距离驾驶员一定距离的投影面上。
所述***还包括电源控制模块，为所述数据采集模块、存储模块、GPS定位模块、控制处理模块、和抬头显示模块提供12V电源。
一种基于激光雷达图像的驾驶视觉增强方法，包括以下步骤：
使用装载在无人机的激光雷达设备实时扫描车辆前方道路及交通环境，形成车辆运行前方道路及车辆运行实时更新数据库；
使用无人机采集路域车辆点云数据，构建道路线形三维计算模型以及交通流运行的数据库；
使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)；
根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和数据库中当前位置对应的道路线形三维计算模型确定驾驶员前方观察路段车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)；
根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)实时动态生成观察路段道路透视图；
根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和前方车辆实时运行特征点在地方坐标系中的三维坐标(xn,yn,zn)实时动态生成观察路段交通流情况；
通过HUD实时动态显示道路透视图。
进一步的，使用装载在无人机的激光雷达设备通过扫描获取的道路及交通环境数据库具体包括：
(1)实时扫描并采集道路的几何线形以及前方车辆运行数据资料；
(2)构建道路中心线上任意点的三维坐标计算模型；
(3)构建车辆驾驶前方车道车辆运行数据，并实时完成计算；
(4)构建道路车行道上任意点的三维坐标计算模型。
进一步的，构建道路线形和周边环境三维计算模型的数据库具体包括：
(1)通过无人机扫描车辆行驶的前方道路及环境点云数据；
(2)基于无人机采集的点云数据，实时构建道路中心线上任意点的三维坐标计算模型；
(3)基于无人机采集实时路域车辆数据，匹配车道上三维坐标模型，构建驾驶环境车流实时运行计算机三维模型。
进一步的，使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)具体包括：
(1)根据车载GPS定位数据确定驾驶员当前视点的平面坐标(x0,y0)；
(2)由当前视点的平面坐标(x0,y0)和数据库中当前位置对应的道路线形三维计算模型反算当前视点对应的道路里程桩号s0和支距w0(即视点到道路中心线的平面距离，下同)；
(3)根据道路里程桩号s0和支距w0确定驾驶员视点的标高h0。
进一步的，根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)实时动态生成观察路段道路透视图具体包括：
(1)将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)；
(2)将视轴三维直角坐标(Xe,Ye,Ze)转换为投影面平面直角坐标(xc,yc)；
(3)将投影面平面直角坐标(xc,yc)投影到HUD显示屏的几何空间(x’p,y’p)中，转换为图像坐标(xp,yp)，多个点的图像坐标相连组成道路透视图。
进一步的，将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)具体包括：
1)构建视轴三维直角坐标系(Xe,Ye,Ze)；
2)由当前视点在地方坐标系中的坐标(x0,y0,h0)计算当前主点对应的地方坐标(xs,ys,zs)；
3)根据当前主点对应的地方坐标(xs,ys,zs)确定地方坐标系与视轴坐标系两个三维坐标系之间的转换参数；
4)使用上述确定的转换参数将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)。
进一步的，将车行道边线上扫描获取的前方车辆运行特征点在地方坐标系中的坐标(x,y,z)转换为呈现在视轴三维直角坐标(Xe,Ye,Ze)的(Xn,Yn,Zn)具体包括：
1)由当前视点在地方坐标系中的坐标(x0,y0,h0)计算当前主点对应的地方坐标(xs,ys,zs)；
2)根据当前主点对应的地方坐标(xs,ys,zs)确定地方坐标系与视轴坐标系两个三维坐标系之间的转换参数，同时通过无人机扫描图像根据车辆与本车距离，转化为视轴坐标系中相对距离；
3)使用上述确定的转换参数以及距离参数将车行道交通车辆特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)中的(Xn,Yn,Zn)。
本发明实施例中的一种基于激光雷达图像的驾驶视觉增强***及其方法具有以下有益效果：
1)本发明以行驶道路的平纵横数据构建道路线形空间三维模型，结合无人机实时采集道路数据以及交通数据，融合高精度GPS定位数据确定驾驶人与道路的空间位置关系，从而实时生成基于驾驶人视点位置的前方观察路段走向以及交通运行情况透视图，并根据HUD投影面位置与驾驶人视点之间的距离精确控制透视图大小和成像位置，最终达到从驾驶人的视角观察道路线形透视图与实际道路边线重叠，前方车辆运行实时显示的效果。本发明构建的导航***提供的视觉信息有利于驾驶员对前方观察路段线形走向的掌握，防止车辆冲撞路侧护栏、驶出车行道发生碰撞事故。同时可以通过分析前方车流运行情况，实时为车辆提供预警。可以用于在未知道路、雾天、夜间、暗弯等能见度低、视距不良或者交通流异常运行的环境下。
2)本发明以目前已经得到广泛应用的HUD技术为基础，投射出具有色彩的透视曲线以及实时车流情况，对前方真实的线路走向以及车辆运行情况在未知道路或者低能见度条件下实现了视觉增强。本发明提供的方法技术简单可行，对危险驾驶环境下的汽车安全驾驶具有良好的辅助作用，有益地保障了汽车驾驶安全。
附图说明
图1是本发明实施例提供的一种基于激光雷达图像的驾驶视觉增强***的功能模块图；
图2是本发明实施例提供的一种基于激光雷达图像的驾驶视觉增强方法的流程图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合实施例对本发明提供的一种基于激光雷达图像的驾驶视觉增强的***及方法进行详细描述。以下实施例仅用于说明本发明而非用于限制本发明的范围。
本发明提供的基于激光雷达图像的驾驶视觉增强***及其方法，涉及无人机技术、激光雷达技术及汽车导航技术领域，针对未知交通环境、异常外部环境以及事故发生等条件下路况不清晰、能见度低、行车视距小、二次事故风险、车辆易驶出车行道边线、易冲撞路侧护栏和人行道等交通安全问题，以无人机为载体，装载高精度激光雷达设备，通过扫描道路环境的点云，形成道路平面、纵断面、横断面数据资料为基础构建道路线形三维计算模型，扫描道路交通状态，通过边缘计算结合道路线性模型，结合车辆行驶过程中车载实时高精度GPS定位数据，生成平行交通环境，构建一种基于驾驶人视点的前方观察路段道路车行道边线透视图以及车辆周边交通环境生成与预警方法，并通过抬头显示HUD设备将该透视图实时投射于驾驶人前方固定位置的投影面上，实现驾驶人观察视角下透视图成像与实际道路边线重叠以及道路情况实时更新的效果，从而弥补驾驶人在未知条件、风险环境或者雾天、夜间等不良条件下视觉信息采集的不足，起到为驾驶人行车导航及预警的作用。
实施例1
参照图1，本发明实施例提供了一种基于激光雷达图像的驾驶视觉增强***，该***包括数据采集模块、数据存储模块、GPS定位模块、控制处理模块和抬头显示模块，所述数据采集模块通过装载无人机的激光雷达设备实时扫描道路及车辆环境，通过边缘计算，生成可编辑数据库；同时接收实时采集全域车辆数据，构建道路线形三维计算模型以及车辆平行运行的数据；所述GPS定位模块接收全球卫星定位***发送的定位信号，输出高精度的点位坐标到所述控制处理模块；所述控制处理模块接收点位坐标，从所述数据存储模块中调用当前位置对应的道路线形三维计算模型，计算驾驶员前方一定范围内道路车行道的边线特征点坐标，并经过坐标转换，实时生成并输出透视图至所述抬头显示模块，同时根据数据库中其他车辆位置及运行情况，匹配数据库坐标系，并实现实时更新；所述抬头显示模块接收透视图并利用HUD将透视图实时投射在前方距离驾驶员一定距离的投影面上。所述***还包括电源控制模块，该电源控制模块为所述数据采集模块、存储模块、GPS定位模块、控制处理模块、和抬头显示模块提供12V电源。
基于相同的发明构思，本发明实施例还提供了一种基于激光雷达图像的驾驶视觉增强方法，该方法的实施参考上述***的实施，重复之处不再赘述。所述方法包括以下步骤：
步骤一：使用装载在无人机的激光雷达设备通过扫描获取的道路及交通环境数据库具体包括：
(1)实时扫描并采集道路的几何线形以及前方车辆运行数据资料；
(2)构建道路中心线上任意点的三维坐标计算模型；
(3)构建车辆驾驶前方车道车辆运行数据，并实时完成计算；
(4)构建道路车行道上任意点的三维坐标计算模型。。
步骤二：用上述的道路平纵横数据构建道路线形三维计算模型的数据库具体包括：
(1)搜集或采集整理道路的几何线形数据资料；
(2)基于内存数据及无人机采集数据比对，实时构建道路中心线上任意点的三维坐标计算模型；
(3)基于内存数据及无人机采集数据比对，构建道路车行道上任意点的三维坐标计算模型。
(4)基于无人机采集实时交通流数据，匹配车道上三维坐标模型，构建驾驶环境车流实时运行模型。
步骤三：使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)具体包括：
(1)根据车载GPS定位数据确定驾驶员当前视点的平面坐标(x0,y0)；
(2)由当前视点的平面坐标(x0,y0)和数据库中当前位置对应的道路线形三维计算模型反算当前视点对应的道路里程桩号s0和支距w0；
(3)根据道路里程桩号s0和支距w0确定驾驶员视点的标高h0。
步骤四：根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)实时动态生成观察路段道路透视图具体包括：
(1)将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)；
(2)将视轴三维直角坐标(Xe,Ye,Ze)转换为投影面平面直角坐标(xc,yc)；
(3)将投影面平面直角坐标(xc,yc)投影到HUD显示屏的几何空间(x’p,y’p)中，转换为图像坐标(xp,yp)，多个点的图像坐标相连组成道路透视图。
步骤五：将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)具体包括：
(1)构建视轴三维直角坐标系(Xe,Ye,Ze)；
(2)由当前视点在地方坐标系中的坐标(x0,y0,h0)计算当前主点对应的地方坐标(xs,ys,zs)；
(3)根据当前主点对应的地方坐标(xs,ys,zs)确定地方坐标系与视轴坐标系两个三维坐标系之间的转换参数；
(4)使用上述确定的转换参数将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)。
步骤六：将车行道边线上扫描获取的前方车辆运行特征点在地方坐标系中的坐标(x,y,z)转换为呈现在视轴三维直角坐标(Xe,Ye,Ze)的(Xn,Yn,Zn)具体包括：
(1)由当前视点在地方坐标系中的坐标(x0,y0,h0)计算当前主点对应的地方坐标(xs,ys,zs)；
(2)根据当前主点对应的地方坐标(xs,ys,zs)确定地方坐标系与视轴坐标系两个三维坐标系之间的转换参数，同时通过无人机扫描图像根据车辆与本车距离，转化为视轴坐标系中相对距离；
(3)使用上述确定的转换参数以及距离参数将车行道交通车辆特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)中的(Xn,Yn,Zn)。
步骤七：通过HUD实时动态显示道路透视图。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上面结合实施例对本发明的实例作了详细说明，但是本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出的各种变化，也应视为本发明的保护范围。

Claims (9)

1.一种基于激光雷达图像的驾驶视觉增强的***，其特征在于，包括：数据采集模块、数据存储模块、GPS定位模块、控制处理模块和抬头显示模块，其中：
所述数据采集模块通过装载无人机的激光雷达设备实时扫描道路及车辆环境，通过边缘计算，生成可编辑数据库；同时接收实时采集数据，构建道路线形三维计算模型以及车辆平行运行的数据库；所述GPS定位模块接收全球卫星定位***发送的定位信号，输出高精度的点位坐标到所述控制处理模块；所述控制处理模块接收点位坐标，从所述数据存储模块中调用当前位置对应的道路线形三维计算模型，计算驾驶员前方一定范围内道路车行道的边线特征点坐标，并经过坐标转换，实时生成并输出透视图至所述抬头显示模块，同时根据数据库中其它车辆位置及运行情况，匹配数据库坐标系，并实时更新；所述抬头显示模块接收透视图并利用HUD将透视图实时投射在前方距离驾驶员一定距离的投影面上。
2.根据权利要求1所述的基于激光雷达图像的驾驶视觉增强的***，其特征在于，所述***还包括电源控制模块，为所述数据采集模块、存储模块、GPS定位模块、控制处理模块、和抬头显示模块提供12V电源。
3.一种基于激光雷达图像的驾驶视觉增强方法，其特征在于，包括以下步骤：
使用装载在无人机的激光雷达设备实时扫描车辆前方道路及交通环境，形成车辆运行前方道路及车辆运行实时更新数据库；
使用无人机采集路域车辆点云数据，构建道路线形三维计算模型以及交通流运行的数据库；
使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)；
根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和数据库中当前位置对应的道路线形三维计算模型确定驾驶员前方观察路段车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)；
根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)实时动态生成观察路段道路透视图；
根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和前方车辆实时运行特征点在地方坐标系中的三维坐标(xn,yn,zn)实时动态生成观察路段交通流情况；
通过HUD实时动态显示道路透视图。
4.根据权利要求3所述的基于激光雷达图像的驾驶视觉增强方法，其特征在于，使用装载在无人机的激光雷达设备通过扫描获取的道路及交通环境数据库具体包括：
(1)实时扫描并采集道路的几何线形以及前方车辆运行数据资料；
(2)构建道路中心线上任意点的三维坐标计算模型；
(3)构建车辆驾驶前方车道车辆运行数据，并实时完成计算；
(4)构建道路车行道上任意点的三维坐标计算模型。
5.根据权利要求4所述的基于激光雷达图像的驾驶视觉增强方法，其特征在于，构建道路线形和周边环境三维计算模型的数据库具体包括：
(1)通过无人机扫描车辆行驶的前方道路及环境点云数据；
(2)基于无人机采集的点云数据，实时构建道路中心线上任意点的三维坐标计算模型；
(3)基于无人机采集实时路域车辆数据，匹配车道上三维坐标模型，构建驾驶环境车流实时运行计算机三维模型。
6.根据权利要求5所述的基于激光雷达图像的驾驶视觉增强方法，其特征在于，使用GPS定位数据和数据库中的道路线形三维计算模型确定驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)具体包括：
(1)根据车载GPS定位数据确定驾驶员当前视点的平面坐标(x0,y0)；
(2)由当前视点的平面坐标(x0,y0)和数据库中当前位置对应的道路线形三维计算模型反算当前视点对应的道路里程桩号s0和支距w0(即视点到道路中心线的平面距离，下同)；
(3)根据道路里程桩号s0和支距w0确定驾驶员视点的标高h0。
7.根据权利要求6所述的基于激光雷达图像的驾驶视觉增强方法，其特征在于，根据驾驶员当前视点在地方坐标系中的坐标(x0,y0,h0)和车行道边线上特征点在地方坐标系中的三维坐标(x,y,z)实时动态生成观察路段道路透视图具体包括：
(1)将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)；
(2)将视轴三维直角坐标(Xe,Ye,Ze)转换为投影面平面直角坐标(xc,yc)；
(3)将投影面平面直角坐标(xc,yc)投影到HUD显示屏的几何空间(x’p,y’p)中，转换为图像坐标(xp,yp)，多个点的图像坐标相连组成道路透视图。
8.根据权利要求7所述的基于激光雷达图像的驾驶视觉增强方法，其特征在于，将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)具体包括：
1)构建视轴三维直角坐标系(Xe,Ye,Ze)；
2)由当前视点在地方坐标系中的坐标(x0,y0,h0)计算当前主点对应的地方坐标(xs,ys,zs)；
3)根据当前主点对应的地方坐标(xs,ys,zs)确定地方坐标系与视轴坐标系两个三维坐标系之间的转换参数；
4)使用上述确定的转换参数将车行道边线上特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)。
9.根据权利要求8所述的基于激光雷达图像的驾驶视觉增强方法，其特征在于，将车行道边线上扫描获取的前方车辆运行特征点在地方坐标系中的坐标(x,y,z)转换为呈现在视轴三维直角坐标(Xe,Ye,Ze)的(Xn,Yn,Zn)具体包括：
1)由当前视点在地方坐标系中的坐标(x0,y0,h0)计算当前主点对应的地方坐标(xs,ys,zs)；
2)根据当前主点对应的地方坐标(xs,ys,zs)确定地方坐标系与视轴坐标系两个三维坐标系之间的转换参数，同时通过无人机扫描图像根据车辆与本车距离，转化为视轴坐标系中相对距离；
3)使用上述确定的转换参数以及距离参数将车行道交通车辆特征点在地方坐标系中的坐标(x,y,z)转换为视轴三维直角坐标(Xe,Ye,Ze)中的(Xn,Yn,Zn)。
CN202011367786.2A 2020-11-28 2020-11-28 一种基于激光雷达图像的驾驶视觉增强的***及方法 Pending CN112562061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011367786.2A CN112562061A (zh) 2020-11-28 2020-11-28 一种基于激光雷达图像的驾驶视觉增强的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011367786.2A CN112562061A (zh) 2020-11-28 2020-11-28 一种基于激光雷达图像的驾驶视觉增强的***及方法

Publications (1)

Publication Number Publication Date
CN112562061A true CN112562061A (zh) 2021-03-26

Family

ID=75046649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011367786.2A Pending CN112562061A (zh) 2020-11-28 2020-11-28 一种基于激光雷达图像的驾驶视觉增强的***及方法

Country Status (1)

Country Link
CN (1) CN112562061A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355946A (zh) * 2022-01-07 2022-04-15 哈尔滨工业大学 一种车辆驾驶引导***
CN117008122A (zh) * 2023-08-04 2023-11-07 江苏苏港智能装备产业创新中心有限公司 基于多雷达融合定位工程机械设备周围物体的方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355946A (zh) * 2022-01-07 2022-04-15 哈尔滨工业大学 一种车辆驾驶引导***
CN117008122A (zh) * 2023-08-04 2023-11-07 江苏苏港智能装备产业创新中心有限公司 基于多雷达融合定位工程机械设备周围物体的方法和***

Similar Documents

Publication Publication Date Title
US10502955B2 (en) Head-up display device, navigation device, and display method
US10600250B2 (en) Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body
CN109624974B (zh) 车辆控制装置、车辆控制方法以及存储介质
JP3619628B2 (ja) 走行環境認識装置
CN106909152B (zh) 一种车用环境感知***及汽车
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
US11248925B2 (en) Augmented road line detection and display system
EP2461305B1 (en) Road shape recognition device
CN110356325B (zh) 一种城市交通客运车辆盲区预警***
Hu et al. UV-disparity: an efficient algorithm for stereovision based scene analysis
CN103455144B (zh) 车载人机交互***及方法
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
CN110065494B (zh) 一种基于车轮检测的车辆防碰撞方法
CN106324618B (zh) 实现基于激光雷达检测车道线***的方法
CN117441113A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
KR20220134754A (ko) 이미징 시스템들을 위한 차선 검출 및 추적 기법들
CN110491156A (zh) 一种感知方法、装置及***
JP3857698B2 (ja) 走行環境認識装置
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的***及方法
CN116564116A (zh) 数字孪生驱动的智能辅助驾驶引导***与方法
CN116337102A (zh) 基于数字孪生技术的无人驾驶环境感知与导航方法
González-Jorge et al. Evaluation of driver visibility from mobile lidar data and weather conditions
CN113884090A (zh) 智能平台车环境感知***及其数据融合方法
CN108981740B (zh) 一种低能见度条件下的盲驾导航***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination