CN112567264A - 用于获取坐标变换信息的装置和方法 - Google Patents

用于获取坐标变换信息的装置和方法 Download PDF

Info

Publication number
CN112567264A
CN112567264A CN201980053837.3A CN201980053837A CN112567264A CN 112567264 A CN112567264 A CN 112567264A CN 201980053837 A CN201980053837 A CN 201980053837A CN 112567264 A CN112567264 A CN 112567264A
Authority
CN
China
Prior art keywords
vehicle
information
coordinate system
lane
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980053837.3A
Other languages
English (en)
Inventor
李性洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN112567264A publication Critical patent/CN112567264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

根据一个实施方式，用于获取坐标变换信息的方法包括以下步骤：借助于车辆的激光雷达获取包括与车辆的相邻车道对应的第一车道信息的三维信息，以及借助于车辆的摄像装置获取包括与该车道对应的第二车道信息的周围图像；通过比较第二车道信息与第一车道信息，获取关于激光雷达和摄像装置的第一坐标变换信息；以及通过使用基于周围图像获取的俯视图图像变换信息和车辆的行进方向，获取关于车辆和摄像装置的第二坐标变换信息。

Description

用于获取坐标变换信息的装置和方法
技术领域
本公开内容涉及用于获取车辆、安装在车辆上的激光雷达与安装在车辆上的摄像装置之间的坐标系变换信息的装置以及用于获取该坐标系变换信息的方法。作为参考，本申请要求基于2018年8月17日提交的韩国专利申请(No.10-2018-0096210)的优先权，该韩国专利申请的全部内容通过引用并入本文。
背景技术
车辆一般指由化石燃料或电力提供动力、在道路或轨道上运行的运输机器。
随着技术的发展，车辆已经被发展为向驾驶员提供各种功能。特别地，与车辆的电气化趋势一致，已经出现了具有主动安全***(ASS)的车辆，该主动安全***被激活以避免事故。
此外，当前正在对配备有高级驾驶员辅助***(ADAS)的车辆展开积极研究，该高级驾驶员辅助***(ADAS)主动提供关于驾驶环境的信息，例如车辆的状态、驾驶员的状态和车辆的周围环境，以减少驾驶员的负担并且为驾驶员提高便利性。
高级驾驶员辅助***可以具有检测驾驶环境的检测工具。例如，检测工具可以包括摄像装置和激光雷达(LiDAR)。摄像装置和激光雷达安装在车辆的外部或内部，并且它们可以通过获取与它们的安装位置和姿态角对应的图像或点云而检测驾驶环境。
发明内容
本公开内容要解决的问题是提供用于获取车载摄像装置、激光雷达与行驶车辆之间的坐标系变换信息的坐标系变换信息获取装置和方法。
本公开内容要解决的问题不限于以上提及的问题，并且本文中未提及的本领域技术人员根据以下描述清楚理解的其他问题也将包括在本公开内容要解决的问题中。
根据本公开内容的一个方面，提供了一种用于获取坐标系变换信息的方法，该方法包括：通过安装在车辆上的激光雷达获取包括与邻近于车辆的车道对应的第一车道信息的三维信息，并且通过安装在车辆上的摄像装置获取包括与该车道对应的第二车道信息的周围图像；通过将第二车道信息与第一车道信息进行匹配，获取关于激光雷达和摄像装置的第一坐标系变换信息；以及通过使用基于周围图像获取的俯视图图像变换信息和车辆的行驶方向，获取关于车辆和摄像装置的第二坐标系变换信息。
根据本公开内容的另一方面，提供了一种用于获取坐标系变换信息的装置，该装置包括：水平地面识别单元，其被配置成基于通过安装在车辆上的激光雷达获取的关于与车辆相邻的车道的第一车道信息来识别车辆是否正在水平地面上行驶；第一坐标系变换信息获取单元，其被配置成将通过安装在车辆上的摄像装置获取的车辆的周围图像中的关于车道的第二车道信息与第一车道信息进行匹配，以获取关于激光雷达和摄像装置的第一坐标系变换信息；以及第二坐标系变换信息获取单元，其被配置成通过使用基于周围图像获取的俯视图图像变换信息和车辆的行驶方向来获取关于车辆和摄像装置的第二坐标系变换信息。
根据本公开内容的一个实施方式的用于获取坐标系变换信息的装置和方法，可以在不需要设备或人工操作的情况下获取用于行驶车辆的激光雷达和摄像装置的坐标系变换信息，从而减少校准所需的成本和时间。
附图说明
图1和图2示出了根据各个实施方式的坐标系变换信息获取***的功能框图。
图3是用于说明根据一个实施方式的车辆、摄像装置和激光雷达的坐标系的视图。
图4是根据一个实施方式的坐标系变换信息获取方法中的如何识别车辆是否正在水平地面上行驶的方法的流程图。
图5是用于说明根据一个实施方式的从通过车辆的激光雷达获取的三维信息提取第一车道信息的方法的视图。
图6是根据一个实施方式的坐标系变换信息获取方法中的用于获取第一坐标系变换信息的方法的流程图。
图7是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像提取第二车道信息的方法的视图。
图8是根据一个实施方式的坐标系变换信息获取方法中的用于获取第二坐标系变换信息的方法的流程图。
图9是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像提取扩展焦点的方法的视图。
图10是根据一个实施方式的通过的车辆的摄像装置获取的周围图像的俯视图图像的视图。
具体实施方式
根据下面结合附图对实施方式作出的描述将清楚地理解本公开内容的实施方式的优点和特征以及实现它们的方法。然而，本公开内容不限于这些实施方式，而是以各种形式来实现。注意，提供实施方式以进行全面公开，并且也使本领域技术人员能够知晓本公开内容的全部范围。
在下面的描述中，如果公知的功能和/或配置将不必要地使本公开内容的特征模糊，则将不会详细描述它们。此外，下面要描述的术语是考虑到它们在本公开内容的实施方式中的功能而定义的，并且根据用户或操作者的意图或实践而变化。因此，基于本公开内容的整个内容进行定义。
图1和图2示出了根据各个实施方式的坐标系变换信息获取***的功能框图。图3是用于说明根据一个实施方式的车辆、摄像装置和激光雷达的坐标系的视图。
参照图1，根据一个实施方式的坐标系变换信息获取***1可以包括车辆V和坐标系变换信息获取装置100。
车辆V可以指在沿着道路或轨道行驶时允许人、物体或动物从一个地方移动到另一地方的运输工具。根据一个实施方式，车辆V可以包括三轮车辆或四轮车辆，两轮车辆例如摩托车，施工机械，机动装备，自行车以及在轨道上运行的列车。
图1的车辆V可以预先存储精确地图。此处，精确地图可以指以下地图：该地图具有用于车辆V的安全且精确的控制的高精确度，并且包含关于道路的高度、坡度、曲率等以及道路的平面位置的信息。
此外，精确地图是其中至少标记出车道的地图，并且可以另外包含诸如道路标志、交通灯和护栏之类的道路上设施。
精确地图包括点云，每个点云是通过由激光扫描仪等扫描道路获得的点集，并且点云中的每个点都可以具有基础坐标系中的三维空间坐标。可以通过由噪声滤波器从所获取的点云中过滤有意义的数据并且然后在每个点云中标记界标来构建精确地图。
此处，基础坐标系是指不依赖于任何设备的正交坐标系，并且可以包括世界坐标系。
此外，也可以将精确地图存储在坐标系变换信息获取装置100以及车辆V中。
此外，图1的车辆V可以配备有高级驾驶员辅助***(ADAS)。此处，高级驾驶员辅助***可以指提供诸如车辆V的状态、驾驶员的状态和周围环境信息之类的驾驶环境信息或者主动控制车辆V的***。例如，车辆V可以配备有车道偏离警告***(LDWS)、车道保持辅助***(LKAS)等。应当注意，安装在车辆V中的高级驾驶员辅助***不限于以上上述。
由于高级驾驶员辅助***响应于车辆V的驾驶环境信息而操作，因此车辆V可以包括用于检测提供给高级驾驶员辅助***的驾驶环境信息的检测工具。根据一个实施方式的检测工具可以包括雷达和/或超声传感器，所述雷达通过围绕车辆V发射脉冲并且接收从位于该方向上的对象反射的回声脉冲来检测驾驶环境，所述超声传感器围绕车辆V发射超声波并且接收从位于该方向上的对象反射的回声超声波。
此外，车辆V可以包括摄像装置C作为检测工具。摄像装置C可以被配置成面向车辆V的前方、侧方和/或后方并且捕获相应方向上的图像。捕获的图像可以成为用于通过图像处理过程获取诸如车道或道路标志以及车辆V周围的对象之类的信息的基础。
在下文中，将由安装在车辆V上的摄像装置C捕获的图像称为车辆的周围图像，该周围图像可以包括由被配置成面向车辆V的前方的摄像装置C捕获的前方图像，由被配置成面向车辆V的后方的摄像装置C捕获的后方图像，以及由被配置成面向车辆V的侧方的摄像装置C捕获的侧面图像。
此外，车辆V还可以包括激光雷达L作为检测工具。激光雷达L可以被配置成面向车辆V的前方、侧方和/或后方并且沿相应的方向发射激光。激光雷达L能够通过接收从位于激光的发射方向上的对象反射的激光来检测车辆V的周围环境的三维信息，作为车辆V的驾驶环境信息。
在这种情况下，通过摄像装置C获取的周围图像和由激光雷达L检测到的三维信息可以包含关于至少两个相同车道的信息。这将在后面描述。
同时，车辆V可以并入CAN(控制器区域网络)DATA(数据)，例如，经由CAN通信(即，摄像装置C、激光雷达L和车辆V内部的模块之间通信的方法)传输的转向角信息和横摆率信息，并且将该CAN DATA用于控制车辆V。在这种情况下，通过摄像装置C获取的图像可以符合摄像装置坐标系，通过激光雷达L获取的点云可以符合激光雷达坐标系、并且CAN DATA可以符合车辆坐标系。
图3是根据一个实施方式的车辆V的示意性平面图，其示出了车辆V的坐标系、安装在车辆V中的激光雷达L的坐标系、安装在车辆V中的摄像装置C的坐标系，以及基于这些坐标系的地球表面R的坐标系。参照图3，车辆V可以具有以下车辆坐标系：该车辆坐标系包括沿车辆V的行驶方向的Xv轴、沿垂直于地球表面的方向的Zv轴、以及垂直于Xv轴和Zv轴的Yv轴，其中，Ov为原点。另一方面，安装在车辆V中的激光雷达L可以具有包括Xl轴、Yl轴和Zl轴并且Ol作为原点的激光雷达坐标系，Xl轴、Yl轴和Zl轴由激光雷达L的安装位置和姿态角确定。此外，安装在车辆V中的摄像装置C可以具有包括Xc轴、Yc轴、Zc轴并且Oc作为原点的摄像装置坐标系，Xc轴、Yc轴、Zc轴由摄像装置C的安装位置和姿态角确定。另外，地球表面R的坐标系是指从通过摄像装置C获取的图像变换而来的俯视图图像的坐标系，其中，Or用作原点，Xr轴和Yr轴存在于地球表面上，并且Zr轴被限定为沿车辆坐标系中的Zv轴的相反方向。坐标系需要统一以并入不同坐标系中的信息，这被称为校准。
为此，可以在车辆V驾驶之前执行摄像装置C和激光雷达L校准。具体地，可以将车辆V停在预定位置处，并且然后可以获取从该位置预先感知的校准点的图像和点云。接下来，将校准点相对于摄像装置坐标系的坐标、校准点相对于激光雷达坐标系的坐标，以及校准点相对于车辆坐标系的坐标进行比较，从而获得它们之间的坐标系变换信息。
然而，上述方法要求车辆V正确地停在预定位置处，并且还要求对校准点的位置进行精确感知。该初步工作由人手动执行，这在正确性方面造成了困难，并且将花费大量的时间和金钱来实现高精确度。此外，如果摄像装置和/或激光雷达被替换或它们的位置被改变，则需要在驾驶之前执行初步校准过程。
为了解决这个问题，根据一个实施方式的坐标系变换信息获取装置100可以在行驶车辆上实时地执行校准。返回参照图1，根据一个实施方式的坐标系变换信息获取装置100可以通过使用从行驶车辆V接收的信息来获取车辆V、摄像装置C与激光雷达L之间的坐标系变换信息。
为了接收由行驶车辆V检测到的周围环境信息，坐标系变换信息获取装置100可以通过依据各种公知的通信方法与车辆V通信来交换信息。根据一个实施方式的坐标系变换信息获取装置100可以采用诸如CDMA、GSM、W-CDMA、TD-SCDMA、WiBro、LTE或EPC之类公知通信方法，以经由基站与车辆V通信。相反，根据另一实施方式的坐标系变换信息获取装置100可以采用诸如无线LAN、Wi-Fi、蓝牙、Zigbee、WFD(Wi-Fi直连)、UWB(超宽带)、IrDA(红外数据关联)、BLE(蓝牙低能量)、和NFC(近场通信)之类的通信方法以在预定距离内与车辆V通信。然而，坐标系变换信息获取装置100与车辆V通信的方法不限于上述实施方式。
坐标系变换信息获取装置100可以基于通过安装在车辆V上的摄像装置C获取的周围图像和通过激光雷达L获取的点云来获取坐标系变换信息。为此，根据一个实施方式的坐标系变换信息获取装置100可以包括：车道信息获取单元140；水平地面识别单元110；第一坐标系变换信息获取单元120；第二坐标系变换信息获取单元130。
车道信息获取单元140可以通过安装在车辆V处的激光雷达L获取与邻近于车辆V的车道对应的第一车道信息。具体地，根据一个实施方式的车道信息获取单元140可以接收通过车辆V的激光雷达L获取的车辆V的周围环境的三维信息。接下来，根据一个实施方式的车道信息获取单元140可以提取车辆V的周围环境的三维信息上的关于车道的第一车道信息。
以上实施方式已经以车道信息获取单元140直接从本车辆V接收通过激光雷达L获取的三维信息为示例进行了描述。相反，根据另一实施方式的车道信息获取单元140可以只从车辆V接收第一车道信息。也就是说，一旦车辆V从通过激光雷达L获取的三维信息中提取了第一车道信息并且然后将提取到的第一车道信息发送至水平地面识别单元110，则水平地面识别单元110在接收到第一车道信息时，可以通过使用第一车道信息来判定车辆V是否正在水平地面上行驶。
另外，车道信息获取单元140可以通过车辆V的摄像装置C获取包含与车道对应的第二车道信息的周围图像。此外，车道信息获取单元140可以接收从车辆V的周围图像提取的第二车道信息。相反，车道信息获取单元140可以直接从接收到的周围图像中提取第二车道信息。
在这种情况下，从三维信息中提取的第一车道信息以及从周围图像中提取的第二车道信息可能需要包括至少两个对应车道的信息。为此，激光雷达L和摄像装置C可以安装在车辆V中，使得它们获取均包括至少两个对应车道的三维信息和周围图像。
另外，车道信息获取单元140可以接收分别通过车辆V的激光雷达L和摄像装置C在同一时间点获取的三维信息和周围图像。作为结果，通过激光雷达L获取的三维信息和通过摄像装置C获取的周围图像可以包括关于邻近于车辆V存在的车道的信息。水平地面识别单元110可以基于通过车辆V的激光雷达L获取的车辆V的周围环境的第一车道信息来识别车辆V是否正在水平地面上行驶。当车辆V正在水平地面上行驶时，可以使用周围环境的点云和图像上的车道信息来实现校准的精确度。因此，坐标系变换信息获取装置100可以在获取坐标系变换信息之前通过水平地面识别单元110识别车辆V是否正在水平地面上行驶。
具体地，水平地面识别单元110可以基于由车道信息获取单元140获取的第一车道信息来拟合平面，并且，如果拟合平面中的拟合误差等于或小于预定参考误差，则可以判定车辆V正在水平地面上行驶。
第一坐标系变换信息获取单元120可以将车辆V的周围图像中的第二车道信息与第一车道信息进行比较，以获取关于激光雷达L和摄像装置C的第一坐标系变换信息。如上所述，为了提高获取的坐标系变换信息的精确度，第一坐标系变换信息获取单元120可以仅当车辆V正在水平地面上行驶时执行用于第一坐标系变换信息获取的操作。
具体地，一旦车辆V通过水平地面识别单元110被识别为正在水平地面上行驶，则根据一个实施方式的第一坐标系变换信息获取单元120可以提取关于在由车道信息获取单元140接收的周围图像中存在的车道的第二车道信息。接下来，第一坐标系变换信息获取单元120可以通过将提取到的第二车道信息与先前提取的第一车道信息进行匹配来获取第一坐标系变换信息。
以上实施方式已经以第一坐标系变换信息获取单元120仅被提供有由车道信息获取单元140接收的周围图像为示例进行了描述。相反，根据另一实施方式的第一坐标系变换信息获取单元120可以从车道信息获取单元140接收从周围图像提取的第二车道信息。也就是说，一旦车辆V从通过摄像装置C获取的周围图像提取了第二车道信息，并且然后将提取的第二车道信息发送至车道信息获取单元140，则车道信息获取单元140可以向第一坐标系变换信息获取单元120提供第二车道信息以及周围图像，并且第一坐标系变换信息获取单元120可以通过使用第二车道信息来判定车辆V是否正在水平地面上行驶。
第二坐标系变换信息获取单元130可以通过使用周围图像的俯视图图像变换信息和车辆的行驶方向来获取关于车辆V和摄像装置C的第二坐标系变换信息。与第一坐标系变换信息获取单元120类似，第二坐标系变换信息获取单元130可以仅当车辆V正在水平地面上行驶时执行用于第二坐标系变换信息获取的操作。
具体地，根据一个实施方式的第二坐标系变换信息获取单元130可以从通过安装在车辆V上的摄像装置C获取并且从车道信息获取单元140提供的周围图像来获取扩展焦点(focus of expansion)，并且基于所获取的扩展焦点来获取车辆V的行驶方向。在获取车辆V的行驶方向之后，第二坐标系变换信息获取单元130可以通过使用从第一车道信息获取的车道的宽度和车道的方向来获取俯视图图像变换信息。最后，第二坐标系变换信息获取单元130基于俯视图图像变换信息的逆信息和车辆V的行驶方向来获取第二坐标系变换信息。
以上实施方式已经以第二坐标系变换信息获取单元130通过车道信息获取单元140从车辆V接收通过摄像装置C获取的周围图像为示例进行了描述。相反，根据另一实施方式的第二坐标系变换信息获取单元130可以通过车道信息获取单元140从车辆V接收扩展焦点的位置以及周围图像。也就是说，一旦车辆V在通过摄像装置C获取的周围图像中识别出扩展焦点的位置，并且然后将扩展焦点的位置连同周围图像一起发送至车道信息获取单元140，则车道信息获取单元140向第二坐标系变换信息获取单元130提供接收到的周围图像和扩展焦点的位置，并且第二坐标系变换信息获取单元130在接收到周围图像和扩展焦点的位置时，可以通过使用扩展焦点来获取车辆V的行驶方向。
同时，尽管图1示出了坐标系变换信息获取装置100与车辆V分开配置并且构成坐标系变换信息获取***1，但坐标系变换信息获取装置100也可以被包括作为车辆V的一个部件。
参照图2，根据另一实施方式的坐标系变换信息获取***1可以被配置为包括坐标系变换信息获取装置100的车辆V。应当注意，除了坐标系变换信息获取装置100被配置的方式之外，图1的坐标系变换信息获取***1和图2的坐标系变换信息获取***1以相同的方式操作。
根据图1和图2的实施方式的坐标系变换信息获取装置100的部件中的每一个可以被实现为包括微处理器——例如，中央处理单元(CPU)和图形处理单元(GPU)中的至少一个——的计算设备。相反，坐标系变换信息获取装置100的组件中的至少两个可以被实现为SOC(片上***)。
到目前为止，已经描述了坐标系变换信息获取***1的部件。参照图4至图10，下面将描述由坐标系变换信息获取***1执行的坐标系变换信息获取方法。
首先，车辆V可以通过激光雷达L获取车辆V的周围环境的三维信息。
坐标系变换信息获取***1可以基于通过车辆V的激光雷达L获取的车辆V的周围环境的第一车道信息来识别车辆V是否正在水平地面上行驶。这将参照图4和图5进行描述。
图4是根据一个实施方式的坐标系变换信息获取方法中的如何识别车辆是否正在水平地面上行驶的方法的流程图。图5是用于说明根据一个实施方式的从通过车辆的激光雷达获取的三维信息中提取第一车道信息的方法的视图。
参照图4，首先，坐标系变换信息获取装置100的水平地面识别单元110可以从车辆V的周围环境的三维信息中提取第一车道信息(S100)。此处，三维信息可以是指由车辆V周围的对象反射的激光所生成的点云。具体地，激光雷达L可以接收由在周围环境中的雷达发射区域内存在的对象反射的激光，并且生成点云，点云是亮度值随着接收到的激光的强度而变化的点集。例如，对于具有较高激光反射比的对象，激光雷达L可以增加与该对象的位置对应的点的亮度值。
此外，第一车道信息可以包括构成三维信息的点云上的推测的车道区域的曲率导数、曲率、方向、偏移等。
由于车辆V周围的道路上的车道区域的激光反射比高于其周围区域，所以在通过激光雷达L获取的三维信息中，与车道区域对应的点的亮度值可以高于周围区域中的亮度值。因此，根据一个实施方式的水平地面识别单元110可以基于分别与道路上的车道区域及其周围区域对应的点的亮度值模式，在三维信息上提取关于车道的第一车道信息。
图5是通过在与中央的矩形区域对应的车辆V中配置的激光雷达L获取的三维信息的平面视图。在图5中，可以看到向左和向右延伸的点云，并且水平地面识别单元110可以将点云识别为车道并提取关于车道的第一车道信息。
为了提取第一车道信息，根据一个实施方式的水平地面识别单元110可以使用公知的模式识别技术中的一种，或者可以使用诸如深度学习的机器学习方法。
尽管以上实施方式假定通过坐标系变换信息获取装置100的水平地面识别单元110执行步骤S100，但也可以通过车辆V执行步骤S100，并且车辆V可以将第一车道信息发送至坐标系变换信息获取装置100。相反，车辆V可以将三维信息发送至坐标系变换信息获取装置100，并且然后坐标系变换信息获取装置100的车道信息获取单元140可以从接收到的三维信息中提取第一车道信息，并且将第一车道信息提供给水平地面识别单元110。
接下来，坐标系变换信息获取装置100的水平地面识别单元110可以基于提取的第一车道信息来拟合平面(S110)。由于车道设置在行驶道路上，因此可以通过获得由与车道对应的第一车道信息上的点组成的平面的方程来将行驶道路拟合到平面上。具体地，水平地面识别单元110可以通过使用构成第一车道信息的至少四个点(假设它们具有坐标(x,y,z))来获得平面方程ax+by+cz＝d的系数a、b、c和d。
在拟合平面之后，坐标系变换信息获取装置100的水平地面识别单元110可以比较拟合的平面中的误差是否等于或小于参考误差(S120)。此处，参考误差可以指可靠的拟合平面方程针对第一车道信息具有的误差的最大值。具体地，水平地面识别单元110可以根据数学式1获得拟合误差(fitting error)：
[数学式1]
Figure BDA0002942792160000101
其中，(xi,yi,zi)表示构成第i个第一车道信息的点的坐标。
如果拟合平面中的误差超过参考误差，则坐标系变换信息获取装置100的水平地面识别单元110可以再次提取第一车道信息。另一方面，如果拟合平面中的误差等于或小于参考误差，则坐标系变换信息获取装置100的水平地面识别单元110可以确定车辆V正在水平地面上行驶(S130)。
因此，一旦基于第一车道信息确定车辆V正在水平地面上行驶，则坐标系变换信息获取装置100可以获取关于激光雷达L和摄像装置C的第一坐标系变换信息。这将参照图6和图7进行描述。
图6是根据一个实施方式的坐标系变换信息获取方法中的用于获取第一坐标系变换信息的方法的流程图。图7是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像中提取第二车道信息的方法的视图。
首先，根据一个实施方式的坐标系变换信息获取装置100的第一坐标系变换信息获取单元120可以识别车辆V是否正在水平地面上行驶(S200)。如果车辆V没有在水平地面上行驶，则第一坐标系变换信息获取单元120可以重复地识别车辆V是否正在水平地面上行驶。
另一方面，如果车辆V正在水平地面上行驶，则根据一个实施方式的第一坐标系变换信息获取单元120可以从周围图像中提取第二车道信息(S210)。此处，第二车道信息可以包括周围图像中的假定的车道区域的曲率导数、曲率、方向、偏移等。
图7是通过正在水平地面上行驶的车辆V的摄像装置C获取的周围图像的示例图。在图7的周围图像中，看到黑色道路上的白线，并且第一坐标系变换信息获取单元120可以将白线识别为车道，并且提取关于车道的第二车道信息。图7示出了与车道沿相同方向延伸的线以粗线示出。
为了提取第二车道信息，根据一个实施方式的第一坐标系变换信息获取单元120可以使用公知的模式识别技术中的一种或者可以使用诸如深度学习的机器学习方法。
尽管以上实施方式假定步骤S210由坐标系变换信息获取装置100的第一坐标系变换信息获取单元120执行，但是步骤S210可以由车辆V执行，并且车辆V可以将得到的第二车道信息发送至坐标系变换信息获取装置100。相反，车辆V可以将周围图像发送至坐标系变换信息获取装置100，并且然后，坐标系变换信息获取装置100的车道信息获取单元140可以从接收到的周围图像中提取第二车道信息，并且将第二车道信息提供给第一坐标系变换信息获取单元120。
一旦提取了第二车道信息，第一坐标系变换信息获取单元120可以通过将提取的第二车道信息与第一车道信息进行匹配来获取第一坐标系变换信息(S220)。如上所述，第一车道信息和第二车道信息包括关于至少两个相应车道的信息。因此，第一坐标系变换信息获取单元120可以将相应车道的第一车道信息和第二车道信息进行匹配。
具体地，第一坐标系变换信息获取单元120可以根据数学式2获取摄像装置C与激光雷达L之间的第一坐标系变换信息：
[数学式2]
Figure BDA0002942792160000121
其中，数学式2的解T*(c,l)表示三维变换矩阵，该三维变换矩阵表示激光雷达L相对于摄像装置C的坐标系的姿态角，作为第一坐标系变换信息，Zk表示从周围图像提取的第二车道信息的坐标，Pk表示与Zk对应的第一车道信息上的点的坐标，Czk和Cpk分别表示Zk和Pk的误差的协方差，并且H表示函数h()的雅可比行列式。函数h()可以是以下函数：该函数通过三维变换矩阵T(c,l)将Pk变换为摄像装置C的坐标系中的坐标值，并且通过摄像装置C的固有参数将其投影为二维图像。
为了通过使用数学式2获得T*(c,l)，第一坐标系变换信息获取单元120可以执行以下步骤。在第一步中，第一坐标系变换信息获取单元120可以通过使用T(c,l)将第一车道信息上的点的坐标变换为摄像装置C的坐标系中的坐标值，然后查找周围图像中与第二车道信息对应的像素，并且然后通过使用数学式2获得表示激光雷达L相对于摄像装置C的坐标系的姿态角的T(c,l)。在第二步中，可以通过重复第一步直到先前的T(c,l)与当前的T(c,l)之间的差变为等于或小于阈值来查找数学式2的解T*(c,l)。
为了查找数学式2的解，第一坐标系变换信息获取单元120可以选择公知的算法中的至少之一，例如，高斯牛顿算法(Gauss Newton algorithm)或莱文伯格-马夸特算法(Levenberg-Marquardt algorithm)。
在通过上述方法获取第一坐标系变换信息之后，坐标系变换信息获取装置100可以获取关于车辆V和摄像装置C的第二坐标系变换信息。这将参照图8至图10进行描述。
图8是根据一个实施方式的坐标系变换信息获取方法中的用于获取第二坐标系变换信息的方法的流程图。图9是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像中提取扩展焦点的方法的视图。图10是根据一个实施方式的通过车辆的摄像装置获取的周围图像的俯视图图像的视图。
参照图8，坐标系变换信息获取装置100的第二坐标系变换信息获取单元130可以基于周围图像中的扩展焦点来获取车辆V的行驶方向(S300)。为此，第二坐标系变换信息获取单元130可以首先判定车辆V是否直线向前行驶。具体地，第二坐标系变换信息获取单元130可以基于车辆V的转向角和横摆率中的至少一个来判定车辆V是否直线向前行驶。如果车辆V的转向角和横摆率的绝对值小于预定阈值，则第二坐标系变换信息获取单元130可以判定车辆V正在直线向前行驶。
一旦判定车辆V正在直线向前行驶，则第二坐标系变换信息获取单元130可以在不同时间点处获取的多个周围图像中提取多个特征点。根据一个实施方式的第二坐标系变换信息获取单元130可以通过基于卢卡斯-卡纳德(Lukas-Kanade)方法使用光流来提取周围图像中的特征点，其结果如图9所示。然而，这仅仅是提取周围图像中的特征点的方法的实施方式，并且特征点提取方法不限于上述实施方式。
接下来，第二坐标系变换信息获取单元130可以获取多个周围图像中相同特征点的运动矢量。在获取运动矢量之后，第二坐标系变换信息获取单元130可以找到运动矢量的交点。在车辆V正在直线向前行驶的情况下，运动矢量在一点处相遇，该点被称为扩展焦点。假设与车辆的行驶方向垂直的方向被称为参考侧方向，在摄像装置C被安装成相对于参考侧方向面向行驶方向的情况下，可以在车辆的前方形成从多个周围图像中提取的多个特征点的运动矢量的交点。在这种情况下，第二坐标系变换信息获取单元130可以确定交点是扩展焦点。另一方面，在摄像装置C被安装成相对于车辆V的参考侧方向面向行驶方向的相反方向情况下，可以在车辆的后方形成从多个周围图像中提取的多个特征点的运动矢量的交点。在这种情况下，第二坐标系变换信息获取单元130可以确定交点的Z坐标的180度旋转位置是扩展焦点。
同时，在执行光流时，可能存在由于实际道路环境而生成的误差。因此，第二坐标系变换信息获取单元130可以通过以下步骤找到扩展焦点。
在第一步中，第二坐标系变换信息获取单元130可以找到包括周围图像中的k个特征点的特征点组的运动矢量的交点，并且获取该交点作为候选的扩展焦点。在第二步中，第二坐标系变换信息获取单元130可以找到周围图像中的特征点的通过第一步中获取的候选扩展焦点的运动矢量的数量。在第三步中，第二坐标系变换信息获取单元130可以重复执行第一步和第二步。在第四步中，第二坐标系变换信息获取单元130可以确定最大数量的特征点的运动矢量所通过的候选扩展焦点是扩展焦点。
相反，除了上述方法之外，根据另一实施方式的第二坐标系变换信息获取单元130还可以执行第五步骤：通过使用通过第四步中确定的扩展焦点的特征点的所有运动矢量来找到另一交点，并且将该另一交点选为最终的扩展焦点。由此，可以提高扩展焦点确定的精确度。
作为通过上述过程查找图9中扩展焦点的结果，点P被确定为扩展焦点。
在基于周围图像确定了扩展焦点之后，第二坐标系变换信息获取单元130可以基于扩展焦点来获取车辆V相对于摄像装置C的坐标系的行驶方向。此处，车辆V的行驶方向可以由图3中车辆V的坐标系中的Xv轴表示。具体地，第二坐标系变换信息获取单元130可以根据以下数学式3获取车辆V相对于摄像装置C的坐标系的行驶方向X(c,v)：
[数学式3]
Figure BDA0002942792160000141
其中，矢量X(c,v)表示相对于摄像装置C的坐标系的车辆V的坐标系中的Xv轴，K表示摄像装置C的固有参数的3x3矩阵，并且mFOE表示扩展焦点的坐标(u,v,l)。通过数学式3获得的矢量X(c,v)被表示为单位矢量。
在获取车辆V的行驶方向之后，第二坐标系变换信息获取单元130通过使用从第一车道信息获取的车道的宽度和车道的方向来获取俯视图图像变换信息。此处，俯视图图像变换信息可以指示表示摄像装置C相对于地球表面的坐标系的姿态角的变换矩阵，变换矩阵用于将周围图像转换为俯视图图像，这可以由以下数学式4定义：
[数学式4]
mtopview＝KR(r，c)K-1Xmoriginal
其中，mtopview表示俯视图图像中的像素坐标，K表示摄像装置C的固有参数的3x3矩阵，并且moriginal表示周围图像中的像素坐标。
第二坐标系变换信息获取单元130可以基于变换矩阵R(r,c)的初始值将周围图像变换为俯视图图像，并且俯视图图像中的车道可以由以下数学式5的线性方程来限定：
[数学式5]
xcosθi+yysinθi＝ri
其中，(x,y)表示相对于地球表面的坐标系的俯视图图像中的像素坐标，i表示用于区分车道的多条车道的索引。
参照图10，在俯视图图像中存在白色车道，以及沿车道方向延伸的黑色直线可以通过由数学式5限定的线性方程给出。
在求解了针对车道的线性方程之后，第二坐标系变换信息获取单元130可以通过使用从第一车道信息获取的车道宽度和车道方向来获取俯视图图像变换信息(S310)。通过激光雷达L获取的三维信息中的第一车道信息包括关于车道的实际宽度信息，并且第二坐标系变换信息获取单元130可以通过使用周围图像中的车道的平行构造、根据以下数学式6获得变换矩阵R(r,c)：
[数学式6]
Figure BDA0002942792160000151
其中，i和j表示车道的索引，并且di,j表示第i车道和第j车道之间的宽度。
第二坐标系变换信息获取单元130可以通过将由数学式6获取的变换矩阵R(r,c)代入数学式4中重复以上过程来迭代地获得作为数学式6的解的变换矩阵R*(r,c)。也就是说，第二坐标系变换信息获取单元130可以获得当俯视图图像中的多条车道彼此平行并且多条车道之间的宽度与实际车道间距离非常相似时获取的变换矩阵R*(r,c)作为数学式6的解。
在根据上述方法获取俯视图图像变换信息之后，第二坐标系变换信息获取单元可以基于俯视图图像变换信息的逆信息和车辆V的行驶方向最终获取第二坐标系变换信息(S320)。具体地，第二坐标系变换信息获取单元130可以根据以下数学式7获取车辆V相对于摄像装置C的坐标系的作为第二坐标系变换信息的姿态角R(c,v)：
[数学式7]
Figure BDA0002942792160000161
Figure BDA0002942792160000162
Figure BDA0002942792160000163
Figure BDA0002942792160000164
其中，R(c,r)表示变换矩阵R(r,c)即俯视图图像变换信息的逆，X(c,v)表示相对于摄像装置C的坐标系的车辆V的坐标系中的Xv轴，作为车辆V的行驶方向，并且符号‘x’表示两个矢量的叉积。参照图7，矢量Y(c,v)和矢量Z(c,v)通过给定矢量的叉积来获得，并且可以被表示为单位矢量。
根据上述过程，一旦获取了第一坐标系变换信息和第二坐标系变换信息，则坐标系变换信息获取装置100可以通过使用第一坐标系变换信息和第二坐标系变换信息来获取车辆V与激光雷达L之间的第三坐标系变换信息。由此，可以完成在车辆V、摄像装置C和激光雷达L之间的校准。
上述用于获取坐标系变换信息的装置和方法允许在无需设备或人工操作的情况下获取用于行驶车辆的摄像装置和激光雷达的坐标系变换信息，从而减少校准和获取精确坐标系变换信息所需的成本和时间。
同时，根据一个实施方式的上述坐标系变换信息获取方法中包括的每个步骤可以以用于存储被编程为执行这些步骤的计算机程序的计算机可读记录介质来实现。
以上描述仅仅是本公开内容的技术范围的示例性描述，并且本领域技术人员将理解，在不脱离本公开内容的原始特征的情况下，可以进行各种改变和修改。因此，本公开内容中公开的实施方式旨在说明而非限制本公开内容的技术范围，并且本公开内容的技术范围不受实施方式的限制。本公开内容的保护范围应当基于所附权利要求来解释，并且应当理解的是，包括在与其等同的范围内的所有技术范围都包括在本公开内容的保护范围内。
根据一个实施方式，因为上述用于获取坐标系变换信息的装置和方法在诸如家庭或工业的各种领域中使用，因此其在工业上是可应用的。

Claims (12)

1.一种用于获取坐标系变换信息的方法，所述方法包括：
通过安装在车辆上的激光雷达获取包括与邻近于所述车辆的车道对应的第一车道信息的三维信息，并且通过安装在所述车辆上的摄像装置获取包括与所述车道对应的第二车道信息的周围图像；以及
通过将所述第二车道信息与所述第一车道信息进行比较，获取关于所述激光雷达和所述摄像装置的第一坐标系变换信息。
2.根据权利要求1所述的方法，其中，所述获取第一坐标系变换信息包括：
从所述三维信息中提取所述第一车道信息；
基于所提取的第一车道信息来拟合平面；
如果所述平面的拟合误差等于或小于预定参考误差，则确定所述车辆正在水平地面上行驶；以及
如果所述车辆正在水平地面上行驶，则获取所述第一坐标系变换信息。
3.根据权利要求1所述的方法，其中，所述获取第一坐标系变换信息包括：
如果所述车辆正在水平地面上行驶，则从所述周围图像中提取所述第二车道信息；以及
通过将所提取的第二车道信息与所述第一车道信息进行匹配，获取所述第一坐标系变换信息。
4.根据权利要求1所述的方法，还包括：
通过使用基于所述周围图像获取的俯视图图像变换信息和所述车辆的行驶方向，获取关于所述车辆和所述摄像装置的第二坐标系变换信息。
5.根据权利要求4所述的方法，其中，所述获取第二坐标系变换信息包括：
通过使用基于周围图像获取的扩展焦点来获取所述车辆的行驶方向；
通过使用从所述第一车道信息获取的所述车道的宽度和所述车道的方向来获取所述俯视图图像变换信息；以及
基于所述俯视图图像变换信息的逆信息和所述车辆的行驶方向来获取所述第二坐标系变换信息。
6.根据权利要求5所述的方法，其中，所述获取所述车辆的行驶方向包括：
获取在不同时间处获取的多个周围图像中的相应特征点的运动矢量；
基于所获取的运动矢量的交点确定所述扩展焦点；以及
通过使用所确定的扩展焦点和所述摄像装置的固有参数来获取所述车辆的行驶方向。
7.根据权利要求6所述的方法，其中，当确定所述车辆正在直线向前行驶时，所述获取运动矢量基于所述车辆的转向角和横摆率中的至少一个来获取所述运动矢量。
8.根据权利要求6所述的方法，其中，所述确定扩展焦点包括：
基于多个特征点之中的各个不同特征点组的运动矢量的交点来获得多个候选扩展焦点；以及
将所述多个候选扩展焦点之中的以下候选扩展焦点确定为所述周围图像中的扩展焦点：所述候选扩展焦点具有最大数量的通过该候选扩展焦点的运动矢量。
9.根据权利要求5所述的方法，其中，所述获取俯视图图像变换信息获取以下的俯视图图像变换信息：所述俯视图图像变换信息使基于从所述第一车道信息和所述周围图像获取的车道间距离和车道方向迭代地确定的多个俯视图图像之间的车道间距离和车道方向的差异最小化。
10.根据权利要求4所述的方法，还包括基于所述第一坐标系变换信息和所述第二坐标系变换信息获取关于所述车辆和所述激光雷达的第三坐标系变换信息。
11.一种用于获取坐标系变换信息的装置，所述装置包括：
水平地面识别单元，其被配置成基于通过安装在车辆上的激光雷达获取的关于与所述车辆相邻的车道的第一车道信息来识别所述车辆是否正在水平地面上行驶；以及
第一坐标系变换信息获取单元，其被配置成将通过安装在所述车辆上的摄像装置获取的所述车辆的周围图像中的关于所述车道的第二车道信息与所述第一车道信息进行比较，以获取关于所述激光雷达和所述摄像装置的第一坐标系变换信息。
12.一种用于存储计算机程序的计算机可读记录介质，所述计算机程序被编程为执行用于获取坐标系变换信息的方法，所述方法包括：
通过安装在车辆上的激光雷达获取包括与邻近于所述车辆的车道对应的第一车道信息的三维信息，并且通过安装在所述车辆上的摄像装置获取包括与所述车道对应的第二车道信息的周围图像；以及
通过比较所述第二车道信息和所述第一车道信息，获取关于所述激光雷达和所述摄像装置的第一坐标系变换信息。
CN201980053837.3A 2018-08-17 2019-05-31 用于获取坐标变换信息的装置和方法 Pending CN112567264A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180096210A KR102146451B1 (ko) 2018-08-17 2018-08-17 좌표계 변환 정보 획득 장치 및 방법
KR10-2018-0096210 2018-08-17
PCT/KR2019/006557 WO2020036295A1 (ko) 2018-08-17 2019-05-31 좌표계 변환 정보 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
CN112567264A true CN112567264A (zh) 2021-03-26

Family

ID=69525532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053837.3A Pending CN112567264A (zh) 2018-08-17 2019-05-31 用于获取坐标变换信息的装置和方法

Country Status (4)

Country Link
US (1) US11954871B2 (zh)
KR (1) KR102146451B1 (zh)
CN (1) CN112567264A (zh)
WO (1) WO2020036295A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7234354B2 (ja) * 2018-09-30 2023-03-07 グレート ウォール モーター カンパニー リミテッド 走行座標系の構築方法及びその使用
CN113496520B (zh) * 2020-04-02 2024-05-28 北京四维图新科技股份有限公司 摄像机转俯视图的方法、装置及存储介质
KR102535300B1 (ko) * 2021-05-03 2023-05-26 (주)이레에프에이 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법
KR102363719B1 (ko) * 2021-06-30 2022-02-16 주식회사 모빌테크 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
CN115797900B (zh) * 2021-09-09 2023-06-27 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN113865582B (zh) * 2021-09-27 2023-09-05 南京农业大学 一种果树行间农用车辆航向角与横向偏差的测定方法
CN114935747B (zh) * 2022-05-02 2023-05-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置、设备及存储介质
CN115166743B (zh) * 2022-08-30 2022-12-09 长沙隼眼软件科技有限公司 车道自动标定方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
KR20100111543A (ko) * 2009-04-07 2010-10-15 주식회사 만도 차량 인식 방법 및 장치
US20140347484A1 (en) * 2013-05-23 2014-11-27 Electronics And Telecommunications Research Institute Apparatus and method for providing surrounding environment information of vehicle
CN104574376A (zh) * 2014-12-24 2015-04-29 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN107798724A (zh) * 2016-09-02 2018-03-13 德尔福技术有限公司 自动化车辆3d道路模型和车道标记定义***
CN107792052A (zh) * 2017-10-11 2018-03-13 武汉理工大学 有人或无人双模驾驶电动工程车
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
KR20150055183A (ko) * 2013-11-12 2015-05-21 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
CN106462727B (zh) * 2014-01-30 2020-02-11 移动眼视力科技有限公司 车辆、车道终止检测***和方法
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
DE102015209467A1 (de) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
KR101866075B1 (ko) 2016-10-20 2018-06-08 현대자동차주식회사 차선 추정 장치 및 방법
KR20230054911A (ko) * 2016-10-31 2023-04-25 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
KR101840974B1 (ko) 2017-04-28 2018-03-22 재단법인 경북아이티융합 산업기술원 자율주행용 차선 식별 시스템
US10668925B2 (en) * 2017-09-05 2020-06-02 Baidu Usa Llc Driver intention-based lane assistant system for autonomous driving vehicles
US10496098B2 (en) * 2017-09-12 2019-12-03 Baidu Usa Llc Road segment-based routing guidance system for autonomous driving vehicles
EP3721172B1 (en) * 2018-03-05 2023-05-10 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
JP7125214B2 (ja) * 2018-04-03 2022-08-24 モービルアイ ビジョン テクノロジーズ リミテッド プログラムおよびコンピューティングデバイス
EP3784989B1 (en) * 2018-05-15 2024-02-14 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) * 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
KR20100111543A (ko) * 2009-04-07 2010-10-15 주식회사 만도 차량 인식 방법 및 장치
US20140347484A1 (en) * 2013-05-23 2014-11-27 Electronics And Telecommunications Research Institute Apparatus and method for providing surrounding environment information of vehicle
CN104574376A (zh) * 2014-12-24 2015-04-29 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN107798724A (zh) * 2016-09-02 2018-03-13 德尔福技术有限公司 自动化车辆3d道路模型和车道标记定义***
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN107792052A (zh) * 2017-10-11 2018-03-13 武汉理工大学 有人或无人双模驾驶电动工程车

Also Published As

Publication number Publication date
KR102146451B1 (ko) 2020-08-20
KR20200020465A (ko) 2020-02-26
US20210295060A1 (en) 2021-09-23
WO2020036295A1 (ko) 2020-02-20
US11954871B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
US11320833B2 (en) Data processing method, apparatus and terminal
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN112189225B (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
EP2071491B1 (en) Stereo camera device
US9201424B1 (en) Camera calibration using structure from motion techniques
CN110462343A (zh) 基于地图的用于车辆的自动图像标记
CN107422730A (zh) 基于视觉导引的agv运输***及其驾驶控制方法
US11417018B2 (en) Device and method for calibrating camera for vehicle
US20200082182A1 (en) Training data generating method for image processing, image processing method, and devices thereof
CN104217615A (zh) 一种基于车路协同的行人防碰撞***和方法
CN110119698A (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN110491156A (zh) 一种感知方法、装置及***
TWI754808B (zh) 載具、載具定位系統及載具定位方法
JP5429986B2 (ja) 移動ロボットの遠方環境認識装置及び方法
CN112805766A (zh) 用于更新详细地图的装置和方法
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
CN109895697B (zh) 一种行车辅助提示***及方法
WO2021245515A1 (en) Detection of traffic safety mirrors and navigational response
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치
KR20210041969A (ko) 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법
KR20200141871A (ko) 차선 정보 획득 장치 및 방법
CN113658240B (zh) 一种主要障碍物检测方法、装置与自动驾驶***
US20240051359A1 (en) Object position estimation with calibrated sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination