CN113508277A - 车道标记定位和融合 - Google Patents

车道标记定位和融合 Download PDF

Info

Publication number
CN113508277A
CN113508277A CN201980073597.3A CN201980073597A CN113508277A CN 113508277 A CN113508277 A CN 113508277A CN 201980073597 A CN201980073597 A CN 201980073597A CN 113508277 A CN113508277 A CN 113508277A
Authority
CN
China
Prior art keywords
response
vehicle
map
location
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980073597.3A
Other languages
English (en)
Inventor
王明东
钱辰哲
梅学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN113508277A publication Critical patent/CN113508277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

所公开的技术的各种实施例提供了一种用于迭代车道标记定位的***和方法，该***和方法可以由在车道内行进的自主车辆或半自主车辆利用。在实施例中，该***包括：定位设备，以确定车辆的地理地点；数据库；区域地图；响应地图；多个摄像头；以及与定位设备、数据库和摄像头连接的计算机。该计算机适于：接收与指定的地理地点相对应的区域地图；通过从摄像头接收与车辆所处的环境有关的信息，识别由摄像头观察到的车道标记以及在响应地图上绘制识别出的车道标记来生成响应地图；将响应地图和区域地图进行比较；以及基于响应地图和区域地图的比较迭代地生成预测的车辆地点。

Description

车道标记定位和融合
相关申请的交叉引用
本专利文件要求于2018年2月14日提交的标题为“车道标记定位和融合”的第15/896,077号美国专利申请以及于2018年11月8日提交的标题为“车道标记定位和融合”的第16/184,926号美国专利申请的优先权和权益。上述专利申请的公开内容通过引用并入本文，作为本文件的公开内容的一部分。
技术领域
本专利文件涉及GPS定位，并且更具体地，涉及用于在道路上融合定位的***和方法。
背景技术
全球定位卫星(“GPS”)技术被广泛用作在道路上定位汽车的手段。随着自主驾驶和半自主驾驶汽车的发展，准确地知道在道路中的车辆的位置变得至关重要。例如，沃尔沃(Volvo)和特斯拉(Tesla)的自动驾驶汽车已经由褪色的车道标志和其它破旧的路况而被轻易地混淆了。此外，当前的GPS技术是不准确的。为了实现全自主的自动驾驶车辆，需要计算机能够以高精度确定在道路内的车辆的横向位置。附加地，高级驾驶辅助***(“ADAS”)将从该功能中受益匪浅。例如，通过准确地知道车道内的车辆的横向位置，可以大大受益于车道保持辅助(“LKA”)***、车道偏离警告(“LDW”)***以及车道变更辅助***。ADAS***的其它示例包括自适应巡航控制、自适应灯光控制、防抱死制动***、自动化停车、盲点监控、防碰撞***、路口检测、车道偏离警告***、停车传感器、转向辅助以及错误驾驶警告。
车辆可以利用各种等级的自主驾驶。例如，第一级自主驾驶可以在一些驾驶任务(诸如，转向或发动机加速/减速)期间辅助驾驶员。当驾驶员监控驾驶环境并且控制剩余的驾驶任务时，第二级自主驾驶可以进行一些转向和加速/减速。这种***被称为部分自动化***。第三级自主驾驶可以进行驾驶任务并且监控驾驶环境，但是当自主***请求时，驾驶员必须准备好重新获得控制权。这种***通常被称为有条件的自动化***。第四级自主驾驶可以驾驶车辆并且监控道路状况；驾驶员无需控制但是***只能在特定条件和环境下运行，诸如工厂内部、封闭的道路上或边界区域内。这种***被称为高度自动化***。第五级自主驾驶可以在所有驾驶条件下执行所有驾驶和道路监控任务。这种***被称为全自动***。
当前技术依赖于GPS技术来确定在道路内的车辆的横向位置。然而，这种方法容易产生较大的漂移——在技术误差范围内的车辆周围的横向区域。给定***中的漂移量取决于许多因素，包括信号强度和所使用的GPS硬件的精度。针对普通消费者的典型GPS设备的漂移大约为10米。即使利用具有最佳信号强度的最精密仪器，***也会出现1-2米或更大漂移，这对于自动驾驶车辆是不可接受的。
为了提高GPS定位的准确性，当前技术还采用了惯性测量单元(“IMU”)。IMU是一种可以使用加速度计和陀螺仪的组合来测量和报告车辆的比力和角速度的电子设备。然而，即使在利用IMU进行扩充时，当前的横向定位方法和***仍会经历大量的漂移。为了使这种***在自动驾驶车辆中有用，分辨率需要大约为10cm或更小。
因此，需要一种可以利用GPS信息并且以高精度确定道路内的车辆的横向位置的***。迄今为止，这种需求仍未得到满足。
发明内容
该专利文件中公开的技术可以在各种实施例中被实现，以通过提供一种***和方法来克服现有技术的这些缺陷和其它缺陷，该***和方法通过将与车辆有关的信息和存储在数据库中的区域信息进行比较来确定道路车道内的车辆的地点。为了提高车辆的预测地点的准确性，所公开的技术的一些实施例还可以利用与车辆的即时预测地点融合的先前确定的预测的地点。在示例实施例中，用于确定车辆的地点的方法包括：近似车辆的区域；从数据库接收区域地图，其中区域地图对应于车辆的近似的区域，并且包括指示预期的道路车道的多个区域点；接收由第一成像设备生成的第一响应图像，第一响应图像包括与车辆的环境有关的信息；从第一响应图像生成第一响应地图，第一响应地图包括指示车辆的地点的多个第一响应点；将第一响应地图与区域地图进行比较；以及基于第一响应点与区域点之间的差异预测车辆的地点。
在另一个示例实施例中，用于确定车辆的地点的方法还包括：接收由第二成像设备生成的第二响应图像，该第二响应图像包括与车辆的环境有关的信息；从第二响应图像生成第二响应地图，第二响应地图包括指示车辆的地点的多个第二响应点；并且将第二响应地图与区域地图进行比较；其中预测的车辆的地点还包括比较第二响应点、第一响应点与区域点之间的差异。
在另一个示例实施例中，用于确定车辆的地点的方法还包括：接收由第三成像设备生成的第三响应图像，第三响应图像包括与车辆的环境有关的信息；从第三响应图像生成第三响应地图，该第三响应图像包括指示车辆的地点的多个第三响应点；并且将第三响应地图与区域地图进行比较；其中预测的车辆的地点还包括比较第三响应点、第二响应点、第一响应点与区域点之间的差异。
在另一个示例实施例中，可以使用GPS设备或IMU设备来近似车辆的区域。
在另一个示例实施例中，生成响应地图还可以包括监测响应图像中的车道标记，车道标记与包含在响应图像中的物理方面有关；并且在响应地图上绘制响应点，该响应点指示车道标记的地点。
在另一个示例实施例中，本公开的技术还可以包括生成置信度分数。
在另一个示例实施例中，可以从雷达感测设备、LIDAR感测设备、GPS感测信息和/或图像生成响应图像。
在另一个示例实施例中，可以在选定的频率处比较区域地图和响应地图。
在另一个示例实施例中，选择的频率可以是每秒至少20个周期。
在另一个示例实施例中，本公开的技术还可以包括将车辆的预测的地点输出给ADAS。
在另一个示例实施例中，第一成像设备、第二成像设备和第三成像设备可以各自适于感知车辆的环境的不同方面。
在另一个示例实施例中，本公开的技术包括：用于确定在道路上的车辆的地点的***，该***包括适于确定车辆的地理区域的定位设备；数据库，包括多个区域地图，该区域地图包括多个区域点；第一成像设备，适于感知与车辆的环境有关的信息；处理器，以预定频率可操作地连接到定位设备、数据库以及第一成像设备，该处理器适于从定位设备接收车辆的确定的地理区域；从数据库接收与车辆的确定的地理区域相对应的区域地图；从第一成像设备接收感知到、的与车辆的环境有关的信息；生成第一响应地图，第一响应地图包括与在第一响应地图内检测到的车道标记相对应的多个第一响应点；将第一响应地图与区域地图进行比较；以及基于区域地图和第一响应地图的比较来确定车辆的预测的地点。
在另一个示例实施例中，处理器还可以被配置为生成融合的车辆地点，该融合的车辆地点包括车辆的预测的地点和先前确定的车辆的地点。
在另一个示例实施例中，本公开的技术还可以包括：第二成像设备，该第二成像设备适于感知与车辆的环境有关的信息；其中，处理器还适于从第二成像设备接收感知到的与车辆的环境有关的信息；从第二响应地图生成第二响应地图，第二响应地图包括与在第二响应地图内检测的车道标记相对应的多个第二响应点；以及基于区域地图、第一响应地图和第二响应地图的比较来确定车辆的预测的地点。
在另一个示例实施例中，本公开的技术还可以包括：第三成像设备，该第三成像设备适于感知与车辆的环境有关的信息；其中，处理器还适于从第三成像设备接收感知到的与车辆的环境有关的信息；从第三响应地图生成第三响应地图，第三响应地图包括与在第三响应地图内检测的车道标记相对应的多个第三响应点；以及基于区域地图、第一响应地图、第二响应地图以及第三响应地图的比较来确定车辆的预测的地点。
在另一个示例实施例中，定位设备可以包括GPS设备或IMU设备。
在另一个示例实施例中，成像设备可以包括摄像头或LIDAR设备。
在另一个示例实施例中，预定频率可以是每秒至少20个周期。
在另一个示例实施例中，处理器还可以被配置为将车辆的预测的地点输出给ADAS。
在另一个示例实施例中，处理器还可以被配置为确定置信度分数。
在另一个示例实施例中，第一成像设备、第二成像设备和第三成像设备可以各自适于感知车辆的环境的不同方面。
在另一个示例实施例中，用于确定车辆的地点的方法包括：基于车辆的先前的地点和从确定车辆的先前的地点起的经过的时间来生成时间地点预测信息(temporallocation prediction information)；通过将当前视觉信息与来自数据库的近似的区域信息进行比较来生成视觉地点预测信息；以及将时间地点预测和视觉地点预测相结合来预测车辆的地点。
在一些示例实施例中，视觉地点预测信息的生成包括：近似车辆的区域；从数据库接收区域地图，该区域地图与车辆的近似的区域相对应并且包括指示预期的道路车道的多个区域点；接收分别地由一个或多个成像设备生成的一个或多个响应图像，一个或多个响应图像中的每个响应图像包括与车辆的环境有关的信息；从一个或多个响应图像生成一个或多个响应地图，该响应地图包括指示车辆的地点的多个响应点；将一个或多个响应地图与区域地图进行比较；以及基于响应点与区域点之间的差异来预测车辆的地点。
附图说明
为了更全面地理解本公开的技术，其目的和优点，现在参考结合以下简要描述的附图进行的以下描述：
图1示出了基于所公开的技术的示例实施例的示出车道标记定位和融合的示例步骤的流程图；
图2示出了根据所公开的技术的示例实施例的定位的示例步骤的流程图；
图3示出了根据所公开的技术的另一个示例实施例的用于融合预测的地点的示例步骤的流程图；
图4A示出了根据所公开的技术的示例实施例的从车辆的车载摄像头获取的图像；
图4B示出了根据所公开的技术的示例实施例的由***生成的响应地图；
图4C示出了根据所公开的技术的示例实施例的分数计算；
图5示出了根据所公开的技术的示例实施例的校正位置；
图6示出了基于所公开的技术的一些实施例的用于确定在道路上的车辆的地点的***；
图7示出了基于所公开的技术的一些实施例的用于确定在道路上的车辆的地点的处理器；
图8示出了基于所公开的技术的一些实施例的用于确定在道路上的车辆的地点的方法；以及
图9示出了基于所公开的技术的一些实施例的用于生成视觉地点预测信息的方法。
具体实施方式
下面参考附图1-4详细描述所公开的技术的进一步的特征和优点以及所公开的技术的各个实施例的结构和操作。尽管在***的上下文中描述了所公开的技术，但是可以实现任何***或方法。
在所公开的技术的示例实施例中，***可以利用包括安装在车辆上的多个摄像头、数据库和车载计算机的硬件块来迭代地更新车辆相对于行进车道的地点和定位。
在实施例中，多个摄像头可以被安装在车辆上，并且它们的位置和视角相对于安装有摄像头的车辆的其余部分是预定的。在另一个实施例中，多个摄像头包括三个摄像头：第一摄像头、第二摄像头和第三摄像头。在一个实施例中，所有三个摄像头以在车辆上的具有基本相同的视角的基本相同的地点而被安装在车辆上。这种实施例将被用于在摄像头中的一个摄像头故障的情况下提供冗余。在另一个实施例中，三个摄像头以具有不同视角的不同的地点而被安装在车辆上。这种实施例被用于提高车道标记定位和融合***的精度，因为***必须融合更多的地点数据的视角，所以精度将更高。如本文中预期的，可以安装多个摄像头，使得它们永久地、半永久地或临时地附接到车辆。例如，多个摄像头中的一个或多个摄像头可以被安装在车辆上，使得它被集成到车辆中。在这种示例中，摄像头可以被安装为使得它永久地被安装在车辆上。在另一个示例中，多个摄像头中的一个或多个摄像头可以被安装在车辆上，使得可以容易地将其从车辆上移除，从而允许用户将其移除并且重新安装在另一个车辆上。此外，多个摄像头不必专用于所公开的技术的使用。例如，多个摄像头中的一个或多个摄像头可以由具有内置摄像头的蜂窝电话来体现。在这种实施例中，车载计算机可以被配置为通信地连接到蜂窝电话并且从蜂窝电话接收成像数据。
在所公开的技术的另一个实施例中，多个摄像头可以具有不同的焦点和不同的光圈尺寸。在这种实施例中，例如，第一摄像头可以具有靠近车辆的前方的焦点，使得第一摄像头将具有靠近车辆的最准确的信息。此外，在这种实施例中，第三摄像头可以具有在行进方向上远离车辆的前方的焦点。在这种实施例中，第三摄像头将具有最精确的捕获远至远处的图像。在另一个实施例中，第二摄像头可以具有大的光圈，以允许摄像头在弱光条件下更加敏感。在另一个实施例中，多个摄像头中的一个摄像头可以被配置为捕获与人眼可见的光谱不同的光谱。例如，摄像头中的一个摄像头可以被配置为捕获红外光，而另一个摄像头可以被配置为捕获紫外光。如本文所预期的，摄像头是能够捕获车辆正在行进的环境的地点信息的任何设备。
在实施例中，车载计算机可以被永久地安装到车辆中。在这种实施例中，计算机可以专用于与所公开的技术一起使用。
在实施例中，计算机从摄像头获取数据并且生成响应地图。车载计算机从数据库获取数据以创建车道地图。车载计算机将响应地图与车道地图进行比较，以确定分数。如果分数低于预定阈值，则车载计算机更新车辆位置。在实施例中，***可以将更新的地点信息输出给另一个车载***。这种***可以是操纵车辆的自动化的自动驾驶***。在另一个实施例中，这种***也可以是ADAS。
图1示出了描述基于所公开的技术的示例实施例的用于车道标记定位和融合的***中的步骤的示例流程图。在所公开的技术的示例实施例中并且参考图1，在步骤10处，***获取GPS和/或IMU地点信息。在所公开的技术的示例实施例中，在车辆上，该***被利用。该***可以使用车载GPS设备以获取在地球上的车辆的地点。在另一个实施例中，该***将车载IMU与车载GPS设备结合使用，以估算车辆的地点、速度和速率。在另一个实施例中，GPS信息包括车辆的纬度和/或经度位置。在另一个实施例中，GPS信息包括车辆的偏航角。在另一个实施例中，GPS/IMU信号还包括时间戳。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤20处，***获取车辆的先前确定的地点。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤30处，***生成预测的地点。在一个实施例中，***使用GPS/IMU地点信息来预测车辆的位置。在另一个实施例中，***将GPS/IMU信息与由***提供的车辆的先前的地点结合，以生成预测的地点。附加地，预测位置包括与车辆相对于其行进的车道的位置有关的信息。附加地，***可以将车辆的先前的地点与获取的平均速度和来自先前输出的时间差结合，以估算在道路内的车辆的当前的地点。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤40处，***从第一摄像头捕获信息。在一个实施例中，第一摄像头被安装在车辆上。在另一个实施例中，第一摄像头可以被临时地固定到车辆，使得它可以被用户容易地安装和移除。在实施例中，第一摄像头可以被安装使得其指向行进方向，即指向车辆的前方。在另一个实施例中，第一摄像头可以被安装使得其指向除行进方向以外的方向，即指向车辆的后方或侧面。在另一个实施例中，第一摄像头包括以预定帧速率收集视频的摄像机。在实施例中，第一摄像头包括具有每秒至少10帧的帧速率的摄像机。在另一个实施例中，第一摄像头包括以预定速率捕获图像的摄影摄像头。在实施例中，第一摄像头包括以每秒至少10帧的速率捕获图像的摄影摄像头。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤50处，***使用第一***来预测车辆的地点。在实施例中，***基于存储在数据库中的地点信息生成第一区域地图。这种地点信息可以包括先前使用GPS、雷达、摄影、摄像和/或光检测和测距(“LIDAR”)技术收集的信息。在实施例中，***使用车辆的预测的地点来生成第一区域地图。在这种实施例中，***基于GPS/IMU和/或先前的输出来获取车辆的预测的地点，以预测车辆的地点、速度和行进的方向。在另一个实施例中，***通过定义被预测为在由车辆的预测的地点所定义的区域地图内的结构来生成第一区域地图。在一个实施例中，在区域地图内定义的结构包括那些与车辆正在行进的行进车道有关的结构。例如，定义的结构包括喷涂在道路上的线条和安装在道路上的反射器。在另一个实施例中，在区域地图内定义的结构包括由***可观察到的结构，并且包括建筑物、路牌、路灯、桥梁以及喷涂在道路上的反射器和线条。在另一个实施例中，在区域地图内定义的结构包括其它永久性结构或半永久性结构(包括树木和其它园林绿化对象)。
在所公开的技术的另一个示例实施例中并且继续参考图1，在步骤50处，***基于由第一摄像头收集的信息来生成第一响应地图。响应地图包括与第一区域地图中定义的相同结构有关的信息。在另一个实施例中，***将第一区域地图与第一响应地图进行比较，并且计算置信度分数。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤60处，***基于由第一***计算的置信度分数来生成第一校正的车辆地点。在实施例中，如果置信度得分是100％，则第一校正的车辆地点与预测的地点相同。在另一个实施例中，如果计算的置信度得分低于预定阈值，则***生成第一校正地点。在这种实施例中，***基于车辆的预测的地点以及第一区域地图与第一响应地图的比较来生成第一校正地点。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤70处，***从第二摄像头捕获信息。在一个实施例中，第二摄像头被安装在车辆上。在另一个实施例中，第二摄像头可以被安装使得它指向行进方向，即指向车辆的前方。在另一个实施例中，第二摄像头可以被安装使得它指向除行进方向以外的方向，即指向车辆的后方或侧面。在另一个实施例中，第二摄像头包括以预定帧速率收集视频的摄像机。在实施例中，第二摄像头包括具有每秒至少10帧的帧速率的摄像机。在另一个实施例中，第二摄像头包括以预定速率捕获图像的摄影摄像头。在实施例中，第二摄像头包括以每秒至少10帧的速率捕获图像的摄影摄像头。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤80处，***使用第二***来预测车辆的地点。在实施例中，***基于被存储在数据库中的地点信息来生成第二区域地图。这种地点信息可以包括先前使用GPS、雷达、摄影、摄像和/或LIDAR技术收集的信息。在实施例中，***使用车辆的预测的地点来生成第二区域地图。在这种实施例中，***基于GPS/IMU和/或先前的输出来获取车辆的预测的地点，以预测车辆的地点、速度和行进方向。在另一个实施例中，***通过定义被预测为在由车辆的预测的地点所定义的区域地图内的结构来生成第二区域地图。在一个实施例中，在区域地图内定义的结构包括那些与车辆正在行进的行进车道有关的结构。例如，定义的结构包括喷涂在道路上的线条和安装在道路上的反射器。在另一个实施例中，在区域地图内定义的结构包括由***可观察到的结构，并且包括建筑物、路牌、路灯、桥梁以及喷涂在道路上的反射器和线条。在另一个实施例中，在区域地图内定义的结构包括其它永久性结构或半永久性结构(包括树木和其它园林绿化对象)。
在所公开的技术的另一个示例实施例中并且继续参考图1，在步骤80处，***基于由第二摄像头收集的信息来生成第二响应地图。第二响应地图包括与在第二区域地图中定义的相同结构有关的信息。在另一个实施例中，***将第二区域地图与第二响应地图进行比较，并且计算置信度分数。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤90处，***基于由第二***计算的置信度分数来生成第二校正的车辆地点。在实施例中，如果置信度分数是100％，则第二校正的车辆地点与预测的地点相同。在另一个实施例中，如果计算的置信度分数低于预定阈值，则***生成第二校正地点。在这种实施例中，***基于车辆的预测的地点以及第二区域地图与第二响应地图的比较来生成第二校正地点。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤100处，***从第三摄像头捕获信息。在一个实施例中，第三摄像头被安装在车辆上。在实施例中，第三摄像头可以被安装使得它指向行进方向，即指向车辆的前方。在另一个实施例中，第三摄像头可以被安装使得它指向除行进方向以外的方向，即指向车辆的后方或侧面。在另一个实施例中，第三摄像头包括以预定帧速率收集视频的摄像机。在实施例中，第三摄像头包括具有每秒至少10帧的帧速率的摄像机。在另一个实施例中，第三摄像头包括以预定速率捕获图像的摄影摄像头。在实施例中，第三摄像头包括以每秒至少10帧的速率捕获图像的摄影摄像头。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤110处，***使用第三***来预测车辆的地点。在实施例中，***基于存储在数据库中的地点信息来生成第三区域地图。这种地点信息可以包括先前使用GPS、雷达、摄影、摄像和/或LIDAR技术收集的信息。在实施例中，***使用车辆的预测的地点来生成第三区域地图。在这种实施例中，***基于GPS/IMU和/或先前的输出来获取车辆的预测的地点，以预测车辆的地点、速度和行进方向。在另一个实施例中，***通过定义被预测在如车辆的预测的地点所定义的区域地图内的结构来生成第三区域地图。在一个实施例中，在区域地图内定义的结构包括那些与车辆正在行进的行进车道有关的结构。例如，定义的结构包括喷涂在道路上的线条和安装在道路上的反射器。在另一个实施例中，在区域地图内定义的结构包括由***可观察到的结构，并且包括建筑物、路牌、路灯、桥梁以及喷涂在道路上的反射器和线条。再另一个实施例中，在区域地图内定义的结构包括其它永久性结构或半永久性结构(包括树木或其它园林绿化对象)。
在所公开的技术的另一个示例实施例中并且继续参考图1，在步骤110处，***基于由第三摄像头收集的信息来生成第三响应地图。第三响应地图包括与如在第三响应地图中定义的相同结构有关的信息。在另一个实施例中，***将第三区域地图与第三响应地图进行比较并且计算置信度分数。
在所公开的技术的另一个示例实施例中并且继续参考图1，在步骤120处，***基于由第三***计算的置信度分数来生成第三校正的车辆的地点。在实施例中，如果置信度分数是100％，则第三校正的车辆的地点与预测的地点相同。在另一个实施例中，如果计算的置信度分数低于预定阈值，则***生成第三校正地点。在这种实施例中，***基于车辆的预测的地点以及第三区域地图与第三响应地图的比较来生成第三校正地点。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤130处，***更新车辆的地点。在实施例中，***使用第一校正地点、第二校正地点和第三校正地点来确定最精确的位置。在另一个实施例中，***还利用每个校正位置的置信度分数来确定最精确的车辆的地点。
在所公开的技术的另一个示例实施例中并且参考图1，在步骤140处，***在更新的地点上输出。在一个实施例中，***将更新的地点输出给车辆上的另一个***。例如，***可以将更新的地点输出给驾驶车辆的自动驾驶***。在另一个实施例中，***将更新的地点输出给ADAS***。在另一个实施例中，如在图1中的步骤20描述的，***将更新的地点输出给先前的地点。
图2示出了根据本公开的示例实施例的用于确定车道内的车辆的地点的方法200。进一步，图2中描述的步骤可以由如在图1中的步骤50、80和110处描述的用于车道标记定位和融合的***来承担。在步骤210处，计算机从GPS设备和/或IMU设备获取GPS和/或IMU地点信息。本文所述的方法可以进一步利用车辆先前确定的地点。在步骤220处，计算机生成区域地图，该区域地图包括与车辆正在行进的环境有关的先前收集的信息。例如，区域地图包括先前由收集车辆使用雷达、LIDAR、GPS和/或摄像头收集的信息。这种信息与关于在区域中的其它道路的特定道路上的收集车辆的地点、关于在收集车辆正在行进的车道的车道特定信息以及关于收集车辆的速度的信息和/或与地点信息的速度相关。在一个实施例中，计算机生成区域地图。在另一个实施例中，计算机从数据库接收区域地图。
在步骤230处，***利用安装在车辆上的摄像头。在一个实施例中，摄像头以预定的视角和定向被安装在车辆上。例如，摄像头被安装在车辆的车顶上，并且以车辆的中心线为中心，并且指向行进方向(即，向前)。摄像头捕获车辆前方的区域的图像。在另一个实施例中，摄像头可以以预定的帧速率捕获视频和/或摄影图像。在另一个实施例中，摄像头捕获红外光和/或紫外光。在一个实施例中，摄像头以预定速率捕获图像。在另一个示例中，摄像头以每秒至少10张图像的速率捕获图像。
在步骤240处，***基于从摄像头获取的信息来生成响应地图。可以实时或近实时地生成响应地图。可以以预定间隔(例如，每秒20次)生成响应地图。在一个实施例中，***使用从摄像头获取的图像，并且识别图像中所描绘的车辆行进的车道内的车道标记。摄像头可以识别道路的其它方面，包括但不限于，桥梁、标志、障碍、路灯和建筑物。在一个实施例中，计算机包括计算机可执行代码，该代码被配置为检测二维图像内的永久性结构和/或半永久性结构。在这种实施例中，计算机分析从摄像头捕获的图像，并且识别车道指示符(诸如，喷涂的线条和反射器)。计算机还可以识别其它结构，诸如桥梁、标牌、障碍、路灯和建筑物。该计算机可以在预定间隔上生成响应地图。在一个实施例中，计算机每秒至少生成十个响应地图。
在步骤250处，***生成车辆的预测的地点并且计算置信度分数，用于确定车道内的车辆的横向位置。例如，***将区域地图与响应地图进行比较来确定预测的地点。在这种实施例中，***对区域地图内的各个点进行采样，以识别车辆行进的车道。***对响应地图进行采样并且识别其中描绘的行进的车道。然后，***将该采样的区域地图与响应地图进行比较，并且基于区域和响应地图的视角差异生成车辆的预测的地点。在这种实施例中，***在计算车辆的预测的地点时将GPS/IMU信息、区域地图和响应地图作为参数。例如，如果区域地图与响应地图基本相同，但是偏向左侧，则***的比较识别出车辆的实际位置一定在GPS的地点的右侧。***基于那些差异生成预测的车辆地点。
在另一个实施例中，在步骤250处，***计算置信度分数。附加地，***可以生成车辆的预测的地点。在一个实施例中，例如，在区域地图和响应地图相同的情况下，***生成1.000的置信度分数。在这种示例中，环境数据是使用收集车辆收集的，该收集车辆位于与***车辆相同方向的相同物理地点。置信度分数反映的是***相对于根据区域地图的位置(相对于车道内的车辆的横向位置)对车辆的预测位置的置信度。例如，1.000的分数与100％的置信度相关，并且0.000的分数与0％的置信度相关。
在步骤260处，***输出预测的地点。在一个实施例中，***可以将预测的地点输出给自动化的自动驾驶***。在另一个实施例中，***可以将预测的地点输出给ADAS。在另一个实施例中，如果置信度分数低于预定阈值，则***可以输出校正的地点。例如，分数阈值被设置为0.900。如果***生成的置信度分数小于0.900(例如，0.85的分数)，则***将基于采样的区域地图和响应地图的比较生成校正的地点。在实施例中，数学方差可以被用作置信度分数。此外，如果***生成(例如)0.950的置信度分数，则***输出由GPS/IMU信息确定的车辆位置。在另一个实施例中，***将校正的地点输出给ADAS和/或自动化的自动驾驶***。在另一个实施例中，数学方差被用作置信度分数。附加地，***可以重新输入要在所述方法的后续迭代中使用的车辆的预测的地点，即，结果可以被用在步骤210中。
图3示出了根据所公开的技术的另一个示例实施例的示出用于融合预测的地点的示例步骤的流程图。如图3所示，用于车道标记定位和融合的***和方法包括时间模块和定位模块，以迭代地确定车辆的地点。
时间模块利用车辆先前确定的位置以及车辆的速度和方向来预测车辆的瞬时地点。定位模块利用从多个摄像头收集的视觉信息来预测车辆的地点。定位模块中的步骤(步骤340到步骤380)是针对合并到***中的每个摄像头执行的。例如，在包括三个分开的摄像头的***中，所公开的技术可以包括执行所述步骤的三个分开的定位模块。在不脱离本文设想的实施例的情况下，可以利用任何数目的摄像头。
在时间模块中，在步骤310处，从GPS和/或IMU设备获取车辆的地点。在步骤320处，获取从车辆的先前确定的地点到当前的确定之间的经过时间。在步骤330处，预测车辆的瞬时地点。例如，如果车辆在给定方向上的平均速度为50英里/小时(73.33英尺/秒)，并且自从上次确定车辆位置以来仅经过了0.10秒，则如在步骤330中执行的时间模块的结果是，与车辆的先前的地点相比，车辆的瞬时地点在行进方向上的距离为7.333英尺。
在定位模块中，在步骤340处，从GPS和/或IMU设备获取车辆的近似地点。利用车辆的GPS/IMU地点，在步骤350中生成区域地图。在步骤360处，从摄像头获取视觉信息，并且在步骤370中生成响应地图。在步骤380处，定位模块将区域地图与响应地图进行比较，以预测车辆的地点。附加地，在步骤380处，***可以生成置信度分数。
在步骤390处，相对于在步骤310和/或步骤340中从GPS和/或IMU设备检索到的车辆的地点，更新车辆的瞬时地点。***融合如在步骤330中获取的时间模块的结果以及如在步骤380中获取的定位模块的结果，以预测车辆的地点。然后，该预测可以被用于在(即，在步骤310和340中使用的)所述方法的下一次迭代中预测车辆的地点。在步骤395处，***可以将在步骤390中获取的车辆的地点的结果输出给另一个***，诸如ADAS。
图4A示出了由单个摄像头(未示出)拍摄的图像。在此，摄像头面向行进方向。在本公开的其它实施例中，摄像头被放置使得所捕获的视图不是行进方向，例如面向车辆的后方或任一个侧面。在本公开的其它实施例中，可以使用多个摄像头。如本文所公开的，摄像头可以以允许摄像头查看车辆的环境的任何方向而被安装在车辆的任何位置。当摄像头被安装在车辆上时，***可以根据摄像头相对于车辆其余部分的位置以及行进方向进行更新。***分析由摄像头拍摄的图像，并且通过检测车道标记(诸如，实线401、带状线403和反射器402)来创建响应地图。在一个实施例中，摄像头可以被永久地安装在车辆上。例如，摄像头可以被集成到车辆的后视镜或保险杠中。在另一个实施例中，摄像头可以被临时地安装在车辆上。在另一个实施例中，所利用的摄像头可以被包括在移动设备(诸如，蜂窝电话或平板电脑)中。在这种实施例中，移动设备可以被临时地安装在车辆上并且可以被用户容易地移除。
图4B示出了基于本公开的实施例的示例响应地图。响应地图反映了由***识别的车道标记。例如，响应地图是指示以黑线示出的车道标记411的二进制图。在这种实施例中，***分析用于车道指示符的地点信息。当***识别出车道指示符时，它在响应地图上绘制点(在白色背景上显示为黑点)。除相关车道标记411以外的所有内容都示出为空白412。***在响应地图上绘制了多个车道指示符，最终形成车道标记411。***还可以使用物理结构(诸如，桥梁、障碍物、标志和建筑物)以确定车道标记。
在一个实施例中，计算机包括被配置为利用图像检测某些元素的计算机可执行的非瞬态代码。例如，计算机识别道路内的车道标记，包括喷涂的实线401、喷涂的带状线403、和反射器402。***生成作为一系列点的响应地图，最终形成车道标记线411。响应地图表示从摄像头查看并且由计算机感知的车辆前方的道路。在其它实施例中，车道标记411反映其它结构部件，诸如桥梁、标志和障碍物(未示出)。
图4C示出了根据所公开的技术的实施例的车道地图。车道地图包括区域地图与响应地图的比较。使用图像、GPS、雷达和/或LIDAR信息编译区域地图。***绘制多个区域地图点422(示出为圆形)。区域地图点422反映在环境数据中检测到的车道标记。响应地图包括多个线421(示出为灰线)，该多个线421指示从摄像头查看并且由计算机感知的车道标记。计算机分析区域地图与响应地图之间的差异，并且生成车辆的预测地点。
在另一个实施例中，***基于在左上角示出的车道地图中的差异来确定置信度分数。例如，完美匹配以100％的精确度覆盖，结果为1.000的分数(未示出)。在另一个示例中，***可以确定0.74的分数，其中覆盖层是74％的匹配(如图所示)。在这种实施例中，覆盖层是闭合的，但是在一些但不是全部的区域地图点422处，区域地图点422与来自响应地图线421的点不同。在这种实施例中，分数阈值可以是0.90，并且在这种实例中，***将通过分析车道地图中的差异来输出预测的车辆地点。在另一个实施例中，***还可以确定其它统计参数，诸如方差。在这种实施例中，计算出例如为0.384的方差(如图所示)。例如，逻辑函数可以被用于计算方差，诸如：
Figure BDA0003054905520000181
其中，
xmin＝最小值
xmax＝最大值
S＝陡度
G＝增长率
x＝响应地图的匹配分数
m＝中点
图5示出了根据所公开的技术的实施例的更新的车辆地点。使用GPS和/或IMU定位信息来确定预测的地点501。一些实施例还可以考虑如由本文所述的技术的先前迭代确定的车辆的先前的地点503。GPS地点502代表GPS感知车辆相对于行进车道的地点。值得注意的是，GPS地点502通常与车辆的实际地点503相差很大。在分数低于预定阈值的情况下，***确定预测地点501并且输出该地点。在这种实施例中，***识别车辆正在行进的交通车道。在其它实施例中，***确定无论置信度分数如何，***都确定车辆的预测地点501。在其它实施例中，***可以使用置信度分数以确定车辆的预测位置501。尽管车辆的先前地点503被描绘为单个地点，但是本文描述的技术可以使用任何数目的先前确定的地点。例如，***可以利用10个车辆的先前地点的最新确定。此外，在确定车辆的瞬时地点501时，该***可以对先前的地点503进行不同的加权，而不会脱离本文所设想的实施例。
图6示出了基于所公开的技术的一些实施例的用于确定在道路上的车辆的地点的***600。在一些实施例中，车辆可以包括***600，该***600包括处理器610、数据库620、成像设备630、定位设备640以及车辆控制器650。成像设备630可以包括一个或多个成像传感器以将光学图像转换成电信号。定位设备640可以包括GPS设备和/或IMU设备，以生成车辆的地点信息。在一些实施例中，处理器610可以包括时间地点预测单元612和视觉地点预测单元614。时间地点预测单元612可以基于车辆的先前的地点以及从车辆的先前的确定起的经过的时间来生成时间地点预测信息。视觉地点预测单元614可以通过将从成像设备630获取的当前视觉信息与从数据库620获取的近似区域信息进行比较来生成视觉地点预测信息。***600可以结合时间地点预测和视觉地点预测，以预测车辆的地点。数据库620被用于存储响应地图622和区域地图624。车辆控制器650可以基于车辆的预测的地点来控制车辆。例如，车辆控制器650可以包括高级驾驶员辅助***(ADAS)、车道保持辅助(LKA)***或车道偏离警告(LDW)***、或者这些***中的任何两个或多个***的组合。
图7示出了基于所公开的技术的一些实施例的用于确定道路上的车辆的地点的处理器700。处理器700可以包括时间地点预测单元710、视觉地点预测单元720、以及地点信息融合单元730。时间地点预测单元710可以基于车辆的先前的地点以及从车辆的先前的地点的确定起的经过的时间来生成时间地点的预测信息。视觉地点预测单元720可以通过将当前视觉信息与来自数据库的近似的区域信息进行比较来生成视觉地点预测信息。地点信息融合单元730可以结合时间地点预测与视觉地点预测来预测车辆的地点。
图8示出了基于所公开的技术的一些实施例的用于确定道路上的车辆的地点的方法800。方法800包括，在步骤801处，基于车辆的先前的地点以及从车辆的先前的地点的确定起的经过的时间来生成时间的预测信息。方法800包括，在步骤803处，通过将当前视觉信息与来自数据库的近似的区域信息进行比较来生成视觉地点预测信息。方法800包括，在步骤805处，结合时间地点预测和视觉地点预测以预测车辆的地点。
图9示出了基于所公开的技术的一些实施例的用于生成视觉地点预测信息的方法900。方法900包括，在步骤901处，近似车辆的区域。方法900包括，在步骤903处，从数据库接收区域地图，该区域地图对应于车辆的近似的区域并且包括指示预期的道路车道的多个区域点。方法900包括，在步骤905处，接收分别地由一个或多个成像设备生成的一个或多个响应图像，一个或多个响应图像中的每个响应图像包括与车辆的环境有关的信息。方法900包括，在步骤907处，从一个或多个响应图像生成一个或多个响应地图，该响应地图包括指示车辆的地点的多个响应点。方法900包括，在步骤911处，基于响应点与区域点之间的差异来预测车辆的地点。在一些实现中，这些步骤可以被迭代地执行。
尽管已经示出并描述了车道标记定位***，但是可以根据本公开的其它实施例来实现车道标记定位***。例如，***可以利用多个摄像头或其它信息收集设备(诸如，雷达或LIDAR)。本公开的其它实施例可以利用在其上存储相关信息的多个外部数据库或内部数据库。其它实施例还包括将信息输出给车辆驾驶辅助装置(诸如，导航和ADAS***)的实施例。
在本公开的实施例中，本文描述的方法和技术在专用计算机上被实现，该专用计算机被编程为确定车道标记和相对的车辆位置。在本公开的实施例中，专用计算机包括嵌入式***，该嵌入式***具有被装备为车辆的一部分的专用处理器。在其它实施例中，所公开的技术的一些部件或所有部件可以被集成为移动设备(例如，蜂窝电话或平板电脑)的一部分。仅出于说明的目的，本文已经使用特定实施例描述了本公开。然而，对于本领域的普通技术人员而言显而易见的是，可以以其它方式来体现本公开的原理。因此，本公开不应被认为是限于本文所公开的特定实施例的范围，而是与所附权利要求的范围完全相称。

Claims (41)

1.一种用于确定车辆的地点的方法，包括：
近似所述车辆的区域；
从数据库接收第一区域地图，其中所述第一区域地图对应于所述车辆的所近似的区域，并且所述第一区域地图包括指示预期的道路车道的多个第一区域点；
接收由第一成像设备生成的第一响应图像，所述第一响应图像包括与所述车辆的环境有关的信息；
从所述第一响应图像生成第一响应地图，所述第一响应地图包括指示所述车辆的地点的多个第一响应点；
将所述第一响应地图与所述第一区域地图进行比较；以及
基于所述第一响应点与所述区域点之间的差异来预测所述车辆的地点。
2.根据权利要求1所述的方法，还包括：
从所述数据库接收第二区域地图，其中所述第二区域地图对应于所述车辆的所近似的区域，并且所述第二区域地图包括指示预期的道路车道的多个第二区域点；
接收由第二成像设备生成的第二响应图像，所述第二响应图像包括与所述车辆的环境有关的信息；
从所述第二响应图像生成第二响应地图，所述第二响应地图包括指示所述车辆的地点的多个第二响应点；以及
将所述第二响应地图与所述第一区域地图进行比较；
其中预测所述车辆的地点还包括比较所述第二响应点、所述第一响应点和所述区域点之间的差异。
3.根据权利要求2所述的方法，还包括：
从所述数据库接收第三区域地图，其中所述第三区域地图对应于所述车辆的所近似的区域，并且所述第三区域地图包括指示预期的道路车道的多个第三区域点；
接收由第三成像设备生成的第三响应图像，所述第三响应图像包括与所述车辆的环境有关的信息；
从所述第三响应图像生成第三响应地图，所述第三响应地图包括指示所述车辆的地点的多个第三响应点；以及
将所述第三响应地图与所述第三区域地图进行比较；
其中预测所述车辆的地点还包括比较所述第三响应点、所述第二响应点、所述第一响应点与所述第一区域点、所述第二区域点和所述第三区域点之间的差异。
4.根据权利要求1所述的方法，其中所述第一区域地图包括来自先前生成的车辆的地点的信息。
5.根据权利要求1所述的方法，其中使用全球定位卫星(GPS)设备或惯性测量单元(IMU)设备来近似所述车辆的区域。
6.根据权利要求1所述的方法，其中所述生成所述响应地图还包括：
在所述响应图像中检测车道标记，所述车道标记与所述响应图像中包含的物理方面有关；
在所述响应地图上绘制所述响应点，所述响应点指示所述车道标记的地点。
7.根据权利要求1所述的方法，还包括生成置信度分数。
8.根据权利要求1所述的方法，其中从雷达感测设备、光检测和测距(LIDAR)感测设备、GPS感测信息和/或图像生成所述响应图像。
9.根据权利要求1所述的方法，其中以选定的频率比较所述区域地图和所述响应地图。
10.根据权利要求1所述的方法，还包括将所述车辆的预测的地点输出给高级驾驶员辅助***(ADAS)。
11.根据权利要求3所述的方法，其中所述第一成像设备、所述第二成像设备以及所述第三成像设备各自适于感知所述车辆的环境的不同方面。
12.一种用于迭代地确定位于道路上的车辆的地点的方法，包括：
从适于确定车辆的地理区域的定位设备接收所述车辆的预测的地理区域；
从第一数据库接收第一区域地图，所述第一区域地图包括与所述车辆的预测的地理区域相对应的多个第一区域点；
从第一成像设备接收与所述车辆的环境有关的感知信息；
生成第一响应地图，所述第一响应地图包括与在所述第一响应地图内检测到的车道标记相对应的多个第一响应点；
将所述第一响应地图与所述第一区域地图进行比较；以及
基于所述第一区域地图和所述第一响应地图的所述比较来确定所述车辆的预测的地点。
13.根据权利要求12所述的方法，还包括生成融合的车辆地点，所述融合的车辆地点包括所述车辆的预测的地点和先前确定的车辆的地点。
14.根据权利要求12所述的方法，还包括：
从第二数据库接收第二区域地图，所述第二区域地图包括与所述车辆的预测的地理区域相关联的多个第二区域点；
从第二图像设备接收第二响应图像，所述第二响应图像包括与所述车辆的环境有关的感知信息；
生成第二响应地图，第二响应地图包括与在所述第二响应地图内检测到的车道标记相对应的多个第二响应点；以及
基于所述第一区域地图、所述第一响应地图、所述第二区域地图和所述第二响应地图的比较来确定所述车辆的预测的地点。
15.根据权利要求14所述的方法，还包括：
从第三数据库接收第三区域地图，所述第三区域地图包括与所述车辆的预测的地理区域相对应的多个第三区域点；
从第三成像设备接收第三响应图像，所述第三响应图像包括与所述车辆的环境有关的感知信息；
生成第三响应地图，所述第三响应地图包括与在所述第三响应地图内检测到的车道标记相对应的多个第三响应点；以及
基于所述第一区域地图、所述第一响应地图、所述第二区域地图、所述第二响应地图、所述第三区域地图和所述第三响应地图的比较来确定所述车辆的预测的地点。
16.根据权利要求12所述的方法，其中所述定位设备包括GPS设备或IMU设备。
17.根据权利要求12所述的方法，其中所述成像设备包括摄像头或LIDAR设备。
18.根据权利要求12所述的方法，还包括将所述车辆的预测的地点输出给ADAS。
19.根据权利要求12所述的方法，其中还包括确定置信度分数。
20.一种用于确定在道路上的车辆的地点的***，包括：
定位设备，适于确定车辆的地理区域；
数据库，包括多个区域地图，所述区域地图包括多个区域点；
第一成像设备，适于感知与所述车辆的环境有关的信息；
处理器，以预定频率可操作地连接到所述定位设备、所述数据库以及所述第一成像设备，所述处理器适于：
从所述定位设备接收所述车辆的确定的地理区域；
从所述数据库接收与所述车辆的确定的地理区域相对应的所述区域地图；
从所述第一成像设备接收与所述车辆的环境有关的信息；
生成第一响应地图，所述第一响应地图包括与在所述第一响应地图内检测到的车道标记相对应的多个第一响应点；
将所述第一响应地图与所述区域地图进行比较；以及
基于所述区域地图和所述第一响应地图的所述比较来确定所述车辆的预测的地点。
21.根据权利要求20所述的***，其中所述处理器还被配置为生成融合的车辆地点，所述融合的车辆地点包括所述车辆的预测的地点和先前确定的车辆的地点。
22.根据权利要求20所述的***，还包括：
第二成像设备，适于感知与所述车辆的环境有关的信息；
其中所述处理器还适于：
从所述第二成像设备接收感知到的、与所述车辆的环境有关的信息；
从所述第二响应地图生成第二响应地图，所述第二响应地图包括与在所述第二响应地图内检测到的车道标记相对应的多个第二响应点；以及
基于所述区域地图、所述第一响应地图以及所述第二响应地图的比较来确定所述车辆的预测的地点。
23.根据权利要求22所述的***，还包括：
第三成像设备，适于感知与所述车辆的环境有关的信息；
其中所述处理器还适于：
从所述第三成像设备接收感知到的、与所述车辆的环境有关的信息；
从所述第三响应地图生成第三响应地图，所述第三响应地图包括与在所述第三响应地图内检测到的车道标记相对应的多个第三响应点；以及
基于所述区域地图、所述第一响应地图、所述第二响应地图和所述第三响应地图的比较来确定所述车辆的预测的地点。
24.根据权利要求20所述的***，其中所述定位设备包括GPS设备或IMU设备。
25.根据权利要求20所述的***，其中所述成像设备包括摄像头或LIDAR设备。
26.根据权利要求20所述的***，其中所述处理器还被配置为将所述车辆的预测的地点输出给ADAS。
27.根据权利要求20所述的***，其中所述处理器还被配置为确定置信度分数。
28.一种用于确定车辆的地点的方法，包括：
基于所述车辆的先前的地点、以及从所述车辆的先前的地点的确定起的经过的时间，生成时间地点预测信息；
通过将当前视觉信息与来自数据库的近似的区域信息进行比较来生成视觉地点预测信息；以及
结合所述时间地点预测和所述视觉地点预测，来预测所述车辆的地点。
29.根据权利要求28所述的方法，其中所述视觉地点预测信息的生成包括：
近似所述车辆的区域；
从所述数据库接收区域地图，所述区域地图对应于所述车辆的近似的区域并且所述区域地图包括指示预期的道路车道的多个区域点；
接收分别地由一个或多个成像设备生成的一个或多个响应图像，所述一个或多个响应图像中的每个响应图像包括与所述车辆的环境有关的信息；
从所述一个或多个响应图像生成一个或多个响应地图，所述响应地图包括指示所述车辆的地点的多个响应点；
将所述一个或多个响应地图与所述区域地图进行比较；以及
基于所述响应点与所述区域点之间的差异来预测所述车辆的地点。
30.根据权利要求29所述的方法，其中所述区域地图包括来自先前生成的车辆的地点的信息。
31.根据权利要求28所述的方法，其中所述视觉地点预测信息的生成包括：
近似所述车辆的区域；
从所述数据库接收第一区域地图，其中所述第一区域地图与所述车辆的近似的区域相对应，并且所述第一区域地图包括指示预期的道路车道的多个第一区域点；
接收由第一成像设备生成的第一响应图像，所述第一响应图像包括与所述车辆的环境有关的信息；
从所述第一响应图像生成第一响应地图，所述第一响应地图包括指示所述车辆的地点的多个第一响应点；
将所述第一响应地图与所述第一区域地图进行比较；以及
基于所述第一响应点与所述第一区域点之间的差异来预测所述车辆的地点。
32.根据权利要求31所述的方法，还包括：
从所述数据库接收第二区域地图，其中所述第二区域地图与所述车辆的近似的区域相对应，并且所述第二区域地图包括指示预期的道路车道的多个第二区域点；
接收由第二成像设备生成的第二响应图像，所述第二响应图像包括与所述车辆的环境有关的信息；
从所述第二响应图像生成第二响应地图，所述第二响应地图包括指示所述车辆的地点的多个第二响应点；以及
将所述第二响应地图与所述第二区域地图进行比较；
其中所述车辆的地点的预测还包括比较所述第二响应点、所述第一响应点以及所述区域点之间的所述差异。
33.根据权利要求32所述的方法，还包括：
从所述数据库接收第三区域地图，其中所述第三区域地图与所述车辆的近似的区域相对应，并且所述第三区域地图包括指示预期的道路车道的多个第三区域点；
接收由第三成像设备生成的第三响应图像，所述第三响应图像包括与所述车辆的环境有关的信息；
从所述第三响应图像生成第三响应地图，所述第三响应地图包括指示所述车辆的地点的多个第三响应点；以及
将所述第三响应地图与所述区域地图进行比较；
其中所述车辆的地点的预测还包括比较所述第三响应点、所述第二响应点、所述第一响应点与所述区域点之间的所述差异。
34.根据权利要求29所述的方法，其中使用全球定位卫星(GPS)设备或惯性测量单元(IMU)设备中的至少一个设备来近似所述车辆的区域。
35.根据权利要求29所述的方法，其中所述一个或多个响应地图的所述生成还包括：
检测所述一个或多个响应图像中的车道标记，所述车道标记与在所述响应图像中包含的物理方面有关；
在所述一个或多个响应地图上绘制所述响应点，所述响应点指示所述车道标记的地点。
36.根据权利要求29所述的方法，还包括生成置信度分数。
37.根据权利要求29所述的方法，其中从雷达感测设备、光检测和测距(LIDAR)感测设备、GPS感测信息和/或图像生成所述一个或多个响应图像。
38.根据权利要求29所述的方法，其中以选定的频率比较所述区域地图和所述一个或多个响应地图。
39.根据权利要求29所述的方法，还包括将所述车辆的预测地点输出给高级驾驶员辅助***(ADAS)。
40.根据权利要求28所述的方法，其中成像设备中的至少一个成像设备被布置为指向与其它成像设备不同的方向。
41.根据权利要求28所述的方法，其中所述时间地点预测信息的生成还基于所述车辆的速度和方向。
CN201980073597.3A 2018-11-08 2019-11-08 车道标记定位和融合 Pending CN113508277A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/184,926 US11009356B2 (en) 2018-02-14 2018-11-08 Lane marking localization and fusion
US16/184,926 2018-11-08
PCT/US2019/060547 WO2020097512A2 (en) 2018-11-08 2019-11-08 Lane marking localization and fusion

Publications (1)

Publication Number Publication Date
CN113508277A true CN113508277A (zh) 2021-10-15

Family

ID=69160152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073597.3A Pending CN113508277A (zh) 2018-11-08 2019-11-08 车道标记定位和融合

Country Status (3)

Country Link
US (2) US11009356B2 (zh)
CN (1) CN113508277A (zh)
WO (1) WO2020097512A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
US12031829B2 (en) * 2020-12-03 2024-07-09 Motional Ad Llc Localization based on surrounding vehicles
US20220219726A1 (en) * 2021-01-12 2022-07-14 Peyman Yadmellat Systems, methods, and media for evaluation of trajectories and selection of a trajectory for a vehicle

Family Cites Families (259)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2608513A1 (de) 1976-03-02 1977-09-08 Standard Elektrik Lorenz Ag Anordnung zur weichensteuerung fuer ein verkehrssystem
WO1991009375A1 (en) 1989-12-11 1991-06-27 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6084870A (en) 1996-07-22 2000-07-04 Qualcomm Incorporated Method and apparatus for the remote monitoring and configuration of electronic control systems
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
JP3183501B2 (ja) 1997-07-07 2001-07-09 本田技研工業株式会社 車両用走行制御装置
US6594821B1 (en) 2000-03-30 2003-07-15 Transmeta Corporation Translation consistency checking for modified target instructions by comparing to original copy
JP3777398B2 (ja) 2000-04-26 2006-05-24 株式会社ジェイテクト 車両用操舵制御装置
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7363149B2 (en) 2001-12-13 2008-04-22 Robert Bosch Gmbh Autonomous in-vehicle navigation system and diagnostic system
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
US6975923B2 (en) 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US8855405B2 (en) 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
EP1754179A1 (en) 2004-04-08 2007-02-21 Mobileye Technologies Limited Pedestrian detection
US8082101B2 (en) 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8078338B2 (en) 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
KR100954621B1 (ko) 2005-02-23 2010-04-27 파나소닉 전공 주식회사 자동운전차량 및 평면 장애물인식방법
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
KR100802511B1 (ko) 2005-10-11 2008-02-13 주식회사 코리아 와이즈넛 토픽 기반의 검색 서비스 제공 시스템 및 그 방법
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8417060B2 (en) 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
JP4938351B2 (ja) * 2006-05-16 2012-05-23 トヨタ自動車株式会社 車両用測位情報更新装置
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7876926B2 (en) 2006-11-03 2011-01-25 Delphi Technologies, Inc. Lane marker detection and fitting methods
EP2383679A1 (en) 2006-12-06 2011-11-02 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8229163B2 (en) 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8345956B2 (en) 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102365651A (zh) 2009-03-26 2012-02-29 皇家飞利浦电子股份有限公司 用于通过使用基于色彩频率的显著图来修改图像的方法和装置
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
WO2010134502A1 (ja) * 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
KR101145112B1 (ko) 2010-05-11 2012-05-14 국방과학연구소 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US8751100B2 (en) 2010-08-13 2014-06-10 Deere & Company Method for performing diagnostics or software maintenance for a vehicle
WO2012026406A1 (ja) * 2010-08-27 2012-03-01 京セラ株式会社 携帯電子機器及び携帯電子機器の使用方法
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
CN103210651B (zh) 2010-11-15 2016-11-09 华为技术有限公司 用于视频概要的方法和***
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
EP2663916A1 (en) 2011-01-14 2013-11-20 BAE Systems Plc. Data transfer system and method thereof
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
WO2012115594A1 (en) 2011-02-21 2012-08-30 Stratech Systems Limited A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
US20120314070A1 (en) 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
JP5564620B2 (ja) 2011-07-28 2014-07-30 本田技研工業株式会社 ワイヤレス送電方法
US8744123B2 (en) 2011-08-29 2014-06-03 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
JP5822322B2 (ja) * 2011-09-12 2015-11-24 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び３ｄディスプレイ
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US8891820B2 (en) 2011-09-29 2014-11-18 The Boeing Company Multi-modal sensor fusion
US20140143839A1 (en) 2011-11-16 2014-05-22 Flextronics Ap, Llc. On board vehicle remote control module
WO2013084225A1 (en) 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
WO2013086475A1 (en) 2011-12-08 2013-06-13 Cornell University System and methods for world-scale camera pose estimation
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US8810666B2 (en) 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8737690B2 (en) 2012-04-06 2014-05-27 Xerox Corporation Video-based method for parking angle violation detection
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
WO2013157001A1 (en) 2012-04-18 2013-10-24 Brightway Vision Ltd. Mulitple gated pixel per readout
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
WO2013179280A1 (en) 2012-05-29 2013-12-05 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9620010B2 (en) 2012-08-21 2017-04-11 Brightway Vision Ltd. Simultaneously illuminating traffic light signals at different ranges
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
WO2014039623A1 (en) * 2012-09-06 2014-03-13 Faro Technologies, Inc. Laser scanner with additional sensing device
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
EP2925494B1 (en) 2012-12-03 2020-07-08 ABB Schweiz AG Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
WO2014095539A1 (de) 2012-12-17 2014-06-26 Pmdtechnologies Gmbh Lichtlaufzeitkamera mit einer bewegungserkennung
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9702977B2 (en) * 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9652860B1 (en) 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
CN103198128A (zh) 2013-04-11 2013-07-10 苏州阔地网络科技有限公司 一种云教育平台的数据搜索方法及***
AU2013205548A1 (en) 2013-04-30 2014-11-13 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9025825B2 (en) 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
CN105659304B (zh) 2013-06-13 2020-01-03 移动眼视力科技有限公司 车辆、导航***及生成并递送导航信息的方法
IL227265A0 (en) 2013-06-30 2013-12-31 Brightway Vision Ltd Smart flash for the camera
KR102111784B1 (ko) 2013-07-17 2020-05-15 현대모비스 주식회사 차량 위치 인식 장치 및 방법
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
CN107533801A (zh) * 2013-11-01 2018-01-02 国际智能技术公司 使用测绘车辆的地图测绘技术
EP3812962A1 (en) 2013-12-04 2021-04-28 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
CN106461774B (zh) 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助***
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
US9981389B2 (en) 2014-03-03 2018-05-29 California Institute Of Technology Robotics platforms incorporating manipulators having common joint designs
EP2918974B1 (en) 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
US9476730B2 (en) 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP6282498B2 (ja) 2014-03-19 2018-02-21 株式会社東芝 画像処理装置、その方法、及び、そのプログラム
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9739609B1 (en) 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
US9151626B1 (en) * 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
US9471889B2 (en) 2014-04-24 2016-10-18 Xerox Corporation Video tracking based method for automatic sequencing of vehicles in drive-thru applications
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
CN106663193B (zh) 2014-05-14 2020-12-25 御眼视觉技术有限公司 用于路缘检测和行人危险评估的***和方法
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
CN106796648B (zh) 2014-06-03 2020-11-24 御眼视觉技术有限公司 用于检测对象的***和方法
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US20160026787A1 (en) 2014-07-25 2016-01-28 GM Global Technology Operations LLC Authenticating messages sent over a vehicle bus that include message authentication codes
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
CN107111742B (zh) 2014-08-18 2021-04-02 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9959903B2 (en) 2014-10-23 2018-05-01 Qnap Systems, Inc. Video playback method
EP3018448B1 (en) 2014-11-04 2021-01-06 Volvo Car Corporation Methods and systems for enabling improved positioning of a vehicle
US9547985B2 (en) 2014-11-05 2017-01-17 Here Global B.V. Method and apparatus for providing access to autonomous vehicles based on user context
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
WO2016090282A1 (en) 2014-12-05 2016-06-09 Cowbyt Technologies Llc Autonomous navigation system
US9347779B1 (en) 2014-12-10 2016-05-24 Here Global B.V. Method and apparatus for determining a position of a vehicle based on driving behavior
KR20160078724A (ko) * 2014-12-24 2016-07-05 한국전자통신연구원 카메라 감시 영역 표시 방법 및 장치
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US9649999B1 (en) 2015-04-28 2017-05-16 Sprint Communications Company L.P. Vehicle remote operations control
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US9483839B1 (en) 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US9613273B2 (en) 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
DE102015210015A1 (de) * 2015-06-01 2016-12-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
US9690290B2 (en) 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
JP6503906B2 (ja) * 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
WO2017013875A1 (ja) 2015-07-23 2017-01-26 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9989965B2 (en) 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
CN107209854A (zh) 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的***和方法
US10676057B2 (en) * 2015-10-28 2020-06-09 Lg Innotek Co., Ltd. Optical output module, vehicle including same, and control method therefor
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
WO2017079349A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. System for implementing an active safety system in an autonomous vehicle
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
KR20170065083A (ko) 2015-12-02 2017-06-13 현대오트론 주식회사 도로 시설물 정보를 이용한 차선 표시 장치 및 방법
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
US10102434B2 (en) 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
CN105667518B (zh) 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
CN105825173B (zh) 2016-03-11 2019-07-19 福州华鹰重工机械有限公司 通用道路和车道检测***与方法
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
EP3433131B1 (en) 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US9776638B1 (en) 2016-04-20 2017-10-03 GM Global Technology Operations LLC Remote interrogation and override for automated driving system
JP6838285B2 (ja) 2016-04-28 2021-03-03 日立Astemo株式会社 レーンマーカ認識装置、自車両位置推定装置
US10362429B2 (en) 2016-04-28 2019-07-23 California Institute Of Technology Systems and methods for generating spatial sound information relevant to real-world environments
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
JP2017224876A (ja) 2016-06-13 2017-12-21 アイシン精機株式会社 撮影画像判定装置
US10678262B2 (en) * 2016-07-01 2020-06-09 Uatc, Llc Autonomous vehicle localization using image analysis and manipulation
EP3290864A1 (en) * 2016-08-30 2018-03-07 Continental Automotive GmbH Driver assistance system for determining a position of a vehicle
CN113140125B (zh) 2016-08-31 2022-06-17 北京万集科技股份有限公司 车路协同辅助驾驶方法及路侧设备
WO2018048710A1 (en) * 2016-09-09 2018-03-15 Nextnav, Llc Systems and methods for calibrating unstable sensors
KR101876968B1 (ko) * 2016-10-21 2018-07-12 네이버 주식회사 실내 자율 주행 로봇을 위한 제어 방법 및 시스템
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
WO2018100617A1 (ja) * 2016-11-29 2018-06-07 三菱重工機械システム株式会社 マップマッチング装置、マップマッチングシステム、マップマッチング方法及びプログラム
US10261574B2 (en) 2016-11-30 2019-04-16 University Of Macau Real-time detection system for parked vehicles
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106781591A (zh) 2016-12-19 2017-05-31 吉林大学 一种基于车路协同的城市车辆导航***
US10837773B2 (en) * 2016-12-30 2020-11-17 DeepMap Inc. Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles
WO2018132608A2 (en) 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
GB2559196B (en) * 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
US10209359B2 (en) * 2017-03-28 2019-02-19 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US10990829B2 (en) * 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10466704B2 (en) 2017-06-22 2019-11-05 GM Global Technology Operations LLC Autonomous vehicle localization
US20180373980A1 (en) 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10223807B1 (en) 2017-08-23 2019-03-05 TuSimple Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map
US10223806B1 (en) 2017-08-23 2019-03-05 TuSimple System and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
AU2019206509A1 (en) 2018-01-09 2020-07-23 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视***
CN108182817A (zh) 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助***、路侧端辅助***和车载端辅助***
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10529089B2 (en) 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
WO2019169358A1 (en) 2018-03-02 2019-09-06 DeepMap Inc. Camera based localization for autonomous vehicles
CN110858405A (zh) 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和***及电子设备
JP2020034472A (ja) 2018-08-31 2020-03-05 株式会社デンソー 自律的ナビゲーションのための地図システム、方法および記憶媒体
US10621452B2 (en) 2018-09-14 2020-04-14 Lyft, Inc. Determining and mapping location-based information for a vehicle
CN111256693B (zh) 2018-12-03 2022-05-13 北京魔门塔科技有限公司 一种计算位姿变化方法及车载终端
WO2020154972A1 (en) 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
CN112307810B (zh) 2019-07-26 2023-08-04 北京魔门塔科技有限公司 一种视觉定位效果自检方法及车载终端
EP3819673A4 (en) 2019-09-12 2021-07-21 Huawei Technologies Co., Ltd. POSITIONING METHOD, DEVICE AND SYSTEM

Also Published As

Publication number Publication date
WO2020097512A3 (en) 2020-07-23
US20210278221A1 (en) 2021-09-09
WO2020097512A2 (en) 2020-05-14
US20200271453A1 (en) 2020-08-27
US11009356B2 (en) 2021-05-18
US11740093B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
US11852498B2 (en) Lane marking localization
US11740093B2 (en) Lane marking localization and fusion
EP3358302B1 (en) Travel control method and travel control device
EP3100206B1 (en) Systems and methods for lane end recognition
CA2990775C (en) Vehicle position determination apparatus and vehicle position determination method
US10620317B1 (en) Lidar-based high definition map generation
US10964217B2 (en) Travel control method and travel control apparatus
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
CN104691447A (zh) 用于动态地聚焦车辆传感器的***和方法
CN112937582A (zh) 改进车道改变检测的***、非暂态计算机可读介质和方法
CN114348015A (zh) 车辆控制装置和车辆控制方法
JP6790951B2 (ja) 地図情報学習方法及び地図情報学習装置
US20230408264A1 (en) Lane marking localization and fusion
EP3835724B1 (en) Self-location estimation method and self-location estimation device
RU2777308C1 (ru) Способ оценки собственного местоположения и устройство для оценки собственного местоположения
KR20230071615A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071614A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071612A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071920A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071922A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071609A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071925A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071613A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071921A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071607A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination