CN102460074B - 用于组合三维位置和二维强度地图绘制进行定位的方法和装置 - Google Patents

用于组合三维位置和二维强度地图绘制进行定位的方法和装置 Download PDF

Info

Publication number
CN102460074B
CN102460074B CN201080029620.8A CN201080029620A CN102460074B CN 102460074 B CN102460074 B CN 102460074B CN 201080029620 A CN201080029620 A CN 201080029620A CN 102460074 B CN102460074 B CN 102460074B
Authority
CN
China
Prior art keywords
dimensional
mobile unit
map
dimensional character
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080029620.8A
Other languages
English (en)
Other versions
CN102460074A (zh
Inventor
S·卡梅尔
B·皮策
J·贝克尔
C·杜哈德维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN102460074A publication Critical patent/CN102460074A/zh
Application granted granted Critical
Publication of CN102460074B publication Critical patent/CN102460074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Instructional Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

一种地图绘制方法包括使用第一移动单元以在所述第一移动单元经过表面的同时绘制二维特征。在所述绘制期间感测所述特征的三维位置。创建包括所述特征的所述三维位置与所述二维特征的地图之间的关联性的三维地图。从所述第一移动单元向第二移动单元提供所述三维地图。所述第二移动单元用于在所述第二移动单元经过所述表面的同时绘制所述二维特征。在所述第二移动单元内并且通过使用所述三维地图来确定通过所述第二移动单元绘制的所述二维特征的三维位置。

Description

用于组合三维位置和二维强度地图绘制进行定位的方法和装置
技术领域
本发明涉及地图绘制(mapping)技术，并且更具体而言涉及在定位***中使用的地图绘制技术。
背景技术
自主车辆以及个人机器人必须在有人环境中安全操作。为了安全操作，要求对环境的精确感知以及环境内的精确定位。在地图绘制处理中使用所感知的二维和三维数据以在定位步骤中代表该环境。
用于三维感知的当前传感器***通常使用激光测距仪、立体照相机或者三维成像仪。这些传感器通常非常昂贵并且在用于信号处理的计算处理功率方面要求苛刻。
例如基于超声传感器或者单视觉的便宜定位***必须假设旨在采用所述经济定位***的环境的结构。因此，这种便宜定位***通常仅适用于最简单的环境或者它们经历由模型假设的违背导致的低稳健性。
现有技术中既没有公开也没有建议克服利用已知地图绘制方法引起的上述问题的一种地图绘制方法。
发明内容
本发明提供一种用于对与其精确的三维位置相关联的稳健的二维强度特征进行地图绘制的方法，以用于高度精确和低成本定位***。所述强度特征可以例如经由尺度不变特征转换(SIFT)、快速鲁棒特征(SURF)、或者Calonder特征获得。精确的三维位置可以例如通过校准的激光雷达(LIDAR)***获得。
为了能够进行低成本定位，本发明可以使用利用包括三维传感器(例如，LIDAR)、二维强度传感器(例如，照相机)和在期望全球坐标时可能的定位传感器(例如，航位推算***)的硬件装置创建的地图。本发明的新颖性特征在于地图中二维强度特征与其三维位置的关联性。然后可以利用低成本的单视场(monoscopic)强度传感器安全地执行与地图绘制***不同的用于车辆/机器人的实际定位。
在本发明的一种形式中，本发明包括一种地图绘制方法，所述地图绘制方法包括使用第一移动单元以在所述第一单元经过表面的同时绘制(map)二维特征。在所述绘制期间感测所述特征的三维位置。创建包括所述特征的所述三维位置与所述二维特征的地图之间的关联性的三维地图(map)。从所述第一移动单元向第二移动单元提供所述三维地图。所述第二移动单元用于在所述第二移动单元经过所述表面的同时绘制所述二维特征。在所述第二移动单元内并且通过使用所述三维地图来确定通过所述第二移动单元绘制的所述二维特征的三维位置。
在本发明的另一形式中，本发明包括一种地图绘制装置，所述地图绘制装置包括第一移动单元，所述第一移动单元具有用于在所述第一移动单元经过表面的同时绘制二维特征的第一强度场传感器。三维位置感测设备在所述强度场传感器的所述绘制期间感测所述特征的三维位置。处理器与所述强度场传感器和所述三维位置感测设备二者进行通信。所述处理器创建包括所述特征的所述三维位置和所述二维特征的地图之间的关联性的三维地图。发送设备与所述处理器进行通信并且发送所述三维地图。第二移动单元包括用于接收来自所述第一移动单元的所述三维地图的接收设备。第二强度场传感器在所述第二移动单元经过所述表面的同时绘制所述二维特征。处理器与所述强度场传感器和所述接收设备二者进行通信。所述处理器确定通过所述第二移动单元绘制的所述二维特征的三维位置。在所述第二移动单元内并且通过使用所述三维地图来执行所述确定。
在本发明的再一形式中，本发明包括一种地图绘制方法，所述地图绘制方法包括绘制道路的二维特征。在所述绘制期间感测所述特征的三维位置。确定所述道路的全球位置坐标。创建包括所述特征的所述三维位置、所述二维特征的地图、以及所述全球位置坐标之间的关联性的三维地图。向机动车辆提供所述三维地图。所述车辆用于在所述车辆经过所述道路的同时绘制所述二维特征。在所述机动车辆经过所述道路的同时跟踪所述车辆的全球位置坐标。将所述车辆的所述全球位置坐标匹配到与所述三维地图相关联的所述全球位置坐标。还匹配与所匹配的全球位置坐标相关联的所述二维特征。在所述车辆内并且通过使用与所匹配的二维特征相关联的所述三维位置来确定所述车辆和通过所述车辆绘制的所述二维特征之间的距离。
本发明的优点在于单个地图绘制设备使得任意数量的机器人/车辆能够在被绘制的区域内进行安全且精确地导航。
另一优点在于，由于潜在的批量生产部件的集成，与用于地图绘制和定位的当前研发的***相比较，存在显著成本降低的潜力。
附图说明
通过参考下面结合附图给出的本发明实施例的描述，本发明的上述以及其它特征和目的，以及实现上述以及其它特征和目的的方式将变得更显而易见，并且本发明本身将得到更好地理解，在附图中：
图1是示出了本发明的定位装置的一个实施例的示意图。
图2a是由图1的强度场传感器创建的二维地图的示例，其可以包括三维信息。
图2b是图2a的车辆的放大图，示出了包括在其中的三维信息。
图3是经由本发明的地图绘制方法的一个实施例创建的地图绘制的示例。
图4是经由本发明的地图绘制方法的另一实施例创建的地图绘制的示例。
图5是本发明的地图绘制方法的实施例的流程图。
图6是本发明的地图绘制方法的另一实施例的流程图。
在整个附图中，相对应的附图标记指代相应的部件。尽管这里阐述的实例以几种形式示出了本发明的实施例，但是下面公开的实施例并不旨在是排他性的或者被理解为将本发明的范围局限到所公开的精确形式。
具体实施方式
现在参考附图，尤其参考图1，示出了本发明的定位装置10的一个实施例，该定位装置包括经由卫星16进行通信的第一车辆12以及第二车辆14。两个车辆12和14都在道路17上行驶。车辆12包括三维传感器18、强度场传感器20、处理器22、天线24以及可选的全球定位***(GPS)26。三维传感器18可以例如是LIDAR***或者立体照相机的形式。可以在车辆12的自适应巡航控制(ACC)***中同时采用LIDAR***。在一个实施例中，强度场传感器20可以是照相机的形式。处理器22可以是任意的标准微处理器。
车辆14包括强度场传感器120、处理器122、天线124和可选的GPS126。在一个实施例中，强度场传感器120可以是照相机的形式。处理器122可以是任意的标准微处理器。卫星16可以是在GPS通信中使用的任意标准卫星。尽管在图1中将强度场传感器20、120和3D传感器18示出为位于车辆的中间部分中，但是这些传感器中的任意一个可以被有利地安装在其各自车辆的前保险杠中用于不使视场模糊。
根据本发明的三维地图绘制方法，三维传感器18与强度场传感器20组合，并且可能由诸如GPS 26形式的航位推算***的定位设备支撑。用于绘制道路表面的***可以包括高端LIDAR、GPS和惯性测量单元(IMU)传感器。该***能够产生地面反射率的二维表面图像，其具有道路表面的五厘米分辨率。在本发明的一个实施例中，扩展该***以创建三维表面网格。
图2a示出了由强度场传感器20创建的二维地图的示例，其可以包括由LIDAR传感器提供的三维信息。扫描处理可以将构成三维地图的三维数据点布设为类似栅格的结构。空间中的每一个点可以由与激光束的两个角度相关联的距离值来表示。图2b是图2a的车辆222的放大图。如图2b所示，通过在每一个角度方向上将每一个数据点与其相邻的两个数据点连接来创建三角形网格，或者“3D表面网格”。出于说明目的，图2b中标示了三个这样的数据点228。3D表面网格由三角面构成，其中连接三个相邻数据点228以创建更加复杂的三维表面的粗糙近似。
根据本发明的特征关联处理，二维强度场传感器20与三维传感器18对准。因此，可以例如对诸如经由SIFT获得的那些附加特征进行记录，将其与其三维位置相关联并且存储在地图中。即使通过低成本照相***也可以容易检测这些附加特征。
图3中说明了在本发明的地图绘制处理中与其三维位置相关联的稳健的二维强度特征的示例。在图3中，小“x”代表与其三维位置相关联并且存储在地图中的特征。典型地，关联并且存储比图3中示出的更大数量的特征。然而，出于清晰说明目的，图3中描述了较少数量的特征。
根据本发明，图3的地图可以用于诸如车辆14(图1)的另一车辆的定位。更具体而言，可以将图3的三维地图从车辆12上传到卫星16，如图1中的箭头30所示，并且然后可以将其从卫星16下载到车辆14，如箭头32所示。
对于在图3的先前创建的地图上诸如车辆14的另一机器人/车辆的定位，强度场传感器20可以是低成本单视场强度传感器形式的。传感器120可以与用于初始化的现有GPS接收机126组合。装备有二维强度场传感器120的诸如车辆14的汽车/机器人的位置可以从与由图3中的小x表示的发现匹配相关联的三维位置获得。
在图1-3中示出的特定实施例中，第一车辆12可以使用强度场传感器20以收集二维数据，并且车辆12可以使用3D传感器18以收集三维数据。如图3所示，可以以存储的3D地图的形式与三维数据相关联地存储二维数据。可以将该3D地图以及由车辆12产生的其它3D地图上传到卫星16。可以与由GPS模块26确定的车辆12的全球地理坐标相关联地存储和上传3D地图。
然后，可以由诸如车辆14的其它车辆使用由车辆12创建的3D地图，以识别车辆14和道路中某些地标和/或标记之间的距离。在一个实施例中，在车辆12位于车辆14所位于的大致相同的GPS坐标处时，卫星16将由车辆12收集的3D地图下载到车辆14。在特定实施例中，车辆14向卫星16发送其当前GPS坐标，并且卫星16将来自车辆12的3D地图下载到车辆14，卫星16已经大致与相同的GPS坐标相关联地存储所述3D地图。
在另一实施例中，处理器122访问3D地图的较大部分而不是仅与其当前GPS位置相对应的部分。在这种情况下，处理器122可以使用车辆14的当前全球位置坐标以识别三维地图的相应部分。
接收了大致与其当前全球地理坐标相对应的3D地图之后，车辆14的处理器122可以将由强度场传感器120收集的数据与所接收的3D地图中的二维数据相匹配。例如，处理器122可以使用边缘检测或者其它图像处理技术以将诸如数据点334(图3)的数据点、或者包括数据点334的数据点的组与由强度场传感器120收集的数据点或者数据点的组相匹配。更通常地，处理器122可以将由强度场传感器120收集的数据点的组与接收的3D地图中的二维数据点的组相匹配。在将由强度场传感器120收集的数据点的组与3D地图中的数据点的组相匹配之后，处理器122然后可以将由强度场传感器120收集的数据点的更小组或者甚至是单独的数据点与3D地图中的数据点的更小组或者甚至是单独的数据点相匹配。
在找到传感器120收集的数据中的与3D地图中的点334相对应的2D数据点或者2D数据点的组之后，处理器122可以然后确定车辆14和对应于点334的2D数据点之间的距离和可能方向。即，处理器122可以使用3D地图来确定车辆12与点334之间的距离和方向。处理器122可以然后使用所确定的车辆12和点334之间的距离和方向作为车辆14和由传感器120收集的与点334相对应的数据之间的距离和方向的代理。处理器122可以然后在诸如自动导航和/或防撞算法的各种潜在应用中使用所估计的距离。
在图1的实施例中，将卫星16示出为接收三维地图并且将其转发到另一车辆。然而，在另一实施例中，卫星16仅用于使得车辆能够确定其全球坐标。经由射频向地面中心办公室发送三维地图并且然后经由射频将该三维地图转发到其它车辆。在另一实施例中，将三维地图存储在创建该地图的车辆中的存储器设备上。然后可以将存储器设备转移到另一车辆，或者可以将该存储器设备的内容拷贝到其它车辆。
在图1-3中，将本发明描述为应用于由动态和经常改变的交通环境(即，其它移动车辆)围绕的行驶的机动车辆。然而，本发明也可以应用于在基本上静态的环境中操作的机器人或者其它类型的移动车辆，例如机器人割草机或者机器人吸尘器。例如，图4示出了由机器人吸尘器创建的走廊的3D地图。代替绘制诸如机动车辆的移动物体，机器人吸尘器可以创建固定物和诸如盆栽436的相对静止的对象的3D地图。在导航其走廊的清扫时，该3D地图可以由创建该3D地图的相同吸尘器使用，或者可以由不同的吸尘器使用。
在一个实施例中，由专门设置用于创建3D地图目的的机器人创建该3D地图。与是否由专用机器人或者由不同的吸尘器创建无关，可以将该3D地图从地图创建实体直接电学发送到使用该3D地图的吸尘器。可以无线或者经由地图创建实体和使用该3D地图的吸尘器之间的硬连线连接来执行3D地图的发送。
在一个实施例中，清扫走廊的吸尘器包括收集图4所示的走廊的二维图像数据的强度场传感器。不是使用GPS来确定吸尘器的当前位置，吸尘器的处理器可以跟踪其相对于吸尘器识别和经过的最后地标的位置。例如，吸尘器的轮可以由步进电机驱动，并且处理器可以跟踪步进电机自从一感测到先前的地标就开始的旋转次数。可以与所收集的相应二维图像数据相关联地存储该步进电机的旋转次数。
如在图1-3的先前实施例中所示，可以将走廊的二维图像数据与3D地图的二维数据进行比较。在识别二维数据的匹配组时，可以通过吸尘器提取与二维数据的匹配组相对应的3D地图的三维数据。吸尘器可以使用该3D地图的三维数据以确定该吸尘器和地标(例如墙角或者门框)以及要被清扫的区域中的障碍物(例如盆栽436)之间的距离和方向。吸尘器可以操纵自身或者以其它方式导航所绘制的区域以避免与障碍物碰撞，并且也计划其路线以最有效地覆盖要待清扫的整个区域。
在另一实施例中，通过人操作者操作和操纵创建该三维地图的吸尘器，并且由不需要人操作的机器人吸尘器使用所产生的三维地图。本发明可应用于其它应用，诸如割草机，其中在人导引下执行创建三维地图的第一次通过，并且使用该三维地图的随后通过采用没有人输入的自动导航。
在一个特定实施例中，本发明的方法应用于导航导引。本发明可以使具有相对低成本照相机***的车辆能够执行相对于预纪录地图的车道精确定位。现有技术的车内导航***仅提供绝对的驱动建议(例如“改变到第二车道”)而不参考车辆的当前位置。相比而言，本发明增加的定位精确度能够以“改变到您的左侧车道”方式的更自然的交互来参考当前车辆位置。
在另一特定实施例中，本发明的方法提供增加的导航稳健性。现有技术基于GPS的导航***经历多路径错误以及隧道和“城市峡谷”中的接收丢失。为了克服该问题，测程传感器用于短期稳定。然而，如果GPS接收在几分钟内不充分或者不可用，则定位精确度由于漂移误差而急剧降低。由于本发明的定位方法不要求与卫星进行基本连续的通信，并且表现出改善的漂移特性，因此能够显著延长没有GPS的安全(即，局部)驱动的时间段。
在再一特定实施例中，本发明的方法应用于个人机器人技术。本发明的机器人技术应用包括室内监控、草坪割草、工业环境下的运输以及房屋清洁。这些应用的共同点是其环境(例如办公室、花园、房屋、工厂、仓库)不快速改变。因此，可能每年仅需要几次绘制(例如通过公司提供地图绘制服务或者租赁地图绘制设备)。该地图绘制使得能够实现对可能的几个机器人的日常定位。
由于三维位置从三维地图可直接访问，因此本发明提供的三维地标的关联和绘制可以比纯二维图像特征有利。因此，不需要地平面假设，并且不必采用计算昂贵的从运动恢复结构(structure-from-motion)方法。
在再一特定实施例中，本发明的方法为个人机器人技术提供了低成本***。该领域中的应用包括房屋周围的任务，例如洗涤、将对象放置在其指定位置中、干洗衣服以及房屋清扫。其它应用服务于老龄化人群，例如搬运重东西、记住东西在哪里、获取物品、准备食物和洗澡。另一应用帮助残疾人，例如通过远程操控、喂食、做家务以及监测健康和活动。再一应用涉及商业操作，例如挑选和包装、为杂货店供货、跟踪库存、获取物品以及维持可搜索的物理文件***。
图5中示出了本发明的地图绘制方法500的一个实施例。在第一步骤502中，第一移动单元用于在该第一移动单元经过表面的同时绘制二维特征。例如车辆12(图1)形式的移动单元可以包括在车辆12经过道路217的同时绘制图2a所示的二维特征的强度场传感器20。
在第二步骤504中，感测该特征的三维位置，在绘制期间发生该感测。例如，车辆12可以包括诸如3D传感器18的三维传感器，并且该3D传感器18可以在由强度场传感器20执行的绘制期间感测所述特征和车辆12之间的距离。
在步骤506中，创建包括该特征的三维位置和二维特征的地图之间的关联的三维地图。例如，可以创建如图2b所示的三维地图，并且该地图绘制可以包括所存储的每一个数据点228与图2a的二维地图上的各自点之间的关联性。例如，可以与图2a的二维地图的点2282相关联地存储图2b的三维地图中的数据点2281的三维位置。
在接下来的步骤508中，将来自第一移动单元的三维地图提供到第二移动单元。例如，如图1所示，可以经由卫星16将来自车辆12的3D地图提供到车辆14。在其它实施例中，可以经由射频信号将来自车辆12的3D地图上传到地面中心收集器并且经由射频信号将其从该收集器下载到车辆14。可选地，可以经由电导体将来自车辆12的3D地图发送到车辆14。在再一实施例中，可以将来自车辆12的3D地图存储在存储器设备上并且随后将该存储器设备安装在车辆14中。
接下来，在步骤510中，第二移动单元用于在该第二移动单元经过该表面的同时绘制该二维特征。在图1的实施例中，车辆14包括强度场传感器120，其用于绘制道路217的二维特征，从而在车辆14在道路217上行驶的同时创建与图2a所示的地图类似的地图。
在最后步骤512中，在第二移动单元内并且通过使用三维地图来确定由第二移动单元绘制的二维特征的三维位置。例如，车辆14的处理器122可以将通过车辆14绘制的二维特征与包括在所接收的三维地图中的二维特征相匹配。可以利用边缘检测或者一些其它图像处理算法来执行这种匹配。在三维地图中找到相对应的二维特征之后，车辆14可以使用在三维地图中提供的匹配的2D特征的三维位置作为通过车辆14绘制的匹配的2D特征的三维位置的代理。
图6中示出了本发明的地图绘制方法600的另一实施例。在第一步骤602中，绘制道路的二维特征。例如，车辆12(图1)可以包括在车辆12经过道路217的同时绘制图2a所示的二维特征的强度场传感器20。
在第二步骤604中，在绘制期间感测该特征的三维位置。例如，车辆12可以包括诸如3D传感器18的三维传感器，并且该3D传感器18可以在由强度场传感器20执行的绘制期间感测该特征与车辆12之间的距离。
在步骤606中，确定道路的全球位置坐标。例如，车辆12可以包括GPS模块26，所述GPS模块26经由GPS模块26与卫星16之间或者GPS模块26与专用GPS卫星之间的通信而连续跟踪其全球位置坐标。
在接下来的步骤608中，创建包括特征的三维位置、二维特征的地图以及全球位置坐标之间的关联性的三维地图。例如，可以创建如图2b中示出的三维地图，并且地图绘制可以包括所存储的每一个数据点228、图2a的二维地图上的各自点、以及所述点的GPS坐标之间的关联性。例如，可以与图2a的二维地图的点2282相关联地，并且与GPS坐标的单个集合相关联地存储图2b的三维地图中的数据点2281的三维位置，所述GPS坐标的单个集合与由GPS模块26确定的点2281、2282相关联。
接下来，在步骤610中，向机动车辆提供三维地图。例如，如图1所示，经由卫星16将来自车辆12的3D地图提供至车辆14。在其它实施例中，可以经由射频信号将来自车辆12的3D地图上传到地面中心收集器并且经由射频信号将其从收集器下载到车辆14。可选地，可以经由电导体将来自车辆12的3D地图发送到车辆14。在再一实施例中，可以将来自车辆12的3D地图存储在存储器设备上并且随后将该存储器设备安装在车辆14中。
在接下来的步骤612中，所述车辆用于在所述车辆经过道路的同时绘制所述二维特征。在图1的实施例中，车辆14包括强度场传感器120，其用于绘制道路217的二维特征，从而在车辆14在道路217上行驶的同时创建与图2a所示的地图类似的地图。
接下来，在步骤614中，在机动车辆经过道路的同时跟踪车辆的全球位置坐标。即，车辆14可以包括GPS模块126，在车辆14沿着道路217行驶的同时，GPS模块126经由GPS模块126和卫星16之间或者GPS模块126和专用GPS卫星之间的通信连续跟踪其全球位置坐标。
在接下来的步骤616中，将车辆的全球位置坐标匹配到与三维地图相关联的全球位置坐标。例如，可以识别所接收的三维地图中与车辆14的当前GPS坐标相匹配或者相接近的GPS全球坐标相关联的部分。
在步骤618中，匹配与所匹配的全球位置坐标相关联的二维特征。即，所接收的三维地图中与车辆14的当前GPS全球坐标相关联的部分可以包括同样通过车辆14的强度场传感器120当前绘制的二维特征。可以经由模式匹配、边缘检测或者一些其它图像处理算法通过处理器122将位于三维地图中以及通过强度场传感器120当前绘制的这些二维特征匹配到一起。
在最后的步骤620中，在所述车辆内并且通过使用与所匹配的二维特征相关联的三维位置确定所述车辆与通过所述车辆绘制的二维特征之间的距离。例如，在三维地图中找到相对应的二维特征之后，车辆14可以使用在三维地图中提供的匹配的二维特征的三维位置作为通过车辆14绘制的匹配的二维特征的三维位置的代理。可以在3D地图中按照车辆12与2D特征之间的距离表示匹配的二维特征的三维位置。因此，车辆14可以使用车辆12和2D特征之间的距离作为车辆14和2D特征之间的当前距离的代理。
这里主要结合在道路上行驶的机动车辆的地图绘制描述了本发明。然而，应该理解的是，本发明可应用于驾驶员辅助自主驱动、机器人技术、地图绘制和三维定位领域中的全部产品。
尽管将本发明描述为具有示例性设计，但是可以在本公开的精神和范围内进一步修改本发明。因此，本申请旨在覆盖使用其通用原理的本发明的任何变化、使用或者修改。

Claims (20)

1.一种地图绘制方法，包括：
使用第一移动单元以在所述第一单元经过表面的同时绘制二维特征；
感测所述二维特征的三维位置，在所述绘制期间进行所述感测；
创建包括所述二维特征的所述三维位置与所述二维特征的地图之间的关联性的三维地图；
从所述第一移动单元向第二移动单元提供所述三维地图；
使用所述第二移动单元以在所述第二移动单元经过所述表面的同时绘制所述二维特征；并且
确定通过所述第二移动单元绘制的所述二维特征的三维位置，在所述第二移动单元内并且通过使用所述三维地图来执行所述确定。
2.如权利要求1所述的方法，其中第一强度场传感器用于在所述第一移动单元经过所述表面的同时绘制所述二维特征。
3.如权利要求2所述的方法，其中第二强度场传感器用于在所述第二移动单元经过所述表面的同时绘制所述二维特征。
4.如权利要求1所述的方法，其中所述二维特征的所述三维位置由LIDAR和立体照相机中的一种来感测。
5.如权利要求1所述的方法，还包括以下步骤：
在所述第一移动单元经过所述表面的同时跟踪所述第一移动单元的全球位置坐标，所述三维地图包括所述二维特征的所述三维位置、所述二维特征的所述地图以及所述第一移动单元的所述全球位置坐标之间的关联性；以及
在所述第二移动单元经过所述表面的同时跟踪所述第二移动单元的全球位置坐标，所述确定步骤包括匹配所述第一移动单元和所述第二移动单元的所述全球位置坐标。
6.如权利要求5所述的方法，其中所述确定步骤包括匹配通过使用所述第一和第二移动单元所绘制的、并且与所匹配的所述第一和第二移动单元的全球位置坐标相关联的二维特征。
7.如权利要求1所述的方法，其中经由射频信号从所述第一移动单元向所述第二移动单元提供所述三维地图。
8.一种地图绘制装置，包括：
第一移动单元，所述第一移动单元包括：
第一强度场传感器，配置成在所述第一移动单元经过表面的同时绘制二维特征；
三维位置感测设备，配置成在所述第一强度场传感器的所述绘制期间感测所述二维特征的三维位置；
处理器，与所述第一强度场传感器和所述三维位置感测设备二者进行通信，所述第一移动单元的处理器被配置成创建包括所述二维特征的所述三维位置和所述二维特征的地图之间的关联性的三维地图；以及
发送设备，与所述处理器进行通信并且被配置成发送所述三维地图；以及
第二移动单元，所述第二移动单元包括：
接收设备，配置成接收来自所述第一移动单元的所述三维地图；
第二强度场传感器，配置成在所述第二移动单元经过所述表面的同时绘制所述二维特征；以及
处理器，与所述第二强度场传感器和所述接收设备二者进行通信，所述第二移动单元的处理器被配置成确定通过所述第二强度场传感器绘制的所述二维特征的三维位置，在所述第二移动单元内通过使用所述三维地图来执行所述确定。
9.如权利要求8所述的装置，其中所述第一移动单元还包括被配置成跟踪所述第一移动单元的全球位置坐标的第一GPS模块，并且所述第二移动单元还包括被配置成跟踪所述第二移动单元的全球位置坐标的第二GPS模块。
10.如权利要求9所述的装置，其中所述第二移动单元的所述处理器被配置成使用所述第二移动单元的当前全球位置坐标来识别所述三维地图的相应部分。
11.如权利要求8所述的装置，其中所述三维位置感测设备包括LIDAR和立体照相机中的一种。
12.如权利要求8所述的装置，其中所述第一移动单元和所述第二移动单元中的每一个包括割草机和吸尘器中的一种。
13.如权利要求8所述的装置，其中所述发送设备包括射频发送设备、电导体、能够从所述第一移动单元转移到所述第二移动单元的存储器设备中的一种。
14.如权利要求8所述的装置，其中所述三维地图包括三维表面网格。
15.一种地图绘制方法，包括：
绘制道路的二维特征；
感测所述特征的三维位置，在所述绘制期间进行所述感测；
确定所述道路的全球位置坐标；
创建包括所述二维特征的所述三维位置、所述二维特征的地图、以及所述全球位置坐标之间的关联性的三维地图；
向机动车辆提供所述三维地图；
使用所述机动车辆以在所述车辆经过所述道路的同时绘制所述二维特征；
在所述机动车辆经过所述道路的同时跟踪所述机动车辆的全球位置坐标；
将所述机动车辆的所述全球位置坐标匹配到与所述三维地图相关联的所述全球位置坐标；
匹配与所述机动车辆的所匹配的全球位置坐标相关联的所述二维特征；以及
确定所述机动车辆和通过所述机动车辆绘制的所述二维特征之间的距离，在所述机动车辆内并且通过使用与所匹配的二维特征相关联的所述三维位置来执行所述确定。
16.如权利要求15所述的方法，其中在第一机动车辆内执行所述绘制、感测和创建步骤，以及所述确定全球位置坐标的步骤，被提供以所述三维地图的所述机动车辆包括第二机动车辆。
17.如权利要求16所述的方法，其中第一强度场传感器用于在所述第一机动车辆经过所述道路的同时绘制所述二维特征。
18.如权利要求17所述的方法，其中第二强度场传感器用于在所述第二机动车辆经过所述道路的同时绘制所述二维特征。
19.如权利要求16所述的方法，其中从所述第一机动车辆向所述第二机动车辆提供所述三维地图。
20.如权利要求15所述的方法，其中通过LIDAR和立体照相机中的一种来感测所述二维特征的所述三维位置。
CN201080029620.8A 2009-06-01 2010-05-18 用于组合三维位置和二维强度地图绘制进行定位的方法和装置 Active CN102460074B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/475,701 US8473187B2 (en) 2009-06-01 2009-06-01 Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
US12/475,701 2009-06-01
PCT/US2010/035242 WO2010141209A1 (en) 2009-06-01 2010-05-18 Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization

Publications (2)

Publication Number Publication Date
CN102460074A CN102460074A (zh) 2012-05-16
CN102460074B true CN102460074B (zh) 2015-04-29

Family

ID=42596576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080029620.8A Active CN102460074B (zh) 2009-06-01 2010-05-18 用于组合三维位置和二维强度地图绘制进行定位的方法和装置

Country Status (5)

Country Link
US (1) US8473187B2 (zh)
EP (1) EP2438401B1 (zh)
JP (1) JP5348514B2 (zh)
CN (1) CN102460074B (zh)
WO (1) WO2010141209A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI615337B (zh) 2009-04-10 2018-02-21 辛波提克有限責任公司 自動化貨箱儲存系統及處理被建構成托板化負荷以在儲存設施往返運送的貨箱之方法
US8473187B2 (en) * 2009-06-01 2013-06-25 Robert Bosch Gmbh Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
US8467810B2 (en) * 2010-11-29 2013-06-18 Navteq B.V. Method and system for reporting errors in a geographic database
US10822168B2 (en) 2010-12-15 2020-11-03 Symbotic Llc Warehousing scalable storage structure
US8694152B2 (en) 2010-12-15 2014-04-08 Symbotic, LLC Maintenance access zones for storage and retrieval systems
US9475649B2 (en) 2010-12-15 2016-10-25 Symbolic, LLC Pickface builder for storage and retrieval systems
US9008884B2 (en) 2010-12-15 2015-04-14 Symbotic Llc Bot position sensing
TWI622540B (zh) 2011-09-09 2018-05-01 辛波提克有限責任公司 自動化儲存及取放系統
US9116011B2 (en) 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US9047688B2 (en) 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US10082584B2 (en) * 2012-06-21 2018-09-25 Microsoft Technology Licensing, Llc Hybrid device location determination system
US9969081B2 (en) * 2012-07-27 2018-05-15 Alberto Daniel Lacaze Method and system for the directed control of robotic assets
US9082008B2 (en) * 2012-12-03 2015-07-14 Honeywell International Inc. System and methods for feature selection and matching
US8880340B2 (en) * 2013-01-04 2014-11-04 The Boeing Company Augmented mobile platform localization
WO2014145437A1 (en) 2013-03-15 2014-09-18 Symbotic Llc Automated storage and retrieval system with integral secured personnel access zones and remote rover shutdown
TWI642028B (zh) 2013-03-15 2018-11-21 辛波提克有限責任公司 具有整合式受保護的人員接觸區及遠端漫遊機關機之運送系統及自動化儲存和取放系統
TWI594933B (zh) 2013-03-15 2017-08-11 辛波提克有限責任公司 自動化貯藏及取放系統
CN105705441B (zh) 2013-09-13 2018-04-10 西姆伯蒂克有限责任公司 自主运输车、存储和取回***及在该***内传递拣选面的方法
AU2013400684B2 (en) * 2013-09-20 2018-05-17 Caterpillar Inc. Positioning system using radio frequency signals
US10240930B2 (en) 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
FR3019310B1 (fr) * 2014-03-31 2016-04-01 Commissariat Energie Atomique Procede de geo-localisation de l'environnement d'un porteur
CN105336002B (zh) * 2014-08-01 2018-12-14 联想(北京)有限公司 信息处理方法及电子设备
WO2016033796A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Context-based flight mode selection
CN109388150B (zh) * 2014-09-05 2022-04-29 深圳市大疆创新科技有限公司 多传感器环境地图构建
JP6181300B2 (ja) 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の速度を制御するシステム
US10188029B1 (en) * 2014-10-20 2019-01-29 Hydro-Gear Limited Partnership Method of generating a three-dimensional map of a lawn and its use to improve mowing efficiency
US10643377B2 (en) * 2014-12-22 2020-05-05 Husqvarna Ab Garden mapping and planning via robotic vehicle
US9870514B2 (en) * 2015-07-02 2018-01-16 Qualcomm Incorporated Hypotheses line mapping and verification for 3D maps
KR102352833B1 (ko) * 2015-08-12 2022-01-18 현대모비스 주식회사 어라운드뷰 제공 장치 및 방법
CN105203094B (zh) * 2015-09-10 2019-03-08 联想(北京)有限公司 构建地图的方法和设备
CN108369420B (zh) * 2015-11-02 2021-11-05 星船科技私人有限公司 用于自主定位的设备和方法
US10405440B2 (en) 2017-04-10 2019-09-03 Romello Burdoucci System and method for interactive protection of a mobile electronic device
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
US10757485B2 (en) 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
CN109935098B (zh) * 2017-12-18 2020-11-06 上海交通大学 基于车路协同通信的高精度相对位置信息播发装置及方法
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
CN108040582A (zh) * 2018-01-26 2018-05-18 武汉理工大学 一种基于dgps的自动循迹电动割草机
CN111886518A (zh) * 2018-03-29 2020-11-03 洋马动力科技有限公司 障碍物检测***以及作业车辆
WO2019195483A1 (en) 2018-04-03 2019-10-10 Sharkninja Operating Llc Time of flight sensor arrangement for robot navigation and methods of localization using same
DE102018209366B4 (de) 2018-06-12 2020-07-02 Audi Ag Verfahren zur Bestimmung einer Position und/oder Orientierung einer Einrichtung
CN108873908B (zh) * 2018-07-12 2020-01-24 重庆大学 基于视觉slam和网络地图结合的机器人城市导航***
US11163317B2 (en) 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11181929B2 (en) 2018-07-31 2021-11-23 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
DE102018217194A1 (de) * 2018-10-09 2020-04-09 Robert Bosch Gmbh Verfahren zum Lokalisieren eines Fahrzeugs
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
DE102018220159B4 (de) * 2018-11-23 2021-03-11 Zf Friedrichshafen Ag Verfahren und System zum Bereitstellen von Transformationsparametern
CN110146910B (zh) * 2019-05-15 2023-02-28 重庆大学 一种基于gps与激光雷达数据融合的定位方法及装置
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
CN111143478A (zh) * 2019-12-05 2020-05-12 中国石油工程建设有限公司 基于轻量化模型、工程对象位号的二三维文件关联方法
US11620831B2 (en) * 2020-04-29 2023-04-04 Toyota Research Institute, Inc. Register sets of low-level features without data association
US11561553B1 (en) * 2020-05-11 2023-01-24 Vecna Robotics, Inc. System and method of providing a multi-modal localization for an object
CN115032995B (zh) 2022-06-17 2023-07-14 未岚大陆(北京)科技有限公司 运动控制方法、装置、电子设备及计算机存储介质
CN116933346B (zh) * 2023-09-14 2023-12-15 北京盈建科软件股份有限公司 一种将三维智能部件引入二维cad专业辅助设计***的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1250165A (zh) * 1998-08-04 2000-04-12 日本无线株式会社 三维雷达装置以及用于显示三维雷达图像的方法
EP1677076A2 (en) * 2005-01-04 2006-07-05 The Boeing Company Precision landmark-aided navigation
US20060164412A1 (en) * 2005-01-26 2006-07-27 Cedric Dupont 3D navigation system for motor vehicles
CN1869593A (zh) * 2005-05-26 2006-11-29 乐金电子(中国)研究开发中心有限公司 具有地理信息提供功能的移动通信终端及其方法
US20090033540A1 (en) * 1997-10-22 2009-02-05 Intelligent Technologies International, Inc. Accident Avoidance Systems and Methods

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US6650324B1 (en) 1999-10-29 2003-11-18 Intel Corporation Defining surface normals in a 3D surface mesh
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US7728833B2 (en) * 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
US7363157B1 (en) * 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
WO2007051972A1 (en) 2005-10-31 2007-05-10 Qinetiq Limited Navigation system
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US8473187B2 (en) * 2009-06-01 2013-06-25 Robert Bosch Gmbh Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090033540A1 (en) * 1997-10-22 2009-02-05 Intelligent Technologies International, Inc. Accident Avoidance Systems and Methods
CN1250165A (zh) * 1998-08-04 2000-04-12 日本无线株式会社 三维雷达装置以及用于显示三维雷达图像的方法
EP1677076A2 (en) * 2005-01-04 2006-07-05 The Boeing Company Precision landmark-aided navigation
US20060149458A1 (en) * 2005-01-04 2006-07-06 Costello Michael J Precision landmark-aided navigation
US20060164412A1 (en) * 2005-01-26 2006-07-27 Cedric Dupont 3D navigation system for motor vehicles
CN1869593A (zh) * 2005-05-26 2006-11-29 乐金电子(中国)研究开发中心有限公司 具有地理信息提供功能的移动通信终端及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于立体视觉的实时三维地图构建》;邬领东等;《传感技术学报》;20060228;第19卷(第1期);175-178 *
《概念地图绘制及其建构量规》;焦中明等;《赣南师范学院学报》;20050630(第6期);70-72 *

Also Published As

Publication number Publication date
US20100305854A1 (en) 2010-12-02
US8473187B2 (en) 2013-06-25
JP5348514B2 (ja) 2013-11-20
EP2438401A1 (en) 2012-04-11
JP2012529012A (ja) 2012-11-15
EP2438401B1 (en) 2019-09-11
CN102460074A (zh) 2012-05-16
WO2010141209A1 (en) 2010-12-09

Similar Documents

Publication Publication Date Title
CN102460074B (zh) 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
US11048267B2 (en) Mobile robot system and method for generating map data using straight lines extracted from visual images
US10489650B2 (en) Systems and methods for providing vehicle cognition
US8768558B2 (en) Optical tracking vehicle control system and method
JP2011129126A (ja) ランドマーク識別のための自動標識付け
上條俊介 et al. Autonomous vehicle technologies: Localization and mapping
CN105004336A (zh) 一种机器人的定位方法
WO2022178738A1 (en) Method and system for generating a topological graph map
Anousaki et al. Simultaneous localization and map building of skid-steered robots
USRE48527E1 (en) Optical tracking vehicle control system and method
CN111060921A (zh) 一种房屋信息采集终端及***
Mäkelä Outdoor navigation of mobile robots
Liao et al. The development of an artificial neural networks aided image localization scheme for indoor navigation applications with floor plans built by multi-platform mobile mapping systems
JP7329079B2 (ja) 汎用的に使用可能な特徴マップを生成する方法
Kim et al. Bayesian sensor fusion of monocular vision and laser structured light sensor for robust localization of a mobile robot
Huang et al. A direct localization method using only the bearings extracted from two panoramic views along a linear trajectory

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant