CN112469972A - 使用质询问题检验地图数据 - Google Patents

使用质询问题检验地图数据 Download PDF

Info

Publication number
CN112469972A
CN112469972A CN201980049573.4A CN201980049573A CN112469972A CN 112469972 A CN112469972 A CN 112469972A CN 201980049573 A CN201980049573 A CN 201980049573A CN 112469972 A CN112469972 A CN 112469972A
Authority
CN
China
Prior art keywords
challenge question
map data
challenge
operator
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980049573.4A
Other languages
English (en)
Inventor
M.S.蒙特默洛
M.季
P.波洛夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN112469972A publication Critical patent/CN112469972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3856—Data obtained from user input
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的方面涉及使用质询问题来验证地图数据300。例如，待验证的属性410、420可以从地图数据中被识别。至少一个质询问题610可以基于属性从多个预定的质询问题中被选择。可以基于与至少一个质询问题相关联的图像信息来检索图像500。图像和至少一个质询问题可以被提供用于显示。响应于提供，标识对至少一个质询问题的回答的操作员输入可以被接收。然后此回答可以被用于验证属性。

Description

使用质询问题检验地图数据
对相关申请的交叉引用
本申请要求于2018年7月23日提交的申请序列号为16/042,184的申请的权益，其公开通过引用被整体合并于此。
背景技术
各种***依赖于高度详细的环境地图。例如，一些自主车辆依靠这些地图做出驾驶决策。地图越好和越准确，这些决策就越可以信赖。因此，这些地图的准确性和质量对于这样的自主车辆的安全至关重要。
发明内容
本公开的方面提供了一种使用质询问题验证地图的方法。所述方法包括：由一个或多个处理器从地图数据中识别待验证的属性；由一个或多个处理器基于所述属性从多个预定的质询问题中选择至少一个质询问题；由一个或多个处理器基于与所述至少一个质询问题相关联的图像信息检索图像；由一个或多个处理器提供所述图像和所述至少一个质询问题用于显示；响应于所述提供，由一个或多个处理器接收标识所述至少一个质询问题的回答的操作员输入；并且由一个或多个处理器使用所述回答来验证所述属性。
在一个实施例中，所述属性对应于在交叉路口处在红灯期间右转是否被许可。在另一实施例中，所述图像信息定义用于从日志数据中检索相机图像的指令。在此示例中，所述指令标识所述相机图像的角度和位置。在另一示例中，所述方法还包括为操作员提供放大或缩小显示的图像的选项。在另一示例中，所述方法还包括为操作员提供请求其他图像的选项以便回答至少一个质询问题。在另一示例中，所述至少一个质询问题请求操作员检验在交叉路口处在红灯期间是否能够右转。在另一示例中，所述至少一个质询问题请求操作员检验两条车道是否互相连接以允许转弯。在另一示例中，所述至少一个质询问题请求操作员检验是否特定交通灯控制特定车道上的交通。在另一示例中，所述至少一个质询问题请求操作员检验交叉路口是否有交通灯。在另一示例中，所述方法还包括比较针对至少一个质询问题而接收到的所述回答与其他回答，并且其中，进一步基于所述比较来验证地图数据。在此示例中，进一步基于所述回答和所述其他回答中的一致回答的总数来验证属性。另外，进一步基于比较一致回答的总数和阈值来验证属性。在另一示例中，所述方法还包括使用所述回答修正地图数据。在另一示例中，所述方法还包括使用所述回答作为用于输入机器学习模型的标签以便训练所述模型来检验其他地图数据。在此示例中，所述方法还包括使用所述机器学习模型来检验所述其他地图数据。
公开的另一方面提供了一种使用质询问题验证地图数据的***。所述***包括一个或多个处理器，所述处理器被配置为：从地图数据中识别待验证的属性；基于所述属性从多个预定的质询问题中选择至少一个质询问题；基于与所述至少一个质询问题相关联的图像信息检索图像；提供所述图像和所述至少一个质询问题用于显示；响应于所述提供，接收标识所述至少一个质询问题的回答的操作员输入；并且使用所述回答验证所述属性。
在一个示例中，所述属性对应于在交叉路口处在红灯期间右转是否被许可。在另一示例中，所述图像信息定义用于从日志数据中检索相机图像的指令。在另一示例中，所述一个或多个处理器进一步被配置为比较针对至少一个质询问题而接收到的所述回答与其他回答，并且进一步基于所述比较来验证地图数据。
附图说明
图1是根据公开的方面的示例***的功能图。
图2是图1的示例***的示意图。
图3是根据公开的方面的地图数据的示例。
图4是根据公开的方面的地图数据和属性的示例。
图5是根据公开的方面的图像的示例。
图6是根据公开的方面的操作员界面的示例。
图7是根据公开的方面的操作员界面的另一示例。
图8是根据公开的方面的地图数据和属性的示例。
图9是根据公开的方面的流程图。
具体实施方式
概述
此技术涉及提高地图质量和细节。如上所述，这在地图被用于自主车辆的计算设备做出驾驶决策的情况下可能是尤其重要的。地图越好和越准确，这些决策就可以越可信赖。一种质量控制方法可以包括向操作员呈现在地图数据的“自顶向下”视图上显示的特征并且要求操作员标识他们看到的任何错误。例如，操作员可以检查交叉路口的地图数据以确认车道是否被适当地连接以及车道是否都连接到正确的控件(交通灯或停车标志)。有时候细微的错误在自顶到下视图中可能很难被看到。然而，存在应该被检查的地图特征的许多属性，并且不能保证原始映射器(人或机器)适当地设置了这些属性并且不能保证质量控制操作员检查了这些属性的设置是否适当。
为了解决这些问题，并非简单地显示地图和/或图像，而是可以使用利用质询问题(challenge question)检验地图数据的过程。这些质询问题可以被初始手动生成并且与一个或多个触发器相关联。触发器可以对应于地图数据的属性。
每个质询问题也可以与图像信息相关联，图像信息标识应该与质询问题一起显示的类型的图像。因此，当质询问题被显示时，也可以使用那个质询问题的图像信息来检索并且显示图像。
在操作中，计算***可以复查新的、旧的或最近更新的地图数据以识别属性。对于任何识别出的属性，计算***可以标识一个或多个质询问题。对于每个质询问题，可以使用与该质询问题相关联的图像信息来标识图像。可以从例如安装在诸如自主车辆的车辆上的相机收集的数据中检索图像。
一旦标识出一个或多个质询问题并且检索到图像，就可以在显示器上显示这些质询问题和图像以便允许操作员回答问题，例如，在复查地图数据期间。问题可以以预定的顺序被显示，例如，以对地图质量的重要性的顺序被显示，例如确认车道与交通灯的连接比标记减速带更重要，或以任何顺序被显示。另外，质询问题可以被链接到一个或多个其他质询问题，例如以基于对该质询问题的回答的层级或树。因此，一个质询问题可能会引出另一质询问题，以此类推。
然后，对质询问题的回答可以被分析以验证地图数据。例如，回答可以被用于确认属性正确，以及确定如何或是否修正或更新地图数据。问题也可以被用于其他信息，其他信息可以指示世界相对于地图数据已经以其他某种方式发生了变化，诸如确认交叉路口处的建筑区域。另外，可以向不同的操作员询问相同的质询问题以便比较结果并且衡量各个操作员在复查特定类型的属性时的准确性。
本文所述的特征提供了提高的地图质量和细节。问题可以被定制以解决关于地图将被如何使用的高重要性问题。换句话说，通过标识和显示适当的问题，问题能够被用于指导操作员的注意力以检查特定属性。具有这样的特定的定制问题可以提供关于地图数据中的误差、错误或遗漏类型的精细粒度的详情，并且比诸如标识或列出任何错误的开放式问题更可能产生可靠的回答。这些信息可以一起被用于将质量控制工作按比例集中在对车辆行为最重要的映射错误上。另外，询问的问题的类型和数量是一个“旋钮”，能够以有针对性的方式转换以影响地图质量。
示例***
图1和图2包括其中上述特征可以被实现的示例***100。其不应被认为限制公开的范围或本文所述特征的用处。在此示例中，***100能够包括计算设备110、120、130和140，车辆170、180以及存储***150。每个计算设备110能够包含一个或多个处理器112、存储器114以及通常存在于其他通用计算设备中的其他组件。计算设备110、120、130和140中的每一个的存储器114能够存储一个或多个处理器112可访问的信息，包括能够由一个或多个处理器112执行的指令116。
存储器也能够包括能够由处理器检索、操纵或存储的数据118。存储器能够是能够存储处理器可访问的信息的任何非暂时性的类型，例如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、具有写能力的存储器和只读存储器。
指令116能够是由一个或多个处理器直接执行的任何指令集，诸如机器代码，或间接执行的任何指令，诸如脚本。在这方面，术语“指令”、“应用”、“步骤”和“程序”在本文中可以互换使用。指令能够以目标代码格式被存储以由处理器直接处理，或以任何其他计算设备语言存储，包括脚本或独立源代码模块的集合，所述脚本或独立源代码模块的集合按需被解释或预先编译。指令的功能、方法和例程将在以下更详细地说明。
数据118可以由一个或多个处理器112根据指令116被检索、存储或修改。例如，尽管本文描述的主题不受任何特定数据结构的限制，但是数据能够作为具有许多不同字段和记录的表格或XML文档被存储在计算机寄存器中、关系数据库中。数据也能够以任何计算设备可读格式被格式化，诸如，但不限于二进制值、ASCII或Unicode。此外，数据能够包含足以标识相关信息的任何信息，诸如数字、描述性文本、专有代码、指针、对存储在其他存储器——诸如在其他网络位置——中的数据的引用，或由函数使用以计算相关数据的信息。
一个或多个处理器112能够是传统处理器，诸如市售的CPU或GPU。可替换地，处理器能够是专用组件，诸如专用集成电路(“ASIC”)或其他基于硬件的处理器。尽管不是必需的，但是一个或多个计算设备110可以包括专用硬件组件以执行特定的计算过程，诸如更快或更有效地对视频进行解码、将视频帧与图像进行匹配、对视频进行失真、对失真的视频进行编码等。
尽管图1在功能上将处理器、存储器和计算设备110的其他元件图示为在同一块内，但是处理器、计算机、计算设备或存储器实际上可以包括多个处理器、计算机、计算设备或存储器，它们可能或可能不会被存储在同一物理外壳中。例如，存储器能够是位于与计算设备110不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器、计算机、计算设备或存储器的引用将被理解为包括对可能并行或可能不并行操作的处理器、计算机、计算设备或存储器的集合的引用。例如，计算设备110可以包括用作负载平衡服务器场、分布式***等的服务器计算设备。更进一步，尽管以下描述的一些功能被表明为发生在具有单个处理器的单个计算设备上，但是本文描述的主题的各种方面能够由例如，通过网络160通信信息的多个计算设备来实现。
计算设备110中的每一个能够在网络160的不同节点处并且能够与网络160的其他节点直接和间接通信。尽管在图1-2中仅描述了几个计算设备，但是应该理解，典型的***能够包括大量连接的计算设备，每个不同的计算设备在网络160的不同节点处。能够使用各种协议和***将本文所述的网络160和中间节点互连，使得所述网络能够是互联网、万维网、特定内联网、广域网或局域网的一部分。网络能够利用标准通信协议，诸如以太网、WiFi和HTTP、一个或多个公司专有的协议以及前述的各种组合。尽管当信息如上所述被发送和接收时获得了某些优势，但是本文描述的主题的其他方面不限于信息的任何特定传输方式。
作为示例，每个计算设备110可以包括能够经由网络与存储***150以及计算设备120、130及140和车辆170、180通信的网络服务器。例如，一个或多个服务器计算设备110可以使用网络160以向用户或操作员，诸如操作员220、230或240发送并且在显示器，诸如计算设备120的显示器122、计算设备130的显示器132或计算设备140的显示器142上呈现信息。在这方面，计算设备120、130和140可以被认为是客户端计算设备并且可以执行本文所述的全部或一些特征。
客户端计算设备120、130和140中的每一个可以与服务器计算设备110类似地被配置，具有如上所述的一个或多个处理器、存储器和指令。每个客户端计算设备120、130或140可以是意欲供操作员220、230、240使用的个人计算设备，并且具有一般与个人计算设备结合使用的所有组件，诸如中央处理器(CPU)、存储数据和指令的存储器(例如RAM和内部硬盘驱动器)、诸如显示器122、132或142的显示器(例如具有屏幕的监视器、触摸屏、投影仪、电视或可操作以显示信息的其他设备)和操作员输入设备124(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备也可以包括用于记录视频流和/或捕获图像的相机126、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。另外，客户端计算设备可以包括本地存储在客户端计算设备处的质量控制应用，操作员可以使用所述质量控制应用来发起和进行验证会话，如以下进一步讨论的。
尽管每个客户端计算设备120、130和140可以包含全尺寸的个人计算设备，但是它们可以可替换地包含能够通过诸如因特网的网络与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备120可以是移动电话或能够经由互联网获得信息的设备，诸如具有无线功能的PDA、平板电脑或上网本。在另一示例中，客户端计算设备130可以是可穿戴计算设备，诸如图2中所示的手表或头戴式计算***。作为示例，操作员可以使用小键盘、键盘、麦克风、通过相机使用视觉信号或触摸屏输入信息。
车辆170和180中的每一个可以包括类似于服务器计算设备配置的计算设备，具有如上所述的一个或多个处理器、存储器和指令。存储器可以存储地图，地图包括关于可能持续存在的各种特征的信息，诸如道路、车道、车道线和标记、交通灯、人行横道、建筑物、道路标高、消火栓、建筑区域等，以及这些各种特征的属性(位置、关系、规则等)。
另外，这些车辆中的每一个可以包括感知***，感知***包括用于检测车辆外部的对象——诸如其他车辆、道路上的障碍物、交通灯、标志、树木等——的一个或多个组件。例如，感知***可以包括一个或多个LIDAR传感器、声纳设备、雷达单元、相机和/或记录可以由车辆的计算设备处理的数据的任何其他检测设备。感知***的传感器可以检测在车辆的外部环境中的对象并且生成描述此类对象的特性——诸如位置、方向、大小、形状、类型、方向和移动速度等——的传感器数据。来自传感器的原始传感器数据和/或前面提到的特性可以被量化或整理为描述性函数或矢量并且被发送给车辆的计算设备进行进一步处理以便与地图数据结合来做出车辆的驾驶决策。传感器数据也可以作为日志数据被存储在该车辆的存储器的日志中。
与存储器114一样，存储***150能够是能够存储服务器计算设备110可访问的信息的任何类型的计算机存储，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、具有写功能的存储器和只读存储器。另外，存储***150可以包括分布式存储***，其中数据被存储在物理上可以位于相同或不同地理位置的多个不同存储设备上。如图1所示，存储***150可以经由网络160连接到计算设备和/或可以直接连接到计算设备110、120、130、140以及车辆170和180的任何计算设备(未示出)中的任何一个。
存储***150可以存储各种数据。例如，存储***150可以存储地图数据，类似于以上讨论的车辆170、180的地图数据。图3描述了包括交叉路口302的地图数据300的示例。在此示例中，地图数据300包括各种特征的形状位置和其他属性(未示出)，诸如交通灯310、312，人行横道320、322，由车道线340、342和停止线350、352界定的车道或车道路段330、332等。这样，车辆170和180的计算设备可以使用这些特征来做出驾驶决策。
存储***150也可以存储前面提到的日志数据。因此，此日志数据可以包括由各种传感器在附着在车辆上时收集的数据。这些传感器，例如，此类传感器可以被安装在诸如车辆170和/或180的车辆上，如上所述，可以存储传感器数据的日志。日志数据可以经由有线或无线连接(通过网络160)被下载和/或上传到存储***150。
存储***150也可以存储质询问题。这些质询问题可以被初始手动生成并且与一个或多个触发器相关联。触发器可以对应于地图数据的属性的类型以及其他附近的属性，如以下进一步讨论的。每个质询问题可以与标识视角、位置等的图像信息相关联以检索和/或注释图像，以提供该质询问题的情境。质询问题也可以与“重要性”值相关联，“重要性”值指示该问题对地图质量的重要程度，如以下进一步讨论。
另外，存储***150可以存储质询问题之间的关系或链接。例如，质询问题可以以基于对该质询问题的回答的层级或树被链接到一个或多个其他质询问题。因此，一个质询问题可以引出另一质询问题，以此类推。
示例方法
除了上述和附图所图示的操作之外，现在将描述各种操作。应当理解，以下操作不必以以下描述的精确顺序被执行。相反，各种步骤能够以不同的顺序或同时地处理，并且还可以添加或省略步骤。
为了使用质询问题来验证地图数据，诸如操作员220的操作员可以使用他或她的诸如客户端计算设备120、130或140的客户端计算设备来与服务器计算设备110通信。例如，操作员的客户端计算设备可以经由质量控制应用与服务器计算设备110通信以便发起验证会话。
作为响应，服务器计算设备可以从地图数据中识别待验证的属性。例如，服务器计算设备可以复查存储***150的新的、旧的或最近更新的地图数据以便识别需要验证的属性。例如，每个新的、旧的(诸如几个月、几年或更长时间)和最近添加的属性，诸如路标的存在、位置和文字、车道的位置和连接(即，两个车道或车道路段在空间上是否彼此连接以允许车辆从一个车道或车道路段驶向另一车道或车道路段，例如，转弯或沿着道路行驶)等，可能初始被标记为未检验，或更确切地说属性需要独立验证(即，由添加属性的计算设备或操作员以外的其他人)。在一些情况下，在能够将新的或最近添加的特征合并到车辆170、180所使用的地图中之前，一个或多个操作员可能需要验证，以促进此类车辆的安全。
例如，图4是具有车道路段330和交通灯312的特征的一些示例属性的地图数据300的示例400。在此示例中，交通灯312包括诸如类型(交通灯)、位置(X，Y，Z)、附近特征和车道连接的属性410。在此示例中，到车道路段330的连接被标记为未检验。车道路段330包括诸如类型(车道线段)、位置(X1，Y1，Z1至X2，Y2，Z2)和附近特征的属性420。在此示例中，属性420标识车辆不能从车道路段330红灯右转，并且车道路段330被连接到交通灯312或更确切地说交通灯312是否控制车道路段330中的交通。这两个属性被标记为未检验。这样，属性420的此属性可以被标识为待检验的属性。尽管图4仅包括两个示例，每个示例仅具有4个或5个属性，但这仅是为了易于理解和简化。地图数据的每个要素将具有一个或多个属性，例如，至少类型和位置(即，地理坐标)。
对于任何标识出的属性，计算***可以标识一个或多个质询问题。同样，每个属性可以与标识该属性类型的标签相关联。例如，属性420包括标签的类型、位置、附近特征、连接，并且属性410包括标签的类型、位置、附近特征、红灯右转。如上所述，属性的每种类型可以与一个或多个触发器相关联，触发器进一步与一个或多个预定的质询问题相关联。这些触发器中的至少一些触发器可以不仅与属性有关，而且与距属性的位置一定距离(例如几米或者更多或更少)内的地图的其他属性有关。
例如，如果地图数据包括属性诸如与车辆能够右转的交叉路口相遇的车道路段，诸如在交叉路口302处连接到车道路段332的车道路段330，则这可以触发质询问题诸如“是否存在任何用于右转的禁止红灯右转的标志”或“此处能够红灯右转吗？”。当从激光(LIDAR)数据生成地图数据时，此问题能够尤其重要，因为“禁止红灯右转”的标志上的文本可能会丢失(其仅在相机图像中可见)。质询问题的其他示例可以包括：如果地图数据将交通灯链接到特定车道，则“此灯控制我的车道吗？”；如果地图数据包括减速带，则“这是减速带吗？”；如果地图数据在交叉路口处未标识任何交通灯，则“此交通灯与此车道相关吗？”、“此交叉路口有任何交通灯吗？”或如果地图数据指示可以从一个车道转向另一车道，则“此车道连接到那条车道吗？”。因此，服务器计算设备110可以基于标识出的属性从多个预定的质询问题中选择至少一个质询问题。
另外，对于每个所选择的质询问题，可以使用与所选择的质询问题相关联的图像信息来识别图像。图像信息可以包括能够被用于帮助操作员回答质询问题的图像的角度或角度范围以及位置或位置范围。在这方面，服务器计算设备110可以基于与至少一个质询问题相关联的图像信息从日志数据中检索图像。例如，对于质询问题“我可以在此处红灯右转吗？”，图像信息可以指示服务器计算设备110应该访问存储***150的日志数据，以识别沿朝向交叉路口的车道路段捕获的图像以及距交叉路口至少5米或者更多或更少处捕获的图像。图5是在车道路段330、朝向交叉路口302并且距离交叉路口302大约5米处捕获的图像500的示例。在此示例中，各种特征是可见的，包括交叉路口502(对应于交叉路口302的全部或一部分)、交通灯512(对应于交通灯302)、人行横道522(对应于人行横道322)、车道路段530、532(对应于车道路段330、332的全部或一部分)、车道线540(对应于车道线340)、停止线550(对应于停止线350)等。另外，两个“禁止红灯右转”标志560、562也是可见的。
一旦一个或多个质询问题被标识并且图像被检索，则这些质询问题和图像可以由服务器计算设备110被提供到客户端计算设备。换句话说，每个质询问题和图像可以显示在具有由应用生成的操作员界面的显示器上以便允许操作员回答问题。图6是操作员界面600的示例。在此示例中，图像500直接显示在质询问题610的下方，询问质询问题以检验车道路段332与交通灯312之间的连接。在此示例中，为了使问题对操作员来说“更清晰”，图像500包括标识交通灯612的注释或边界框以便提供关于质询问题610的情境。该边界框的位置可以使用交通灯312的位置或其他属性以及与所选择的质询问题相关联(即，与质询问题610相关联)的图像信息确定并被投影到图像500中。
一旦显示，操作员可以提供对至少一个质询问题的回答。例如，对于质询问题610(“此交通灯是否与此车道有关？”)，操作员界面可以包括用于回答的选项，诸如“是”选项620或“否”选项630，操作员可以使用鼠标指针、手指或触控笔——如果是触摸感应输入——等来选择或点击。操作员也可以输入评论，例如，经由评论框640。
此后，可以向操作员提供用于显示的另一质询问题和图像并且以此类推直到验证会话完成、操作员结束为止。另外，可以由应用和客户端计算设备向服务器计算设备110提供指示标识回答的操作员输入的一个或多个响应(即，选项620、630、660中的哪个被选择)。
在一些实例中，多于一个问题可能会与特定图像一起被显示。这可以允许检验多个不同的属性。例如，如图7的示例性操作员界面700所示，图像500被直接显示在质询问题710的下方，询问质询问题以检验车辆是否能够在交叉路口302处从车道路段303红灯右转(“可以在此处红灯右转吗？”)。此处，没有额外的情境被提供。在这样的示例中，操作员界面600和操作员界面700可以包括进度条650以指示操作员针对特定图像被询问、回答和/或尚未被询问的质询问题的数量。例如，如在图6和图7之间可以看到的，在操作员回答图6的质询问题610之后并且一旦质询问题710被显示，则进度条改变(即，增加其进度)。
问题可以以预定的顺序显示，例如以每个问题的重要性值的顺序。例如，确认车道和交通灯的连接可以比确认红灯右转更重要，确认红灯右转比标识和/或确认减速带的位置更重要。在这方面，质询问题610可以先于质询问题710被显示。
在一些实例中，可以为操作员提供工具。例如，这些工具中的至少一些可以包括用于操纵图像以更好地回答质询问题的工具，例如使图像更亮或更暗或者放大或缩小图像。作为另一示例，可以向操作员提供工具(即，选项)以请求不同的图像(例如，更近或更远的图像)以便协助操作员回答质询问题。操作员也能够出于任何原因跳过特定问题，诸如如果问题不清楚或某种程度上不适用或操作员只是不确定该问题，诸如经由选项660。
另外，质询问题可以被链接到一个或多个其他质询问题，例如以基于对那个质询问题的回答的层级或树。因此，一个质询问题可能会引出另一质询问题，以此类推。例如，质询问题610可以被链接到质询问题710。然而，为了确保操作员没有负担过重或过于烦燥，任何给定操作员针对任何给定属性被询问的问题的数量可能会受到限制，例如，不得超过5个或者更多或更少。如果存在额外的质询问题，则可以将其显示给其他操作员或在其他时间(例如，在不同的验证会话中)显示。
然后质询问题的回答能够被分析以验证地图数据。例如，回答可以被用于确认属性正确以及确定如何或是否修正或更新地图数据。作为示例，响应于质询问题610和质询问题710，操作员可以经由选项620输入“是”。作为响应，服务器计算设备可以不再将那些质询问题800的相应属性标记为未检验。例如，在图8的示例800中所示，车道路段330和交通灯312之间的连接在属性410和属性420中不再被标记为未检验。类似地，属性420的属性“红灯右转”不再被标记为未检验。一旦地图数据已经被验证，则此地图数据然后可以例如经由网络160被发送或直接下载到车辆170、180，以便被用于允许那些车辆做出明智的、更安全的驾驶决策。
尽管以上内容与地图数据属性之间的特定关系有关，但对质询问题的回答也能够被用于其他信息，这些信息可能指示世界相对于地图数据已经以一些其他方式发生了变化，诸如确认交叉路口区域的构造。
另外，可以向不同的操作员询问相同的质询问题以便比较结果并且衡量各个操作员在复查特定类型的属性时的准确性。例如，如果阈值最小数量的操作员(诸如2或10个或者更多或更少)或一定百分比的操作员(诸如五分之四或80％或者更多或更少)以相同的方式回答相同的质询问题，则这足以使用回答来修正或更新地图数据。另外，冗余级别或询问相同问题的次数可能与回答正确的重要性有关。
回答也可以被用作用于机器学习模型或应用的标签。例如，回答、质询问题、图像和地图数据可以被用于训练模型以用于将来的地图质量控制。此后，其他地图数据和图像可以被输入到模型中以生成对质询问题的回答。
前面提到的具有相机图像的质询问题对于复查有用，因为图像提供的视角非常类似于驾驶的视角。然而，可以使用任何类型的数据来询问质询问题。只要问题是针对自顶向下视图，或甚至是LIDAR传感器生成的3D激光扫描提供的信息，它都能够是自顶向下的地图视图。
图9的流程图900是可以由一个或多个计算装置——诸如服务器计算装置110——执行以使用质询问题来验证地图数据的上述一些方面的示例流程图。例如，在块910处，待验证的属性从地图数据中被识别。在块920处，至少一个质询问题基于属性从多个预定的质询问题中被选择。在块930处，基于与至少一个质询问题相关联的图像信息来检索图像。在块940处，图像和至少一个质询问题被提供用于显示。在块950处，响应于提供，标识至少一个质询问题的回答的操作员输入被接收。然后在块960处，回答被用于验证属性。
本文所述的特征提供了提高的地图质量和细节。问题可以被定制以解决关于地图将被如何使用的高重要性问题。换句话说，问题能够通过标识和显示适当的问题被用于指导操作员的注意力以检查特定属性。具有此类特定的定制问题可以提供关于地图数据中的误差、错误或遗漏类型的精细粒度的详情，并且比诸如标识或列出任何错误的开放式问题更可能产生可靠的回答。这些信息可以一起被用于将质量控制工作按比例集中在对车辆行为最重要的映射错误上。另外，询问的问题的类型和数量是一个“旋钮”，能够以有针对性的方式转换以影响地图质量。
前述大多数的可选示例不是相互排斥的，而是可以以各种组合被实现以取得独特的优势。由于能够在不脱离权利要求定义的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，实施例的前述描述应当以说明的方式而不是以权利要求所定义的主题的限制的方式来进行。作为示例，不必以上述精确顺序执行前述操作。相反，可以以不同的顺序来处理各个步骤，诸如逆序或同时进行。除非另有说明，否则步骤也可以被省略。另外，本文描述的示例的规定以及用短语表达为“诸如”，“包括”等的用语不应被解释为将权利要求的主题限制于特定示例。相反，示例仅旨在图示许多可能的实施例之一。进一步，在不同附图中的相同附图标记能够标识相同或相似的元件。

Claims (20)

1.一种使用质询问题验证地图数据的方法，所述方法包含：
由一个或多个处理器从地图数据中识别待验证的属性；
由一个或多个处理器基于所述属性从多个预定的质询问题中选择至少一个质询问题；
由一个或多个处理器基于与所述至少一个质询问题相关联的图像信息来检索图像；
由一个或多个处理器提供所述图像和所述至少一个质询问题用于显示；
响应于所述提供，由一个或多个处理器接收标识对所述至少一个质询问题的回答的操作员输入；并且
由一个或多个处理器使用所述回答来验证所述属性。
2.根据权利要求1所述的方法，其中，所述属性对应于在交叉路口处在红灯期间右转是否被许可。
3.根据权利要求1所述的方法，其中，所述图像信息定义用于从日志数据中检索相机图像的指令。
4.根据权利要求3所述的方法，其中，所述指令标识所述相机图像的角度和位置。
5.根据权利要求1所述的方法，进一步包含：为操作员提供放大或缩小显示的图像的选项。
6.根据权利要求1所述的方法，进一步包含：为操作员提供请求其他图像的选项，以便回答至少一个质询问题。
7.根据权利要求1所述的方法，其中，所述至少一个质询问题请求操作员检验在交叉路口处在红灯期间是否能够右转。
8.根据权利要求1所述的方法，其中，所述至少一个质询问题请求操作员检验两条车道是否互相连接以允许转弯。
9.根据权利要求1所述的方法，其中，所述至少一个质询问题请求操作员检验是否特定交通灯控制特定车道上的交通。
10.根据权利要求1所述的方法，其中，所述至少一个质询问题请求操作员检验交叉路口是否有交通灯。
11.根据权利要求1所述的方法，进一步包含：比较针对至少一个质询问题而接收到的所述回答与其他回答，并且其中，进一步基于所述比较来验证地图数据。
12.根据权利要求11所述的方法，其中，进一步基于所述回答和所述其他回答中的一致回答的总数来验证属性。
13.根据权利要求12所述的方法，其中，进一步基于比较一致回答的总数和阈值来验证属性。
14.根据权利要求1所述的方法，进一步包含：使用所述回答来修正地图数据。
15.根据权利要求1所述的方法，进一步包含：使用所述回答作为用于输入机器学习模型的标签，以便训练所述模型来检验其他地图数据。
16.根据权利要求15所述的方法，进一步包含：使用所述机器学习模型来检验所述其他地图数据。
17.一种使用质询问题验证地图数据的***，所述***包含一个或多个处理器，所述处理器被配置为：
从地图数据中识别待验证的属性；
基于所述属性从多个预定的质询问题中选择至少一个质询问题；
基于与所述至少一个质询问题相关联的图像信息检索图像；
提供所述图像和所述至少一个质询问题用于显示；
响应于所述提供，接收标识所述至少一个质询问题的回答的操作员输入；并且
使用所述回答来验证所述属性。
18.根据权利要求17所述的***，其中，所述属性对应于在交叉路口处红灯期间右转是否被许可。
19.根据权利要求17所述的***，其中，所述图像信息定义用于从日志数据中检索相机图像的指令。
20.根据权利要求17所述的***，其中，所述一个或多个处理器进一步被配置为比较针对至少一个质询问题而接收到的所述回答与其他回答，并且进一步基于所述比较来验证地图数据。
CN201980049573.4A 2018-07-23 2019-07-22 使用质询问题检验地图数据 Pending CN112469972A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/042,184 2018-07-23
US16/042,184 US11181384B2 (en) 2018-07-23 2018-07-23 Verifying map data using challenge questions
PCT/US2019/042781 WO2020023358A1 (en) 2018-07-23 2019-07-22 Verifying map data using challenge questions

Publications (1)

Publication Number Publication Date
CN112469972A true CN112469972A (zh) 2021-03-09

Family

ID=69161725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980049573.4A Pending CN112469972A (zh) 2018-07-23 2019-07-22 使用质询问题检验地图数据

Country Status (4)

Country Link
US (2) US11181384B2 (zh)
EP (1) EP3827223A4 (zh)
CN (1) CN112469972A (zh)
WO (1) WO2020023358A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556746B1 (en) * 2018-10-26 2023-01-17 Amazon Technologies, Inc. Fast annotation of samples for machine learning model development
US11373527B2 (en) * 2019-03-25 2022-06-28 Micron Technology, Inc. Driver assistance for non-autonomous vehicle in an autonomous environment
US20230166766A1 (en) * 2021-12-01 2023-06-01 International Business Machines Corporation Hybrid challenger model through peer-peer reinforcement for autonomous vehicles
US20230228594A1 (en) * 2022-01-14 2023-07-20 Argo Al, LLC Validating high definition mapping data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2762743A1 (en) * 2010-12-23 2012-06-23 Research In Motion Limited Updating map data from camera images
US20150141056A1 (en) * 2013-11-21 2015-05-21 Here Global B.V. Apparatus and Method to Update Geographic Database
DE102015203929A1 (de) * 2015-03-05 2016-09-08 Bayerische Motoren Werke Aktiengesellschaft Aktualisierung von Kartendaten einer Navigationsvorrichtung für Fahrzeuge
US20180015076A1 (en) * 2014-06-06 2018-01-18 Ovid Therapeutics Inc. Methods of increasing tonic inhibition and treating secondary insomnia
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030158668A1 (en) 2002-02-15 2003-08-21 Anderson James J. System and method of geospatially mapping topological regions and displaying their attributes
US20070162761A1 (en) 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
GB2440958A (en) 2006-08-15 2008-02-20 Tomtom Bv Method of correcting map data for use in navigation systems
WO2010040390A1 (en) 2008-10-07 2010-04-15 Tomtom International B.V. Validating map data corrections
US9257056B2 (en) * 2011-10-31 2016-02-09 Google Inc. Proactive user-based content correction and enrichment for geo data
US9619484B2 (en) 2013-02-18 2017-04-11 Here Global B.V. Method and system for determining geographic data to display
US9402189B2 (en) 2014-07-02 2016-07-26 Here Global B.V. Method and apparatus for providing activity-based map job
US20180174446A1 (en) * 2015-02-09 2018-06-21 Kevin Sunlin Wang System and method for traffic violation avoidance
WO2016205415A1 (en) * 2015-06-15 2016-12-22 ImageKeeper LLC Unmanned aerial vehicle management
US11194846B2 (en) * 2016-11-28 2021-12-07 Here Global B.V. Method and apparatus for providing automated generation of parking restriction data using machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2762743A1 (en) * 2010-12-23 2012-06-23 Research In Motion Limited Updating map data from camera images
US20150141056A1 (en) * 2013-11-21 2015-05-21 Here Global B.V. Apparatus and Method to Update Geographic Database
US20180015076A1 (en) * 2014-06-06 2018-01-18 Ovid Therapeutics Inc. Methods of increasing tonic inhibition and treating secondary insomnia
DE102015203929A1 (de) * 2015-03-05 2016-09-08 Bayerische Motoren Werke Aktiengesellschaft Aktualisierung von Kartendaten einer Navigationsvorrichtung für Fahrzeuge
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates

Also Published As

Publication number Publication date
US20220042806A1 (en) 2022-02-10
WO2020023358A1 (en) 2020-01-30
US11181384B2 (en) 2021-11-23
US11821751B2 (en) 2023-11-21
EP3827223A4 (en) 2022-05-18
US20200025577A1 (en) 2020-01-23
EP3827223A1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US11821751B2 (en) Verifying map data using challenge questions
JP6821762B2 (ja) 畳み込みニューラルネットワークを利用してｐｏｉ変化を検出するためのシステムおよび方法
JP2018537772A (ja) 複数の写真の一致性に基づく保険賠償詐欺防止方法、システム、装置及び読み取り可能な記録媒体
Maruhn et al. Measuring egocentric distance perception in virtual reality: Influence of methodologies, locomotion and translation gains
US20210333124A1 (en) Method and system for detecting changes in road-layout information
US9551579B1 (en) Automatic connection of images using visual features
CN107430815A (zh) 用于自动识别停车区的方法和***
CN102084398A (zh) 街道级图像到3d建筑物模型的对准
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
US8655804B2 (en) System and method for determining a characteristic of an individual
US11210571B2 (en) Using rasterization to identify traffic signal devices
JP7353389B2 (ja) 複雑な道路の活字のシーン属性注釈
US20200380085A1 (en) Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
JP6243956B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
KR20200013156A (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
CN110942485A (zh) 基于人工智能的场景感知方法、装置及电子设备
US20230370570A1 (en) Data transmission device, data transmission method, information processing device, information processing method, and program
KR101783156B1 (ko) Ar 마커를 이용한 물리적 프로그래밍 정보를 인식하는 방법 및 장치
CN117173240B (zh) 伺服控制驱动器的ar辅助装配方法、装置、设备及介质
US11487299B2 (en) Method and system for localizing autonomous ground vehicles
US20230230384A1 (en) Image annotation tools
US20230377164A1 (en) Object labeling for three-dimensional data
Tan Real time junction recognition using image matching
JP2024072568A (ja) 情報処理プログラム、情報処理装置、情報処理方法及びモデルの生成方法
Iqbal Metamorphic Relations for Testing Automated and Autonomous Driving Systems and Simulation Platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210309