CN108021862B - 道路标志识别 - Google Patents

道路标志识别 Download PDF

Info

Publication number
CN108021862B
CN108021862B CN201711034979.4A CN201711034979A CN108021862B CN 108021862 B CN108021862 B CN 108021862B CN 201711034979 A CN201711034979 A CN 201711034979A CN 108021862 B CN108021862 B CN 108021862B
Authority
CN
China
Prior art keywords
road sign
road
vehicle
sign
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711034979.4A
Other languages
English (en)
Other versions
CN108021862A (zh
Inventor
科林·卡普奥夫
安德鲁·理查森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108021862A publication Critical patent/CN108021862A/zh
Application granted granted Critical
Publication of CN108021862B publication Critical patent/CN108021862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/362—Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

车辆可以配备计算设备、网络、传感器和控制器来确定、修改和/或增加周围现实世界的数字地图。包括在车辆中的计算设备可以确定激光雷达数据中的道路标志位置。计算设备可以基于道路标志位置来识别一个或多个视频图像中的道路标志，并且基于道路标志识别和道路标志位置来将道路标志包括在数字地图中。

Description

道路标志识别
技术领域
本公开总体涉及车辆驾驶领域，并且更具体地，涉及车辆驾驶中的道路标志识别。
背景技术
数字地图现在广泛用于各种目的，包括监测交通和道路状况、规划路线、定位诸如零售店、公园等的地标和/或根据数字地图上的信息沿着路线的自主或半自主车辆的导航。道路标志可以传达有关计划或潜在的车辆路线的有用信息，例如速度限制、停车标志、车道转换等。然而，目前的数字地图往往是过时的或不正确的，例如，由于标志没有被正确地包含在数字地图上、自从上一次更新等之后标志已经被贴出或删除、或者潜在的车辆路线没有被绘制在地图上以提供数字地图。
发明内容
根据本发明，提供一种方法，包括：
确定激光雷达数据中的道路标志位置；
基于道路标志位置来识别一个或多个视频图像中的道路标志；以及
基于道路标志识别和道路标志位置来将道路标志包括在数字地图中。
根据本发明的一个实施例，该方法还包括：
通过以下方式确定道路标志位置：
确定激光雷达数据中分离的高强度返回的位置；以及
通过群集和过滤激光雷达数据中分离的高强度返回的位置来确定道路标志位置。
根据本发明的一个实施例，其中通过逆向反光材料(retroreflectivematerials)来产生高强度返回。
根据本发明的一个实施例，其中基于道路标志位置来识别视频图像中的道路标志包括基于道路标志位置从视频图像分离道路标志的视频图像。
根据本发明的一个实施例，其中分离的视频图像被单应地投影。
根据本发明的一个实施例，其中基于道路标志位置来识别分离的视频图像中的道路标志包括对分离的视频图像执行字符识别和标志匹配。
根据本发明的一个实施例，该方法还包括：
将道路标志上传到计算设备，并且基于道路标志识别和道路标志位置来将道路标志包括在数字地图中。
根据本发明的一个实施例，该方法还包括：
从计算设备下载数字地图并基于数字地图来驾驶车辆。
根据本发明的一个实施例，该方法还包括确定两组或更多组激光雷达数据中的道路标志位置。
根据本发明的一个实施例，该方法还包括基于数字地图来驾驶车辆。
根据本发明，提供一种装置，该装置包括：
处理器；以及
存储器，存储器存储可由处理器执行以进行以下操作的指令：
确定激光雷达数据中的道路标志位置；
基于道路标志位置来识别一个或多个视频图像中的道路标志；以及
基于道路标志识别和道路标志位置来将道路标志包括在数字地图中。
根据本发明的一个实施例，处理器进行的操作还包括：
通过以下方式确定道路标志位置：
确定激光雷达数据中分离的高强度返回的位置；以及
通过群集和过滤激光雷达数据中分离的高强度返回的位置来确定道路标志位置。
根据本发明的一个实施例，其中通过逆向反光材料产生高强度返回。
根据本发明的一个实施例，其中基于道路标志位置来识别视频图像中的道路标志包括基于道路标志位置从视频图像分离道路标志的视频图像。
根据本发明的一个实施例，其中分离的视频图像被单应地投影。
根据本发明的一个实施例，其中基于道路标志位置来识别分离的视频图像中的道路标志包括对分离的视频图像执行字符识别和标志匹配。
根据本发明的一个实施例，处理器进行的操作还包括：
将道路标志上传到计算设备，并且基于道路标志识别和道路标志位置将道路标志包括在数字地图中。
根据本发明的一个实施例，处理器进行的操作还包括：
从计算设备下载数字地图并基于数字地图来驾驶车辆。
根据本发明的一个实施例，处理器进行的操作还包括确定两组或更多组激光雷达数据中的道路标志位置。
根据本发明的一个实施例，处理器进行的操作还包括基于数字地图来驾驶车辆。
附图说明
图1是示例性车辆的框图；
图2是具有道路标志的道路的示例视频图像的示意图；
图3是具有道路标志的示例激光雷达数据的示意图；
图4是具有道路标志的另一示例激光雷达数据的示意图；
图5是具有道路标志的激光雷达数据的又一示例的示意图；
图6是具有道路标志的道路的另一示例视频图像的示意图；
图7是道路标志的视频图像的另一示例的示意图；
图8是基于道路标志来驾驶车辆的过程的流程图；
图9是基于道路标志来驾驶车辆的另一示例过程的流程图。
具体实施方式
车辆可以配备有计算设备、网络、传感器和控制器来确定、修改和/或增加周围现实世界的数字地图。这种地图可以用于各种目的，例如，来确定可能的路线、驾驶自主车辆和/或协助乘客驾驶车辆。车辆传感器可以包括激光雷达传感器，其可以提供数据以确定道路标志的识别和位置。道路标志的识别和位置可以包括在数字地图中。数字地图可以上传到服务器计算机以进行用于前述用途或其他用途的访问和分配。
车辆可以被配备以在自主的和乘客驾驶模式下进行操作。半自主或完全自主的模式是指车辆可以被作为具有传感器和控制器的车辆信息***的一部分的计算设备驾驶的一种操作模式。车辆可以被占用或未被占用，但是在任一情况下，车辆可以在没有乘客的帮助下驾驶。为了本公开的目的，自主模式被定义为车辆推进(例如经由包括内燃发动机和/或电动马达的动力传动***)、制动和转向中的每一个由一个或多个车辆计算机控制的模式；在半自主模式下，车辆计算机控制车辆推进、制动和转向中的一个或两个。
车辆可以配备计算设备、网络、传感器和控制器来驾驶车辆并确定包括例如道路等特征在内的周围现实世界的地图。车辆可以被驾驶，并且可以基于定位和识别周围现实世界中的道路标志来确定地图。驾驶是指引导车辆的移动，以便将车辆移动到目的地。
图1是根据所公开的实施方式的包括在自主(在本公开中，“自主”本身意味着“完全自主”)和乘客驾驶(也称为非自主)模式下可操作的车辆110的车辆信息***100的示意图。车辆110还包括一个或多个计算设备115，用于在自主操作期间执行用于驾驶车辆110的计算。计算设备115可以从传感器116接收关于车辆操作的信息。
诸如已知的，计算设备115包括处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储由处理器执行的用于执行各种操作(包括如本文所公开的)的指令。例如，计算设备115可以包括操作车辆制动器、推进器(例如通过控制内燃发动机、电动马达、混合发动机等来控制车辆110中的加速度)、转向装置、气候控制装置、内部和/或外部灯等中的一个或多个的编程，以及确定计算设备115(而不是人类操作者)是否以及何时控制这样的操作的编程。
计算设备115可以包括多于一个计算设备或诸如经由下面进一步描述的车辆通信总线通信地连接到多于一个计算设备，例如包括在车辆110中的用于监控和/或控制诸如动力传动***控制器112、制动控制器113、转向控制器114等的各种车辆部件的控制器或诸如此类。计算设备115通常被布置用于在诸如控制器局域网(CAN)等的诸如车辆110中的总线的车辆通信网络上进行通信；车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
经由车辆网络，计算设备115可以向车辆中的各种设备发送消息和/或从各种设备接收消息，各种设备例如包括传感器116的控制器、驱动器、传感器等。或者或另外，在计算设备115实际上包括多个设备的情况下，车辆通信网络可以用于在本公开中表示为计算设备115的设备之间的通信。此外，如下所述，各种控制器或感测元件可以经由车辆通信网络向计算设备115提供数据。
另外，计算设备115可以被配置为经由网络130与远程服务器计算机120(例如云服务器)通过车对基础设施(V-I)接口111进行通信。如下所述，计算设备115可以利用各种有线和/或无线联网技术，例如蜂窝、
Figure BDA0001450264070000051
Figure BDA0001450264070000052
和有线和/或无线分组网络。计算设备115还包括诸如已知的非易失性存储器。计算设备可以通过将信息存储在非易失性存储器中来记录信息，以供稍后检索和经由车辆通信网络和V-I接口111发送到服务器计算机120或用户移动设备160。
如已经提到的，通常包括在存储在存储器的指令中并且由计算设备115的处理器执行的是用于在没有人类操作者的干预的情况下操作一个或多个车辆110部件(例如制动器、转向装置、推进器等)的编程。使用在计算设备115中接收的数据，例如来自传感器116、服务器计算机120等的传感器数据，计算设备115可以进行各种确定和/或控制各种车辆110部件和/或操作，而无需驾驶员来操作车辆110。例如，计算设备115可以包括用于调节车辆110的例如速度、加速度、减速度、转向等操作行为以及诸如车辆之间的距离和/或车辆之间的时间量、车辆之间的车道变换最小间隙、左转穿过路径最小值(left turn across pathminimum)、到达特定位置的时间和到达以穿过十字路口的十字路口(无信号)最短时间的策略行为的编程。
这里使用的术语“控制器”包括通常被编程为控制特定车辆子***的计算设备。示例包括动力传动***控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所述的附加编程。控制器可以通信地连接到计算设备115并且接收来自计算设备115的指令，以根据该指令来驱动子***。例如，制动控制器113可以从计算设备115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，其包括作为非限制性示例的一个或多个动力传动***控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可以包括各自的处理器和存储器以及一个或多个驱动器。控制器112、113、114可以被编程并连接到诸如控制器局域网(CAN)总线或局部互连网络(LIN)总线的车辆110通信总线，以从计算机115接收指令并基于该指令控制驱动器。
传感器116可以包括已知经由车辆通信总线提供数据的各种设备。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一个车辆的距离，或者设置在车辆110中的全球定位***(GPS)传感器可以提供车辆110的地理坐标。由雷达提供的距离或由GPS传感器提供的地理坐标可以被计算设备115使用以自主地或半自主地操作车辆110。
车辆110通常是具有三个或更多个车轮的陆上自主车辆110，例如乘用车、轻型卡车等。车辆110包括一个或多个传感器116、V-I接口111、计算设备115和一个或多个控制器112、113、114。
传感器116可以被编程为收集与车辆110以及车辆110正在操作所处的环境相关的数据。作为示例而非限制，传感器116可以包括例如高度计、摄像机、激光雷达、雷达、超声波传感器、红外传感器、压力传感器、加速计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、诸如开关的机械传感器等。传感器116可用于感测车辆110正在操作所处的环境，例如天气条件、道路坡度、道路的位置或邻近车辆110的位置。传感器116还可以用于收集与车辆110的操作相关的动态车辆110数据，例如速度、横摆率、转向角、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、部件之间的连接性以及车辆110的电气和逻辑健康性。
图2是例如由包括在传感器116中的视频摄像机获取的视频图像200的示意图。从视频摄像机获取视频图像200，以便包括前方现实世界中和车辆110的移动方向上的场景以及包括道路202的图像和速度限制道路标志204、禁止驶入道路标志(DO NOT ENTER)206、第一左箭头道路标志208和第二左箭头道路标志210(这里称为道路标志204、206、208、210)的图像。
图3是例如由包括在传感器116中的激光雷达***获取的激光雷达数据300的示意图。激光雷达(LIDAR)是LIght raDAR的缩写，并且包括通过例如发送和接收可以来自激光的扫描的光脉冲以及测量飞行时间来确定场景中的精确到点的3D(三维)范围或距离。激光雷达***可以从包括与视频图像200相对应的方向的车辆110周围的所有方向的现实世界中的场景获取激光雷达数据300。
由现实世界中的场景反射的光脉冲沿着扫描线产生返回302，扫描线可以由例如包括在激光雷达***中的激光确定。返回包括激光在扫描场景时由激光照射的场景中的信号强度和精确到点的3D范围或距离。激光雷达数据300可以包括沿着平行扫描线以各种角度获得的样本，如激光雷达数据300所示。
激光雷达数据300包括强度信号和与返回302相关联的3D范围或距离。未示出与返回302相关联的3D范围或距离。速度限制道路标志204、禁止驶入道路标志206、第一左箭头道路标志208和第二左箭头道路标志210产生具有高强度返回304、306、308、310的区域。道路标志可以在激光雷达数据300中产生高强度的返回，因为道路标志可以涂覆有包括例如微观晶状体元素的反射涂料，使道路标志高度反射，而不管照明和观察的角度如何。
图4是激光雷达数据400的示意图，其已经通过滤出低强度返回被过滤以去除除了激光雷达数据400中的高强度返回402、404、406、408、410之外的所有。滤出低强度返回可以基于预定阈值，或者可以使用已知的机器视觉技术来通过例如组合阈值和周围返回的值来滤出低强度的返回。滤出低强度返回的机器视觉技术的示例可以包括阈值化激光雷达数据300，然后进行形态处理以消除例如分离的高强度返回。
图5是已经用群集分析处理的激光雷达数据500的示意图。群集分析是通过基于数据点的近似度和相似性来测量统计分布来确定空间域中的连通区域或组的技术。已知有几种不同的技术用于对激光雷达数据500进行群集分析，例如包括基于连通性、基于图心、基于分布和基于密度的群集分析。
群集分析可以将相似的数据点基于近似标准组合成少量的连通组。可以在激光雷达数据500中确定群集504、506、508、510，例如通过基于高强度返回402、404、406、408、410的密度将高强度返回402、404、406、408、410分组成群集，根据预定参数从而确定群集504、506、508、510。
群集分析可以与过滤器组合以滤出小于和大于预定尺寸范围的群集504、506、508、510。以这种方式，可以从激光雷达数据500中滤出小于预定尺寸的群集504、506、508、510，因为根据与道路标志204、206、208、210相关联的预定参数，与群集504、506、508、510相关联的视频数据可能太小。
在其他情况下，群集504、506、508、510可以足够大以与道路标志204、206、208、210相关联，但是不大到足以支持字符识别和标志匹配，因为用于执行字符识别和标志匹配的已知技术可能需要最小特征尺寸以成功执行。在其他情况下，群集504、506、508、510可以足够大以与道路标志204、206、208、210相关联，但如下文所定义的与群集504、506、508、510相关联的位姿(pose)表示与标志位置604、606、608、610相关联的视频图像将因失真而不能支持字符识别和标志匹配。
大于道路标志204、206、208、210的群集504、506、508、510不能被滤出，因为它们可能包括道路标志204、206、208、210组。尺寸过滤器的上限可以取决于道路标志204、206、208、210的位置。例如，与路边道路标志204、206、208、210相比，分车道公路上的高架道路标志大。如将在下面更详细描述的，计算设备115可以维护与道路标志202、204、206、208相关联的数据库。数据库可以包括地图信息，该地图信息包括如下面定义的群集504、506、508、510的位置处或附近的道路标志202、204、206、208的预期尺寸。
在激光雷达数据500中，群集504、506、508、510分别对应于道路标志204、206、208、210。群集分析可以与使用最小二乘法技术的平面拟合组合，例如以确定每个群集504、506、508、510的最佳拟合平面的位置、尺寸和位姿，其中位置被定义为3D空间中的群集504、506、508、510的X、Y和Z坐标，尺寸被定义为针对群集504、506、508、510的最佳拟合平面形状的尺寸，并且位姿被定义为通过围绕X、Y和Z轴的旋转确定的3D空间中的平面的取向。
图6示出了具有标志位置604、606、608、610的视频图像600的示意图。基于在激光雷达数据500中通过如上所述的群集分析确定的群集504、506、508、510来确定标志位置604、606、608、610。由于激光雷达数据500包括3D范围或距离，所以从车辆110到群集504、506、508、510的角度和距离是已知的。由于视频摄像机的位置以及光学***的焦距和光学倍率是已知的，所以可以例如根据已知技术确定视频图像600中的群集504、506、508、510的位置。然后可以使用已知的显示技术将群集504、506、508、510的位置投影到视频图像600上，作为标志位置604、606、608、610。
与标志位置604、606、608、610相关联的视频图像可以被分离并且被单应地变换以产生平面表面的垂直取向的前视图，然后将其投影到标志位置604、606、608、610的主面上，以产生道路标志704、706、708、710，如图7所示。与每个群集504、506、508、510相关联的位姿可以用于通过单应投影对与道路标志位置604、606、608、610相关联的分离的视频图像进行“纠偏”，以基于与道路标志位置604、606、608、610相关联的分离的视频图像产生道路标志700。
单应投影(Homographic projection)是已知的机器视觉技术，在该示例中，变换并重新投影与道路标志位置604、606、608、610相关联的分离的视频图像，以便看起来好像摄像机获取的与道路标志位置604、606、608、610相关联的视频图像被与道路标志700的主面正交地观察以帮助字符识别和标志匹配。
通过将“DO NOT ENTER(禁止驶入)”标志606的视频图像与视频图像600进行比较来说明单应投影的示例，其中“DO NOT ENTER”标志606的主面与图像平面成一角度，产生与道路标志位置606相关联的非矩形分离视频图像。基于例如所确定的激光雷达数据500中的群集506的位姿，可以使用单应投影参数将与道路标志位置606相关联的非矩形分离视频图像变换为矩形道路标志706。
例如，单应投影参数可以包括道路标志700的主面的垂线和拟合到群集504、506、508、510的平面的垂线之间的角度以及道路标志700的主面和拟合到群集504、506、508、510的平面的尺寸之间的尺寸差异。单应投影可以将由与标志位置604、606、608、610相关联的视频图像表示的道路标志700的失真图像变换成未失真的道路标志700。
按照单应投影，已知的机器视觉技术可以应用于道路标志700，以确定与道路标志700相关联的语义，包括字符、单词、形状和颜色。与道路标志700相关联的其他语义包括位置和位姿。例如，与道路标志700相关联的语义可以通过使用包括光学字符识别(OCR)的已知机器视觉技术对道路标志700执行字符识别和标志匹配来确定，以识别字符和单词以及归一化相关性以识别形状。
例如，标志匹配可以确定与象形文字标志相关联的语义。例如，通过从标志形状和标志颜色推断语义，例如停车标志或让路标志，可以使得标志匹配相对于被污损的标志变得稳健(robust)。例如，除了与道路标志700相关联的字符和单词之外，道路标志700相对于车辆110的位置和位姿可以提供驾驶信息。
例如，道路标志700的位置和位姿可以确定道路202相对于车辆110的位置和方向，因为道路标志700相对于道路202的位置和位姿可以被预先确定并包括在包含在与计算设备115相关联的非易失性存储器中的数据库中。基于道路标志700的位置和位姿以及道路标志位置和位姿的数据库，可以确定车辆110相对于道路202的位置和位姿。
由于道路标志700位于距道路202的预定距离范围内的预定位姿范围内，在没有关于道路标志700位置和位姿的数据库信息的情况下，可以通过将与道路标志700相关联的语义与包括3D范围信息和视频图像200、600的激光雷达数据300、400、500相组合来确定道路202相对于车辆110的位置来确定道路202的位置。
包括在计算设备115中的导航过程可以包括非易失性存储器中的道路标志语义数据库，包括与可能的道路标志领域相关联的文本、形状、设计和颜色。由于道路标志是按国家或地区统一的，例如，通过使用GPS确定车辆的位置，导航过程可以被更新以包括本地道路标志语义。
导航过程可以包括与语义(语义与道路标志700相关联)相关联的命令和规则，其中命令包括由计算设备115发送到控制器112、113、114以控制车辆110的移动的信号，并且规则包括设置在与车辆的位置、移动和操作状态相关联的参数上的限制。通过与道路标志700相关联的语义所确定的命令和规则可以由包括在计算设备115中的导航过程来使用，以确定在现实世界中驾驶车辆110的安全路径和合法速度。
例如，与道路标志704相关联的语义可以与不超过50mph(每小时英里数)的规则相关联。响应于该规则，计算设备115向控制器112、113、114发出命令，以使车辆110以小于50mph的速度行驶。与道路标志706相关联的语义可以与例如在不适当的时间不右转的规则相关联。在这种情况下，计算设备115将不向控制器112、113、114发出以在不适当的时间右转的命令。与道路标志708、710相关联的语义可以与限制车辆110移动到道路202的适当车道的规则相关联，并且包括计算设备115向控制器112、113、114发出向左转命令以控制车辆110在适当的时间移动的速度和方向以向左转并且保持在道路202上的适当车道中。
图8是关于图2-7所描述的用于以自主操作模式驾驶车辆110的过程800的流程图。过程800可以由计算设备115的处理器实现，采用来自传感器116的信息作为输入信息，并且例如经由控制器112、113、114执行指令和发送控制信号。过程800包括以所公开的顺序采取的多个步骤。过程800还包括包含较少步骤的实现方式或者可以包括以不同顺序采取的步骤。
过程800在步骤802开始，其中计算设备115根据过程800确定与激光雷达数据500中的道路标志204、206、208、210相关联的道路标志位置604、606、608、610，如上面关于图3-5所描述的。确定意味着识别、计算、量化、查找、定位、识别或以任何方式确定道路标志位置。道路标志204、206、208、210是具有图形的平面反射物体，其意图是被乘客观察以辅助他们安全和合法地驾驶乘客驾驶的车辆。如上文关于图3-5所描述的那样，计算设备115可以通过确定高强度激光雷达数据500中的群集504、506、508、510的位置和位姿来确定道路标志位置604、606、608、610，群集504、506、508、510使用群集分析与道路标志位置604、606、608、610相对应。
接下来，在步骤804，基于标志位置604、606、608、610来识别视频图像200、600中的道路标志700。如上面关于图6所讨论的，在激光雷达数据500中确定的标志位置604、606、608、610可以应用于视频图像600以分离与标志位置604、606、608、610相关联的道路标志204、206、208、210的视频图像。与标志位置604、606、608、610相关联的分离的视频图像可以如上文关于图6和图7所述进行单应变换和投影，以产生道路标志700。
与道路标志700相关联的语义可以由计算设备115使用如上面关于图7所讨论的字符识别和标志匹配来确定，以确定与道路标志700相关联的语义。与道路标志700相关联的语义可以包括例如文本、形状、位置、位姿和颜色。在该示例中，与道路标志700相关联的语义包括例如“速度限制50MPH”，“禁止驶入”和“左箭头”。
接下来，在步骤806，计算设备115可以基于与道路标志700和标志位置604、606、608、610相关联的语义，在数字地图中包括与道路标志704、706、708、710相关联的语义。基于与道路标志700相关联的语义的道路标志700的识别和所确定的道路标志700相对于车辆110的位置604、606、608、610可以被包括在数字地图中。数字地图可以由计算设备115存储以驾驶车辆110，并经由V-I接口111被上传到远程服务器计算机120。上传到远程服务器计算机120的数字地图可以下载并用于路线规划，以驾驶车辆等。
基于数字地图驾驶车辆可以包括在计算设备115上执行的硬件和软件程序。如以下关于图9更详细地描述的，计算设备115可以将包括与道路标志700相关联的识别和位置的数字地图用作输入识别以驾驶车辆110。
总而言之，根据过程800，计算设备115可以通过滤出低强度返回并确定高强度返回群集504、506、508、510来确定激光雷达数据300、400、500中的道路标志位置。高强度群集504、506、508、510与视频图像200、600组合以确定与道路标志704、706、708、710相关联的语义。与道路标志704、706、708、710相关联的所确定的语义可以至少部分地确定车辆110可以在周围的现实世界中安全和合法地行驶的路径和速度。
图9是关于图2-7所描述的用于以自主操作模式驾驶车辆110的过程900的流程图。过程900可以由计算设备115的处理器实现，计算设备115例如采用来自传感器116的信息作为输入信息，并且经由控制器112、113、114执行指令和发送控制信号。过程900包括以所公开的顺序采取的多个步骤。过程900还包括包含较少步骤的实现方式，或者可以包括以不同顺序采取的步骤。
过程900在步骤902开始，其中根据过程900，计算设备115收集包括返回302、304、306、308、310的激光雷达数据300。如上所述，激光雷达是用于发射扫描光脉冲(例如光脉冲可以来自激光)并且测量脉冲的飞行时间以确定周围现实世界中的精确到点的3D范围或距离的技术。
激光雷达数据300中的每个数据点或返回302具有包括如已知的范围和强度的方面。如上所述，道路标志204、206、208、210由于其特定结构，可以在激光雷达数据300中提供高强度返回，如上面关于图3所讨论的。
接下来，在步骤904，计算设备115可以通过滤出如上面关于图4所讨论的低强度返回来分离如图4所示的激光雷达数据400中的高强度返回402、404、406、408、410。
接下来，在步骤906，计算设备115可以通过如上面关于图6所讨论的群集分析将激光雷达数据500群集成群集504、506、508、510。
接下来，在步骤908，计算设备115可以过滤激光雷达数据500群集504、506、508、510以去除不符合用于道路标志的预定标准的群集。如上文关于图6所讨论的，由于尺寸和形状而不可识别或由于位姿而失真的群集504、506、508、510可从激光雷达数据300、400、500中过滤。太大的群集504、506、508、510可以由计算设备115分析，以确定它们是否是多个标志。如上面关于图7和图8所讨论的预定数据库信息可用于确定适当的尺寸过滤器。
接下来，在步骤910，计算设备115可以捕获视频图像200、600。如本文所讨论的，视频图像200、600可以被包括在传感器116中的视频摄像机捕获，传感器116包括在车辆110中。可以根据包括在传感器116中的惯性位姿传感器在已知时间和已知位置捕获视频图像200、600。如关于图6所讨论的，由于激光雷达数据300、400、500在已知时间和已知位置处被捕获，并且激光雷达数据300、400、500的扫描几何形状以及视频摄像机的焦距和放大倍率是已知的，所以可以以已知的方式确定视频图像200、600中的位置与群集504、506、508、510的位置之间的对应关系。
例如，检查群集504、506、508、510可以基于预测道路标志704、706、708、710的视图何时可用来确定捕获视频图像200、600的最佳时间，其允许对视频图像执行与标志位置604、606、608、610相关联的字符识别和道路标志匹配。例如，多个视频图像200、600可以与多组激光雷达数据500组合以确定每个道路标志704、706、708、710的视图。计算设备115可以例如基于群集504、506、508、510相对于车辆110的位置和位姿来预测群集504、506、508、510可以与多个视频图像200、600中的哪一个视频图像200、600相关联，该视频图像200、600被成功地处理以确定语义。
接下来，在步骤912，可以使用视频图像200、600中的位置与群集504、506、508、510的位置之间的对应关系来分离道路标志位置604、606、608、610的视频图像。例如，分离道路标志位置604、606、608、610的视频图像允许计算设备115对包括在与道路标志位置604、606、608、610相关联的分离视频图像中的相对较少数量的像素(而不是整个视频图像200、600)执行计算密集型任务。
在步骤914，计算设备可以使用字符识别和标志匹配来确定与道路标志700相关联的语义。如上面关于图7所讨论的，语义包括例如文本、形状、位置、位姿和颜色。关联语义对于损坏或部分遮盖的道路标志700可以是稳健的。例如，停车标志可能被树叶部分地遮盖。这里的语义关联可以例如限于“红色”和“ST”。这对于计算设备115在语义上确定停车标志是足够的。
在步骤916，计算设备115可以将基于与道路标志700相关联的语义的道路标志700的识别以及道路标志位置604、606、608、610包括在数字地图中。数字地图可以经由V-I接口111上传到远程服务器计算机120。一旦上传到远程服务器计算机120，数字地图就可以与例如其他数字地图组合。如上所述，可以由用户和/或车辆下载上传到远程服务器计算机120的数字地图。
在一个示例中，数字地图可以由计算设备115使用以驾驶车辆110，如上面关于图8所讨论的。例如，导航子***可以保持包括道路202和诸如车辆的物体的附近的现实世界的地图。与道路标志700相关联的识别和位置可以至少部分地确定车辆110要行驶的安全和合法路径。
道路标志700可以允许计算设备115确定数字地图以及数字地图内的沿其移动车辆110的安全和/或合法路径，以便实时地识别道路标志700以达到期望的目的地。识别和理解语义以及因此与道路标志700相关联的识别可以允许车辆110响应交通控制的动态变化，例如建筑区域中的替代路线和速度。与道路标志700相关联的语义可以用于利用从车辆110周围的现实世界实时获取的信息来更新数据库和地图。例如，这允许计算设备115在例如弯道和可逆车道的动态交通状况下驾驶车辆110。
导航子***可以例如经由网络130和V-I接口111与服务器计算机120、移动用户设备160或其他车辆110进行通信，以获得根据所公开的示例构造的数字地图。与导航过程相关联的数据库可以存储道路标志204、206、208、210的综合程序库，并且存储与每个相关联的适当的命令和规则。例如，GPS和惯性位姿信息可以包括在传感器116中，以在地图上定位车辆110，并且确定车辆行驶的方向和速度。
在步骤918，可以将与道路标志700相关联的语义输出到计算设备115以基于与道路标志700相关联的语义来驾驶车辆110。包括在计算设备115中的虚拟驾驶员程序还可以依赖于由导航子***基于与如上关于如图8所述的与道路标志700相关联的语义来确定和更新的地图。
例如，导航子***可以基于与道路标志700相关联的语义来确定车辆110行驶的安全和合法路径。基于与道路标志704相关联的语义，车辆110应当将其速度保持在低于每小时50英里。虽然由导航子***确定的地图可以指示例如在道路识别706附近道路向右分支，但是与道路标志706相关联的语义表示车辆110不应该进入该道路，因为与道路标志706相关联的语义包括“禁止驶入”。例如，类似地，与道路标志708、710相关联的语义表示道路弯向左侧，并且车辆110应准备向左转，以保持在道路202上的适当车道中。
基于与道路标志700相关联的语义，利用计算机115驾驶车辆110可以包括辅助乘客驾驶的车辆110。例如，计算设备115可以确定乘客驾驶的车辆110超过由道路标志704确定的标示的速度限制。计算设备115可以警告乘客驾驶员和/或发出命令以限制车辆110的速度。以类似的方式，计算设备115可以警告乘客驾驶员他们正在经过“禁止驶入”标志进行右转，和/或通过不向控制器112、113、114发出向右转命令来阻止车辆110转弯。
总之，过程900描述了用于收集激光雷达数据、分离、群集和过滤数据、捕获视频数据、基于激光雷达数据分离道路标志的视频图像、对道路标志的分离的视频图像执行OCR(Optical Character Recognition，光学字符识别)和标志识别以及向计算设备115输出与道路标志的分离的视频图像相关联的语义的过程。
诸如这里讨论的那些计算设备通常各自包括可由一个或多个计算设备(诸如上述那些)执行以及用于执行上述过程的框或步骤的指令。例如，上面讨论的过程框可以被实现为计算机可执行指令。
计算机可执行指令可以由计算机程序编译或解释，计算机程序采用多种编程语言和/或技术创建，这些编程语言和/或技术包括但并不限于单独地或组合的JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此完成一个或多个程序，包括这里所描述的一个或多个程序。这样的指令或其他数据可以存储在文件中和采用各种计算机可读介质发送。计算设备中的文件通常是存储在诸如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。
计算机可读介质包括参与提供数据(例如指令)的介质，该数据可以由计算机读取。这样的介质可以采用多种形式，包括但不限于非易失性介质、易失性介质等。非易失性介质可以包括例如光盘或磁盘或其他永久性存储器。易失性介质可以包括典型地构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常规形式包括，如软盘、柔性盘、硬盘、磁盘、任何其他磁性介质、CD-ROM(只读光盘驱动器)、DVD(数字化视频光盘)、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM(随机存取存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、FLASH EEPROM(闪速电可擦除可编程只读存储器)、任何其他存储器芯片或盒，或者任何其他计算机可读取的介质。
在权利要求中所使用的所有术语旨在给予其最宽泛的合理的解释以及应被本领域的技术人员理解为其最常用的意思，除非在这里做出了明确的相反的指示。特别地，单数冠词“一”、“该”、“所述”等的使用应该理解为表述一个或多个所示元件，除非做出了与此相反的明确限制。
术语“示例性”在本文中用于表示示例的意义，例如，对“示例性小部件”的参考应该被解读为仅仅参考小部件的示例。
修饰值或结果的副词“近似”意味着形状、结构、测量值、值、确定值、计算值等可能偏离精确描述的几何形状、距离、测量值、值、确定值、计算值等，因为材料、加工、制造、传感器测量、计算、处理时间、通信时间等方面存在缺陷。
在附图中，相同的附图标记表示相同的元件。而且，这些元件中的一些或全部都可以改变。关于这里所述的介质、过程、***、方法等，应理解的是虽然这样的过程等的步骤描述为按照一定的顺序排列发生，但这样的过程可以采用以这里描述的顺序之外的顺序完成所描述的步骤来实施操作。进一步应该理解的是，某些步骤可以同时执行，可以添加其他步骤，或者可以省略这里所述的某些步骤。换言之，这里的程序的描述提供用于说明某些实施例的目的，并且不应该以任何方式解释为限制要求保护的发明。

Claims (14)

1.一种道路标志识别的方法，包括：
确定激光雷达数据中的道路标志位置；
基于所述道路标志位置来识别一个或多个视频图像中的道路标志，其中基于所述道路标志位置来识别所述视频图像中的所述道路标志包括基于所述道路标志位置从所述视频图像中分离所述道路标志的视频图像，并且其中所述分离的视频图像被单应地投影；以及
基于所述道路标志识别和所述道路标志位置来将所述道路标志包括在数字地图中。
2.根据权利要求1所述的方法，还包括：
通过以下方式确定所述道路标志位置：
确定所述激光雷达数据中分离的高强度返回的位置；以及
通过群集和过滤所述激光雷达数据中所述分离的高强度返回的所述位置来确定所述道路标志位置。
3.根据权利要求2所述的方法，其中通过逆向反光材料产生所述高强度返回。
4.根据权利要求1所述的方法，其中基于所述道路标志位置来识别所述分离的视频图像中的所述道路标志包括对所述分离的视频图像执行字符识别和标志匹配。
5.根据权利要求1所述的方法，还包括：
将所述道路标志上传到计算设备，并且基于所述道路标志识别和所述道路标志位置来将所述道路标志包括在数字地图中。
6.根据权利要求5所述的方法，还包括：
从所述计算设备下载所述数字地图并基于所述数字地图来驾驶车辆。
7.根据权利要求1所述的方法，还包括确定两组或更多组激光雷达数据中的所述道路标志位置。
8.根据权利要求1所述的方法，还包括基于所述数字地图来驾驶车辆。
9.根据权利要求8所述的方法，其中驾驶车辆包括基于所述数字地图来确定导航。
10.根据权利要求1所述的方法，其中单应地投影包括首先基于所述激光雷达数据来确定所述分离的视频图像的位姿，然后投影所述分离的视频图像以产生所述分离的视频图像的垂直取向的前视图。
11.根据权利要求4所述的方法，其中通过光学字符识别和归一化相关来执行所述字符识别和所述标志匹配。
12.根据权利要求4所述的方法，其中识别所述道路标志是基于标志形状和标志颜色。
13.一种道路标志识别的***，包括被编程为执行根据权利要求1-12中任一项所述的方法的计算机。
14.一种道路标志识别的装置，所述装置包括：
处理器；以及
存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：
确定激光雷达数据中的道路标志位置；
基于所述道路标志位置来识别一个或多个视频图像中的道路标志，其中基于所述道路标志位置来识别所述视频图像中的所述道路标志包括基于所述道路标志位置从所述视频图像中分离所述道路标志的视频图像，并且其中所述分离的视频图像被单应地投影；以及
基于所述道路标志识别和所述道路标志位置来将所述道路标志包括在数字地图中。
CN201711034979.4A 2016-11-03 2017-10-30 道路标志识别 Active CN108021862B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/342,405 2016-11-03
US15/342,405 US10528055B2 (en) 2016-11-03 2016-11-03 Road sign recognition

Publications (2)

Publication Number Publication Date
CN108021862A CN108021862A (zh) 2018-05-11
CN108021862B true CN108021862B (zh) 2023-04-18

Family

ID=60580109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711034979.4A Active CN108021862B (zh) 2016-11-03 2017-10-30 道路标志识别

Country Status (6)

Country Link
US (1) US10528055B2 (zh)
CN (1) CN108021862B (zh)
DE (1) DE102017125493A1 (zh)
GB (1) GB2558716A (zh)
MX (1) MX2017013738A (zh)
RU (1) RU2017134098A (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003424B4 (de) * 2016-03-21 2023-09-28 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
CN107818288B (zh) * 2016-09-13 2019-04-09 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置
US10607094B2 (en) * 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
US11378955B2 (en) * 2017-09-08 2022-07-05 Motional Ad Llc Planning autonomous motion
DE102017218192A1 (de) * 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verkehrsschilderkennung
US10699141B2 (en) 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
JP7195787B2 (ja) * 2018-06-29 2022-12-26 日立Astemo株式会社 車載電子制御装置
CN113170079A (zh) * 2018-07-30 2021-07-23 小马智行 用于校准车载摄像头的***和方法
CN109284678A (zh) * 2018-08-17 2019-01-29 宽凳（北京）科技有限公司 路牌语义识别方法及***
FR3085761B1 (fr) * 2018-09-11 2021-01-15 Continental Automotive France Systeme et procede de localisation de la position d'un objet routier par apprentissage automatique non supervise
US11237256B2 (en) * 2018-09-19 2022-02-01 Waymo Llc Methods and systems for dithering active sensor pulse emissions
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
DK180774B1 (en) * 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
KR102604298B1 (ko) * 2019-01-28 2023-11-17 에스케이텔레콤 주식회사 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
JP7257814B2 (ja) * 2019-02-21 2023-04-14 日立Astemo株式会社 走行路認識装置
CN110069065B (zh) * 2019-04-24 2022-05-27 合肥柯金自动化科技股份有限公司 一种基于激光导航与图片识别的agv站点定位***
GB2588983B (en) * 2019-04-25 2022-05-25 Motional Ad Llc Graphical user interface for display of autonomous vehicle behaviors
CN110287803B (zh) * 2019-05-29 2021-07-13 广州小鹏自动驾驶科技有限公司 一种轨迹路标的识别方法及***
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
CN112180395B (zh) * 2019-06-13 2023-04-07 北京百度网讯科技有限公司 道路标记的提取方法、装置、设备及存储介质
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JP2021149439A (ja) * 2020-03-18 2021-09-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US20210327269A1 (en) * 2020-04-15 2021-10-21 Gm Cruise Holdings Llc Utilization of reflectivity to determine changes to traffic infrastructure elements
US11605232B2 (en) * 2020-08-27 2023-03-14 Robert Bosch Gmbh System and method for road sign ground truth construction with a knowledge graph and machine learning
US11514781B2 (en) * 2021-02-16 2022-11-29 International Business Machines Corporation Generating dynamic electrochromic visualizations
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价***
CN113129590A (zh) * 2021-04-12 2021-07-16 武汉理工大学 基于车载雷达与图形测量的交通设施信息智能分析方法
US20230011079A1 (en) * 2021-07-09 2023-01-12 Mutualink, Inc. Dynamic symbol-based system for objects-of-interest video analytics detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376166A (zh) * 2010-08-23 2012-03-14 福特全球技术公司 用于在机动车辆内识别道路标志的装置和方法
CN102447911A (zh) * 2010-10-01 2012-05-09 魏载荣 图像获取单元、其方法以及相关控制单元
CN105844257A (zh) * 2016-04-11 2016-08-10 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警***及方法
CN105989724A (zh) * 2015-03-18 2016-10-05 本田技研工业株式会社 道路标志判断装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745472B2 (ja) * 1996-11-18 2006-02-15 三菱電機株式会社 自走車、自律誘導装置、および自動搬送装置
US6064926A (en) * 1997-12-08 2000-05-16 Caterpillar Inc. Method and apparatus for determining an alternate path in response to detection of an obstacle
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
GB2445507B (en) * 2005-10-21 2011-08-24 Deere & Co Versatile robotic control module
WO2007143757A2 (en) 2006-06-09 2007-12-13 Carnegie Mellon University Software architecture for high-speed traversal of prescribed routes
DE102007042481B4 (de) * 2007-09-06 2022-04-07 Zf Cv Systems Hannover Gmbh Fahrzeugsteuersystem für einen Kraftwagen
DE102008039606A1 (de) * 2008-08-25 2010-03-04 GM Global Technology Operations, Inc., Detroit Kraftfahrzeug mit einem Abstandssensor und einem Bilderfassungssystem
US8761435B2 (en) 2009-06-24 2014-06-24 Navteq B.V. Detecting geographic features in images based on invariant components
US8340438B2 (en) * 2009-12-17 2012-12-25 Deere & Company Automated tagging for landmark identification
US8767066B2 (en) * 2009-12-23 2014-07-01 Empire Technology Development Llc Information provision device using retro-reflecting article
US9221452B2 (en) * 2010-07-21 2015-12-29 Eaton Corporation System and method for optimizing fuel economy using predictive environment and driver behavior information
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102010062633A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
KR101219767B1 (ko) 2011-07-04 2013-01-17 (주)아세아항측 수치지형도 작성을 위한 차량 모바일 매핑 시스템을 이용한 도로 레이어 현지조사 방법
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
DE102012110595A1 (de) * 2012-11-06 2014-05-08 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen für ein Fahrzeug
US9037403B2 (en) 2013-03-26 2015-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intensity map-based localization with adaptive thresholding
US9062979B1 (en) 2013-07-08 2015-06-23 Google Inc. Pose estimation using long range features
DE102014204770A1 (de) * 2014-02-06 2015-08-06 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
US20160034769A1 (en) 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
JP6322812B2 (ja) * 2014-08-21 2018-05-16 パナソニックＩｐマネジメント株式会社 情報管理装置、車両、および、情報管理方法
US9424475B1 (en) * 2014-09-17 2016-08-23 Google Inc. Construction object detection
KR20160062261A (ko) 2014-11-24 2016-06-02 현대엠엔소프트 주식회사 차량용 내비게이션 시스템 및 그 제어방법
JP6062473B2 (ja) * 2015-03-17 2017-01-18 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
KR101900073B1 (ko) * 2018-01-15 2018-09-19 김홍진 정보 생성 기능을 갖는 반사체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376166A (zh) * 2010-08-23 2012-03-14 福特全球技术公司 用于在机动车辆内识别道路标志的装置和方法
CN102447911A (zh) * 2010-10-01 2012-05-09 魏载荣 图像获取单元、其方法以及相关控制单元
CN105989724A (zh) * 2015-03-18 2016-10-05 本田技研工业株式会社 道路标志判断装置
CN105844257A (zh) * 2016-04-11 2016-08-10 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于贝叶斯推理时空交互式多视角目标跟踪;范晶晶等;《光电工程》(第02期);全文 *
基于链码的道路导向标志检测研究;田等;《计算机与数字工程》;20141220(第12期);全文 *

Also Published As

Publication number Publication date
GB201717747D0 (en) 2017-12-13
DE102017125493A1 (de) 2018-05-03
MX2017013738A (es) 2018-09-28
GB2558716A (en) 2018-07-18
CN108021862A (zh) 2018-05-11
US20180120857A1 (en) 2018-05-03
US10528055B2 (en) 2020-01-07
RU2017134098A (ru) 2019-04-03

Similar Documents

Publication Publication Date Title
CN108021862B (zh) 道路标志识别
US11938967B2 (en) Preparing autonomous vehicles for turns
US11312372B2 (en) Vehicle path prediction
US9939815B1 (en) Stop sign detection and response
KR102613839B1 (ko) 긴급 차량들의 검출
CN110471406B (zh) 自动驾驶***
CN110858325A (zh) 车辆自适应学习
US11042758B2 (en) Vehicle image generation
CN111874006A (zh) 路线规划处理方法和装置
CN110726399A (zh) 姿态估计
US20200371524A1 (en) Eccentricity image fusion
CN111177288A (zh) 用于导出自主车辆启用的可行驶地图的***
CN116783455A (zh) 用于检测打开的门的***和方法
CN113442916A (zh) 车辆不确定性共享
CN114973644A (zh) 道路信息生成装置
US11590978B1 (en) Assessing perception of sensor using known mapped objects
CN113492846A (zh) 控制装置、控制方法以及存储程序的计算机可读取存储介质
CN114236521A (zh) 一种测距方法、装置、终端设备和汽车
JP7518893B2 (ja) 緊急車両の検出
JP7301897B2 (ja) 地図生成装置
US20230401680A1 (en) Systems and methods for lidar atmospheric filtering background
JP2023149511A (ja) 地図生成装置
CN115195746A (zh) 地图生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant