CN101159014A - 在图像中识别对象的方法和图像识别设备 - Google Patents

在图像中识别对象的方法和图像识别设备 Download PDF

Info

Publication number
CN101159014A
CN101159014A CNA2007101676609A CN200710167660A CN101159014A CN 101159014 A CN101159014 A CN 101159014A CN A2007101676609 A CNA2007101676609 A CN A2007101676609A CN 200710167660 A CN200710167660 A CN 200710167660A CN 101159014 A CN101159014 A CN 101159014A
Authority
CN
China
Prior art keywords
digital map
map information
view data
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101676609A
Other languages
English (en)
Other versions
CN101159014B (zh
Inventor
S·贝格曼
U·莫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN101159014A publication Critical patent/CN101159014A/zh
Application granted granted Critical
Publication of CN101159014B publication Critical patent/CN101159014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供了一种用于在图像中识别对象的方法和一种图像识别设备，其中该对象是基于图像数据和数字地图信息二者而识别的，其中的数字地图信息对应于由图像表示的区域。根据一个实施例，基于所选择的图像数据的子部分，估计数字地图信息，以预测图像上的对象位置。随后，为了识别该对象，仅需要分析图像数据的该子部分。

Description

在图像中识别对象的方法和图像识别设备
技术领域
本发明涉及一种在图像中识别对象的方法和相应的图像识别设备，特别是一种可以用于识别图像中涉及导航目的元素的方法和设备，例如道路或相关结构。
背景技术
图像识别已经得到了广泛的应用，包括在自动环境中。特别地，在自动***中的图像识别可以方便地用于各种目的，包括导航或者帮助驾驶员控制车辆。为此，需要频繁地使用车上的相机来记录车辆附近区域的图像，并且/或者分析车辆附近区域的图像以识别对象，例如可能与车辆的导航目的或者车辆控制相关的道路或道路边界。在本申请的上下文中，术语“识别对象”包括识别对象类型和对象位置，但还可以包括识别其它的对象参数，例如对象大小或对象方向。一旦对象在图像中已经被辨别或识别，那么就可以根据识别对象的类型和位置采取特定的处理。例如，如果在图像中已经识别出交叉口或者十字路口，就可以警告车辆的驾驶员前面的交叉口或者十字路口。
目前采用的用于辨别或识别图像中的对象的方法和设备的缺点是它们经常很慢，而且不准确。如果要分析的不是仅仅一个图像，而是摄像机在短时间内连续记录的一系列图像，其中的每一个图像都要被分析以用于导航的目的，那么其缺点就特别有关系了。情况可能是这样的，例如，在摄像机被安装在车上，并且希望实时估计图像流的情况下。
因此，现有技术中需要一种在图像中识别对象的改进的方法和图像识别设备。特别地，现有技术中需要这样一种具有改进的识别准确性和/或提高的识别速度的方法和设备。
发明内容
根据一个实施例的在图像中识别对象的方法，包括以下步骤：检索对应于图像的图像数据；检索数字地图信息，其中数字地图信息包括由图像表示的关于至少一部分区域的地图信息，并且包括关于对象的信息；以及，分析图像数据和数字地图信息来识别对象。图像数据可以直接从相机或摄像机检索，或者可以从存储图像数据的存储单元或存储器中读取。同样，数字地图信息可以从任意合适的存储单元或存储器中检索。由于图像数据和数字地图信息都被分析以识别对象，特别地，可以分析图像数据来识别对象，并随后根据数字地图信息来验证该对象已经被正确识别，从而提高识别的准确性。此外，可以根据数字地图信息来预测在图像中可能会找到具有特定形状或大小等的对象的位置。由此，在图像中识别对象的速度和准确性可以得到改善。
估计图像数据和数字地图信息的步骤可以包括以下步骤：估计图像数据以首先初步识别对象，随后，根据数字地图信息，验证该对象已经被正确识别。特别地，数字地图信息所包括的关于对象的信息可以包括至少一个对象的属性，并且估计图像数据和数字地图信息的步骤可以包括以下步骤：估计图像数据以识别对象，然后确定在图像数据中识别出的对象的属性，随后将图像数据中识别出的对象的属性与数字地图信息进行比较。对象的属性可以是，例如，对象的位置、形状或方向中的一个或几个。根据从图像数据和数字地图信息所包括的相应信息中检索到的对象属性的比较结果，可以验证对象标识。由于根据这些实施例，利用数字地图信息来验证先前已经在图像数据中初步识别的对象，所以可以通过本领域已知的任意标准算法来估计图像数据。可以理解，这里使用的术语“估计图像数据”包括用于分析图像数据的任何标准算法，并可以包括，例如，用各种方法对图像数据进行滤波，例如，通过计算图像数据的卷积和适当的滤波器。
估计图像数据和数字地图信息的步骤还可以包括，利用数字地图信息来进行图像数据的估计以识别对象。特别地，可以利用数字地图信息来预测图像中的对象的至少一种属性，根据基于数字地图信息预测的属性，图像数据的估计可以随后被集中或汇集。特别地，可以利用预测的对象的属性来分配图像中的结构就是要识别的对象的概率。对象的属性可以是，例如，图像中对象的位置、形状或方向中的一个或几个。由于根据数字地图信息预测对象的特定属性，所以可以加快图像数据的估计的速度，由此使在图像中识别对象的速度和准确性增加。
数字地图信息所包括的关于对象的信息可以包括，关于对象位置的信息，以便使图像数据的估计可以被限制到根据关于对象位置的信息所选择的图像数据的子部分或特定区域。换句话说，数字地图信息可以用于预测在图像的特定位置查找到特定类型的对象(例如，公路、分道线、三岔路或平交道口)的可能性，这样仅分析查找到各个对象的概率高的图像中的那些部分就足够了。此外，数字地图信息所包括的关于对象的信息还可以包括关于对象的形状和/或方向的信息，并且图像数据的估计可以被限制为识别具有根据数字地图信息提供的关于对象的形状和/或方向的信息所选择的形状和/或方向的对象。利用数字地图信息，还可以在一定程度上预测图像中的对象的形状和/或方向，在分析图像时，可以很容易地舍弃具有完全不同的形状和/或方向的结构，从而进一步提高识别速度和准确性。
估计图像数据和数字地图信息以识别对象还可以包括，将对象的模型与图像数据进行比较。对象的模型可以具有至少一个可变参数，基于该可变参数，可以改变图像中的对象的形状、位置、方向或任何其它属性，在这种情况下，图像数据的估计包括查找至少一个可变参数的最优值或者最优值的近似值。通过提供具有用于各种对象类型的至少一个可变参数的一般模型，可以容易地识别图像中的不同结构。例如，可以在平面图中用一对基本平行的直线来对公路的平直部分进行建模，其在图像的透视图中，被转换成一对会聚的直线。公路的平直部分的典型参数包括公路的宽度和拍摄图像的相机相对于公路中心的偏移位置。至少一个可变参数的最优值可以使用任何适当的算法来得到。特别地，如果要分析的不是仅有一幅图像，而是要分析摄像机所记录的图像的准连续流，则在识别的时候，就需要追踪结构，可以利用贝叶斯滤波或颗粒滤波来确定至少一个可变参数的最优值。
由于本发明的实施例的应用领域被预期是在导航***中，所以可以从导航***检索数字地图信息，导航***自然包括存储在例如导航***的CD-ROM、DVD、内部硬盘、或者任何其它适当的存储单元上的数字地图。应该注意的是，虽然存储在导航***中的数字地图信息可以包括关于特定对象的形状和/或方向的信息，例如，在单独路段上的方向，对于数字地图中所包括的许多其它对象，例如交通标志，数字地图信息仅包括指定对象类型的限定符，例如，停车标志。应理解的是，即使在后者的情况下，数字地图信息至少隐含包括关于对象形状的信息，由于数字地图信息中所存储的关于对象类型的信息可以与附加信息相结合，所以可以预测图像中的对象的形状。
该方法还可以包括以下步骤：确定当前车辆位置和当前车辆方向，然后根据当前车辆位置和当前车辆方向来检索数字地图信息。由于车辆位置和车辆方向足够用来预测将包含相机视野范围的地图的部分，至少在相机的位置和方向相对于车辆的纵轴和横轴是已知的情况下，从而可以检索出仅仅是在图像中识别对象真正需要的数字地图部分。
该方法还可以包括以下步骤：记录要分析的图像，该图像显示车辆附近的区域。这可以很方便地实现，例如，通过安装在车上的相机。由此，由于图像可以在记录后立即被分析，所以该方法可以用于导航目的。
该方法还可以进一步包括以下步骤：将识别对象的结果提供到导航***。由此可以将图像识别的结果用于导航目的，例如，提供驾驶指令给驾驶员，根据估计图像数据和数字地图信息的结果来警告驾驶员或者控制车辆。例如，由于图像识别可以提供比地图数据更加精确的有关邻近对象的结果，因此根据图像识别的结果，可以预期提供给车辆驾驶员的驾驶指令会得到改善。然而，图像中的对象的识别结果也可以被预期用于更广泛的其它应用。
要在图像中识别的对象可以从多种不同对象中选择。在一个实施例中，对象可以从这样一组中选择：公路、道路、分道线、路边界、道路交叉口、岔路，和交通标志。通过识别具有这些对象类型之一的对象，可以想象得到许多导航应用。
根据本发明的另一个实施例，提供了一种在图像中识别对象的图像识别设备，该设备包括：存储装置，其用于存储与要分析的图像相对应的图像数据，并用于存储数字地图信息，该数字地图信息包括由图像表示的关于至少一部分区域的地图信息，并且还包括关于对象的信息；以及处理装置，其从存储装置中检索图像数据和数字地图信息，并估计图像数据和数字地图信息以识别对象。用于存储图像数据和数字地图信息的存储装置可以是单独的物理存储设备，也可以是两个或若干个不同的存储体。例如，图像数据可以被存储在第一存储单元中，数字地图信息可以被存储在第二存储单元。在这种情况下，第一和第二存储单元中的一个或两个可以与车上设置的其它***或设备集成在一起。例如，可以预期将处理装置检索到的数字地图信息存储在导航***的存储单元中，同时可以将图像数据存储在独立设置的存储单元中，该独立设置的存储单元是图像识别设备的专用单元。在这种情况下，存储装置既包括导航***的存储单元，又包括图像识别设备的专用存储单元，其中后者存储图像数据。重点是，处理装置估计图像数据和数字地图信息二者，以识别对象。
可以采用处理装置，使其估计图像数据来初步识别对象，并随后根据数字地图信息，验证该对象已经被正确识别。也就是说，根据数字地图信息对估计图像数据的结果进行交叉验证。相反，如果数字地图信息与初步识别的对象不一致，那么初步识别的对象将被舍弃。更具体地，数字地图信息所包括的关于对象的信息可以包括关于对象的至少一个属性的信息，处理装置可以分析图像数据以初步识别对象，然后可以从图像数据中确定初步识别的对象的相应属性，随后可以将图像数据的初步识别的对象的相应属性与数字地图信息中存储的相应属性进行比较。在该处理中，根据比较的结果，可以指定初步识别的对象真正是要识别的对象的概率。特别地，对象的属性可以是对象的位置、形状或方向之中的一种或若干种。由此，可以使图像识别设备使用数字地图信息，对仅仅根据图像数据的初步对象识别的结果进行交叉验证。
处理装置还可以利用数字地图信息来进行图像数据的估计以识别对象。特别地，处理装置可以利用数字地图信息来预测图像中对象的属性，随后可以根据对象的预测属性来分析图像数据。这种分析可以包括根据预测的属性，分配在具有特定属性的图像中的结构真正对应于要识别的对象的概率。而且，对象的属性可以是，例如，对象的位置、形状或方向之中的一种或若干种。特别地，数字地图信息所包括的关于对象的信息可以包括关于对象的位置的信息，然后处理装置可以分析根据数字地图信息所包括的关于对象位置的信息而选择的图像数据的子部分。也就是说，如果要在图像中识别的是特定类型的对象，那么处理装置可以首先从数字地图信息中确定在图像的哪部分中有可能检索到具有这种特定对象类型的对象，随后可以仅分析在其中查找到具有特定对象类型的对象的可能性超过预定阈值的图像数据的那些子部分。由于要分析的数据量因此被降低了，所以执行识别对象任务的速度被加快了。此外，由于图像数据的估计舍弃了其中不大可能查找到特定类型对象的所有图像区域，所以对象的错误识别的概率也被降低了，从而改善了识别准确性。此外，数字地图信息所包括的关于对象的信息还可以包括关于对象的形状和/或方向的信息，因此，处理装置可以考虑识别具有根据关于对象的形状和/或方向的信息而选择的特定形状和/或方向的对象，来分析图像数据。特别地，由于形状和/或方向与根据数字地图信息而预测的对象的形状和/或方向有很大区别的所有结构可以被舍弃，所以图像识别的速度和准确性可以得到进一步的改善。
处理装置可以将对象的模型与图像数据进行比较，以识别对象。表征模型所需要的数据也可以被保存在存储装置中，或者可以为此目的而提供另一个存储单元。对象的模型可以具有至少一个可变参数，在这种情况下，处理装置通过比较模型与图像数据来查找至少一个可变参数的最优值或最优值的近似值。特别地，可以利用贝叶斯滤波或者颗粒滤波来确定至少一个可变参数的该最优值。
该设备还可以包括位置确定装置和方向确定装置，位置确定装置用于确定当前车辆位置，方向确定装置用于确定当前车辆方向，其中位置和方向确定装置被连接到处理装置，处理装置适用于根据当前车辆位置和方向来选择一部分数字地图信息。如上所述，当前车辆位置和方向足以用来识别与图像所示视野相对应的那部分数字地图。虽然可以在图像识别设备中设置专用的位置和方向确定装置，但是可以预期图像识别设备还可以被连接到车上的其它***或设备中所设置的位置和方向确定装置。例如，可以预期，如果图像识别设备与导航***结合使用，那么图像识别设备的处理装置被连接到导航***的位置和方向确定装置，这样，不需要在图像识别设备中设置独立的方向和位置确定装置。然而，要强调的是，可以在图像识别设备中设置独立的位置和方向确定装置，在这种情况下，图像识别设备可以形成自主单元。
图像识别设备还可以包括照相单元，用来记录在其中识别对象的图像，照相单元被连接到存储装置，并且可以连接到处理装置，用来提供图像。由此，可以分析表示变化的环境的新图像的准连续流。应该注意，本文使用的术语“相机”应被理解为不仅包括适于拍摄单独的照片的相机，还可以是摄像机。
根据本发明的另一个实施例，提供了一种导航***，包括根据上述任意一个实施例的图像识别设备。通过将图像识别设备集成到导航***中，可以获得很多优点。一方面，图像识别设备可以很容易地访问存储在多数导航***中的数字地图信息。此外，图像识别设备还可以很容易地访问由导航***的其它元件部分提供的信息，例如，位置确定装置，其可以包括，如，GPS接收器或回转设备。此外，如上所述，导航***的若干特征和功能还可以从图像识别设备所提供的信息中受益，这样，通过将图像识别设备集成到导航***中，可以改善导航***的功能。
导航***可以包括用于存储数字地图的存储单元，并且图像识别设备可以被连接到导航***的存储单元，以从中检索数字地图的至少一部分。在这种情况下，导航***的存储单元可以形成如上所定义的图像识别设备的存储装置的一部分。导航***可以包括光学或声学输出单元，用于向驾驶员输出驾驶指令或警告信号，并且驾驶指令或警告信号可以根据由图像识别设备识别的对象而输出。例如，当车辆正行驶在的公路在车上的相机所记录的图像中被识别出来时，就可以识别车辆是否靠近了公路的边缘，例如，由于车辆的驾驶员睡着了。在这种情况下，相应的警告信号可以被输出给驾驶员。
导航***还可以包括用于确定当前车辆位置的位置确定装置，图像识别设备将关于识别对象的信息提供给位置确定装置，该位置确定装置基于关于识别对象的信息来改善位置确定的准确性。这种结构的基本原理是：在位置确定装置的确定的车辆位置先前已经被用于识别相关地图部分并且由此已经被用于在图像中识别对象之后，可以将由图像识别设备获得的信息反馈回位置确定装置中。更特别地，可以预期，图像识别设备也适用于以很高的准确度确定车辆与接近车辆的对象之间的距离。可以根据由图像识别设备提供的关于识别对象的信息，来重新校准位置确定装置，例如，GPS接收器。
可以预期，本发明的实施例的一个应用领域将是导航***，特别是车载导航***，但本发明并不限于此。相反，本文所述的本发明的各种原理也可以有利地用于不同的技术领域中。特别地，本发明可以以同样的功能应用到任意的图像识别方法或设备中，其中不仅是图像，而且对应于图像的地图可以用于进行分析。
附图说明
以下将参考附图描述本发明的优选和有益的实施例。
图1是示出了与导航***连接的根据本发明的一个实施例的图像识别设备的示意框图。
图2是示出了其中安装有根据本发明的一个实施例的图像识别设备的汽车的示意图。
图3用来表示根据本发明的一个实施例的方法的原理，其中图3a示出了示例性的图像，图3b示出了对应的示例性的数字地图，图3c用于示出根据数字地图信息进行的图像数据估计。
图4用于进一步示出根据本发明的该实施例的方法，图4a中示出了另一个示例性的图像，图4b中示出了相应的数字地图。
图5用于示出根据本发明的该实施例的方法，图5a中示出了另一个典型图像，图5b中示出了相应的数字地图。
图6是示意性示出根据本发明第一实施例的方法的流程图。
图7是更详细的示意性示出的具体实施附图6的方法的流程图。
图8是示意性表示根据本发明第二实施例的方法的流程图。
图9是表示具体实施附图8的方法的流程图。
图10是表示根据本发明实施例的由导航***执行的用于改善位置确定准确性的方法的流程图。
具体实施方式
以下，将通过非限制性的实例来描述本发明的优选和有利的实施例。应该理解的是，除非有明确的说明，否则各种实施例的特征是可以相互结合的。
图1示出了根据本发明的一个实施例的图像识别设备1的示意框图，其被连接到导航***2。图像识别设备1包括处理装置3，例如，任意标准处理器。处理装置3被连接到相机单元4和存储装置5。在优选实施例中，相机单元4包括按有规律的时间间隔来提供图像的摄像机，例如，每秒25幅图像。存储装置5可以是允许读和写两种访问的任意合适的存储器或存储单元，例如，DRAM或SRAM类型的RAM型存储器，或者硬盘。存储装置5优选地具有足够大的存储容量，用来存储由相机单元4提供的至少一幅图像和对应于由该图像表示的区域的一部分数字地图。
在图1中，图像识别设备1被示出为连接到导航***2。导航***2包括导航***的所有标准元件部分，例如，处理单元或CPU 6，用于存储数字地图的存储单元7，例如，以CD-ROM、DVD、硬盘或其它合适的存储介质的形式，输入单元(未示出)，例如键盘、触摸屏或麦克风，用于确定当前车辆位置和方向的位置和方向确定装置8，其可以包括例如GPS接收器和回转设备，以及输出单元9，其可以提供光学或声学信息给驾驶员，并可以包括显示屏和/或扬声器。
图2示出了如图1中示意性地示出的元件部分在汽车中的配置。如图所示，在安装在汽车10中的状态下，相机单元4的摄像机可以被安装在汽车中接近挡风玻璃上部的较高的位置，例如，靠近后视镜或遮阳板。在图1中示意性示出的所有其它元件部分可以被安装在汽车中的任意位置，但是优选的是安装在靠近仪表板处或仪表板中。相机单元4的摄像机的位置和方向以这样的方式来选择：考虑特有的路宽，车辆行驶所在道路的实际部分由相机成像。
图3a、4a和5a分别示出了相机单元4拍摄的示例性图像，基于此，将对基本操作原理进行解释，并且基于基本操作原理，操作图像识别设备1。图像识别设备1的操作的基本原理是采用数字地图信息，以方便在图像中识别对象。
现回到图3a，该图中示出了示例性的图像20，该图像是当车辆在笔直路段行驶时由相机单元4记录下来的。路段21通过路边界24而在侧而被划定边界，并且设置有接近路边界24的路标23和中央路标22。图像20的图像识别的典型任务包括识别路段21本身，或者图像中包含的特定结构，例如，路边界24或者路标22、23。在传统方法中，为了解决该任务，可以通过考虑具有特定几何形状的结构来分析整个图像20，例如直线。该任务经常以各种方式通过操作图像20来进行，例如，通过对图像数据进行滤波。例如，为了更清晰可视地绘制垂直结构(相对于图面方向)，可以将图像的灰度级表示与特定的滤波函数进行卷积，例如，在水平方向的高斯曲线的第二导数。在该滤波之后，例如路标22、23和路边界24的垂直结构会更清晰可见，并且可以更容易被识别。然而，在传统方法中，典型的是必须对整个图像进行估计。
在图3b中，示意性示出了数字地图的一部分25。该部分25对应于图3a的图像20中所示的视野，也就是说，仅有一个直线路段26。根据导航***2的位置确定装置8的输出，可以识别在路段26上的车辆的位置，在图3b中示意性地将车辆的位置示为27。应注意的是，图3b仅是示意性地表示可以从数字地图得到的信息，因为数字地图典型地被存储为由具有给定起点、方向和长度以及附加属性的向量所表示的直线路段的形式。在准确的地图的情况下，准确地图是例如基于地籍图的，路段的宽度w可以明确地被存储在数字地图信息中。进一步假定与路段26的宽度w相比，由位置确定装置8确定的当前车辆位置的不确定性是很小的，那么位置确定装置8的输出和数字地图信息可以被结合用来提供相对于路段中央的车辆的偏移x0的估计值。根据路段26的宽度w和偏移x0的数值，可以有助于图像识别。
更特别地，如图3c示意性示出的，根据路段宽度w和偏移x0，图像识别设备1的处理装置3适用于希望在其中查找到表示路边界的特定元素(例如路边界24和路标23)的识别图像20中的区域29。如果精确已知偏移x0和路宽w二者，那么可以根据简单的几何光学关系精确地预测图像20中路边界24的位置，其中的几何光学关系涉及相对于车辆的相机单元4的位置，以及相机单元4的光学特性，例如焦距。甚至是当路段26的宽度w和偏移x0都不是精确已知的，处理装置3仍然可以确定相对于相机单元4的有可能在其中查找到路边界的特定区域。考虑到确定偏移x0和路段26的宽度w的不确定性，可以再次利用简单的几何光学关系，将这些区域转换为图像20中的区域29。
由于处理装置3适用于确定有可能在其中查找到特定对象的图像20中的区域29，有助于在图像中识别这些对象。为了说明，将解释图像识别设备1的两种示例性的操作模式。
在一种操作方法中，以下将参考图6和7更详细地解释该方法，处理装置3利用传统的方法来分析整个图像数据20，以初步识别对象，例如，路边界24和路标23。本文中所使用的术语“识别对象”至少包括在图像中识别对象类型和识别对象位置。因此，如果根据传统的图像识别，已经初步识别出路标和路边界，也就是说，已经确定了它们在图像中的位置，那么就可以用数字地图信息来验证该初步识别。为此，将初步识别的路边界和路标的位置与根据数字地图信息而认为这些对象所在的区域29进行比较。在区域29外部查找到的对象被舍弃。因此，在第一操作模式中，采用数字地图信息来交叉验证或检验初步图像识别的结果，其中初步图像识别仅是基于图像数据进行的。
在第二操作模式中，处理装置3首先确定路边界24和路标23被认为处于其中的区域29。在随后的图像识别中，位于区域29外部的图像部分将被舍弃，如图3c的修改后的图像28中示意性表示的那样，其中这些被舍弃的区域表示为斜线图案。但仍可以采用标准的图像识别算法来识别区域29中的路边界24和路标23，对区域29的限制减少了要分析的数据量，从而提高了图像识别速度。此外，由于对区域29进行识别的情况下，查找出具有与路边界24或路标23类似的几何特征的其它结构并错误地将其识别为该对象的可能性，要小于对整个图像20识别的情况，所以也可以改善识别路边界和路标的准确性。换句话说，在第二操作模式中，以下将参考附图8和9对该操作模式进行更详细的描述，可以有效地采用数字地图信息来预测位置或区域，其中在图像20中可以查找到具有特定对象类型的对象。
应该注意的是，虽然在以上示例性说明中采用了具有“硬边界”的区域29，也就是说，这些区域外部的所有结构都被舍弃，但是也可以采用不具有锐利的分离线的更一般的概率分布，以便于量化具有特定位置、形状或方向的图像中的结构确实是要识别的对象的可能性。为此，例如，路边界或路标的位置是根据数字地图预测的，并且将在图像中识别的结构的位置与这个位置进行比较。根据该比较，给该结构分配一个概率，也就是说，图像中结构的位置越接近从数字地图确定的位置，所分配的该结构确实是要识别的对象的概率就越高。在第一操作模式(图6和7)和第二操作模式(图8和9)中，都可以采用分配概率的方法。
虽然已经参考以上的路边界24和路标23解释了对象的识别，但是这种限制只是为了清楚的解释。特别地，其它结构，例如路标22、整个路段26或路段的单独车道21也可以采用以上描述的原理来识别。
继续参考图3，即使没有准确到足以包括关于路段宽度的信息的数字地图可用，甚至现在的数字地图包括可有利地被用于上述目的的路段属性。例如，路段典型地具有指定路段类型的属性，例如高速路，或者指定在每个方向上的车道数量的属性。虽然典型的情况下不允许建立路段的精确宽度，但是可以估计这些路段属性，来获得宽度w的估计值。
下面参考图4，该图示出了相机单元4提供的另一示例性图像30，其中公路31包括直道部分32和弯道33。相应的数字地图信息在图4b的平面图34中示意性地示出，附图标记3 5通常表示路段，而36和37分别表示直道部分和弯道。而且，仅示例性地示出了车辆位置38。从由位置确定装置38确定的车辆位置和包括关于公路36的几何形状的信息的数字地图信息，可以确定车辆与弯道之间的距离d。由于数字地图典型地包括关于沿其纵向的公路方向的相当精确的信息，所以d的不确定性主要是由于位置确定装置8确定车辆位置的不确定性引起的。根据距离d和相机相对于车辆的位置，还可以建立其中被预期是路段31的路边界的图像30的区域。特别地，可以不仅建立路段31的直道部分32的路边界有可能处于其中的区域，还建立被预期是弯曲部分33的路边界的图像30的区域。此外，可以从数字地图信息得知弯道37的曲率，甚至可以预测弯道部分33的路边界的形状。因此，即使是不直的路段，图像识别设备1的处理装置3也可以采用上述两种操作模式，例如，用来在图像30中识别路段31的边界。更特别地，数字地图信息34可以被用来验证初步识别的路边界，其中初步识别的路边界是仅根据图像数据30被确定的，已经用特定概率正确地被识别。可替代地，或者另外地，示意性地表示为34的数字地图信息也可以被用来识别需要被分析的图像数据30的区域，由于路边界有可能在这些区域中被查找到，从而预测在图像30中路边界的位置和形状，并有助于图像识别的任务。
图像数据的分析或估计，例如图像20或30，典型地涉及将在这些图像中查找到的结构与特定模型进行比较。例如，在平面图中，路段的直线部分的路边界的模型可以是具有对应于路段宽度的距离的基本平行的一对直线。可以推出，路边界的距离是未知参数，需要通过分析图像数据来建立。用于对笔直路段的路边界进行建模的其它模型参数可以包括，例如，相对于相机单元4的视线方向的路段的方向，以及相对于相机单元4的路边界的偏移位置。
在实际实施中，在图像数据20、30中识别路段的路边界涉及确定该组参数，以便模型最优地描述图像数据或至少能向图像数据提供良好的近似值。为此，为特定的一组参数确定优值图(figure of merit)，其中优值图描述了模型与图像数据的相似性，并建立该组参数，使得相应的模型具有最大优值图。虽然原则上这可以通过对多个不同参数组进行采样来实现，但是通过是利用贝叶斯滤波或颗粒滤波来完成该任务的。应该注意的是，在这种情况下，数字地图信息通常可以提供对需要研究的参数范围的自然约束。例如，在图3中的路段宽度w或图4中的车辆与弯道之间的距离d，使得能够将对应的模型参数基本上限制到根据数字地图信息而建立的参数周围的小邻域。
虽然在平面图中，直路或笔直路段可以通过一对基本平行的直线来近似，但对于图4中所示的弯路，需要更复杂的模型。在一个实例中，弯路可以通过一系列基本笔直的路段部分来近似，其纵轴相对于彼此是倾斜的。可替代地，对于弯路可以采用更复杂的模型，例如，通过将公路的各部分近似为回旋曲线。由于采用数字地图信息来进行图像数据估计，所以根据数字地图所提供的数据格式来选择采用的模型类型可能是合适的。例如，如果弯路被存储为一系列直向量的形式，那么将公路建模为一系列笔直的路段部分可能是合适的，然而，如果数字地图也采用了回旋参数形式，那么按照回旋曲线来建模是优选的。
现回到图5，该图示出了图像数据40的又一个实例，示出了道路岔口，其中道路42从车辆正行驶在的道路41岔开。在平面图5b中示意性示出了相应的数字地图信息43，其中可以从数字地图结合当前车辆位置46建立各种参数。道路被表示为44和45。与识别图像数据40中的两条道路相关的参数包括道路44的宽度w、道路45的宽度wt、示意性表示为46的车辆与岔口的距离d，以及道路44、45的纵轴在岔口位置处交叉所成的角度α。由以上可以看出，有利的是，基于上述的图像识别设备3的示例性操作模式中的任意一种，也就是交叉验证和预测，可以采用在数字地图信息43中示意性示出的所有参数来执行在图像数据40中识别路边界的任务。
参考图6和7，图像识别设备1的第一操作模式以下将会更详细地解释。在图6中该方法一般表示为50。首先，在步骤51，图像数据，即，只有图像数据以传统方式被分析，然后在步骤52进行初步对象识别。尽管不是当前工作的重点，但应该注意的是，在步骤51的图像数据的分析可以包括在所有传统图像识别设备中采用的方法。例如，该分析将典型地包括以各种方式对图像进行滤波，包括利用例如高斯滤波内核的拉普拉斯或高斯滤波内核来计算图像的卷积，计算颜色分布概率，或将Canny算子应用到图像。随后，确定要识别对象的模型的参数，以便建立与图像数据最一致的模型。后一步骤典型地涉及计算优值图，其量化了具有特定参数组的模型是否与图像数据一致。典型地，可以基于若干记号中的一个或多个的组合来计算优值图，其中的若干记号可以从以下记号中选择：表示路标的路标记号、表示路边界结构的路边界记号、表示典型路面颜色的路面颜色记号、表示图像区域具有与路面颜色不同的颜色的非路面颜色记号、表示路宽的路宽标记和弹性路标记，弹性路标记可以用于使车辆到具有多个车道的公路中的正确车道上来。此外，标记之一还可以从已经从数字地图建立的预测对象位置、形状或方向与当前被研究的图像中的结构的位置、形状或方向的比较中得出，从而为这个结构分配概率。一旦已经建立了一组良好的参数，即，使要识别对象的相应模型与图像数据相当一致的一组参数，那么就已经实现了初步对象识别。传统的图像识别方法在步骤52终止。
相反，根据图6的方法，在步骤53，通过与数字地图信息进行比较来验证初步识别对象。在步骤53中的验证可以采用各种方式来实现，这将在下文中进行解释。
参考附图7，该图示出了一种示例性的方法，一般性地表示为60，其中通过交叉验证初步识别对象的位置与数字地图信息是否一致，来验证图6的方法50的步骤。分析图像数据和初步对象识别的步骤61和62分别与步骤51和52相同。接下来，在步骤63，确定初步识别对象的对象位置。对于扩展的对象，这个步骤可以包括确定被初步识别对象覆盖的区域。在步骤64，图像识别设备1的处理装置3验证初步对象位置是否与数字地图一致。为此，处理装置3确定对象被预期处于的图像的区域，如以上参考附图3所描述的，路边界和路标被预期处于的区域示意性地表示为29。如果初步识别对象的位置与数字地图信息一致，那么在步骤65验证和识别对象，并且可以将图像识别的结果输出到，例如，导航***2。相反，如果初步识别对象的位置与数字地图不一致，那么在步骤66舍弃初步识别对象。在这种情况下，可以重新分析图像，即，可以重新开始处理60。
通过仅使用数字地图信息来交叉验证基于图像数据的初步识别对象的结果，可以降低在图像中错误识别对象的概率，因此提高了图像识别准确性。
应该注意，虽然已经参考以上的对象位置解释了交叉验证，但是也可以采用其它参数用数字地图来对初步识别对象进行交叉验证。例如，可以将从图像数据确定的道路宽度与数字地图信息中存储的相应信息相比较，例如，道路宽度或道路类型，后者典型地允许建立路宽的界限。
现回到图8，接下来将解释图像识别设备1的另一个典型操作模式。该方法一般性地表示为70。
首先，在步骤71，估计数字地图信息，以在步骤72预测要识别的对象的属性。该对象属性可以是各种属性中的一种或者若干种的组合，包括图像中对象的位置、图像中对象的形状或者图像中对象的方向。如果图像数据的分析是基于对象模型的滤波来对图像数据执行的，那么对象属性也可以是对模型的参数之一的预测。随后，在步骤73，基于预测的对象属性来分析图像数据。步骤73的特定实施将根据在步骤72中预测的对象属性来执行，且该方法一般用于图像数据分析。
现将参考图9，更详细地描述图8中所示的一般方法的特定实施方法80。首先，在步骤81，在数字地图中识别图像中的要识别的对象，且对应于对象的信息从数字地图信息中被提取出来。基于该信息，在步骤82，预测图像上的对象的位置。对于扩展对象，例如，通路标志或路边界，对象位置的预测将典型地包括在有可能查找到对象的图像中识别扩展的区域或范围。基于预测的对象位置，在步骤83，选择图像数据的子部分用于后续的分析，其中图像数据的子部分对应于其中有可能查找到对象的图像的部分。再次参考附图3，这些区域示意性表示为29。在步骤84，分析已经在步骤83中选择的图像数据的子部分，以在步骤85识别对象。图像识别的结果，即，识别对象的预测位置和类型，可以随后被输出到其它设备，例如，导航***2。
在图8和9中示意性地示出的方法中，采用数字地图信息来执行图像数据的后续的分析。以这种方式，不仅是准确性，而且图像识别任务的速度也提高了。
虽然在图9的方法的示例性实施例中，预测图像上的对象位置以进行图像数据分析，但是图像识别设备1的操作并不限于此。如上所述，也可以利用其它对象属性，例如对象的形状和/或方向或者对象边界，来进行图像识别。现回到图5的实例，即使当车辆与道路岔口之间的距离d不是精确已知的，数字地图所包括的信息和车辆位置允许处理装置3在道路42的路标有可能所处的方向上建立角度范围。然后，可以用特定的朝向具有这种方向的结构的视点来分析图像数据。在基于使模型适合于图像数据而再次分析图像数据的情况下，关于从数字地图信息提取的对象的信息可以被用来限制可能的模型参数的范围。例如，对于图5中示意性示出的情况，以下所有信息都可以被用来限制用于对图像40中道路42的路边界进行建模的相应参数：关于距道路岔口的距离d的信息、关于道路岔口的角度α的信息，以及关于道路42的宽度wt的信息。
应该强调的是，虽然图9的方法仅利用对象位置的预测来执行图像数据的分析，但为此也可以采用对象参数的组合。例如，数字地图信息可以使图像识别设备1的处理装置3既能预测图像上对象位置又能预测对象的可能的形状。在这种情况下，图像数据的分析可以不仅限于图像数据的子部分，而且还可以进一步被限制为位于该子部分内并且具有特定形状的对象。
以上参考图3到9的解释是基于以下假定：与图像中示出的范围相对应的范围或区域是已知的。对这样的数字地图的相关部分的识别是导航***的标准特征之一。特别地，基于位置确定装置8的输出，导航***2的处理单元6适用于确定对应于车辆的邻近区域的数字地图的相关部分。此外，由于导航***检查车辆的运动，所以相对于地图的车辆的方向通常也是自动建立的。可替代地，为此目的也可以设置独立的罗盘设备。基于车辆方向，可以选择对应于相机单元4的视野的相关地图部分，并且存储在例如图像识别设备1的存储装置5中。
为了执行各种导航功能，可以将图像识别的结果从图像识别设备1输出到导航***2。
现将参考图10进行说明，该图示出了方法90，导航***2根据该方法工作，特别地，可以采用由图像识别设备1提供的结果来改善确定车辆位置的准确性。为了确定车辆位置，传统的导航***采用位置确定装置，位置确定装置可以包括，例如，GPS接收器和/或回转设备，然而，通过这些设备可获得的位置确定的准确性有时可能是不够的。特别是，对于附近的对象，与导航***的标准位置确定装置8的例程相比，分析图像数据以确定对象与当前车辆位置之间的距离会是更精确的确定对象距离的方法。
现回到图5的实例，一旦已经利用以上参考图6-9描述的方法之一识别出道路岔口时，就可以基于识别出的岔口来建立从车辆到道路岔口的距离值。相对位置可以被反馈回导航***。通过将根据数字地图信息和位置确定装置8的输出而建立的距离与基于图像数据所建立的距离进行比较，位置确定装置可以被重新校准。在图10中示意性示出了这种方法，通常表示为90。首先，在步骤91，导航***2的位置确定装置8确定当前车辆位置，并且在步骤92，导航***2将基于当前车辆位置选择的数字地图信息提供给图像识别设备。然后，在步骤93，图像识别设备根据上述方法之一来识别图像中的对象，并将对象位置提供给接收信息的导航***。最后，在步骤94，由导航***2确定的位置可以基于图像识别设备的输入而被重新校准。
当然，由本文所描述的图像识别设备提供的结果的各种其它应用在自动环境中也是可以想到的。
如图1所示，本发明的图像识别设备1可以是组合式设备，其包括其本身的处理装置和存储装置以及相机单元。然而，图像识别设备所需的资源中的若干种也可以与自动环境中使用的其它***或设备共用。例如，处理装置3可以用于访问导航***的存储单元，在这种情况下，不需要在图像识别设备中设置独立的存储器或存储单元。此外，存储装置也可以被部分地与相机单元4集成在一起，也就是说，存储图像数据的存储装置的部分可以是相机单元的一部分。此外，图像识别设备不必须是独立的设备，也可以与例如导航***2完全集成在一起。这样，导航***的处理单元6既适用于执行标准的导航任务，又适用于执行图像识别任务。
虽然已经参考识别诸如道路或与图像中道路相关的结构等的对象，描述了本发明的各种示例性实施例，但本发明并不限于此。然而，本发明的原理可以被应用于识别或辨别数字地图信息中提供了关于其信息的任意结构，例如，建筑物。
此外，虽然车载导航***的图像识别被预期会成为本发明实施例的一个应用领域，但本发明并不限于该领域。相反，其可以应用于需要在图像中识别对象且可以得到对应于图像的至少一部分的地图信息的任意情况。

Claims (37)

1.一种用于在图像中识别对象的方法，包括以下步骤：
检索对应于所述图像的图像数据，
检索数字地图信息，其中所述数字地图信息包括关于由所述图像表示的至少一部分区域的地图信息，并且其中所述数字地图信息包括关于所述对象的信息，以及
估计所述图像数据和所述数字地图信息以识别所述对象，其中对所述图像数据和所述数字地图信息二者都进行估计以识别所述对象。
2.如权利要求1所述的方法，
其中所述估计所述图像数据和所述数字地图信息包括，估计所述图像数据以识别所述对象，并随后基于所述数字地图信息，验证所述对象已经被正确识别。
3.如权利要求1所述的方法，
其中所述数字地图信息所包括的关于所述对象的信息包括关于所述对象的位置、形状或方向之中的至少一种的信息，以及
所述估计所述图像数据和所述数字地图信息包括，估计所述图像数据以识别所述对象，从所述图像数据确定所述对象的位置、形状或方向之中的至少一种，并将从所述图像数据确定的所述对象的位置、形状或方向之中的至少一种与所述数字地图信息进行比较。
4.如权利要求1所述的方法，
其中所述估计所述图像数据和所述数字地图信息包括利用所述数字地图信息来执行所述图像数据的估计以识别所述对象。
5.如权利要求1所述的方法，
其中所述估计所述图像数据和所述数字地图信息包括利用所述数字地图信息来预测所述图像中的所述对象的位置、形状或方向之中的至少一种，其中所述估计所述图像数据包括基于所述预测的所述对象的位置、形状或方向之中的至少一种，分配在所述图像中具有特定位置、形状或方向的结构就是要识别的所述对象的概率。
6.如权利要求1所述的方法，
其中所述数字地图信息所包括的关于所述对象的信息包括关于所述对象的位置的信息，
其中估计所述图像数据被限制为基于关于所述对象位置的信息所选择的所述图像数据的子部分。
7.如权利要求6所述的方法，
其中所述数字地图信息所包括的关于所述对象的信息包括关于所述对象的形状和/或方向的信息，
其中估计所述图像数据被限制为识别具有基于关于所述对象的形状和/或方向的所述信息所选择的形状和/或方向的对象。
8.如权利要求1所述的方法，
其中所述估计所述图像数据和所述数字地图信息包括，将所述对象的模型与所述图像数据进行比较。
9.如权利要求8所述的方法，
其中所述对象的所述模型具有至少一个可变参数，并且所述估计所述图像数据和所述数字地图信息包括查找所述至少一个可变参数的最优值。
10.如权利要求9所述的方法，
其中所述查找所述至少一个可变参数的最优值包括贝叶斯滤波或颗粒滤波。
11.如权利要求1所述的方法，
其中所述数字地图信息是从导航***检索的。
12.如权利要求1所述的方法，
其中所述方法包括确定当前车辆位置，其中所述检索数字地图信息是基于所述当前车辆位置进行的。
13.如权利要求12所述的方法，
其中所述方法包括确定当前车辆方向，其中所述检索数字地图信息是基于所述当前车辆方向进行的。
14.如权利要求1所述的方法，
其中所述方法包括记录所述图像，其中所述图像显示车辆的相邻区域。
15.如权利要求1所述的方法，
其中所述方法包括将所述图像数据和所述数字地图信息的所述估计结果提供给导航***。
16.如权利要求15所述的方法，
其中所述方法包括将驾驶指令提供给驾驶员，或者警告驾驶员，或者基于所述图像数据和所述数字地图信息的所述估计结果来控制车辆。
17.如权利要求1所述的方法，
其中所述对象是从包括公路、道路、路标、路边界、道路交叉口、道路岔口和交通标志的一组中选出的。
18.一种用于在图像中识别对象的图像识别设备，包括：
存储装置，其用于存储对应于所述图像的图像数据，并用于存储数字地图信息，其中所述数字地图信息包括关于由所述图像表示的至少一部分区域的地图信息，并且其中所述数字地图信息包括关于所述对象的信息，以及
处理装置，其连接到所述存储装置，所述处理装置估计所述图像数据和所述数字地图信息以识别所述对象，其中对所述图像数据和所述数字地图信息二者进行估计以识别所述对象。
19.如权利要求18所述的图像识别设备，
其中所述处理装置估计所述图像数据以识别所述对象，并随后基于所述数字地图信息，验证所述对象已经被正确识别。
20.如权利要求18所述的图像识别设备，
其中所述数字地图信息所包括的关于所述对象的信息包括关于所述对象的位置、形状或方向之中的至少一种的信息，以及
所述处理装置估计所述图像数据以识别所述对象，从所述图像数据确定所述对象的位置、形状或方向之中的至少一种，并将从所述图像数据确定的所述对象的位置、形状或方向之中的至少一种与所述数字地图信息进行比较。
21.如权利要求18所述的图像识别设备，
其中所述处理装置利用所述数字地图信息来进行所述图像数据的估计以识别所述对象。
22.如权利要求18所述的图像识别设备，
其中所述处理装置利用所述数字地图信息来预测所述图像中的所述对象的位置、形状或方向之中的至少一种，并基于所述预测的所述对象的位置、形状或方向之中的至少一种来估计所述图像数据，其中所述处理装置基于所述预测的所述对象的位置、形状或方向之中的至少一种，分配在所述图像中具有特定位置、形状或方向的结构就是要识别的所述对象的概率。
23.如权利要求18所述的图像识别设备，
其中所述数字地图信息所包括的关于所述对象的信息包括关于所述对象的位置的信息，
其中所述处理装置对基于关于所述对象的位置的信息所选择的所述图像数据的子部分进行估计。
24.如权利要求22所述的图像识别设备，
其中所述数字地图信息所包括的关于所述对象的信息包括关于所述对象的形状和/或方向的信息，
其中所述处理装置估计所述图像数据来识别具有基于关于所述对象的形状和/或方向的信息所选择的形状和/或方向的对象。
25.如权利要求18所述的图像识别设备，
其中所述处理装置将所述对象的模型与所述图像数据进行比较以识别所述对象。
26.如权利要求25所述的图像识别设备，
其中所述对象的所述模型具有至少一个可变参数，并且所述处理装置查找所述至少一个可变参数的最优值。
27.如权利要求26所述的图像识别设备，
其中所述处理装置利用贝叶斯滤波器和颗粒滤波器来查找所述至少一个可变参数的所述最优值。
28.如权利要求18所述的图像识别设备，
其中所述设备包括位置确定装置，其用于确定当前车辆位置，
其中所述位置确定装置被连接到所述处理装置，并且所述处理装置适用于基于当前车辆位置来选择数字地图信息的一部分。
29.如权利要求28所述的图像识别设备，
其中所述设备包括方向确定装置，其用于确定当前车辆方向，
其中所述方向确定装置被连接到所述处理装置，并且所述处理装置适用于基于当前车辆方向来选择数字地图信息的一部分。
30.如权利要求18所述的图像识别设备，
其中所述设备包括照相单元，其用于记录所述图像，所述照相单元被连接到所述存储装置，用来将所述图像提供给所述存储装置。
31.一种导航***，包括：
图像识别设备，其包括：
存储装置，其用于存储对应于所述图像的图像数据，并用于存储数字地图信息，其中所述数字地图信息包括关于由所述图像表示的至少一部分区域的地图信息，并且其中所述数字地图信息包括关于所述对象的信息，以及
处理装置，其连接到所述存储装置，所述处理装置对所述图像数据和所述数字地图信息进行估计以识别所述对象，其中对所述图像数据和所述数字地图信息二者都进行估计以识别所述对象。
32.如权利要求31所述的导航***，包括：
存储单元，其用于存储数字地图，其中所述图像识别设备被连接到所述存储单元，以从所述存储单元中检索所述数字地图的至少一部分。
33.如权利要求31所述的导航***，包括：
光学或声学输出单元，其用于向驾驶员输出驾驶指令或警告信号，
其中所述驾驶指令或警告信号是根据由所述图像识别设备所识别的所述对象而输出的。
34.如权利要求31所述的导航***，包括：
位置确定装置，其用于确定当前车辆位置，
其中所述图像识别设备将关于所述识别对象的位置信息提供给所述位置确定装置，并且所述位置确定装置基于关于所述识别对象的所述位置信息来改善位置确定准确性。
35.一种导航***和图像识别设备组合体，包括：
位置确定设备；以及
图像识别设备，其被配置成对所述图像数据和所述数字地图信息二者进行估计，以识别由所述图像数据表示的图像中的对象，所述图像识别设备被连接到所述位置确定设备，以向所述位置确定设备提供关于所述对象的相对位置的信息。
36.如权利要求35所述的导航***和图像识别设备组合体，
其中所述位置确定设备将关于当前车辆位置的信息输出给所述图像识别设备。
37.如权利要求36所述的导航***和图像识别设备组合体，
其中所述位置确定设备包括控制电路，其被配置成基于关于所述相对位置的所述信息来重新校准位置确定设备。
CN2007101676609A 2006-09-01 2007-08-31 在图像中识别对象的方法和图像识别设备 Active CN101159014B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06018335.7 2006-09-01
EP06018335.7A EP1906339B1 (en) 2006-09-01 2006-09-01 Method for recognizing an object in an image and image recognition device

Publications (2)

Publication Number Publication Date
CN101159014A true CN101159014A (zh) 2008-04-09
CN101159014B CN101159014B (zh) 2013-04-17

Family

ID=37885931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101676609A Active CN101159014B (zh) 2006-09-01 2007-08-31 在图像中识别对象的方法和图像识别设备

Country Status (6)

Country Link
US (1) US8311274B2 (zh)
EP (1) EP1906339B1 (zh)
JP (1) JP2008059593A (zh)
KR (1) KR20080020971A (zh)
CN (1) CN101159014B (zh)
CA (1) CA2598162C (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950351A (zh) * 2008-12-02 2011-01-19 英特尔公司 使用图像识别算法识别目标图像的方法
CN103105168A (zh) * 2011-11-10 2013-05-15 奥迪股份公司 用于确定位置的方法
CN104217611A (zh) * 2013-06-04 2014-12-17 现代自动车株式会社 用于为停车场进行描迹的设备及方法
CN105760390A (zh) * 2014-12-17 2016-07-13 富泰华工业（深圳）有限公司 图片检索***及方法
CN106323323A (zh) * 2016-11-14 2017-01-11 深圳市深水水务咨询有限公司 一种区域确定方法和装置
CN106650723A (zh) * 2009-10-19 2017-05-10 Metaio有限公司 用于确定相机姿态以及用于识别真实环境的对象的方法
CN104106260B (zh) * 2011-11-22 2018-03-13 派尔高公司 基于地理图的控制
CN108202747A (zh) * 2016-12-16 2018-06-26 现代自动车株式会社 车辆及控制该车辆的方法
CN108983266A (zh) * 2017-06-01 2018-12-11 德尔福技术有限公司 基于道路的被观测几何特征的自动化车辆地图定位
CN110570680A (zh) * 2018-05-17 2019-12-13 通用汽车环球科技运作有限责任公司 利用地图信息确定对象位置的方法和***
CN110648545A (zh) * 2018-06-26 2020-01-03 上海擎感智能科技有限公司 一种新交通规则的提醒方法、***及车载终端
CN110717395A (zh) * 2019-09-06 2020-01-21 平安城市建设科技(深圳)有限公司 图片物体处理方法、装置及存储介质
CN110942603A (zh) * 2018-09-21 2020-03-31 北汽福田汽车股份有限公司 车辆碰撞报警方法、装置、车辆和服务器
CN111512119A (zh) * 2018-01-18 2020-08-07 电子湾有限公司 增强现实、计算机视觉和数字售票***
CN111775953A (zh) * 2019-12-16 2020-10-16 王忠亮 驾驶状态即时修正***及方法
CN113247019A (zh) * 2020-02-10 2021-08-13 丰田自动车株式会社 车辆控制装置
US11859982B2 (en) 2016-09-02 2024-01-02 Apple Inc. System for determining position both indoor and outdoor

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881497B2 (en) * 2007-03-08 2011-02-01 Honeywell International Inc. Vision based navigation and guidance system
US8700301B2 (en) * 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
US20090315766A1 (en) * 2008-06-19 2009-12-24 Microsoft Corporation Source switching for devices supporting dynamic direction information
US8467991B2 (en) * 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US20090319166A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Mobile computing services based on devices with dynamic direction information
US20090315775A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Mobile computing services based on devices with dynamic direction information
FR2939325B1 (fr) * 2008-12-04 2015-10-16 Parrot Systeme de drones munis de balises de reconnaissance
US8319666B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US8319665B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
US20100228612A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Device transaction model and services based on directional information of device
US20100332324A1 (en) * 2009-06-25 2010-12-30 Microsoft Corporation Portal services based on interactions with points of interest discovered via directional device information
US8872767B2 (en) 2009-07-07 2014-10-28 Microsoft Corporation System and method for converting gestures into digital graffiti
KR101117239B1 (ko) * 2010-01-12 2012-03-20 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법
WO2011158336A1 (ja) * 2010-06-15 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
EP2583877B1 (en) * 2010-06-16 2018-06-06 Navitime Japan Co., Ltd. Navigation system, terminal device, navigation server, navigation method, and navigation program
EP2583217A1 (en) * 2010-06-21 2013-04-24 Centre De Visió Per Computador Method for obtaining drivable road area
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2450667B1 (en) 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
DE102010062633A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
CN102955931B (zh) * 2011-08-19 2015-11-25 株式会社理光 识别图像中特定对象的方法以及使用该方法的***
DE102011112404B4 (de) * 2011-09-03 2014-03-20 Audi Ag Verfahren zum Bestimmen der Position eines Kraftfahrzeugs
US9043133B2 (en) * 2011-12-29 2015-05-26 Intel Corporation Navigation systems and associated methods
EP2812661B1 (en) 2012-02-10 2019-11-27 Appareo Systems, LLC Frequency-adaptable structural health and usage monitoring system
US10607424B2 (en) 2012-02-10 2020-03-31 Appareo Systems, Llc Frequency-adaptable structural health and usage monitoring system (HUMS) and method with smart sensors
DE102012207203A1 (de) * 2012-04-30 2013-10-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung eines Umfelds
JP5960506B2 (ja) * 2012-05-25 2016-08-02 株式会社デンソー 交差点認識装置及び道路種別認識装置
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition
US8996228B1 (en) 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9195914B2 (en) 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9056395B1 (en) 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
CN103090875A (zh) * 2012-11-26 2013-05-08 华南理工大学 一种基于双摄像头的实时实景匹配车载导航方法及装置
WO2014115563A1 (ja) 2013-01-28 2014-07-31 日本電気株式会社 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
DE102013011827A1 (de) 2013-07-15 2015-01-15 Audi Ag Verfahren zum Betrieb einer Navigationseinrichtung, Navigationseinrichtung und Kraftfahrzeug
SE538984C2 (sv) * 2013-07-18 2017-03-14 Scania Cv Ab Fastställande av körfältsposition
WO2015026960A1 (en) * 2013-08-21 2015-02-26 Sanger Terence D Systems, methods, and uses of b a yes -optimal nonlinear filtering algorithm
JP5892129B2 (ja) * 2013-08-29 2016-03-23 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
US9495602B2 (en) 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
WO2015077766A1 (en) * 2013-11-25 2015-05-28 Pcms Holdings, Inc. Systems and methods for providing augmenting reality information associated with signage
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
US9081383B1 (en) * 2014-01-22 2015-07-14 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
BR112016026372B1 (pt) * 2014-05-20 2022-03-03 Nissan Motor Co. Ltd Aparelho de detecção de alvo e método de detecção de alvo
KR20160006909A (ko) 2014-07-10 2016-01-20 김진곤 이미지 처리 방법과 이를 저장하는 저장 매체
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
EP3032221B1 (en) * 2014-12-09 2022-03-30 Volvo Car Corporation Method and system for improving accuracy of digital map data utilized by a vehicle
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
JP6519355B2 (ja) * 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
DE102015214743A1 (de) * 2015-08-03 2017-02-09 Audi Ag Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung
CN105678257A (zh) * 2016-01-06 2016-06-15 北京卓视智通科技有限责任公司 一种交通调查车型识别方法、装置及其***
US10291348B2 (en) 2016-02-02 2019-05-14 Bao Tran Systems and methods for control of drones
US9835709B2 (en) 2016-02-02 2017-12-05 Bao Tran Systems and methods for permission based control of robots
US10034066B2 (en) 2016-05-02 2018-07-24 Bao Tran Smart device
KR20160085742A (ko) 2016-07-11 2016-07-18 김진곤 이미지 처리 방법
EP3285203A1 (en) * 2016-08-19 2018-02-21 Continental Automotive GmbH Method for detecting a road in an environment of a vehicle
KR20180068578A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
DE102016015513A1 (de) 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz-System eines Kraftfahrzeugs
US20180270413A1 (en) * 2017-03-15 2018-09-20 Kabushiki Kaisha Toshiba Processing apparatus and processing system
US10509409B2 (en) * 2017-04-27 2019-12-17 Aptiv Technologies Limited Local traffic customs learning system for automated vehicle
JP7037317B2 (ja) * 2017-09-28 2022-03-16 株式会社Subaru 自車位置検出装置
US10895460B2 (en) * 2017-11-06 2021-01-19 Cybernet Systems Corporation System and method for generating precise road lane map data
DE102018204500A1 (de) * 2018-03-23 2019-09-26 Continental Automotive Gmbh System zur Erzeugung von Konfidenzwerten im Backend
DE102018119026A1 (de) * 2018-08-06 2020-02-06 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Kameraüberwachungssystem
JP7254664B2 (ja) * 2019-08-27 2023-04-10 日立Astemo株式会社 演算装置
EP4224433A1 (en) * 2022-02-03 2023-08-09 Zenseact AB Training a perception model for a vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935198A (ja) * 1995-07-14 1997-02-07 Mitsubishi Electric Corp 車両用走行路検出装置
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
US6671615B1 (en) * 2000-05-02 2003-12-30 Navigation Technologies Corp. Navigation system with sign assistance
JP2004507724A (ja) * 2000-08-24 2004-03-11 シーメンス　アクチエンゲゼルシヤフト 目標情報を表示させるための方法、地図画面内でナビゲーションを行う方法、コンピュータプログラム製品及びナビゲーション装置
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
JP2002243469A (ja) * 2001-02-19 2002-08-28 Alpine Electronics Inc ナビゲーション装置および地図データベース更新システム
JP4327389B2 (ja) 2001-10-17 2009-09-09 株式会社日立製作所 走行レーン認識装置
JP3958133B2 (ja) * 2002-07-12 2007-08-15 アルパイン株式会社 車両位置測定装置および方法
JP4370869B2 (ja) * 2003-09-25 2009-11-25 トヨタ自動車株式会社 地図データ更新方法および地図データ更新装置
JP2005315851A (ja) * 2004-03-31 2005-11-10 Denso Corp カーナビゲーション装置
JP4292250B2 (ja) * 2004-07-02 2009-07-08 トヨタ自動車株式会社 道路環境認識方法及び道路環境認識装置
JP2006151014A (ja) * 2004-11-25 2006-06-15 Denso Corp 安全運転支援システム
JP2006164197A (ja) * 2004-12-10 2006-06-22 Equos Research Co Ltd 走行支援装置
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP2006226824A (ja) * 2005-02-17 2006-08-31 Toyota Motor Corp 車両用情報報知装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950351A (zh) * 2008-12-02 2011-01-19 英特尔公司 使用图像识别算法识别目标图像的方法
CN106650723A (zh) * 2009-10-19 2017-05-10 Metaio有限公司 用于确定相机姿态以及用于识别真实环境的对象的方法
CN103105168A (zh) * 2011-11-10 2013-05-15 奥迪股份公司 用于确定位置的方法
CN103105168B (zh) * 2011-11-10 2016-03-30 奥迪股份公司 用于确定位置的方法
US9500491B2 (en) 2011-11-10 2016-11-22 Audi Ag Method for position determination
CN104106260B (zh) * 2011-11-22 2018-03-13 派尔高公司 基于地理图的控制
CN104217611A (zh) * 2013-06-04 2014-12-17 现代自动车株式会社 用于为停车场进行描迹的设备及方法
CN105760390A (zh) * 2014-12-17 2016-07-13 富泰华工业（深圳）有限公司 图片检索***及方法
CN105760390B (zh) * 2014-12-17 2021-09-28 富泰华工业（深圳）有限公司 图片检索***及方法
US11859982B2 (en) 2016-09-02 2024-01-02 Apple Inc. System for determining position both indoor and outdoor
CN106323323A (zh) * 2016-11-14 2017-01-11 深圳市深水水务咨询有限公司 一种区域确定方法和装置
CN106323323B (zh) * 2016-11-14 2019-02-15 深圳市深水水务咨询有限公司 一种区域确定方法和装置
CN108202747A (zh) * 2016-12-16 2018-06-26 现代自动车株式会社 车辆及控制该车辆的方法
CN108983266A (zh) * 2017-06-01 2018-12-11 德尔福技术有限公司 基于道路的被观测几何特征的自动化车辆地图定位
CN111512119A (zh) * 2018-01-18 2020-08-07 电子湾有限公司 增强现实、计算机视觉和数字售票***
US11830249B2 (en) 2018-01-18 2023-11-28 Ebay Inc. Augmented reality, computer vision, and digital ticketing systems
CN110570680A (zh) * 2018-05-17 2019-12-13 通用汽车环球科技运作有限责任公司 利用地图信息确定对象位置的方法和***
CN110648545A (zh) * 2018-06-26 2020-01-03 上海擎感智能科技有限公司 一种新交通规则的提醒方法、***及车载终端
CN110942603A (zh) * 2018-09-21 2020-03-31 北汽福田汽车股份有限公司 车辆碰撞报警方法、装置、车辆和服务器
CN110717395A (zh) * 2019-09-06 2020-01-21 平安城市建设科技(深圳)有限公司 图片物体处理方法、装置及存储介质
CN111775953A (zh) * 2019-12-16 2020-10-16 王忠亮 驾驶状态即时修正***及方法
CN113247019A (zh) * 2020-02-10 2021-08-13 丰田自动车株式会社 车辆控制装置

Also Published As

Publication number Publication date
CA2598162A1 (en) 2008-03-01
CA2598162C (en) 2013-07-16
KR20080020971A (ko) 2008-03-06
US20080056535A1 (en) 2008-03-06
CN101159014B (zh) 2013-04-17
EP1906339B1 (en) 2016-01-13
EP1906339A1 (en) 2008-04-02
JP2008059593A (ja) 2008-03-13
US8311274B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
CN101159014B (zh) 在图像中识别对象的方法和图像识别设备
EP3673407B1 (en) Automatic occlusion detection in road network data
US8620032B2 (en) System and method for traffic signal detection
US10115309B2 (en) Method for processing measurement data of a vehicle in order to determine the start of a search for a parking space
JP3350898B2 (ja) 移動体追跡情報提供装置
JP6401140B2 (ja) 交差点の構造の接合確率モデリング及び推定
US8184861B2 (en) Feature information management apparatuses, methods, and programs
JP5482167B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
US8953838B2 (en) Detecting ground geographic features in images based on invariant components
US11867819B2 (en) Automatic positioning of 2D image sign sightings in 3D space
US20160347327A1 (en) Autonomous vehicle driving assist system, method, and program
US20220270358A1 (en) Vehicular sensor system calibration
EP2000770B1 (en) Navigation device, position registering method, position registering program, and recording medium
US20160245659A1 (en) Method and system of route guidance for a towing vehicle
JP3744102B2 (ja) 車両の運行処理装置
CN112124304B (zh) 一种库位定位方法、装置及车载设备
JP2006317286A (ja) 車載ナビゲーション装置
WO2022018970A1 (ja) 情報処理装置
CN110967023A (zh) 汽车定位方法及汽车定位装置
Kreibich et al. Lane-level matching algorithm based on GNSS, IMU and map data
JP3221183B2 (ja) 経路計算機能を備えるナビゲーション装置
JP2604394B2 (ja) 車載用航法装置
CN116841289A (zh) 基于A-star算法的自动驾驶路径规划方法、***、设备及介质
JP2020190506A (ja) 走行支援装置及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant