CN102567449B - 视觉***及分析图像的方法 - Google Patents

视觉***及分析图像的方法 Download PDF

Info

Publication number
CN102567449B
CN102567449B CN201110352059.3A CN201110352059A CN102567449B CN 102567449 B CN102567449 B CN 102567449B CN 201110352059 A CN201110352059 A CN 201110352059A CN 102567449 B CN102567449 B CN 102567449B
Authority
CN
China
Prior art keywords
image
feature descriptor
geographic reference
processor
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110352059.3A
Other languages
English (en)
Other versions
CN102567449A (zh
Inventor
J.普拉托诺夫
A.普里亚金
P.库纳思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN102567449A publication Critical patent/CN102567449A/zh
Application granted granted Critical
Publication of CN102567449B publication Critical patent/CN102567449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种视觉***(1)，包含被配置成捕获图像(15)的摄像机(5)和连接到摄像机(5)上并且被配置成针对图像(15)确定至少一个特征描述符的处理器。该处理器(2)具有接口(3)，用于访问包含地理参考特征描述符的注释地图数据。该处理器(2)被配置成执行针对至少一个图像(15)确定的至少一个特征描述符和检索到的地理参考的特征描述符之间的匹配过程。

Description

视觉***及分析图像的方法
技术领域
本发明涉及视觉***和分析图像的方法。本发明尤其涉及可被用于自动化车辆视觉中的视觉***和分析图像的方法。
背景技术
机器视觉在广泛的各种***中有所实现。近来，在汽车环境中采用视觉***的应用已被考量用于安全或其它应用方面。尤其是，汽车***中的图像识别可以被用于包括导航或在控制车辆方面辅助驾驶员的各种用途。为了这些目的，车辆附近的图像通过车辆上的摄像机被频繁地记录，并且经过分析，以便辨别出诸如道路或道路边缘的目标，这可与导航用途或车辆控制相关联。一旦在图像中已经辨别或识别出目标，则可调用特殊进程。为了说明，可将兴趣点(POI)通知车辆的驾驶员。为了进一步说明，附加的应用包括提供了在车辆导航或车辆安全设备中的驾驶方位。
目前存在许多与自动执行目标识别有关的难题。为了说明，对于不同照明条件或不同视觉方位至少应提供某种程度的稳定性。这代表相当大的挑战。对于某些应用，例如在保安应用中的人脸的识别，探究了所谓特征描述符的可能性。为了说明，Shuicheng Yan等人在“Exploring Feature Descriptors for Face Recognition”，IEEE InternationalConference on Acoustics，Speech，and Signal Processing(ICASSP07)，IEEE-ICASSP2007：I-629(2007)中讨论了对于人脸识别的特征描述符的使用。
在车辆应用中的目标识别迄今为止主要集中在识别车道边界或交通标志上。各种方法，包括神经网络(neural network)或鉴别器(discriminator)，可被用于此目的。为了说明，R.Ach等人在“Classification of traffic signs in real-time on a multi-coreprocessor”，Intelligent Vehicles Symposium，2008 IEEE，pp.313-318(2008)中描述了针对交通信号的一定的类型使用神经网络执行交通信号识别的方法。
虽然迄今为止应用于车辆视觉***中的技术(例如用于检测交通信号、道路标志或其它车辆)可有助于可靠地将目标分类成有限数量的类别中的一种，诸如检测交通信号、道路标记或其他车辆，但是这样的应用通常不能使特定POI被可靠地辨别出。为了说明，可期望辨别一定的建筑或其它标志性建筑，以向用户提供相对于这些POI的信息。然而，诸如以上描述的技术不能适当地辨别这些标志性建筑，除非例如神经网络已经对于它们进行了特殊训练。不仅以对用户提供附加信息的角度，而且以定位准确性的角度上，辨别标志性建筑都是有利的。
在本领域中对改进自动化视觉***和分析图像的方法具有持续的需求。尤其是，在本领域中对这种在车辆应用中记录的图像中被配置成辨别目标(例如兴趣点)的***和方法具有需求。在本领域中对这种允许以稳定和快速的方式执行目标识别的***和方法同样具有需求。
发明内容
根据实施例，此需求通过视觉***和类似在独立权利要求中限定的方法来解决。从属权利要求限定了实施例。
根据实施例的视觉***包括摄像机和处理器。该摄像机被配置成捕捉至少一个图像。该处理器被连接到摄像机上，并且被配置成针对至少一个图像确定至少一个特征描述符，尤其是多个的特征描述符。该处理器具有接口，以访问包括地理参考特征描述符的注释地图数据，以检索多个地理参考的特征描述符和分别与这些地理参考的特征描述符相关联的位置信息。该处理器被配置成执行在针对至少一个图像确定的至少一个特征描述符和所检索出的地理参考特征描述符之间的匹配过程。
该视觉***使用数据库，即，包括地理参考的特征描述符的注释地图数据。通过将针对图像确定的特征描述符与注释地图数据的地理参考特征描述符进行匹配，存储在注释地图数据中的信息能够被用于辨别目标，对于这一点，在注释地图数据中包括相关联的地理参考特征描述符。目标的识别相比于未使用先验信息的情况被更快速而且更稳定地执行，并且/或者匹配的结果可以用于更准确地确定位置。对于各种不同的环境条件(例如不同光线条件)，使用特征描述符提供了稳定性。
该视觉***可尤其指车辆视觉***。该车辆视觉***可被安装在车辆中。
该摄像机可以被配置为捕捉2D图像的摄像机。该摄像机也可以被配置为捕捉2D图像序列的视频摄像机。3D摄像机可被额外地被采用，以促进图像分割(imagesegmentation)。
该处理器可以包括若干个集成电路，其可以是为了使用适当的固件或软件执行在此描述的行为而被编程的专用电路或通用目的处理器电路。
该处理器可以被配置成为图像确定特征向量，其包括若干特征描述符。近似地，注释地图数据可以包括多个地理参考的特征向量。将被体会的是，不需要将在注释地图数据中包含的每个特征描述符分别与位置信息相关联。而是，可对注释地图数据进行组织，使得可以将位置信息与特征向量相关联。该处理器可以被配置成执行针对该图像而确定的特征向量或若干特征向量和在该注释地图数据中包含的地理参考的特征向量之间的匹配过程。可以使用各种匹配过程，诸如基于特征向量的重叠的匹配、特征向量之间的欧式距离(Euclidean distance)，或类似的匹配过程。
该处理器可被配置成辨别与针对至少一个图像确定的多个特征描述符匹配的一组地理参考特征描述符，并且被配置成基于与该组地理参考特征描述符相关联的位置信息确定车辆方位的三个坐标。这允许基于图像而建立车辆的方位。为了辨别与针对至少一个图像而确定的多个特征描述符匹配的地理参考特征描述符，可以在注释地图数据中执行树状搜索或其它有效搜索。在增强实境应用中，该处理器可以使用车辆方位的三个坐标来控制光学输出装置。该处理器可以控制该光学输出装置使得基于所确定的车辆方位的三个坐标而设置处理器产生的图形被叠加在所捕捉的图形数据上的位置。
该处理器可以被配置成使得其确定出三个角度，例如，三个欧拉角(Eulerangles)，其代表空间中车辆的方位。
对于至少一些地理参考特征描述符，相关联位置信息可包括高度坐标。对于至少一些地理参考特征描述符，相关联的位置信息可以包括一对横向坐标和高度坐标，它们可被用于确定车辆方位的三个坐标。处理器可被配置成基于地理参考特征描述符的位置信息的横向坐标和高度坐标，并进一步基于匹配的特征描述符处于所捕捉的至少一个图像中的位置，确定车辆方位的三个坐标。
关于车辆方位的信息可以用作多种用途。为了说明，增强实境应用被预期在进一步的车辆导航设备中采用，其不仅需要关于位置的信息，也需要关于车辆的方位的信息。该处理器可以向驻留在车辆上的导航设备中的应用程序(尤其是增强实境应用程序)提供关于方位的信息。
该视觉***可以包含被配置成确定视觉***的位置的定位装置。对于安装于车辆中的视觉***，该位置可以是车辆位置。该处理器可以被连接到定位装置，并且该处理器可以基于所确定的视觉***的位置被配置成检索多个地理参考特征描述符。因此，可以选择性地检索出有关对应于处在车辆附近的目标的特征描述符的信息。
该处理器可以被配置成基于与至少一个检索到的地理参考特征描述符相关联的位置信息并且基于视觉***位置，估算至少一个图像中的目标的位置。这允许通过注释地图数据提供先验信息，以用于在图像中辨别已知目标。
该定位装置可以被配置成确定视觉***的方位，其可以被限定为摄像机的光轴的方位。对于安装在车辆中的视觉***，该定位装置可被配置成确定车辆方位。处理器可以被配置成进一步基于视觉***的方位估算图像中目标的位置。这使得目标的位置以更高精确度被估算。通常可以提高目标识别的准确性和/或速度。
该处理器可以被配置成基于视觉***位置并基于与多个检索到的地理参考特征描述符中的至少一个地理参考特征描述符相关联的位置信息，来辨别至少一个图像的一部分。该处理器可以被配置成选择性地针对所辨别出的图像的部分确定至少一个特征描述符。通过限定由处理器对小于图像尺寸的图像的一部分执行的处理，处理速度通常可被增加。该处理器可以被配置成针对图像的一部分确定特征向量。
在注释地图数据中包括的地理参考特征描述符可分别与多个目标类别中的一个相关联。该处理器可以被配置成选择性地在针对至少一个图像而确定的至少一个特征描述符和所检索出的与被选出的目标类别相关联的地理参考特征描述符之间执行匹配。取决于特定的应用，可实现不同的类别。为了说明，对于车辆视觉***而言，其可能希望具有历史建筑类别、另一种加油站类别，等类别。通过选择性地执行匹配，仅有属于由用户选择的类别的目标能够被辨别，并且，例如被突显在光学输出装置上或相关于该目标的其它信息能被输出。可替代地，虽然信息的输出可以被选择性地执行，但是当发现匹配时，基于与为图像而确定的特征描述符相匹配的地理参考特征描述符是否具有选定的类别，该匹配可在无选择性的方式中执行。
该视觉***可以包括光学输出装置。该处理器可以被配置成控制该光学输出装置以输出指示在至少一个图像中的目标的信息，该图像具有与所检索的地理参考特征描述符相匹配的特征描述符。这使得信息能够被特定地指定到用户的视野中的目标上。
至少一个地理参考特征描述符能够具有相关联的包含高度信息的位置信息。该处理器能够被配置成基于高度信息执行匹配过程。在匹配过程中，可以除了在和地理参考特征描述符相关联的横向坐标上的信息以外，还通过使用高度信息，就可以使用该匹配过程辨别在空间中指定车辆方位的全部三个参数。如果位置和/或车辆方位不取决于图像而被确定，则可提高稳定性和目标识别的速度。
该视觉***可以包括存储注释地图数据的数据库。该处理器可以通过接口连接到数据库。对于车辆视觉***而言，可以在车辆上随车提供该数据库。对于在便携的设备中安装的视觉***，数据库可以被存储到该便携设备中。
该视觉***可以包括连接到处理器的无线通信装置。该处理器可以被配置成经由无线通信装置发送请求消息以请求传输多个地理参考特征描述符。该请求消息可以包括关于位置估算的信息。因此，该视觉***能够根据该视觉***的请求被使用于社区场景，其中中央服务器维持该注释地图数据并且将从中检索的信息提供给客户端视觉***。
备选地或附加地，当该视觉***包括无线通信装置时，处理器能够被配置成经由该无线通信装置传输为至少一个图像而确定的至少一个特征描述符。该处理器可以被配置成如果在包含于注释地图数据中的特征描述符中没有找到匹配，那么选择性地传输至少一个特征描述符。因此，可以通过该视觉***提供附加信息到中央服务器以包含进入注释地图数据。该视觉***可以具有用户接口，其允许用户输入与至少一个特征描述符一起传输的附加信息。备选地或附加地，所捕获的图像，而不是为至少一个图像而确定的特征描述符，可以被传输到中央服务器。
根据另一个实施例，提供了包含任何一个方面或描述与此的实施例的视觉***的车辆。
根据另一个实施例，提供了分析至少一个图像，尤其是为了分析至少一个在车辆上捕获的图像的方法。针对至少一个图像确定了至少一个特征描述符，并且尤其是多个特征描述符。多个地理参考特征描述符和分别与这些地理参考特征描述符相关联的位置信息被检索出。在针对至少一个图像确定的至少一个特征描述符与检索到的地理参考特征描述符之间的匹配过程被执行。
该方法使用包含地理参考特征描述符的注释地图数据。通过将针对图像确定的特征描述符与注释地图数据的地理参考特征描述符匹配，存储于注释地图数据中的信息可以被使用以辨别目标，为此，注释地图数据中包括相关联的地理参考特征描述符。通常相对于未使用先验信息的情况可更快而且更稳定地执行目标的识别，并且/或者匹配的结果可以用于更准确地确定位置。针对诸如不同光线条件的许多不同环境条件，使用特征描述符提供了稳定性。
该方法可以包括辨别与为至少一个图像而确定的多个特征描述符相匹配的一组地理参考特征描述符的步骤，以及基于与该组地理参考特征描述符相关联的位置信息而确定车辆方位的三个坐标的步骤。
该方法可以包括基于与该组地理参考特征描述符相关联的位置信息而确定车辆方位的三个坐标的步骤。该车辆方位的三个坐标可以包括三个角度，例如定义车辆方位的三个欧拉(Euler)角度。对于该组地理参考特征描述符中的至少一些地理参考特征描述符，相关联的位置信息可以包括高度信息。位置信息可以分别包括一对横向坐标和高度信息。该高度信息和该横向坐标可以用于确定车辆方位的三个坐标。该车辆方位的三个坐标可以基于地理参考特征描述符的位置信息的横向坐标和高度坐标而被确定，并且进一步基于匹配特征描述符位于所捕获的至少一个图像中的位置而被确定。
当增强实境模式被激活时，可以基于车辆方位的三个所确定的坐标控制光学输出装置。基于车辆方位的三个所确定的坐标可确定出位置，在此位置处，计算机生成的图形被叠加到所捕获的图像数据上。基于该车辆方位的三个所确定的坐标可确定出方位，在该方位处，计算机生成的图形被叠加到所捕获的图像数据上。
该方法可包括确定车辆位置的步骤，基于该确定出的车辆位置检索多个地理参考特征描述符。
该方法可包括，基于与至少一个所检索的地理参考特征描述符相关联的位置信息，并且基于所确定的车辆位置，估算至少一个图像中的目标的位置的步骤。
该方法可包括确定车辆方位的步骤，基于该车辆方位估算目标的位置。
该方法可包括基于车辆位置并且基于与多个所检索的地理参考特征描述符中的至少一个相关联的位置信息而辨别至少一个图像的一部分的步骤。为该图像的所辨别的部分，可以选择性地而确定至少一个特征描述符。
注释地图数据的地理参考特征描述符可以分别地与多个目标类别中的至少一个类别相关联。可以针对那些与所选择出的目标类别相关联的地理参考特征描述符，选择性地执行为至少一个图像而确定的至少一个特征描述符与所检索的地理参考特征描述符之间的匹配过程，。
该方法可以包括输出指示在具有与所检索出的地理参考特征描述符相匹配的特征描述符的至少一个图像中的目标的信息的步骤。
至少一个地理参考特征描述符可以具有相关联的包括高度信息的位置信息。于是可以基于该高度信息执行匹配过程。
该方法可以包括使用无线通信装置传送请求消息以请求多个地理参考特征描述符的传输的步骤。
备选地或附加地，该方法可以包括使用无线通信装置传输针对至少一个图像而确定的至少一个特征描述符的步骤。
该方法可以通过任何一方面或实施例的视觉***执行。
虽然可预期的是实施例的一个应用领域是被安装在车辆中的视觉***，但是本发明的实施例并不限于此。而是，根据不同实施例的视觉***或方法可以被采用于广泛的应用中。为了说明，以摄像机为代表的便携设备可以被配置成便于针对所捕获的图像确定特征描述符。通过访问存储有地理参考特征描述符的数据库可执行对所确定的特征描述符与先验建立的信息的匹配。该数据库可以在该便携设备中本地安装，或者该便携设备可与中央数据库无线通信，以执行该匹配。
附图说明
将参考附图描述本发明的实施例。
图1是根据实施例的视觉***的示意性框图。
图2是根据另一个实施例的包含视觉***的***的示意性框图。
图3是为了解释根据实施例的***和方法的所捕获的图像的示意性说明。
图4是根据实施例的方法的流程图表示。
图5是显示了图3的所捕获的图像以解释根据实施例的***和方法的示意性说明。
图6是说明了根据实施例确定特征描述符的过程的流程图。
图7是说明了根据实施例使用为所捕获的图像而确定的特征描述符和地理参考特征描述符之间的匹配结果的过程的流程图。
图8是根据另一个实施例的方法的流程图。
图9是为了解释图8的方法的示意图。
图10是根据实施例包含了若干视觉***的***的示意性框图。
具体实施方法
参考附图将对本发明的实施例进行描述。虽然在车辆视觉***的上下文中描述了一些实施例，但是不同实施例的***和设备可以在广泛变化的应用中被采用。实施例的特征可以相互结合，除非另外特别声明。
根据实施例，能够被结合以形成地理参考特征向量的地理参考特征描述符，被用于自动化视觉***中的目标识别。如同在这里使用的术语“地理参考”涉及与至少一对坐标相关联的量，该一对坐标指定与该量相关联的目标的横向位置。为了说明，地理参考特征描述符是与至少2元组的坐标(2-tuple coordinates)相关联的特征描述符，其代表由地理参考特征描述符表示的目标的位置或位置估算。可选择地，可以为至少一些地理参考特征描述符提供高度信息，在这种情况中，该地理参考特征描述符与3元组坐标(3-tuplecoordinate)相关联。虽然此处通常对特征描述符进行参考，但是将被领会的是该特征描述符可以被结合于特征向量中，其被用于视觉***和多个实施例的方法中。
该地理参考特征描述符在此可以被包含于数据库中，在此被称为诸如“注释地图数据”。如同在这里使用的，术语“注释地图数据”是指数字地图，其包含关于目标的视觉呈现的信息，与各个目标的位置信息相关联地被存储。该关于视觉呈现的信息尤其可以是特征描述符的形式。在下文中，术语“注释地图数据”尤其涉及包括多个特征描述符的地图数据，这些特征描述符分别地与代表坐标的2或3元组相关联。
用于***或方法中的特征描述符可以根据相对于不同条件(例如不同的光线条件或稍微不同的视觉方向)提供至少一些稳定度的任何技术而确定。用于确定这些特征描述符的方法在本领域中是已知的。为了说明而不是限制，可以从包括尺度不变特征转换(SIFT)描述符、加速稳定特征(SURF)描述符、旋转不变特征转换(RIFT)描述符、广义的稳定不变特征(G-RIF)描述符、主成分分析SIFT(PCA-SIFT)描述符或梯度位置及方位柱状图(GLOH)描述符的组中，选择为至少一个图像而确定特征描述符和包括于注释地图数据中的地理参考特征描述符。
在不同的实施例中，注释地图数据的地理参考特征描述符可以被用于不同方式中的图像分析。该地理参考特征描述符以及它们所关联的位置信息可以用于提高目标识别的速度和稳定性。附加地和备选地，该地理参考特征描述符以及它们所关联的位置信息可以用于确定车辆的方位，或更普遍的用于确定相对于参照标准(a frame of reference)的视觉***的方位。附加地或备选地，该地理参考特征描述符以及它们相关联的位置信息可以用于更准确的确定视觉***的位置，或视觉***安装于其中的车辆。为了这个目的，为图像而确定的特征描述符被匹配到注释地图数据中所包含的地理参考特征描述符。
在不同的实施例中，不同的途径可以用于将通过视觉***捕获的包含于图像中的可视化信息和注释地图数据的信息相结合。可以针对所捕获的图像确定特征描述符，并且随后可以与包含于注释地图数据中的地理参考特征描述符进行匹配。也可以在针对所捕获的图像确定特征描述符之前检索包含于注释地图数据中的信息，以便有助于针对图像进行的特征描述符的确定。
图1是代表根据实施例的视觉***1的示意方框图。该视觉***1可以安装于车辆中，或者被配置成安装到车辆中。该视觉***1可被配置成与导航***或其它车载式***进行接口。
该视觉***1包括具有接口3的处理器2。该视觉***1进一步包括存储注释地图数据的数据库4、摄像机5、定位装置6，和用户接口7。在进一步的实施例中，定位装置6和/或用户接口7可以被省略。处理器2可以包括一个或多个集成电路。存储于数据库4中的注释地图数据包括地理参考特征描述符。摄像机5可以被配置成根据刺激捕获2D图像，或者可以是提供作为时间函数的一系列2D图像的视频摄像机。虽然单独的2D图像的处理将在以下做更细节的描述，但是视频流的图像可以被类似地处理。定位装置6可以是任意模块或模块的结合，其被配置成提供位置和/或方位。示例性的实施方式基于可用于确定位置的GPS接收器。定位装置6可以包括罗盘或其它用于确定方位的组件。用户接口7允许用户输入控制指令。为了说明，用户接口7可以允许用户选择目标的一个类别或若干类别，该用户希望接收关于该目标的信息。
处理器2被配置成使由摄像机5捕获的图像的可视化信息与注释地图数据提供的信息相结合。处理器2可以被配置成针对所捕获的图像计算特征描述符，并且将该特征描述符匹配到注释地图数据中的地理参考特征描述符。在实施例中，该注释地图数据存储特征描述符和相关联的位置信息，特征描述符可被按照特征值排列。该相关联的信息可以指定由特征描述符描述的目标的位置。正如将参照图3-10做更详细描述的，通过将由摄像机5捕获的图像的可视化信息与由注释地图数据提供的信息相结合，处理器2可以被配置成提高目标识别的速度和可靠性。在其它实施例中，处理器2可以被配置成，基于由摄像机5捕获的图像的可视化信息与由注释地图数据提供的信息相结合，确定位置和/或指定视觉***1的方位的三个参数。
视觉***1可以包括(或可以连接到)功能实体8。处理器2可以将通过使用存储于数据库4中的注释地图数据而获得的图像分析的结果提供给功能实体8，或者基于图像分析的结果控制功能实体8。
功能实体8可以包括物理设备，例如显示设备。处理器2于是可以基于使用注释地图数据执行的图像分析的结果控制该显示设备。为了说明，如果处理器2在捕获的图像中使用注释地图数据辨别目标，那么处理器2可以控制该显示设备以便输出关于所辨别目标的信息。在实施中，处理器2可以控制该显示设备以便所捕获的图像或该图像的至少一部分被显示于该显示设备上，同时，附加的标记被叠加到所显示的图像上以突显被辨别的目标或者提供关于辨别目标的附加信息。为进一步说明，如果处理器2基于使用注释地图数据执行的图像分析的结果来辨别车辆方位，那么可以基于所辨别的车辆方位控制该显示设备。在实施中，处理器2可以控制该显示设备以便车辆环境的一部分以示意图或照相图的表示形式，以基于所确定的车辆方位生成的透视图角度，被显示于该显示设备。如果视觉***1被安装于车辆中，那么该透视图可以被生成以便对应来自驾驶员的角度所见的车辆环境的透视图。
功能实体8可以备选地或附加地包括通过电子设备的处理器执行的处理。为了说明，该处理可以是通过安装于车辆上的导航设备的处理器执行的处理，可以是通过诸如自动速度控制或停车辅助的车辆控制***执行的处理，或者可以是通过车辆上的增强实境应用执行的处理。在实施中，如果处理器2在所捕获的图像上使用注释地图数据辨别目标，处理8能够使用关于该目标的信息。这样的信息可以包括目标分类(POI，交通信号，等)。备选地或附加地，如果处理器2基于使用注释地图数据执行的图像分析的结果辨别车辆方位，那么处理8可以使用关于该车辆方位的信息。
处理器2可以将由摄像机5捕获的图像的可视化信息与关于以不同方式存储于注释地图数据中的特征描述符及其相关位置的先验信息相结合。为了说明，处理器2基于由定位装置6确定的当前位置并且基于与注释地图数据中包含的特征描述符相关联的位置信息，选择性地检索地理参考特征描述符和/或与它们相关联的位置信息。处理器2可以执行所捕获图像的图像分析以在该图像中辨别一个或若干个所检索的地理参考特征描述符。为进一步说明，处理器2可以针对所捕获的图像确定特征描述符，并且可以检索存储于数据库中的地理参考特征描述符，以进而将针对所捕获图像确定的该特征描述符和地理参考特征描述符相匹配。可以由处理器2在不同实施中执行的程序将参照图3-10被详细解释。
图2是根据另一实施例的包含视觉***11的***10的示意框图表示。视觉***11被显示为与服务提供者的中央服务器交互，中央服务器包括数据库4。视觉***11可以安装于车辆中，或者可以被配置成安装于车辆中。视觉***11可以被配置成与导航***或其它车载式***接口。就结构和/或功能而论，与图1的视觉***11的元素或特征相对应的视觉***11的元素或特征被指定了相同的参考数字。
视觉***11包括具有接口3的处理器2、摄像机5、定位装置6，和用户接口7，以及能够参照图1所描述进行操作的功能实体8。在进一步的实施例中，定位装置6和/或用户接口7可以被省略。视觉***11进一步包括通信电路12和相关联的天线13。由通信电路12和天线13形成的通信装置允许视觉***11与包含注释地图数据的数据库4的中央设施以及对应的通信装置14进行无线通信，在图2中进行了示意性地说明。
处理器2被配置成将由摄像机5捕获图像的可视化信息与由注释地图数据提供的信息相结合。为此目的，处理器2可以被配置成请求从中央设施到可视化***11传输关于地理参考特征描述符的信息。处理器2可以指挥通信电路12以通过天线13生成和传输请求消息。该请求消息可以包括关于通过定位装置6确定的车辆位置的信息。备选地或附加地，如果处理器2已经针对所捕获的图像确定了特征描述符，该请求消息可以包括该特征描述符或与此相关的信息。
处理器2也可以被配置成从通信电路接收由中央设施传输的消息。该消息可以包括存储于中央设施中的地理参考特征描述符和/或与地理参考特征描述符相关联的位置信息。处理器2可以将从中央设施接收的注释地图数据的信息与所捕获图像的可视化信息相结合。
处理器2也可以被配置成指挥通信装置12以传输消息，该消息包含针对所捕获图像而确定的特征描述符以及由定位装置6提供的相关联的位置信息。该消息可以包括附加信息，例如由特征描述符表示的目标的文本描述，其可以通过用户接口7进行输入。如果在注释地图数据中还没有包括代表该目标的特征描述符，那么处理器2可以分别地传输此包含特征描述符的消息。为此目的，如果从中央设施接收到的消息表明在当前位置的邻域中没有特征描述符是有效的，那么处理器2可以通过通信装置产生包含特征描述符的消息。存储注释地图信息的本地数据库4可以被提供于视觉***11中，或者图1的视觉***1可以包括参考图2所解释的通信装置。如果针对图像而确定的特征描述符在本地数据库4中没有匹配，那么处理器2于是可以通过视觉***的通信装置向中央设施传输包含特征描述符的消息。由此，可以升级由中央设施维持的数据库。在社区应用场景中，如果多个视觉***11分别地被配置成无线式地传输关于特征描述符的信息或关于所捕获的图像的信息到中央设施，那么这尤其可以是有利的。
在视觉***11中，可以根据参考图1的视觉***11所解释的任意一种方法执行对由摄像机捕获的图像的处理。将参考图3-10说明将图像中包含的视觉信息与存储在数据库中的地理参考特征描述符进行结合的方法的示例性实现。
图3是由实施例的视觉***的摄像机捕获的范例性图像15的示意性表示。该图像15显示显著特征16-18。这些显著特征至少在一定程度上可以是某种意义上的特性，它们具有明显的外形、尺寸、颜色，或类似特征。经常地，兴趣点(POI)将具有这样的显著特征。
在自动化视觉***中(例如分别在图1和图2中的视觉***1和视觉***11)，可以为图像而计算特征描述符。有不同的方式来计算特征描述符。在简单的实施中，代表目标(例如目标16-18中的一个)的特征描述符的集合应该简单地是图像的像素值的子集。有利地，实施例的可视化***可以采用相对于不同条件(例如不同视觉方向，不同光线条件等类似条件)展示至少某种稳定度的特征描述符。相应地，存储于注释地图数据中的地理参考特征描述符可以与由可视化***的处理器确定的特征描述符是相同类型。提供某种稳定度的特征描述符的示例包括SHIFT描述符、SURF描述符、RIFT描述符、G-RIF描述符、PCA-SIFT描述符，或GLOH描述符，此处没有限制。用于确定这样的描述符的过程对在自动化视觉***的领域中的人员而言是已知的。
在本发明的不同实施中，可以调用不同的过程以在图像分析中使用由注释地图数据提供的信息。
在实施例中，视觉***的处理器可以访问注释地图数据以检索来自于此的信息，并且随之可以使用所检索的信息，例如用于在所捕获的图像中的目标识别。当针对所捕获的图像确定特征描述符时，该处理器可以使用与地理参考特征描述符相关联的位置信息。备选地或附加地，该处理器可以使用存储于注释地图数据中的特征描述符的值，并且可以为相应的特征描述符搜索图像。
在实施例中，视觉***的处理器可以针对所捕获的图像确定特征描述符，并且随之可以将所确定的特征描述符匹配到存储于注释地图数据中的地理参考特征描述符。
图4是分析图像的方法20的流程图表示，其中使用了注释地图数据。该注释地图数据包括地理参考特征描述符。可以由图1的视觉***1或由图2的视觉***11执行该方法20。
在21处，检索到图像数据。该图像数据可以是在单次激发的2D图像传感器中采集的2D图像，或者可以是被包括于视频序列中的2D图像。可以通过视觉***的处理器检索该图像数据。可以从摄像机检索该图像数据。
在22处，确定了视觉***的位置。可以由定位装置确定该***位置，该定位装置可以基于例如GPS、Galileo定位、MTSAT定位、罗盘定位、陆地定位方法或任何其它定位标准而进行操作。
在23处，从注释地图数据中检索数据。可以基于在22处确定的车辆位置进行数据检索。数据的子集，对于安排在所确定的车辆位置的附近的特征描述符，至少可以包括特征描述符和/或它们相关联的位置信息。基于视觉***的方位可以进一步检索该数据的子集。对于安装于车辆中的视觉***，可以基于车辆位置并且基于车辆方位而选择从注释地图检索的该数据的子集。因此，可以避免在图像中无法看到的排列在车辆侧面的地理参考特征描述符的检索。
在24处，针对所检索的图像而确定特征描述符，或确定典型地多个特征描述符。使用所检索的地理参考特征描述符确定该特征描述符。在实施中，与所检索的地理参考特征描述符相关联的位置信息可以被用于预测图像中的目标的位置。为此目的，基于同地理参考特征描述符相关联的位置信息以及在22处确定的视觉***的位置，期望目标处于其中的图像部分能够被辨别。基于摄像机的光学特性，期望目标处于其中的该图像部分可以被进一步辨别。基于摄像机的光轴的方位，期望目标处于其中的该图像部分可以被进一步辨别。
在25处，执行了针对图像而确定的特征描述符和所检索的地理参考特征描述符的匹配。可以使用多种已知程序的任何一个执行该匹配。为了说明，对于安排于特征向量中的特征描述符，可以计算针对图像而确定的特征向量的投影或标量积，并且计算存储于注释地图数据中的一个特征向量或许多不同的特征向量。可以使用任何其它量化图像(由特征向量指定)中的目标的可视化呈现与存储于注释地图数据中的特征向量之间的相似性的测量。自然地，在所确定的特征描述符和存储于注释地图数据中的地理参考特征描述符之间，不需要有完美的匹配。而是，可以通过将针对图像而确定的特征描述符和从注释地图数据中检索出的特征描述符间的相似性测量与阈值进行比较，来辨别匹配条目。
在26处，对另一个处理或设备提供匹配的结果。在实施中，当已经确定了与针对图像而确定的特征描述符相匹配的注释地图数据中的特征描述符之后，可以输出关于各个目标的信息。在实施例中，可以经由图形化的用户接口以文本或图形形式输出关于目标的信息。举例说明，可以检索和显示关于历史标志性建筑的文本信息。为了进一步说明，可以用图形标记在显示图像的显示器上突显目标。可以基于用户的设置选择性地执行关于目标的信息的输出。为了说明，可以分别地配置图1的视觉***1和图2的视觉***11以允许用户指定该用户尤其关注的目标的类别。可以经由用户接口7执行这种选择的输入。注释地图数据可以包括关于由地理参考特征描述符代表的目标的类别的信息。典型类别包括标志性建筑、商店、加油站等。视觉***的处理器可以为与针对图像而确定的特征描述符相匹配的地理参考特征描述符检索该类别信息。处理器可以将所检索的类别信息与用户定义的设置相比较，并且可以选择性地仅为用户已经请求提供其信息的那些目标输出图形标记。
备选地或附加地，在26处，可以将匹配的结果提供给视觉***或连接到其上的***中执行的其它处理。为了说明，对于车辆视觉***，可以将匹配的结果提供给导航设备、增强实境应用等。匹配的结果也可以用于确定是否将所检索的图像或者针对图像而确定的特征描述符传输到服务提供者的中央设施。如果在注释地图数据中没有找到匹配记录，那么可以选择性地生成包括图像或者针对图像而确定的特征描述符的消息并且将此消息传输到服务提供者的中央设施。
在进一步的实施例中，可以实施方法20的不同的修改。为了说明，虽然显示出可以并行执行步骤21和步骤22、23，但是也可以顺序执行这些步骤。
图5显示了使用注释地图数据的特征描述符的确定。
假设已经从注释地图数据中检索了代表第一目标(例如教堂塔)的地理参考特征向量及相关联的位置信息，那么，视觉***的处理器可以确定期望该第一目标处于其中的图像部分27。基于与代表第一目标的地理参考特征向量相关联的位置信息，视觉***的位置，摄像机的光特性，以及摄像机的光轴的方位，可以确定该图像部分27。近似地，假设已经从注释地图数据中检索了代表第二目标的地理参考特征向量(例如雕像或半身像)及相关联的位置信息，那么，视觉***的处理器可以确定期望该第二目标处于其中的图像部分28。基于与代表第二目标的地理参考特征向量相关联的位置信息，视觉***的位置，摄像机的光特性，以及摄像机的光轴的方位，可以确定该图像部分28。
图6说明了用于使用注释地图数据为图像确定特征描述符的过程30。该过程可以实现图4的方法20中的确定步骤24。
在31处，辨别了图像的一部分，由存储于注释地图数据中的地理参考特征描述符代表的目标被期望处于该图像的一部分中。如上述提及的，基于与代表目标的地理参考特征描述符相关联的位置信息和视觉***的位置，可以确定该图像的一部分。另外，当辨别图像的一部分时，可以考虑摄像机的光特性以及摄像机的光轴的方位。
在32处，为在31处辨别的图像的一部分选择性地执行特征描述符的确定。因而相比于分析整个图像以辨别匹配的常规方法，更少计算成本(根据计算时间)地进行图像中目标的辨别。
图7说明了可以在具有无线通信装置的视觉***中调用的过程35。该过程可以实现图4的方法20中的步骤26。
在36处，确定针对图像而确定的特征描述符是否能够匹配到存储于注释地图数据中的地理参考特征描述符。
如果针对图像而确定的特征描述符能够与存储于注释地图数据中的地理参考特征描述符匹配，那么在38处，可以执行图像分割。在39处，当显示图像时，可以给目标提供图形标记。如上述提及的，基于用户请求为其提供信息的目标类别的用户选择，可以选择性地执行图形标记的显示以突显目标。
如果一个或若干个针对图像而确定的特征描述符不能同存储于注释地图数据中的地理参考特征描述符相匹配，那么在37处，经由通信装置传输包括一个或若干个针对图像而确定的特征描述符的消息。该消息可以另外包括已经捕获图像时的视觉***的位置。尽管根据交通数据负载来传输包含特征描述符的消息是有益的，但是在另一个实施例中，可以传输所捕获的图像和已经捕获该图像时的视觉***的位置。服务提供者的中央设施于是可以分析该图像以在中央位置提取特征描述符用于在注视图数据中的存储。
基于用户输入，可以选择性地执行传输步骤37。为了说明，在实施中，仅在用户确定需要将特征描述符或所捕获的图像传输到中央位置之后，才在37处执行传输。备选地或附加地，可以允许用户输入附加信息(例如目标或目标分类的文本描述)，于是该附加信息将与包含针对图像而确定的特征描述符的消息一起被传输。
图8是分析图像的方法40的流程图表示法，其中使用了注释地图数据。该注释地图数据包括地理参考特征描述符。通过图1的视觉***1或者通过图2的视觉***11，可以执行该方法40。
在41处，检索图像数据。该图像数据可以是在单次激发的2D图像传感器中采集的2D图像，或者可以是被包括于视频序列中的2D图像。可以通过视觉***的处理器检索该图像数据。可以从摄像机中检索该图像数据。
在42处，针对所检索的图像确定了多个特征描述符。
在43处，在注释地图数据中执行搜索以辨别与在42处确定的特征描述符相关联的存储于注释地图数据中的地理参考特征描述符。自然地，在所确定的特征描述符和存储于注释地图数据中的地理参考特征描述符之间不需要完美的匹配来便辨别匹配。而是可以通过将针对图像而确定的特征描述符与从注释地图数据中检索的特征描述符的相似性测量与阈值相比较，来辨别匹的配地理参考特征描述符。可以执行有组织的搜索以辨别匹配的地图参考特征描述符。该注释地图数据可以具有分层的树状结构，其有利于这种有组织的搜索。
在44处，基于与地理参考特征描述符(其与针对图像而确定的特征描述符的相匹配)相关联的位置信息，可以辨别在其中安装了视觉***的车辆的位置和/或方位。在实施中，可以执行三角测量以确定车辆位置和/或方位。在另一个实施中，可以为多个不同的车辆位置和方位计算由匹配的地理参考特征描述符而代表的目标的预期位置。可以执行优化过程以辨别车辆位置和方位，其产出结果与在42处确定的特征描述符的位置最为一致。可以基于视觉***的摄像机的光特性执行该优化过程。
可以将在44处确定的车辆位置和/或方位提供给安装于车辆中的另一个设备或提供给另一个处理。为了说明，可以为增强实境应用、导航用途、或类似用途而使用该车辆位置和/或方位。
任选地，如在45-47说明的，可以选择性地将与存储于注释地图数据中的地理参考特征描述符无法匹配的特征描述符传输到中央设施。可以以如同图7的过程30的步骤36和步骤37一样的方式实施步骤45和46。如果全部针对图像而确定的特征描述符都具有注释地图数据中的匹配的地理参考特征描述符，那么该方法可以终止在47处。
可以在进一步的实施例中实施方法40的各种修改。为了说明，可以使用提供与所捕获图像无关的位置估算的定位装置。当确定车辆位置和/或方位时，也可以考虑该位置估算。在一个实施例中，基于由定位装置确定的位置，可以确定对于车辆位置的第一估算。于是，如上所述，可以使用存储于注释地图数据中的地理参考特征描述符的位置信息确定车辆方位和/或对于车辆位置的更好的估算。
存储于注释地图数据中的位置信息不仅可以定义由各个特征描述符代表的目标的横向位置，还可以包括高度信息。这允许确定车辆的方位的全部三个坐标。例如，不仅可以确定相对于水平面的车辆纵向轴的投影，也可以确定该车辆纵向轴与水平面之间的角度。
图9是对于解释图8的方法40的示意性说明。示意性地显示坐标系50和具有纵向轴52的车辆51。根据一个实施例的视觉***被安装于车辆51中。该视觉***具有具备光轴54的摄像机53。光轴54相对于该车辆的纵向轴52的方位通常是已知的。
通过将为摄像机53捕获的图像而确定的特征描述符和存储于注释地图数据中的地理参考特征描述符进行匹配，通过对图像的可视化信息和包含于注释地图数据中的信息进行结合，可以在图像中辨别目标55和目标56。可以从注释地图数据中检索坐标系50中的目标55和目标56的位置，或其中特征点的位置。该位置可以包括目标55和目标56的高度坐标。通过执行三角测量或优化过程，可以确定光轴54的方位。例如，按照相对于坐标系50指定其位置的三个欧拉角，可以定义该光轴54的方位。由于该光轴54和该车辆纵向轴52的相对方位是已知的，可以确定该车辆纵向轴52的方位。例如，根据相对于坐标系50指定其位置的三个欧拉角57-59，可以定义纵向轴52的方位。角度57、58定义空间中纵向轴52的方位。角度59定义车辆围绕其纵向轴52的旋转位置。备选地，可以确定光轴54的方位以在空间中定义车辆方位，或者在空间中可以确定车辆的横向轴的方位。可以通过三个欧拉角或者任何其它方位的参数化而分别地定义该方位。
所确定的车辆方位可以用于增强实境应用中。为了说明，在增强实境中，处理器生成的图形可以叠加到所捕获的图像数据上以在某些任务中辅助用户。对于这种数据的范例可以包括指明驾驶方向的箭头。在显示器上显示的处理器生成的图像的位置，和/或在显示器上显示处理器生成的图像的方位，可以被设定为在空间中定义车辆方位的坐标的函数。
图10说明了包含多个车辆61-63以及服务提供者的中央设施70的***60。
根据一个实施例，对车辆61-63中的至少一辆提供了视觉***。为了说明，可以分别地为几个车辆61-63装配视觉***64-66，这些视觉***是依据一个实施例的视觉***。视觉***64-66分别地包括用于与中央设施进行通信的无线通信装置。
可以分别地配置视觉***64-66以捕获图像，为所捕获的图像确定特征描述符，并且执行所确定的特征描述符和存储于注释地图数据中的地理参考特征描述符之间的匹配。视觉***64-66可以从中央设施70请求信息以便对针对所捕获的图像而确定的特征描述符和地理参考特征描述符进行匹配。备选地或附加地，可以在视觉***64-66的至少一些中提供存储注释地图数据的本地数据库。
中央设施70包括天线71，控制设备72和存储设备73。存储设备73具有包括地理参考特征描述符的注释地图数据的数据库74。存储设备74可以进一步包括常规地图数据的数据库75。
可以在中央设施70中执行为进行请求的视觉***提供注释地图数据的处理。控制设备72(可以是计算机)可以估算从视觉***64-66之一接收的消息以确定个别的视觉***是否请求在此传输的注释地图数据。作为对请求消息的响应，控制设备72可以生成包含注释地图数据的响应。可以基于请求消息中包含的位置信息而生成响应消息。控制设备72可以在响应消息中选择性地包括地理参考特征描述符，该响应消息具有接近于进行请求的视觉***的位置的相关联的位置信息。
备选地或附加地，请求消息可以包括由进行请求的视觉***确定的特征描述符。控制设备72可以基于请求消息中包含的特征描述符而生成响应消息。可以生成响应消息以便包括地理参考特征描述符的位置信息，该地理参考特征描述符的位置信息是通过将对请求消息中包含的特征描述符与存储于注释地图数据中的地理参考特征描述符进行匹配而确定的。
进一步，在***60中可以实施将新信息加入到注释地图数据中的处理。在一个实施中，视觉***64-66可以传输包含了针对图像而确定的特征描述符的消息。该消息可以包括位置信息。如果注释地图数据74还没有包含匹配了从一个视觉***中检索到的所确定的特征描述符的条目，那么控制设备72可以将接收到的特征描述符和相关联的位置信息存储在注释地图数据74中。通过视觉***64-66传输的消息可以包括附加信息，例如文本信息或由个别视觉***的用户指定的分类。
备选地或附加地，视觉***64-66可以传输所捕获的图像，而不是传输针对图像而确定的特征描述符。如果注释地图数据中没有匹配条目，那么控制设备72于是可以确定特征描述符，可以对存储于注释地图数据74中的地理参考特征描述符执行匹配，可以选择性地存储针对图像而确定的特征描述符。
在如图10中说明的社区场景中，多个视觉***64-66与中央设施70合作，可以根据视觉***64-66的使用而提升注释地图数据中数据的总数。这极大地简化了注释地图数据的维护并且降低了成本。
尽管已经参考附图描述了本发明的不同实施例，但是在其它实施例中可以实行不同的修改和变更。为了说明，虽然已经在视觉***的上下文中描述了一些实施例，但是在其它环境中，也可以根据实施例实现视觉***和分析图像的方法。为了进一步说明，虽然已经在经由光学输出装置对用户提供关于POI的信息的上下文中描述了一些实施例，但是通过将图像的可视化信息与注释地图数据中包含的信息相结合而获得的信息也可以被以不同方式加以利用。举例包括车辆导航或增强实境应用。

Claims (17)

1.一种车辆视觉***(1；11；64-66)，包括：
被配置成捕捉至少一个图像(15)的摄像机(5)；
光学输出装置(8)；和
被连接到所述摄像机(5)的处理器(2)，该处理器(2)被配置成针对所述至少一个图像(15)确定多个特征描述符；
所述处理器(2)具有接口(3)，用于访问包括地理参考特征描述符的注释地图数据，以检索多个地理参考特征描述符和分别与所述地理参考特征描述符相关联的位置信息，并且
所述处理器(2)被配置成执行针对所述至少一个图像(15)确定的所述至少一个特征描述符与所述检索出的地理参考特征描述符之间的匹配过程；
所述处理器(2)被配置成辨别与针对所述至少一个图像(15)确定的所述多个特征描述符匹配的一组地理参考特征描述符，并基于与所述一组地理参考特征描述符相关联的所述位置信息确定出车辆方位(52)的三个坐标，其中，所述车辆方位包括车辆纵向轴与水平面之间的角度和定义车辆围绕其纵向轴的旋转位置的角度中的至少一个；
所述处理器(2)被配置成控制光学输出装置(8)，使得在光学输出装置(8)上显示的处理器生成的图像的位置和方位取决于车辆方位(52)；
其中在所述注释地图数据中包括的所述地理参考特征描述符分别与多个目标类别中的至少一个相关联，
所述处理器(2)被配置成选择性地执行针对所述至少一个图像(15)确定的所述至少一个特征描述符和所述检索出的地理参考特征描述符之间的所述匹配，所述所检索出的地理参考特征描述符与所选择的目标类别相关联。
2.如权利要求1所述的视觉***，
其中，确定出的所述车辆方位(52)的三个坐标定义三个角(57-59)。
3.如权利要求2所述的视觉***，
其中，针对所述地理参考特征描述符中的至少一些地理参考特征描述 符，所述相关联的位置信息包括高度坐标。
4.如权利要求1所述的视觉***，
其中，所述处理器(2)被配置成在增强实境模式下，基于车辆方位(52)的三个确定出的坐标控制光学输出装置(8)。
5.如前述权利要求中的任一项所述的视觉***，进一步包括，
被配置成确定车辆位置的定位装置(6)，
所述处理器(2)被连接到所述定位装置(6)，并且被配置成基于所述车辆位置检索所述多个地理参考特征描述符。
6.如权利要求5所述的视觉***，
所述处理器(2)被配置成基于与所述所检索的地理参考特征描述符中的至少一个相关联的位置信息，并基于所述车辆位置，估算在所述至少一个图像(15)中的目标(16-18)的位置。
7.如权利要求6所述的视觉***，
所述定位装置进一步被配置成确定车辆方位，所述处理器(2)被配置成进一步基于所述车辆方位(52)估算所述目标的所述位置。
8.如权利要求5所述的视觉***，
所述处理器(2)被配置成基于所述车辆位置并基于与所述多个所检索出的地理参考特征描述符中的至少一个相关联的位置信息，辨别所述至少一个图像(15)的一部分(27，28)，
所述处理器(2)被配置成针对所述图像(15)的所辨别的一部分(27，28)选择性地确定所述至少一个特征描述符。
9.如权利要求1至4中的任一项所述的视觉***，所述处理器(2)被配置成控制所述光学输出装置(8)以输出指示所述至少一个图像(15)中 的目标的信息，所述至少一个图像(15)具有与所述检索出的地理参考特征描述符中的一个地理参考特征描述符匹配的特征描述符。
10.如权利要求1至4中的任一项所述的视觉***，
所述地理参考特征描述符中的至少一个地理参考特征描述符具有包括高度信息的相关联的位置信息，所述处理器(2)被配置成基于所述高度信息执行所述匹配过程。
11.如权利要求1至4中的任一项所述的视觉***，进一步包括：
存储所述注释地图数据的数据库(4)，所述注释地图数据包括分别由多个特征描述符形成的多个地理参考特征向量，所述地理参考特征向量中的每一个具有被存储在所述数据库(4)中的相关联的位置信息，所述处理器(2)被配置成针对所述至少一个图像(15)确定特征向量，所述确定的特征向量包括多个特征描述符，并且所述处理器(2)被配置成将针对所述至少一个图像(15)确定的所述特征向量与在所述数据库(4)中存储的特征向量进行匹配。
12.如权利要求1至4中的任一项所述的视觉***，进一步包括：
被连接到所述处理器(2)的无线通信装置(12，13)，所述处理器(2)被配置成经由所述无线通信装置(12,13)传输请求消息，以请求传输所述多个地理参考特征描述符，和/或经由所述无线通信装置(12,13)传输针对所述至少一个图像(15)确定的所述至少一个特征描述符。
13.如权利要求1至4中的任一项所述的视觉***，
针对所述至少一个图像(15)确定的所述至少一个特征描述符是从包括尺度不变特征转换(SIFT)描述符、加速稳定特征(SURF)描述符、旋转不变特征转换(RIFT)描述符、广义的稳定不变特征(G-RIF)描述符、主成分分析SIFT(PCA-SIFT)描述符或梯度位置及方位柱状图(GLOH)描述符的组中选择出的。
14.一种车辆，包括
前述权利要求1至4中的任一项所述的视觉***(1；11；64-66)。
15.一种分析车辆上捕获的至少一个图像(15)的方法，所述方法包括：
针对所述至少一个图像(15)确定多个特征描述符；
检索多个地理参考特征描述符和分别与所述地理参考特征描述符相关联的位置信息；以及
执行针对所述至少一个图像(15)确定的所述至少一个特征描述符与检索出的所述地理参考特征描述符之间的匹配过程
其中，在所述匹配过程中，辨别与针对所述至少一个图像确定的多个特征描述符匹配的一组地理参考特征描述符，
所述方法进一步包括：
基于与所述一组地理参考特征描述符相关联的所述位置信息，确定车辆方位(52)的三个坐标，所述车辆方位(52)的三个坐标定义三个角(57-59)，其中，所述车辆方位包括车辆纵向轴与水平面之间的角度和定义车辆围绕其纵向轴的旋转位置的角度中的至少一个；和
基于确定的车辆方位(52)，控制光学输出装置(8)上显示的处理器生成的图像的位置和方位；
其中所述地理参考特征描述符分别与多个目标类别中的至少一个相关联，
选择性地执行针对所述至少一个图像(15)确定的所述至少一个特征描述符和所述检索出的地理参考特征描述符之间的所述匹配，所述所检索出的地理参考特征描述符与所选择的目标类别相关联。
16.如权利要求15所述的方法，
其中，当增强实境模式被激活时，基于所述车辆方位(52)的三个所确定的坐标控制，所述光学输出装置(8)被控制。
17.如权利要求15所述的方法，
所述方法通过如权利要求1至4中的任一项所述的***(1；11；64-66)被执行。
CN201110352059.3A 2010-11-09 2011-11-09 视觉***及分析图像的方法 Active CN102567449B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10014418.7 2010-11-09
EP10014418.7A EP2450667B1 (en) 2010-11-09 2010-11-09 Vision system and method of analyzing an image

Publications (2)

Publication Number Publication Date
CN102567449A CN102567449A (zh) 2012-07-11
CN102567449B true CN102567449B (zh) 2017-05-10

Family

ID=43666660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110352059.3A Active CN102567449B (zh) 2010-11-09 2011-11-09 视觉***及分析图像的方法

Country Status (3)

Country Link
US (1) US8929604B2 (zh)
EP (1) EP2450667B1 (zh)
CN (1) CN102567449B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
US9633564B2 (en) 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
US8949016B1 (en) 2012-09-28 2015-02-03 Google Inc. Systems and methods for determining whether a driving environment has changed
US9915539B2 (en) 2013-02-25 2018-03-13 Continental Automotive Gmbh Intelligent video navigation for automobiles
FR3011923B1 (fr) * 2013-10-14 2017-05-26 Renault Sas Procede de guidage d'un utilisateur d'un vehicule automobile, systeme correspondant et vehicule automobile
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9969337B2 (en) * 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US9157757B1 (en) * 2014-09-03 2015-10-13 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US9625912B2 (en) * 2014-09-03 2017-04-18 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9916508B2 (en) 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
US20170011063A1 (en) * 2015-07-06 2017-01-12 Google Inc. Systems and Methods to Facilitate Submission of User Images Descriptive of Locations
JP6840719B2 (ja) * 2015-07-16 2021-03-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デジタル病理学における情報変換
KR20180101717A (ko) * 2016-01-08 2018-09-13 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 맵들을 사용하는 차량 컴포넌트 제어
CN105930854A (zh) * 2016-04-19 2016-09-07 东华大学 一种机械臂视觉***
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
US9996083B2 (en) 2016-04-28 2018-06-12 Sharp Laboratories Of America, Inc. System and method for navigation assistance
FR3051901A1 (fr) * 2016-05-27 2017-12-01 Univ De Bretagne Occidentale - Ubo Procede de determination du debit d'un cours d'eau
US11645840B2 (en) * 2017-08-31 2023-05-09 Sony Corporation Information processing apparatus, information processing method, program, and moving body
AT521130A1 (de) * 2018-04-04 2019-10-15 Peterseil Thomas Verfahren zum Einblenden eines virtuellen Objekts
US10778943B2 (en) 2018-07-17 2020-09-15 C-Tonomy, LLC Autonomous surveillance duo
EP3834138B1 (en) * 2018-09-27 2024-06-26 DeepMind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
DK180774B1 (en) * 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
CN111284325B (zh) * 2018-12-10 2022-04-15 博泰车联网科技(上海)股份有限公司 车辆、车机设备及其车辆沿途对象详尽信息显示方法
US10936903B2 (en) * 2019-03-30 2021-03-02 Intel Corporation Technologies for labeling and validating human-machine interface high definition-map data
DE102019216357A1 (de) 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen von annotierten Verkehrsraumdaten
CN111353011B (zh) * 2020-02-27 2024-05-17 北京市商汤科技开发有限公司 地点数据集及其建立方法和装置、数据处理方法和装置
JP2023516502A (ja) * 2020-03-10 2023-04-19 センセン ネットワークス グループ ピーティーワイ リミテッド 画像ベースの場所決定及び駐車モニタリングのためのシステム及び方法
WO2022010451A1 (en) * 2020-07-06 2022-01-13 Google Llc Stable orientation cues for augmented reality (ar)
US20220196429A1 (en) * 2020-12-17 2022-06-23 Here Global B.V. Navigation based on a user's perception
CN113901257B (zh) * 2021-10-28 2023-10-27 北京百度网讯科技有限公司 地图信息的处理方法、装置、设备和存储介质
WO2024015564A1 (en) * 2022-07-15 2024-01-18 Mobileye Vision Technologies Ltd. Registration of traffic signs' feature vectors in remote server

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
DE10012471A1 (de) * 2000-03-15 2001-09-20 Bosch Gmbh Robert Navigationssystem
JP3908056B2 (ja) * 2002-02-26 2007-04-25 アルパイン株式会社 車載用ナビゲーション装置
US7774158B2 (en) * 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
EP1622081A1 (en) * 2003-04-21 2006-02-01 NEC Corporation Video object recognition device and recognition method, video annotation giving device and giving method, and program
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
EP1906339B1 (en) 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
JP4755556B2 (ja) 2006-09-04 2011-08-24 クラリオン株式会社 車載装置
US8264584B2 (en) * 2007-05-31 2012-09-11 Panasonic Corporation Image capturing apparatus, additional information providing server, and additional information filtering system
US20100009662A1 (en) * 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
US7868821B2 (en) * 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
EP2214122B1 (en) * 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
US8649565B1 (en) * 2009-06-18 2014-02-11 Hrl Laboratories, Llc System for automatic object localization based on visual simultaneous localization and mapping (SLAM) and cognitive swarm recognition
US8180146B2 (en) * 2009-12-22 2012-05-15 The Chinese University Of Hong Kong Method and apparatus for recognizing and localizing landmarks from an image onto a map
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
US9501714B2 (en) * 2010-10-29 2016-11-22 Qualcomm Incorporated Systems and methods to improve feature generation in object recognition
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information

Also Published As

Publication number Publication date
EP2450667A1 (en) 2012-05-09
US20120114178A1 (en) 2012-05-10
US8929604B2 (en) 2015-01-06
EP2450667B1 (en) 2016-11-02
CN102567449A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
CN102567449B (zh) 视觉***及分析图像的方法
Huang et al. Bevdet4d: Exploit temporal cues in multi-camera 3d object detection
JP6484228B2 (ja) 視覚強化ナビゲーション
JP5062498B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
JP2011215973A (ja) 風景マッチング用参照データ生成システム及び位置測位システム
US20240133704A1 (en) Methods and Systems for Determining Geographic Orientation Based on Imagery
CN109974733A (zh) 用于ar导航的poi显示方法、装置、终端和介质
US20170039450A1 (en) Identifying Entities to be Investigated Using Storefront Recognition
JP2008051745A (ja) 移動体標定プログラム、該プログラムを記録した記録媒体、移動体標定装置、および移動体標定方法
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
US20210406546A1 (en) Method and device for using augmented reality in transportation
US20120093395A1 (en) Method and system for hierarchically matching images of buildings, and computer-readable recording medium
JP2020030795A (ja) 地図画像背景から位置を推定するためのシステム、方法、及びプログラム
CN110702138A (zh) 一种导航路径实景预览方法及***、存储介质及车载终端
WO2021154155A1 (en) Methods and data processing systems for predicting road attributes
CN111159459B (zh) 地标定位方法、装置、计算机设备以及存储介质
US20220196432A1 (en) System and method for determining location and orientation of an object in a space
CN114743395B (zh) 一种信号灯检测方法、装置、设备及介质
JP3436235B2 (ja) 移動物体画像検索方法、及び、装置
CN114283397A (zh) 全局重定位方法、装置、设备及存储介质
Antigny et al. Hybrid visual and inertial position and orientation estimation based on known urban 3D models
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
JP7373002B2 (ja) ナビゲーション装置及びナビゲーション方法
EP3944137A1 (en) Positioning method and positioning apparatus
JP7117408B1 (ja) 位置算出装置、プログラム及び位置算出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant