CN102208012A - 风景匹配参考数据生成***及位置测量*** - Google Patents

风景匹配参考数据生成***及位置测量*** Download PDF

Info

Publication number
CN102208012A
CN102208012A CN2011100710064A CN201110071006A CN102208012A CN 102208012 A CN102208012 A CN 102208012A CN 2011100710064 A CN2011100710064 A CN 2011100710064A CN 201110071006 A CN201110071006 A CN 201110071006A CN 102208012 A CN102208012 A CN 102208012A
Authority
CN
China
Prior art keywords
image
photographic images
data
reference data
landscape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100710064A
Other languages
English (en)
Other versions
CN102208012B (zh
Inventor
宫岛孝幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN102208012A publication Critical patent/CN102208012A/zh
Application granted granted Critical
Publication of CN102208012B publication Critical patent/CN102208012B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供了一种风景匹配参考送数据生成***及位置测量***，该位置测量***包括：参考数据数据库，存储风景匹配参考数据生成***生成的参考数据；拍摄图像处理单元，用于从通过拍摄从车辆观察到的风景的图像而获取的拍摄图像中提取图像特征点，使用提取的图像特征点为每一拍摄图像生成图像特征点数据，并将生成的图像特征点数据输出作为用于匹配的数据；风景匹配单元，用于执行从参考数据数据库中提取的参考数据与用于匹配的数据之间的匹配，并基于和用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定车辆的位置。采用本发明的***，能够被用于没有道路标志的道路或特定地点，而不需要计算每一特征点的空间坐标，从而降低成本。

Description

风景匹配参考数据生成***及位置测量***
交叉引用
包括说明书、附图以及摘要在内的于2010年3月31日提交的申请号为2010-084680的日本专利申请通过引用的方式整体并入。
技术领域
本发明涉及风景匹配参考数据生成***，以及使用该风景匹配参考数据生成***生成的参考数据的位置测量***。
背景技术
在车辆导航装置中，使用从传感器(例如，陀螺仪传感器和地磁传感器)获取的信息的方法(自主导航方法)、使用来自GPS卫星的信号的方法、或者自主导航方法和使用来自GPS卫星的信号的方法的组合被用作计算车辆当前位置的方法。此外，例如，已知公开号为2007-108043(JP-A-2007-108043)的日本专利申请中描述了一种位置测量装置，作为被配置来精确计算当前位置的位置测量装置(参见第0009段到0013段和图1)。在该位置测量装置中，首先，使用来自导航卫星等的信号获取暂定当前位置。然后，使用车辆前方风景的拍摄图像(captured image)，计算出关于该暂定当前位置的坐标***(车辆坐标***)中道路标志的特征点(车辆坐标***特征点)的坐标。然后，使用计算出的车辆坐标***特征点和所存储的道路标志的特征点的坐标(即，在世界坐标***中示出的坐标)，来计算车辆的当前位置。在该位置测量装置中，即使使用从导航卫星发送过来的信号和/或从各种传感器发送过来的信号测量的位置有误差，也可以精确计算当前位置。
发明内容
在公开号为2007-108043(JP-A-2007-108043)的日本专利申请中描述的位置测量装置中，使用立体图像来获取道路上道路标志的特征点的空间坐标，从道路标志信息数据库中获取具有特征点的道路标志的纬度和经度。从而使用通过道路标志的纬度和经度获取的坐标来计算车辆当前位置。因此，位置测量装置不能被用于没有道路标志的区域。而且，由于需要计算通过图像处理识别出的特征点的空间坐标，所以该装置需要的计算能力高，从而导致成本上升。
因此，可以想到采用一种使用风景图像识别技术的方法作为定位方法，该定位方法能够被用于没有道路标志的道路或特定地点，而不需要计算每一特征点的空间坐标。当执行风景图像识别时，需要很多条参考图像数据(参考数据)。因此，使用普通车辆获取用于创建参考数据集的拍摄图像。也就是说，可以想到应用关于探测车的概念来生成参考数据集。在通过普通车辆(探测车)收集的拍摄图像中，存在有与高精度图像拍摄位置(即，探测车获取拍摄图像的位置)相关联的拍摄图像，也存在有与精度较差的图像拍摄位置相关联的拍摄图像。因此，大量探测车收集的用于创建参考数据集的拍摄图像需要进行适当处理。
本发明的第一方面涉及风景匹配参考数据生成***，包括：数据输入单元，探测数据集被输入到所述数据输入单元，其中，所述探测数据集包括通过多个探测车顺次获取的拍摄图像和作为所述拍摄图像的图像拍摄位置的所述探测车的车辆位置，其中每个所述探测车具有计算车辆位置的功能；临时存储单元，其中临时存储包括在所述探测数据集中的所述拍摄图像；图像相似度估计单元，用于估计存储在所述临时存储单元中的拍摄图像的图像相似度，将所述图像相似度指定给所述拍摄图像；处理目标数据选择单元，用于从存储在所述临时存储单元中的拍摄图像中选择图像相似度与预定度相同或图像相似度大于预定度的多个所述拍摄图像作为多个处理目标拍摄图像；代表图像拍摄位置确定单元，用于确定代表图像拍摄位置，所述代表图像拍摄位置是所述多个处理目标拍摄图像的图像拍摄位置的代表；图像特征点数据生成单元，用于基于所述多个处理目标拍摄图像生成图像特征点数据；以及参考数据生成单元，用于通过将所述图像特征点数据与所述代表图像拍摄位置相关联，生成用于识别从车辆观察到的风景图像的风景匹配的参考数据。
根据上面描述的第一方面，引入通过各种探测车获取的探测数据集，基于对拍摄图像的图像相似度的估计结果，选择图像相似度与预定度相同或图像相似度大于预定度的多个拍摄图像作为处理目标拍摄图像。进一步地，通过将基于根据处理目标拍摄图像计算出的图像特征量生成的图像特征点与代表图像拍摄位置相关联，来生成参考数据。车辆位置的精度随着设置于探测车中的车辆位置计算功能的性能以及探测车行驶时的行驶情况而改变。因此，在第一方面中，选择彼此相似的拍摄图像作为处理目标拍摄图像。因为在实质上相同的图像拍摄位置获取的拍摄图像彼此相似，所以，通过选择彼此相似的拍摄图像，图像拍摄位置被认为实质上相同的拍摄图像就被选择出来。进一步地，基于根据选择的拍摄图像计算出的图像特征量而生成的图像特征点数据是特定图像拍摄位置的可信性高的图像特征点数据。通过将图像特征点数据与代表图像拍摄位置相关联而生成的参考数据适用于风景匹配。
本发明的第二方面涉及位置测量装置，包括：参考数据数据库，其中存储根据第一方面的风景匹配参考数据生成***生成的参考数据；拍摄图像处理单元，用于从通过拍摄从车辆观察到的风景的图像而获取的拍摄图像中提取图像特征点，使用所提取的图像特征点为每一拍摄图像生成图像特征点数据，并将生成的图像特征点数据输出作为用于匹配的数据；以及风景匹配单元，用于执行从所述参考数据数据库中提取的所述参考数据与所述用于匹配的数据之间的匹配，并基于和所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定所述车辆的位置。
根据上面描述的第二方面，如上面描述的那样使用了对风景匹配有用的参考数据。因此，能够适当地确定车辆位置。
附图说明
本发明的前述目的以及后续目的、特征和优点将通过参照附图对示例性实施例进行如下描述而变得清楚，其中，相同的附图标记用于表示相同的元件，其中：
图1是用于解释根据本发明一实施例的风景匹配参考数据生成***生成参考数据的一个例子的基本概念、以及使用参考数据通过匹配处理确定车辆位置的位置测量流程的示意图；以及
图2是用于解释根据本发明的风景匹配参考数据生成***生成参考数据的另一例子的基本概念、以及使用参考数据通过匹配处理确定车辆位置的位置测量流程的示意图；
图3是示出根据本发明实施例的风景匹配参考数据生成***的主要功能的功能性块图；
图4是示出精度可信度(accuracy reliability degree)估计单元的处理功能以及处理流程的示意图；
图5是示出图像相似度估计单元的处理功能以及处理流程的示意图；
图6是示出特征量计算单元的处理功能以及处理流程的示意图；
图7A到图7F是示意性示出从拍摄图像生成图像特征点数据的过程的示意图；
图8示出采用了使用由根据本发明实施例的风景匹配参考数据生成***生成的参考数据创建的参考数据数据库的车辆导航***的功能块；以及
图9是示出根据本发明另一实施例的风景匹配参考数据生成***的主要功能的功能性块图。
具体实施方式
在下文中，参照附图详细描述本发明的实施例。图1示意性示出风景匹配参考数据生成***(下文中，可以简称为“参考数据生成***”)生成参考数据的一个例子的基本概念以及使用参考数据通过匹配处理确定车辆位置的位置测量流程其中，该参考数据生成***生成为了识别从车辆观察到的风景的图像而执行风景匹配时用到的参考数据。用于风景匹配的参考数据数据库(在下文中简称为参考数据DB)92是使用由根据本发明实施例的风景匹配参考数据生成***生成的参考数据而创建的。
首先，描述用于创建参考数据DB92的流程。如图1所示，通过拍摄从多个行驶中的探测车上观察到的风景的图像获取拍摄图像。每个拍摄图像均与图像拍摄位置(实质上是图像拍摄时探测车的车辆位置)以及探测车ID(在下文中简称为“P-ID”)相关联，从而生成探测数据，所生成的探测数据被输入。探测车ID用于标识探测车。图像拍摄位置包括在预定大图像拍摄位置区域中的探测数据集(set)被临时存储在工作存储器中作为大区域处理群(group)(步骤S01)。大图像拍摄位置区域设置得比后文描述的小图像拍摄位置区域要大，并且比低精度的图像拍摄位置的误差范围要大得多。然后，估计存储在工作存储器中的拍摄图像的图像相似度，将该图像相似度指定给拍摄图像(步骤S02a)。已指定了图像相似度的拍摄图像被标绘在三维图中，其中Z轴指示图像相似度，X轴指示图像拍摄位置的X坐标，Y轴指示图像拍摄位置的Y坐标。在该三维图中，具有高图像相似度的拍摄图像集中的X-Y区域被当作选择区域SA。将定位在选择区域SA内的拍摄图像选择为处理目标拍摄图像。将包括处理目标拍摄图像的探测数据集选择为处理目标数据集(步骤S03a)。可替代地，可以将图像相似度等于第一预定度或者图像相似度大于第一预定度的拍摄图像选择为处理目标拍摄图像。根据被选择为处理目标数据集的处理目标拍摄图像来计算图像特征量。在该例子中，计算图像特征量的处理是使用轮廓检测算子(outline detection operator)的边缘检测处理。通过边缘检测处理来获取边缘检测图像(步骤S04)。从多个图像特征点中提取出被确定为匹配处理用到的图像特征点，即，包括在边缘检测图像中的边缘点(步骤S05)。从获取自多个处理目标拍摄图像的图像特征点群提取出多个处理目标拍摄图像共有的图像特征点(共同图像特征点)，并生成包括共同图像特征点群的图像特征点数据(步骤S06)。通过相对于上面描述的处理另外进行的处理，使用图像拍摄位置包括在选择区域SA内的处理目标拍摄图像群的图像拍摄位置，来计算出代表图像拍摄位置(代表图像拍摄位置是上面描述的选择区域SA内的图像拍摄位置的代表)(步骤S07)。接下来，通过将图像特征点数据与代表图像拍摄位置相关联来生成参考数据(步骤S08)。创建所生成的参考数据的数据库，该数据库可使用代表图像拍摄位置作为搜索条件进行搜索。即，将参考数据存储在参考数据DB92中，这样，参考数据就被用作用于风景匹配的参考数据，例如，用于图案匹配的图案(步骤S09)。
接下来，介绍使用上面描述的流程创建的参考数据DB92确定实际行驶中的车辆的位置(车辆位置)的流程。如图1所示，首先，输入通过使用车载照相机拍摄风景图像而获取的实际拍摄图像、以及用于从参考数据DB92中提取参考数据的实际拍摄图像的图像拍摄位置(步骤S11)。在该步骤中输入的图像拍摄位置是使用例如GPS测量单元估计出的估计车辆位置。通过上面描述的步骤S04到步骤S06，根据输入的拍摄图像生成用于匹配的数据(用于匹配的数据是图像特征点数据)(步骤S12)。同时，使用输入的图像拍摄位置(估计车辆位置)作为搜索条件，提取出关于图像拍摄位置(估计车辆位置)的参考数据和关于图像拍摄位置(估计车辆位置)前方和后方的参考数据的集合作为匹配候选参考数据集(步骤S13)。包括在提取出的匹配候选参考数据集中的每一参考数据被设置为图案，执行每一图案和生成的用于匹配的数据之间的图案匹配处理，作为风景图像识别(步骤S14)。当设置为图案的参考数据与生成的用于匹配的数据相匹配时，取出(retrieve)与和生成的用于匹配的数据相匹配的参考数据相关联的图像拍摄位置(步骤S15)。将取出的图像拍摄位置确定为正式车辆位置，以代替估计车辆位置，(步骤S16)。
接下来，参照图2描述根据本发明实施例的风景匹配参考数据生成***生成参考数据的另一个例子的基本概念。使用创建的参考数据通过匹配处理来确定车辆位置的位置测量流程与图1中的相同，因此，省略其描述。
如图2中所示，通过拍摄从多个行驶中的探测车上观察到的风景的图像来获取拍摄图像。每一拍摄图像均与图像拍摄位置和用于标识探测车的P-ID相关联，从而，生成探测数据，并且所生成的探测数据被输入。图像拍摄位置被包括在预定小图像拍摄位置区域中的探测数据集被临时存储在工作存储器中，作为小区域处理群(步骤S01)。小图像拍摄位置区域设置得比大图像拍摄位置区域要小。将小图像拍摄位置区域设置为使得小图像拍摄位置区域中的图像拍摄位置能够被认为实质上相同(例如，小图像拍摄位置区域设置为1m的范围)。接下来，使用存储在工作存储器中的探测数据集来估计拍摄图像的图像拍摄位置的精度可信度，并将精度可信度指定给拍摄图像(步骤S02)。基于例如设置于每一探测车上的车辆导航装置等的车辆位置检测性能、以及在通过识别特定区域(例如交叉口或弯曲路)而修正车辆位置以后探测车的行驶距离，来获取精度可信度。根据精度可信度将已指定了精度可信度的拍摄图像进行排序。将精度可信度等于第二预定度或者精度可信度大于第二预定度的拍摄图像选择为处理目标拍摄图像，并将包括处理目标拍摄图像的探测数据集选择为处理目标数据集(步骤S03)。可替代地，可以按精度可信度递减方式排序，并将预定数量的具有高精度可信度的拍摄图像选择为处理目标拍摄图像。从处理目标拍摄图像计算图像特征量。图像特征量的计算处理是用于获取用于对拍摄图像执行匹配的特征点以及特征点群的图像处理。典型的计算图像特征量的处理是使用轮廓检测算子的边缘检测处理。通过边缘检测处理获取边缘检测图像(步骤S04)。从多个图像特征点提取出被确定为匹配处理用到的图像特征点，即，包括在边缘检测图像中的边缘点(步骤S05)。从获取自多个处理目标拍摄图像的图像特征点群提取出多个处理目标拍摄图像共有的图像特征点(共同图像特征点)，并生成包括共同图像特征点群的图像特征点数据(步骤S06)。进一步地，通过相对于上面描述的处理另外进行处理，使用图像拍摄位置包括在第一拍摄位置区域中的处理目标拍摄图像群中(即，被认为是具有相同图像拍摄位置的拍摄图像的拍摄图像群)的图像拍摄位置，来计算代表图像拍摄位置(代表图像拍摄位置是上面描述的第一图像拍摄位置区域中图像拍摄位置的代表)(步骤S07)。可以通过将图像拍摄位置进行简单平均来计算出代表图像拍摄位置。当已知图像拍摄位置的精度时，可以通过使用用于执行加权的精度的加权平均计算方法来计算出代表图像拍摄位置。也可以通过其他各种统计计算方法来计算代表图像拍摄位置。接下来，通过将图像特征点数据与代表图像拍摄位置相关联来生成参考数据(步骤S08)。创建所生成的参考数据的数据库，该数据库可使用代表图像拍摄位置作为搜索条件进行搜索。即，将参考数据存储在参考数据DB92中，这样，参考数据被用作用于风景匹配的参考数据，例如，用于图案匹配的图案(步骤S09)。
接下来，参照图3所示的功能性块图，描述根据本发明实施例的基于上面描述的基本概念根据拍摄图像创建参考数据的参考数据生成***的例子。参考数据生成***安装在外部设备(例如数据处理中心)中。参考数据生成***包括数据输入单元51、临时存储单元52、探测数据估计单元53、处理目标数据选择单元54、特征量计算单元60、图像特征点生成单元55、代表图像拍摄位置计算单元56以及参考数据生成单元57。每一功能均可以通过硬件、软件或者软件和硬件的组合来实现。
每一探测车以预定时间间隔和/或以预定行驶距离间隔生成的探测数据被输入到数据输入单元51中。每一探测车均为与生成参考数据的公司定有契约的普通车辆。在车辆正常行驶过程中使用设置于车辆中的照相机(在该例中为前部照相机)通过拍摄风景图像获取的拍摄图像、以及图像拍摄时刻的图像拍摄位置(即，探测车的车辆位置)被作为探测数据以批量方式或实时方式发送给参考数据生成***。在该实施例中，探测数据还包括关于拍摄图像位置的精度信息的位置精度信息、以及图像拍摄情况信息。每一探测数据包括能够标识相应探测车和探测数据的P-ID。探测数据集能够通过使用其P-ID被分为多组。
位置精度信息包括导航装置的位置计算功能的性能(导航装置计算用作图像拍摄位置的车辆位置)、以及影响车辆位置计算的因素(例如，车辆从被确认的车辆位置开始行驶的距离、以及车辆打滑或者以蛇形方式(zigzag manner)行驶的可能性)。图像拍摄情况信息是当根据拍摄图像生成参考数据时附加使用的信息。图像拍摄情况信息是用于指示特定主题(subject)包括在拍摄图像中的信息。特定主题的例子包括定义车辆行驶的车道的目标(例如导轨和路肩处的沟槽)、移动目标(例如附近的行驶车辆、迎面而来的车辆、自行车以及行人)、以及风景目标(风景目标是山区、郊区、市区、高层建筑区等的特征，如山和建筑物)。在该实施例中，图像拍摄情况信息的内容包括行驶车道数据DL、移动目标数据DO、以及区域属性数据DA。行驶车道数据DL是示出拍摄图像中行驶车道的区域以及道路以外的区域的数据。行驶车道数据DL是基于白线、导轨和安全区(safety zone)的识别结果而获得的。白线、导轨和安全区是通过对拍摄图像执行图像处理而识别出的。移动目标数据DO是示出在拍摄图像中车辆附近的移动目标的区域的数据。车辆附近的移动目标由检测障碍物的车载传感器(例如雷达)识别。区域属性数据DA是示出通过图像拍摄而获取的拍摄图像的图像拍摄区域的类型的数据，即，图像拍摄区域的区域属性。区域属性的例子包括山区、郊区、市区以及高层建筑区。类型即图像拍摄区域的区域属性是基于通过图像拍摄而获取拍摄图像时的车辆位置以及地图数据而被识别的。
根据图像拍摄位置被分为多组的探测数据集存储在临时存储单元52中。探测数据估计单元53包括精度可信度估计单元53A和图像相似度估计单元53B。精度可信度估计单元53A估计各自存储于临时存储单元52中作为探测数据的一部分的拍摄图像的图像拍摄位置的精度可信度，并将精度可信度指定给相应的拍摄图像。图像相似度估计单元53B估计各自存储于临时存储单元52中作为探测数据的一部分的拍摄图像的图像相似度，并将图像相似度指定给相应的拍摄图像。处理目标数据选择单元54具有如下功能：从存储于临时存储单元52中的探测数据集取出小区域处理群；从取出的第一处理群中的多个拍摄图像中，选择满足关于精度可信度的选择条件的多个拍摄图像或者选择满足关于图像相似度的选择条件的多个拍摄图像，作为处理目标图像；以及选择包括处理目标拍摄图像的探测数据集作为处理目标数据集。选择的处理目标拍摄图像被发送给在后阶段组(latter-stage group)中的功能性单元。在该实施例中，在探测数据估计单元53中，选择并执行精度可信度估计模式或图像相似度估计模式。在精度可信度估计模式中，精度可信度估计单元53A估计拍摄图像位置的精度可信度。在图像相似度估计模式中，图像相似度估计单元53B估计拍摄图像的图像相似度。在处理目标数据选择单元54中，根据探测数据估计单元53中执行的估计模式来选择精度可信度模式或图像相似度模式。在精度可信度模式中，选择关于精度可信度的选择条件，并使用关于精度可信度的条件来选择处理目标拍摄图像(选择处理目标数据集)。在图像相似度模式中，选择关于图像相似度的选择条件，并使用关于图像相似度的条件选择处理目标拍摄图像(选择处理目标数据集)。例如，优选地，可以采用首先执行精度可信度模式的方法，如果确定具有足够高精度可信度的探测数据没有被输入，则模式切换到图像相似度模式以执行处理。
如图4所示，在精度可信度估计模式中，精度可信度估计单元53A从存储在临时存储单元52中的探测数据中取出位置精度信息。包括在位置精度信息中的数据被输入到精度可信度估计单元53A，精度可信度(精度可信度是关于探测数据中的图像拍摄位置的计算精度的可信度)从精度可信度估计单元53A输出。输入数据的例子包括指示导航装置的(导航装置计算生成探测数据的探测车的车辆位置)位置计算功能的性能的车辆位置精度等级、指示探测车从交叉口或者弯曲路上被确认的车辆位置行驶的距离的位置修正信息、指示探测车是否行驶在车辆可能打滑或者可能以蛇形方式行驶的道路上的道路情况信息、以及指示驾驶者是否以影响车辆位置计算误差的方式驾驶探测车的驾驶情况信息。输入数据被输入数据处理单元531量化或者标准化(normalized)，然后被发送到用于计算精度可信度的精度可信度计算单元532。精度可信度计算单元532中用到的计算方法不限于本发明的例子。然而，由于一个输出值是从多个不同维度(dimensions)的输入值导出的，因此，优选地，可以采用规则库(rule base)或神经网络技术(neural network)。处理目标数据选择单元54选择从精度可信度计算单元532输出的精度可信度满足关于精度可信度选择条件的拍摄图像作为处理目标拍摄图像。
当探测车自身具有计算上面描述的精度可信度的功能时，探测数据可以包括精度可信度。在这种情况下，精度可信度估计单元53A可以只具有从探测数据中取出精度可信度的功能。
而且，具有高精度计算车辆位置功能的车辆计算出的位置与具有普通功能的计算车辆位置的普通车辆计算出的位置可以相互比较，从而提前获取计算出的位置之间的差值，并且可以使用车辆行驶时获取的差值提前创建用于获取车辆位置的精度可信度的数据。基于该数据，可以使用车辆位置(图像拍摄位置)作为输入值来创建精度可信度表，以输出精度可信度。在这种情况下，可以容易地获取精度可信度。在本发明的实施例中，精度可信度表也可以被包括在精度可信度估计单元53A中。
如图5所示，在图像相似度估计模式中，图像相似度估计单元53B从存储在临时存储单元52中的探测数据集取出大区域处理群中的探测数据集。图像相似度估计单元53B计算所取出的探测数据集中的拍摄图像与例如平均拍摄图像之间的图像相似度，将该图像相似度指定给拍摄图像。进一步地，已指定了图像相似度的拍摄图像被标绘在三维图中，该三维图的Z轴指示图像相似度，X轴指示图像拍摄位置的X坐标，Y轴指示图像拍摄位置的Y坐标。因此，能够统计性地估计存储在临时存储单元52中的第二处理群中的探测数据集的实际图像拍摄位置。例如，处理目标数据选择单元54可以使用具有高图像相似度的拍摄图像(探测数据集)集中的区域作为选择区域SA，可以选择图像拍摄位置包括在选择区域SA中的拍摄图像作为处理目标拍摄图像。在图像相似度估计单元53B中可以使用各种已知的计算图像相似度的方法。首先，可以获取表示每一拍摄图像的特征的索引值，然后，基于该索引值获取图像相似度。下文介绍索引值的例子。
(1)使用像素值的平均值的方法
首先，获取整个图像中每一颜色成分的像素值的平均值。然后，获取待相互比较的图像中每一颜色成分的像素值的平均值之间的三维欧几里得(Euclidean)距离。将获取的三维欧几里得距离标准化。
(2)使用图像柱状图的方法
首先，生成图像中每一颜色成分的亮度柱状图。然后，获取待相互比较的图像的亮度柱状图中的多个等级值之间的差值平方和的平方根。获取各颜色成分所获取的平方根的和。将获取的和标准化。
(3)使用相同位置的像素值之间的差值的方法
当待相互比较的图像的分辨率彼此相等时，获取相同位置的图像中的像素值之间的差值的平方和的平方根。将获取的平方根标准化。
(4)使用图像的空间频率(spatial frequency)柱状图的方法
首先，对图像中的空间频率执行傅里叶变换(Fourier-transformation)，以生成频率亮度柱状图。然后，获取待相互比较的图像的频率亮度柱状图中的多个等级值之间的差值的平方和的平方根。将获取的平方根标准化。
除了上面描述的方法之外，也可以采用其他的使用各种图像特性计算图像相似度的方法。因此，本发明不限于特定的计算图像相似度的方法。可以根据拍摄图像的获取情况，例如，根据车辆是行驶在山区、市区还是高速公路上，来改变计算相似度的方法。
基本上，代表图像拍摄位置计算单元56通过对多个处理目标拍摄图像的图像拍摄位置执行统计性处理来计算代表图像拍摄位置(代表图像拍摄位置是多个处理目标拍摄图像的图像拍摄位置的代表)。通常采用计算算术平均值的方法作为统计性计算方法。然而，为了更精确地计算代表图像拍摄位置，优选地，采用使用位置精度信息计算加权平均值的方法。而且，优选地，代表图像拍摄位置计算单元56可以计算代表图像拍摄位置，这样，计算出的代表图像拍摄位置就定位在定义为沿着道路延伸方向延伸的路线上。
当基于从小区域处理群选择的处理目标数据集的图像拍摄位置来计算代表图像拍摄位置时，具有高精度可信度的图像拍摄位置构成用于统计性计算的群体(population)。因此，可以使用简单统计性计算值(例如算术平均值或者中间值)作为代表图像拍摄位置。相反，当基于从第二处理群选择的处理目标数据集的图像拍摄位置来计算代表图像拍摄位置时，具有相对较低的精度可信度的图像拍摄位置构成用于统计性计算的群体。因此，考虑了变化而获取的统计性计算值(例如，使用位置精度信息获取的加权平均值)可以用作代表图像拍摄位置。
如图6所示，特征量计算单元60包括特征点提取单元61、特征点重要度确定单元62、加权单元63、调整系数设置单元64、特征点输出单元65以及共同特征点估计单元66。特征点提取单元61使用适当的轮廓(边缘)检测算子从拍摄图像中提取图像特征点。在该实施例中，图像特征点是边缘点和边缘点群(边缘线)。特征点重要度确定单元62基于包括在图像拍摄情况信息中的每一数据的内容来确定特征点提取单元61提取出的图像特征点的重要度。例如，当使用行驶车道数据DL的内容时，相较于指定给拍摄图像中行驶车道内的区域中的图像特征点的重要度，将高重要度指定给拍摄图像中行驶车道外的路肩侧区域中的图像特征点。当使用移动目标数据DO时，相较于指定给在拍摄图像中不存在移动目标的区域中的图像特征点的重要度，将低重要度指定给拍摄图像中存在移动目标的区域中的图像特征点。进一步地，当使用区域属性数据DA的内容时，用于根据拍摄图像中的图像特征点的位置为图像特征点指定重要度的规则根据上面描述的区域属性而改变。例如，在山区的拍摄图像中，由于极有可能在用于图像拍摄的中心光轴(central optical axis)上方有天空，在用于图像拍摄的中心光轴的左右侧有树木，因此，相较于指定给除了中心区域以外的其它区域中的图像特征点的重要度，将高重要度指定给围绕用于图像拍摄的中心光轴的中心区域中的图像特征点。在郊区的拍摄图像中，由于流动车辆不多，而且有结构性目标(例如周围的房屋)，相较于指定给用于图像拍摄的中心光轴上方区域中的图像特征点的重要度，将高重要度指定给用于图像拍摄的中心光轴下方区域中的图像特征点。在市区的拍摄图像中，由于流动车辆多，相较于用于图像拍摄的中心光轴下方区域，将高重要度指定给用于图像拍摄的中心光轴上方区域中的图像特征点。在高层建筑区的拍摄图像中，由于高架道路和高架桥多，相较于用于图像拍摄的中心光轴下方的区域，将高重要度指定给用于图像拍摄的中心光轴上方区域中的图像特征点。
权重单元63根据特征点重要度确定单元62指定的重要度将权重系数指定给图像特征点。由于将高重要度指定给了被认为对于执行精确的图像识别(精确图形匹配)而言重要的图像特征点，因此将高权重系数指定给被指定了高重要度的图像特征点。另一方面，考虑到被指定了低重要度的图像特征点极有可能不用于实际的图像识别或者极有可能被从参考数据中删除，因此，将低权重系数指定给被指定了低重要度的图像特征点，这样，低权重系数用于确定是否选择或删除图像特征点。
调整系数设置单元64根据拍摄图像中的权重系数的分布状态来计算用于改变权重单元63指定的权重系数的调整系数。基于图像拍摄情况信息指定给由特征点提取单元61提取出的图像特征点的重要度包括某些误差。因此，应当考虑一种可能性，即，被指定了高重要度的图像特征点是随机分布的。因而，当指定了高重要度的图像特征点分布不均匀时，换句话说，当被权重单元63指定了高权重系数的图像特征点分布不均匀时，调整系数设置单元64被用于减轻分布不均匀。当通过计算处理获取的图像特征点的散布度指示已指定了高权重系数的图像特征点的分布不均匀时，设置调整系数以提高已指定了高权重系数的图像特征点密度小的区域中的图像特征点的权重系数，并设置调整系数以减小已指定了高权重系数的图像特征点密度大的区域中的图像特征点的权重系数。特征点输出单元65基于权重单元63指定的权重系数以及优选使用的调整系数，通过对图像特征点执行处理，来输出每一拍摄图像的图像特征点群。
参照如图7A到图7F所示的示意性解释，将介绍使用上面描述的调整系数在拍摄图像的整个区域上尽可能广泛分布边缘点图像中的图像特征点的处理。通过从拍摄图像(图7A)中提取图像特征点(边缘点)来生成特征点图像(边缘检测图像)(图7B)。为边缘检测图像中的每一边缘点指定重要度。图7C以与边缘检测图像对应的重要度层的形式示出与边缘点对应的重要度，从而能够示意性地理解如何指定重要度。使用重要度层为每一边缘点指定权重系数。图7D以边缘检测图像的形式示出已指定了权重系数的边缘点，其中边缘检测图像中边缘点的尺寸随着边缘点权重系数的增大而增大。如果对边缘点执行处理，例如，删除被指定了等于阈值或小于阈值的权重系数的边缘点，即，例如，如果删除图7D中除了大尺寸边缘点之外的边缘点，则将位于边缘检测图像中下方区域中的边缘点去除(removed)。因此，保留的边缘点可能分布极不均匀。为了避免图像特征点数据中边缘点的分布不均，需计算边缘检测图像中边缘点的散布度(dispersion)，并设置调整系数，以提高由于对边缘点执行处理而造成保留边缘点密度低的区域中的边缘点的权重系数。为了能够从原理上理解以上面描述的方式设置的调整系数，图7E以与边缘检测图像对应的调整系数层的形式示出了调整系数群。在调整系数层中，调整系数以矩阵方式排列(即，调整系数被指定给由多个像素区组成的每一区)。特征点输出单元65使用权重系数对边缘点执行处理，并对基于调整系数最终设置的权重系数执行处理，从而为每一拍摄图像生成如图7F所示的边缘点图像。
如上面所描述的例子中，确定每一图像特征点的重要度，从而设置每一图像特征点的权重系数。然而，可以为每一图像特征点群执行处理。这种情况下，例如，可以将拍摄图像的区域分为多个图像区(section)，特征点重要度确定单元62可以将图像特征点分成图像特征点群，这样，每一图像特征点群包括处于相同图像区的图像特征点，并且可以对每一图像特征点群执行处理。这种情况下，特征点重要度确定单元62可以为包括在相同图像特征点群中的图像特征点指定相同的重要度。类似地，权重单元63可以为每一图像特征点群设置权重系数。这种情况下，图像区可以以这样的方式设置：即，使得每一图像区由包括在拍摄图像中的一个像素组成，或者每一图像区由多个像素组成。
共同特征点估计单元66使用由特征点输出单元65输出的基于拍摄图像的图像特征点群(边缘点图像中的边缘点群)，来生成作为图像特征点群的代表的共同图像特征点群。在该实施例中，共同特征点估计单元66通过从基于拍摄图像的图像特征点群中取出拍摄图像共有的图像特征点，来生成共同图像特征点群。在处理基于从小区域处理群中选择出的处理目标拍摄图像的图像特征点群时，选择出的处理目标拍摄图像中的图像特征点群被认为大体上彼此类似，因为小区域图像拍摄位置区域是一个小区域，选择出的处理目标拍摄图像中的图像拍摄位置的精度很高。在处理基于从大区域处理群中选择出的处理目标拍摄图像的图像特征点群时，尽管大图像拍摄位置区域比小图像拍摄位置区域要大，选择出的处理目标拍摄图像中的图像特征点群仍被认为彼此足够类似，因为选择出的处理目标拍摄图像的图像相似度很高。因此，有可能通过使用共同特征点估计单元66生成的共同图像特征点群来生成可信性高的参考数据。
图像特征点数据生成单元55基于处理目标拍摄图像生成图像特征点数据。在该实施例中，图像特征点数据生成单元55基于特征量计算单元60输出的共同图像特征点群来生成图像特征点数据。参考数据生成单元57通过将图像特征点数据生成单元55生成的图像特征点数据与代表图像拍摄位置计算单元56获取的代表图像拍摄位置相关联，来生成用于风景匹配的参考数据。
接下来，描述车载车辆导航***，其使用上面描述的图像处理***创建的参考数据DB92，通过执行风景图像识别(图像特征点图案匹配)来修正车辆位置。图8示出车辆导航***安装在车载局域网(LAN)中的例子的功能块。车辆导航***包括输入操作模块21、导航控制模块3、车辆位置检测模块4、图像拍摄情况信息生成单元7、以及包括上面描述的参考数据DB92和存储用于车辆导航的道路地图数据的道路地图数据库(在下文中，简称为“道路地图DB”)91的数据库9。
导航控制模块3包括路线设置单元31、路线搜索单元32、以及路线导引单元33。例如，路线设置单元31设置出发点(例如当前车辆位置)、已被输入的目的地、经过点、以及行驶条件(例如，是否用高速路的条件)。路线搜索单元32是基于路线设置单元31设置的条件来执行用于搜索从出发点到目的地的导引路线的计算处理的处理单元。路线导引单元33是执行用于根据从出发点到目的地的路线为驾驶者提供合适路线导引的计算处理的处理单元，其中从出发点到目的地的路线是由路线搜索单元32作为搜索结果而取出的。路线导引单元33使用显示在监视器12的屏幕上的导引、扬声器13输出的声音等来提供路线导引。
车辆位置检测模块4具有如下功能：即，修正通过使用GPS执行传统位置计算以及使用推算航法(dead reckoning navigation)执行传统位置计算而获取的估计车辆位置。车辆位置检测模块4基于通过使用估计车辆位置进行风景图像识别所确定的车辆位置来修正估计车辆位置。车辆位置检测模块4包括GPS处理单元41、推算航法处理单元42、车辆位置坐标计算单元43、地图匹配单元44、车辆位置确定单元45、拍摄图像处理单元5、以及风景匹配单元6。GPS处理单元41与从GPS卫星接收GPS信号的GPS测量单元15连接。GPS处理单元41分析由GPS测量单元15从GPS卫星接收到的信号，计算车辆当前位置(即，纬度和经度)，并将车辆当前位置发送给车辆位置坐标计算单元43作为GPS位置坐标数据。推算航法处理单元42与距离传感器16和方向传感器17连接。距离传感器16是检测车辆的速度和移动距离的传感器。例如，距离传感器16包括每一次当车辆的驱动轴、车轮等旋转特定量时输出脉冲信号的车辆速度脉冲传感器、检测车辆加速度的偏航速率(yaw rate)/加速度传感器、以及将检测到的加速度值积分(integrate)的电路。距离传感器16将作为检测结果的关于车辆速度的信息以及关于车辆移动方向的信息输出到推算航法处理单元42。例如，方向传感器17包括附着到方向盘(steering wheel)的旋转单元的陀螺仪传感器、地磁传感器、光学旋转传感器以及旋转式可变电阻，以及附加到车轮单元的角度传感器。方向传感器17将作为检测结果的关于方向的信息输出到推算航法处理单元42。推算航法处理单元42基于每一时刻发送给推算航法处理单元42的移动距离信息和移动方向信息来计算推算航法位置坐标，并将计算出的推算航法位置坐标发送给车辆位置坐标计算单元43作为推算航法位置坐标数据。车辆位置坐标计算单元43使用已知的方法，基于GPS位置坐标数据和推算航法位置坐标数据来执行计算处理，以确定车辆位置坐标。计算出的车辆位置信息包括测量误差等。因此，在某些情况下，计算出的车辆位置可能会偏离道路。因此，地图匹配单元44调整车辆位置信息，使车辆定位在道路地图所示的道路上。车辆位置坐标被发送到车辆位置确定单元45作为估计车辆位置。
拍摄图像处理单元5包括与如图6所示的特征量计算单元60和图像特征点数据生成单元55实质上相同的功能性单元。拍摄图像处理单元5对由车载照相机14获取的车辆前方的风景的拍摄图像执行处理，并根据上面描述的流程输出图像特征点数据。用于确定特征点(边缘点)的重要度的图像拍摄情况信息是由设置在车辆上的图像拍摄情况信息生成单元7生成的，并被发送给拍摄图像处理单元5。图像拍摄情况信息生成单元7与车载照相机14连接，以便生成上面描述的行驶车道数据DL，并且图像拍摄情况信息生成单元7接收与发送给拍摄图像处理单元5的拍摄图像相同的拍摄图像。行驶车道数据DL是使用已知算法通过对接收到的拍摄图像执行图像处理而创建的。图像拍摄情况信息生成单元7与用于检测障碍物的传感器群18连接，以便创建上面描述的移动目标数据DO。图像拍摄情况信息生成单元7基于传感器群18发送过来的传感器信息来创建移动目标数据DO。进一步地，图像拍摄情况信息生成单元7与车辆位置确定单元45和数据库9连接，以便创建上面描述的区域属性数据DA。图像拍摄情况信息生成单元7通过使用从车辆位置确定单元45发送过来的车辆位置坐标作为搜索条件搜索数据库9来获取车辆当前行驶区域的区域属性。区域属性的例子包括山区和市区。图像拍摄情况信息生成单元7基于获取的区域属性来创建区域属性数据DA。
风景匹配单元6使用基于车辆位置确定单元45发送过来的估计车辆位置从参考数据DB92提取出的参考数据作为图案，对拍摄图像处理单元5发送过来的图像特征点数据执行图案匹配处理。当参考数据与图像特征点数据与匹配时，取出与匹配的参考数据相关联的图像拍摄位置。将取出的图像拍摄位置发送给车辆位置确定单元45作为车辆位置。车辆位置确定单元45修正车辆位置，即，用发送过来的车辆位置来替换估计车辆位置。
车辆导航***还包括作为***设备的输入操作模块21、显示模块22、声音生成模块23、以及车辆行为检测模块24。输入操作模块21包括输入设备11(输入设备11包括接触面板和开关)，以及将操作输入通过输入设备11变换为适当的操作信号并将操作信号发送给车辆导航***的操作输入估计单元21a。显示模块22使监视器12显示车辆导航所必需的图像信息。声音生成模块23使扬声器13和蜂鸣器输出车辆导航所必需的声音信息。车辆行为检测模块24基于通过车载LAN发送过来的行为数据来检测车辆的各种行为，例如刹车行为、加速行为、以及车辆的转向行为。
这样，根据实施例的车辆导航***包括参考数据DB92、拍摄图像处理单元5和风景匹配单元6。根据实施例的车辆导航***是位置测量***，在该***中，使用由上面描述的风景匹配参考数据生成***生成的参考数据通过风景匹配处理来确定车辆位置。在位置测量***中，像上面描述的那样来使用风景匹配用到的数据。因此，能适当地确定车辆位置。
在实施例中，图像特征点数据是根据如上面描述的具有高图像相似度的多个拍摄图像生成的。因此，能生成包括可信图像的参考数据。然而，为了更精确地通过风景匹配确定车辆位置，图像特征点数据需要与更精确的图像拍摄位置相关联。这样，优选地，可计算处理目标拍摄图像的图像拍摄位置的代表图像拍摄位置，从而使计算出的代表图像拍摄位置定位在定义为沿着道路延伸方向延伸的路线上。通常来讲，图像拍摄位置用XY坐标值(例如经度和纬度)来表示。有可能图像拍摄位置包括由指示道路外的位置的XY坐标值表示的图像拍摄位置。这样，这种图像拍摄位置引起新的误差。相应地，能通过限制图像拍摄位置定位在路线上的范围来消除这种误差。
另一实施例
图9示出了根据另一实施例的风景匹配参考数据生成***的功能性块图，该***的配置不同于图3所示的风景匹配参考数据生成***。根据该实施例的功能性块图与图3所示的功能性块图的区别之处在于：根据该实施例，图像特征点数据生成目标提取单元540被加到功能性块图中。图像特征点生成目标提取单元540具有如下功能：即，从存储在临时存储单元52中作为图像拍摄位置包括在大图像拍摄位置区域的拍摄图像的拍摄图像中，提取出图像拍摄位置包括在包括由代表图像拍摄位置计算单元56计算出的代表图像拍摄位置的预定范围内的多个拍摄图像。即，再次执行选择，以便基于代表图像拍摄位置来选择处理目标数据集，其中所述代表图像拍摄位置是基于使用关于图像相似度的选择条件选择出的处理目标拍摄图像的图像拍摄位置而计算出的。通常来讲，选择出的图像相似度等于第一预定度或者大于第一预定度的拍摄图像被认为具有实质上相同的图像拍摄位置。然而，当拍摄图像是在车辆行驶在从车辆观察到的风景连续相似的道路上获取到的，或者是在车辆行驶在从车辆观察到的相似的风景重复的道路上获取到的时，在图像相似度等于或大于第一预定度的拍摄图像中存在图像拍摄位置彼此显著不同的拍摄图像。因此，具有高图像相似度的拍摄图像的图像特征点彼此之间可以稍微有差异。这种情况下，因为图像特征点数据生成目标提取单元540执行提取处理，并且特征量计算单元60基于作为执行提取处理的结果而提取出的多个拍摄图像来计算图像特征点数据，因此，能从图像特征点数据集中省略掉具有高图像相似度但是图像拍摄位置区别于其他拍摄图像的图像拍摄位置的拍摄图像。相应地，能从拍摄图像群(基于该拍摄图像群生成参考数据)中省略掉具有高图像相似度但是图像拍摄位置区别于其他拍摄图像的图像拍摄位置的拍摄图像。因此，能生成更可信的图像特征点数据。
在上面描述的实施例中，通过对多个处理目标拍摄图像的图像拍摄位置执行统计性处理来获取与参考数据相关联的代表图像拍摄位置。然而，根据设置处理群的方式不同，即，设置第一图像拍摄位置区域的尺寸和第二图像拍摄位置区域的尺寸的方式的不同，当设置处理群时，即，当设置小图像拍摄位置区域的尺寸和大图像拍摄位置区域的尺寸时，可以提前确定代表图像拍摄位置。可替代地，确定代表图像拍摄位置以后，可以设置小图像拍摄位置区域的尺寸和大图像拍摄位置区域的尺寸。
在上面描述的实施例中，在通过边缘检测处理作为图像特征点获取的边缘点之中，特别地，组成一条线段的线段边缘点、以及角边缘点(corner edge point)被当作有用的图像特征点。角边缘点(交叉处边缘点)对应于线段彼此交叉的交叉处，优选地，线段实质上彼此正交。然而，本发明用到的图像特征点不限于这种边缘点。可以使用有利于风景的图像特征点。例如，可以使用形成几何形状(例如圆形和矩形)的典型边缘点(当几何形状是圆形时，典型边缘点可以是在圆周上的三点)，或者可以使用几何形状的重心或者指示图像中几何形状的重心的点。另外，优选地可以采用边缘密度作为计算重要度的因子。例如，当线段由具有高密度的边缘组成时，相较于指定给除了起始点和结束点之外的其它边缘点的重要度，线段的起始点和结束点可以被当作图像特征点而被指定高重要度。另外，相较于指定给除了结束点之外的其它边缘点的重要度，特性几何形状中的特定点，例如，边缘点和指示对称目标中的中心的点可以被当作图像特征点而被指定高重要度。
进一步地，除了通过边缘检测处理获取的边缘点之外，拍摄图像中色调和/或色度剧烈变化的点可以被当作图像特征点。类似地，作为基于颜色信息的图像特征点，具有高色温的目标的边缘点可以被当作具有高重要度的图像特征点。
也就是说，在本发明中，只要图像特征点有利于确定参考数据和基于实际拍摄图像生成的图像特征点数据之间的相似度(例如，图案匹配)，任何图像特征点都可以使用。
在上面描述的实施例中，存储在参考数据DB92中的参考数据与图像拍摄位置(代表图像拍摄位置)相关联。除了图像拍摄位置和图像拍摄方向之外，参考数据还可以和图像拍摄方向(照相机的光轴的方向)、上面描述的图像拍摄情况信息、图像拍摄日期、图像拍摄时的天气等相关联。
图像拍摄位置需要由至少二维数据(例如包括经度和纬度的数据)来指示。图像拍摄位置可以由包括经度、纬度和海拔高度的三维数据来指示。
图像拍摄方向不一定必须和参考数据相关联。例如在如下情况中，确定当参考数据创建时图像是在车辆行驶的道路的方向拍摄的，该方向实质上与使用参考数据执行风景图像识别时拍摄图像的方向相同，则图像拍摄方向没必要与参考数据相关联。
在图像拍摄方向与参考数据相关联并且可以通过适当地从一基本图像拍摄方向改变图像拍摄方向来准备多个参考数据的情况下，可以基于从传感器等发送过来的信息来计算车辆的行驶方向，并且只有图像拍摄方向与车辆行驶方向一致的参考数据可以用作风景图像识别。
本发明中用到的最适合的车载照相机是在车辆行驶方向上拍摄车辆前方的风景图像的照相机。然而，车载照相机可以是拍摄车辆斜前方位置的风景图像的照相机，或者拍摄车辆侧面的风景图像的照相机，或者拍摄车辆后方的风景图像的照相机。也就是说，本发明用到的拍摄图像不限于车辆行驶方向前方的风景图像。
在用于描述上述实施例的功能性块图中，功能性单元彼此分开，这样易于理解。然而，本发明不限于功能性块图中所示的功能性单元彼此分开的情况。至少两个功能性单元可以自由地彼此组合，和/或一个功能性单元可以被进一步分割。
根据本发明的图像处理***不仅可以应用于车辆导航，而且可以应用于通过风景图像识别测量当前位置和当前方向的技术领域中。

Claims (6)

1.一种风景匹配参考数据生成***，包括：
数据输入单元，探测数据集被输入到所述数据输入单元，其中，所述探测数据集包括通过多个探测车顺次获取的拍摄图像和作为所述拍摄图像的图像拍摄位置的所述探测车的车辆位置，其中每个所述探测车具有计算车辆位置的功能；
临时存储单元，其中临时存储包括在所述探测数据集中的所述拍摄图像；
图像相似度估计单元，用于估计存储在所述临时存储单元中的拍摄图像的图像相似度，将所述图像相似度指定给所述拍摄图像；
处理目标数据选择单元，用于从存储在所述临时存储单元中的拍摄图像中选择图像相似度与预定度相同或图像相似度大于预定度的多个所述拍摄图像作为多个处理目标拍摄图像；
代表图像拍摄位置确定单元，用于确定代表图像拍摄位置，所述代表图像拍摄位置是所述多个处理目标拍摄图像的图像拍摄位置的代表；
图像特征点数据生成单元，用于基于所述多个处理目标拍摄图像生成图像特征点数据；以及
参考数据生成单元，用于通过将所述图像特征点数据与所述代表图像拍摄位置相关联，生成用于识别从车辆观察到的风景图像的风景匹配的参考数据。
2.根据权利要求1所述的风景匹配参考数据生成***，还包括：
图像特征点数据生成目标提取单元，用于从所述多个处理目标拍摄图像或者存储在所述临时存储单元中的拍摄图像中提取图像拍摄位置包括在包括所述代表图像拍摄位置的预定范围内的多个所述拍摄图像；其中，
所述图像特征点数据生成单元用于从由所述图像特征点数据生成目标提取单元所提取的多个所述拍摄图像生成所述图像特征点数据。
3.根据权利要求1所述的风景匹配参考数据生成***，其中，
所述代表图像拍摄位置确定单元用于通过对所述多个处理目标拍摄图像的图像拍摄位置执行统计处理来计算所述代表图像拍摄位置。
4.根据权利要求3所述的风景匹配参考数据生成***，其中，
所述代表图像拍摄位置确定单元用于计算所述代表图像拍摄位置，使得计算出的图像拍摄位置定位在定义为沿着道路延伸方向延伸的路线上。
5.根据权利要求3所述的风景匹配参考数据生成***，其中，
所述图像特征点数据生成单元用于提取共同图像特征点，并使用所提取的图像特征点生成所述图像特征点数据，其中所述共同图像特征点是所述多个处理目标拍摄图像的共同的图像特征点。
6.一种位置测量***，包括：
参考数据数据库，其中存储根据权利要求1的风景匹配参考数据生成***生成的参考数据；
拍摄图像处理单元，用于从通过拍摄从车辆观察到的风景的图像而获取的拍摄图像中提取图像特征点，使用所提取的图像特征点为每一拍摄图像生成图像特征点数据，并将生成的图像特征点数据输出作为用于匹配的数据；以及
风景匹配单元，用于执行从所述参考数据数据库中提取的所述参考数据与所述用于匹配的数据之间的匹配，并基于和所述用于匹配的数据相匹配的参考数据相关联的图像拍摄位置来确定所述车辆的位置。
CN201110071006.4A 2010-03-31 2011-03-21 风景匹配参考数据生成***及位置测量*** Expired - Fee Related CN102208012B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010084680A JP5062498B2 (ja) 2010-03-31 2010-03-31 風景マッチング用参照データ生成システム及び位置測位システム
JP2010-084680 2010-03-31

Publications (2)

Publication Number Publication Date
CN102208012A true CN102208012A (zh) 2011-10-05
CN102208012B CN102208012B (zh) 2015-12-16

Family

ID=44212223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110071006.4A Expired - Fee Related CN102208012B (zh) 2010-03-31 2011-03-21 风景匹配参考数据生成***及位置测量***

Country Status (4)

Country Link
US (1) US8428362B2 (zh)
EP (1) EP2372607A3 (zh)
JP (1) JP5062498B2 (zh)
CN (1) CN102208012B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102829788A (zh) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 一种实景导航方法和实景导航装置
CN103465908A (zh) * 2013-09-13 2013-12-25 广汽吉奥汽车有限公司 一种路面探测方法、装置及车辆
CN104657389A (zh) * 2013-11-22 2015-05-27 高德软件有限公司 定位方法、***及移动终端
CN104677361A (zh) * 2015-01-27 2015-06-03 福州华鹰重工机械有限公司 一种综合定位的方法
CN105653633A (zh) * 2015-12-25 2016-06-08 北京金山安全软件有限公司 一种图片景观信息的确定方法及装置
CN105812776A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于软镜的立体显示***及方法
CN105812772A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 医疗图像立体显示***及方法
CN106441276A (zh) * 2016-09-26 2017-02-22 维沃移动通信有限公司 运动轨迹生成方法及移动终端
CN106767754A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种导航信息的处理方法、终端及服务器
CN106896807A (zh) * 2015-12-17 2017-06-27 卡西欧计算机株式会社 自主移动装置以及自主移动方法
CN108020225A (zh) * 2016-10-28 2018-05-11 大辅科技（北京）有限公司 基于图像识别的地图***及导航方法
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
CN109388841A (zh) * 2017-08-11 2019-02-26 株式会社捷太格特 生产设备的数据处理装置
CN109522870A (zh) * 2018-12-03 2019-03-26 北京小马智行科技有限公司 一种车辆定位方法以及装置
CN109635639A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 交通标识的位置检测方法、装置、设备和存储介质
CN109886078A (zh) * 2018-12-29 2019-06-14 华为技术有限公司 目标对象的检索定位方法和装置
CN110876011A (zh) * 2018-08-30 2020-03-10 上海博泰悦臻电子设备制造有限公司 基于图像识别技术的行车拍摄方法及车辆
CN112507992A (zh) * 2021-02-04 2021-03-16 腾讯科技（深圳）有限公司 道路图像之间的拍摄距离确定方法、装置、设备及介质
US11450026B2 (en) 2017-12-27 2022-09-20 Sony Corporation Information processing apparatus, information processing method, and mobile object

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013529291A (ja) * 2010-04-09 2013-07-18 トムトム ノース アメリカ インコーポレイテッド 場所を表すデータからその場所を解決する方法
GB201202344D0 (en) * 2012-02-10 2012-03-28 Isis Innovation Method of locating a sensor and related apparatus
GB2501466A (en) 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
US8805123B2 (en) * 2012-10-09 2014-08-12 Samsung Electronics Co., Ltd. System and method for video recognition based on visual image matching
JP6045889B2 (ja) * 2012-11-27 2016-12-14 クラリオン株式会社 車載用制御装置
CN103438864B (zh) * 2013-08-07 2015-10-21 长江勘测规划设计研究有限责任公司 工程边坡实时数字地质编录***
CN103914600B (zh) * 2014-04-23 2017-07-18 北京市市政工程设计研究总院有限公司 一种基于透视图原理的道路线形相似度评价方法及装置
JP6751280B2 (ja) * 2016-02-22 2020-09-02 Ｎｅｃプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム
CN105711444B (zh) * 2016-03-30 2018-05-11 中车青岛四方机车车辆股份有限公司 一种轨道车辆蛇形失稳抑制***和方法
US10445576B2 (en) * 2016-09-23 2019-10-15 Cox Automotive, Inc. Automated vehicle recognition systems
WO2018064794A1 (en) * 2016-10-05 2018-04-12 Intel Corporation General purpose input/output data capture and neural cache system for autonomous machines
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
CN107290797B (zh) * 2017-06-23 2019-01-18 西北工业大学 一种基于群体感知的障碍物检测***及方法
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
CN107992839A (zh) * 2017-12-12 2018-05-04 北京小米移动软件有限公司 人物跟踪方法、装置及可读存储介质
US10580292B2 (en) * 2018-04-18 2020-03-03 Here Global B.V. Lane-level geometry and traffic information
US10482761B2 (en) * 2018-04-18 2019-11-19 Here Global B.V. Lane-level geometry and traffic information
CN110503123B (zh) * 2018-05-17 2023-07-25 奥迪股份公司 图像定位方法、装置、计算机设备和存储介质
JP6766843B2 (ja) * 2018-05-17 2020-10-14 株式会社Ｓｏｋｅｎ 自己位置推定装置
CN110688500B (zh) 2018-06-20 2021-09-14 华为技术有限公司 一种数据库构建方法、一种定位方法及其相关设备
US11094193B2 (en) * 2018-06-28 2021-08-17 Intel Corporation Real-time vehicle-based data gathering
CN110657812A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆定位方法、装置及车辆
JP6605176B1 (ja) * 2018-07-17 2019-11-13 三菱電機株式会社 交通情報生成システム
US11231283B2 (en) 2019-01-25 2022-01-25 Robert Bosch Gmbh Localization with neural network based image registration of sensor data and map data
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
JP7102383B2 (ja) * 2019-10-24 2022-07-19 株式会社東芝 路面画像管理システム及びその路面画像管理方法
CN111695489B (zh) * 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1530635A (zh) * 2003-03-14 2004-09-22 ���ǵ�����ʽ���� 导航***中检测可移动物***置的设备及其方法
US20060146136A1 (en) * 2004-12-21 2006-07-06 Seong-Ik Cho Apparatus for correcting position and attitude information of camera and method thereof
EP1686538A2 (en) * 2005-01-28 2006-08-02 Aisin Aw Co., Ltd. Vehicle position recognizing device and vehicle position recognizing method
WO2006080547A1 (en) * 2005-01-28 2006-08-03 Aisin Aw Co., Ltd. Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method
US20060228000A1 (en) * 2005-01-28 2006-10-12 Aisin Aw Co., Ltd. Image recognition apparatus and image recognition method
EP1975565A2 (en) * 2007-03-30 2008-10-01 Aisin AW Co., Ltd. Feature information collecting apparatus and feature information collecting method
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3131560B2 (ja) * 1996-02-26 2001-02-05 沖電気工業株式会社 動画像処理システムにおける動画像情報検出装置
JP2004077273A (ja) * 2002-08-19 2004-03-11 Sony Corp 位置移動支援方法および位置移動支援システム
JP4250619B2 (ja) * 2005-06-23 2009-04-08 株式会社東芝 代表画像抽出装置及びその方法
JP4847090B2 (ja) 2005-10-14 2011-12-28 クラリオン株式会社 位置測位装置、および位置測位方法
JP4930709B2 (ja) * 2007-03-27 2012-05-16 株式会社エクォス・リサーチ 情報配信サービスシステム及び情報配信車載装置
JP2009099033A (ja) * 2007-10-18 2009-05-07 Denso Corp 車両周辺画像撮影制御装置および車両周辺画像撮影制御装置に用いるプログラム
AU2007361004A1 (en) * 2007-11-16 2009-05-22 Tele Atlas B.V. Method of and apparatus for producing lane information
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8306269B2 (en) * 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device
US20110221901A1 (en) * 2010-03-11 2011-09-15 Gm Global Technology Operations, Inc. Adaptive Scene Rendering and V2X Video/Image Sharing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1530635A (zh) * 2003-03-14 2004-09-22 ���ǵ�����ʽ���� 导航***中检测可移动物***置的设备及其方法
US20060146136A1 (en) * 2004-12-21 2006-07-06 Seong-Ik Cho Apparatus for correcting position and attitude information of camera and method thereof
EP1686538A2 (en) * 2005-01-28 2006-08-02 Aisin Aw Co., Ltd. Vehicle position recognizing device and vehicle position recognizing method
WO2006080547A1 (en) * 2005-01-28 2006-08-03 Aisin Aw Co., Ltd. Image recognizing apparatus and method, and position determining apparatus, vehicle controlling apparatus and navigation apparatus using the image recognizing apparatus or method
CN1841023A (zh) * 2005-01-28 2006-10-04 爱信艾达株式会社 车辆位置识别装置及车辆位置识别方法
US20060228000A1 (en) * 2005-01-28 2006-10-12 Aisin Aw Co., Ltd. Image recognition apparatus and image recognition method
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备
EP1975565A2 (en) * 2007-03-30 2008-10-01 Aisin AW Co., Ltd. Feature information collecting apparatus and feature information collecting method
US20090245657A1 (en) * 2008-04-01 2009-10-01 Masamichi Osugi Image search apparatus and image processing apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HARLAN HILE等: "Landmark-Based Pedestrian Navigation from Collections of Geotagged Photos", 《MOBILE AND UBIQUITOUS MULTIMEDIA》 *
冷雪飞等: "基于分支特征点的导航实时图像匹配算法", 《自动化学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102829788A (zh) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 一种实景导航方法和实景导航装置
CN103465908B (zh) * 2013-09-13 2017-02-08 广汽吉奥汽车有限公司 一种路面探测方法、装置及车辆
CN103465908A (zh) * 2013-09-13 2013-12-25 广汽吉奥汽车有限公司 一种路面探测方法、装置及车辆
CN104657389A (zh) * 2013-11-22 2015-05-27 高德软件有限公司 定位方法、***及移动终端
CN105812772B (zh) * 2014-12-29 2019-06-18 深圳超多维科技有限公司 医疗图像立体显示***及方法
CN105812776A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于软镜的立体显示***及方法
CN105812772A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 医疗图像立体显示***及方法
CN104677361A (zh) * 2015-01-27 2015-06-03 福州华鹰重工机械有限公司 一种综合定位的方法
CN106896807B (zh) * 2015-12-17 2020-02-28 卡西欧计算机株式会社 自主移动装置、自主移动方法以及记录介质
CN106896807A (zh) * 2015-12-17 2017-06-27 卡西欧计算机株式会社 自主移动装置以及自主移动方法
WO2017107361A1 (zh) * 2015-12-25 2017-06-29 北京金山安全软件有限公司 图片景观信息的确定方法及装置
CN105653633A (zh) * 2015-12-25 2016-06-08 北京金山安全软件有限公司 一种图片景观信息的确定方法及装置
CN105653633B (zh) * 2015-12-25 2018-06-05 北京金山安全软件有限公司 一种图片景观信息的确定方法及装置
CN106441276A (zh) * 2016-09-26 2017-02-22 维沃移动通信有限公司 运动轨迹生成方法及移动终端
CN106441276B (zh) * 2016-09-26 2019-10-15 维沃移动通信有限公司 运动轨迹生成方法及移动终端
CN108020225A (zh) * 2016-10-28 2018-05-11 大辅科技（北京）有限公司 基于图像识别的地图***及导航方法
CN106767754A (zh) * 2016-11-30 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种导航信息的处理方法、终端及服务器
CN109388841A (zh) * 2017-08-11 2019-02-26 株式会社捷太格特 生产设备的数据处理装置
US11450026B2 (en) 2017-12-27 2022-09-20 Sony Corporation Information processing apparatus, information processing method, and mobile object
CN109241979A (zh) * 2018-08-24 2019-01-18 武汉光庭信息技术股份有限公司 一种基于高速视觉特征点匹配的车辆相对位置推测方法
CN110876011A (zh) * 2018-08-30 2020-03-10 上海博泰悦臻电子设备制造有限公司 基于图像识别技术的行车拍摄方法及车辆
CN110876011B (zh) * 2018-08-30 2023-05-26 博泰车联网科技(上海)股份有限公司 基于图像识别技术的行车拍摄方法及车辆
CN109635639A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 交通标识的位置检测方法、装置、设备和存储介质
CN109522870A (zh) * 2018-12-03 2019-03-26 北京小马智行科技有限公司 一种车辆定位方法以及装置
CN109886078A (zh) * 2018-12-29 2019-06-14 华为技术有限公司 目标对象的检索定位方法和装置
CN109886078B (zh) * 2018-12-29 2022-02-18 华为技术有限公司 目标对象的检索定位方法和装置
CN112507992A (zh) * 2021-02-04 2021-03-16 腾讯科技（深圳）有限公司 道路图像之间的拍摄距离确定方法、装置、设备及介质

Also Published As

Publication number Publication date
EP2372607A2 (en) 2011-10-05
US20110243457A1 (en) 2011-10-06
JP2011215057A (ja) 2011-10-27
EP2372607A3 (en) 2012-09-26
JP5062498B2 (ja) 2012-10-31
CN102208012B (zh) 2015-12-16
US8428362B2 (en) 2013-04-23

Similar Documents

Publication Publication Date Title
CN102208012A (zh) 风景匹配参考数据生成***及位置测量***
CN102208013B (zh) 风景匹配参考数据生成***和位置测量***
EP2372308B1 (en) Image processing system and vehicle control system
CN102208035B (zh) 图像处理***及位置测量***
JP5168601B2 (ja) 自車位置認識システム
CN102208036B (zh) 车辆位置检测***
EP2372310B1 (en) Image processing system and position measurement system
JP5162849B2 (ja) 不動点位置記録装置
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP5182594B2 (ja) 画像処理システム
JP5177579B2 (ja) 画像処理システム及び位置測位システム
CN115107778A (zh) 地图生成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20200321

CF01 Termination of patent right due to non-payment of annual fee