CN113316706A - 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质 - Google Patents

路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质 Download PDF

Info

Publication number
CN113316706A
CN113316706A CN201980089535.1A CN201980089535A CN113316706A CN 113316706 A CN113316706 A CN 113316706A CN 201980089535 A CN201980089535 A CN 201980089535A CN 113316706 A CN113316706 A CN 113316706A
Authority
CN
China
Prior art keywords
landmark
type
image
vehicle
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980089535.1A
Other languages
English (en)
Inventor
李性洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN113316706A publication Critical patent/CN113316706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了由路标位置估计设备执行的路标位置估计方法，该方法包括：用于在由车辆的图像捕获装置捕获并且包括沿着行驶路线的各种路标的图像中的路标中识别第一类型路标和第二类型路标的步骤；用于基于其中已经识别了第一类型路标的多个图像和包括车辆已经行驶的区域的数字地图来估计第一类型路标的三维位置的步骤；以及用于估计第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置的步骤。

Description

路标位置估计设备和方法以及存储被编程为执行该方法的计 算机程序的计算机可读记录介质
技术领域
本公开内容涉及用于估计驾驶路线上各种路标的位置的设备、其方法以及存储被编程为执行该方法的计算机程序的计算机可读存储介质。作为参考，本申请要求于2019年1月28日提交的韩国专利申请第10-2019-0010528号的优先权。优先权所基于的申请的全部内容通过引用结合到本文中。
背景技术
一般来说，车辆是指使用化石燃料、电力等作为动力源在道路或轨道上驾驶的运输机械。
根据技术的发展，车辆已经被开发为向驾驶员提供各种功能。特别地，根据车辆电气化的趋势，具有车辆导航装备的车辆已经广泛普及。车辆导航装备可以以嵌入在车辆中的形式来提供，或者可以以单独产品的形式安装在车辆上。
另外，车辆导航装备可以以应用程序的形式安装在诸如具有高级计算功能的智能手机的各种信息处理装置中。
车辆导航装备的主要功能包括：在数字地图上显示到目的地的路线，通过语音提供路线信息，在数字地图上显示用于安全驾驶的各种信息，或者通过语音提供各种信息。例如，用于安全驾驶的信息包括关于驾驶路线的弯曲度的指导、关于根据《交通法》的限速的指导以及关于限速执法的位置的指导。在关于限速执法的位置的指导的情况下，车辆导航装备通过预先提供关于超速摄像机的安装位置或者点对点速度执法的位置的信息以使得驾驶员能够识别它，来降低由驾驶速度的突然变化引起的事故的风险。
另一方面，超速摄像机是用于捕获以超速的速度行驶的车辆的装备，并且具有通过诱导驾驶员不要超速来降低事故风险的效果。超速摄像机通常安装在这样的结构上：该结构安装在车辆的驾驶路线例如道路上。
然而，由于这样的超速摄像机的购买和操作费用昂贵，因此改变安装位置而不是增加道路上的安装数量，以提高超速防止效果。
因此，为了使车辆导航装备能够准确地提供用于安全驾驶的包括关于限速执法的位置的指导的信息，有必要始终将关于限速执法的位置(包括超速摄像机的安装位置)的信息保持在最新。
发明内容
作为降低将关于车辆驾驶路线上的限速执法的位置的信息保持在最新的维护成本的努力以及提高关于超速摄像机的安装位置的信息的可靠性的努力的一部分，可以考虑将图像捕获与通过图像分析的机器学习方法相结合的方法。可以通过使用安装在车辆上的图像捕获装置来获得包括超速摄像机的图像，并且然后可以通过使用通过图像分析的机器学习方法来识别图像上的超速摄像机，从而估计包括超速摄像机的图像被捕获的位置作为超速摄像机的安装位置。
然而，与诸如限速标志或超速警告标志的交通标志不同，超速摄像机具有低的图像识别度，因此通过图像分析的机器学习方法可能无法可靠地识别图像内的超速摄像机，因此可能无法保证关于超速摄像机的安装位置的信息的可靠性。
根据本公开内容的第一方面，提供了一种由路标位置估计设备执行的路标位置估计方法。该方法包括：从由车辆的图像捕获装置捕获的图像中识别第一类型路标和第二类型路标，该图像包括驾驶路线上的各种路标；基于在其上识别第一类型路标的多个图像和包括车辆的驾驶区域的数字地图来估计所识别的第一类型路标的三维位置；以及估计所识别的第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置。
根据本公开内容的第二方面，提供了一种存储计算机程序的非暂态计算机可读存储介质，其中，该计算机程序包括指令，该指令在由处理器执行时使得处理器执行路标位置估计方法。
根据本公开内容的第三方面，提供了一种路标位置估计设备。路标位置估计设备包括：图像处理单元，被配置成从由车辆的图像捕获装置捕获的图像中识别第一类型路标和第二类型路标，该图像包括驾驶路线上的各种路标；存储单元，被配置成存储包括车辆的驾驶区域的数字地图；以及控制单元，被配置成基于在其上识别第一类型路标的多个图像和数字地图来估计所识别的第一类型路标的三维位置，并且估计所识别的第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置。
根据实施方式，提供了用于可靠地估计安装在车辆驾驶路线上的路标(例如超速摄像机)的位置的设备和方法，以及存储被编程为执行路标位置估计方法的计算机程序的计算机可读存储介质。
根据实施方式，首先，估计在车辆驾驶期间捕获的图像中包括的各种路标中具有相对高的图像识别度的路标的三维位置。此后，基于估计的三维位置来估计具有相对低的图像识别度的路标的位置。例如，当估计驾驶路线上的路标中的超速摄像机的位置时，可以预先估计诸如包括数字的限速标志或包括字母的超速警告标志的交通标志的三维位置，所述交通标志安装在安装有该超速摄像机的同一结构上。此后，可以基于交通标志的三维位置来估计超速摄像机的位置。
因此，可以快速估计具有相对低的图像识别度的路标的位置信息，并且估计的位置信息的可靠性可以被提高得与具有相对高的图像识别度的路标的估计的位置信息的可靠性一样高。
如果本公开内容的实施方式用于将车辆导航装备上的关于车辆驾驶路线上的限速执法的位置的信息保持在最新状态的目的，则可以降低维护成本，并且可以提高关于超速摄像机的安装位置的信息的可靠性。
附图说明
图1示出了示出根据本公开内容的实施方式的路标位置估计***的配置的图。
图2示出了示出根据本公开内容的另一实施方式的路标位置估计***的配置的图。
图3示出了示出根据本公开内容的实施方式的路标位置估计方法的流程图。
图4示出了安装在车辆驾驶路线上的第一类型路标和第二类型路标的图。
图5示出了示出根据本公开内容的实施方式的估计第一类型路标的三维位置的方法的流程图。
图6示出了示出根据本公开内容的实施方式的车辆和图像捕获装置各自的坐标系的图。
图7示出了示出根据本公开内容的实施方式的获取图像捕获装置的初始位置信息的方法的流程图。
图8示出了示出根据本公开内容的实施方式的路标匹配方法的图。
图9示出了示出根据本公开内容的实施方式的基于图像捕获装置的初始位置信息来获取图像捕获装置的位置信息的方法的流程图。
图10示出了示出根据本公开内容的实施方式的通过使用两幅图像来估计第一类型路标的三维位置的方法的图。
图11示出了示出根据本公开内容的实施方式的第一类型路标的估计三维位置的准确度的图。
图12示出了示出根据本公开内容的实施方式的估计第二类型路标的位置的方法的流程图。
图13示出了示出根据本公开内容的实施方式的估计第二类型路标的三维位置的原理的图。
图14示出了示出根据本公开内容的实施方式的估计第二类型路标的三维位置的原理的图。
图15示出了示出根据本公开内容的实施方式的估计第二类型路标的三维位置的原理的图。
图16示出了示出根据本公开内容的另一实施方式的路标位置估计方法的流程图。
图17示出了示出根据本公开内容的另一实施方式的通过路标位置估计方法来估计第二类型路标的三维位置的原理的图。
具体实施方式
根据结合附图进行的以下描述，将清楚地理解实施方式的优点和特征以及实现这些优点和特征的方法。然而，实施方式不限于所描述的那些实施方式，因为实施方式可以以各种形式来实现。应当注意，提供本实施方式是为了进行全面公开，并且也是为了使本领域技术人员了解实施方式的全部范围。因此，仅由所附权利要求的范围限定实施方式。
在描述本公开内容的实施方式时，如果确定相关已知部件或功能的详细描述不必要地模糊了本公开内容的主旨，则将省略其详细描述。此外，下面要描述的术语是考虑本公开内容的实施方式的功能而定义的，并且可以根据用户或操作者的意图或实践而变化。因此，可以基于整个说明书的内容对其做出定义。
在下文中，将参照图1至图16描述根据本公开内容的实施方式的路标位置估计设备和路标位置估计方法。
图1示出了示出根据本公开内容的实施方式的路标位置估计***的配置的图，以及图2示出了示出根据本公开内容的另一实施方式的路标位置估计***的配置的图。
在根据实施方式的路标位置估计***中，如图1所示，路标位置估计设备100可以安装在车辆V上，并且可以与安装在车辆V上的图像捕获装置10和车辆导航装备20配合工作。图像捕获装置10、车辆导航装备20和路标位置估计设备100中的一个或更多个可以一体地实现。
在根据另一实施方式的路标位置估计***中，如图2所示，图像捕获装置10和车辆导航装备20可以安装在车辆V上，并且支持图像捕获装置10和车辆导航装备20与路标位置估计设备200配合工作的车辆终端设备100a可以安装在车辆V上。图像捕获装置10、车辆导航装备20和车辆终端设备100a中的一个或更多个可以一体地实现。例如，车辆终端设备100a可以包括诸如微处理器的计算装置。虽然在图2中示出了一个车辆V，但是可以存在多个车辆V，图像捕获装置10、车辆导航装备20和车辆终端设备100a安装在这些车辆V上，并且路标位置估计设备200可以执行与安装在多个车辆V上的多个车辆终端设备100a配合工作的通信。
车辆V可以指示能够在沿着道路或轨道驾驶时将人、物体或动物从一个位置移动到另一位置的运输工具。根据实施方式的车辆V可以包括具有三个车轮的车辆或具有四个车轮的车辆、具有两个车轮的车辆例如摩托车、建筑机械、电动自行车、自行车以及在轨道上行进的火车。
安装在车辆V上的图像捕获装置10或车辆导航装备20可以包括全球定位***(GPS)模块，并且因此可以通过GPS模块从GPS卫星接收GPS信号，并且可以基于所接收的GPS信号获得位置信息。
图像捕获装置10可以是信息处理装置例如包括摄像机的智能手机或用于车辆的包括摄像机的仪表板摄像机。可替选地，图像捕获装置10可以是安装在车辆V上用于路标位置估计设备100或200的专用摄像机。在图像捕获装置10中，可以提供多个摄像机以面向车辆V的前部、侧面和/或后部，并且多个摄像机可以在各自相应的方向上捕获图像。捕获的图像可以用作用于通过图像处理过程获得关于各种路标例如交通车道和交通标志以及车辆V周围的对象的信息的基础。
包括车辆V的驾驶区域的数字地图可以预先存储在车辆导航装备20中，并且车辆导航装备20可以基于数字地图和GPS信号提供导航服务，例如，根据车辆V的行驶的路线信息或用于安全驾驶的各种信息。本文中，数字地图可以指示这样的地图：针对对车辆V的安全和精确控制，具有高准确度，并且包括关于驾驶路线的高度、坡度、曲率等以及平面位置的信息。另外，数字地图可以指示还包括关于道路上的各种路标的信息(例如，路标标识符等)的地图，所述各种路标例如交通车道、交通标志、超速摄像机、交通灯和护栏。
参照图1，路标位置估计设备100可以包括图像处理单元110、存储单元120、通信单元130和控制单元140，以便估计车辆V的驾驶路线上的各种路标的位置。
路标位置估计设备100的图像处理单元110可以从由车辆V的图像捕获装置10捕获的图像中识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标。例如，第一类型路标可以是诸如超速警告标志的包括字母的交通标志或诸如限速标志的包括数字的交通标志，以及第二类型路标可以是不包括任何字母或任何数字的超速摄像机。
包括车辆V的驾驶区域的数字地图可以预先存储在路标位置估计设备100的存储单元120中。数字地图可以指示包括关于驾驶路线的高度、坡度、曲率等以及平面位置的信息的地图。另外，数字地图可以指示还包括关于各种路标的信息(例如，路标标识符等)的地图，所述各种路标例如交通车道、交通标志、超速摄像机、交通灯和护栏。存储单元120可以存储使处理器执行根据各种实施方式的路标位置估计方法的计算机程序。例如，存储单元120可以指示计算机可读介质(例如，诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如软式光盘的磁光介质)以及专门被配置成存储和执行程序命令的硬件装置(例如闪存)。
路标位置估计设备100的通信单元130可以通过在控制单元140的控制下通过各种公知的通信方法与图像捕获装置10和车辆导航装备20进行通信来发送和接收信息。通信单元130可以通过有线信道或无线信道与图像捕获装置10和车辆导航装备20进行通信。例如，通信单元130可以通过采用公知的通信方法来执行通信，所述通信方法例如近场通信(NFC)、无线LAN、Wi-Fi、蓝牙、紫蜂(Zigbee)、Wi-Fi直接(WFD)、超宽带(UWB)、红外数据协会(IrDA)、蓝牙低能量(BLE)、码分多址(CDMA)、全球移动通信***(GSM)、宽带CDMA(W-CDMA)和长期演进(LTE)等。通信单元130的通信方法不限于上述实施方式。
路标位置估计设备100的控制单元140可以基于存储在存储单元120中的数字地图和由图像捕获装置10捕获的多个图像来估计路标中的第一类型路标的三维位置，并且然后可以估计路标中的第二类型路标在包括第一类型路标的三维位置的虚拟平面上的位置。控制单元140可以控制图像处理单元110、存储单元120和通信单元130，并且可以执行根据本公开内容的各种实施方式的路标位置估计方法，这将在下面参照图3、图5、图7、图9和图12进行描述。例如，控制单元140可以包括诸如微处理器的计算装置。
参照图2，路标位置估计设备200可以包括通信单元210、收集单元220、存储单元230和控制单元240，以便估计车辆V的驾驶路线上的各种路标的位置。
路标位置估计设备200的通信单元210可以通过在控制单元240的控制下通过各种公知的通信方法与车辆终端设备100a执行通信来发送和接收信息。通信单元210可以通过有线信道或无线信道与车辆终端设备100a进行通信。例如，通信单元210可以通过采用公知的通信方法来执行通信，所述通信方法例如NFC、无线LAN、Wi-Fi、蓝牙、紫蜂(Zigbee)、WFD、UWB、IrDA、BLE、CDMA、GSM、W-CDMA、LTE等。通信单元210的通信方法不限于上述实施方式。
路标位置估计设备200的收集单元220可以在控制单元240的控制下通过通信单元210从多个车辆V的车辆终端设备100a收集各种数据，并且可以向控制单元240提供各种数据。例如，从收集单元220提供给控制单元240的各种数据不仅可以包括由图像捕获装置10捕获的图像，还可以包括车辆导航装备20的GPS信号或车辆V的位置信息。可替选地，由收集单元220提供给控制单元240的各种数据可以包括由车辆终端设备100a针对根据另一实施方式的路标位置估计方法计算的数据。例如，收集单元220可以包括诸如微处理器的计算装置。
包括多个车辆V的驾驶区域的数字地图可以预先存储在路标位置估计设备200的存储单元230中。数字地图可以指示包括关于驾驶路线的高度、坡度、曲率等以及平面位置的信息的地图。另外，数字地图可以指示还包括关于各种路标的信息(例如，路标标识符等)的地图，所述各种路标例如交通车道、交通标志、超速摄像机、交通灯和护栏。存储单元230可以存储使处理器执行根据各种实施方式的路标位置估计方法的计算机程序。例如，存储单元230可以指示计算机可读介质(例如，诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如软式光盘的磁光介质)以及专门被配置成存储和执行程序命令的硬件装置(例如闪存)。
路标位置估计设备200的控制单元240在由安装在多个车辆V中的每一个车辆上的图像捕获装置10捕获的图像上识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标。另外，控制单元240基于包括多个车辆V的驾驶区域的数字地图和由安装在多个车辆V上的图像捕获装置10捕获的图像来估计第一类型路标的三维位置。此外，控制单元140可以基于——根据由安装在多个车辆V上的图像捕获装置10捕获的图像分别估计的——第一类型路标的三维位置来确定第一类型路标的最终三维位置。此外，控制单元240获得包括第一类型路标的最终三维位置的虚拟平面与三维方向向量的交点作为候选组，所述三维方向向量从安装在多个车辆V上的每个图像捕获装置10的坐标系的原点经过由图像捕获装置10的每一个捕获的图像上被识别为第二类型路标的坐标。另外，控制单元240可以基于获得的候选组来确定第二类型路标的最终位置。对于这些各种操作，控制单元240可以包括诸如微处理器的计算装置。例如，第一类型路标可以是诸如超速警告标志的包括字母的交通标志或诸如限速标志的包括数字的交通标志，以及第二类型路标可以是不包括任何字母或任何数字的超速摄像机。
控制单元240可以控制通信单元210、收集单元220和存储单元230，并且可以执行根据本公开内容的各种实施方式的路标位置估计方法，这将在下面参照图3、图5、图7、图9、图12和图15进行描述。
另外，车辆终端设备100a可以通过执行由路标位置估计设备100执行的任务以及支持路标位置估计设备200与图像捕获装置10和车辆导航装备20配合工作的功能来分担路标位置估计设备200的任务。例如，车辆终端设备100a可以在由安装有车辆终端设备100a的车辆V的图像捕获装置10捕获的图像上识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标。此外，车辆终端设备100a可以基于预先存储的数字地图和由图像捕获装置10捕获的多个图像来估计路标中的第一类型路标的三维位置。此外，车辆终端设备100a可以向路标位置估计设备200发送关于第一类型路标的估计三维位置的信息。
首先，将参照图1至图15描述根据实施方式的可以由路标位置估计设备100或200执行的路标位置估计方法。
参照图3，车辆V的图像捕获装置10捕获包括车辆V的驾驶路线上的各种路标的图像，并且将捕获的图像发送至路标位置估计设备100或200。然后，在步骤S310中，路标位置估计设备100或200识别由图像捕获装置10捕获的图像上包括的路标中的第一类型路标和第二类型路标。例如，路标位置估计设备100或200可以通过使用公知的通过图像分析的机器学习方法来识别第一类型路标和第二类型路标。
参照图4，诸如限速标志的包括数字的交通标志401、诸如超速警告标志的包括字母的交通标志402以及不包括任何字母或任何数字的超速摄像机403可以一起安装在车辆V的驾驶路线上的单个结构上。在这些路标中，具有由其中的数字或字母引起的相对高的图像识别度的路标可以被分类为第一类型路标，以及不包括任何数字或任何字母的具有相对低的图像识别度的路标可以被分类为第二类型路标。
返回参照图3，路标位置估计设备100或200可以预先学习第一类型路标的图像特征信息和第二类型路标的图像特征信息。此后，路标位置估计设备100或200可以通过基于所学习的图像特征信息分析由图像捕获装置10捕获的图像来在图像上识别存在第一类型路标的像素或坐标和存在第二类型路标的像素或坐标。此时，在识别与第一类型路标相比具有相对低的图像识别度的第二类型路标时或者在识别第二类型路标的像素或坐标时可能出现识别误差。然而，由于第二类型路标的位置是基于第一类型路标的三维位置以高可靠性估计的，因此尽管出现了识别误差，但是识别误差可能不会影响第二类型路标的位置的估计。
此后，在步骤S320中，路标位置估计设备100或200通过使用在其上捕获相同的第一类型路标的多个图像来估计第一类型路标的三维位置。
图5中详细示出了其中路标位置估计设备100或200通过步骤S320估计第一类型路标的三维位置的实施方式。
参照图5，在步骤S510中，路标位置估计设备100或200确定多个图像中的每一个图像被图像捕获装置10捕获的每个位置。换句话说，分别确定捕获每个图像的图像捕获装置10的位置。例如，当图像捕获装置10捕获图像时，路标位置估计设备100或200可以通过车辆导航装备20确定位置信息作为图像捕获装置10的位置。然而，由于车辆导航装备20和图像捕获装置10可能彼此相距较远，因此可能要更准确地确定图像捕获装置10的位置。
将参照图6至图9描述路标位置估计设备100或200确定图像捕获装置10的位置的过程。
图6示出了示出根据实施方式的车辆V和图像捕获装置10各自的坐标系的图，更具体地，示出了车辆V的车辆坐标系和安装在车辆V上的摄像机C的摄像机坐标系。车辆V可以具有包括以下的车辆坐标系：作为原点的OV、车辆V的驾驶方向上的XV轴、垂直于地面的ZV轴以及垂直于XV轴和ZV轴的YV轴。另一方面，安装在车辆V上的摄像机C可以具有包括以下的摄像机坐标系：作为原点的OC以及根据安装位置和姿态角确定的XC轴、YC轴和ZC轴。为了组合关于不同坐标系的两条信息，可以执行被称为摄像机校准(calibration)的坐标系的统一。
为此，可以在车辆V被驾驶之前执行摄像机校准。具体地，可以通过使用安装在车辆V上的摄像机C来获得用于校正的识别模式图像，并且可以通过使用所获得的识别模式图像来手动获得摄像机C安装的姿态角和安装位置。作为另一示例，当驾驶车辆V时，可以通过摄像机C识别交通车道，并且可以通过基于所识别的交通车道识别消失点的位置来获得摄像机C的姿态角。
路标位置估计设备100或200可以通过将摄像机C捕获的图像与数字地图上的路标进行匹配来估计摄像机C的位置信息。由于图像与数字地图的匹配，可以使用摄像机C的准确位置信息。然而，由于车辆V的车辆坐标系和摄像机C的摄像机坐标系可能如上所述不同地设置，因此可能要执行坐标系的转换。另外，由于在高层建筑密集集中的区域中车辆V的基于GPS的初始位置信息可能不准确，因此可能要在估计摄像机C的位置之前执行摄像机C的摄像机校准。
图7示出了示出根据实施方式的获取摄像机C的初始位置信息的方法的流程图，以及图8示出了示出根据实施方式的路标匹配方法的图。
参照图7，在步骤S610中，可以获得车辆V的基于GPS信息的初始位置信息，并且可以基于所获得的车辆V的初始位置信息获得摄像机C的初始位置。
路标位置估计设备100或200可以基于车辆V的初始位置重复获得指示车辆V的驾驶方向的XV轴，以及由数字地图上的交通车道确定的地面的竖直方向上的ZV轴。此后，路标位置估计设备100或200可以通过执行XV轴和ZV轴的叉积来获得YV轴。此外，考虑到由于基于GPS信息的车辆V的初始位置中固有的误差，获得的XV轴和获得的YV轴可能彼此不垂直的可能性，可能要通过执行YV轴和ZV轴的叉积来校正XV轴。
通过以上描述，路标位置估计设备100或200可以获得指示摄像机C的初始位置的三维坐标和指示摄像机C的初始姿态角的三维坐标系的轴。
此后，在步骤S620中，路标位置估计设备100或200可以基于车辆V的初始位置信息来在数字地图上确定第一感兴趣区域。具体地，路标位置估计设备100或200可以将围绕车辆V的初始位置信息的第一半径内的区域确定为第一感兴趣区域。例如，第一半径可以是若干米或更小。
当确定第一感兴趣区域时，在步骤S630中，路标位置估计设备100或200可以通过将存在于第一感兴趣区域上的针对交通车道的第一类型路标匹配到由摄像机C捕获的图像上来获得摄像机C的初始姿态角。具体地，路标位置估计设备100或200可以根据等式1获得针对摄像机C的初始姿态角的旋转矩阵R。
[等式1]
Figure BDA0003168974360000111
本文中，等式1的解S*可以指示初始位置信息，该初始位置信息包括针对摄像机C的初始姿态角的旋转矩阵R和针对摄像机C的初始位置的转换矩阵T。Zk可以指示从图像中检测到的交通车道的坐标。Pk可以指示数字地图上对应于Zk的路标的坐标。CZk和CPk可以分别指示表示针对Zk和Pk的误差的协方差。H可以指示函数h()的偏导数(该偏导数是雅可比矩阵)。另外，函数h()可以指示将数字地图上的路标的坐标投影到图像上的函数，其可以根据等式2来定义。
[等式2]
h(T，R，P)＝K(R×P+T)
本文中，T可以指示针对摄像机C的初始位置的转换矩阵，R可以指示针对摄像机C的初始姿态角的旋转矩阵。P可以指示数字地图上的路标的坐标。K可以指示摄像机C的用于将基于摄像机坐标系的坐标投影到由摄像机C捕获的图像上的内在参数矩阵。
为了获得等式1的解S*，路标位置估计设备100或200可以选择至少一种公知的算法，例如高斯牛顿算法或莱文伯格-马夸特算法。
图8示出了示出二维空间上包括特征点PI1、PI2和PI3的点云集合LI和包括特征点PM1、PM2、PM3、PM11、PM12和PM13的点云集合LM的图。使用虚线的区域可以指示内部特征点的协方差。
参照图8，在一个方向上延伸的路标(例如交通车道)的点云集合的特征点的协方差可以是在延伸方向上形成的椭圆形。基于以上描述，路标位置估计设备100或200可以通过——使用彼此最接近的特征点作为对应关系来重复计算等式1的解——来将第一类型路标匹配到图像上。图8中由粗虚线连接的特征点可以表示相互的对应关系。
当计算等式1以便将针对在一个方向上延伸的交通车道的第一类型路标匹配到图像上时，在交通车道延伸的纵向方向上误差可能较大，而在横向方向上误差可能较小。结果，针对摄像机C的初始姿态角的旋转矩阵R可以具有可靠的准确度。
另一方面，与旋转矩阵R相比，针对摄像机C的初始位置的转换矩阵T可能不准确。因此，路标位置估计设备100或200可以通过将除交通车道之外的第二路标匹配到图像上来获得针对摄像机C的初始位置的转换矩阵T。具体地，在步骤S640中，路标位置估计设备100或200可以基于车辆V的初始位置信息在数字地图上确定第二感兴趣区域。具体地，路标位置估计设备100或200可以将车辆V的初始位置信息周围的等于或大于第一半径的第二半径内的区域确定为第二感兴趣区域。可以获得摄像机C的初始位置信息中的初始姿态角，以便通过使用更宽范围内的路标来准确地获得摄像机C的初始位置。本文中，第二半径可以是几百米或更小。
此后，在步骤S650中，路标位置估计设备100或200可以通过基于摄像机C的初始姿态角将除了存在于第二感兴趣区域上的交通车道之外的第二路标匹配到图像上来获得摄像机C的初始位置。具体地，路标位置估计设备100或200可以通过将先前获得的针对摄像机C的初始姿态角的旋转矩阵R输入到等式1中来计算以获得针对摄像机C的初始位置的转换矩阵T。
此时，可以获得与针对单个摄像机C的初始姿态角的旋转矩阵R相对应的针对多个摄像机C的初始位置的转换矩阵T。
包括所获得的摄像机C的初始位置和初始姿态角的初始位置信息可以用作用于估计摄像机C的位置信息的输入值，其将被描述。
与通过单纯地使用车辆V的初始位置信息作为摄像机C的初始位置信息来估计摄像机C的位置信息的情况相比，可以提高估计摄像机C的位置信息的准确度和处理速度，因为如果遵循上述方法则摄像机C的更准确的初始位置信息被用作输入值。
在获得摄像机C的初始位置信息之后，路标位置估计设备100或200可以通过使用摄像机C的初始位置作为输入值来估计摄像机C的位置信息。图9示出了示出根据实施方式的基于摄像机C的初始位置信息获得摄像机C的位置信息的方法的流程图。在下文中，将参照图9详细描述估计摄像机C的位置信息的方法。
参照图9，在步骤S710中，路标位置估计设备100或200可以对围绕摄像机C的初始位置信息的多个候选位置信息执行采样。具体地，路标位置估计设备100或200可以将摄像机C的初始位置信息设置为平均值，以通过使用其中以预定协方差设置误差建模的高斯概率模型来执行采样。此时，高斯概率模型可以被定义为最少具有针对姿态角的三个自由度和针对位置的三个自由度的六个维度。
如果存在摄像机C的多个初始位置信息，则路标位置估计设备100或200可以根据高斯概率模型对摄像机C的每一个初始位置信息执行采样。
然后，路标位置估计设备100或200可以通过使用粒子滤波器来获得摄像机C的估计位置信息。具体地，在步骤S720中，路标位置估计设备100或200可以将关于车辆V的驾驶信息反映到多个候选位置信息中。此时，路标位置估计设备100或200可以遵循等式3。
[等式3]
Figure BDA0003168974360000141
本文中，矩阵[x(k)；y(k)；θ(k)]可以指示车辆V在时间k处的位置和驾驶方向。Sr可以指示根据车辆V的右轮速度的驾驶距离。Sl可以指示根据车辆V的左轮速度的驾驶距离。
为此，路标位置估计设备100或200可以从车辆V接收包括车轮速度信息和横摆率信息的驾驶信息。
此后，在步骤S730中，路标位置估计设备100或200可以基于图像与数字地图上同多个候选位置信息中的每一个相对应的路标之间的匹配误差来对多个候选位置信息中的每一个赋予权重。
为此，路标位置估计设备100或200可以使用提取了路标的图像。此时，作为驾驶信息的反映的结果，可以排除脱离道路的候选位置信息或与车辆V的驾驶方向相反的道路的候选位置信息。
当从图像中提取第一类型路标和第二路标时，路标位置估计设备100或200可以将数字地图上与多个候选位置信息中的每一个相对应的路标匹配到图像上。此外，如果匹配误差被识别，则路标位置估计设备100或200可以获得对应于匹配误差的权重。这可以遵循等式4。
[等式4]
Figure BDA0003168974360000142
本文中，Gσ可以指示权重。(Δx,Δy)可以指示图像中针对x和y的误差。σ可以指示标准偏差。
然后，路标位置估计设备100或200可以通过向候选位置信息分配相应的权重来反映匹配误差。
在分配权重之后，在步骤S740中，路标位置估计设备100或200可以通过使用分配了权重的多个候选位置信息来对多个候选位置信息重新执行采样。由于采样是基于分配权重的结果而重新执行的，因此多个候选位置信息可以在具有小匹配误差的候选位置信息周围聚集。
当采样完成时，在步骤S750中，路标位置估计设备100或200可以识别重新执行采样的多个候选位置信息的标准偏差是否等于或小于参考标准偏差。本文中，参考标准偏差可以指示能够通过使用多个候选位置来获得摄像机C的估计位置信息的最大标准偏差。
如果多个重新采样的候选位置信息的标准偏差等于或小于参考标准偏差，则在步骤S760中，路标位置估计设备100或200可以获得多个重新采样的候选位置信息的平均值作为摄像机C的估计位置信息。
另一方面，如果多个重新采样的候选位置信息的标准偏差大于参考标准偏差，则在步骤S770中，路标位置估计设备100或200可以将车辆V的驾驶信息反映到多个重新采样的候选位置信息中，并且然后步骤S770可以再次前进至步骤S730。
至此，已经参照图6至图9描述了路标位置估计设备100或200确定图像捕获装置10的位置的过程。上述确定图像捕获装置10的位置的过程可以由本申请人先前提交的PCT国际申请第PCT/KR2018/013252号和韩国专利申请第10-2018-0059626号支持。
返回参照图5，路标位置估计设备100或200通过步骤S510确定捕获多个图像的图像捕获装置10的位置，并且然后，在步骤S520中，基于在步骤S510中确定的图像捕获装置10的位置和多个图像来测量第一类型路标的三维位置。
图10示出了示出根据本公开内容的一个实施方式的通过使用两幅图像来估计第一类型路标的三维位置的方法的图，以及图11示出了示出根据本公开内容的实施方式的第一类型路标的估计三维位置的准确度的图。
参照图10，路标位置估计设备100或200获得从捕获第一图像I1的第一位置L1经过第一图像I1上的与第一类型路标相对应的像素X1的第一向量V1。此外，路标位置估计设备100或200获得从捕获第二图像I2的第二位置L2经过第二图像I2上的与第一类型路标相对应的像素X2的第二向量V2。然后，路标位置估计设备100或200测量第一向量V1与第二向量V2的交点作为第一类型路标的三维位置P。在这种情况下，随着第一位置L1与第二位置L2之间的距离增加，可以准确地测量第一类型路标的三维位置P。因此，路标位置估计设备100或200可以选择并使用彼此间隔的距离大于预定阈值距离的第一位置L1和第二位置L2。这是因为，随着捕获位置之间的距离增加，在真实图像上识别的第一类型路标的像素误差减小，并且因此基于此确定的第一类型路标的三维位置的误差也减小。例如，如果在相隔一米的两个位置处捕获的两个真实图像中的第一类型路标的位置的误差是一个像素，以及在相隔两米的两个位置处捕获的两个真实图像中的第一类型路标的位置的误差是一个像素，则针对基于所述情况中的每个情况确定的第一类型路标的三维位置P，后一种情况比前一种情况具有更高的准确度。
返回参照图5，路标位置估计设备100或200可以使用至少两个图像来估计第一类型路标的三维位置。然而，路标位置估计设备100或200可以使用大量图像来估计第一路标的三维位置，从而减少测量误差。换句话说，在步骤S530中，在改变图像的同时，可以通过参照图10描述的过程来校正先前测量的第一类型路标的三维位置。
参照图11，可以分别在多个位置810、820和830处捕获真实图像，并且可以识别出根据在第一位置810处捕获的真实图像估计的第一类型路标的位置的误差范围811相对较大。然而，可以识别出通过考虑在第一位置810处的估计结果而在第二位置820处估计的第一类型路标的位置的误差范围821小于误差范围811。此外，可以识别出通过考虑在第二位置820处的估计结果而在第三位置830处估计的第一路标位置的误差范围831小于误差范围821。
另一方面，路标位置估计设备100或200可以使用等式5至等式8来根据多个图像估计第一类型路标的三维位置。
[等式5]
d＝λK-1R-1(u，v，1)T
本文中，d指示从图像捕获装置10的镜头到第一类型路标的位置的三维方向向量。λ指示使d＝(a,b,c)T成为单位向量的用于归一化的常数。另外，R是表示图像捕获装置10的姿态角或方位角的三维旋转矩阵。此外，K指示与采取针孔模型的图像捕获装置10的内在参数相关的校准矩阵。
另外，路标位置估计设备100或200可以使用如下等式6至等式8来获得第一类型路标的三维位置P*。
[等式6]
P*＝A-1b
[等式7]
Figure BDA0003168974360000171
[等式8]
Figure BDA0003168974360000172
本文中，(xi,yi,zi)指示图像捕获装置10的多个位置中的第i个位置。
基于等式6估计的第一类型路标的三维位置P指示基于第一捕获位置(i＝1)表示的坐标，并且协方差是A-1，其表示基于第一捕获位置(i＝1)表示的第一类型路标的三维位置P的误差。
另一方面，如果将三维变换矩阵T应用于基于图像捕获装置10的摄像机坐标系的第一类型路标的三维位置P，则可以获得基于数字地图的坐标系的第一类型路标的三维坐标PL。此时，由于变换矩阵T具有根据图像捕获装置10的位置和姿态角或方位角的误差，因此可以获得应用误差传播的概念的PL的协方差CPL。可以根据等式9获得PL的协方差CPL。
[等式9]
Figure BDA0003168974360000173
本文中，J1指示针对三维位置P的函数T×P的偏导数(雅可比矩阵)。CT指示三维变换矩阵T的协方差。此外，J2指示针对三维变换矩阵T的函数T×P的偏导数(雅可比矩阵)。
返回参照图3，在步骤S330中，路标位置估计设备100或200估计在步骤S310中识别的第二类型路标在虚拟平面上的位置，该虚拟平面包括在步骤S320中估计的第一类型路标的三维位置。
图12示出了根据实施方式的由路标位置估计设备100或200进行的在步骤S330中描述的估计第二类型路标的位置的详细过程。
参照图12，在步骤S910中，路标位置估计设备100或200可以计算三维方向向量与包括第一类型路标的三维位置的虚拟平面的交点作为第二类型路标的位置，所述三维方向向量从图像捕获装置10的摄像机坐标系的原点经过图像上被识别为第二类型路标的坐标。
如图13所示，路标位置估计设备100或200生成垂直于驾驶路线的平面作为虚拟平面，该虚拟平面包括：诸如限速标志的包括数字的交通标志401和诸如超速警告标志的包括字母的交通标志402的每个三维位置的坐标。另外，路标位置估计设备100或200可以计算三维方向向量901与包括第一类型路标的三维位置的虚拟平面的交点PW作为第二类型路标的位置，该三维方向向量901从图像捕获装置10(即摄像机C)的摄像机坐标系的原点经过图像上被识别为第二类型路标的坐标。
例如，路标位置估计设备100或200可以使用等式10和等式11来计算第二类型路标的位置。
路标位置估计设备100或200获得等式10的解，以便生成垂直于驾驶路线的包括第一类型路标的三维位置的坐标的虚拟平面。
[等式10]
ax+by+cz+d＝0
本文中，a、b、c和d是平面方程的系数，并且可以通过使用至少四个点求解联立方程(例如AX＝B的形式)来获得。通过使用交通标志401和402的三维位置的坐标(x1,y1,z1)和(x2,y2,z2)以及通过从交通标志401和402的三维位置的z坐标中的每个减去偏移值而生成的两个虚拟点P1和P2的三维位置的坐标(x1,y1,z1-偏移)和(x2,y2,z2-偏移)来获得虚拟平面的方程。
另外，当路标位置估计设备100或200生成垂直于驾驶路线的平面作为虚拟平面时(该虚拟平面包括：诸如限速标志的包括数字的交通标志401和诸如超速警告标志的包括字母的交通标志402的三维位置的坐标)，路标位置估计设备100或200可以通过使用交通标志401和402中的单个交通标志来生成虚拟平面。换句话说，即使存在包括数字的交通标志401和包括字母的交通标志402中的任何一个，也可以生成垂直于驾驶路线的虚拟平面。图14示出了示出在存在单个第一类型路标(例如包括数字的交通标志401)的情况下生成虚拟平面的过程的图。
参照图14，路标位置估计设备100或200通过使用摄像机C在绝对坐标系中的包括姿态角和位置的姿势，将先前获得的交通标志401的三维位置从绝对坐标系转换到摄像机坐标系中。如果获得了车辆V在绝对坐标系中的包括姿态角和位置的姿势，假设虚拟摄像机位于车辆坐标系的原点上，并且摄像机C面对的方向(或z轴Zc)与车辆V的纵向方向(或驾驶方向)相同，则可以通过使用等式11至等式13来计算摄像机坐标系中的三维位置。
[等式11]
Pw＝R×Pc+T，Pc＝R-1×(Pw-T)
本文中，Pw指示交通标志401在绝对坐标系中的三维位置。R和T分别指示表示摄像机在绝对坐标系中的姿势的旋转矩阵和运动矩阵。Pc指示Pw在摄像机坐标系中表示的三维位置。
[等式12]
Figure BDA0003168974360000191
本文中，当在等式11中获得的Pc是[Xc,Yc,Zc]时，u和v指示在摄像机坐标系中表示的图像上的像素的坐标，u0和v0指示摄像机C的主点，以及f指示通过摄像机校准预先获得的焦距。
等式13可以根据等式12获得。另外，在等式11中获得的Zc指示从摄像机坐标系的原点到虚拟平面的垂直距离，如图14所示。
[等式13]
Figure BDA0003168974360000192
本文中，如果在等式13中使用在等式11中获得的Zc，并且如果unew和vnew被指定为摄像机坐标系中的任意坐标，则可以获得与图14中所示的任意点相对应的位置，从而获得与三个任意点P1、P2和P3相对应的位置。如果通过使用上述等式12获得与三个任意点P1、P2和P3相对应的位置，则确定包括交通标志401的位置在内的总共四个点的位置。如果确定了四个点的位置，则如参照图13所述，可以获得垂直于车辆V的驾驶方向的平面的方程。
另外，路标位置估计设备100或200计算虚拟平面与三维方向向量Pray的交点Pw，该三维方向向量Pray从图像捕获装置10(即摄像机C)的摄像机坐标系的原点经过图像上被识别为第二类型路标的坐标或像素。
[等式14]
Pray＝R-1(K-1m-T)
本文中，Pray＝[x,y,z]T指示图13所示的三维方向向量901。R和T分别指示用于将三维点Pw变换到摄像机坐标系的旋转矩阵和转换矩阵。m指示对应于图像的坐标。K指示与摄像机C的内在参数相关的3×3矩阵。
返回参照图12，在步骤S920中，在改变图像捕获装置10的位置的同时，路标位置估计设备100或200可以获得关于针对一个第一类型路标计算的第二类型路标的位置的位置信息作为候选组，并且可以基于所获得的候选组来校正在步骤S910中计算的第二类型路标的位置。
图15示出了候选组(或Pw候选组)，其中，在图像捕获装置10(即，摄像机C)移动的同时估计一个第二类型路标的三维位置。例如，路标位置估计设备100或200可以选择Pw候选组的平均值或与具有最短识别距离的位置相对应的第二类型路标的三维位置作为第二类型路标的最终位置。随着识别距离减小，识别误差减小，如果针对图像捕获装置10与第二类型路标之间的每个距离出现相同像素的误差，则当图像捕获装置10与第二类型路标之间的距离最近时，三维位置的准确度最大。
图16示出了示出根据本公开内容的另一实施方式的由路标位置估计设备200执行的路标位置估计方法的流程图。
首先，在步骤S1010中，路标位置估计设备200识别由N个车辆V中的第一车辆的图像捕获装置10捕获的图像上的第一类型路标和第二类型路标中的每一个，所述图像包括驾驶路线上的各种路标。另外，在步骤S1020中，路标位置估计设备200识别由多个车辆中的第二车辆的图像捕获装置10捕获的图像上的第一类型路标和第二类型路标中的每一个，所述图像包括驾驶路线上的各种路标。以这种方式，针对由安装在N个车辆V上的图像捕获装置10捕获的每个图像来执行识别第一类型路标和第二类型路标中的每一个的处理。
此外，在步骤S1030中，路标位置估计设备200基于由多个车辆V中的第一车辆的图像捕获装置10捕获的图像来估计第一类型路标的三维位置。此后，在步骤S1040中，路标位置估计设备200基于由多个车辆V中的第二车辆的图像捕获装置10捕获的图像来估计第一类型路标的三维位置。如上所述，基于由安装在N个车辆V上的图像捕获装置10捕获的每个图像来执行估计第一类型路标的三维位置的处理。
此后，在步骤S1050中，路标位置估计设备200收集多次估计的第一类型路标的三维位置作为候选组，并且基于收集的候选组确定第一类型路标的最终三维位置。例如，路标位置估计设备200可以确定多次估计的第一类型路标的三维位置的平均值作为第一类型路标的最终三维位置。例如，由于包括数字的交通标志401和包括诸如超速警告标志的字母的交通标志402的三维位置可以表示为平均值和协方差，因此最终位置可以通过使用卡尔曼滤波器来进行更新。在这种情况下，当更新的协方差的大小小于或等于阈值并且估计的三维位置的数量大于或等于阈值时，可以确定第一类型路标的三维位置被稳定地估计。由于对图像上包括数字的交通标志401的图像分析的结果不仅提供了位置，还提供了限速信息，因此可以通过对被确定为具有相同限速的交通标志401进行聚类来估计最终的三维位置。类似地，在图像上识别的包括字母的交通标志402也可以基于识别的短语(无论是针对普通超速摄像机还是点对点超速执法)来识别，因此可以通过对具有相同警告短语的交通标志402进行聚类来估计最终的三维位置。
此后，在步骤S1060中，路标位置估计设备200生成垂直于驾驶路线的虚拟平面，该虚拟平面包括在步骤S1050中确定的第一类型路标的最终三维位置，并且确定第二类型路标在生成的虚拟平面上的最终位置。
例如，当确定第二类型路标的最终位置时，路标位置估计设备200可以基于候选组中的交点来确定第二类型路标的最终位置，所述候选组包括针对第二类型路标估计的三维位置，所述交点距经过包括数字的交通标志401和诸如超速警告标志的包括字母的交通标志402的虚拟线404在预定距离内，如图17所示。因此，可以提高所确定的第二类型路标的最终位置的可靠性。在没有上述方法的情况下，第二类型路标中不同于超速摄像机的安全摄像机可能在图像中被识别，或者超速摄像机的误识别可能包括在结果中。另外，由于难以在图像中区分超速摄像机与安全摄像机，因此当在图像中识别摄像机时，可以使用进一步识别包括数字的交通标志401或者诸如超速警告标志的包括字母的交通标志402的条件，从而去除大量噪声。
另外，如果在包括第二类型路标的估计三维位置的候选组中获得的交点的数量等于或大于预定阈值数量，则路标位置估计设备200计算交点的平均值和标准偏差。此后，如果计算的标准偏差小于或等于预定阈值偏差，则路标位置估计设备200可以确定平均值作为第二类型路标的最终位置。
根据此前描述的本公开内容的实施方式，预先估计在驾驶车辆时捕获的图像上包括的各种路标中具有相对高的图像识别度的路标的三维位置，并且然后，基于所估计的三维位置来估计具有相对低的图像识别度的路标的位置。例如，当估计驾驶路线上的路标中的超速摄像机的位置时，可以预先估计诸如包括数字的限速标志或包括字母的超速警告标志的交通标志的三维位置，所述交通标志安装在安装有超速摄像机的同一结构上。此后，可以基于交通标志的三维位置来估计超速摄像机的位置。
因此，可以快速估计具有相对较低图像识别度的路标的位置信息，并且估计的位置信息的可靠性可以被提高得与具有相对高的图像识别度的路标的估计的位置信息的可靠性一样高。
本公开内容的每个流程图可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图的步骤中指定的功能的装置。这些计算机程序指令也可以存储在可以指导计算机或其他可编程数据处理设备以特定方式运行的计算机可用或计算机可读存储器中，使得存储在计算机可用或计算机可读介质中的指令可以产生包括实现流程图的框中指定的功能的指令的制品。计算机程序指令也可以被加载到计算机或其他可编程数据处理设备上，以使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，使得在计算机或其他可编程设备上执行的指令提供用于实现流程图的框中指定的功能的处理。
流程图中的每个步骤可以表示包括用于实现指定逻辑功能的一个或更多个可执行指令的模块、代码段或代码部分。还应当注意，在一些可替选实现方式中，在框中指出的功能可以不按照附图中指出的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这两个框有时可以根据所涉及的功能而按照相反的顺序执行。
以上描述仅仅是本公开内容的技术范围的示例性描述，并且本领域技术人员将理解，在不脱离本公开内容的原始特征的情况下，可以进行各种改变和修改。因此，本公开内容中公开的实施方式旨在说明而非限制本公开内容的技术范围，并且本公开内容的技术范围不受实施方式的限制。本公开内容的保护范围应当基于所附权利要求来解释，并且应当理解的是，包括在与其等同的范围内的所有技术范围都包括在本公开内容的保护范围内。
工业适用性
根据实施方式，车辆导航装备可以用于将关于车辆V的驾驶路线上的限速执法的位置的信息保持在最新状态的目的。另外，可以在同时识别具有相对低的图像识别度的对象和具有相对高的图像识别度的对象的技术领域中应用和使用该车辆导航装备。

Claims (14)

1.一种由路标位置估计设备执行的路标位置估计方法，所述方法包括：
从由车辆的图像捕获装置捕获的图像中识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标；
基于识别了所述第一类型路标的多个所述图像以及包括所述车辆的驾驶区域的数字地图，来估计所识别的第一类型路标的三维位置；以及
估计所识别的第二类型路标在包括所述第一类型路标的三维位置的虚拟平面上的位置。
2.根据权利要求1所述的方法，其中，所述第一类型路标是包括字母或数字的路标，以及所述第二类型路标是不包括任何字母或任何数字的路标。
3.根据权利要求1所述的方法，其中，所述多个图像包括：在第一位置处捕获的包括所述第一类型路标的第一图像和在第二位置处捕获的包括所述第一类型路标的第二图像，以及
估计所述第一类型路标的三维位置包括测量第一向量与第二向量的交点作为所述第一类型路标的三维位置，所述第一向量从所述第一位置经过所述第一图像上的与所述第一类型路标相对应的像素，所述第二向量经过所述第二图像上的与所述第一类型路标相对应的像素。
4.根据权利要求3所述的方法，其中，所述第一位置与所述第二位置之间的距离大于预定的阈值距离。
5.根据权利要求3所述的方法，其中，估计所述第一类型路标的三维位置还包括通过基于所述车辆的位置信息和所述数字地图估计所述图像捕获装置的位置来分别确定所述第一位置和所述第二位置。
6.根据权利要求5所述的方法，其中，确定所述第一位置和所述第二位置包括：
通过将所述数字地图上的与所述车辆的初始位置信息相对应的路标指示匹配到由所述图像捕获装置捕获的图像上，来获得所述图像捕获装置的初始位置信息；以及
基于所述图像捕获装置的位置来确定所述第一位置和所述第二位置，所述图像捕获装置的位置是基于所述图像与所述数字地图上同多个候选位置信息中的每一个相对应的路标指示之间的匹配误差来计算的，所述多个候选位置信息基于所述图像捕获装置的初始位置信息和所述车辆的驾驶信息被执行采样。
7.根据权利要求1所述的方法，其中，所述虚拟平面是包括所述第一类型路标的三维位置的坐标并且垂直于所述驾驶路线的平面。
8.根据权利要求1所述的方法，其中，估计所述第二类型路标的位置包括计算所述虚拟平面与三维向量的交点作为所述第二类型路标的位置，所述三维向量从所述图像捕获装置的坐标系的原点经过所述图像上被识别为所述第二类型路标的坐标。
9.根据权利要求8所述的方法，其中，估计所述第二类型路标的位置还包括：
在改变所述图像捕获装置的位置的同时，获得关于针对单个第一类型路标计算的所述第二类型路标的位置的多个位置信息作为候选组；以及
基于所述候选组来校正所计算的所述第二类型路标的位置。
10.根据权利要求8所述的方法，其中，所述虚拟平面通过以下确定：
通过使用所述图像捕获装置的姿势的坐标系转换，根据所述第一类型路标在绝对坐标系中的三维位置来计算所述第一类型路标在所述图像捕获装置的坐标系中的三维位置；
基于所述图像捕获装置的坐标系中的三维位置和所述图像捕获装置的校准信息，来确定与位于所述虚拟平面上的三个或更多个点相对应的位置；以及
基于所述第一类型路标和所述三个或更多个点的位置来求解所述虚拟平面的方程。
11.根据权利要求1所述的方法，还包括：
在由其他车辆的其他图像捕获装置捕获的图像上识别所述第一类型路标和所述第二类型路标，所述图像包括所述驾驶路线上的各种路标；
基于由所述其他车辆的其他图像捕获装置捕获的识别了所述第一类型路标的多个图像和包括所述其他车辆的驾驶区域的数字地图，来估计在由所述其他车辆的其他图像捕获装置捕获的图像上识别的所述第一类型路标的三维位置；以及
基于以下三维位置来确定所述第一类型路标的最终三维位置：基于由所述车辆的图像捕获装置捕获的图像估计的所述第一类型路标的三维位置，以及基于由所述其他车辆的图像捕获装置捕获的图像估计的所述第一类型路标的三维位置，
其中，估计所述第二路标的位置包括：
获得三维方向向量与包括所述第一类型路标的最终三维位置的虚拟平面的交点作为候选组，所述三维方向向量从安装在所述车辆与所述其他车辆上的每个图像捕获装置各自的坐标系的原点经过由所述每个图像捕获装置捕获的每个图像上被识别为所述第二类型路标的坐标；以及
基于所述候选组确定所述第二类型路标的最终位置。
12.根据权利要求11所述的方法，其中，所述第一类型路标包括安装在所述驾驶路线上的单个结构上的第一交通标志和第二交通标志，以及
基于所述候选组中的距经过所述第一交通标志和所述第二交通标志的虚拟线在预定距离内的交点来执行确定所述第二类型路标的最终位置。
13.一种非暂态计算机可读存储介质，存储计算机程序，其中，所述计算机程序包括指令，所述指令在由处理器执行时使所述处理器执行根据权利要求1至权利要求12中任一项所述的方法。
14.一种路标位置估计设备，包括：
图像处理单元，被配置成从由车辆的图像捕获装置捕获的图像中识别第一类型路标和第二类型路标，所述图像包括驾驶路线上的各种路标；
存储单元，被配置成存储包括所述车辆的驾驶区域的数字地图；以及
控制单元，被配置成基于识别了所述第一类型路标的多个所述图像和所述数字地图来估计所识别的第一类型路标的三维位置，并且估计所识别的第二类型路标在包括所述第一类型路标的三维位置的虚拟平面上的位置。
CN201980089535.1A 2019-01-28 2019-12-13 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质 Pending CN113316706A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0010528 2019-01-28
KR1020190010528A KR102604298B1 (ko) 2019-01-28 2019-01-28 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
PCT/KR2019/017743 WO2020159076A1 (ko) 2019-01-28 2019-12-13 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체

Publications (1)

Publication Number Publication Date
CN113316706A true CN113316706A (zh) 2021-08-27

Family

ID=71841161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089535.1A Pending CN113316706A (zh) 2019-01-28 2019-12-13 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质

Country Status (4)

Country Link
US (1) US11703344B2 (zh)
KR (1) KR102604298B1 (zh)
CN (1) CN113316706A (zh)
WO (1) WO2020159076A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022546397A (ja) * 2019-08-31 2022-11-04 エヌビディア コーポレーション 自律運転アプリケーションのためのマップ作成及びローカリゼーション
US20220034669A1 (en) * 2020-07-28 2022-02-03 Bae Systems Information And Electronic Systems Integration Inc. Navigation architecture for contested environments
KR20220068710A (ko) * 2020-11-19 2022-05-26 삼성전자주식회사 차량 측위 방법 및 장치
KR102339625B1 (ko) * 2021-01-29 2021-12-16 주식회사 맥스트 공간 지도 갱신 장치 및 방법
JP2022121049A (ja) * 2021-02-08 2022-08-19 トヨタ自動車株式会社 自己位置推定装置
US11761780B1 (en) * 2021-05-28 2023-09-19 Zoox, Inc. Determining data for semantic localization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718860A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及***
CN105793669A (zh) * 2013-12-06 2016-07-20 日立汽车***株式会社 车辆位置推定***、装置、方法以及照相机装置
CN108021862A (zh) * 2016-11-03 2018-05-11 福特全球技术公司 道路标志识别
CN108139202A (zh) * 2015-09-30 2018-06-08 索尼公司 图像处理装置、图像处理方法和程序
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
KR20180101717A (ko) * 2016-01-08 2018-09-13 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 맵들을 사용하는 차량 컴포넌트 제어

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255170B2 (en) * 2006-11-02 2012-08-28 The Boeing Company Remote nondestructive inspection systems and methods
KR100884904B1 (ko) 2007-09-12 2009-02-19 아주대학교산학협력단 평행 투영 모델을 이용한 자기위치 인식 방법
US8108168B2 (en) * 2009-03-12 2012-01-31 Etegent Technologies, Ltd. Managing non-destructive evaluation data
KR101073455B1 (ko) 2010-04-22 2011-10-17 나비스오토모티브시스템즈 주식회사 네비게이션 장치의 경로안내방법
US8982156B2 (en) * 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product
KR101569354B1 (ko) 2014-01-08 2015-11-17 인하대학교 산학협력단 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치
DE102016205964A1 (de) 2016-04-11 2017-10-12 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen einer globalen Position einer ersten Landmarke

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105793669A (zh) * 2013-12-06 2016-07-20 日立汽车***株式会社 车辆位置推定***、装置、方法以及照相机装置
CN108139202A (zh) * 2015-09-30 2018-06-08 索尼公司 图像处理装置、图像处理方法和程序
KR20180101717A (ko) * 2016-01-08 2018-09-13 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 맵들을 사용하는 차량 컴포넌트 제어
CN105718860A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 基于驾驶安全地图及双目交通标志识别的定位方法及***
CN108021862A (zh) * 2016-11-03 2018-05-11 福特全球技术公司 道路标志识别
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN110062871A (zh) * 2016-12-09 2019-07-26 通腾全球信息公司 用于基于视频的定位及映射的方法及***

Also Published As

Publication number Publication date
WO2020159076A1 (ko) 2020-08-06
US20220187095A1 (en) 2022-06-16
KR20200093271A (ko) 2020-08-05
KR102604298B1 (ko) 2023-11-17
US11703344B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
US11983894B2 (en) Determining road location of a target vehicle based on tracked trajectory
US20210311490A1 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
US10248124B2 (en) Localizing vehicle navigation using lane measurements
US11703344B2 (en) Landmark location estimation apparatus and method, and computer-readable recording medium storing computer program programmed to perform method
JP6241422B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
EP3843001A1 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US9208389B2 (en) Apparatus and method for recognizing current position of vehicle using internal network of the vehicle and image sensor
JP5404861B2 (ja) 静止物地図生成装置
JP2008065087A (ja) 静止物地図生成装置
CN112805766B (zh) 用于更新详细地图的装置和方法
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
JP2014044093A (ja) 速度推定装置及び速度推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination