CN113034960A - 用于更新精密路线地图的对象变化检测***及其方法 - Google Patents

用于更新精密路线地图的对象变化检测***及其方法 Download PDF

Info

Publication number
CN113034960A
CN113034960A CN201911391443.7A CN201911391443A CN113034960A CN 113034960 A CN113034960 A CN 113034960A CN 201911391443 A CN201911391443 A CN 201911391443A CN 113034960 A CN113034960 A CN 113034960A
Authority
CN
China
Prior art keywords
change
candidate
route map
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911391443.7A
Other languages
English (en)
Other versions
CN113034960B (zh
Inventor
崔寅球
朴宰亨
金己昶
金德重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Han Guodaolugongshe
U1GIS Co Ltd
Original Assignee
Han Guodaolugongshe
U1GIS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Han Guodaolugongshe, U1GIS Co Ltd filed Critical Han Guodaolugongshe
Publication of CN113034960A publication Critical patent/CN113034960A/zh
Application granted granted Critical
Publication of CN113034960B publication Critical patent/CN113034960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)

Abstract

本发明公开了用于更新精密路线地图的对象变化检测***及其方法。即，本发明通过摄像机图像的分析对已生成的精密路线地图中随时发生变化的道路相关的相邻对象的变化进行检测，而仅将在安装在探测车辆上的装置中关于对象的变化进行处理的结果传输到服务器，而不传输产生过度的网络负载的完整的感测信息，从而能够减少用于对象变化检测的装置的成本并且最大限度地减少网络负载从而减少运行负担。

Description

用于更新精密路线地图的对象变化检测***及其方法
技术领域
本发明涉及用于更新精密路线地图的对象变化检测***及其方法，并且涉及在为了维持精密路线地图的品质而用探测车辆对道路上的道路设施对象的变化进行识别的电子地图更新过程中基于摄像机来对对象变化进行检测，从而能够降低装置的成本和通信负载的用于更新精密路线地图的对象变化检测***及其方法。
背景技术
为了安全的自动驾驶，自动驾驶车辆可对车辆的周边环境和车辆的位置进行识别，并且基于识别到的信息来生成能够使车辆安全且效率地行驶的路径。此外，自动驾驶车辆可根据经生成的路径来控制车辆的转向和速度。
自动驾驶车辆可使用搭载的传感器(例如，摄像机、激光扫描仪、雷达、GNSS(Global Navigation Satellite System)、IMU(Inertial Measurement Unit)等)对车辆的周边环境(例如，诸如车道和信号灯的道路设施或地标)进行识别，并且基于识别到的周边环境来生成路径。所述基于周边环境识别的路径生成方法可能在(难以识别周边环境的环境，例如，不存在车道或者复杂的车道环境)下无法生成路径。
精密路线地图是一同提供车道信息和车辆行驶所需的各种信息，例如，信号灯的位置、停止线的位置、是否为能够改变车道的车道、是否为允许左转的交叉路口等的详细道路信息和三维精密位置信息的地图。借助于这种精密路线地图的自动驾驶车辆能够进行更加安全的自动驾驶。运用于自动驾驶车辆的控制中的精密路线地图(HD MAP)为了自动驾驶，其为具备厘米(cm)水平的精密度的3D(三维)立体地图。通常，当1/1000数字地形图(数字地图)的准确性为70cm时，精密路线地图为25cm以内，其为更加精密的。其为具有1至2.5米的准确性的导航地图的10倍。
此外，精密路线地图也能够运用于在通过具有前方碰撞警告、车道脱离警告等的安全功能的用于仪表板的摄像机收集基于正确的位置信息的道路上的事件信息的情况中。不仅如此，还可运用于在使用安装有摄像机的联网汽车的交换信息或者安装有摄像机的各种法人拥有的车辆收集道路的各种设施、事件信息的情况中的准确定位中。
当前，在构建精密路线地图时，作为移动车辆***的“移动制图***(MobileMapping System，MMS)”设备被使用。搭载于车辆等的移动体上的MMS为结合有数码摄像机、三维激光扫描仪***(LiDAR)、卫星导航***(GNSS)、惯性测量单元(IMU)等的“移动三维空间信息***”。在以时速40km至100km行驶的车辆中能够进行360度的全方位拍摄。MMS作为具备尖端技术的设备，其通常为每台要价10亿韩元的昂贵设备。在用这种MMS设备构建并更新精密路线地图时会消耗非常多的人力和成本。尤其是，在道路的状态上发生了变化时，无法迅速地更新精密路线地图，因此对于依赖于精密路线地图进行自动驾驶的车辆而言会成为危害安全的因素。
因此，存在着对于在构建了对于精密路线地图的基本信息的状态下能够满足对包括在该精密路线地图中的对象信息的变化进行检测并对其进行更新的目的，并且同时能够减少装置的成本和通信负载的新的技术的需求。
现有技术文献，专利文献：韩国公开专利第10-2014-0072763号[发明名称：对图像信息与航拍照片数据进行比较来决定目标对象并且使用由摄像机获取的信息来获取目标对象的三维坐标的数值地图制作***]。
发明内容
要解决的技术问题：现有的移动制图***(Mobile Mapping System，MMS)通过使用包括具有三维激光扫描仪***的昂贵的传感器的多种传感器以及生成高分辨率图像信息的摄像机向本地存储装置(车辆内)存储大量数据或者向服务器传输大量数据的方式进行操作以进行用于自动驾驶的精密路线地图测量，而这种现有的移动制图***(MobileMapping System，MMS)在实现对对道路相关的相邻对象的变化进行检测并且更新已生成的精密路线地图的目的时会产生过度的成本以及网络负载。因此，本发明的实施例的目的在于提供如下用于更新精密路线地图的对象变化检测***及其方法，即，该用于更新精密路线地图的对象变化检测***及其方法通过摄像机图像对已生成的精密路线地图中随时发生变化的道路相关的相邻对象的变化进行检测，而仅将关于对象的变化进行检测的结果传输到服务器，而不传输产生过度的网络负载的完整的感测信息，从而能够减少用于对象变化检测的装置的成本并且最大限度地减少网络负载从而减少运行负担。
解决问题的手段：根据本发明一实施例的用于更新精密路线地图的对象变化检测***为包括对由固定在车辆上的摄像机拍摄的道路图像的道路设施对象与精密路线地图进行比较来检测对象的变化的至少一个以上的变化检测装置的***，其中所述变化检测装置包括地图信息存储部、对象坐标获取部和变化对象检测部，其中，地图信息存储部从地图更新服务器接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其，对象坐标获取部在所述道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标，并且变化对象检测部对识别到的所述对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和特征点的空间坐标和变化对象的图像的对象变化信息传输到所述地图更新服务器，其中，所述变化对象为对象属性的改变、新对象的生成和现有对象的删除中的任一种。
所述对象坐标获取部可包括对象识别部、特征点提取部、特征点追踪部、坐标决定部和补正部其中，对象识别部按照所述道路图像的帧为单位对包括GCP(ground controlpoint)对象和一般对象中的至少一个的道路设施对象和属性进行识别，特征点提取部在所述道路图像中提取至少一个以上的道路设施对象的特征点，特征点追踪部在所述道路图像的连续帧中对所述特征点进行匹配并追踪，坐标决定部获取所述特征点的目标空间坐标以最大限度地减少从追踪到的所述特征点预测到的摄像机的姿势信息和计算出的摄像机的姿势信息的差异，并且补正部在识别到所述GCP对象时以绝对空间坐标值已知的所述GCP对象的坐标点为基准对所述特征点的目标空间坐标进行补正以获取所述特征点的绝对空间坐标。
所述地图更新服务器可包括候选组生成部，其中，候选组生成部从所述至少一个以上的变化检测装置收集所述对象变化信息，并且生成将所述对象变化信息的变化对象作为候选的候选组信息并分配给所述变化检测装置，并且所述变化检测装置可在靠近包括在所述候选组信息中的候选中的一个时将关于所述候选的候选图像传输到所述地图更新服务器。
所述地图更新服务器还可包括候选确认部和地图更新部，其中，候选确认部仅在所述候选图像的候选未被障碍物折逼的情况下确认是否是真正的变化对象，并且地图更新部在确认为真正的变化对象时对于经确认的变化对象更新所述精密路线地图，其中，经更新的所述精密路线地图可被分配给所述至少一个以上的变化检测装置。
所述候选组信息可包括保留关于特定候选的图像传输的非激活列表，并且所述地图更新服务器可对于相同的候选在从至少两个以上的变化检测装置收集到的候选图像中在所述相同的候选被障碍物遮蔽而完全无法被识别的情况下，在预设时间期间将所述相同的候选包括在所述非激活列表中。
所述变化检测部可按照所述道路图像的各个帧为单位对识别到的对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，而当在至少一个以上的帧中判断出对象一致时判断为对象没有发生变化。
此外，根据本发明的一实施例的用于更新精密路线地图的对象变化检测方法为由至少一个以上的变化检测装置执行的方法，所述方法包括以下步骤：(a)从地图更新服务器接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其；(b)在包括由固定在车辆上的摄像机拍摄的道路设施对象的图像的道路图像中识别至少一个以上的道路设施对象，并且获取识别到的所述对象的属性和特征点的空间坐标；以及(c)对识别到的所述对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和特征点的空间坐标和变化对象的图像的对象变化信息传输到所述地图更新服务器，其中，所述变化对象为对象属性的改变、新对象的生成和现有对象的删除中的任一种。
发明效果：本发明用低价的传感器对在已制作的精密路线地图中道路设施对象的变化进行检测，并且通过仅将在安装在探测车辆上的装置中关于对象的变化进行处理的结果传输到服务器，而不传输产生过度的网络负载的完整的感测信息，从而能够减少用于对象变化检测的装置的成本并且最大限度地减少网络负载从而减少运行负担，进而能够促进自动驾驶的普及和商用化。
此外，本发明在图像信息中对已存在于精密路线地图中的具有精密空间坐标属性的对象进行区分并且以此为基准算出关于感兴趣的对象的空间位置，其中通过使用累计测量信息来确认对象的变化，由此即使使用具有相对低精密度的传感器传感器，也能够以可靠的水准新对象和现有对象的变化的品质管理到，从而能够用低成本持续地提供具有高可靠性的精密路线地图。
附图说明
图1是示例出根据本发明的用于更新精密路线地图的对象变化检测***的图；
图2是示出根据本发明的变化检测装置的配置的框图；
图3是示出根据本发明的变化检测装置中的变化检测部的配置的框图；
图4是示出图3中的对象坐标获取部的框图；
图5是示出根据本发明的地图更新服务器的配置的框图；
图6是示出根据本发明的用于更新精密路线地图的对象变化检测方法的流程图；
图7是示出图6中的对象坐标获取过程的流程图。
附图标记说明：
100、100_1至100_n：变化检测装置；
110：变化检测部；
120：摄像机；
130：通信部；
140：GNSS接收器；
150：存储部；
200：地图更新服务器；
210：地图分配部；
220：候选组生成部；
230：候选确认部；
240：地图更新部。
具体实施方式
首先将对本发明中的术语进行整理。
道路设施对象是指包括在精密地图中的设施，其包括路面标志、警告标志、管制标志、指示标志、辅助标志、标示板、信号灯、路灯、柱子、检查井、路缘石、中央分隔带、消火栓和建筑物等中的至少一种。这种道路设施对象可被固定或显示在道路路面上，并且还可为如信号灯、建筑物的部分特征点或招牌等悬浮在空中的设施或者显示在该设施上。
即，道路设施对象意味着可包括在精密地图中的所有类型的设施，并且作为包括各种路面标志、警告标志、管制标志、指示标志、辅助标志、标示板、信号灯、路灯、柱子、检查井、路缘石、中央分隔带、消火栓和建筑物的招牌等的概念，在本发明中可运用这些对象中的至少一个以上。例如，标记在道路路面上的中央线、实线车道、虚线车道、左转箭头、直行箭头、慢行标记菱形、速度限制区域等的能够显示在道路路面上的所有标记包括在设施对象中，并且设置在道路或地面上的路灯、柱子、检查井、消火栓、路缘石、中央分隔带、标示板等的结构物和该结构物上的各种标记、以及设置在信号灯上的各种标示板和、标记、建筑物等均包括在设施对象中。
地面基准点(GCP，Ground Control Point)意味着使用在绝对表达式中的坐标确切已知的坐标点。在本发明中，道路设施对象中的检查井的盖子、消火栓、、道路设施的端部或连接部和路面上的排水结构物中可用作GCP对象。
精密路线地图作为对于各个道路设施对象将该对象的属性和该对象的特征点的空间坐标信息进行数据库化的地图信息，包括在道路地图中的各个道路设施对象的特征点与该特征点的空间坐标信息一一对应。此处，道路设施对象的特征点(feature point)意味着道路设施的特征性的地点，具有明显的颜色或亮度变化而被区分的内部或外部的顶点或***线中能够确切区分的点可成为特征点。其结果，道路设施对象的特征点可成为道路设施对象的顶点或者边缘上的任意一点。
这种精密路线地图为精密地制作出车辆的自动驾驶所需的关于所有道路设施对象信息的电子地图，并且运用于自动驾驶车辆、联网车辆、交通管理、道路养护等中。
图1是示例出根据本发明的用于更新精密路线地图的对象变化检测***的图。
参照图1，包括用于更新精密路线地图的对象变化检测***和地图更新服务器200。
变化检测装置100_1至100_n为安装在探测车辆上并且从拍摄道路的图像获取道路路面或悬浮在空中的道路设施对象的属性和空间坐标，并且对获取到的道路设施对象的属性和空间坐标与精密路线地图进行彼此比较从而检测对象的变化的装置。
此处，对象的变化是指i)道路设施对象的属性发生变化的情况、ii)新出现之前不存在的道路设施对象的情况和iii)之前存在的道路设施对象消失的情况中的任一种。例如，出现之前不存在的车道、现有的车道类型发生变化、或者信号灯的位置发生变化的情况等。
关于在变化检测装置100_1至100_n中检测到的道路设施对象的变化的信息被传输到地图更新服务器200，并且地图更新服务器200从各个变化检测装置100_1至100_n收集并分析关于对象的变化的信息，由此最终判断包括在精密路线地图中的道路设施对象中是否发生了变化。当判断出道路设施对象中发生变化时，地图更新服务器200重新更新精密路线地图并将经更新的精密路线地图分配给所有变化检测装置100_1至100_n。
将变化检测装置100_1至100_n分别安装在多个探测车辆上，并且重复执行变化检测装置100_1至100_n对在探测车辆行驶期间拍摄到的道路图像中连续地识别到的各个道路设施对象的属性和特征点的空间坐标与精密路线地图的各个对象进行比较的过程，从而不仅能够有效地检测并更新包括在精密路线地图中的道路设施对象的变化，而且能够使用多个变化检测装置快速地更新宽广区域的精密路线地图。
图2是示出根据本发明的变化检测装置的配置的框图。
参照图2，根据本发明的变化检测装置100包括变化检测部110，并且附加地，还可包括摄像机120、通信部130、GNSS接收器140和存储部150中的一种。虽未示出，但是根据本发明的地图生成装置100还可包括惯性测量单元(IMU，Inertial Measurment Unit)。
变化检测部110执行从由固定在探测车辆上的摄像机拍摄的道路图像识别道路设施对象和属性，并且对识别到的信息与精密路线地图的对象进行彼此比较来检测道路设施对象的变化的作用。
摄像机120固定并安装在探测车辆上，并且拍摄车辆前方来生成包括道路设施对象的图像的道路图像。经生成的道路图像被传递到变化检测部110。
通信部130执行与地图更新服务器200进行通信的作用，并且从地图更新服务器200接收精密路线地图，并且在道路设施对象发生变化的情况下将包括经变化的对象的属性和特征点的空间坐标和变化的对象的图像的对象变化信息传输到地图更新服务器200。虽然将在下文中进行描述，但是也从地图更新服务器200接收关于变化对象的候选的候选组信息。
GNSS接收器140执行周期性地获取GNSS位置信息的作用，尤其是，可获取关于与摄像机120的拍摄时间点同步的时间点的摄像机120的拍摄位置的GNSS位置信息。全球导航卫星***(Global Navigation Satellite System，GNSS)作为使用人工卫星确认位置的***，其通常可使用全球定位***(Global Positioning System，GPS)。
存储部150可存储精密路线地图、由摄像机120拍摄的道路图像和关于变化对象的对象变化信息。
图3是示出根据本发明的变化检测装置中的变化检测部的配置的框图。
参照图3，变化检测部110包括地图信息存储部111、对象坐标获取部112、变化对象检测部113、候选组接收部114和候选图像收集部115中的至少一个。
地图信息存储部111从地图更新服务器200接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其。地图更新服务器200每当因新构建精密路线地图或者道路设施对象的改变而更新精密路线地图时将精密路线地图分配到各个变化检测装置100_1至100_n，并且各个变化检测装置100_1至100_n接收经更新的精密路线地图并存储在地图信息存储部111中。
对象坐标获取部112执行在道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标的作用，其详细内容将在后面进行描述。
变化对象检测部113执行对识别到的对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和变化对象的特征点的空间坐标和变化对象的图像的对象变化信息传输到地图更新服务器200的作用。
因为在对象坐标获取部112识别到的道路设施对象的特征点的空间坐标与精密路线地图的对象的特征点的空间坐标不准确地一致，因此在识别到的道路设施对象的特征点的空间坐标和与其对应的精密路线地图中的对象的特征点的空间坐标的差异在限制范围以下的清苦那个下，变化对象检测部113判断为道路设施对象的空间坐标一致。
另外，如前所述，对象的变化是指i)道路设施对象的属性发生变化的情况、ii)新出现之前不存在的道路设施对象的情况和iii)之前存在的道路设施对象消失的情况中的任一种。
因此，变化对象检测部113使识别到的所有道路设施对象的属性和特征点的空间坐标与精密路线地图中的对象对应，并且确认是否存在对象、属性是否改变、对象特征点的空间坐标是否变换，从而判断对象是否变化。
此外，变化对象检测部113可按照道路图像的各个帧为单位对识别到的对象的属性和特征点的空间坐标与精密路线地图的对象进行彼此比较，当在至少一个以上的帧中判断出对象一致时判断为该对象没有发生变化。出于各种理由，可能无法在道路图像的一部分帧中识别到道路设施对象。其结果，在至少一个以上的道路图像帧中识别道路设施对象的属性和特征点的空间坐标，并且判断为识别到的对象与精密路线地图的对象一致时，判断为该对象没有发生变化。
候选组接收部114从地图更新服务器200接收将各个对象变化信息的变化对象作为候选的候选组信息。另外，虽然将在后面描述，但是候选组信息可包括保留关于特定候选的图像传输的非激活列表。
候选图像收集部115在靠近包括在候选组信息中的候选中的一个时，将关于该候选的候选图像传输到地图更新服务器200。此时，在候选组信息中包括有非激活列表的情况下，对于包括在非激活列表中的候选，可在预设时间期间保留图像传输。
图4是示出图3中的对象坐标获取部的框图。
参照图3，对象坐标获取部112可包括对象识别部1121、特征点提取部1122、特征点追踪部1123、关键帧决定部1124、坐标决定部1125和补正部1126中的至少一个。
对象识别部1121在道路图像的各个帧中对包括GCP(ground control point)对象和一般对象中的至少一个的道路设施对象及其属性进行识别。对象识别部1121通过包括深度学习的机器学习或多种图像处理法来从道路图像识别道路设施对象及其属性。
另外，对象识别部1121对根据道路图像的镜头的失真进行补正，并且在道路图像中检测车辆、摩托车和人等的移动对象并去除和排除其，由此能够有效地识别固定在地面或空中的道路设施对象。
特征点提取部1122在道路图像中提取至少一个以上的道路设施对象的特征点。此时，特征点提取部1122通过对象识别部1121提取识别到的道路设施对象的无数特征点。在检测特征点时，可适用FAST(Features from Accelerated Segment Test)演算法或ORB(Oriented FAST and Rotated BRIEF)演算法在内的SIFT(Scale-Invariant FeatureTransform)、AGAST(Adaptive and Generic Accelerated Segment Test)、SURF(Speeded-Up Robust Features)、BRIEF(Binary Robust Independent Elementary Features)、Harris角点(Harris corner)、Shi-Tomasi角点(Shi-Tomasi corner)等的多种演算法。
特征点追踪部1123在道路图像的连续的各个帧上对在道路图像的各个帧中提取到的道路设施对象的特征点进行彼此匹配(matching)并追踪(tracking)。
为了减少坐标决定部1125的演算量，关键帧决定部1124可在道路图像的各个帧中决定关键帧，并且控制为仅在关键帧中执行姿势获取部和空间坐标决定部的演算。
为此，关键帧决定部1124对道路图像的各个帧的特征点进行分析，并且在各个帧之间在特征点的目标空间坐标移动基准范围以上的情况下的帧决定为关键帧。因为关键帧意味着道路图像的各个图像帧中发生大的变化的帧，因此特征点的目标空间坐标移动基准范围以上的情况可决定为关键帧。特征点的目标空间坐标移动基准范围以上的情况意味着车辆移动一定距离以上从而在道路图像中特征点的位置变化移动基准范围以上。因为对如车辆停止或者以非常低的速度移动的情况那样几乎没有变化的道路图像的特征点进行追踪没有太大的意义，因此将车辆移动一定距离以上之后的帧决定为关键帧并且仅使用关键帧对特征点进行追踪，从而能够减少演算量。
此外，关键帧决定部1124将同时存在于多个关键帧中的相同的特征点决定为连测点，并且删除除了经决定的连测点以外的特征点，因此能够更加减少演算量。
坐标决定部1125从追踪到的特征点获取特征点的目标空间坐标，以最大限度地减少经预测的摄像机的姿势信息和计算出的摄像机的姿势信息的差异。此时，坐标决定部1125可按照道路图像的各个帧为单位来决定道路设施对象的特征点的目标空间坐标或绝对空间坐标。
补正部1126在识别到GCP对象时以空间坐标已知的GCP对象的坐标点为基准对特征点的目标空间坐标进行补正，从而获取特征点的绝对空间坐标。
因为道路设施对象为固定在地面和空中的任一个上的对象，因此存在于道路图像中的道路设施也可位于地面上或者悬浮在空中。
坐标决定部1125可用道路设施对象的属性来区分包括在道路图像中的道路设施对象是位于路面上的路面对象还是悬浮在空中的空中对象。
当辨别出道路设施对象的位置时，坐标决定部1125可通过以下两种方式决定该道路设施对象的特征点的空间坐标。
第一种方式作为能够决定路面对象和空中对象的空间坐标这两者的方式，其为在道路图像的各个帧中用摄像机的姿势信息决定空间坐标未知的各个空中对象的空间坐标的方式。
当在道路图像的连续帧或关键帧中追踪各个特征点时，可通过追踪各个图像帧的对应关系来预测各个特征点的位置或摄像机的姿势信息。
此时，从图像帧的对应关系预测的特征点的位置或摄像机的姿势信息与在实际道路图像的各个帧中计算出的各个特征点的位置或摄像机的姿势信息中可能发生差异，并且在最大限度地减少这种值的差异的过程中，可在道路图像的各个帧中获取各个特征点的目标空间坐标和摄像机的相对姿势信息。
然而，因为获取到的特征点的空间坐标和姿势信息可表现为关于基准位置或基准姿势的相对值，因此在某一时间点获知某一特征点的绝对空间坐标或摄像机的准确的姿势信息时，获取到的特征点的目标空间坐标和摄像机的相对姿势信息可补正为准确的值。
GCP对象中存在有绝对空间坐标已知的坐标点，并且关于这种GCP对象的属性和在GCP对象中可知绝对空间坐标的坐标点的信息事先存储在地图生成装置中。
因此，当识别到GCP对象时，坐标决定部1125检测空间坐标已知的至少四个坐标点，并且使用***模型(pin hole camera model)从检测到的至少四个坐标点获取摄像机的姿势信息。
摄像机的姿势信息作为关于摄像机的位置和姿势的信息，其包括关于摄像机的空间坐标和倾斜(roll)、俯仰(pitch)和偏航(yaw)的信息。
以下[数学式1]为示出通过***模型获取摄像机的外部参数的数学式。
【数学式1】
spc＝K[R|T]pw
在[数学式1]中，K表示摄像机的内部参数(intrinsic parameter)，[R|T]表示摄像机的外部参数，Pw表示3D空间坐标，Pc表示与3D空间坐标对应的2D摄像机坐标，并且s表示图像累积系数。摄像机的外部参数作为说明2D摄像机坐标系与3D世界坐标系之间的变化关系的参数，其包括关于摄像机的设置位置和姿势(roll、pitch、yaw)的信息，并且表示为两个坐标系之间的旋转矩阵R和平移变换矩阵T。
[数学式1]可表示为如下面的[数学式2]所示。
【数学式2】
Figure BDA0002345086500000131
此处，(x,y,z)为世界坐标系的3D空间坐标，fx为x轴方向的焦点距离，fy为y轴方向的焦点距离，(u,v)为摄像机坐标系的2D摄像机坐标，γ作为偏斜系数(skewcoefficient)，其为图像传感器单元阵列的y轴方向上的倾斜程度，(u0,v0)为摄像机的主要点(principal point)的摄像机坐标。
在道路图像的帧中，已知至少四个地点的绝对空间坐标，并且已知摄像机的内部参数(intrinsic parameter)和图像累积系数，因此可通过所述数学式获取摄像机的姿势信息。
补正部1126可以通过这种方式获取到的摄像机的姿势信息为基准在该帧中对各个特征点的目标空间坐标进行补正并获取绝对空间坐标。虽然将在后面描述，但是补正部1126也可使用其它方式来对特征点的空间坐标进行补正。
此外，第二种方式作为决定位于路面上的路面对象的空间坐标的方式，其为通过单应性变换来在道路图像的各个帧中决定空间坐标未知的各个路面对象的空间坐标的方式。
单应性(Homogaphy)可使用在路面对象的空间坐标和探测车辆的位置测量中。当将一个平面投影到其它平面上时，经投影的对应点之间会成立一定的变换关系，而这种变换关系被称为单应性。
因为单应性变换函数可为对各个维度的图像与一个绝对坐标系(绝对空间坐标)之间的关系进行限定的函数，因此单应性变换函数可将摄像机的图像坐标变换为绝对坐标系的空间坐标。能够使用这种变换关系来从事先空间坐标已知的四个地点的空间坐标和该地点的摄像机坐标计算出剩余路面的所有地点的空间坐标。
如上所述，补正部1126执行通过按照道路图像的各个帧为单位对收集到的道路设施对象的特征点和摄像机的姿势信息进行补正的过程，来最终对道路设施对象的绝对空间坐标进行补正的作用。
对道路设施对象的空间坐标进行补正的方式可使用四种方式。
作为第一种，可使用按照各个帧为单位捆绑摄像机的姿势信息，并且通过实际计算值与预测值的比较来进行补正的局部集束调整(LBA，local bundle adjustment)方式。
作为第二种，可使用在道路图像中在最初起点之后发现新的GCP对象的情况下，以新的GCP对象的绝对空间坐标值为基准对特征点的空间坐标进行补正的方式。根据通过坐标决定部1125决定的空间坐标值和新识别到的GCP对象的绝对空间坐标值的误差，可概括性地对之前获取到的特征点的空间坐标进行补正。
作为第三种，可使用在探测车辆开始行驶之后在某一瞬间重新经过之前已经过的区域的情况下，在探测车辆所经过的路径中决定形成环路(loop)的环路路径，并且以之前决定的道路设施对象的特征点的绝对空间坐标与当前决定的特征点的绝对空间坐标的差异为基础对存在于环路路径上的道路设施对象的特征点的绝对空间坐标进行补正的方式。
在本发明中，可使用所述三种方式中的至少一种方式来对道路设施对象的特征点的空间坐标进行补正。
图5是示出根据本发明的地图更新服务器的配置的框图。
参照图5，地图更新服务器200包括地图分配部210、候选组生成部220、候选确认部230和地图更新部240中的至少一个。
地图分配部210执行每当因新构建精密路线地图或道路设施对象的改变而更新精密路线地图时将精密路线地图分配给各个变化检测装置100_1至100_n的作用。
候选组生成部220从各个变化检测装置100_1至100_n收集关于道路设施对象的变化的对象变化信息，并且生成将对象变化信息的变化对象包括为候选的候选组信息。经生成的候选组信息被分配给各个变化检测装置100_1至100_n。
另外，如上所述，各个变化检测装置100_1至100_n在靠近包括在候选组信息中的候选中的一个时拍摄关于该候选的候选图像并将其传输到地图更新服务器200。
候选确认部230对从各个变化检测装置100_1至100_n接收到的候选图像进行分析，并且仅在包括在候选图像中的候选未被障碍物遮蔽的情况下确认该候选是否是真正的变化对象。
候选确认部230通过包括深度学习的机器学习或者多种图像处理法在候选图像中判断障碍物的属性，并且判断候选是否被障碍物遮蔽。如果候选对象应处的位置处存在有车辆、摩托车、人等的多种特定障碍物而导致在候选图像中完全无法查看候选对象的情况下，候选确认部230判断为存在有障碍物，并且由此判断候选对象被障碍物遮蔽。在判断为候选对象被障碍物遮蔽的情况下，候选确认部230不改变候选组信息并保持原样，并且等待直到从其它变化检测装置接收到关于该候选的图像为止。
如果，当在候选图像中检测到不被障碍物遮蔽的图像帧时，候选确认部230在该图像帧中判断候选对象的属性、候选对象是否存在、对候选对象的特征点的空间坐标和与其对应的精密路线地图的对象进行比较以最终判断是候选对象中是否发生变化。
最终，当判断为候选对象中发生变化时，地图更新部240基于该变化内容来更新现有的精密路线地图。地图更新部240通过在现有对象的属性改变时更新该对象的属性，在之前存在的对象消失时在精密路线地图中删除该对象，并且在出现新对象时在精密路线地图中生成新对象的方式更新精密路线地图。如果，当判断为候选对象中发生变化时，候选确认部230在更新精密路线地图之后在候选组信息中删除关于该候选对象的信息。
另外，最终，当判断为候选对象没有发生变化时，候选确认部230在候选组信息中删除关于该候选对象的信息。
另外，由于道路堵塞或道路工程等的理由，特定道路设施对象可能长时间地被障碍物遮蔽。
在这种情况下，判断为一直不存在该道路设施对象，因此长时间地包括在候选组信息中，由此每当各个变化检测装置100_1至100_n靠近该道路设施对象时，将拍摄该道路设施对象的图像发送到地图更新服务器200，并且地图更新服务器200继续执行对其的分析。
为了防止这种情况，候选确认部230在从至少两个以上的变化检测装置收集到的候选图像中相同的候选被障碍物遮蔽而完全不被识别的情况下，可在预设时间期间将该候选包括在非激活列表中。
地图更新服务器200将在每当候选组信息更新时更新的候选组信息分配给各个变化检测装置100_1至100_n。因为非激活列表包括在候选组信息中，因此每当非激活列表中发生改变时更新的非激活列表也被分配给各个变化检测装置100_1至100_n。
各个变化检测装置100_1至100_n参照包括在候选组信息中的非激活列表而保留对于包括在非激活列表中的候选的图像传输。
在下文中将对根据本发明的用于更新精密路线地图的对象变化检测方法进行说明。根据本发明的用于更新精密路线地图的对象变化检测方法作为由根据本发明的用于更新精密路线地图的对象变化检测***和变化检测装置执行的方法，由于其为实质上相同的发明，因此将省略重复的说明。
图6是示出根据本发明的用于更新精密路线地图的对象变化检测方法的流程图。
首先，由地图更新服务器200在每当因新构建精密路线地图或道路设施对象的改变而更新精密路线地图时将精密路线地图分配给各个变化检测装置100_1至100_n(S100)。
由变化检测装置100_1至100_n在道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标(S200)。
此外，由变化检测装置100_1至100_n对识别到的对象的属性和特征点的空间坐标与从地图更新服务器200接收到的精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，生成包括该变化对象的属性和特征点的空间坐标的对象变化信息(S300)。
作为关于变化对象的信息的对象变化信息每当被生成时被传输到地图更新服务器200(S350)。
由地图更新服务器200对包括从变化检测装置100_1至100_n接收到的各个变化对象的对象变化信息的候选组信息进行更新(S400)，并且将经更新的经更新的候选组信息分配给变化检测装置100_1至100_n。
由变化检测装置100_1至100_n在靠近包括在候选组信息中的候选中的一个时，拍摄该候选并生成候选图像(S500)，并且将其传输到地图更新服务器200(S550)。此时，在候选组信息中包括有非激活列表的情况下，对于包括在非激活列表中的候选，可在预设时间期间保留图像传输。
由地图更新服务器200对从变化检测装置100_1至100_n接收到的候选图像进行分析，并且判断包括在候选图像中的候选是否被遮蔽(S600)。
如果候选对象应处的位置处存在有车辆、摩托车、人等的多种特定障碍物而在候选图像的任一帧中均完全无法观察到候选对象的情况下，地图更新服务器200判断为存在有障碍物，并且由此判断候选对象被障碍物遮蔽。在判断为候选对象被障碍物遮蔽的情况下，由地图更新服务器200不改变候选组信息并保持原样并且等待直到从其它变化检测装置接收到关于该候选的图像为止(S650)。
当在候选图像中检测到不被障碍物遮蔽的图像帧时，由地图更新服务器200在该图像帧中判断候选对象的属性、候选对象是否存在、对候选对象的特征点的空间坐标和与其对应的精密路线地图的对象进行比较以判断候选对象是否发生变化，从而最终判断精密路线地图是否需要更新(S700)。
当候选对象中发生变化并且最终判断为需要更新精密路线地图时，由地图更新服务器200基于该变化内容对现有的精密路线地图进行更新(S800)。地图更新服务器200在对象的属性改变时对该对象的属性进行更新，在对象消失时在精密路线地图中删除该对象，并且在出现新对象时在精密路线地图中生成该对象。
接着，由地图更新服务器200将经更新的精密路线地图分配给所有变化检测装置100_1至100_n(S850)。
当精密路线地图被更新并分配时，由地图更新服务器200在候选组信息中删除更新关于该候选对象的信息(S900)。也将经更新的候选组信息分配给所有变化检测装置100_1至100_n(S450)。
另外，当候选对象中未发生变化并且最终判断为不需要更新精密路线地图时，由地图更新服务器200在候选组信息中删除更新关于该候选对象的信息(S900)。也将经更新的候选组信息分配给所有变化检测装置100_1至100_n(S450)。
图7是示出图6中的对象坐标获取过程的流程图。
首先，由变化检测装置100按照道路图像的帧为单位在道路图像的各个帧中对包括GCP(ground control point)对象和一般对象中的至少一个的道路设施对象和属性进行识别(S210)。为了识别道路设施对象，可使用包括深度学习的机器学习或多种图像处理法。
接着，由变化检测装置100在道路图像中提取至少一个以上的道路设施对象的特征点(S220)。
之后，由变化检测装置100在道路图像的连续的各个帧上对在道路图像的各个帧中提取到的所有道路设施对象的特征点进行彼此匹配并追踪(S230)。
在对特征点进行匹配之后，由变化检测装置100从追踪到的特征点获取特征点的目标空间坐标以最大限度地减少经预测的摄像机的姿势信息和计算出的摄像机的姿势信息的差异(S240)。
接着，当识别到GCP对象时，由变化检测装置100以绝对空间坐标值已知的GCP对象的坐标点为基准对特征点的目标空间坐标进行补正以获取特征点的绝对空间坐标(S250)。
通过这种方式获取到的道路设施对象的属性和特征点的空间坐标用于与对应的精密路线地图的对象进行比较。
在本文献中，各种实施例及其中使用的术语并不用于将本文献中记载的技术特征限定为特定实施例，并且应理解为包括该实施例的多种变型、等同物或替代物。关于与附图的说明，可对相似或相关的构成元件使用相似的附图标记。除非相关的上下文中明确地另有指示，否则与项目对应的名词的单数形式可包括一个或多个所述项目。在本文献中，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”的语句分别可包括该语句中与相关语句一同所列的项目中的任一种、或者他们的所有可能的组合。诸如“第一”、“第二”或“第一种”或“第二种”的措辞仅用于将该构成元件与其它构成元件区分开，并且该构成元件并不在其它方面(例如，重要性或顺序)首先限定。当某一(例如，第一)构成元件“功能性地”或“通信地”一同或者在没有这些措辞的情况下被称为“联接”或“连接”到其它(例如，第二)构成元件时，其意味着所述某一构成元件可直接(例如，有线地)、无线地或通过第三构成元件连接到所述其它构成元件。
本文献的各种实施例可实现为包括由机器(machine)(例如，电子装置1401)可读的存储介质(storage medium)(例如，内置存储器(1436)或外置存储器1438)中所存储的一个以上的命令的软件(例如，程序1440)。例如，机器(例如，电子装置1401)的控制部(例如，控制部1420)从存储介质调度所存储的一个以上的命令中的至少一个命令，并且执行该至少一个命令。这能够使机器运行为根据调度的所述至少一个命令来执行至少一个功能。所述一个以上的命令可包括由编译器生成的代码或者可由解释器执行的代码。机器可读存储介质可提供为非暂时性(non-transitory)存储介质的形态。此处，“非暂时性”不仅意味着存储介质为有形(tangible)的装置并且部包括信号(signal)(例如，电磁波)，而且该措辞并不区分数据半永久性地存储在存储介质中的情况和数据临时地存储在存储介质中的情况。
根据一实施例，根据本文献中公开的各种实施例的方法可以包括在计算机程序产品(computer program product)中的方式提供。计算机程序产品可作为商品在销售者与购买者之间进行交易。计算机程序产品可分配为机器可读的存储介质(例如，compact discread only memory(CD-ROM))形态，或者可通过应用程序商店(例如，Play商店TM)或者在两个用户装置(例如，智能电话)之间直接或在线分配(例如，下载或上传)。在在线分配的情况下，计算机程序产品的至少一部分可临时存储或者临时生成在诸如制造商的服务器、应用程序商店的服务器或中继服务器的存储器的机器可读的存储介质中。
根据各种实施例，上述的构成元件的各个配置元件(例如，模块或程序)可包括单个或多个实体。根据各种实施例，前述的该构成元件中的一个以上的配置元件或操作可被省略，或者一个以上的其它构成元件或操作可被添加。替代性地或附加地，多个配置元件(例如，模块或程序)可合并为一个配置元件。在这种情况下，合并的构成元件与在合并之前的所述多个配置元件中由该构成元件执行的功能相同或相似地执行所述多个配置元件中的每个的配置元件的一个以上的功能。根据各种实施例，模块、程序或由其它构成元件执行的操作可顺序地执行、并列地执行、反复地执行或启发性地执行，或者所述操作中的一个以上可以其它顺序执行、可被省略、或者可添加一个以上的其它操作。

Claims (12)

1.用于更新精密路线地图的对象变化检测***，其为包括对由固定在车辆上的摄像机拍摄的道路图像的道路设施对象与精密路线地图进行比较来检测对象的变化的至少一个以上的变化检测装置的***，其中，所述变化检测装置包括：
地图信息存储部，所述地图信息存储部从地图更新服务器接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其；
对象坐标获取部，所述对象坐标获取部在所述道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标；以及
变化对象检测部，所述变化对象检测部对识别到的所述对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和特征点的空间坐标和变化对象的图像的对象变化信息传输到所述地图更新服务器；
其中，所述变化对象为对象属性的改变、新对象的生成和现有对象的删除中的任一种。
2.如权利要求1所述的用于更新精密路线地图的对象变化检测***，其特征在于，所述对象坐标获取部包括：
对象识别部，所述对象识别部按照所述道路图像的帧为单位对包括GCP(groundcontrolpoint)对象和一般对象中的至少一个的道路设施对象和属性进行识别；
特征点提取部，所述特征点提取部在所述道路图像中提取至少一个以上的道路设施对象的特征点；
特征点追踪部，所述特征点追踪部在所述道路图像的连续帧中对所述特征点进行匹配并追踪；
坐标决定部，所述坐标决定部获取所述特征点的目标空间坐标以最大限度地减少从追踪到的所述特征点预测到的摄像机的姿势信息和计算出的摄像机的姿势信息的差异；以及
补正部，所述补正部当识别到所述GCP对象时，以绝对空间坐标值已知的所述GCP对象的坐标点为基准对所述特征点的目标空间坐标进行补正以获取所述特征点的绝对空间坐标。
3.如权利要求1所述的用于更新精密路线地图的对象变化检测***，其特征在于，所述地图更新服务器包括：
候选组生成部，所述候选组生成部从所述至少一个以上的变化检测装置收集所述对象变化信息，并且生成将所述对象变化信息的变化对象作为候选的候选组信息并分配给所述变化检测装置；
其中，所述变化检测装置在靠近包括在所述候选组信息中的候选中的一个时拍摄关于所述候选的候选图像并将其传输到所述地图更新服务器。
4.如权利要求3所述的用于更新精密路线地图的对象变化检测***，其特征在于，所述地图更新服务器还包括：
候选确认部，所述候选确认部仅在所述候选图像的候选未被障碍物折逼的情况下，确认是否是真正的变化对象；
地图更新部，所述地图更新部当确认为真正的变化对象时，对于真正的变化对象更新所述精密路线地图；
其中，经更新的所述精密路线地图被分配给所述至少一个以上的变化检测装置。
5.如权利要求4所述的用于更新精密路线地图的对象变化检测***，其特征在于，所述候选组信息包括保留关于特定候选的图像传输的非激活列表；
其中，对于相同的候选在从至少两个以上的变化检测装置收集到的候选图像中在所述相同的候选被障碍物遮蔽而完全无法被识别的情况下，所述地图更新服务器在预设时间期间将所述相同的候选包括在所述非激活列表中。
6.如权利要求1所述的用于更新精密路线地图的对象变化检测***，其特征在于，所述变化检测部按照所述道路图像的各个帧为单位对识别到的对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，而当在至少一个以上的帧中判断出对象一致时判断为对象没有发生变化。
7.用于更新精密路线地图的对象变化检测方法，其为由至少一个以上的变化检测装置执行的方法，包括以下步骤：
(a)从地图更新服务器接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其；
(b)在包括由固定在车辆上的摄像机拍摄的道路设施对象的图像的道路图像中识别至少一个以上的道路设施对象，并且获取识别到的所述对象的属性和特征点的空间坐标；以及
(c)对识别到的所述对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和特征点的空间坐标和变化对象的图像的对象变化信息传输到所述地图更新服务器；
其中，所述变化对象为对象属性的改变、新对象的生成和现有对象的删除中的任一种。
8.如权利要求7所述的用于更新精密路线地图的对象变化检测方法，其中，所述步骤(b)包括以下步骤：
按照所述道路图像的帧为单位对包括GCP(ground controlpoint)对象和一般对象中的至少一个的道路设施对象和属性进行识别；
在所述道路图像中提取至少一个以上的道路设施对象的特征点；
在所述道路图像的连续帧中对所述特征点进行匹配并追踪；
获取所述特征点的目标空间坐标以最大限度地减少从追踪到的所述特征点预测到的摄像机的姿势信息和计算出的摄像机的姿势信息的差异；以及
当识别到所述GCP对象时，以绝对空间坐标值已知的所述GCP对象的坐标点为基准对所述特征点的目标空间坐标进行补正以获取所述特征点的绝对空间坐标。
9.如权利要求7所述的用于更新精密路线地图的对象变化检测方法，其特征在于，还包括以下步骤：
由所述地图更新服务器从所述至少一个以上的变化检测装置收集所述对象变化信息，并且生成将所述对象变化信息的变化对象作为候选的候选组信息并分配给所述变化检测装置；以及
由所述变化检测装置在靠近包括在所述候选组信息中的候选中的一个时拍摄关于所述候选的候选图像并将其传输到所述地图更新服务器。
10.如权利要求9所述的用于更新精密路线地图的对象变化检测方法，其特征在于，还包括以下步骤：
由所述地图更新服务器仅在所述候选图像的候选未被障碍物折逼的情况下，确认是否是真正的变化对象；
当确认为真正的变化对象时，由所述地图更新服务器对于真正的所述变化对象更新所述精密路线地图；
其中，经更新的所述精密路线地图被分配给所述至少一个以上的变化检测装置。
11.如权利要求9所述的用于更新精密路线地图的对象变化检测方法，其特征在于，所述候选组信息包括保留关于候选的图像传输的非激活列表；
其中，对于相同的候选在从至少两个以上的变化检测装置收集到的候选图像中在所述相同的候选被障碍物遮蔽而完全无法被识别的情况下，由所述地图更新服务器在预设时间期间将所述相同的候选包括在所述非激活列表中。
12.如权利要求7所述的用于更新精密路线地图的对象变化检测方法，其特征在于，在所述步骤(c)中，按照所述道路图像的各个帧为单位对识别到的对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，而当在至少一个以上的帧中判断出对象一致时判断为对象没有发生变化。
CN201911391443.7A 2019-12-24 2019-12-30 用于更新精密路线地图的对象变化检测***及其方法 Active CN113034960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0174458 2019-12-24
KR1020190174458A KR102327185B1 (ko) 2019-12-24 2019-12-24 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
CN113034960A true CN113034960A (zh) 2021-06-25
CN113034960B CN113034960B (zh) 2023-05-23

Family

ID=69061159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391443.7A Active CN113034960B (zh) 2019-12-24 2019-12-30 用于更新精密路线地图的对象变化检测***及其方法

Country Status (5)

Country Link
US (1) US11619496B2 (zh)
EP (1) EP3842754A1 (zh)
JP (1) JP6976641B2 (zh)
KR (1) KR102327185B1 (zh)
CN (1) CN113034960B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229765A (zh) * 2023-05-06 2023-06-06 贵州鹰驾交通科技有限公司 一种基于数字数据处理的车路协同方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11391577B2 (en) * 2019-12-04 2022-07-19 Pony Ai Inc. Dynamically modelling objects in map
JP7136138B2 (ja) * 2020-01-29 2022-09-13 トヨタ自動車株式会社 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両
US11604070B2 (en) 2020-03-31 2023-03-14 GM Cruise Holdings LLC. Map maintenance and verification
US11898853B2 (en) * 2020-03-31 2024-02-13 Gm Cruise Holdings Llc Map surveillance system
US11340081B2 (en) * 2020-04-08 2022-05-24 Pony Ai Inc. System and method for updating map
CN112560684B (zh) * 2020-12-16 2023-10-24 阿波罗智联(北京)科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
US11579627B2 (en) * 2020-12-17 2023-02-14 Tusimple, Inc. Systems and methods for updating navigational maps
CN113515536B (zh) * 2021-07-13 2022-12-13 北京百度网讯科技有限公司 地图的更新方法、装置、设备、服务器以及存储介质
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
KR102487408B1 (ko) * 2021-09-07 2023-01-12 포티투닷 주식회사 로컬맵에 기초한 차량의 라우팅 경로 결정 장치, 방법 및 이를 기록한 기록매체
US20230077909A1 (en) * 2021-09-15 2023-03-16 Zoox, Inc. Road network validation
KR102544751B1 (ko) * 2021-11-24 2023-06-20 주식회사 엠큐닉 자율 주행을 위한 정밀도로지도 갱신 시스템 및 방법
KR102413157B1 (ko) * 2021-12-30 2022-06-24 주식회사 다리소프트 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
KR20240071553A (ko) 2022-11-16 2024-05-23 한국지능형교통체계협회 차량의 센서장치를 활용한 도로 객체 변화정보 처리 시스템 및 방법
KR102601513B1 (ko) * 2022-11-28 2023-11-13 주식회사 엠큐닉 앵커 포지션을 이용한 자율차전용지도 갱신 시스템 및 방법
KR102615600B1 (ko) * 2022-11-28 2023-12-19 주식회사 엠큐닉 자율 주행을 위한 정밀도로지도 갱신 시스템 및 방법
KR20240094596A (ko) 2022-12-16 2024-06-25 현대오토에버 주식회사 이미지 처리 방법 및 그 시스템
KR102642165B1 (ko) * 2023-02-15 2024-03-04 아주대학교산학협력단 지도 상의 보도를 갱신하는 방법, 이를 이용하는 서버 및 시스템
KR102619097B1 (ko) * 2023-06-29 2023-12-27 주식회사 휴데이터스 내비게이션 지도를 업데이트하는 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150144728A (ko) * 2014-06-17 2015-12-28 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成***
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates
CN109059954A (zh) * 2018-06-29 2018-12-21 广东星舆科技有限公司 支持高精度地图车道线实时融合更新的方法和***
KR20190003884A (ko) * 2017-06-30 2019-01-10 현대엠엔소프트 주식회사 지도 정보 갱신 장치, 방법 및 시스템
CN109641538A (zh) * 2016-07-21 2019-04-16 国际智能技术公司 使用车辆创建，更新地图的***和方法
JP2019114086A (ja) * 2017-12-25 2019-07-11 パイオニア株式会社 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム
KR102052114B1 (ko) * 2018-12-13 2019-12-04 한국도로공사 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
CA3027787A1 (en) * 2018-06-22 2019-12-22 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating highly automated driving maps

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4767578B2 (ja) * 2005-02-14 2011-09-07 株式会社岩根研究所 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
KR101931819B1 (ko) 2012-12-31 2018-12-26 (주)지오투정보기술 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
JP2016156973A (ja) * 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
EP3467806A4 (en) * 2016-05-30 2019-06-05 Mitsubishi Electric Corporation CARD DATA UPDATE DEVICE, CARD DATA UPDATE METHOD, AND CARD DATA UPDATE PROGRAM
JP6572930B2 (ja) * 2017-03-24 2019-09-11 株式会社デンソー 情報処理装置及び情報処理システム
JP6822427B2 (ja) * 2017-06-09 2021-01-27 株式会社デンソー 地図変化点検出装置
CN113168767B (zh) * 2018-11-30 2023-08-15 索尼集团公司 信息处理设备、信息处理***和信息处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150144728A (ko) * 2014-06-17 2015-12-28 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN109641538A (zh) * 2016-07-21 2019-04-16 国际智能技术公司 使用车辆创建，更新地图的***和方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成***
WO2018126215A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates
KR20190003884A (ko) * 2017-06-30 2019-01-10 현대엠엔소프트 주식회사 지도 정보 갱신 장치, 방법 및 시스템
JP2019114086A (ja) * 2017-12-25 2019-07-11 パイオニア株式会社 情報処理装置、情報収集装置、地図情報更新タイミング判定システム、地図情報更新タイミング判定方法およびプログラム
CA3027787A1 (en) * 2018-06-22 2019-12-22 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating highly automated driving maps
CN109059954A (zh) * 2018-06-29 2018-12-21 广东星舆科技有限公司 支持高精度地图车道线实时融合更新的方法和***
KR102052114B1 (ko) * 2018-12-13 2019-12-04 한국도로공사 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229765A (zh) * 2023-05-06 2023-06-06 贵州鹰驾交通科技有限公司 一种基于数字数据处理的车路协同方法

Also Published As

Publication number Publication date
CN113034960B (zh) 2023-05-23
EP3842754A1 (en) 2021-06-30
KR20210081984A (ko) 2021-07-02
KR102327185B1 (ko) 2021-11-17
US20210190512A1 (en) 2021-06-24
JP6976641B2 (ja) 2021-12-08
JP2021103284A (ja) 2021-07-15
US11619496B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
CN113034960B (zh) 用于更新精密路线地图的对象变化检测***及其方法
AU2017300097B2 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US10962982B2 (en) Crowdsourcing the collection of road surface information
CN113034540A (zh) 基于摄像机的自动化精密道路地图生成***及方法
CN105512646B (zh) 一种数据处理方法、装置及终端
CN102208012B (zh) 风景匹配参考数据生成***及位置测量***
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN102208035B (zh) 图像处理***及位置测量***
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN102208013A (zh) 风景匹配参考数据生成***和位置测量***
US7860269B2 (en) Auxilliary navigation system for use in urban areas
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
CN102208036A (zh) 车辆位置检测***
KR102362504B1 (ko) 수치지도의 위치별 오류검출 시스템
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
US11485373B2 (en) Method for a position determination of a vehicle, control unit, and vehicle
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
CN111754388B (zh) 一种建图方法及车载终端
KR102358547B1 (ko) 유동성을 지닌 mms의 실측치 실시간 보정을 통한 수집데이터 출력시스템
WO2022030033A1 (ja) 地物データの生成システム、地物データベース更新システム及び地物データの生成方法
TW202115616A (zh) 應用路側特徵辨識之圖資定位系統及方法
KR102356162B1 (ko) 특정구역의 수집 정보에 대한 레이어 자동변환 기능의 모바일 매핑 시스템
JP7468075B2 (ja) 管制制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant