KR102052114B1 - Object change detection system for high definition electronic map upgrade and method thereof - Google Patents

Abstract

The present invention relates to an object change detection system for high definition electronic map upgrade which can reduce the cost and communication load of a device for object change detection while a probe vehicle detects an object change on a road and updates an electronic map to maintain the quality of the high precision electronic map for an autonomous vehicle, and a method thereof. Changes in road-related neighboring objects that frequently change in the generated high-precision map are detected by inexpensive sensors. Instead of sending overall sensing information that causes excessive network load, only the results processed by the device mounted on the probe vehicle in relation to the change of the object are transmitted to a server. So, it is possible to reduce the cost of the device for object change detection, minimize the network load, and reduce the operation burden, thereby promoting the dissemination and commercialization of autonomous driving. The object change detection system includes a probe device for map update and a map update server.

Description

고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법{Object change detection system for high definition electronic map upgrade and method thereof}Object change detection system for high definition electronic map upgrade and method

본 발명은 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법에 관한 것으로, 특히 자율주행 차량을 위한 고정밀 전자지도의 품질을 유지하기 위하여 프로브 차량이 도로 상의 객체 변화를 탐지하여 전자지도를 갱신하는 과정에서 객체 변화 탐지를 위한 장치의 비용과 통신 부하를 낮출 수 있도록 한 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법에 관한 것이다.The present invention relates to an object change detection system and method for updating a high-precision electronic map, and more particularly, a process in which a probe vehicle detects an object change on a road and updates the electronic map to maintain the quality of the high-precision electronic map for an autonomous vehicle. The present invention relates to an object change detection system and method for updating high precision electronic maps to reduce the cost and communication load of the device for object change detection.

길안내를 위한 네비게이션 서비스와 전자지도를 활용한 다양한 서비스들이 일반화되면서 전자지도의 중요성과 정확성에 대한 관심이 높아지고 있으며, 단순한 길안내나 부가 정보 제공을 위한 전자지도의 품질을 유지하기 위해서 전자지도 서비스 제공자는 엄청난 비용과 시간을 들여 지속적으로 도로 정보를 수집하고 있다.As navigation services for road guidance and various services using electronic maps have become commonplace, interest in the importance and accuracy of electronic maps has increased, and electronic map services have been developed to maintain the quality of electronic maps for simple guidance or additional information. Providers continue to collect road information at great expense and time.

한편, 자율주행에 대한 연구가 심화되고 있으며 서비스의 상용화가 점차 현실화되면서 자율주행을 위한 고정밀 전자지도에 대한 필요성도 높아지고 있다.On the other hand, research on autonomous driving is intensifying, and as the commercialization of services becomes a reality, the need for high-precision electronic maps for autonomous driving is increasing.

자율주행을 위해서는 차량이 다양한 도로 정보를 수집해야 하는데, 현실적으로 차량의 센서 만을 통해서 방대한 정보를 실시간 수집하여 분석하는 것은 쉽지 않으며 악천후와 같은 기상 조건이나 센서 블라인드 스팟 등이 존재하기 때문에 차량의 자율 주행이 현실화되려면 실제 자율 주행에 필요한 각종 정보를 제공해 줄 수 있는 고정밀 전자지도가 필수적이다. For autonomous driving, the vehicle needs to collect various road information, but in reality, it is not easy to collect and analyze the vast amount of information through the sensor of the vehicle in real time, and the autonomous driving of the vehicle is difficult because there are weather conditions such as bad weather or sensor blind spots. In order to become a reality, a high-precision electronic map that can provide a variety of information necessary for actual autonomous driving is essential.

이러한 고정밀 전자지도에는 도로와 주변 지형의 정보를 높은 정확도로 구축한 3차원 지도로서, 실제 도로와 25Cm 이내의 오차를 가지는 정밀한 지도를 의미한다. 통상 일반적인 전자지도의 정보(길안내를 위해 필요한 노드 정보들과 링크 정보들)와 더불어 도로의 폭, 도로의 곡률, 도로의 경사도, 차선 정보(점선, 실선, 정지선 등), 면형 정보(횡단보도, 과속방지턱, 갓길 등), 노면 마크 정보, 표지판 정보, 시설물 정보(신호등, 연석, 맨홀 등) 등을 포함한다.The high-precision electronic map is a three-dimensional map constructed with high accuracy of road and surrounding terrain, and means a precise map having an error within 25 cm from the actual road. In addition to general electronic map information (node information and link information necessary for guiding the road), road width, curvature of the road, road inclination, lane information (dotted line, solid line, stop line, etc.), planar information (crosswalk) , Speed bumps, shoulders, etc.), road marking information, sign information, facility information (traffic light, curb, manhole, etc.).

이러한 고정밀 전자지도를 생성하기 위해서는 모바일 매핑 시스템(MMS)과 항공사진 촬영 정보 및 다양한 관련 자료들을 이용한다. MMS는 프로브 차량에 장착되어 차량의 운행과 함께 도로 주변에 있는 지형지물의 위치 측정과 시각정보를 취득할 수 있도록 것으로 대단히 고가의 장비에 해당한다. 이러한 MMS는 다양한 센서들로 구성되는데, 차체의 위치와 자세정보를 취득하기 위한 GPS(Global Positioning System), 관성 항법 장치(Inertial Navigation System; INS), 관성 측정 장치(Inertial Measurement Unit; IMU) 등 센서와 지형지물의 형상과 정보를 수집하기 위한 카메라, LiDAR(Light Detection and Ranging) 센서 등을 포함한다. 이러한 센서들 중에서 LiDAR 센서는 3차원 점군 데이터를 얻어 객체의 입체적인 형상을 파악하기 위한 것으로 정밀한 공간정보가 필요할수록 점군의 해상도가 높아야하므로 대단히 고가의 장비라는 점에서 MMS의 가격을 높이는 주요 원인이 되며 그로인하여 고정밀 전자지도 서비스 제공자가 MMS를 탑재한 차량을 다수 운용하기가 쉽지 않다. To generate such a high-precision electronic map, mobile mapping system (MMS), aerial photographing information, and various related data are used. MMS is a very expensive piece of equipment that can be installed in a probe vehicle to acquire the position measurement and visual information of the feature around the road as the vehicle moves. The MMS is composed of various sensors, such as a GPS (Global Positioning System), an Inertial Navigation System (INS), an Inertial Measurement Unit (IMU), etc., for acquiring vehicle position and attitude information. And cameras, LiDAR (Light Detection and Ranging) sensors, and the like to collect features and features of features. Among these sensors, the LiDAR sensor is used to obtain the three-dimensional point group data to identify the three-dimensional shape of the object. As the precise spatial information is required, the resolution of the point group must be higher, which is a very expensive device, which is the main cause of increasing the price of MMS. As a result, it is difficult for a high-precision electronic map service provider to operate many vehicles equipped with MMS.

따라서, 현재의 기술 수준으로도 자본과 장비 및 인력을 투입하여 원하는 지역의 고정밀 전자지도 데이터베이스를 구축할 수 있으나, 수시로 변경되는 도로 및 인접 구조물의 변화에 대응하기 위하여 주기적이거나 수시로 고정밀 전자지도에 변화 내용을 갱신해야 하는데 이러한 지속적인 서비스를 제공하기에는 아직 투자 대비 효과가 낮은 문제가 있어 고가의 MMS 탑재 프로브 차량을 다수 보유하여 지속적으로 운영하기 어려운 실정이다.Therefore, even at the current level of technology, it is possible to construct a high-precision electronic map database of a desired area by investing capital, equipment, and manpower, but periodically or frequently changes the high-precision electronic map to cope with changes in roads and adjacent structures that change from time to time. Although it is necessary to update the contents, it is difficult to continuously operate it because there are many expensive MMS-mounted probe vehicles to provide such continuous services.

더불어, MMS 탑재 프로브 차량은 고정밀 측정을 위한 것으로 많은 수의 점군 데이터를 생성하고 영상 및 관련 센서 측정 정보들을 생성하는데, 이를 해당 장치 내부에서 모두 실시간으로 처리할 수 없으므로 측정된 모든 정보를 무선망을 통해 서버에 전송하거나 로컬 저장 장치에 저장하고, 서버가 MMS 탑재 차량이 무선망이나 별도 저장 장치로 전송하는 데이터들을 수집한 후 분석을 수행하게 된다. 무선망을 통해 모든 데이터를 전송하는 방식의 경우 MMS 탑재 차량이 실시간 전송하는 엄청난 규모의 데이터를 서버가 수집하기 위한 네트워크 부하가 크므로 통신 비용과 전력 및 서버의 부하 측면에서 초기 정밀 지도 구축이 아닌 수시로 이루어지는 변화 탐지와 갱신을 위한 목적으로는 적합하지 않다. 한편, 로컬 저장 장치에 저장한 후 나중에 분석하는 방식의 경우 상당한 지연이 발생하며 수집 데이터가 부족하거나, 노이즈가 많거나, 혹은 오류가 있는 경우 곧바로 추가 측정을 진행할 수 없고, 차량에 저장 장치를 보관해야 하므로 충격이나 파손 등에 의해 수집 데이터가 소실될 수 있는 문제가 있다.In addition, the probe vehicle equipped with MMS generates a large number of point group data and generates image and related sensor measurement information for high precision measurement, and it is impossible to process all the information inside the device in real time. The data is transmitted to the server or stored in a local storage device, and the server collects data transmitted by the MMS-equipped vehicle to a wireless network or a separate storage device, and then analyzes the data. In the case of transmitting all the data through the wireless network, the network load for the server to collect the huge amount of data transmitted by the MMS-equipped vehicle in real time is large, so it is not necessary to establish an initial precise map in terms of communication cost, power and server load. It is not suitable for the purpose of detecting and updating changes from time to time. On the other hand, there is a significant delay in the method of storing in local storage and later analyzing, and if the collected data is insufficient, noisy, or in error, no further measurements can be made immediately, and the storage is stored in the vehicle. Therefore, there is a problem that the collected data may be lost due to impact or damage.

따라서, 자율주행을 위한 고정밀 지도에 대한 기본 정보가 구축되어 있는 상태에서 해당 고정밀 지도에 포함된 객체 정보가 변경된 것을 검출하여 이를 갱신하고자 하는 목적에 적합한 별도의 수단을 마련하여 MMS 탑재 프로브 차량과 별도의 갱신용 프로브 차량을 운영할 수 있도록 하는 새로운 기술이 요구되고 있는 실정이다. Therefore, when the basic information on the high-precision map for autonomous driving is constructed, the object information included in the high-precision map is detected, and a separate means suitable for the purpose of updating and detecting the object information is provided to separate it from the MMS-mounted probe vehicle. There is a need for a new technology for operating an update probe vehicle.

한국 공개특허 제10-2014-0072763호, [영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템]Korean Patent Laid-Open No. 10-2014-0072763, [Digital Mapping System for Determining a Target Object by Comparing Image Information and Aerial Photographic Data and Obtaining 3D Coordinates of the Target Object Using Camera Acquisition Information] 한국 공개특허 제10-2016-0060275호, [고정밀 벡터지도 제공 방법]Korean Unexamined Patent Publication No. 10-2016-0060275, [Method of Providing High Precision Vector Map]

자율주행을 위한 고정밀지도 정보 측정을 위해 라이다를 포함하는 고가의 센서를 포함하는 다양한 센서들과 고해상도 영상 정보를 생성하는 카메라를 이용하여 대용량 데이터를 로컬 저장 장치(차량 내)에 저장하거나 서버에 전송하는 방식으로 동작하는 기존의 MMS(Mobile Mapping System)는 수시로 변경되는 도로 관련 인접 객체들의 변화를 탐지하여 이미 생성된 고정밀지도를 갱신하기 위한 목적으로는 과도한 비용과 네트워크 부하를 발생시킨다. 따라서, 본 발명 실시예들의 목적은 이미 생성된 고정밀 전자지도에서 수시로 변화되는 도로 관련 인접 객체들의 변화를 저가의 센서들을 통해서 탐지하되, 과도한 네트워크 부하를 발생시키는 전체 센싱 정보 대신 객체의 변화에 관련하여 탐지된 결과만 서버에 전송하도록 함으로써 객체 변화 탐지를 위한 장치의 비용을 낮추고 네트워크 부하를 최소화하여 운용 부담을 줄일 수 있도록 한 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법을 제공하는 것이다.To store high-capacity map information for autonomous driving, various sensors including expensive sensors including Lidar and cameras generating high resolution image information are used to store large amounts of data in a local storage device (in a vehicle) or on a server. Existing Mobile Mapping System (MMS), which operates in a way of transmitting, generates excessive costs and network loads for the purpose of detecting a change of adjacent road-related neighboring objects that are changed from time to time and updating the generated high-precision map. Accordingly, an object of the embodiments of the present invention is to detect changes in road-related neighboring objects, which are frequently changed in a generated high-precision electronic map, by inexpensive sensors, but in connection with the change of an object instead of the entire sensing information that causes excessive network load. The present invention provides an object change detection system and method for updating high-precision electronic maps by reducing the cost of a device for object change detection and minimizing network load by transmitting only the detected result to a server.

본 발명의 다른 목적은 스테레오 이미지에서 이미 고정밀 전자지도에 존재하는 정밀 공간좌표 속성을 가지는 객체들을 구분하고, 이들을 기준으로 관심 객체에 대한 공간 위치를 산출하도록 하되, 누적 측정 정보를 이용하여 객체의 변화를 확인하는 것으로 신규 객체와 기존 객체의 변화를 비교적 낮은 정밀도를 가진 센서들을 이용하면서도 신뢰할 수 있는 수준으로 관리할 수 있도록 한 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법을 제공하는 것이다.Another object of the present invention is to classify objects having precision spatial coordinate attributes already present in a high-precision electronic map in a stereo image, and to calculate a spatial position of the object of interest based on them, and to change the object using cumulative measurement information. The present invention provides an object change detection system and method for updating a high-precision electronic map that enables the management of changes of new and existing objects to a reliable level while using sensors with relatively low precision.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템은 이동체에 탑재되어 자율주행을 위하여 이미 마련된 고정밀 전자지도에 포함된 객체의 변화를 탐지하는 지도 갱신용 프로브 장치와, 지도 갱신용 프로브 장치의 제공 정보를 수집하여 고정밀 전자지도를 갱신하는 지도 업데이트 서버를 포함하는 객체 변화 탐지 시스템에 관한 것으로, 지도 갱신용 프로브 장치는 도로의 스테레오 이미지와 상기 이동체의 위치 및 자세 정보를 이동에 따라 반복적으로 획득하되 획득된 정보를 기반으로 매번 이미지 내 객체들의 종류와 공간 위치를 기 보유한 고정밀 전자지도 객체와 비교하여 변화를 반복 수집한 후 객체 변화 정보만을 지도 업데이트 서버에 제공하며, 지도 업데이트 서버는 지도 갱신용 프로브 장치로부터 수집한 객체 변화 정보를 누적 판단하여 신규 객체를 고정밀 전자지도에 추가하거나 기존 객체의 변경 상태를 반영한 후 상기 지도 갱신용 프로브 장치 및 자율주행 차량을 위한 갱신 정보를 생성하여 제공한다.In order to achieve the above object, the object change detection system for updating the high-precision electronic map according to an embodiment of the present invention is mounted on a moving object to detect the change of the object included in the high-precision electronic map already prepared for autonomous driving An object change detection system including a map update probe device and a map update server that collects provision information of a map update probe device and updates a high-precision electronic map. The probe update device includes a stereo image of a road and the It acquires the position and posture information of the moving object repeatedly according to the movement, but compares the object change information after repeatedly collecting changes by comparing with the high-precision electronic map object which already holds the type and spatial location of the objects in the image every time based on the acquired information. To the update server, and the map update server Accumulate and determine the object change information collected from the update probe device to add a new object to the high-precision electronic map or reflect the change state of the existing object to generate and provide update information for the map update probe device and autonomous vehicles. .

일례로서, 지도 갱신용 프로브 장치는 지도 업데이트 서버와 통신하는 통신부와, 지도 업데이트 서버로부터 수신한 고정밀 전자지도 정보를 구비한 고정밀 지도 및 객체 데이터베이스와, 이동체의 위치와 자세를 센싱하는 센서를 통해 이동체의 위치와 자세를 측정하는 이동체 위치 및 자세 측정부와, 스테레오 카메라를 통해 도로의 좌우 영상을 획득하는 영상 획득부와, 영상 획득부의 영상으로부터 객체의 종류와 객체의 공간 위치를 검출하는 객체 감지부와, 객체 감지부에서 감지된 객체의 공간 위치와 이동체의 위치 및 자세를 고정밀 지도 및 객체 데이터베이스에 저장된 고정밀 전자지도에 대응시키며, 감지된 객체들 중 GCP(Ground Control Point: 지상 기준점) 속성이 포함된 객체들을 기준으로 다른 감지 객체들의 공간 좌표를 다시 산출하는 객체 공간 좌표 산출부와, 이동체의 이동에 따라 반복 산출된 상기 객체 공간 좌표 산출부의 객체들에 대한 변화 정보의 누적이 기준 이상인 경우 신규 객체나 변경 객체에 대한 산출 정보만 상기 통신부를 통해 상기 지도 업데이트 서버에 제공하는 지도 객체 갱신부를 포함할 수 있다.As an example, the map updating probe apparatus includes a communication unit communicating with a map update server, a high precision map and object database having high-precision electronic map information received from the map update server, and a sensor for sensing the position and posture of the moving object. Moving object position and posture measuring unit for measuring the position and posture of the image, image acquisition unit for acquiring the left and right images of the road through the stereo camera, object detection unit for detecting the type of object and the spatial position of the object from the image acquisition unit image And the spatial position of the object detected by the object detector and the position and posture of the moving object to correspond to the high-precision map and the high-precision electronic map stored in the object database, and among the detected objects, GCP (Ground Control Point) property is included. An object blank that recalculates the spatial coordinates of other sensed objects based on If the cumulative change information of the coordinate calculation unit and the change information of the objects of the object space coordinate calculation unit repeatedly calculated according to the movement of the moving object is more than a reference, only the calculation information for the new object or the change object is transmitted to the map update server through the communication unit. It may include a map object updating unit to provide.

일례로서, 객체 공간 좌표 산출부는 고정밀 지도에 대응시켜 얻은 객체들 중에서 GCP 속성을 가진 객체 간의 위치 정확도를 산출하여 위치 이동 여부를 판단하고, GCP 속성을 가진 객체들 중에서 복수의 기준 객체들을 선별한 후 이들을 기준으로 GCP 속성이 없는 신규 객체의 위치를 산출하며, 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 신규 객체에 대해 그 위치를 반복 산출하여 신규 객체 여부에 대한 정확도가 기준 이상이 되면, 해당 신규 객체에 대한 정보를 상기 지도 업데이트 서버에 제공할 수 있다.As an example, the object space coordinate calculation unit calculates the position accuracy between objects having a GCP attribute among objects obtained by corresponding to a high-precision map, determines whether the position is moved, and selects a plurality of reference objects from the objects having the GCP attribute. Based on these, the position of a new object having no GCP property is calculated, and the position is repeatedly calculated for the same new object detected in subsequent images according to the movement of the moving object. Information about the new object may be provided to the map update server.

한편, 기준 객체들을 기준으로 신규 객체의 위치를 산출하는 것은 기준 객체들의 알려진 공간 좌표와 기준 객체들의 이미지 상 픽셀 위치들을 기준으로 신규 객체의 공간 좌표 중 2개 축에 대한 위치를 비례적으로 검출하고, 스테레오 이미지 간 격차를 정리한 격차맵을 생성하면서 얻어진 히스토그램 컬러값을 이용하여 신규 객체의 깊이에 대응하는 나머지 1개 축에 대한 위치를 비례적으로 검출할 수 있다.On the other hand, calculating the position of the new object based on the reference objects detects proportionally the position of two axes of the new object's spatial coordinates based on the known spatial coordinates of the reference objects and the pixel positions on the image of the reference objects. In addition, by using a histogram color value obtained by generating a gap map that summarizes the gap between stereo images, the position of the remaining one axis corresponding to the depth of the new object may be detected proportionally.

여기서, 신규 객체의 깊이에 대응하는 위치를 검출할 경우 격차맵의 비선형 특성을 반영하는 것이 바람직하다.Here, when detecting a position corresponding to the depth of the new object, it is preferable to reflect the nonlinear characteristics of the gap map.

한편, 객체 공간 좌표 산출부는 고정밀 지도에 대응시켜 얻은 객체들 중에서 GCP 속성을 가진 객체 간의 위치 정확도를 산출하여 위치 이동 여부를 판단하고 위치 이동이 기준 이상인 경우 이동체의 이동에 따른 후속 이미지들에서 검출되는 GCP 속성을 가진 객체 간의 위치 정확도를 누적하여 기준 이상 위치 이동한 것이 임계치 이상 반복되면, 해당 이동 객체에 대한 정보를 상기 지도 업데이트 서버에 제공할 수 있다.On the other hand, the object space coordinate calculation unit calculates the position accuracy between the objects having a GCP attribute among the objects obtained in correspondence with the high-precision map, and determines whether the position is moved or not is detected in subsequent images according to the movement of the moving object if the position movement is above the reference If the movement of the position over the reference value by accumulating the position accuracy between objects having the GCP attribute is repeated over the threshold value, information about the corresponding movement object may be provided to the map update server.

일례로서, 객체 공간 좌표 산출부는 객체간 절대위치 차이와 객체간 상대위치 차분값을 산출하되, 지도 업데이트 서버에 제공할 신규 객체나 위치 이동 객체 정보의 위치 산출값은 N번 반복 연산된 객체의 상대위치 차분값에 근접한 객체간 절대 위치 차이를 가지는 공간 좌표를 선택할 수 있다.As an example, the object space coordinate calculation unit calculates an absolute difference between objects and a relative position difference value between objects, but the position calculation value of the new object or the moving object information to be provided to the map update server is calculated relative to the object repeatedly repeated N times. A spatial coordinate having an absolute position difference between objects close to the position difference value may be selected.

일례로서, 지도 업데이트 서버는 지도 갱신용 프로브 장치와 통신하는 통신부와, 고정밀 전자지도와 객체에 대한 데이터베이스와 연동하는 데이터베이스 관리부와, 통신부를 통해 지도 갱신용 프로브 장치로부터 수신한 객체 변화 정보가 신규 객체라면 신규 객체 리스트에 대기 상태로 등록하거나 대기 상태로 기 등록된 신규 객체의 경우 신규 객체 정확도를 갱신하여 기준 이상인지 판단하는 신규 객체 리스트 관리부와, 통신부를 통해 지도 갱신용 프로브 장치로부터 수신한 객체 변화 정보가 기존 객체의 변경이라면 해당 객체의 품질을 감소시키며 그 값이 기준 이하인지 판단하는 기존 객체 품질 관리부와, 신규 객체 리스트 관리부와 기존 객체 품질 관리부의 판단 결과에 따라 데이터베이스 관리부를 통해 고정밀 전자지도의 객체 정보를 갱신하도록 하는 업데이트 관리부와, 상기 업데이트 관리부의 업데이트 정보의 내용이 기준 이상이거나 업데이트 주기가 되면 상기 지도 갱신용 프로브 장치를 위한 갱신 정보를 생성하는 프로브 이동체 업데이트 정보 제공부와, 상기 지도 갱신용 프로브 장치나 일반 사용자를 위하여 업데이트 된 고정밀 전자지도 갱신 정보를 생성하여 제공하는 업데이트 정보 제공부를 포함할 수 있다.As an example, the map update server includes a communication unit communicating with a map updating probe device, a database management unit interworking with a database for a high-precision electronic map and an object, and object change information received from the map updating probe device through the communication unit. A new object list management unit for determining whether the new object is registered in the new object list in the waiting state or previously registered in the waiting state by updating the accuracy of the new object to determine whether the reference value is higher than the reference, and the object change received from the probe device for updating the map through the communication unit. If the information is a change of an existing object, the quality of the high-precision electronic map can be changed through the database management unit according to the determination result of the existing object quality management unit that judges whether the value is lower than the standard and the value is below the standard, and the new object list management unit and the existing object quality management unit. Update object information An update management unit configured to generate an update information for the map updating probe device when an update management unit configured to update the contents of the update information of the update management unit is equal to or higher than a reference period, and the map updating probe device; It may include an update information providing unit for generating and providing updated high-precision electronic map update information for the general user.

본 발명의 다른 실시예에 따른 고정밀 전자지도 갱신을 위한 객체 변화 탐지 방법은 이동체에 탑재되어 자율주행을 위하여 이미 마련된 고정밀 전자지도에 포함된 객체의 변화를 탐지하는 지도 갱신용 프로브 장치와, 지도 갱신용 프로브 장치의 제공 정보를 수집하여 고정밀 전자지도를 갱신하는 지도 업데이트 서버를 포함하는 객체 변화 탐지 시스템을 이용한 객체 변화 탐지 방법에 관한 것으로, 지도 갱신용 프로브 장치가 도로의 스테레오 이미지와 이동체의 위치 및 자세 정보를 검출하고, 스테레오 이미지에서 객체들을 검출하는 단계와, 지도 갱신용 프로브 장치가 스테레오 이미지에서 검출된 객체들의 유형과 공간 좌표를 검출하고, 이미 마련된 고정밀 전자지도와 이동체의 위치를 일치시킨 후 검출된 객체들을 고정밀 전자지도의 객체들과 비교하는 단계와, 지도 갱신용 프로브 장치가 이동체 이동에 따른 복수의 스테레오 이미지로부터 객체를 검출하여 고정밀 전자지도의 객체들과 반복 비교하여 신규 객체나 기존 객체의 변경이 있는 경우에만 신규 객체나 변경 객체 관련 정보를 지도 업데이트 서버에 제공하는 단계와, 지도 업데이트 서버가 지도 갱신용 프로브 장치로부터 수집한 객체 변화 정보를 누적 판단하여 신규 객체를 고정밀 전자지도에 추가하거나 기존 객체의 변경 상태를 반영한 후 지도 갱신용 프로브 장치를 위한 갱신 정보를 생성하여 제공하는 단계를 포함한다.Object change detection method for a high-precision electronic map update according to another embodiment of the present invention is a map updating probe device for detecting a change in the object contained in a high-precision electronic map that is mounted on a moving object for autonomous driving, and map update The present invention relates to an object change detection method using an object change detection system including a map update server that collects provision information of a probe device for updating a high-precision electronic map. The probe update device includes a stereo image of a road and a position of a moving object. Detecting posture information, detecting objects in the stereo image, and detecting a type and spatial coordinates of the objects detected in the stereo image by the map updating probe device, and matching the position of the moving object with the high-precision electronic map already prepared. The detected objects are compared with the objects of the high precision In the interchanging step, the map updating probe apparatus detects an object from a plurality of stereo images according to the movement of the moving object, and repeatedly compares it with the objects of the high-precision electronic map, and only when there is a change of a new object or an existing object. Providing related information to the map update server, and accumulatively determining object change information collected by the map update probe device to add a new object to the high-precision electronic map, or updating a map after reflecting the change state of an existing object. And generating and providing update information for the device probe device.

일례로서, 신규 객체나 변경 객체 관련 정보를 상기 지도 업데이트 서버에 제공하는 단계에서, 지도 갱신용 프로브 장치가 고정밀 전자지도의 객체들과 반복 비교하여 얻은 객체들 중에서 GCP 속성을 가진 객체 간의 위치 정확도를 산출하여 위치 이동 여부를 판단하고, GCP 속성을 가진 객체들 중에서 복수의 기준 객체들을 선별한 후 이들을 기준으로 GCP 속성이 없는 신규 객체의 위치를 산출하며, 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 신규 객체에 대해 그 위치를 반복 산출하여 신규 객체 여부에 대한 정확도가 기준 이상이 되면 해당 신규 객체에 대한 정보를 지도 업데이트 서버에 제공하고, 지도 갱신용 프로브 장치가 GCP 속성을 가진 객체 중 위치 이동이 기준 이상인 경우 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 GCP 속성을 가진 객체의 위치를 누적하여 기준 이상 위치 이동한 것이 임계치 이상 반복되면 해당 이동 객체에 대한 정보를 상기 지도 업데이트 서버에 제공하는 단계를 포함할 수 있다.For example, in the step of providing new or changed object-related information to the map update server, the map update probe device measures the position accuracy between objects having a GCP attribute among objects obtained by iteratively comparing the objects of the high-precision electronic map. It calculates whether to move the position, selects a plurality of reference objects among the objects having the GCP attribute, calculates the position of the new object without the GCP attribute based on them, and is detected in subsequent images according to the movement of the moving object When the location of the same new object is repeatedly calculated and the accuracy of whether or not the new object is higher than the standard, information about the new object is provided to the map update server, and the probe device for map update moves the position among the objects having the GCP property. If it is above this criterion, the same detected in subsequent images following the movement of the moving object If accumulating the position of an object having one GCP attribute and moving the position beyond the reference value, the method may include providing information on the corresponding moving object to the map update server.

본 발명의 실시예들에 따른 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법은 이미 생성된 고정밀지도에서 수시로 변화되는 도로 관련 인접 객체들의 변화를 저가의 센서들을 통해서 탐지하되, 과도한 네트워크 부하를 발생시키는 전체 센싱 정보 대신 객체의 변화에 관련하여 프로브 차량에 장착된 장치에서 처리된 결과만 서버에 전송하도록 함으로써 객체 변화 탐지를 위한 장치의 비용을 낮추고 네트워크 부하를 최소화하여 운용 부담을 줄일 수 있어 자율주행의 보급과 상용화를 촉진시킬 수 있는 효과가 있다.The object change detection system and method for updating a high-precision electronic map according to embodiments of the present invention detects changes of adjacent road-related neighboring objects, which are frequently changed in the high-precision map, which is already generated, but generates excessive network load. By sending only the results processed by the device mounted on the probe vehicle to the server in relation to the change of the object instead of the entire sensing information, the cost of the device for detecting the change of the object can be lowered and the operational burden can be reduced by minimizing the network load. There is an effect that can promote the dissemination and commercialization of.

본 발명의 실시예들에 따른 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법은 스테레오 이미지에서 이미 고정밀 전자지도에 존재하는 정밀 공간좌표 속성을 가지는 객체들을 구분하고 이들을 기준으로 관심 객체에 대한 공간 위치를 산출하도록 하되, 누적 측정 정보를 이용하여 객체의 변화를 확인하는 것으로 신규 객체와 기존 객체의 변화를 비교적 낮은 정밀도를 가진 센서들을 이용하면서도 신뢰할 수 있는 수준으로 품질 관리가 가능하여 낮은 비용으로도 신뢰성이 높은 고정밀 전자지도를 지속적으로 제공할 수 있는 효과가 있다.The object change detection system and method for updating a high-precision electronic map according to embodiments of the present invention distinguish objects having a precision spatial coordinate attribute already present in a high-precision electronic map in a stereo image, and based on them, the spatial position of the object of interest. By using the cumulative measurement information to check the change of the object, it is possible to reliably control the change of the new object and the existing object by using the sensors with relatively low precision, and to be reliable at low cost. It is effective to continuously provide this high-precision electronic map.

도 1은 본 발명의 실시예에 따른 고정밀 전자 지도 갱신을 위한 객체 변화 탐지 시스템의 구성도이다.
도 2는 고정밀 전자 지도에 포함되는 각종 객체들의 예를 보인 예시도이다.
도 3은 본 발명의 실시예에 따른 지도 갱신용 프로브 장치의 구성도이다.
도 4는 본 발명의 실시예에서 사용되는 스테레오 이미지의 격차에 대한 개념도이다.
도 5는 본 발명의 실시예에 따른 격차맵과 이를 이용한 객체의 공간 좌표 산출 방식을 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에서 사용되는 격차맵의 비선형 특성을 보인 그래프이다.
도 7은 본 발명의 실시예에 따른 객체 공간 좌표 산출부의 동작 과정을 보인 순서도이다.
도 8은 본 발명의 실시예에 따른 지도 갱신용 프로브 장치의 동작 과정을 보인 순서도이다.
도 9는 본 발명의 실시예에 따른 지도 업데이트 서버의 구성도이다.
도 10은 본 발명의 실시예에 따른 지도 업데이트 서버의 동작 과정을 보인 순서도이다.1 is a block diagram of an object change detection system for updating a high-precision electronic map according to an embodiment of the present invention.
2 illustrates an example of various objects included in a high-precision electronic map.
3 is a block diagram of a map updating probe apparatus according to an embodiment of the present invention.
4 is a conceptual diagram for a gap of a stereo image used in an embodiment of the present invention.
5 is a conceptual diagram illustrating a gap map and a method of calculating spatial coordinates of an object using the same according to an embodiment of the present invention.
6 is a graph showing the non-linear characteristics of the gap map used in the embodiment of the present invention.
7 is a flowchart illustrating an operation process of an object space coordinate calculator according to an exemplary embodiment of the present invention.
8 is a flowchart illustrating an operation process of a map updating probe apparatus according to an exemplary embodiment of the present invention.
9 is a block diagram of a map update server according to an embodiment of the present invention.
10 is a flowchart illustrating an operation process of a map update server according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.The present invention as described above will be described in detail with reference to the accompanying drawings and embodiments.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.Technical terms used in the present invention are merely used to describe specific embodiments, it should be noted that it is not intended to limit the present invention. In addition, the technical terms used in the present invention should be interpreted as meanings generally understood by those skilled in the art unless the present invention has a special meaning defined in the present invention, and is excessively comprehensive. It should not be interpreted in the sense of or in the sense of being excessively reduced. In addition, when a technical term used in the present invention is an incorrect technical term that does not accurately express the spirit of the present invention, it should be replaced with a technical term that can be properly understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted as defined in the dictionary or according to the context before and after, and should not be interpreted in an excessively reduced sense.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular forms used in the present invention include plural forms unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or steps described in the invention, and some of the components or some of the steps are included. It should be construed that it may not be, or may further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe components, but the components should not be limited by the terms. The terms are used only to distinguish one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or similar components will be given the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, when it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

한편, 본 발명에서 언급되는 서버(특히, 지도 업데이트 서버)나 장치(특히, 지도 갱신용 프로브 장치)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 또한, 이러한 서버나 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 서버나 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 서버나 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 서버나 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다. 더불어, 상기 장치는 인터페이스를 통해서 다양한 센서들을 직접 혹은 별도의 드라이버나 센서 제어를 위해 별도로 마련된 하드웨어/소프트웨어 보드나 모듈을 통해서 제어할 수 있으며, 이를 위한 다양한 논리적, 전기적, 광학적 변형들을 모두 포괄할 수 있다.Meanwhile, a server (especially a map update server) or a device (especially a map updating probe device) referred to in the present invention may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. Can be. For example, the systems, devices, and components described in the embodiments may include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs). ), A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. In addition, such a server or device may execute an operating system (OS) and one or more software applications running on the operating system. The server or device may also access, store, manipulate, process, and generate data in response to the execution of the software. For convenience of explanation, one server or device may be described as being used, but a person of ordinary skill in the art will appreciate that the processing device may include a plurality of processing elements and / or a plurality of types of processing. It can be seen that the element may be included. For example, a server or device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as parallel processors. In addition, the device can control various sensors directly through an interface or through separate drivers or hardware / software boards or modules separately provided for sensor control, and can cover all of the various logical, electrical, and optical variations. have.

이하, 본 발명의 실시예들을 도 1 내지10을 참조하여 설명한다.Hereinafter, embodiments of the present invention will be described with reference to FIGS. 1 to 10.

도 1은 본 발명의 실시예에 따른 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템의 구성도로서, 도시된 바와 같이 이동체, 즉 프로브 차량(100)에 탑재되어 자율주행을 위하여 이미 마련된 고정밀 전자지도에 포함된 객체의 변화를 탐지하는 지도 갱신용 프로브 장치(110)와, 지도 갱신용 프로브 장치(110)의 제공 정보를 수집하여 고정밀 전자지도를 갱신하는 지도 업데이트 서버(200)를 포함한다.1 is a block diagram of an object change detection system for updating a high-precision electronic map according to an embodiment of the present invention, as shown in a high-precision electronic map that is mounted on a moving object, that is, a probe vehicle 100 and is provided for autonomous driving. And a map update server 200 for detecting a change in an included object, and a map update server 200 for collecting high-precision electronic maps by collecting information provided by the map update probe device 110.

지도 업데이트 서버(200)는 고정밀 전자지도를 위한 고정밀 수치 지도 정보를 구비한 지도 데이터베이스와 고정밀 전자지도에 포함되는 각종 객체에 대한 정보를 구비한 객체 데이터베이스 등을 구비한 데이터베이스(201)를 포함하거나 혹은 별도로 마련된 데이터베이스와 연동할 수 있다.The map update server 200 includes a map database having high-precision numerical map information for high-precision electronic maps, and a database 201 including an object database including information on various objects included in the high-precision electronic map, or It can be linked with a separate database.

본 발명의 실시예에 따른 지도 업데이트 서버(200)는 도로와 주변 지형의 정보를 높은 정확도로 구축한 3차원 지도에 대한 업데이트를 관리하는데, 정밀한 수치 지도와 길안내를 위한 정보(길안내를 위해 필요한 노드 정보들과 링크 정보들)와 더불어 차선 정보(점선, 실선, 정지선 등), 면형 정보(횡단보도, 과속방지턱, 갓길 등), 노면 마크 정보, 표지판 정보, 시설물 정보(신호등, 연석, 맨홀 등) 등을 포함하는 고정밀 전자지도를 이미 관리하고 있는 상태이다.The map update server 200 according to an embodiment of the present invention manages an update on a three-dimensional map which is constructed with high accuracy of road and surrounding terrain information, and provides a precise numerical map and information for guiding directions (for directions). Lane information (dotted line, solid line, stop line, etc.), planar information (crosswalk, speed bump, shoulder, etc.), road mark information, sign information, facility information (traffic light, curb, manhole) It is already managing high-precision electronic maps, etc.).

즉, 본 발명은 고정밀 전자지도를 최초 작성하기 위한 것이 아니라 이미 고정밀 전자지도에 대한 시스템과 데이터가 모두 마련된 상태에서, 해당 고정밀 전자지도에서 빈번하게 변화가 발생하는 객체에 대한 갱신을 효과적으로 수행하기 위한 시스템으로서, 본 발명의 지도 갱신용 프로브 장치(110)는 통상 고정밀 전자지도를 생성하기 위해 고가의 LiDAR를 이용하는 MMS(모바일 매핑 시스템)와 달리 비교적 저렴한 스테레오 카메라를 이용하여 객체를 검출하는 방식을 이용한다. That is, the present invention is not intended to create a high-precision electronic map for the first time, but in order to effectively perform an update on an object that frequently changes in the high-precision electronic map while all the systems and data for the high-precision electronic map are already provided. As a system, the map updating probe apparatus 110 of the present invention uses a method of detecting an object using a relatively inexpensive stereo camera, unlike an MMS (mobile mapping system) using expensive LiDAR to generate a high-precision electronic map. .

본원 발명의 지도 갱신용 프로브 장치(110)는 3차원 객체 측정에서 오차가 상당한 스테레오 카메라를 이용하여 객체를 검출하는 방식을 적용하지만 이미 구축된 고정밀 전자지도를 활용하여 그 변화를 검출하도록 함으로써 그 객체 검출의 정밀도를 대폭 향상시킬 수 있도록 함과 아울러, 측정된 모든 센싱 정보를 지도 업데이트 서버(200)에 전송하는 것이 아니라 변화가 탐지된 객체에 대한 탐지 결과만을 전송하는 방식을 채택함으로써 네트워크 전송 데이터량을 최소화한다. 이를 통해서 3G/4G/LTE 등의 광역 통신망은 물론이고 소용량 광역 데이터 전송을 위한 LoRA나 IoT 전용 통신 서비스 등을 이용할 수도 있어 통신 비용을 낮추고 서버의 네트워크 부하를 크게 줄일 수 있도록 한다.Although the map updating probe apparatus 110 of the present invention applies a method of detecting an object by using a stereo camera having a significant error in measuring a 3D object, the object is detected by using a built-in high-precision electronic map to detect the change. In addition to greatly improving the accuracy of detection, the network transmission data amount is adopted by adopting a method of transmitting only the detection result for the object whose change is detected, instead of transmitting all the measured information to the map update server 200. Minimize. Through this, not only wide area network such as 3G / 4G / LTE, but also LoRA or IoT dedicated communication service for small capacity wide area data transmission can be used to lower communication cost and greatly reduce network load of server.

도 2는 고정밀 전자 지도에 포함되는 각종 객체들의 예를 보인 예시도로서, 도시된 바와 같이 지도 갱신용 프로브 장치가 카메라를 통해 파악할 수 있는 화면(10)이며, 여기서 도로(1)에 인접한 각종 표지판(2, 3)이나 신호등(4)과 같은 교통 시설물들을 확인하게 된다.FIG. 2 is an exemplary view illustrating various objects included in a high-precision electronic map, and as illustrated, a screen 10 that the probe device for updating maps can grasp through a camera, and various signs adjacent to the road 1 are shown in FIG. Traffic facilities such as (2, 3) and traffic lights (4) will be identified.

고정밀 전자지도가 이미 생성된 상황이라면, 이러한 각종 교통시설물들 중에서 특정 시설물은 GCP(Ground Control Point: 지상 기준점)로 지정되어 고정밀 전자지도에 벡터 포인트로 매핑되어 있다(즉, 정확한 공간 좌표를 가지고 있다).If a high-precision electronic map has already been created, a specific facility among these various traffic facilities is designated as a GCP (Ground Control Point) and is mapped as a vector point on the high-precision electronic map (that is, has accurate spatial coordinates). ).

본 발명은 앞서 언급했던 바와 같이 이미 고정밀 전자지도가 존재하는 상황에서 객체의 변화를 탐지하여 신규 객체나 기존 객체의 변경(이동, 제거 등)에 대한 전자지도 정보를 갱신하기 위한 것이다. As described above, the present invention is to update the electronic map information on the change (movement, removal, etc.) of a new object or an existing object by detecting a change in an object when a high-precision electronic map already exists.

따라서, 본 발명의 동작을 위해서는 최소한의 주요 객체를 필요로 한다. 이러한 주요 객체로서 중앙선 및 차선, 도로 위에 마킹된 표지(도로 바닥에 표시되는 기호(도시된 경우는 마름모 기호)나 문자), 도로 표지판(2, 3), 신호등(4), 폴 형태의 구조물(가로등, 전신주 등 도로에 설치되어 있는 폴 형식의 구조물)을 포함한다.Thus, the operation of the present invention requires a minimum of main objects. These main objects include centerlines and lanes, signs marked on the road (symbols or letters on the road floor), road signs (2, 3), traffic lights (4), pole shaped structures ( Pole-type structures installed on the road, such as street lamps and telephone poles.

이러한 주요 객체들 중 일부는 고정밀 전자지도 생성시 이미 GCP 측량을 통해서 공간 좌표값을 가지고 있으며(테스트 베드 맵에서 GCP 점 확인), 고정밀 전자지도 상에 벡터 포인트의 속성값으로 지정되어 있다. Some of these key objects already have spatial coordinate values through GCP survey (checking GCP points in the test bed map) when generating high-precision electronic maps, and are assigned as attribute values of vector points on high-precision electronic maps.

본 발명은 이러한 GCP 속성을 가진 객체를 활용하여 스테레오 카메라와 같은 다소 오차가 큰 3차원 객체 측정 센서를 통해서 변화 객체를 정밀하게 측정하도록 하여 고가의 LiDAR나 이를 통해 얻어지는 다수의 점군 데이터를 이용하지 않고서도 변화 객체의 종류와 공간 좌표를 얻을 수 있도록 한다. The present invention utilizes an object having such a GCP property to precisely measure a change object through a 3D object measuring sensor, which is rather large, such as a stereo camera, without using expensive LiDAR or a large number of point cloud data obtained therefrom. You can also get the type and spatial coordinates of the change object.

도 3은 본 발명의 실시예에 따른 지도 갱신용 프로브 장치(110)의 구성도이다.3 is a block diagram of a map updating probe apparatus 110 according to an embodiment of the present invention.

도시된 바와 같이 지도 업데이트 서버(200)와 통신하는 통신부(117)와, 지도 업데이트 서버(200)로부터 수신한 고정밀 전자지도 정보를 구비한 고정밀 지도 및 객체 데이터베이스(116)와, 이동체(프로브 차량(100))의 위치와 자체를 센싱하는 GPS 측정부(111a)와 센서부(관성 항법 장치(INS), 관성 측정 장치(IMU) 등)(111b)를 통해 이동체의 위치와 자세를 측정하는 이동체 위치 및 자세 측정부(111)와, 스테레오 카메라부(112a)를 통해 도로의 좌우 영상을 획득하는 영상 획득부(112)와, 영상 획득부(112)의 영상으로부터 객체의 종류와 객체의 공간 위치를 검출하는 객체 감지부(113)와, 객체 감지부(113)에서 감지된 객체의 공간 위치와 이동체의 위치 및 자세를 고정밀 지도 및 객체 데이터베이스(116)에 저장된 고정밀 전자지도에 대응시키며, 감지된 객체들 중 GCP 속성이 포함된 객체들을 기준으로 다른 감지 객체들의 공간 좌표를 다시 산출하는 객체 공간 좌표 산출부(114)와, 이동체의 이동에 따라 반복 산출된 상기 객체 공간 좌표 산출부(114)의 객체들에 대한 변화 정보의 누적이 기준 이상인 경우 신규 객체나 변경 객체에 대한 산출 정보만 상기 통신부를 통해 상기 지도 업데이트 서버(200)에 제공하는 지도 객체 갱신부(115)를 포함할 수 있다.As shown, a communication unit 117 communicating with the map update server 200, a high-precision map and object database 116 having high-precision electronic map information received from the map update server 200, and a moving object (probe vehicle) 100)) and the moving object position measuring the position and posture of the moving object through the GPS measuring unit 111a for sensing the position and the self (inertial navigation unit (INS), inertial measurement unit (IMU), etc.) 111b). And the image type of the object and the spatial position of the object from the image obtaining unit 112 and the image obtaining unit 112 for acquiring the left and right images of the road through the posture measuring unit 111, the stereo camera unit 112a. The object detecting unit 113 to detect and the spatial position and the position and posture of the moving object detected by the object detecting unit 113 correspond to the high-precision electronic map stored in the high-precision map and the object database 116, the detected object Contains GCP properties Accumulation of change information on objects of the object space coordinate calculator 114 which recalculates the spatial coordinates of other sensing objects based on objects and the object space coordinate calculator 114 repeatedly calculated according to the movement of the moving object. If the reference value or more may include a map object updating unit 115 to provide only the calculation information for the new object or the change object to the map update server 200 through the communication unit.

즉, 영상 획득부(112)에서 얻은 스테레오 이미지를 기반으로 객체의 종류와 공간 좌표를 객체 감지부(113)가 검출하게 되는데, 이러한 객체 감지부(113)에서 얻어진 객체의 공간 좌표는 비교적 오차가 클 수 있다. 즉, 스테레오 이미지의 특성상 객체가 일정한 거리 이내인 경우 비교적 정밀한 공간 좌표 측정이 가능하지만 거리가 기준 이상 멀어지면 공간 좌표의 오차가 커지게 된다. That is, the object detector 113 detects the type and spatial coordinates of the object based on the stereo image obtained by the image acquirer 112, and the spatial coordinates of the object obtained by the object detector 113 are relatively error free. Can be large. That is, due to the characteristics of the stereo image, when the object is within a certain distance, relatively accurate spatial coordinate measurement is possible, but when the distance is far beyond the reference, the error of the spatial coordinate becomes large.

이러한 객체 감지부(113)는 기본적으로 스테레오 이미지에서 노이즈를 제거하고 경계를 추출하며 명암을 조절하여 객체 인식을 위한 사전 처리를 수행한다. 이러한 과정에서 알려져 있는 영상 처리 알고리즘(예컨대 Harris Corner, sift(Scale Invariant Feature Transform), FAST(Features from Accelerated Segment Test) 등)을 이용할 수 있다. 객체 감지부(113)는 이렇게 전처리된 영상으로부터 대상 객체와 영역을 인식할 수 있는데, 공간 필터링, 이미지 영역 분할, 특징 추출, 동작 분석, 패턴 인식, 파리미터 추정, 블록 매칭 등의 방법으로 대상 객체 및 영역을 인식할 수 있다. 나아가 머신 러닝/딥 러닝 등을 통해 얻어진 파라미터로 인식된 객체가 어떠한 종류의 것인지도 구분할 수 있으므로 객체를 검출하고 해당 객체의 종류가 어떠한 것인 지 구분할 수 있다.The object detector 113 basically performs preprocessing for object recognition by removing noise from a stereo image, extracting a boundary, and adjusting contrast. In this process, known image processing algorithms (eg, Harris Corner, Scale Invariant Feature Transform (SIFT), Features from Accelerated Segment Test (FAST), etc.) may be used. The object detector 113 may recognize the target object and the region from the preprocessed image. The object detector 113 may recognize the target object and the region by spatial filtering, image region segmentation, feature extraction, motion analysis, pattern recognition, parameter estimation, block matching, or the like. Area can be recognized. Furthermore, it is possible to distinguish what kind of object is recognized as a parameter obtained through machine learning / deep learning, etc., so that the object can be detected and what kind of object is that.

한편, 스테레오 이미지를 이용하여 객체의 3차원 위치 정보를 산출할 수 있는데, 알려져 있는 스테레오 비전 알고리즘을 통해서 격차 맵(Disparity Map)을 구성하고, 이러한 격차 맵을 통해서 객체의 공간 상 위치를 추정할 수 있다.On the other hand, it is possible to calculate the three-dimensional position information of the object by using a stereo image, it is possible to construct a disparity map (disparity map) through a known stereo vision algorithm, and to estimate the position of the object in space through this gap map. have.

객체 공간 좌표 산출부(114)는 앞서 객체 감지부(113)를 통해 감지된 객체의 3차원 공간 정보와, 이동체 위치 및 자세 측정부(111)를 통해 얻어진 프로브 차량(100)의 위치와 자세를 고정밀 지도 및 객체 데이터베이스(116)에 저장된 고정밀 전자지도에 대응시키는데, 이를 통해서 감지된 객체의 3차원 공간 정보를 고정밀도 전자지도에 매핑하여 해당 위치에 기 존재하는 객체가 있는 지 확인할 수 있다. 기 존재하는 객체가 있으면 그 위치의 정확도와 해당 객체의 종류를 파악하고, 기 존재하는 객체가 없으면 신규 객체일 것으로 예상해 볼 수 있다. 반대로 해당 위치의 고정밀 전자지도에는 존재하는 객체가 감지 객체들 중에서 없다면 해당 기존의 객체가 이동하거나 제거된 것일 수 있다.The object space coordinate calculator 114 calculates the three-dimensional space information of the object previously detected by the object detector 113, and the position and attitude of the probe vehicle 100 obtained through the moving object position and attitude measurer 111. Corresponding to the high-precision electronic map stored in the high-precision map and the object database 116, through which the three-dimensional spatial information of the detected object may be mapped to the high-precision electronic map to check whether there is an existing object at the corresponding location. If there is an existing object, the accuracy of the position and the type of the object are determined. If there is no existing object, it can be expected to be a new object. Conversely, if there is no object present among the sensing objects in the high-precision electronic map of the location, the existing object may be moved or removed.

나아가, 객체 공간 좌표 산출부(114)는 감지된 객체의 공간 좌표를 좀 더 정밀하게 재산출함으로써 신뢰도가 낮은 스테레오 이미지의 공간 좌표를 실제와 유사하게 개선하도록 하는데, 이를 위하여 GCP 속성이 있는 객체들의 정밀 측정된 공간 좌표를 활용한다.Furthermore, the object space coordinate calculation unit 114 regenerates the spatial coordinates of the detected object more precisely to improve the spatial coordinates of the stereo image having low reliability similarly to the reality. Take advantage of precisely measured spatial coordinates.

이를 위하여 본 발명의 실시예에 따른 객체 공간 좌표 산출부(114)는 앞서 객체 감지부(113)를 통해 검출된 객체들을 고정밀 지도 및 객체 데이터베이스(116)에 저장된 고정밀 전자지도의 벡터 객체(기 존재하는 GCP 객체 포함)와 비교하여 내부 메모리에 비교 테이블을 작성한다. 고정밀 전자지도 객체와 비교 테이블을 작성하는 과정에서 비교 객체간의 오차값을 기록하고, 이미지를 통해 찾은 객체의 누락여부를 판단하며, 고정밀 전자지도 객체의 속성값 중에 GCP정보 여부를 함께 작성한다. 또한 각 객체별로 고정밀 전자지도의 QI(Quality Index) 값(표준화가 진행 중)을 산정하여 테이블에 포함한다. To this end, the object space coordinate calculator 114 according to an embodiment of the present invention stores the objects previously detected by the object detector 113 in a high-precision map and an object map 116 of a high-precision electronic map stored in the object database 116. Create a comparison table in internal memory. In the process of creating the high-precision electronic map object and the comparison table, the error value between the comparison objects is recorded, whether the object found through the image is missing, and whether the GCP information is included in the attribute values of the high-precision electronic map object. In addition, the QI (Quality Index) value (highly in progress) of the high-precision electronic map for each object is calculated and included in the table.

한편, 본 발명의 실시예에 따른 객체 공간 좌표 산출부(114)는 비교테이블의 객체중에 객체의 GCP속성과 매칭되는 객체를 제외한 나머지 객체(이하, 일반 객체라 칭함)의 공간 좌표를 재측정하는데, 다음과 같은 과정을 이용할 수 있다. On the other hand, the object space coordinate calculation unit 114 according to an embodiment of the present invention to re-measure the spatial coordinates of the remaining objects (hereinafter referred to as general objects) of the comparison table except the object matching the GCP attribute of the object You can use the following procedure.

우선, 객체 공간 좌표 산출부(114)는 이미지 내 정확한 공간 좌표를 가진 GCP 객체가 최소한 2개 이상 존재하는 지 확인하는데, 그 미만이라면 해당 이미지로부터 감지된 일반 객체의 신규 공간 좌표 산출은 불가능하다. 만일 이미지 내 GCP 객체가 적어도 2개 이상이라면 대상 GCP 객체들 중에 서로 가장 멀리 떨어진 GCP 객체의 공간 좌표를 얻고 이미지내의 가로/세로축의 픽셀 거리를 얻는다. First, the object space coordinate calculation unit 114 checks whether there are at least two GCP objects having the correct spatial coordinates in the image. If less, the object space coordinate calculation unit 114 cannot calculate the new spatial coordinates of the general object detected from the image. If there are at least two GCP objects in the image, the spatial coordinates of the GCP objects farthest from the target GCP objects are obtained and the pixel distances of the horizontal and vertical axes in the image are obtained.

계산의 편의상 공간 좌표의 X좌표는 카메라로부터 취득한 이미지의 가로픽셀축으로 맵핑하고, Y축은 카메라의 정면에서의 깊이로 가정한다. 동일한 개념으로 Z축은 GCP 객체 간의 고도차를 의미하며, 이미지의 세로픽셀 축으로 맵핑된다. 물론 이러한 좌표 맵핑은 필요에 따라 변경할 수 있다.For convenience of calculation, the X coordinate of the spatial coordinate is mapped to the horizontal pixel axis of the image acquired from the camera, and the Y axis is assumed to be the depth at the front of the camera. In the same concept, the Z axis represents the altitude difference between GCP objects and is mapped to the vertical pixel axis of the image. Of course, these coordinate mappings can be changed as needed.

GCP 객체가 아닌 일반 객체의 공간 좌표값 X, Z는 GCP 공간 좌표와 픽셀 거리에 비례하여 값을 구하게 되는데, 기준이 되는 제 1 GCP 객체와 제 2 GCP 객체의 공간상 X축 거리와 두 객체의 이미지 상 픽셀 거리를 대응시키고, 일반 객체의 픽셀 위치에 따른 공간상 X축 거리를 산출하는 것으로 비교적 정확한 일반 객체의 공간상 X축 좌표를 산출할 수 있다. 일반 객체의 Z축 좌표 역시 동일한 방식으로 산출할 수 있다.The spatial coordinate values X and Z of a general object that is not a GCP object are obtained in proportion to the GCP spatial coordinates and pixel distances. The spatial X-axis distances of the first GCP object and the second GCP object and the two By mapping the pixel distances on the image and calculating the spatial X-axis distance according to the pixel position of the general object, the spatial X-axis coordinates of the general object may be relatively accurate. The Z axis coordinates of a general object can be calculated in the same way.

이러한 일반 객체의 X축과 Z축 공간 좌표 정밀도는 스테레오 이미지의 해상도를 높임에 따라 높아질 수 있는데, 최근 디지털 카메라의 성능 대비 비용이 대단히 낮으므로 HD급은 물론이고 4K나 8K 해상도를 가지며 더 많은 프레임의 촬영이 가능한 고속의 고해상도 카메라를 이용할 수도 있다. 특히, 기존의 MMS와 같이 센싱된 모든 정보들(영상 포함)을 서버에 전송하는 방식이라면 막대한 통신 데이터에 의해 이러한 카메라 해상도 증가나 사용 프레임 수가 제한되겠지만, 본 발명의 경우는 센싱된 정보 자체를 지도 업데이트 서버(200)에 제공하는 것이 아니라 객체에 대한 변화 탐지 결과가 있을 때 그 변화에 관련된 소량의 정보 데이터 만을 전달하기 때문이 객체 검출의 수단이 되는 스테레오 카메라부(112a)의 성능을 개선하고 해상도를 높이는데 있어 운용 상 제한은 발생하지 않는다(물론, 지도 갱신용 프로브 장치(110)의 하드웨어 구성과 영상 처리 부하를 고려하면 장치의 비용이 다소 높아질 수 있으나 기존 MMS의 장치 비용이나 지속적으로 발생하게 되는 통신 비용 및 감가상각을 고려하면 월등히 경제성을 가질 수 있다).The precision of the X- and Z-axis spatial coordinates of these common objects can be increased by increasing the resolution of the stereo image. Since the cost of performance of the recent digital cameras is very low, it has 4K or 8K resolution as well as HD level and more frames. It is also possible to use a high-speed high-resolution camera capable of photographing. In particular, in the case of transmitting all the information (including video) sensed like the existing MMS to the server, such an increase in the camera resolution or the number of used frames will be limited by the enormous communication data, but in the present invention, the sensed information itself is mapped. Since only a small amount of information data related to the change is transmitted when the change detection result of the object is not provided to the update server 200, the performance of the stereo camera unit 112a serving as an object is improved and the resolution is improved. Operational limitation does not occur in increasing the cost (of course, considering the hardware configuration and image processing load of the map updating probe device 110, the cost of the device may be somewhat higher, but the cost of the existing MMS device or the Considering the cost of communication and depreciation, it can be very economical).

이와 같이 일반 객체에 대한 2개 축에 대한 공간 좌표를 얻은 후, 나머지 축인 Y축의 깊이 값을 얻게 되는데, 이러한 Y축 값은 일반 영상이 아닌 스테레오 카메라의 좌우 이미지의 객체간 격차를 이용한다. In this way, after obtaining the spatial coordinates of two axes for the general object, the depth value of the Y axis, the remaining axis, is obtained. This Y axis value uses the gap between the left and right images of the stereo camera, not the normal image.

도 4는 본 발명의 실시예에서 사용되는 스테레오 이미지의 격차에 대한 개념도로서, 예컨대 도 4와 같이 스테레오 카메라부(112a)를 통해 도 2의 화면에 대응되는 장면을 영상 획득부(112)에서 좌우 이미지로 획득한 경우 좌측의 이미지(10a)와 우측의 이미지(10b)는 그 시점에 따라 화면 상에 배치되는 객체들(도로 표지판(2, 3), 신호등(4))의 위치에 차이가 발생하게 된다.FIG. 4 is a conceptual diagram of a gap between stereo images used in an embodiment of the present invention. For example, a scene corresponding to the screen of FIG. 2 through the stereo camera unit 112a as shown in FIG. When acquired as an image, the image 10a on the left side and the image 10b on the right side differ in the positions of the objects (road signs 2 and 3 and the traffic light 4) arranged on the screen according to the viewpoint. Done.

이러한 차이는 객체의 거리가 멀어질 수록 적어지고 객체의 거리가 가까울 수록 커지게 되는데, 도시된 바와 같이 가까이 있는 도로 표지판(2a, 2b)에 대한 영상을 겹쳐서 보면(2c) 그 차이가 크다는 것을 알 수 있고, 객체가 거리가 먼 신호등(4a, 4b)에 대한 영상을 겹쳐서 보면(4c) 그 차이가 크지 않다는 것을 알 수 있으며, 그 사이에 위치한 도로 표지판(3a, 3b)의 영상을 겹쳐서 보면 그 차이가 인접한 도로 표지판(2c)에 비해 줄어든 것(3c)을 알 수 있다. This difference becomes smaller as the distance of the object becomes larger, and becomes larger as the distance of the object becomes closer. As shown, when the images of the road signs 2a and 2b that are close together are overlapped (2c), the difference is large. If the object overlaps the image of the traffic lights 4a and 4b at a distance (4c), it can be seen that the difference is not large, and the image of the road signs 3a and 3b positioned between them is superimposed. It can be seen that the difference is reduced 3c compared to the adjacent road sign 2c.

이와 같이 객체가 근접할 수록 객체 간 격차가 커지기 때문에 이를 기반으로 객체와의 거리, 즉 깊이감에 대한 정보를 얻을 수 있으며 통상 스테레오 카메라를 이용하여 물체의 공간 위치를 측정할 경우 스테레오 비전 알고리즘을 통해서 격차 맵(Disparity Map)을 구성하고, 이러한 격차 맵을 통해서 객체의 공간 상 위치를 추정하게 된다. As the objects get closer to each other, the gap between them becomes larger, so you can get information about the distance to the objects, that is, the depth. Based on this, when you measure the spatial position of an object using a stereo camera, you can use the stereo vision algorithm. A disparity map is constructed, and the disparity map is used to estimate an object's position in space.

도 5는 본 발명의 실시예에 따른 격차맵과 이를 이용한 객체의 공간 좌표 산출 방식을 설명하기 위한 개념도로서, 도 5a에 도시된 바와 같은 실제 영상(11)에서(혹은 이에 대응되는 스테레오 이미지들로부터) 3개의 객체들(2개의 GCP 속성을 가진 객체(Land1, Land2), 하나의 일반 객체(Obj1))를 검출하며, 이들에 대한 스테레오 이미지들로부터 도 5b와 같이 격차맵(근접할 수록 명암이 밝아지고 멀 수록 명암이 어두워짐)을 얻을 수 있다. FIG. 5 is a conceptual diagram illustrating a gap map and a method of calculating spatial coordinates of an object using the same according to an embodiment of the present invention, and from stereo images corresponding to (or corresponding to) the real image 11 as illustrated in FIG. 5A. ) Three objects (objects with two GCP properties (Land1, Land2) and one general object (Obj1)) are detected, and the difference map (the closer the contrast is, as shown in FIG. The brighter and farther it is, the darker the contrast).

특히, 본 발명의 실시예에서는 이러한 격차맵을 계산하는 과정에서 얻어진 히스토그램 컬러값을 활용하여 객체의 깊이에 따른 좌표를 산출한다. 즉, 영상 내에 특정한 객체들이 존재하는 경우 해당 객체들의 깊이는 비교적 일정할 것이어서 영상 내 해당 깊이에 따른 컬러의 사용 빈도가 커지게 된다는 점을 이용한다. In particular, an embodiment of the present invention calculates the coordinates according to the depth of the object by using the histogram color value obtained in the process of calculating the gap map. That is, when specific objects exist in the image, the depths of the objects will be relatively constant, so that the frequency of use of the color according to the corresponding depth in the image increases.

즉, 도 5b와 같은 격차맵의 시각화 과정에서 얻어지는 격차맵 이미지를 보면 3개의 객체들이 저마다 일정 영역 이상 화면을 차지하고 있고, 해당 객체들의 컬러값은 유사할 것이므로 해당 이미지에 사용되는 컬러값의 히스토그램을 보면 특정한 컬러들의 수치가 높은 지점들을 구분할 수 있다. 이렇게 얻어진 히스토그램에서의 객체 위치(즉, 순차적으로 변화되는 컬러값 축에서의 위치)를 알 수 있고, 이 중에서 이미 그 공간 좌표를 명확하게 알고 있는 GCP 객체들을 구분할 수 있으므로 각 객체에 대응되는 컬러값과 Y축의 값을 대응시키면 컬러값과 Y축에 대한 비례정보를 얻을 수 있다(즉, X, Z 축은 픽셀과 맵핑하고, Y축은 히스토그램의 컬러값과 맵핑).That is, in the gap map image obtained in the process of visualizing the gap map as shown in FIG. 5B, each of the three objects occupies a certain area or more, and the color values of the corresponding objects will be similar to each other. This allows you to identify points where the values of certain colors are high. The position of the object in the histogram thus obtained (i.e., the position on the color value axis that changes in sequence) can be known, and among them, GCP objects that already know their spatial coordinates can be distinguished, so that the color value corresponding to each object When the values of Y and Y correspond to each other, proportional information about the color and the Y axis can be obtained (that is, the X and Z axes are mapped to the pixels and the Y axis is mapped to the color values of the histogram).

따라서, 2개의 위치를 알고 있는 객체들(Land1, Land2)의 Y축 차이와 해당 객체들의 히스토그램 컬러 차이를 맵핑하고 일반 객체(Obj1)의 히스토그램 컬러값을 대응시키면 해당 일반 객체(Obj1)의 Y축 공간 좌표를 비례적으로 알 수 있게 된다.Therefore, if the Y-axis difference of the objects (Land1, Land2) having two positions is mapped to the histogram color difference of the corresponding objects, and the histogram color value of the general object Obj1 is mapped, the Y-axis of the general object Obj1 is mapped. The spatial coordinates can be known proportionally.

다만, 이러한 격차 맵은 선형적인 정확도를 가지는 것이 아니라 거리가 가까울 수록 더 많은 차이를 구분하고 거리가 멀수록 그 차이에 대한 해상도가 낮아지는 비선형 특성을 가지고 있다는 점에서, 이러한 격차맵의 비선형 특성을 반영해야 좀 더 정밀한 Y축 공간 좌표를 얻을 수 있다. However, these gap maps do not have linear accuracy, but have a non-linear characteristic that distinguishes more difference as the distance is closer and lowers the resolution for the difference as the distance is longer. You need to reflect it to get a more precise Y-axis spatial coordinate.

도 6은 본 발명의 실시예에서 사용되는 격차맵의 비선형 특성을 보인 그래프이다. 도시된 바와 같이 거리가 멀어질수록 단위 격차의 단위 간격이 성기며, 거리가 가까워질수록 격차의 단위 간격이 조밀함을 알 수 있는데, 이러한 변화의 정도는 극히 비선형적임을 알 수 있다. 즉, 일정한 거리 이내라면 비교적 격차의 단위 간격이 조밀하여 상대적으로 높은 해상도를 가질 수 있으나 거리가 멀어질수록 격차의 단위가 성겨 해상도가 낮아지므로 실질적인 신뢰성이 낮아지는 특성이 있으므로 이러한 비선형 특성을 반영하여 Y축 공간 좌표를 산출해야 하며 일정 거리 이상이라면 신뢰도를 낮추거나 버리고 후속 이미지를 통해 재측정하는 것이 바람직하다.6 is a graph showing the non-linear characteristics of the gap map used in the embodiment of the present invention. As shown in the figure, as the distance increases, the unit spacing of the unit gap is sparse, and as the distance approaches, the unit spacing of the gap is denser. It can be seen that the degree of such change is extremely nonlinear. In other words, if the distance is within a certain distance, the unit spacing of the gap is relatively dense, and thus the resolution may be relatively high. However, as the distance becomes farther, the unit of the gap is thinner, and the resolution is lowered. It is desirable to calculate the y-axis spatial coordinates and, if it is above a certain distance, to reduce or discard the reliability and re-measure through subsequent images.

이와 같이 객체 공간 좌표 산출부(114)는 정밀 측정된 GCP 객체들을 기준으로 일반 객체들의 정확한 공간 좌표를 재산출하기 때문에 공간 좌표가 정밀하게 보정된 객체들의 정보를 지도 객체 갱신부(115)가 확보할 수 있게 된다.As such, since the object space coordinate calculator 114 recalculates the exact space coordinates of the general objects based on the precisely measured GCP objects, the map object updater 115 may secure the information of the objects whose space coordinates are precisely corrected. It becomes possible.

지도 객체 갱신부(115)는 객체 공간 좌표 산출부(114)를 통해 얻어진 정확한 공간 좌표를 가진 객체들을 고정밀 지도 및 객체 데이터베이스(116)에 저장된 고정밀 전자지도의 객체들과 비교하여 그 변화를 탐지한 후 신규 객체 여부나 기존 객체의 변경(이동, 제거 등)에 대한 정보(발견한 객체의 종류와 산출된 공간 좌표 등)를 지도 업데이트 서버(200)에 전달한다.The map object updater 115 compares the objects having the correct spatial coordinates obtained through the object space coordinate calculator 114 with the objects of the high precision electronic map stored in the high precision map and object database 116 and detects the change. Afterwards, information about the presence or absence of new objects or changes (movement, removal, etc.) of the existing objects (type of object found and calculated spatial coordinates, etc.) is transmitted to the map update server 200.

이를 정리하면 도 7과 같이 나타낼 수 있는데, 도시된 바와 같이 객체 공간 좌표 산출부(114)가 검출된 객체들 중에서 GCP 객체를 확인하여 일반 객체와 GCP 객체를 분별한다. 만일 현재 수집된 스테레오 이미지들의 검출 객체들 중에서 GCP 객체가 2개 미만인 경우이거나 변경을 고려하지 않아도 되는 상황(일반 객체가 없고 GCP 객체들도 모두 존재(GCP 객체간 위치 정확도 기준 이상))이라면 추가 과정을 수행하지 않고 종료한다. 즉, 지도 업데이트 서버(200)에 전송할 객체 변화 정보가 없는 것으로 판단할 수 있다. 7, the object space coordinate calculator 114 identifies the GCP object among the detected objects and distinguishes the general object from the GCP object. If there are less than 2 GCP objects among the detected objects of the currently collected stereo images, or if the situation does not need to be considered for modification (there are no general objects and all GCP objects exist (above the GCP object position accuracy criteria)) Exit without doing this. That is, it may be determined that there is no object change information to be transmitted to the map update server 200.

만일, 2개 이상의 GCP 객체가 존재하며 일반 객체도 존재할 경우 선별된 GCP 객체의 공간 좌표와 해당 객체가 존재하는 이미지의 픽셀 거리를 매핑하고, 일반 객체의 이미지 상 픽셀 위치를 이용하여 2개축(본 발명의 실시예에서는 X축과 Z축)에 대한 공간 좌표를 산출한다.If two or more GCP objects exist and a general object exists, the spatial coordinates of the selected GCP object and the pixel distance of the image in which the object exists are mapped. In the embodiment of the present invention, the spatial coordinates for X-axis and Z-axis) are calculated.

더불어 스테레오 이미지들로부터 얻어지는 격차맵을 생성하면서 얻어지는 히스토그램 컬러값들로부터 객체들의 컬러값 위치를 얻고, GCP 객체들의 컬러값 차이와 공간 좌표의 해당 축 차이를 맵핑하여 일반 객체의 컬러값 위치에 따른 Y축 공간 좌표를 산출하는데, 비선형 격차맵의 특성 곡선을 반영하여 산출한다. In addition, the color values of the objects are obtained from the histogram color values obtained by generating the gap maps obtained from the stereo images, and the color values of the GCP objects and the corresponding axis differences of the spatial coordinates are mapped to Y according to the color values of the general object. The axis space coordinates are calculated by reflecting the characteristic curve of the nonlinear gap map.

이러한 방식으로 한 번의 스테레오 카메라 영상 획득 내용을 토대로 일반 객체의 비교적 정확한 공간 좌표를 산출할 수 있으며, 이를 지도 객체 갱신부(115)에 제공한다.In this way, a relatively accurate spatial coordinate of a general object can be calculated based on the content of a single stereo camera image acquired, and this is provided to the map object updater 115.

한편, 지도 객체 갱신부(115)가 한 쌍의 이미지에서 얻어진 검출 객체에 따른 객체 변화 탐지 결과를 매번 지도 업데이트 서버(200)에 전달하는 방식을 이용할 수도 있으나, 실질적으로 프로브 차량(100)이 지도 갱신용 프로브 장치(110)를 탑재한 상태에서 이동한다는 점에서 일정한 화면 상의 객체들은 여러번 반복하여 검출할 수 있는데, 그 거리에 따라 측정 정밀도가 달라진다는 점과 카메라를 통한 광학적 이미지를 기반으로 한다는 점에서 다양한 외부 환경 변화에 민감하여 노이즈 요인이 많다는 부분을 고려하여 객체 변화 탐지를 여러 번 수행한 결과를 누적하여 좀 더 정확한 객체 변화 탐지 정보를 지도 업데이트 서버(200)에 전달하는 것이 바람직하다.Meanwhile, the map object updating unit 115 may use a method of transmitting the object change detection result according to the detection object obtained from the pair of images to the map update server 200 each time, but the probe vehicle 100 may substantially map the object. Objects on a certain screen can be repeatedly detected several times in that they move in a state where the update probe device 110 is mounted, and the measurement accuracy varies depending on the distance and is based on an optical image through a camera. In consideration of the fact that there is a lot of noise factors due to various external environmental changes in the cumulative object change detection result accumulated several times it is preferable to deliver more accurate object change detection information to the map update server 200.

따라서, 지도 객체 갱신부(115)는 이동체의 이동에 따라 반복 산출된 객체 공간 좌표 산출부(114)의 객체들에 대한 변화 정보의 누적이 기준 이상인 신규 객체나 변경 객체에 대한 산출 정보만 통신부(117)를 통해 지도 업데이트 서버(200)에 제공할 수 있다.Accordingly, the map object updating unit 115 may calculate only the calculation information for the new object or the change object whose accumulation information about the objects of the object space coordinate calculation unit 114 repeatedly calculated according to the movement of the moving object is greater than or equal to the communication unit ( 117 may be provided to the map update server 200.

예를 들어, 객체 유무의 정확도를 판단하기 위하여 다음의 수학식 1을 이용할 수 있다. For example, the following Equation 1 may be used to determine the accuracy of the presence or absence of an object.

수학식 1은 객체 유무의 정확도를 해당 객체가 확인 되었다가 사라지는 기간 동안 해당 객체가 검출되거나 검출되지 않은 횟수의 누적을 통해서 산출하기 위한 것으로, 객체 검출을 통해 발견한 객체 중에서 정밀 전자지도에서 일치하는 객체를 발견하지 못한 경우 해당 객체에 대해서 각각 산출된다. T_obj는 객체가 존재한다고 판단한 경우의 횟수이고 F_obj는 객체가 존재하지 않는다고 판단하는 경우로서, 여러 노이즈 상황에도 불구하고 해당 객체가 정도 이상 반복 검출되면 해당 객체를 신규 객체로 판단하게 된다. Equation 1 is for calculating the accuracy of the presence or absence of an object by accumulating the number of times the object is detected or not detected during the period when the object is identified and disappeared. If an object is not found, it is calculated for each object. T _obj is the number of times when it is determined that an object exists and F _obj is a case when it is determined that the object does not exist. If the object is repeatedly detected more than a degree despite various noise conditions, the object is determined as a new object.

한편, 객체의 위치정확도 중에서 절대 위치 정확도는 다음의 식을 통해 산출할 수 있다.On the other hand, the absolute position accuracy of the position accuracy of the object can be calculated through the following equation.

각 객체의 공간 좌표를 기준으로 하는 절대위치 차이 Ri가 위 수학식 2와 같다면 객체간 상대위치 차분값은 다음의 수학식 3과 같다.If the absolute position difference Ri based on the spatial coordinates of each object is equal to Equation 2 above, the relative position difference value between objects is equal to Equation 3 below.

객체간 상대위치 차분값은 객체 A(x_A, y_A, y_B)와 객체 B(x_B, y_B, z_B)의 공간 좌표를 N회 측정한 평균값으로, 객체 A에 GCP 속성이 존재한다고 가정하면, 객체 B의 측정회수 N이 클수록 객체 B의 공간좌표 신뢰성이 높아지게 된다. 이러한 N 값은 지도 갱신용 프로브 장치(110)의 연산 능력이나 카메라의 촬영 프레임 수에 따라 제한되는 것으로 카메라에서 객체 B가 발견된 시점에서 사라진 시점까지의 공간좌표 분석 회수로 결정된다.Relative position difference between objects is an average of N times the spatial coordinates of object A (x _A , y _A , y _B ) and object B (x _B , y _B , z _B ), and GCP attribute is present on object A. Assume that the larger the measurement number N of the object B, the higher the spatial coordinate reliability of the object B becomes. The value of N is limited depending on the computational capability of the map updating probe apparatus 110 or the number of photographing frames of the camera, and is determined by the number of spatial coordinate analyzes from when the object B is found to disappeared by the camera.

따라서, 지도 객체 갱신부(115)는 반복적인 검출 객체와 고정밀 전자지도의 객체를 대비하여 그 검출 여부를 누적하고 일반 객체(즉, 신규 객체)의 공간 좌표를 지속적으로 정밀화한 후, 탐지된 객체 변화에 대한 정보를 제공한다. 예를 들어, 지도 객체 갱신부(115)가 지도 업데이트 서버(200)에 전송하는 정보는 고정밀 전자지도와 공간좌표가 일치하지 않는 객체(이동된 도로 시설물, 혹은 제거된 도로 시설물)의 여부와 해당 객체의 공간 좌표(제거된 경우 생략), 기존에 존재하지 않았던 객체(신규 도로 시설물)의 여부(수학식 1을 통해 산출한 정확도가 기준 이상인 경우)와 해당 객체의 공간 좌표를 제공할 수 있는데, 공간좌표가 일치하지 않는 객체 중 일부는 기존 객체의 제거와 신규 객체의 존재로 검출될 수도 있으며 이 경우 신규 객체에 준하여 그 위치가 산출되며 유사한 종류의 객체(객체 검출 시 영상 분석을 통해 객체의 종류를 구분할 수 있음) 이동을 추정해 볼 수 있다. 더불어, 변화된 객체의 공간 좌표를 제공할 경우 N번 연산된 객체의 상대위치 차분값(수학식 3)에 근접한 Ri(수학식 2)를 가지는 공간 좌표를 선택할 수 있다. Therefore, the map object updating unit 115 compares the repetitive detection object with the object of the high-precision electronic map, accumulates the detection and continuously refines the spatial coordinates of the general object (that is, the new object), and then detects the detected object. Provide information about changes. For example, the information that the map object updater 115 transmits to the map update server 200 includes information about whether an object (moved road facility or removed road facility) does not match the high-precision electronic map and spatial coordinates. You can provide the spatial coordinates of an object (omitted if removed), whether the object did not exist previously (new road facility) (if the accuracy calculated by Equation 1 is greater than the reference), and the spatial coordinate of the object. Some of the objects whose spatial coordinates do not match may be detected by the removal of existing objects and the existence of new objects. In this case, the position is calculated according to the new objects, and similar types of objects (types of objects through image analysis when detecting objects) Can be estimated). In addition, when providing the spatial coordinates of the changed object, it is possible to select the spatial coordinates having Ri (Equation 2) close to the relative position difference value (Equation 3) of the object calculated N times.

도 8은 본 발명의 실시예에 따른 지도 갱신용 프로브 장치의 동작 과정을 보인 순서도로서, 도시된 바와 같이 영상 획득부(112)가 스테레오 카메라 영상을 획득하여 전처리하고, 객체 감지부(113)가 해당 영상으로부터 대상 객체들을 검출하며 스테레오 이미지에서 검출된 객체들의 유형과 공간 좌표를 검출한다. 8 is a flowchart illustrating an operation of a map updating probe apparatus according to an exemplary embodiment of the present invention. As illustrated, the image obtaining unit 112 acquires a stereo camera image and preprocesses the object detecting unit 113. The target objects are detected from the corresponding image, and the type and spatial coordinates of the detected objects in the stereo image are detected.

이후 객체 공간 좌표 산출부(114)가 이미 마련된 고정밀 전자지도와 이동체의 위치를 일치시킨 후 검출된 객체들을 고정밀 전자지도의 객체들과 비교하여 비교 테이블을 작성한다. Thereafter, the object space coordinate calculating unit 114 matches the positions of the moving object with the high-precision electronic map already provided, and compares the detected objects with the objects of the high-precision electronic map to create a comparison table.

지도 객체 갱신부(115)는 객체 공간 좌표 산출부(114)를 통해 고정밀 전자지도의 객체들과 반복 비교하여 얻은 객체의 위치 정확도를 산출하여 위치 이동 여부를 판단한다. 또한 지도 객체 갱신부(115)는 객체 공간 좌표 산출부(114)가 GCP 속성을 가진 객체들 중에서 복수의 기준 객체들을 선별한 후 이들을 기준으로 GCP 속성이 없는 신규 객체의 위치를 산출한 정보를 수신하며, 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 신규 객체에 대해 그 위치를 객체 공간 좌표 산출부(114)를 통해 반복 수신하여 신규 객체 여부에 대한 정확도가 기준 이상이 되면 해당 신규 객체에 대한 정보를 상기 지도 업데이트 서버(200)에 제공한다. 이 때 위치 정확도에 대한 정보도 함께 전달할 수 있다. The map object updating unit 115 calculates the positional accuracy of the object obtained by repeatedly comparing the objects of the high-precision electronic map through the object space coordinate calculating unit 114 to determine whether the position moves. In addition, the map object updating unit 115 receives information that the object space coordinate calculating unit 114 selects a plurality of reference objects from among the objects having the GCP attribute and calculates the position of the new object without the GCP attribute based on these. If the position of the same new object detected in subsequent images according to the movement of the moving object is repeatedly received through the object space coordinate calculation unit 114, and the accuracy of the new object is greater than or equal to the reference, Information is provided to the map update server 200. At this time, information about the positional accuracy can also be transmitted.

또한, 지도 객체 갱신부(115)는 객체 공간 좌표 산출부(114)가 고정밀 지도에 대응시켜 얻은 객체들 중에서 GCP 속성을 가진 객체 간의 위치 정확도를 산출하면 이를 기반으로 위치 이동 여부를 판단하고 위치 이동이 기준 이상인 경우 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 GCP 속성을 가진 객체 간의 위치 정확도를 누적하여 기준 이상 위치 이동한 것이 임계치 이상 반복되면, 해당 이동 객체에 대한 정보를 상기 지도 업데이트 서버(200)에 제공한다. In addition, the map object updating unit 115 determines the positional movement and moves the position based on this when the object space coordinate calculating unit 114 calculates the position accuracy between objects having the GCP attribute among the objects obtained by corresponding to the high-precision map. If the reference value is greater than or equal to the reference position that accumulates the position accuracy between the objects having the same GCP attribute detected in subsequent images according to the movement of the moving object by repeating the threshold value or more, the information about the moving object is displayed. 200).

본 발명의 실시예에서 지도객체 갱신부(115)는 객체 공간 좌표 산출부(114)와 별개로 구성되지만, 이들은 실질적으로 정보를 지속적으로 교환하는 하나의 구성부일 수 있으며, 객체 공간 좌표 산출부(114)가 지도객체 갱신부(115)를 포함하거나 그 반대일 수도 있다.In the embodiment of the present invention, the map object updating unit 115 is configured separately from the object space coordinate calculating unit 114, but they may be one component that substantially exchanges information continuously, and the object space coordinate calculating unit ( 114 may include the map object updater 115 or vice versa.

도 9는 본 발명의 실시예에 따른 지도 업데이트 서버(200)의 구성도로서, 도시된 바와 같이 지도 갱신용 프로브 장치(110)와 통신하는 통신부(210)와, 고정밀 전자지도와 객체에 대한 데이터베이스(201)와 연동하는 데이터베이스 관리부(270)와, 통신부(210)를 통해 지도 갱신용 프로브 장치(110)로부터 수신한 객체 변화 정보가 신규 객체라면 신규 객체 리스트에 대기 상태로 등록하거나 대기 상태로 기 등록된 신규 객체의 경우 신규 객체 정확도를 갱신하여 기준 이상인지 판단하는 신규 객체 리스트 관리부(220)와, 상기 통신부(210)를 통해 지도 갱신용 프로브 장치(210)로부터 수신한 객체 변화 정보가 기존 객체의 변경(객체의 이동이나 제거 등)이라면 해당 객체의 품질 지수를 감소시키며 그 값이 기준 이하인지 판단하는 기존 객체 품질 관리부(230)와, 신규 객체 리스트 관리부(220)와 기존 객체 품질 관리부(230)의 판단 결과에 따라 데이터베이스 관리부(270)를 통해 고정밀 전자지도와 객체에 대한 데이터베이스(201)에 저장된 고정밀 전자지도의 객체 정보를 갱신하도록 하거나 별도의 갱신용 데이터 세트를 생성하는 업데이트 관리부(240)와, 업데이트 관리부(240)의 업데이트 정보의 내용이 기준 이상(갱신 내용이 기준보다 많거나 우선 순위가 높은 객체들이 변경되는 경우 등)이거나 업데이트 주기가 되면 지도 갱신용 프로브 장치(110)를 위한 갱신 정보를 생성하는 프로브 차량 업데이트 정보 제공부(250)와, 지도 갱신용 프로브 장치(110)나 일반 사용자를 위하여 업데이트 된 고정밀 전자지도 갱신 정보를 생성하여 제공하는 업데이트 정보 제공부(260)를 포함한다. 9 is a configuration diagram of a map update server 200 according to an exemplary embodiment of the present invention. As shown in FIG. 9, a communication unit 210 communicating with a map updating probe apparatus 110 and a database for a high-precision electronic map and an object are shown. If the object change information received from the database management unit 270 linked with the 201 and the communication unit 210 and the map updating probe apparatus 110 through the communication unit 210 is a new object, the object change information is registered in the new object list in the waiting state or the standby state is registered. In the case of the registered new object, the object change information received from the new object list management unit 220 and the map update probe device 210 through the communication unit 210 to determine whether the new object accuracy is greater than or equal to the reference value are existing objects. If the change of the object (moving or removing the object, etc.) of the existing object quality management unit 230 and the new object to reduce the quality index of the object and determine whether the value is below the reference; According to the determination result of the list manager 220 and the existing object quality manager 230, the database manager 270 may update the object information of the high precision electronic map stored in the database 201 for the high precision electronic map and the object, or The update management unit 240 generating the update data set and the content of the update information of the update management unit 240 are equal to or greater than the reference value (when the update content is higher than the standard or the objects with higher priority are changed) or the update cycle is short. When the probe vehicle update information providing unit 250 for generating update information for the map updating probe device 110 and generates high-precision electronic map update information updated for the map updating probe device 110 or a general user. It provides an update information providing unit 260 to provide.

여기서, 신규 객체 리스트 관리부(220)는 고정밀 전자지도에 신규 객체 업데이트 여부를 결정하기 전에 정보를 수집중인 리스트로서, 전자지도 업데이트 대기 신규객체 리스트를 구비한다. 신규 객체 리스트 관리부(220)는 지도 갱신용 프로브 장치(110)로부터 수집된 객체 정보 중에 신규객체를 확인하여 해당 신규 객체가 고정밀 전자지도 업데이트 대기 신규객체 리스트에 등록되어있는지 검색한다.Here, the new object list manager 220 is a list collecting information before determining whether to update a new object on the high-precision electronic map, and includes a list of new objects waiting to be updated. The new object list manager 220 checks the new object among the object information collected from the map updating probe apparatus 110 and searches whether the new object is registered in the high-precision electronic map update waiting new object list.

신규 객체 리스트 관리부(220)는 수신된 신규객체가 고정밀 전자지도 업데이트 대기 신규객체 리스트에 등록되지 않은 객체라면 리스트에 등록하고 이미 등록된 객체라면 해당 대기 신규객체를 고정밀 전자지도 업데이트를 위한 실제 신규객체로 등록할 것인지 여부를 판단하기위해 앞서 보였던 수학식 1을 활용하여 객체 유무의 정확도를 연산한다. 만일 정해진 횟수이상 동일 객체가 수집되었고 수학식 1의 연산 결과가 임계치 이상일 때 이를 업데이트 관리부(240)에 알려 고정밀 전자지도에 해당 신규객체를 업데이트 한다. 이러한 업데이트시 QI값을 최대값으로 적용하여 업데이트 한다. 만일 다른 프로브 차량이나 동일 프로브 차량이 해당 위치를 다시 지났을 때 신규 객체에 대한 보고가 없다면 객체 미발견으로 처리할 수 있다.The new object list manager 220 registers the received new object in the list if the received new object is not registered in the high-precision e-map update standby object and registers the standby new object in the high-precision e-map update if the object is already registered. In order to determine whether or not to register to calculate the presence or absence of the object using the above equation (1). If the same object is collected more than a predetermined number of times and the calculation result of Equation 1 is greater than or equal to a threshold, the update management unit 240 notifies the update management unit 240 to update the new object on the high-precision electronic map. In this update, the QI value is applied to the maximum value and updated. If another probe vehicle or the same probe vehicle passes the position again and there is no report on the new object, it can be treated as an object not found.

한편, 고정밀 전자지도에 업데이트되는 신규객체의 공간 좌표값은 여러 지도 갱신용 프로브 장치(110)들(혹은 단일 지도 갱신용 프로브 장치(110)의 다음 주기측정)에서 수집된 공간좌표의 평균값으로 적용한다.Meanwhile, the spatial coordinates of the new object updated on the high-precision electronic map are applied as an average value of the spatial coordinates collected by the various map updating probe apparatuses 110 (or the next period measurement of the single map updating probe apparatus 110). do.

실제 업데이트가 이루어지기 전에 이와 같이 업데이트할 신규 객체로 등록되는 경우 지도 갱신용 프로브 장치(110)로부터 동일 객체정보가 수집되어도 처리하지 않는다. 이후 프로브 차량 업데이트 정보 제공부(250)를 통해 해당 업데이트가 반영된 고정밀 전자지도가 모든 지도 갱신용 프로브 장치(110)에 다운로드되어서 적용되면 더 이상 해당 객체의 정보가 전송되지 않게된다.If the registered object is registered as a new object to be updated before the actual update is performed, even if the same object information is collected from the map updating probe apparatus 110, the same object information is not processed. Thereafter, when the high-precision electronic map reflecting the update is applied to all the map updating probe apparatus 110 through the probe vehicle update information providing unit 250 and applied, the information of the corresponding object is no longer transmitted.

한편, 기존 객체 품질 관리부(230)는 지도 갱신용 프로브 장치(110)로부터 수집된 객체정보 중에 변화된 객체(객체의 속성값중 공간좌표값의 큰변화, 도로 구조물 타입의 변화, 객체를 찾을 수 없음 등)는 고정밀 전자지도의 QI(품질 지수) 값을 변화내용에 따른 가중치를 두어 감소시킨다.On the other hand, the existing object quality management unit 230 is a change in the object information collected from the map updating probe device 110 (a large change in the spatial coordinates of the object property value, a change in the road structure type, the object can not be found And the like) reduce the QI (Quality Index) value of the high-precision electronic map by weighting it according to the change contents.

기존 객체 품질 관리부(230)는 QI값이 0보다 작은 경우 이를 업데이트 관리부(240)에 알려 해당 객체를 변화된 상태로 업데이트 하도록 한다. 해당 객체의 변경 상태가 업데이트 되면 QI 값을 최대값으로 적용하는 것이 바람직하다.The existing object quality management unit 230 notifies the update management unit 240 when the QI value is less than zero so as to update the object in a changed state. When the change status of the object is updated, it is desirable to apply the maximum QI value.

기존 객체 품질 관리부(230)는 업데이트가 결정된 변화된 객체와 동일한 객체가 지도 갱신용 프로브 장치(110)로부터 수집되어도 이에 대한 처리는 하지 않는다. 이후 프로브 차량 업데이트 정보 제공부(250)를 통해 해당 업데이트가 반영된 고정밀 전자지도가 모든 지도 갱신용 프로브 장치(110)에 다운로드되어서 적용되면 더 이상 해당 객체의 정보가 전송되지 않게된다.The existing object quality management unit 230 does not process the same object even if the same object as the changed object whose update is determined is collected from the map updating probe apparatus 110. Thereafter, when the high-precision electronic map reflecting the update is applied to all the map updating probe apparatus 110 through the probe vehicle update information providing unit 250 and applied, the information of the corresponding object is no longer transmitted.

이 경우 역시 고정밀 전자지도에 업데이트되는 변화 객체의 공간 좌표값은 여러 지도 갱신용 프로브 장치(110)들(혹은 단일 지도 갱신용 프로브 장치(110)의 다음 주기측정)에서 수집된 공간좌표의 평균값으로 적용한다.In this case, the spatial coordinates of the change object updated on the high-precision electronic map are the average values of the spatial coordinates collected by the various map updating probe devices 110 (or the next period measurement of the single map updating probe device 110). Apply.

업데이트 관리부(240)는 고정밀 전자지도가 업데이트되면 프로브 차량 업데이트 정보 제공부(250)를 통해 지도 갱신용 프로브 장치(110)에 신규 업데이트 요청 메시지를 보내고, 한편, 업데이트 정보 제공부(260)를 통해 자율주행 차량 등에도 신규 업데이트 요청 메시지를 보내고 고정밀지도 배포 업데이트를 수행할 수 있다. When the high-precision electronic map is updated, the update manager 240 sends a new update request message to the probe device 110 for updating maps through the probe vehicle update information providing unit 250, and via the update information providing unit 260. New update request messages can be sent to autonomous vehicles, and high-definition map distribution updates can be performed.

이 경우, 프로브 차량의 지도 갱신용 프로브 장치 및 업데이트된 공간좌표와 근접한 자율주행 차량, 차량이 보유한 지도의 버전과 업데이트 버전 차이에 가중치를 두어 가중치가 높은 차량에 우선적으로 배포 할 수 있다.In this case, the probe device for updating the map of the probe vehicle and the autonomous vehicle close to the updated spatial coordinate, the weight of the difference between the version and the update version of the map held by the vehicle can be preferentially distributed to the vehicle with a high weight.

도 10은 본 발명의 실시예에 따른 지도 업데이트 서버의 동작 과정을 보인 순서도이다.10 is a flowchart illustrating an operation process of a map update server according to an embodiment of the present invention.

도시된 바와 같이 프로브 차량의 지도 갱신용 프로브 장치로부터 객체 변화 정보를 수신한다.As shown in the drawing, object change information is received from a probe device for updating a map of a probe vehicle.

해당 수신된 객체 변화 정보가 신규 객체라면 신규 객체 리스트에 대기 상태로 등록하거나 대기 상태로 기 등록된 신규 객체의 경우 신규 객체 정확도를 갱신하여 기준 이상인지 판단한다. 만일 대기 상태로 등록된 신규 객체의 누적된 정확도가 기준 이상이라면 업데이트 관리부를 통해 해당 객체를 신규 객체로서 고정밀 전자지도의 객체 정보를 갱신한다. If the received object change information is a new object, it is determined whether the new object is registered in the standby state or in the case of a new object previously registered in the standby state by updating the accuracy of the new object. If the accumulated accuracy of the new object registered in the waiting state is greater than or equal to the reference, the update management unit updates the object information of the high-precision electronic map as the new object.

만일, 해당 수신된 객체 변화 정보가 기존 객체의 변경이라면 해당 객체의 품질을 감소시키며 그 값이 기준 이하인지 판단한다. 만일, 기존 객체의 품질이 기준 이하로 감소하면 업데이트 관리부를 통해 해당 객체의 변화된 상태 정보를 고정밀 전자지도의 객체 정보에 반영하여 갱신한다. If the received object change information is a change of an existing object, the quality of the object is reduced and it is determined whether the value is below a reference value. If the quality of the existing object decreases below the standard, the update management unit updates the changed state information of the corresponding object to reflect the object information of the high-precision electronic map.

이후, 설정된 조건이 되면 업데이트 관리부가 누적된 업데이트 정보를 고정밀 전자지도 데이터베이스에 반영하고, 업데이트 정보를 지도 갱신용 프로브 장치에 제공하거나 일반 사용자(자율주행 차량)를 위해 제공한다. Thereafter, when the set condition is reached, the update management unit reflects the accumulated update information in the high-precision electronic map database, and provides the update information to the map updating probe device or for the general user (autonomous vehicle).

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다. In the above described and illustrated with respect to preferred embodiments according to the present invention. However, the present invention is not limited to the above-described embodiment, and various modifications can be made by those skilled in the art without departing from the gist of the present invention attached to the claims. .

100: 프로브 차랑 110: 지도 갱신용 프로브 장치
111: 이동체 위치 및 자세 측정부 112: 영상 획득부
113: 객체 감지부 114: 객체 공간 좌표 산출부
115: 지도 객체 갱신부 116: 데이터베이스 관리부
117: 통신부 200: 지도 업데이트 서버
201: 고정밀 지도 및 객체 DB 210: 통신부
220: 신규 객체 리스트 관리부 230: 기존 객체 품질 관리부
240: 업데이트 관리부
250; 프로브 이동체 업데이트 정보 제공부
260: 업데이트 정보 제공부 270: DB 관리부
100: probe-like 110: probe update device for map update
111: moving object position and attitude measurement unit 112: image acquisition unit
113: object detection unit 114: object space coordinate calculation unit
115: map object updating unit 116: database management unit
117: communication unit 200: map update server
201: high-precision maps and objects DB 210: communication unit
220: new object list management unit 230: existing object quality management unit
240: update management unit
250; Probe moving body update information provider
260: update information provider 270: DB management unit

Claims (10)

이동체에 탑재되어 자율주행을 위하여 이미 마련된 고정밀 전자지도에 포함된 객체의 변화를 탐지하는 지도 갱신용 프로브 장치와, 지도 갱신용 프로브 장치의 제공 정보를 수집하여 고정밀 전자지도를 갱신하는 지도 업데이트 서버를 포함하는 객체 변화 탐지 시스템에 관한 것으로,
상기 지도 갱신용 프로브 장치는 도로의 스테레오 이미지와 상기 이동체의 위치 및 자세 정보를 이동에 따라 반복적으로 획득하되 획득된 정보를 기반으로 매번 이미지 내 객체들의 종류와 공간 위치를 기 보유한 고정밀 전자지도 객체와 비교하여 변화를 반복 수집한 후 객체 변화 정보만을 지도 업데이트 서버에 제공하고,
상기 지도 업데이트 서버는 상기 지도 갱신용 프로브 장치로부터 수집한 객체 변화 정보를 누적 판단하여 신규 객체를 고정밀 전자지도에 추가하거나 기존 객체의 변경 상태를 반영한 후 상기 지도 갱신용 프로브 장치를 위한 갱신 정보를 생성하여 제공하되,
상기 지도 갱신용 프로브 장치는,
지도 업데이트 서버와 통신하는 통신부와;
지도 업데이트 서버로부터 수신한 고정밀 전자지도 정보를 구비한 고정밀 지도 및 객체 데이터베이스와,
상기 이동체의 위치와 자세를 센싱하는 센서를 통해 이동체의 위치와 자세를 측정하는 이동체 위치 및 자세 측정부와;
스테레오 카메라를 통해 도로의 좌우 영상을 획득하는 영상 획득부와;
상기 영상 획득부의 영상으로부터 객체의 종류와 객체의 공간 위치를 검출하는 객체 감지부와;
상기 객체 감지부에서 감지된 객체의 공간 위치와 이동체의 위치 및 자세를 상기 고정밀 지도 및 객체 데이터베이스에 저장된 고정밀 전자지도에 대응시키며, 감지된 객체들 중 GCP(Ground Control Point: 지상 기준점) 속성이 포함된 객체들을 기준으로 다른 감지 객체들의 공간 좌표를 다시 산출하는 객체 공간 좌표 산출부와;
상기 이동체의 이동에 따라 반복 산출된 상기 객체 공간 좌표 산출부의 객체들에 대한 변화 정보의 누적이 기준 이상인 경우 신규 객체나 변경 객체에 대한 산출 정보만 상기 통신부를 통해 상기 지도 업데이트 서버에 제공하는 지도 객체 갱신부를 포함하고,
상기 객체 공간 좌표 산출부는, 고정밀 지도에 대응시켜 얻은 객체들 중에서 GCP 속성을 가진 객체 간의 위치 정확도를 산출하여 위치 이동 여부를 판단하고, GCP 속성을 가진 객체들 중에서 복수의 기준 객체들을 선별한 후 이들을 기준으로 GCP 속성이 없는 신규 객체의 위치를 산출하며, 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 신규 객체에 대해 그 위치를 반복 산출하여 신규 객체 여부에 대한 정확도가 기준 이상이 되면, 해당 신규 객체에 대한 정보를 상기 지도 업데이트 서버에 제공하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템.
A map update probe device for detecting a change in an object included in a high precision electronic map already provided for autonomous driving and a map update server for collecting high-precision electronic maps by collecting information provided on the map update probe device. An object change detection system that includes
The map updating probe apparatus may repeatedly acquire a stereo image of a road and position and posture information of the moving object as the movement moves, and based on the obtained information, a high-precision electronic map object that previously holds the type and spatial location of the objects in the image each time; After comparing and repeatedly collecting changes, only the object change information is provided to the map update server.
The map update server accumulates the object change information collected from the map update probe device, adds a new object to the high-precision electronic map, or reflects the change state of the existing object, and then generates update information for the map update probe device. By providing
The map updating probe device,
A communication unit for communicating with a map update server;
A high-precision map and object database having high-precision electronic map information received from a map update server,
A mobile body position and posture measuring unit which measures the position and posture of the mobile body through a sensor for sensing the position and posture of the mobile body;
An image acquisition unit for acquiring the left and right images of the road through a stereo camera;
An object detecting unit detecting a type of an object and a spatial position of the object from an image of the image obtaining unit;
The spatial position of the object detected by the object detection unit and the position and attitude of the moving object correspond to the high-precision map and the high-precision electronic map stored in the object database. Among the detected objects, a ground control point (GCP) property is included. An object space coordinate calculator configured to recalculate spatial coordinates of other sensing objects based on the detected objects;
If the cumulative change information of the objects of the object space coordinate calculation unit repeatedly calculated according to the movement of the moving object is greater than or equal to the reference, only the calculation information for the new object or the change object is provided to the map update server through the communication unit. Including update unit,
The object space coordinate calculation unit determines whether the position is moved by calculating the position accuracy between objects having a GCP attribute among the objects obtained in correspondence with a high-precision map, selects a plurality of reference objects among the objects having the GCP attribute, and then selects them. The position of a new object having no GCP property is calculated as a reference, and the position is repeatedly calculated for the same new object detected in subsequent images according to the movement of the moving object. The object change detection system for the high-precision electronic map update, characterized in that for providing information on the object to the map update server.
삭제delete 삭제delete 청구항 1에 있어서, 상기 기준 객체들을 기준으로 신규 객체의 위치를 산출하는 것은 기준 객체들의 알려진 공간 좌표와 기준 객체들의 이미지 상 픽셀 위치들을 기준으로 신규 객체의 공간 좌표 중 2개 축에 대한 위치를 비례적으로 검출하고, 스테레오 이미지 간 격차를 정리한 격차맵을 생성하면서 얻어진 히스토그램 컬러값을 이용하여 신규 객체의 깊이에 대응하는 나머지 1개 축에 대한 위치를 비례적으로 검출하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템.
The method of claim 1, wherein calculating the position of the new object based on the reference objects is based on a position of two axes of the spatial coordinates of the new object based on the known spatial coordinates of the reference objects and the pixel positions on the image of the reference objects. High-precision electronics, characterized in that it detects proportionally the position of the remaining one axis corresponding to the depth of the new object by using the histogram color value obtained by detecting the gap and generating the gap map that summarizes the gap between the stereo images. Object Change Detection System for Map Updates.
청구항 4에 있어서, 상기 신규 객체의 깊이에 대응하는 위치를 검출할 경우 격차맵의 비선형 특성을 반영하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템.
The object change detection system of claim 4, wherein the nonlinear characteristic of the gap map is reflected when the position corresponding to the depth of the new object is detected.
청구항 1에 있어서, 상기 객체 공간 좌표 산출부는 고정밀 지도에 대응시켜 얻은 객체들 중에서 GCP 속성을 가진 객체 간의 위치 정확도를 산출하여 위치 이동 여부를 판단하고 위치 이동이 기준 이상인 경우 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 GCP 속성을 가진 객체 간의 위치 정확도를 누적하여 기준 이상 위치 이동한 것이 임계치 이상 반복되면, 해당 이동 객체에 대한 정보를 상기 지도 업데이트 서버에 제공하며, GCP 속성을 가진 객체의 위치 이동은 해당 GCP 객체의 발견 실패를 포함하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템.
The method according to claim 1, wherein the object space coordinate calculation unit calculates the position accuracy between the objects having a GCP attribute among the objects obtained in correspondence with the high-precision map, and determines whether or not the position movement, if the position movement is higher than the reference, subsequent image according to the movement of the moving object If the movement of the position over the reference by accumulating the position accuracy between objects having the same GCP attribute detected in the field is repeated over the threshold value, the information on the corresponding movement object is provided to the map update server, and the position movement of the object having the GCP attribute is performed. The object change detection system for a high-precision electronic map update, characterized in that it comprises a failure to find the corresponding GCP object.
청구항 1에 있어서, 상기 객체 공간 좌표 산출부는 객체간 절대위치 차이와 객체간 상대위치 차분값을 산출하되, 지도 업데이트 서버에 제공할 신규 객체나 위치 이동 객체 정보의 위치 산출값은 N번 반복 연산된 객체의 상대위치 차분값에 근접한 객체간 절대 위치 차이를 가지는 공간 좌표를 선택하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템.
The method of claim 1, wherein the object space coordinate calculation unit calculates the absolute difference between the object position and the relative position difference value between the objects, the position calculation value of the new object or the moving object information to be provided to the map update server is repeated N times An object change detection system for updating a high-precision electronic map, characterized by selecting a spatial coordinate having an absolute position difference between objects close to a relative position difference value of the object.
청구항 1에 있어서, 상기 지도 업데이트 서버는 상기 지도 갱신용 프로브 장치와 통신하는 통신부와;
고정밀 전자지도와 객체에 대한 데이터베이스와 연동하는 데이터베이스 관리부와;
상기 통신부를 통해 상기 지도 갱신용 프로브 장치로부터 수신한 객체 변화 정보가 신규 객체라면 신규 객체 리스트에 대기 상태로 등록하거나 대기 상태로 기 등록된 신규 객체의 경우 신규 객체 정확도를 갱신하여 기준 이상인지 판단하는 신규 객체 리스트 관리부와;
상기 통신부를 통해 상기 지도 갱신용 프로브 장치로부터 수신한 객체 변화 정보가 기존 객체의 변경이라면 해당 객체의 품질을 감소시키며 그 값이 기준 이하인지 판단하는 기존 객체 품질 관리부와;
상기 신규 객체 리스트 관리부와 상기 기존 객체 품질 관리부의 판단 결과에 따라 상기 데이터베이스 관리부를 통해 고정밀 전자지도의 객체 정보를 갱신하도록 하는 업데이트 관리부와;
상기 업데이트 관리부의 업데이트 정보의 내용이 기준 이상이거나 업데이트 주기가 되면 상기 지도 갱신용 프로브 장치를 위한 갱신 정보를 생성하는 프로브 이동체 업데이트 정보 제공부와;
상기 지도 갱신용 프로브 장치나 일반 사용자를 위하여 업데이트 된 고정밀 전자지도 갱신 정보를 생성하여 제공하는 업데이트 정보 제공부를 포함하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템.
The apparatus of claim 1, wherein the map update server comprises: a communication unit communicating with the map updating probe apparatus;
A database manager interworking with a database of high-precision electronic maps and objects;
If the object change information received from the map updating probe apparatus through the communication unit is a new object, the object change information is registered in the new object list in the standby state or in the case of the new object previously registered in the standby state, the new object accuracy is updated to determine whether or not it is higher than a standard. A new object list manager;
An existing object quality management unit to reduce the quality of the corresponding object and determine whether the value is less than a reference value when the object change information received from the map updating probe apparatus through the communication unit is a change of the existing object;
An update manager configured to update the object information of the high precision electronic map through the database manager according to a determination result of the new object list manager and the existing object quality manager;
A probe moving object update information providing unit generating update information for the map updating probe device when the content of the update information of the update management unit is equal to or higher than a reference period;
And an update information providing unit configured to generate and provide updated high-precision electronic map update information for the map updating probe device or a general user.
이동체에 탑재되어 자율주행을 위하여 이미 마련된 고정밀 전자지도에 포함된 객체의 변화를 탐지하는 지도 갱신용 프로브 장치와, 지도 갱신용 프로브 장치의 제공 정보를 수집하여 고정밀 전자지도를 갱신하는 지도 업데이트 서버를 포함하는 객체 변화 탐지 시스템을 이용한 객체 변화 탐지 방법에 관한 것으로,
(a) 상기 지도 갱신용 프로브 장치가 도로의 스테레오 이미지와 상기 이동체의 위치 및 자세 정보를 검출하고, 스테레오 이미지에서 객체들을 검출하는 단계와;
(b) 상기 지도 갱신용 프로브 장치가 스테레오 이미지에서 검출된 객체들의 유형과 공간 좌표를 검출하고, 이미 마련된 고정밀 전자지도와 이동체의 위치를 일치시킨 후 검출된 객체들을 고정밀 전자지도의 객체들과 비교하는 단계와;
(c) 상기 지도 갱신용 프로브 장치가 이동체 이동에 따른 복수의 스테레오 이미지로부터 객체를 검출하여 고정밀 전자지도의 객체들과 반복 비교하여 신규 객체나 기존 객체의 변경이 있는 경우에만 신규 객체나 변경 객체 관련 정보를 상기 지도 업데이트 서버에 제공하는 단계와;
(d) 상기 지도 업데이트 서버가 상기 지도 갱신용 프로브 장치로부터 수집한 객체 변화 정보를 누적 판단하여 신규 객체를 고정밀 전자지도에 추가하거나 기존 객체의 변경 상태를 반영한 후 상기 지도 갱신용 프로브 장치를 위한 갱신 정보를 생성하여 제공하는 단계를 포함하되,
상기 (c) 단계는,
상기 지도 갱신용 프로브 장치가 상기 고정밀 전자지도의 객체들과 반복 비교하여 얻은 객체들 중에서 GCP 속성을 가진 객체의 위치 정확도를 산출하여 위치 이동 여부를 판단하고, GCP 속성을 가진 객체들 중에서 위치 이동이 기준 이하인 복수의 기준 객체들을 선별한 후 이들을 기준으로 GCP 속성이 없는 신규 객체의 위치를 산출하며, 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 신규 객체에 대해 그 위치를 반복 산출하여 신규 객체 여부에 대한 정확도가 기준 이상이 되면 해당 신규 객체에 대한 정보를 상기 지도 업데이트 서버에 제공하는 단계를 포함하는, 고정밀 전자지도 갱신을 위한 객체 변화 탐지 방법.
A map update probe device for detecting a change in an object included in a high precision electronic map already provided for autonomous driving and a map update server for collecting high-precision electronic maps by collecting information provided on the map update probe device. An object change detection method using an object change detection system including,
(a) detecting, by the map updating probe device, a stereo image of a road, position and attitude information of the moving object, and detecting objects in the stereo image;
(b) The map updating probe apparatus detects the type and spatial coordinates of the objects detected in the stereo image, matches the positions of the high-precision electronic map and the moving object, and compares the detected objects with the objects of the high-precision electronic map. Making a step;
(c) The map updating probe apparatus detects an object from a plurality of stereo images according to a moving object and repeatedly compares it with the objects of the high-precision electronic map, and relates to a new object or a change object only when there is a change of a new object or an existing object. Providing information to the map update server;
(d) accumulating and determining the object change information collected from the map updating probe apparatus by the map updating server, adding a new object to the high-precision electronic map, or reflecting the change state of the existing object, and then updating the probe apparatus for updating the map. Including generating and providing information,
In step (c),
The map updating probe apparatus calculates the position accuracy of an object having a GCP attribute among objects obtained by iteratively comparing with the objects of the high-precision electronic map, and determines whether the position has moved. After selecting a plurality of reference objects that are below a reference, the position of the new object without GCP attributes is calculated based on the reference object, and the position is repeatedly calculated for the same new object detected in subsequent images according to the movement of the moving object. And providing information on the new object to the map update server when the accuracy of the reference value is greater than or equal to the reference value.
청구항 9에 있어서, 상기 (c) 단계는,
상기 지도 갱신용 프로브 장치가 GCP 속성을 가진 객체 중 위치 이동이 기준 이상인 경우 이동체의 이동에 따른 후속 이미지들에서 검출되는 동일한 GCP 속성을 가진 객체의 위치를 누적하여 기준 이상 위치 이동한 것이 임계치 이상 반복되면 해당 이동 객체에 대한 정보를 상기 지도 업데이트 서버에 제공하는 단계를 더 포함하는 것을 특징으로 하는 고정밀 전자지도 갱신을 위한 객체 변화 탐지 방법.The method of claim 9, wherein step (c) is
If the map update probe device has a position shift of more than a reference among the objects having a GCP attribute, the position of the object having the same GCP attribute detected in subsequent images according to the movement of the moving object is accumulated and moved beyond the threshold value. And providing information on the corresponding moving object to the map update server, if any.

Images