KR20230086664A - Map matching method, device, electronic device and storage medium - Google Patents

Map matching method, device, electronic device and storage medium Download PDF

Info

Publication number
KR20230086664A
KR20230086664A KR1020237009778A KR20237009778A KR20230086664A KR 20230086664 A KR20230086664 A KR 20230086664A KR 1020237009778 A KR1020237009778 A KR 1020237009778A KR 20237009778 A KR20237009778 A KR 20237009778A KR 20230086664 A KR20230086664 A KR 20230086664A
Authority
KR
South Korea
Prior art keywords
semantic
map
candidate
positioning information
semantic feature
Prior art date
Application number
KR1020237009778A
Other languages
Korean (ko)
Inventor
시아오 허
Original Assignee
우이시 테크놀로지스 (베이징) 리미티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우이시 테크놀로지스 (베이징) 리미티드. filed Critical 우이시 테크놀로지스 (베이징) 리미티드.
Publication of KR20230086664A publication Critical patent/KR20230086664A/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3859Differential updating map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 맵 매칭 방법, 장치, 전자기기 및 저장 매체를 제공한다. 상기 방법은, 차량의 초기 측위 정보 및 차량 센서 데이터를 획득하는 단계(601); 초기 측위 정보를 기반으로, 복수의 후보 측위 정보를 결정하는 단계(602); 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하는 단계(603); 차량의 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하는 단계(604); 각 후보 측위 정보(605)에 대해, 후보 측위 정보를 기반으로, 복수 맵 시맨틱 특징을 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하는 단계(6051); 복수 관측 시맨틱 특징과 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계(6052); 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 차량의 최적 후보 측위 정보와 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계(606);를 포함한다. 상기 방법은 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 추가 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않으며, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하는 기초에서 좋은 매칭 효과를 실현한다.The present invention provides a map matching method, apparatus, electronic device and storage medium. The method includes obtaining (601) initial positioning information and vehicle sensor data of a vehicle; Based on the initial positioning information, determining a plurality of candidate positioning information (602); Based on the vehicle sensor data, determining multi-view semantic features (603); obtaining partial map information including a plurality of map semantic features based on the initial positioning information of the vehicle (604); For each candidate positioning information 605, based on the candidate positioning information, converting the plurality of map semantic features into the coordinate system of the vehicle sensor, and obtaining the plurality of candidate map semantic features in the coordinate system (6051); (6052) obtaining matching pairs by matching multiple observation semantic features with multiple candidate map semantic features; and determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each candidate positioning information (606). The above method is applied to the vector semantic map, uses only the vector information of the vector semantic map to realize real-time matching of observed features and map features, does not rely on additional descriptors and additional data such as intensity, storage requirements and It realizes a good matching effect on the basis of reducing computing power usage.

Description

맵 매칭 방법, 장치, 전자기기 및 저장 매체Map matching method, device, electronic device and storage medium

본 출원은 2020년 09월 27일에 중국특허국에 출원한 출원번호가 2020110314570이고 출원 명칭이 “맵 매칭 방법, 장치, 전자기기 및 저장 매체”인 중국 특허 출원의 우선권을 주장하며, 상기 출원의 전체 내용은 참조로 본 출원에 원용된다.This application claims priority to a Chinese patent application filed with the Chinese Patent Office on September 27, 2020 with application number 2020110314570 and application title "Map matching method, apparatus, electronic device and storage medium", The entire contents are incorporated into this application by reference.

본 발명의 실시예는 지능형 운전 기술 분야에 관한 것으로, 구체적으로 맵 매칭 방법, 장치, 전자기기 및 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것이다.Embodiments of the present invention relate to the field of intelligent driving technology, and specifically to a map matching method, device, electronic device, and non-transitory computer readable storage medium.

지능형 운전 기술 분야에서, 보조 운전이든 자동 운전이든 물론하고 차량 측위 기술은 중요한 역할을 한다. 현재 주요한 차량 측위 기술은 비전 기반 vslam(visual simultaneous localization and mapping, 시각적 실시간 측위 및 맵 구축) 기술과 라이다 기반 lslam(laser simultaneous localization and mapping, 레이저 실시간 측위 및 맵 구축) 기술 등을 포함하며, 이러한 방법들은 일반적으로 사전에 조밀한 위치 맵을 구축하고 매칭을 위한 디스크립터, 강도 등의 정보를 저장해야 하며, 많은 저장 자원을 소모한다.In the field of intelligent driving technology, whether assisted driving or autonomous driving, vehicle positioning technology plays an important role. Currently, major vehicle positioning technologies include vision-based vslam (visual simultaneous localization and mapping, visual real-time positioning and map construction) technology and lidar-based lslam (laser simultaneous localization and mapping, laser real-time positioning and map construction) technology. Methods generally need to build a dense location map in advance and store information such as descriptors and strengths for matching, consuming a lot of storage resources.

위치 맵의 크기를 줄이고, 특정 시나리오에서 견고성을 개선하기 위해, 일부 측위 방법은 벡터 시맨틱 맵을 기반으로 측위를 수행한다. 그러나, 벡터 맵의 희소성으로 인해 크기가 크게 줄어들지만, 디스크립터 등 정보가 부족하여 효율적이고 정확한 실시간 매칭을 실현하는데 도전을 제기했다.To reduce the size of the location map and improve robustness in certain scenarios, some location methods perform location based on a vector semantic map. However, although the size is greatly reduced due to the sparsity of the vector map, the lack of information such as descriptors poses a challenge to realizing efficient and accurate real-time matching.

상기와 같은 문제점의 발견 과정에 대한 설명은 본 발명의 기술적 해결책에 대한 이해를 돕기 위한 것일 뿐, 상기 내용이 기존의 기술임을 인정하는 것은 아니다.The description of the discovery process of the above problem is only to help the understanding of the technical solution of the present invention, and does not acknowledge that the above content is an existing technology.

종래 기술에 존재하는 적어도 하나의 문제점을 해결하기 위해, 본 발명의 적어도 하나의 실시예는 맵 매칭 방법, 장치, 전자기기 및 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.In order to solve at least one problem existing in the prior art, at least one embodiment of the present invention provides a map matching method, apparatus, electronic device and non-transitory computer readable storage medium.

제1 측면에서, 본 발명의 실시예는 맵 매칭 방법을 제공하며, 상기 방법은,In a first aspect, an embodiment of the present invention provides a map matching method, the method comprising:

차량의 초기 측위 정보 및 차량의 센서 데이터를 획득하는 단계;acquiring initial positioning information of the vehicle and sensor data of the vehicle;

상기 초기 측위 정보를 기반으로, 복수의 후보 측위 정보를 결정하는 단계;determining a plurality of candidate positioning information based on the initial positioning information;

상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하는 단계;determining a multi-observation semantic feature based on the vehicle sensor data;

상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하는 단계;obtaining partial map information including a plurality of map semantic features based on the initial positioning information;

상기 각 후보 측위 정보에 대해,For each of the above candidate positioning information,

상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하는 단계;converting the plurality of map semantic features into a coordinate system of the vehicle sensor based on the candidate positioning information, and obtaining a plurality of candidate map semantic features in the coordinate system;

상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계;obtaining a matching pair by matching the multiple observations semantic features with the multiple candidate map semantic features;

상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계;를 포함한다.and determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each candidate positioning information.

제2 측면에서, 본 발명의 실시예는 또한 맵 매칭 장치를 제공하며, 상기 장치는,In a second aspect, an embodiment of the present invention also provides a map matching device, wherein the device includes:

차량의 초기 측위 정보 및 차량 센서 데이터를 획득하고, 상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하기 위한 획득 유닛;an acquiring unit configured to acquire initial positioning information of a vehicle and vehicle sensor data, and obtain partial map information including plural map semantic features, based on the initial positioning information;

상기 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정하고, 상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하기 위한 제1 결정 유닛;a first determining unit configured to determine multiple candidate positioning information based on the initial positioning information, and determine multiple observation semantic features based on the vehicle sensor data;

상기 각 후보 측위 정보에 대해,For each of the above candidate positioning information,

상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며;converting the plurality of map semantic features into a coordinate system of the vehicle sensor based on the candidate positioning information, and obtaining a plurality of candidate map semantic features in the coordinate system;

상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하기 위한 매칭 유닛;a matching unit configured to obtain a matching pair by matching the multiple observations semantic features with the multiple candidate map semantic features;

상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하기 위한 제2 결정 유닛;을 포함한다.and a second determining unit configured to determine, based on the matching pair corresponding to each of the candidate positioning information, the best candidate positioning information of the vehicle and the matching pair corresponding to the best candidate positioning information.

제3 측면에서, 본 발명의 실시예는 또한 전자기기를 제공하며, 상기 전자기기는 프로세서 및 메모리를 포함하며, 상기 프로세서는 상기 메모리에 저장된 프로그램 또는 명령을 호출하여 제1 측면의 맵 매칭 방법의 단계를 수행한다.In a third aspect, an embodiment of the present invention also provides an electronic device, wherein the electronic device includes a processor and a memory, and the processor calls a program or command stored in the memory to perform the map matching method of the first aspect. do the steps

제4 측면에서, 본 발명의 실시예는 또한 프로그램 또는 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 프로그램 또는 명령이 컴퓨터에 의해 실행됨으로써 제1 측면의 맵 매칭 방법의 단계가 수행된다.In a fourth aspect, an embodiment of the present invention also provides a non-transitory computer-readable storage medium storing a program or instructions, wherein the program or instructions are executed by a computer, thereby performing the steps of the map matching method of the first aspect. .

본 발명의 적어도 하나의 실시예에서, 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정하고, 차량의 초기 측위 정보를 기반으로 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하고 초기 측위 정보를 포함하는 복수 후보 측위 정보를 결정하며; 각 후보 측위 정보에 대해 모두 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 얻음으로써, 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로 차량의 최적 후보 측위 정보 및 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.In at least one embodiment of the present invention, multiple observation semantic features are determined based on vehicle sensor data, partial map information including multiple map semantic features is obtained based on initial positioning information of the vehicle, and the initial positioning information is included. determine a plurality of candidate positioning information; Obtaining a matching pair by matching the observation semantic feature and the candidate map semantic feature for each candidate positioning information, thereby corresponding to the optimal candidate positioning information and the optimal candidate positioning information of the vehicle based on the matching pair corresponding to each candidate positioning information. Determine matching pairs.

본 발명의 실시예는 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보(예: 맵 시맨틱 특징 정보)만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않고, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하고, 좋은 매칭 효과를 달성한다. 또한, 본 발명의 실시예는 센서 유형(카메라, 레이저 레이더 등이 적용 가능함)에 대한 특별한 요구 사항이 없다.Embodiments of the present invention are applied to a vector semantic map, and real-time matching between observed features and map features is realized using only vector information (eg, map semantic feature information) of the vector semantic map, and additional descriptors and strengths are added. It does not depend on data, reduces storage requirements and computing power consumption, and achieves a good matching effect. In addition, the embodiment of the present invention has no special requirements for the sensor type (camera, laser radar, etc. are applicable).

이하, 본 발명의 실시예 또는 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예 또는 기존 기술의 설명에 사용되는 첨부도면에 대해 간단히 설명하며, 다음에 설명되는 첨부도면은 본 발명의 일부 실시예를 나타내며, 본 발명의 기술 분야의 통상의 지식을 가진 자는 이러한 첨부도면을 기초로 다른 첨부도면을 얻을 수 있다.
도 1은 본 발명의 실시예에 의해 제공되는 매칭 문제의 예시적인 장면도이다.
도 2는 본 발명의 실시예에 의해 제공되는 지능형 운전 차량의 아키텍처를 예시한 도면이다.
도 3은 본 발명의 실시예에 의해 제공되는 지능형 운전 시스템의 예시적인 블록도이다.
도 4는 본 발명의 실시예에 의해 제공되는 맵 매칭 장치의 예시적인 블록도이다.
도 5는 본 발명의 실시예에 의해 제공되는 전자기기의 예시적인 블록도이다.
도 6은 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 예시적인 흐름도이다.
도 7은 본 발명의 실시예에 의해 제공되는 시맨틱-유클리드 거리 행렬의 개략도이다.
도 8은 도 7의 시맨틱-유클리드 거리 행렬에 기반하여 결정된 거리 정렬 행렬의 예시도이다.
도 9는 도 8의 거리 정렬 행렬을 업데이트하여 얻은 행렬의 예시도이다.
Hereinafter, in order to more clearly describe the embodiments or technical solutions of the present invention, the accompanying drawings used in the description of the embodiments or the existing technology will be briefly described, and the accompanying drawings described below illustrate some embodiments of the present invention. Indicated, those skilled in the art can obtain other attached drawings based on these attached drawings.
1 is an exemplary scene diagram of a matching problem provided by an embodiment of the present invention.
2 is a diagram illustrating the architecture of an intelligent driving vehicle provided by an embodiment of the present invention.
3 is an exemplary block diagram of an intelligent driving system provided by an embodiment of the present invention.
4 is an exemplary block diagram of a map matching device provided by an embodiment of the present invention.
5 is an exemplary block diagram of an electronic device provided by an embodiment of the present invention.
6 is an exemplary flowchart of a map matching method provided by an embodiment of the present invention.
7 is a schematic diagram of a semantic-Euclidean distance matrix provided by an embodiment of the present invention.
8 is an exemplary view of a distance alignment matrix determined based on the semantic-Euclidean distance matrix of FIG. 7 .
9 is an exemplary diagram of a matrix obtained by updating the distance alignment matrix of FIG. 8 .

본 발명의 상기 목적, 특징 및 장점을 더 잘 이해할 수 있도록, 이하 첨부도면과 실시예를 결부하여 본 발명에 대해 더 상세히 설명하고자 한다. 상기 설명된 실시예는 본 발명의 일부분 실시예이며, 모든 실시예인 것이 아니다. 여기에서 설명된 특정 실시예는 단지 본 발명을 해석하기 위한 것이며, 본 발명을 한정하려는 것이 아니다. 본 발명의 기술 분야의 통상의 지식을 가진 자가 상기에 설명된 본 발명의 실시예를 기반으로 창의적인 노동을 거치지 않고 얻은 다른 모든 실시예는 모두 본 발명의 보호 범위에 속한다.In order that the above objects, features and advantages of the present invention may be better understood, the present invention will be described in more detail in conjunction with the accompanying drawings and embodiments. The embodiments described above are some embodiments of the present invention, not all embodiments. The specific embodiments described herein are for interpretation of the present invention only, and are not intended to limit the present invention. All other embodiments obtained by a person skilled in the art without creative labor based on the above-described embodiments of the present invention fall within the protection scope of the present invention.

또한, 본 명세서에서 “제1” 및 “제2” 와 같은 관계 용어는 하나의 개체 또는 작업을 다른 개체 또는 작업과 구분하기 위해 사용되며, 상기 개체나 작업 간에 반드시 이러한 실제 관계 또는 순서가 존재해야 한다고 요구하거나 암시하는 것은 아니다.In addition, in this specification, relational terms such as “first” and “second” are used to distinguish one object or task from another object or task, and such an actual relationship or order must exist between the objects or tasks. It is not required or implied.

지능형 운전 과정에 맵 매칭을 실시간으로 수행하기 위해, 본 발명의 실시예는 도 1을 결부하여 매칭 문제에 대해 다음과 같이 설명한다.In order to perform map matching in real time in the process of intelligent driving, an embodiment of the present invention, referring to FIG. 1, describes a matching problem as follows.

도 1에서, 집합 M{m1, m2}와 집합 M’{m’1, m’2}가 주어지고, 최소 거리의 제약하에 M 중의 요소를 위해 M’에서 가능한 많은 매칭 요소를 찾아 매칭 쌍을 형성하며, 각 매칭 쌍에는 M 중의 하나의 요소와 M’ 중의 하나의 요소가 포함된다.In Fig. 1, given the set M{m1, m2} and the set M'{m'1, m'2}, finding as many matching elements as possible in M' for an element in M under the constraint of the minimum distance, a matching pair is obtained. and each matching pair includes one element of M and one element of M'.

도 1에서, 매칭 쌍:(m1, m’2)와 (m2, m’1)이 존재하며, 최소 거리의 제약을 받기 때문에, m1와 m’2 간의 거리는 m1과 m’1 간의 거리보다 작고, 마찬가지로, m2와 m’1 간의 거리도 m2와 m’2 간의 거리보다 작은 것을 이해할 수 있다.In Figure 1, matching pairs: (m1, m'2) and (m2, m'1) exist, and since they are constrained by the minimum distance, the distance between m1 and m'2 is smaller than the distance between m1 and m'1. , Similarly, it can be understood that the distance between m2 and m'1 is smaller than the distance between m2 and m'2.

매칭 문제에 대한 상기 설명에 기초하여 맵 매칭에 적용하면, 집합 M은 관측 특징의 집합으로 이해될 수 있고, 집합 M’은 맵 특징의 집합으로 이해될 수 있다. 일부 실시예에서, 관측 특징은 실시간 관측 특징일 수 있고, 관측 특징이든 아니면 맵 특징이든 모두 시맨틱 특징이며, 즉 관측 특징은 관측 시맨틱 특징이고, 맵 특징은 맵 시맨틱 특징이다.Based on the above description of the matching problem and applied to map matching, the set M can be understood as a set of observed features, and the set M' can be understood as a set of map features. In some embodiments, an observation feature may be a real-time observation feature, and whether an observation feature or a map feature is both a semantic feature, that is, an observation feature is an observation semantic feature and a map feature is a map semantic feature.

관측 시맨틱 특징은 차량 센서 데이터를 기반으로 결정된 측위를 위한 대상의 관측 시맨틱 특징으로 이해될 수 있으며, 예를 들어, 차량 센서 데이터는 이미지 데이터이며, 대상 검출 알고리즘을 통해 이미지 데이터를 처리하여 이미지에 포함된 대상의 카테고리 및 위치를 결정할 수 있고, 상기 대상은 관측 시맨틱 특징으로 이해될 수 있다. 예를 들어, 이미지에 포함된 차선, 교통노면표시(예: 직진, 좌회전, 우회전 등), 교통 신호등(즉, 신호등), 교통 표지판 등은 모두 측위를 위한 대상의 관측 시맨틱 특징이다.The observation semantic feature may be understood as an observation semantic feature of an object for positioning determined based on vehicle sensor data. For example, vehicle sensor data is image data, and image data is processed and included in an image through an object detection algorithm. It is possible to determine the category and location of the detected object, and the object can be understood as an observational semantic feature. For example, lanes included in an image, traffic road markings (eg, go straight, turn left, turn right, etc.), traffic lights (ie, traffic lights), traffic signs, etc. are all observational semantic features of objects for positioning.

맵 시맨틱 특징은 맵(예: 벡터 맵)에 포함된 측위를 위한 대상의 시맨틱 특징으로 이해될 수 있으며, 예를 들어, 맵에 포함된 차선, 교통노면표시, 신호등, 교통표지판 등은 모두 측위를 위한 대상의 맵 시맨틱 특징이다. 일부 실시예에서, 맵으로부터 맵 시맨틱 특징을 용이하게 획득하기 위해, 맵에 맵 시맨틱 특징의 정보, 예를 들어, 맵에 맵 시맨틱 특징의 시맨틱 레이블 및 위치 등과 같은 맵 시맨틱 특징과 관련된 정보가 포함되어 맵을 획득하는 동시에 맵에서 맵 시맨틱 특징의 정보를 용이하게 획득할 수 있도록, 맵에 대해 전처리를 수행할 수 있다.A map semantic feature can be understood as a semantic feature of an object for positioning included in a map (eg, a vector map). For example, lanes, traffic road markings, traffic lights, traffic signs, etc. included in the map are all subject to positioning. The map semantic characteristics of the target for In some embodiments, to facilitate obtaining a map semantic feature from a map, the map includes information of the map semantic feature, e.g., information related to the map semantic feature, such as semantic labels and locations of the map semantic feature in the map. Pre-processing may be performed on the map so as to easily acquire map semantic feature information from the map at the same time as the map is acquired.

맵 매칭에서, 특정 제약 조건에 따라 가장 많은 매칭 쌍을 찾은 다음, 서로 다른 관측 특징에 각각 대응하는 맵 특징을 결정함으로써, 후속 차량 측위를 위해 근거를 제공한다. 맵 매칭에서, 제약 조건은 최소 거리의 제약을 포함할 뿐만 아니라, 다른 제약 조건도 포함할 수 있으며, 이러한 제약 조건을 통합하여 매칭 쌍이 결정되며, 제약 조건에 포함되는 내용은 아래에서 상세히 설명한다.In map matching, the most matching pairs are found according to certain constraints, and then map features respectively corresponding to different observed features are determined, thereby providing a basis for subsequent vehicle positioning. In map matching, the constraints not only include the minimum distance constraint, but may also include other constraints, and a matching pair is determined by integrating these constraints, and the contents included in the constraints will be described in detail below.

따라서, 본 발명의 실시예는 맵 매칭 방법을 제공하며, 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정하고, 차량의 초기 측위 정보를 기반으로 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하고 초기 측위 정보를 포함하는 복수 후보 측위 정보를 결정하며; 각 후보 측위 정보에 대해 모두 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 얻음으로써, 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로 차량의 최적 후보 측위 정보 및 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.Therefore, an embodiment of the present invention provides a map matching method, determines multiple observation semantic features based on vehicle sensor data, obtains partial map information including multiple map semantic features based on initial positioning information of a vehicle, determine multiple candidate positioning information including the initial positioning information; Obtaining a matching pair by matching the observation semantic feature and the candidate map semantic feature for each candidate positioning information, thereby corresponding to the optimal candidate positioning information and the optimal candidate positioning information of the vehicle based on the matching pair corresponding to each candidate positioning information. Determine matching pairs.

본 발명의 실시예는 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보(예: 맵 시맨틱 특징 정보)만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않고, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하고, 좋은 매칭 효과를 달성한다. 또한, 본 발명의 실시예는 센서 유형(카메라, 레이저 레이더 등이 적용 가능함)에 대한 특별한 요구 사항이 없다.Embodiments of the present invention are applied to a vector semantic map, and real-time matching between observed features and map features is realized using only vector information (eg, map semantic feature information) of the vector semantic map, and additional descriptors and strengths are added. It does not depend on data, reduces storage requirements and computing power consumption, and achieves a good matching effect. In addition, the embodiment of the present invention has no special requirements for the sensor type (camera, laser radar, etc. are applicable).

일부 실시예에서, 맵 시맨틱 특징과 관측 시맨틱 특징 간의 시맨틱-유클리드 거리를 결정할 수 있고, 더 나아가 거리 행렬을 결정함으로써, 거리 행렬을 기반으로 벡터 시맨틱 맵 매칭을 실현할 수 있다. 일부 실시예에서, 거리 행렬을 기반으로 하는 매칭 방법은 매트릭 거리를 정의할 수 있는 다양한 매칭 시나리오에 광범위하게 적용 가능하다.In some embodiments, a semantic-Euclidean distance between a map semantic feature and an observed semantic feature may be determined, and further a distance matrix may be determined, thereby realizing vector semantic map matching based on the distance matrix. In some embodiments, the distance matrix based matching method is broadly applicable to various matching scenarios in which metric distances can be defined.

본 발명의 실시예는 지능형 운전 차량에 적용될 수 있고, 전자기기에도 적용될 수 있다. 상기 지능형 운전 차량은 다양한 레벨의 지능형 운전 시스템이 탑재된 차량으로서, 지능형 운전 시스템은 예를 들어 무인 운전 시스템, 보조 운전 시스템, 운전 보조 시스템, 고도 자동 운전 시스템, 완전 자동 운전 차량 등을 포함한다. 상기 전자기기에는 지능형 운전 시스템이 설치되며, 예를 들어 전자기기는 지능형 운전 알고리즘을 테스트하기 위해 사용될 수 있고, 또 예를 들어, 전자기기는 차량 탑재 장치일 수 있으며, 일부 실시예에서, 전자기기는 다른 분야에도 적용될 수 있다. 본 발명의 실시예의 응용 시나리오는 본 발명의 부분적 예시 또는 실시예에 불과하며, 당업자는 창의적인 노동을 거치지 않고서도 본 발명을 다른 유사한 시나리오에 적용할 수 있다. 이하, 보다 명확한 설명을 위해, 본 발명의 실시예는 지능형 운전 차량을 예를 들어 맵 매칭 방법, 맵 매칭 장치, 전자기기 또는 비일시적 컴퓨터 판독 가능 저장 매체에 대해 설명한다.Embodiments of the present invention can be applied to intelligent driving vehicles, and can also be applied to electronic devices. The intelligent driving vehicle is a vehicle equipped with various levels of intelligent driving systems, and the intelligent driving systems include, for example, an unmanned driving system, an auxiliary driving system, a driving assistance system, a highly automated driving system, and a fully autonomous driving vehicle. An intelligent driving system is installed in the electronic device, for example, the electronic device may be used to test an intelligent driving algorithm, and the electronic device may be a vehicle-mounted device, and in some embodiments, the electronic device may be used to test an intelligent driving algorithm. can be applied to other fields as well. The application scenarios of the embodiments of the present invention are only partial examples or embodiments of the present invention, and those skilled in the art can apply the present invention to other similar scenarios without creative labor. Hereinafter, for a clearer explanation, embodiments of the present invention will be described in terms of a map matching method, a map matching device, an electronic device, or a non-transitory computer readable storage medium for an intelligent driving vehicle, for example.

도 2는 본 발명의 실시예에 의해 제공되는 지능형 운전 차량의 아키텍처를 예시한 도면이다. 도 2에 도시된 바와 같이, 지능형 운전 차량은 센서 그룹, 지능형 운전 시스템(200), 차량의 최하위 실행 시스템 및 예컨대 브레이크 페달, 스티어링 휠, 가속 페달 등과 같은 차량의 구동 및 차량의 작동을 제어하기 위한 구성 요소를 포함한다.2 is a diagram illustrating the architecture of an intelligent driving vehicle provided by an embodiment of the present invention. As shown in FIG. 2 , the intelligent driving vehicle includes a sensor group, an intelligent driving system 200, a lowest-level execution system of the vehicle, and for controlling driving and operation of the vehicle, such as a brake pedal, a steering wheel, and an accelerator pedal. contains the components

센서 그룹은 차량의 외부 환경 데이터를 수집하고 차량의 위치 데이터를 감지한다. 센서 그룹에는 예컨대 카메라, 라이더, 밀리미터파 레이더, 초음파 레이더, 글로벌 포지셔닝 시스템(Global Positioning System, GPS) 및 관성 측정 장치(Inertial Measurement Unit, IMU) 중 적어도 하나가 포함되지만 이에 제한되지 않는다.The sensor group collects the vehicle's external environment data and detects the vehicle's location data. The sensor group includes, but is not limited to, at least one of, for example, a camera, a lidar, a millimeter wave radar, an ultrasonic radar, a Global Positioning System (GPS), and an Inertial Measurement Unit (IMU).

일부 실시예에서, 센서 그룹은 차량의 역학 데이터를 수집하기 위해 사용되며, 센서 그룹은 예를 들어 휠 속도 센서, 속도 센서, 가속도 센서, 스티어링 휠 각도 센서 및 전륜 각도 센서 중 적어도 하나를 포함하지만 이에 제한되지 않는다.In some embodiments, a sensor group is used to collect vehicle dynamics data, the sensor group including but not limited to, for example, at least one of a wheel speed sensor, a speed sensor, an acceleration sensor, a steering wheel angle sensor, and a front wheel angle sensor. Not limited.

지능형 운전 시스템(200)은 센서 그룹의 센서 데이터를 획득하기 위해 사용되며, 상기 센서 데이터는 이미지, 비디오, 레이저 포인트 클라우드, 밀리미터파, GPS 정보, 차량 상태 등을 포함하지만 이에 제한되지 않는다. 일부 실시예에서, 지능형 운전 시스템(200)은 상기 센서 데이터를 기반으로 환경 인식 및 차량 측위를 수행하고, 인식 정보 및 차량 자세를 생성하며; 지능형 운전 시스템(200)은 상기 인식 정보 및 차량 자세를 기반으로 계획 및 의사 결정을 수행하고, 계획 및 의사 결정 정보를 생성하며; 지능형 운전 시스템(200)은 계획 및 의사 결정 정보를 기반으로 차량 제어 명령을 생성하고, 차량의 최하위 실행 시스템으로 전송한다.The intelligent driving system 200 is used to acquire sensor data of a sensor group, which includes but is not limited to image, video, laser point cloud, millimeter wave, GPS information, vehicle condition, and the like. In some embodiments, the intelligent driving system 200 performs environment recognition and vehicle positioning based on the sensor data, and generates recognition information and vehicle posture; The intelligent driving system 200 performs planning and decision-making based on the recognition information and vehicle attitude, and generates planning and decision-making information; The intelligent driving system 200 generates vehicle control commands based on planning and decision-making information, and transmits them to the vehicle's lowest execution system.

일부 실시예에서, 지능형 운전 시스템(200)은 소프트웨어 시스템, 하드웨어 시스템 또는 소프트웨어와 하드웨어가 결합된 시스템일 수 있다. 예를 들어, 지능형 운전 시스템(200)은 운영체제에서 실행되는 소프트웨어 시스템이고, 차량 하드웨어 시스템은 운영체제의 동작을 지원하는 하드웨어 시스템이다.In some embodiments, the intelligent driving system 200 may be a software system, a hardware system, or a combination of software and hardware. For example, the intelligent driving system 200 is a software system that runs on an operating system, and the vehicle hardware system is a hardware system that supports the operation of the operating system.

일부 실시예에서, 지능형 운전 시스템(200)은 클라우드 서버와 상호작용할 수 있다. 일부 실시예에서, 지능형 운전 시스템(200)은 클라우드 서버와 무선 통신 네트워크(예: GPRS 네트워크, Zigbee 네트워크, Wifi 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크 및 기타 무선 통신 네트워크를 포함하지만 이에 제한되지 않음)를 통해 상호작용한다.In some embodiments, intelligent driving system 200 may interact with a cloud server. In some embodiments, the intelligent driving system 200 may include cloud servers and wireless communication networks (eg, but not limited to, GPRS networks, Zigbee networks, Wifi networks, 3G networks, 4G networks, 5G networks, and other wireless communication networks). ) through the interaction.

일부 실시예에서, 클라우드 서버는 차량과 상호작용하기 위해 사용된다. 상기 클라우드 서버는 환경 정보, 측위 정보, 제어 정보 및 차량 지능형 운전 과정에 필요한 다른 정보를 차량에 전송한다. 일부 실시예에서, 상기 클라우드 서버는 차량의 센서 데이터, 차량 상태 정보, 차량 주행 정보 및 차량 요청 등 관련 정보를 수신할 수 있다. 일부 실시예에서, 클라우드 서버는 사용자 설정 또는 차량 요청에 기반하여 상기 차량을 원격으로 제어할 수 있다. 일부 실시예에서, 클라우드 서버는 서버 또는 서버 팜일 수 있다. 서버 팜은 중앙 집중화되거나 분산될 수 있다. 일부 실시예에서, 클라우드 서버는 로컬 또는 원격 서버일 수 있다.In some embodiments, a cloud server is used to interact with the vehicle. The cloud server transmits environment information, positioning information, control information, and other information required for an intelligent vehicle driving process to the vehicle. In some embodiments, the cloud server may receive related information such as vehicle sensor data, vehicle state information, vehicle driving information, and vehicle request. In some embodiments, the cloud server may remotely control the vehicle based on user settings or a vehicle request. In some embodiments, a cloud server may be a server or server farm. Server farms can be centralized or distributed. In some embodiments, the cloud server may be a local or remote server.

차량의 최하위 실행 시스템은 차량의 제어 명령을 수신하고, 상기 차량의 제어 명령을 기반으로 차량의 주행을 제어한다. 일부 실시예에서, 차량의 최하위 실행 시스템은 조향 시스템, 제동 시스템 및 구동 시스템을 포함하지만 이에 제한되지 않는다. 일부 실시예에서, 상기 차량의 최하위 실행 시스템은 차량의 제어 명령을 파싱하여 조향 시스템, 제동 시스템 및 구동 시스템과 같은 대응하는 시스템으로 전송하기 위한 최하위 컨트롤러를 더 포함할 수 있다.The lowest execution system of the vehicle receives a control command of the vehicle and controls driving of the vehicle based on the control command of the vehicle. In some embodiments, the vehicle's lowest performing systems include, but are not limited to, a steering system, a braking system, and a drive system. In some embodiments, the vehicle's lowest-level execution system may further include a lowest-level controller for parsing vehicle control commands and sending them to corresponding systems, such as a steering system, a braking system, and a drive system.

일부 실시예에서, 지능형 운전 차량은 도 1에 도시되지 않은 차량용 CAN 버스를 더 포함할 수 있으며, 차량용 CAN 버스는 차량의 최하위 실행 시스템에 연결된다. 지능형 운전 시스템(200)과 차량 하위 실행 시스템 간의 정보 상호 작용은 차량 CAN 버스를 통해 전송된다.In some embodiments, the intelligent driving vehicle may further include a vehicular CAN bus not shown in FIG. 1 , where the vehicular CAN bus is connected to the lowest level execution system of the vehicle. Information interaction between the intelligent driving system 200 and the vehicle sub-execution system is transmitted via the vehicle CAN bus.

도 3은 본 발명의 실시예에 의해 제공되는 지능형 운전 시스템(300)의 예시적인 블록도이다. 일부 실시예에서, 지능형 운전 시스템(300)은 도 2의 지능형 운전 시스템(200) 또는 지능형 운전 시스템(200)의 일부로 구현될 수 있으며, 차량의 주행을 제어하기 위해 사용된다.3 is an exemplary block diagram of an intelligent driving system 300 provided by an embodiment of the present invention. In some embodiments, the intelligent driving system 300 may be implemented as the intelligent driving system 200 of FIG. 2 or as part of the intelligent driving system 200 and is used to control driving of a vehicle.

도 3에 도시된 바와 같이, 지능형 운전 시스템(300)은 복수 모듈로 분할될 수 있으며, 예를 들어, 인식 모듈(301), 계획 모듈(302), 제어 모듈(303), 맵 매칭 모듈(304) 및 지능형 운전에 사용되는 일부 다른 모듈을 포함할 수 있다.As shown in FIG. 3 , the intelligent driving system 300 may be divided into a plurality of modules, for example, a recognition module 301, a planning module 302, a control module 303, and a map matching module 304. ) and some other modules used for intelligent driving.

인식 모듈(301)은 환경 인식 및 측위를 위해 사용된다. 일부 실시예에서, 인식 모듈(301)은 센서 데이터, V2X(Vehicle to X, 차량용 무선 통신) 데이터, 고정밀 맵과 같은 데이터를 획득하고, 상기 데이터 중 적어도 하나를 기반으로 환경 인식 및 측위를 수행하여 인식 정보 및 측위 정보를 생성한다. 여기서, 인식 정보는 장애물 정보, 도로 표지/표시, 보행자/차량 정보, 주행 가능 영역 중 적어도 하나를 포함할 수 있지만 이에 제한되지 않는다. 측위 정보는 차량 자세를 포함한다.The recognition module 301 is used for environment recognition and positioning. In some embodiments, the recognition module 301 acquires data such as sensor data, Vehicle to X (Vehicle to X) data, and a high-precision map, and performs environment recognition and positioning based on at least one of the data, Generate recognition information and positioning information. Here, the recognition information may include at least one of obstacle information, road sign/mark, pedestrian/vehicle information, and driving area, but is not limited thereto. The positioning information includes the vehicle posture.

계획 모듈(302)은 경로 계획 및 의사 결정의 수행을 위해 사용된다. 일부 실시예에서, 계획 모듈(302)은 인식 모듈(301)에 의해 생성된 인식 정보 및 측위 정보를 기반으로, 계획 및 의사 결정 정보를 생성한다. 일부 실시예에서, 계획 모듈(202)은 또한 V2X 데이터, 고정밀 맵 등 데이터 중 적어도 하나를 결합하여 계획 및 의사 결정 정보를 생성할 수 있다. 여기서, 계획 정보는 경로 계획 등을 포함할 수 있지민 이에 제한되지 않으며; 의사 결정 정보는 행동(예: 추종, 추월, 주차, 우회 등을 포함하지만 이에 제한되지 않음), 차량 방향, 차량 속도, 차량의 예상 가속도, 예상 스티어링 휠 각도를 포함하지만 이에 제한되지 않는다.The planning module 302 is used to perform route planning and decision making. In some embodiments, planning module 302 generates planning and decision-making information based on the recognition information and location information generated by recognition module 301 . In some embodiments, the planning module 202 may also generate planning and decision-making information by combining at least one of V2X data, high-precision map, and the like data. Here, the planning information may include route planning and the like, but is not limited thereto; Decision-making information includes, but is not limited to, actions (eg, following, overtaking, parking, detouring, etc.), vehicle direction, vehicle speed, expected acceleration of the vehicle, and expected steering wheel angle.

제어 모듈(303)은 계획 및 의사 결정 정보를 기반으로 차량의 최하위 실행 시스템의 제어 명령을 생성하고, 제어 명령을 전송하여 차량의 최하위 실행 시스템이 차량의 주행을 제어하도록 한다. 여기서, 제어 명령은 스티어링 휠 조향, 횡방향 제어 명령, 종방향 제어 명령 등을 포함할 수 있지만 이에 제한되지 않는다.The control module 303 generates a control command for the lowest execution system of the vehicle based on the planning and decision-making information, and transmits the control command so that the lowest execution system of the vehicle controls driving of the vehicle. Here, the control command may include, but is not limited to, a steering wheel steering, a lateral control command, a longitudinal control command, and the like.

맵 매칭 모듈(304)은 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정하고, 차량의 초기 측위 정보를 기반으로 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하고 초기 측위 정보를 포함하는 복수 후보 측위 정보를 결정하며; 각 후보 측위 정보에 대해 모두 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 얻음으로써, 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로 차량의 최적 후보 측위 정보 및 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.The map matching module 304 determines multiple observation semantic features based on vehicle sensor data, obtains partial map information including multiple map semantic features based on initial positioning information of the vehicle, and multiple candidates including initial positioning information. determine location information; Obtaining a matching pair by matching the observation semantic feature and the candidate map semantic feature for each candidate positioning information, thereby corresponding to the optimal candidate positioning information and the optimal candidate positioning information of the vehicle based on the matching pair corresponding to each candidate positioning information. Determine matching pairs.

일부 실시예에서, 맵 매칭 모듈(304)의 기능은 인식 모듈(301), 계획 모듈(302) 또는 제어 모듈(303)에 통합될 수 있고, 지능형 운전 시스템(300)과 독립되는 모듈로 구성될 수도 있으며, 맵 매칭 모듈(304)은 소프트웨어 모듈, 하드웨어 모듈 또는 소프트웨어와 하드웨어가 조합된 모듈일 수도 있다. 예를 들어, 맵 매칭 모듈(304)은 운영체제에서 실행되는 소프트웨어 모듈이며, 차량 하드웨어 시스템은 운영체제의 운영을 지원하는 하드웨어 시스템이다.In some embodiments, the function of the map matching module 304 may be integrated into the recognition module 301, the planning module 302, or the control module 303, and may be configured as a module independent of the intelligent driving system 300. Alternatively, the map matching module 304 may be a software module, a hardware module, or a combination of software and hardware. For example, the map matching module 304 is a software module executed in an operating system, and the vehicle hardware system is a hardware system supporting the operation of the operating system.

도 4는 본 발명의 실시예에 의해 제공되는 맵 매칭 장치(400)의 예시적인 블록도이다. 일부 실시예에서, 맵 매칭 장치(400)는 도 3의 맵 매칭 모듈(304) 또는 맵 매칭 모듈(304)의 일부로 구현될 수 있다.4 is an exemplary block diagram of a map matching device 400 provided by an embodiment of the present invention. In some embodiments, map matching device 400 may be implemented as part of map matching module 304 or map matching module 304 of FIG. 3 .

도 4에 도시된 바와 같이, 맵 매칭 장치(400)는 획득 유닛(401), 제1 결정 유닛(402), 매칭 유닛(403) 및 제2 결정 유닛(404)을 포함할 수 있지만 이에 제한되지 않는다.As shown in FIG. 4 , the map matching device 400 may include, but is not limited to, an acquisition unit 401, a first determination unit 402, a matching unit 403, and a second determination unit 404. don't

획득 유닛(401)Acquisition Unit (401)

획득 유닛(401)은 차량의 관련 정보를 획득하며, 관련 정보는 예를 들어 초기 측위 정보 및 차량 센서 데이터 등과 같은 차량과 직접 또는 간접적으로 관련된 정보를 포함한다. 여기서, 초기 측위 정보는 차량 외부에서 제공된 선험 정보일 수 있고, 제2 결정 유닛(404)에 의해 추정될 수도 있으며; 차량 센서 데이터는 차량에 설치된 센서와의 데이터 상호작용을 통해 획득될 수 있다.The acquiring unit 401 acquires vehicle-related information, which includes, for example, information directly or indirectly related to the vehicle, such as initial positioning information and vehicle sensor data. Here, the initial positioning information may be priori information provided from outside the vehicle, and may be estimated by the second determination unit 404; Vehicle sensor data may be acquired through data interaction with sensors installed in the vehicle.

일부 실시예에서, 획득 유닛(401)은 초기 측위 정보를 기반으로 부분 맵 정보를 획득할 수 있다. 일부 실시예에서, 획득 유닛(401)는 초기 측위 정보를 기반으로 미리 구축된 벡터 시맨틱 맵에서 부분 맵 정보를 획득할 수 있으며, 부분 맵 정보는 벡터 시맨틱 맵의 일부분이다. 일부 실시예에서, 획득 유닛(401)은 초기 측위 정보를 기반으로, 최근접 이웃과 같은 알고리즘을 통해 벡터 시맨틱 맵을 인덱싱하여 부분 맵 정보를 획득할 수 있다.In some embodiments, the obtaining unit 401 may obtain partial map information based on initial positioning information. In some embodiments, the obtaining unit 401 may acquire partial map information from a pre-constructed vector semantic map based on the initial positioning information, and the partial map information is a part of the vector semantic map. In some embodiments, the acquiring unit 401 may obtain partial map information by indexing the vector semantic map through an algorithm such as nearest neighbor based on the initial positioning information.

미리 구축된 벡터 시맨틱 맵에는 맵 시맨틱 특징의 정보가 포함되며, 예를 들어, 맵 중의 차선, 교통노면표시, 교통신호등, 교통표지판 등은 모두 맵 시맨틱 특징이다. 맵 시맨틱 특징의 정보는 예를 들어 맵 시맨틱 특징의 시맨틱 레이블 및 위치 등과 같은 맵 시맨틱 특징과 관련된 정보를 포함한다.The pre-constructed vector semantic map includes map semantic feature information. For example, lanes, traffic road markings, traffic lights, and traffic signs in the map are all map semantic features. Information of the map semantic feature includes information related to the map semantic feature, such as a semantic label and location of the map semantic feature.

본 실시예에서, 획득 유닛(401)은 부분 맵 정보를 획득하는 동시에 부분 맵 정보로부터 맵 시맨틱 특징의 정보를 획득할 수 있으며, 다시 말하면, 부분 맵 정보에 포함된 복수 맵 시맨틱 특징을 획득할 수 있다.In this embodiment, the acquiring unit 401 may obtain information of map semantic features from the partial map information at the same time as obtaining partial map information, in other words, acquire a plurality of map semantic characteristics included in the partial map information. there is.

제1 결정 유닛(402)First decision unit 402

제1 결정 유닛(402)은 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정하며, 이 복수 후보 측위 정보에 초기 측위 정보가 포함된다. 본 실시예에서, 초기 측위 정보는 일반적으로 상대적으로 큰 오차를 가지고, 동시에 맵 시맨틱 특징이 희소성이 강하다는 점을 고려하여, 초기 측위 정보를 맵 매칭에 직접 사용하면 매칭 정확도가 낮거나 유효한 매칭 특징이 적을 수 있으므로, 복수 후보 측위 정보를 결정함으로써 후속 맵 매칭의 정확도를 향상시키거나 유효한 매칭 특징의 수를 증가시킬 수 있다.The first determining unit 402 determines multiple candidate positioning information based on the initial positioning information, and the initial positioning information is included in the multiple candidate positioning information. In this embodiment, considering that the initial positioning information generally has a relatively large error and at the same time the map semantic feature has strong sparseness, when the initial positioning information is directly used for map matching, the matching accuracy is low or the matching feature is effective. Since this may be small, the accuracy of subsequent map matching may be improved or the number of valid matching features may be increased by determining a plurality of candidate positioning information.

일부 실시예에서, 제1 결정 유닛(402)은 초기 측위 정보의 특정 범위 내 공간에 대해 이산 랜덤 샘플링을 수행하여 복수 후보 측위 정보를 획득할 수 있다. 일부 실시예에서, 제1 결정 유닛(402)은 몬테카를로 랜덤 샘플링을 통해 초기 측위 정보의 특정 공간 범위 r 내에서 특정 확률 분포에 따른 초기 측위 정보를 포함하는 n개의 후보 측위 정보를 생성한다. 그 중, 공간 범위 r과 후보 측위 정보의 개수 n은 모두 초기 측위 정보의 불확실성과 관련이 있으며, 일반적으로 초기 측위 정보의 불확실성이 높을수록 r과 n의 값이 커진다.In some embodiments, the first determination unit 402 may perform discrete random sampling on a space within a specific range of the initial positioning information to obtain multiple candidate positioning information. In some embodiments, the first determination unit 402 generates n candidate positioning information including initial positioning information according to a specific probability distribution within a specific spatial range r of the initial positioning information through Monte Carlo random sampling. Among them, both the spatial range r and the number n of candidate positioning information are related to the uncertainty of the initial positioning information, and in general, the higher the uncertainty of the initial positioning information, the higher the values of r and n.

일부 실시예에서, 제1 결정 유닛(402)은 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정할 수 있고, 이러한 복수 관측 시맨틱 특징은 실시간 관측 시맨틱 특징이다. 예를 들어, 차량 센서 데이터는 이미지 데이터이며, 제1 결정 유닛(402)은 대상 검출 알고리즘을 통해 이미지 데이터를 처리하여 이미지에 포함된 대상의 카테고리 및 위치를 결정할 수 있고, 상기 대상은 관측 시맨틱 특징으로 이해될 수 있다. 예를 들어, 이미지에 포함된 차선, 교통노면표시(예: 직진, 좌회전, 우회전 등), 교통 신호등(즉, 신호등), 교통 표지판 등은 모두 관측 시맨틱 특징이다. 상기 센서 데이터의 에는 단지 설명을 위한 것이고, 본 발명을 제한하는 것이 아니며, 실제 적용에서, 상기 센서 데이터로부터 관측 시맨틱 특징을 인식할 수 있는 한, 상기 차량 센서 데이터는 임의의 형식(예: 라이다 데이터)일 수 있다.In some embodiments, the first determining unit 402 may determine a multi-viewing semantic feature based on the vehicle sensor data, and the multi-viewing semantic feature is a real-time viewing semantic feature. For example, the vehicle sensor data is image data, and the first determination unit 402 may process the image data through an object detection algorithm to determine the category and position of an object included in the image, and the object has an observation semantic characteristic. can be understood as For example, lanes included in the image, traffic road markings (eg, go straight, turn left, turn right, etc.), traffic lights (ie, traffic lights), traffic signs, etc. are all observational semantic features. In the sensor data, is for explanation only and does not limit the present invention, in practical application, the vehicle sensor data can be in any format (e.g., lidar) as long as observational semantic features can be recognized from the sensor data. data) can be

매칭 유닛(403)Matching unit (403)

매칭 유닛(403)은 각 후보 측위 정보에 대해 모두 맵 매칭을 수행한다. 일부 실시예에서, 매칭 유닛(403)은 각 후보 측위 정보에 대해, 상기 후보 측위 정보를 기반으로, 복수 맵 시맨틱 특징을 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며; 복수 관측 시맨틱 특징과 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다. 일부 실시예에서, 매칭 유닛(403)은 복수 관측 시맨틱 특징도 동일한 차량 센서의 좌표계로 변환하고, 동일한 차량 센서의 좌표계로 변환된 복수 관측 시맨틱 특징과 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다.The matching unit 403 performs map matching on all candidate positioning information. In some embodiments, the matching unit 403, for each candidate positioning information, converts the plurality of map semantic features into the coordinate system of the vehicle sensor based on the candidate positioning information, and obtains the plurality of candidate map semantic features in the coordinate system; ; Matching pairs are obtained by matching multiple observation semantic features with multiple candidate map semantic features. In some embodiments, the matching unit 403 also transforms multiple observations semantic features into the coordinate system of the same vehicle sensor, and matches the multiple observations semantic features converted into the coordinate system of the same vehicle sensor with the multiple candidate map semantic features to obtain a matching pair. do.

일부 실시예에서, 매칭 유닛(403)은 각 후보 맵 시맨틱 특징에 대해 관측 가능성 스크리닝을 수행하며, 즉 후보 맵 시맨틱 특징이 상기 차량 센서의 사각 영역 내에 위치하는지 여부를 판단하며, 위치하는 경우, 상기 후보 맵 시맨틱 특징을 관측 시맨틱 특징에 매칭될 수 없는 것으로 판단하며, 후속 매칭에 참여하지 못하도록 필터링해야 한다.In some embodiments, the matching unit 403 performs observability screening for each candidate map semantic feature, that is, determines whether the candidate map semantic feature is located within the blind area of the vehicle sensor, and if so, the It is determined that the candidate map semantic feature cannot be matched to the observed semantic feature, and must be filtered to prevent participation in subsequent matching.

구체적으로, 매칭 유닛(403)은 각 후보 측위 정보에 대해, 상기 후보 측위 정보를 기반으로, 복수 맵 시맨틱 특징을 차량 센서의 좌표계로 변환하여 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득한 후, 상기 차량 센서의 사각 영역 내 후보 맵 시맨틱 특징을 제거하고; 관측 시맨틱 특징과 나머지 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다.Specifically, for each candidate positioning information, the matching unit 403 transforms the plurality of map semantic features into the coordinate system of the vehicle sensor based on the candidate positioning information to obtain the plurality of candidate map semantic features in the coordinate system, remove candidate map semantic features in blind areas of vehicle sensors; A matching pair is obtained by matching the observed semantic feature with the remaining candidate map semantic features.

일부 실시예에서, 맵 매칭의 정확도를 향상하거나 유효한 매칭 특징의 수를 증가하기 위해, 본 실시예에서 매칭 쌍은 다음 조건 1 내지 조건 4를 만족해야 한다. 즉:In some embodiments, in order to improve map matching accuracy or increase the number of valid matching features, matching pairs in this embodiment must satisfy the following conditions 1 to 4. in other words:

조건 1: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징은 일대일 대응된다. 즉, 하나의 후보 맵 시맨틱 특징은 하나의 관측 시맨틱 특징에만 매칭되고, 하나의 관측 시맨틱 특징은 하나의 후보 맵 시맨틱 특징에만 매칭된다.Condition 1: There is a one-to-one correspondence between a candidate map semantic feature and an observed semantic feature matched thereto. That is, one candidate map semantic feature matches only one observation semantic feature, and one observation semantic feature matches only one candidate map semantic feature.

조건 2: 후보 맵 시맨틱 특징의 시맨틱 레이블은 그에 매칭된 관측 시맨틱 특징의 시맨틱 레이블과 동일하다.Condition 2: The semantic label of the candidate map semantic feature is equal to the semantic label of the matched observed semantic feature.

조건 3: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 유클리드 거리 임계값보다 작거나 같으며; 상기 시맨틱-유클리드 거리는 하나의 후보 맵 시맨틱 특징과 하나의 관측 시맨틱 특징의 유사성을 나타내며; 상기 유클리드 거리 임계값은 상기 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리와 반상관 관계를 갖는다. 여기서, 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리는 후보 맵 시맨틱 특징에 대응하는 위치(좌표값)와 후보 측위 정보(좌표값) 간의 유클리드 거리로 이해될 수 있다.Condition 3: The semantic-Euclidean distance between the candidate map semantic feature and the observed semantic feature matched thereto is less than or equal to the Euclidean distance threshold; the semantic-Euclidean distance represents a similarity between one candidate map semantic feature and one observed semantic feature; The Euclidean distance threshold has an anti-correlation with a Euclidean distance between the candidate map semantic feature and candidate positioning information. Here, the Euclidean distance between the candidate map semantic feature and candidate positioning information may be understood as the Euclidean distance between a position (coordinate value) corresponding to the candidate map semantic feature and candidate positioning information (coordinate value).

일부 실시예에서, 유클리드 거리 임계값은 다음 공식을 통해 결정된다. 즉:In some embodiments, the Euclidean distance threshold is determined through the formula in other words:

Figure pct00001
Figure pct00001

상기 th은 유클리드 거리 임계값이고, th0은 설정된 고정 선험 임계값이고, t은 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리이고, f(t)은 t와 반상관 관계를 갖는 매핑 함수이다. 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리t가 클수록(즉, 후보 맵 시맨틱 특징이 후보 측위 정보와 멀어질수록), 매칭 오류가 발생하기 더 쉽고, 유클리드 거리 임계값th이 작을 수록 정확한 매칭의 확률이 높아진다.th is a Euclidean distance threshold, th 0 is a set fixed a priori threshold, t is a Euclidean distance between a candidate map semantic feature and candidate positioning information, and f(t) is a mapping function having an anti-correlation with t. The larger the Euclidean distance t between the candidate map semantic feature and the candidate positioning information (i.e., the farther the candidate map semantic feature is from the candidate positioning information), the more likely a matching error is to occur, and the smaller the Euclidean distance threshold th, the better the accuracy of matching. the odds increase

조건 4: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 후보 맵 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작고, 상기 관측 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작다. 일부 실시예에서, 상기 후보 맵 시맨틱 특징과 각 관측 시맨틱 특징에 의해 하나의 시맨틱-유클리드 거리를 계산한다. 일부 실시예에서, 특정 시맨틱-유클리드 거리가 상기 후보 시맨틱 특징에 대응하는 복수 시맨틱-유클리드 거리 중에서 가장 작지만, 관측 시맨틱 특징에 대응하는 복수 시맨틱-유클리드 거리 중에서 가장 작지 않으면, 양자는 매칭 쌍이 아니다.Condition 4: The semantic-Euclidean distance between a candidate map semantic feature and an observed semantic feature matched thereto is the smallest among all semantic-Euclidean distances corresponding to the candidate map semantic feature and the largest among all semantic-Euclidean distances corresponding to the observed semantic feature small. In some embodiments, one semantic-Euclidean distance is computed by the candidate map semantic feature and each observed semantic feature. In some embodiments, if a particular semantic-Euclidean distance is the smallest among multiple semantic-Euclidean distances corresponding to the candidate semantic feature, but not the smallest among multiple semantic-Euclidean distances corresponding to an observed semantic feature, then both are not a matching pair.

일부 실시예에서, 매칭 쌍은 또한 다음 조건 5를 만족해야 한다. 즉:In some embodiments, matching pairs must also satisfy Condition 5: in other words:

조건 5: 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일하다. 일부 실시예에서, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 유클리드 거리 임계값보다 작거나 같다.Condition 5: If the candidate map semantic feature has a higher order semantic feature, the semantic label of the higher order semantic feature of the candidate map semantic feature is the same as the semantic label of the higher order semantic feature of the observed semantic feature matched thereto. In some embodiments, a semantic-Euclidean distance between a higher order semantic feature of the candidate map semantic feature and a higher order semantic feature of the matched observed semantic feature is less than or equal to the Euclidean distance threshold.

일부 실시예에서, 상위 시맨틱 특징은 측위를 위한 대상의 전체 정보를 나타내고, 하위 시맨틱 특징은 측위를 위한 대상의 부분 또는 끝점을 나타낸다. 예를 들어, 상위 시맨틱 특징은 차선이고, 하위 시맨틱 특징은 차선의 끝점이다.In some embodiments, an upper semantic feature represents entire information of an object for positioning, and a lower semantic feature represents a part or end point of an object for positioning. For example, a high-order semantic feature is a lane, and a low-order semantic feature is an end point of a lane.

조건 5를 설정한 목적은 매칭 오류 확률을 줄이기 위한 것이며, 예를 들어, 특정 차선의 끝점이 다른 차선의 끝점에 매칭되는 확률을 줄인다.The purpose of setting condition 5 is to reduce the matching error probability, for example, to reduce the probability that the end point of a specific lane is matched to the end point of another lane.

현재의 일부 매칭 알고리즘, 예를 들어 최근접 이웃 매칭이나 무차별 대입 매칭은 상기 조건 1 내지 조건 5를 모두 만족하지 못한다.Some current matching algorithms, such as nearest neighbor matching or brute force matching, do not satisfy all of conditions 1 to 5 above.

일부 실시예에서, 매칭 유닛(403)은 다음 방식으로 후보 맵 시맨틱 특징과 임의의 관측 시맨틱 특징 간 시맨틱-유클리드 거리를 결정한다.In some embodiments, matching unit 403 determines the semantic-Euclidean distance between the candidate map semantic feature and any observed semantic feature in the following manner.

상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 서로 다른 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)이며;If the semantic label of the observed semantic feature and the semantic label of the candidate map semantic feature are different, the semantic-Euclidean distance is an invalid value (INF);

상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 동일한 경우, 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리 및 유클리드 거리 임계값을 결정하며;When the semantic label of the observed semantic feature and the semantic label of the candidate map semantic feature are the same, determining a Euclidean distance between a coordinate value corresponding to the observed semantic feature and a coordinate value corresponding to the candidate map semantic feature and a Euclidean distance threshold and;

상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 작거나 같은 경우, 상기 시맨틱-유클리드 거리는 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리이며;When the Euclidean distance between the coordinate value corresponding to the observed semantic feature and the coordinate value corresponding to the candidate map semantic feature is less than or equal to the Euclidean distance threshold, the semantic-Euclidean distance is equal to the coordinate value corresponding to the observed semantic feature and a Euclidean distance between coordinate values corresponding to the candidate map semantic feature;

상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 큰 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)인 방식을 통해 결정된다.When the Euclidean distance between the coordinate value corresponding to the observed semantic feature and the coordinate value corresponding to the candidate map semantic feature is greater than the Euclidean distance threshold, the semantic-Euclidean distance is determined using an invalid value (INF) scheme.

일부 실시예에서, 시맨틱-유클리드 거리는 다음 공식을 통해 결정된다. 즉:In some embodiments, the semantic-Euclidean distance is determined via the formula: in other words:

Figure pct00002
Figure pct00002

여기서, d는 시맨틱-유클리드 거리이며; INF는 무한 값(즉, 무효값)이며; th는 유클리드 거리 임계값이며; de=f(m, m')이고, f(m, m')는 유클리드 거리 계산 함수이고, 그 구체적인 형태는 m, m'의 기하학적 형태와 관련이 있는데, 예를 들어, 점과 점의 거리 메트릭, 선과 선의 거리 메트릭은 차이가 있지만, 모두 일종의 유클리드 거리값을 얻을 수 있으며; m은 관측 시맨틱 특징이고, m'은 후보 맵 시맨틱 특징이고, label은 관측 시맨틱 특징의 시맨틱 레이블이고, label'은 후보 맵 시맨틱 특징의 시맨틱 레이블이다.where d is the semantic-Euclidean distance; INF is an infinite value (ie, an invalid value); th is the Euclidean distance threshold; de=f(m, m'), f(m, m') is a Euclidean distance calculation function, and its specific form is related to the geometric form of m, m', for example, the distance between points Metrics, line-to-line distance metrics are different, but all can obtain a kind of Euclidean distance value; m is an observation semantic feature, m' is a candidate map semantic feature, label is a semantic label of an observation semantic feature, and label' is a semantic label of a candidate map semantic feature.

일부 실시예에서, 조건 5를 만족시키기 위해, 관측 시맨틱 특징의 시맨틱 레이블이 후보 맵 시맨틱 특징의 시맨틱 레이블과 동일하고 상기 관측 시맨틱 특징 또는 상기 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한지 여부를 판단하며, 동일하지 않으면, 상기 관측 시맨틱 특징과 상기 맵 시맨틱 특징 간의 시맨틱-유클리드 거리를 무효값(INF)으로 결정한다.In some embodiments, to satisfy condition 5, if the semantic label of an observation semantic feature is equal to the semantic label of a candidate map semantic feature and either the observation semantic feature or the candidate map semantic feature has a superordinate semantic feature, the observation semantic feature It is determined whether the semantic label of the upper semantic feature of the feature is identical to the semantic label of the upper semantic feature of the candidate map semantic feature, and if not, the semantic-Euclidean distance between the observed semantic feature and the map semantic feature is set to an invalid value. (INF).

일부 실시예에서, 매칭 유닛(403)은 복수 관측 시맨틱 특징 및 복수 후보 맵 시맨틱 특징으로 구성된 시맨틱-유클리드 거리 행렬을 결정할 수 있다. 도 7에 도시된 시맨틱-유클리드 거리 행렬에서, m1, m2, m3, m4 및 m5는 관측 시맨틱 특징이고, m’1, m’2, m’3, m’4 및 m’5는 후보 맵 시맨틱 특징이다. 도 7에서, m1과 m’1 간의 시맨틱-유클리드 거리는 0.5이고, m1과 m’2 간의 시맨틱-유클리드 거리는 INF이며; m1과 m’3 간의 시맨틱-유클리드 거리는 0.1이며, 이로부터 알 수 있다 시피, 도 7에 도시된 시맨틱-유클리드 거리 행렬 중 각 요소는 시맨틱-유클리드 거리를 나타낸다. 일부 실시예에서, 도 7에 도시된 시맨틱-유클리드 거리 행렬 중에 무효값(INF)이 존재하므로, 시맨틱-유클리드 거리 행렬은 희소 행렬이며, 유효한 값만 저장하고 무효값(INF)은 저장하지 않으므로, 후속 매칭 효율이 향상된다.In some embodiments, matching unit 403 may determine a semantic-Euclidean distance matrix composed of multiple observation semantic features and multiple candidate map semantic features. In the semantic-Euclidean distance matrix shown in FIG. 7, m1, m2, m3, m4, and m5 are observed semantic features, and m'1, m'2, m'3, m'4, and m'5 are candidate map semantic features. characteristic. 7, the semantic-Euclidean distance between m1 and m'1 is 0.5, and the semantic-Euclidean distance between m1 and m'2 is INF; The semantic-Euclidean distance between m1 and m'3 is 0.1, and as can be seen from this, each element of the semantic-Euclidean distance matrix shown in FIG. 7 represents a semantic-Euclidean distance. In some embodiments, since invalid values (INF) exist among the semantic-Euclidean distance matrices shown in FIG. Matching efficiency is improved.

일부 실시예에서, 매칭 유닛(403)은 시맨틱-유클리드 거리 행렬을 기반으로 거리 정렬 행렬을 결정할 수 있으며; 상기 거리 정렬 행렬 중 각 요소는 2-튜플이고, 상기 2-튜플은 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬을 나타내며, 거리가 작을 수록 정렬값이 더 작고, 정렬값이 1이면 거리가 가장 작음을 나타낸다. 도 8에 도시된 거리 정렬 행렬은 도 7에 도시된 시맨틱-유클리드 거리 행렬을 기반으로 결정된 거리 정렬 행렬이다. 예를 들어, 도 7에서, m1와 m’1 간의 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬이 각각 1 과 3이므로, 도 8에서, m1과 m’1에 대응하는 요소의 값은 (1, 3)이다.In some embodiments, matching unit 403 may determine a distance alignment matrix based on a semantic-Euclidean distance matrix; Each element of the distance alignment matrix is a 2-tuple, and the 2-tuple represents the alignment of the row and column where the semantic-Euclidean distance is located. The smaller the distance, the smaller the alignment value. indicates small. The distance alignment matrix shown in FIG. 8 is a distance alignment matrix determined based on the semantic-Euclidean distance matrix shown in FIG. 7 . For example, in FIG. 7, since the alignment of the row and column where the semantic-Euclidean distance between m1 and m'1 is located is 1 and 3, respectively, in FIG. 8, the values of elements corresponding to m1 and m'1 are (1 , 3).

일부 실시예에서, 매칭 유닛(403)은 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정할 수 있다. 예를 들어, 도 8에서, m1과 m’3을 매칭 쌍으로 결정하고, m5과 m’5도 매칭 쌍으로 결정된다.In some embodiments, the matching unit 403 may determine an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple(1,1) in the distance alignment matrix as a matching pair. For example, in FIG. 8, m1 and m'3 are determined as a matching pair, and m5 and m'5 are also determined as a matching pair.

일부 실시예에서, 매칭 유닛(403)은 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정한 후, 상기 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하고, 거리 정렬 행렬을 업데이트한다.In some embodiments, the matching unit 403 determines an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple(1,1) in the distance alignment matrix as a matching pair, and then determines the 2-tuple(1,1) All elements of the row and column corresponding to are modified to invalid values (INF), and the distance alignment matrix is updated.

도 9는 도 8의 거리 정렬 행렬을 업데이트하여 얻은 행렬의 예시도이다. 조건 1을 만족시키기 위해, 도 8 중의 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하며, INF으로 수정된 요소로 인해 동일한 행과 열의 요소의 값이 변경되어 도 9와 같은 새로운 행렬을 형성한다. 무효값(INF)으로 수정되는 것은 거리 정렬 행렬을 업데이트하는 중간 동작일 뿐이며, 시맨틱-유클리드 거리가 무효값(INF)임을 나타내는 것이 아니다.9 is an exemplary diagram of a matrix obtained by updating the distance alignment matrix of FIG. 8 . In order to satisfy condition 1, all elements in the row and column corresponding to 2-tuple (1,1) in FIG. 8 are modified to invalid values (INF), and elements in the same row and column are Values are changed to form a new matrix as shown in FIG. 9 . Modification to an invalid value (INF) is only an intermediate operation of updating the distance alignment matrix, and does not indicate that the semantic-Euclidean distance is an invalid value (INF).

일부 실시예에서, 매칭 유닛(403)은 업데이트된 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 맵 시맨틱 특징을 매칭 쌍으로 결정할 수 있다. 예를 들어,도 9에서, m3과 m’2, m4과 m’4은 모두 매칭 쌍으로 결정된다.In some embodiments, the matching unit 403 may determine an observation semantic feature and a map semantic feature corresponding to 2-tuple(1,1) in the updated distance alignment matrix as a matching pair. For example, in FIG. 9, m3 and m'2 and m4 and m'4 are all determined as matching pairs.

매칭 유닛(403)은 업데이트된 거리 정렬 행렬 중에 2-튜플(1,1)이 없을 때까지, 거리 정렬 행렬을 반복하여 업데이트하여 매칭 쌍으로 결정할 수 있다.The matching unit 403 may determine a matching pair by iteratively updating the distance alignment matrix until there is no 2-tuple (1,1) in the updated distance alignment matrix.

일부 실시예에서, 임의의 매칭 시나리오에서, 거리 측정 방법이 정의되면 거리 행렬을 구성하고, 매칭하여 매칭 결과를 얻을 수 있으므로, 본 발명의 실시예에서 제시된 거리 행렬 기반 매칭 방법은 넓은 적용성을 갖는다.In some embodiments, in any matching scenario, if a distance measurement method is defined, a distance matrix can be constructed and matched to obtain a matching result, so the distance matrix-based matching method presented in the embodiments of the present invention has wide applicability. .

제2 결정 유닛(404)Second decision unit 404

제2 결정 유닛(404)은 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 차량의 최적 후보 측위 정보와 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다. 일부 실시예에서, 실시간으로 획득된 관측 시맨틱 특징에 대해 맵 매칭을 수행할 수 있도록, 최적 후보 측위 정보를 초기 측위 정보로 사용할 수 있다.The second determining unit 404 determines, based on matching pairs corresponding to respective candidate positioning information, matching pairs corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information. In some embodiments, optimal candidate positioning information may be used as initial positioning information so that map matching can be performed on observed semantic features obtained in real time.

일부 실시예에서, 제2 결정 유닛(404)은 매칭 쌍이 가장 많은 후보 측위 정보를 차량의 최적 후보 측위 정보로 선택한다.In some embodiments, the second determining unit 404 selects the candidate positioning information with the largest number of matching pairs as the best candidate positioning information of the vehicle.

일부 실시예에서, 제2 결정 유닛(404)은 측위에 대한 서로 다른 후보 맵 시맨틱 특징의 선험 기여도와 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 각 후보 측위 정보의 평가값을 결정할 수 있다. 여기서, 예를 들어 차선 등의 지면의 시맨틱 특징의 선험 기여도는 미리 설정될 수 있고, 도로 표지판 등은 차량 측위에 대한 기여도가 비 지면 특징보다 크므로, 차선의 선험 기여도를 도로 표지판의 선험 기여도보다 높게 설정할 수 있다.In some embodiments, the second determining unit 404 may determine an evaluation value of each candidate positioning information based on a priori contributions of different candidate map semantic features to positioning and a matching pair corresponding to each candidate positioning information. . Here, for example, the a priori contribution of the semantic features of the ground, such as lanes, can be set in advance, and the a priori contribution of road signs, etc., to vehicle positioning is greater than that of non-ground features, so the a priori contribution of the lanes is greater than the a priori contribution of the road signs. can be set high.

일부 실시예에서, 후보 측위 정보의 평가값은 다음 공식을 통해 결정될 수 있다. 즉:In some embodiments, an evaluation value of candidate positioning information may be determined through the following formula. in other words:

Figure pct00003
Figure pct00003

여기서, score은 후보 측위 정보의 평가값이고, λc 및 λd은 선험 할당 가중치이고, 본 실시예는 구체적인 값을 제한하지 않으며; ci은 제i번째 매칭 쌍에서 차량 측위에 대한 후보 맵 시맨틱 특징의 선험 기여도이며; di은 제i번째 매칭 쌍의 시맨틱-유클리드 거리이며; f(di)은 di 와 반상관 관계를 갖는 매핑 함수이며, 즉 di가 작을 수록, f(di)가 더 크다.Here, score is an evaluation value of candidate positioning information, λc and λd are a priori assigned weights, and the specific values are not limited in this embodiment; c i is the a priori contribution of the candidate map semantic feature to the vehicle location in the ith matching pair; d i is the semantic-Euclidean distance of the ith matching pair; f(d i ) is a mapping function having an anti-correlation with d i , that is, the smaller d i is, the larger f(d i ) is.

일부 실시예에서, 제2 결정 유닛(404)은 평가값이 가장 높은 후보 측위 정보를 차량의 최적 후보 측위 정보로 선택한다.In some embodiments, the second determination unit 404 selects the candidate positioning information having the highest evaluation value as the best candidate positioning information of the vehicle.

일부 실시예에서, 제2 결정 유닛(404)은 평가값이 가장 높은 후보 측위 정보를 선택한 후, 가장 높은 평가값이 평가값 임계값보다 작은 지 여부를 판단하며, 작은 경우, 맵 매칭이 실패한 것으로 판단한다. 여기서, 평가값 임계값은 선험값, 즉 미리 결정된 값이며, 본 실시예는 그 구체적인 값을 제한하지 않으며, 당업자는 실제 필요에 따라 설정할 수 있다.In some embodiments, after selecting the candidate positioning information with the highest evaluation value, the second determination unit 404 determines whether the highest evaluation value is less than an evaluation value threshold, and if it is less, it is determined that map matching has failed. judge Here, the evaluation value threshold is a priori value, that is, a predetermined value, and the present embodiment does not limit the specific value, and a person skilled in the art can set it according to actual needs.

일부 실시예에서, 맵 매칭 장치(400)의 각 유닛의 분할은 논리적 기능 분할일 뿐이며, 실제 구현에서 다른 방식으로 구현될 수 있는데, 획득 유닛(401), 제1 결정 유닛(402), 매칭 유닛(403) 및 제2 결정 유닛(404) 중 적어도 두개의 유닛이 하나의 유닛으로 구현될 수 있으며; 획득 유닛(401), 제1 결정 유닛(402), 매칭 유닛(403) 또는 제2 결정 유닛(404)은 또한 복수의 서브 유닛으로 분할될 수도 있다. 각 유닛 또는 서브 유닛은 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합을 통해 구현될 수 있다. 이러한 기능을 하드웨어 방식으로 수행할 것인지, 아니면 소프트웨어 방식으로 수행할 것인지는 기술적 해결책의 특정된 적용과 설계의 제약 조건에 의해 결정된다. 당업자는 각 특정된 적용에 대해 다양한 방법을 사용하여 상기 설명한 기능을 구현할 수 있다.In some embodiments, the division of each unit of the map matching device 400 is only a logical function division, and may be implemented in other ways in actual implementation, such as the acquisition unit 401, the first determination unit 402, and the matching unit. At least two of 403 and the second determination unit 404 may be implemented as one unit; The acquiring unit 401, the first determining unit 402, the matching unit 403 or the second determining unit 404 may also be divided into a plurality of sub-units. Each unit or sub-unit may be implemented through electronic hardware or a combination of computer software and electronic hardware. Whether these functions are performed by a hardware method or a software method is determined by the specific application of the technical solution and the design constraints. One skilled in the art may implement the described functionality using a variety of methods for each particular application.

도 5는 본 발명의 실시예에 따른 전자기기의 구조도이다.5 is a structural diagram of an electronic device according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 전자기기는 적어도 하나의 프로세서(501), 적어도 하나의 메모리(502) 및 적어도 하나의 통신 인터페이스(503)를 포함한다. 전자기기 중의 각 구성 요소는 버스 시스템(504)을 통해 연결된다. 통신 인터페이스(503)는 외부 장치와의 정보 전송에 사용된다. 버스 시스템(504)은 이들 구성 요소들 간의 연결 및 통신을 구현하기 위해 사용된다. 버스 시스템(504)에는 데이터 버스 외에 전력 버스, 제어 버스 및 상태 신호 버스가 포함된다. 다만, 명확한 설명을 위해, 도 5에서는 각 버스를 버스 시스템(504)으로 통합하여 표시한다.As shown in FIG. 5 , the electronic device includes at least one processor 501 , at least one memory 502 and at least one communication interface 503 . Each component in the electronic device is connected via a bus system 504. The communication interface 503 is used for information transmission with an external device. A bus system 504 is used to implement connections and communications between these components. Bus system 504 includes a power bus, a control bus, and a status signal bus in addition to a data bus. However, for a clear description, in FIG. 5, each bus is integrated into a bus system 504 and displayed.

본 발명의 실시예에서 메모리(502)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 또는 휘발성 및 비휘발성 메모리를 모두 포함할 수 있다.Memory 502 in an embodiment of the invention may be volatile memory or non-volatile memory, or may include both volatile and non-volatile memory.

일부 실시예에서, 메모리(502)에는 실행 가능한 유닛 또는 데이터 구조, 또는 이들의 서브 세트, 또는 이들의 확장 세트, 운영체제 및 애플리케이션 프로그램과 같은 구성 요소가 저장된다.In some embodiments, memory 502 stores components such as executable units or data structures, or subsets or extensions thereof, operating systems and application programs.

상기 운영체제는 다양한 기본 작업을 구현하고 하드웨어 기반 작업을 처리하기 위한 프레임 워크 계층, 코어 라이브러리 계층, 드라이버 계층 등과 같은 다양한 시스템 프로그램을 포함한다. 애플리케이션 프로그램에는 다양한 애플리케이션 태스크를 구현하기 위한 미디어 플레이어(Media Player), 브라우저(Browser) 등과 같은 다양한 애플리케이션 프로그램이 포함된다. 본 발명의 실시예에 의해 제공되는 맵 매칭 방법을 구현하기 위한 프로그램은 애플리케이션 프로그램에 포함될 수 있다.The operating system includes various system programs such as a framework layer, a core library layer, and a driver layer for implementing various basic tasks and processing hardware-based tasks. The application program includes various application programs such as a media player and a browser for implementing various application tasks. A program for implementing the map matching method provided by an embodiment of the present invention may be included in an application program.

본 발명의 실시예에서, 프로세서(501)는 메모리(502)에 저장된 프로그램 또는 명령, 구체적으로 애플리케이션 프로그램에 저장된 프로그램 또는 명령을 호출하고, 프로세서(501)는 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 다양한 실시예의 단계를 수행한다.In an embodiment of the present invention, the processor 501 calls a program or instruction stored in the memory 502, specifically a program or instruction stored in an application program, and the processor 501 executes a map provided by the embodiment of the present invention. Steps of various embodiments of the matching method are performed.

본 발명의 실시예에 의해 제공되는 맵 매칭 방법은 프로세서(501)에 적용되거나 프로세서(501)에 의해 구현될 수 있다. 프로세서(501)는 신호 처리 능력을 갖는 집적 회로 칩일 수 있다. 구현 과정에서, 상기 방법 실시예의 각 단계는 프로세서(501)의 하드웨어의 집적 로직 회로 또는 소프트웨어 형식의 명령에 의해 실행될 수 있다. 상기 프로세서(501)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 기타 프로그래머블 로직 디바이스, 이산 게이트, 트랜지스터 로직 디바이스 또는 이산된 하드웨어 컴포넌트일 수 있다. 범용프로세서는 마이크로프로세서일 수 있고, 또는 임의의 일반 프로세서 등일 수 있다.The map matching method provided by the embodiment of the present invention may be applied to or implemented by the processor 501 . The processor 501 may be an integrated circuit chip having signal processing capability. In the implementation process, each step of the method embodiment may be executed by a hardware integrated logic circuit of the processor 501 or a software instruction. The processor 501 may be a general purpose processor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA) or other programmable logic device, It can be a discrete gate, a transistor logic device or a discrete hardware component. A general purpose processor may be a microprocessor, or may be any general processor or the like.

본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 단계는 하드웨어 디코딩 프로세서에 의해 실행 및 완료되는 것으로 직접 구현되거나, 디코딩 프로세서에서 하드웨어 및 소프트웨어 유닛의 조합에 의해 실행 및 완료되는 것으로 구현될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 롬(read only memory, ROM), 프로그래머블 ROM 또는 전기적 소거 가능한 PROM 및 레지스터 등과 같은 당업계에서 신뢰성이 있는 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리(502)에 위치하며, 프로세서(501)는 메모리(502)의 정보를 판독하여 하드웨어를 통해 방법의 단계를 완료한다.The steps of the map matching method provided by the embodiments of the present invention may be directly implemented and completed by a hardware decoding processor, or implemented and completed by a combination of hardware and software units in a decoding processor. A software module may be stored in an art-reliable storage medium, such as random access memory, flash memory, read only memory (ROM), programmable ROM, or electrically erasable PROM and registers. The storage medium is located in the memory 502, and the processor 501 reads the information in the memory 502 to complete the steps of the method through hardware.

도 6은 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 예시적인 흐름도이다. 상기 방법의 실행 주체는 전자기기이며, 일부 실시예에서, 상기 방법의 실행 주체는 차량 탑재 장치가 지원하는 지능형 운전 시스템일 수 있다. 설명의 편의를 위해, 이하 실시예에서는 전자기기가 실행 주체인 경우를 예를 들어 맵 매칭 방법의 흐름을 설명한다.6 is an exemplary flowchart of a map matching method provided by an embodiment of the present invention. The execution entity of the method is an electronic device, and in some embodiments, the execution entity of the method may be an intelligent driving system supported by a vehicle-mounted device. For convenience of description, in the following embodiment, the flow of the map matching method will be described by taking a case where an electronic device is an execution subject.

도 6에 도시된 바와 같이, 단계 601에서, 전자기기는 차량의 초기 측위 정보 및 차량 센서 데이터를 획득한다.As shown in FIG. 6 , in step 601, the electronic device obtains initial positioning information and vehicle sensor data of the vehicle.

단계 602에서, 전자기기는 상기 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정한다.In step 602, the electronic device determines multiple candidate positioning information based on the initial positioning information.

단계 603에서, 전자기기는 상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정한다.In step 603, the electronic device determines a multi-view semantic feature based on the vehicle sensor data.

단계 604에서, 전자기기는 상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득한다.In step 604, the electronic device obtains partial map information including multiple map semantic features based on the initial positioning information.

단계 605에서, 전자기기는 각 상기 후보 측위 정보에 대해,In step 605, the electronic device, for each of the candidate positioning information,

6051, 상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며;6051, Based on the candidate positioning information, transform the plurality of map semantic features into the coordinate system of the vehicle sensor, and obtain the plurality of candidate map semantic features in the coordinate system;

6052, 상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다.6052, Matching the multiple-observed semantic features and the multiple candidate map semantic features to obtain a matching pair.

단계 606에서, 전자기기는 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.In step 606, the electronic device determines the best candidate positioning information of the vehicle and the matching pair corresponding to the best candidate positioning information based on the matching pair corresponding to each candidate positioning information.

일부 실시예에서, 상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계 전에, 상기 방법은,In some embodiments, prior to matching the multiple-observation semantic feature and the multiple-candidate map semantic feature to obtain a matching pair, the method comprises:

상기 차량 센서의 사각 영역 내 후보 맵 시맨틱 특징을 제거하는 단계;를 더 포함한다.The method further includes removing candidate map semantic features within the blind area of the vehicle sensor.

일부 실시예에서, 상기 매칭 쌍은 다음 조건 1 내지 조건 4를 만족한다. 즉:In some embodiments, the matching pair satisfies the following conditions 1 to 4. in other words:

조건 1: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징은 일대일 대응된다.Condition 1: There is a one-to-one correspondence between a candidate map semantic feature and an observed semantic feature matched thereto.

조건 2: 후보 맵 시맨틱 특징의 시맨틱 레이블은 그에 매칭된 관측 시맨틱 특징의 시맨틱 레이블과 동일하다.Condition 2: The semantic label of the candidate map semantic feature is equal to the semantic label of the matched observed semantic feature.

조건 3: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 유클리드 거리 임계값보다 작거나 같으며; 상기 시맨틱-유클리드 거리는 하나의 후보 맵 시맨틱 특징과 하나의 관측 시맨틱 특징의 유사성을 나타내며; 상기 유클리드 거리 임계값은 상기 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리와 반상관 관계를 갖는다.Condition 3: The semantic-Euclidean distance between the candidate map semantic feature and the observed semantic feature matched thereto is less than or equal to the Euclidean distance threshold; the semantic-Euclidean distance represents a similarity between one candidate map semantic feature and one observed semantic feature; The Euclidean distance threshold has an anti-correlation with a Euclidean distance between the candidate map semantic feature and candidate positioning information.

조건 4: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 후보 맵 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작고, 상기 관측 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작다.Condition 4: The semantic-Euclidean distance between a candidate map semantic feature and an observed semantic feature matched thereto is the smallest among all semantic-Euclidean distances corresponding to the candidate map semantic feature and the largest among all semantic-Euclidean distances corresponding to the observed semantic feature small.

일부 실시예에서, 상기 매칭 쌍은 또한 다음 조건 5를 만족한다. 즉:In some embodiments, the matching pair also satisfies Condition 5 below. in other words:

조건 5: 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일하다.Condition 5: If the candidate map semantic feature has a higher order semantic feature, the semantic label of the higher order semantic feature of the candidate map semantic feature is the same as the semantic label of the higher order semantic feature of the observed semantic feature matched thereto.

일부 실시예에서, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 유클리드 거리 임계값보다 작거나 같다.In some embodiments, a semantic-Euclidean distance between a higher order semantic feature of the candidate map semantic feature and a higher order semantic feature of the matched observed semantic feature is less than or equal to the Euclidean distance threshold.

일부 실시예에서, 다음 방식으로 임의의 후보 맵 시맨틱 특징과 임의의 관측 시맨틱 특징의 시맨틱-유클리드 거리를 결정한다.In some embodiments, determine the semantic-Euclidean distance of any candidate map semantic feature and any observed semantic feature in the following manner.

상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 서로 다른 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)이며;If the semantic label of the observed semantic feature and the semantic label of the candidate map semantic feature are different, the semantic-Euclidean distance is an invalid value (INF);

상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 동일한 경우, 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리 및 유클리드 거리 임계값을 결정하며;When the semantic label of the observed semantic feature and the semantic label of the candidate map semantic feature are the same, determining a Euclidean distance between a coordinate value corresponding to the observed semantic feature and a coordinate value corresponding to the candidate map semantic feature and a Euclidean distance threshold and;

상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 작거나 같은 경우, 상기 시맨틱-유클리드 거리는 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리이며;When the Euclidean distance between the coordinate value corresponding to the observed semantic feature and the coordinate value corresponding to the candidate map semantic feature is less than or equal to the Euclidean distance threshold, the semantic-Euclidean distance is equal to the coordinate value corresponding to the observed semantic feature and a Euclidean distance between coordinate values corresponding to the candidate map semantic feature;

상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 큰 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)인 방식을 통해 결정된다.When the Euclidean distance between the coordinate value corresponding to the observed semantic feature and the coordinate value corresponding to the candidate map semantic feature is greater than the Euclidean distance threshold, the semantic-Euclidean distance is determined using an invalid value (INF) scheme.

일부 실시예에서, 상기 유클리드 거리 임계값은 다음 공식을 통해 결정된다. 즉:In some embodiments, the Euclidean distance threshold is determined through the formula in other words:

Figure pct00004
Figure pct00004

상기 th은 유클리드 거리 임계값이고, th0은 설정된 고정 선험 임계값이고, t은 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리이고, f(t)은 t와 반상관 관계를 갖는 매핑 함수이다.th is a Euclidean distance threshold, th 0 is a set fixed a priori threshold, t is a Euclidean distance between a candidate map semantic feature and candidate positioning information, and f(t) is a mapping function having an anti-correlation with t.

일부 실시예에서, 관측 시맨틱 특징의 시맨틱 레이블이 후보 맵 시맨틱 특징의 시맨틱 레이블과 동일하고, 상기 관측 시맨틱 특징 또는 상기 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한지 여부를 판단하며, 동일하지 않으면, 상기 관측 시맨틱 특징과 상기 맵 시맨틱 특징 간의 시맨틱-유클리드 거리를 무효값(INF)으로 결정한다.In some embodiments, if the semantic label of an observed semantic feature is the same as the semantic label of a candidate map semantic feature, and the observed semantic feature or the candidate map semantic feature has a higher order semantic feature, then the upper order semantic feature of the observed semantic feature It is determined whether the semantic label and the semantic label of the upper semantic feature of the candidate map semantic feature are the same, and if not, the semantic-Euclidean distance between the observed semantic feature and the map semantic feature is determined as an invalid value (INF). .

일부 실시예에서, 상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계는,In some embodiments, obtaining a matching pair by matching the multiple-observed semantic features and the multiple-candidate map semantic features,

상기 복수 관측 시맨틱 특징 및 상기 복수 후보 맵 시맨틱 특징으로 구성된 시맨틱-유클리드 거리 행렬을 결정하는 단계;determining a semantic-Euclidean distance matrix composed of the plurality of observed semantic features and the plurality of candidate map semantic features;

상기 시맨틱-유클리드 거리 행렬을 기반으로, 거리 정렬 행렬을 결정하는 단계; 상기 거리 정렬 행렬 중의 각 요소는 2-튜플이며, 상기 2-튜플은 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬을 나타냄;determining a distance alignment matrix based on the semantic-Euclidean distance matrix; Each element of the distance alignment matrix is a 2-tuple, and the 2-tuple indicates an alignment of a row and column in which a semantic-Euclidean distance is located;

상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;를 포함한다.and determining an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple (1,1) in the distance alignment matrix as a matching pair.

일부 실시예에서, 상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계 후에, 상기 방법은,In some embodiments, after determining an observation semantic feature and a candidate map semantic feature corresponding to a 2-tuple (1,1) in the distance alignment matrix as a matching pair, the method comprises:

상기 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하고, 거리 정렬 행렬을 업데이트하는 단계;modifying all elements of rows and columns corresponding to the 2-tuple (1,1) to invalid values (INF) and updating a distance alignment matrix;

업데이트된 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;determining an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple (1,1) in the updated distance alignment matrix as a matching pair;

업데이트된 거리 정렬 행렬 중에 2-튜플(1,1)이 없을 때까지, 상기 두 단계를 반복하는 단계;를 더 포함한다.Repeating the above two steps until there is no 2-tuple (1,1) in the updated distance alignment matrix.

일부 실시예에서, 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,In some embodiments, the step of determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each of the candidate positioning information,

매칭 쌍이 가장 많은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함한다.and selecting candidate positioning information having the largest number of matched pairs as the optimal candidate positioning information of the vehicle.

일부 실시예에서, 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,In some embodiments, the step of determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each of the candidate positioning information,

차량 측위에 대한 서로 다른 후보 맵 시맨틱 특징의 선험 기여도와 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 각 후보 측위 정보의 평가값을 결정하는 단계;determining an evaluation value of each candidate positioning information based on a priori contributions of different candidate map semantic features for vehicle positioning and a matching pair corresponding to each candidate positioning information;

평가값이 가장 높은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함한다.and selecting candidate positioning information having the highest evaluation value as the optimal candidate positioning information of the vehicle.

일부 실시예에서, 상기 후보 측위 정보의 평가값은 다음 공식을 통해 결정된다. 즉:In some embodiments, the evaluation value of the candidate positioning information is determined through the following formula. in other words:

Figure pct00005
Figure pct00005

상기 score은 후보 측위 정보의 평가값이고, λ cλ d은 연역적인 할당 가중치이고, ci은 제i번째 매칭 쌍에서 차량 측위에 대한 후보 맵 시맨틱 특징의 선험 기여도이고, di은 제i번째 매칭 쌍의 시맨틱-유클리드 거리이고, f(di)은 di 와 반상관 관계를 갖는 매핑 함수이다.The score is an evaluation value of candidate positioning information, λ c and λ d are a priori assigned weights, c i is the a priori contribution of the candidate map semantic feature for vehicle positioning in the i th matching pair, and d i is the i th matching pair. is the semantic-Euclidean distance of the th matching pair, and f(d i ) is a mapping function having an anti-correlation with d i .

일부 실시예에서, 평가값이 가장 높은 후보 측위 정보를 선택하는 단계 후에, 상기 방법은,In some embodiments, after selecting the candidate positioning information having the highest evaluation value, the method comprises:

가장 높은 평가값이 평가값 임계값보다 작은 지 여부를 판단하며, 작은 경우, 맵 매칭이 실패한 것으로 판단하는 단계;를 더 포함한다.Determining whether the highest evaluation value is smaller than the evaluation value threshold value, and if it is smaller, determining that map matching has failed.

설명을 단순화하기 위해, 전술한 다양한 방법 실시예에 대해 일련의 동작의 조합으로 설명하였지만, 당업자는 본 발명의 실시예가 상기에 설명된 동작 순서에 의해 한정되지 않으며, 본 발명의 실시예의 단계는 다른 순서에 따라 수행되거나 또는 동시에 수행될 수 있음을 이해할 수 있을 것이다. 또한, 당업자는 본 명세서에 기재된 실시예들은 모두 대안적 실시예인 것을 이해할 수 있을 것이다.In order to simplify the description, the various method embodiments described above have been described as a combination of a series of operations, but those skilled in the art will understand that the embodiments of the present invention are not limited by the above-described sequence of operations, and the steps in the embodiments of the present invention may be different. It will be appreciated that they may be performed sequentially or concurrently. In addition, those skilled in the art will understand that the embodiments described herein are all alternative embodiments.

본 실시예는 또한 비일시적 컴퓨터 판독 가능 저장 매체를 개시하며, 상기 비일시적 컴퓨터 판독 가능 저장 매체에는 프로그램 또는 명령이 저장되고, 상기 프로그램 또는 명령에 따라 맵 매칭 방법 실시예의 각 단계를 수행할 수 있으며, 내용이 반복되는 것을 피하기 위해 여기서는 상세한 설명을 생략한다.This embodiment also discloses a non-transitory computer-readable storage medium, wherein a program or instruction is stored in the non-transitory computer-readable storage medium, and each step of the map matching method embodiment is performed according to the program or instruction, , detailed descriptions are omitted here to avoid repetition of the contents.

본 명세서에서, “포함”, “함유” 또는 다른 변형은 비배타적 포함을 가리키며, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치가 그 요소 뿐만 아니라 명확하게 나열되지 않은 다른 요소도 포함하며, 또는 이러한 프로세스, 방법, 물품 또는 장치의 고유한 요소도 포함한다. 별도로 제한이 없는 한, “~을 포함”으로 정의된 요소는 해당 요소를 포함하는 프로세스, 방법, 물품 또는 장치에서 다른 동일한 요소의 존재를 배제하지 않는다.As used herein, “comprising,” “including,” or other variations refer to a non-exclusive inclusion, wherein a process, method, article, or device comprising a set of elements includes those elements as well as other elements not expressly listed; or elements inherent in such process, method, article or apparatus. Unless otherwise limited, an element defined as "including" does not preclude the presence of other identical elements in the process, method, article, or device that contains the element.

당업자는 본 명세서에 기재된 일부 실시예가 다른 실시예에 포함된 특정 특징을 포함하지만 다른 특징인 것이 아니며, 상이한 실시예의 특징의 조합은 이들이 본 발명의 범위에 속하고 상이한 실시예를 형성한다는 것을 이해할 수 있을 것이다.Those skilled in the art can understand that some embodiments described in this specification include but are not other features included in other embodiments, and combinations of features of different embodiments form different embodiments that fall within the scope of the present invention. There will be.

당업자는 각 실시예에 대한 설명이 모두 요지가 있으며, 특정 실시예에서 상세히 설명되지 않은 부분은 다른 실시예의 관련 설명을 참조할 수 있음을 이해할 수 있다.Those skilled in the art can understand that descriptions of each embodiment are all gist, and parts not described in detail in a specific embodiment may refer to relevant descriptions in other embodiments.

본 발명의 실시예를 첨부도면을 결부하여 설명하였지만, 본 기술 분야의 통상의 지식을 가진 자라면 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하며, 이러한 수정 및 변형이 모두 특허청구범위에 속한다.Although the embodiments of the present invention have been described in conjunction with the accompanying drawings, those skilled in the art can make various modifications and variations without departing from the spirit and scope of the present invention, and all of these modifications and variations are belong to the scope of the patent claims.

산업적 이용 가능성industrial applicability

본 발명의 실시예는 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보(예: 맵 시맨틱 특징 정보)만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않고, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하고, 좋은 매칭 효과를 달성한다. 또한, 본 발명의 실시예는 센서 유형(카메라, 레이저 레이더 등이 적용 가능함)에 대한 특별한 요구 사항이 없다. 산업상 이용 가능성이 있다.Embodiments of the present invention are applied to a vector semantic map, and real-time matching between observed features and map features is realized using only vector information (eg, map semantic feature information) of the vector semantic map, and additional descriptors and strengths are added. It does not depend on data, reduces storage requirements and computing power consumption, and achieves a good matching effect. In addition, the embodiment of the present invention has no special requirements for the sensor type (camera, laser radar, etc. are applicable). It has potential for industrial use.

Claims (17)

맵 매칭 방법에 있어서,
차량의 초기 측위 정보 및 차량의 센서 데이터를 획득하는 단계;
상기 초기 측위 정보를 기반으로, 복수의 후보 측위 정보를 결정하는 단계;
상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하는 단계;
상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하는 단계;
상기 각 후보 측위 정보에 대해,
상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하는 단계;
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계;
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법.
In the map matching method,
acquiring initial positioning information of the vehicle and sensor data of the vehicle;
determining a plurality of candidate positioning information based on the initial positioning information;
determining a multi-observation semantic feature based on the vehicle sensor data;
obtaining partial map information including a plurality of map semantic features based on the initial positioning information;
For each of the above candidate positioning information,
converting the plurality of map semantic features into a coordinate system of the vehicle sensor based on the candidate positioning information, and obtaining a plurality of candidate map semantic features in the coordinate system;
obtaining a matching pair by matching the multiple observations semantic features with the multiple candidate map semantic features;
and determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each of the candidate positioning information.
제1항에 있어서,
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계 전에, 상기 방법은 상기 차량 센서의 사각 영역 내 후보 맵 시맨틱 특징을 제거하는 단계를 더 포함하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 1,
Before the step of matching the multiple observations semantic features and the multiple candidate map semantic features to obtain a matching pair, the method further comprises removing candidate map semantic features within a blind spot of the vehicle sensor. matching method.
제1항에 있어서,
상기 매칭 쌍은 다음 조건, 즉:
후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징은 일대일 대응되며;
후보 맵 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 시맨틱 레이블은 동일하며;
후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 유클리드 거리 임계값보다 작거나 같으며; 상기 시맨틱-유클리드 거리는 하나의 후보 맵 시맨틱 특징과 하나의 관측 시맨틱 특징의 유사성을 나타내며; 상기 유클리드 거리 임계값은 상기 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리와 반상관 관계를 가지며;
후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 후보 맵 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작고, 상기 관측 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작은 조건을 만족하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 1,
The matching pair is determined by the following condition:
There is a one-to-one correspondence between candidate map semantic features and observed semantic features matched thereto;
The semantic label of the candidate map semantic feature and the semantic label of the observed semantic feature matched thereto are the same;
The semantic-Euclidean distance between the candidate map semantic feature and the observed semantic feature matched thereto is less than or equal to the Euclidean distance threshold; the semantic-Euclidean distance represents a similarity between one candidate map semantic feature and one observed semantic feature; the Euclidean distance threshold has an anti-correlation with a Euclidean distance between the candidate map semantic feature and candidate positioning information;
A semantic-Euclidean distance between a candidate map semantic feature and an observed semantic feature matched thereto is the smallest among all semantic-Euclidean distances corresponding to the candidate map semantic feature and the smallest among all semantic-Euclidean distances corresponding to the observed semantic feature A map matching method characterized in that it is satisfied.
제3항에 있어서,
상기 매칭 쌍은 또한 다음 조건, 즉:
후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한 조건;을 더 만족하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 3,
The matching pair also satisfies the following condition:
If the candidate map semantic feature has an upper semantic feature, the semantic label of the upper semantic feature of the candidate map semantic feature and the semantic label of the upper semantic feature of the observed semantic feature matched thereto further satisfy the same condition. Map matching method.
제4항에 있어서,
상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 유클리드 거리 임계값보다 작거나 같은 것을 특징으로 하는 맵 매칭 방법.
According to claim 4,
The map matching method, characterized in that the semantic-Euclidean distance between the upper semantic feature of the candidate map semantic feature and the upper semantic feature of the observed semantic feature matched thereto is smaller than or equal to the Euclidean distance threshold.
제3항에 있어서,
임의의 후보 맵 시맨틱 특징과 임의의 관측 시맨틱 특징의 시맨틱-유클리드 거리는 다음 방식, 즉:
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 서로 다른 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)이며;
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 동일한 경우, 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리 및 유클리드 거리 임계값을 결정하며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 작거나 같은 경우, 상기 시맨틱-유클리드 거리는 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리이며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 큰 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)인 방식을 통해 결정되는 것을 특징으로 하는 맵 매칭 방법.
According to claim 3,
The semantic-Euclidean distance of any candidate map semantic feature and any observed semantic feature is in the following way:
If the semantic label of the observed semantic feature and the semantic label of the candidate map semantic feature are different, the semantic-Euclidean distance is an invalid value (INF);
When the semantic label of the observed semantic feature and the semantic label of the candidate map semantic feature are the same, determining a Euclidean distance between a coordinate value corresponding to the observed semantic feature and a coordinate value corresponding to the candidate map semantic feature and a Euclidean distance threshold and;
When the Euclidean distance between the coordinate value corresponding to the observed semantic feature and the coordinate value corresponding to the candidate map semantic feature is less than or equal to the Euclidean distance threshold, the semantic-Euclidean distance is equal to the coordinate value corresponding to the observed semantic feature and a Euclidean distance between coordinate values corresponding to the candidate map semantic feature;
When the Euclidean distance between the coordinate value corresponding to the observed semantic feature and the coordinate value corresponding to the candidate map semantic feature is greater than the Euclidean distance threshold, the semantic-Euclidean distance is determined through an invalid value (INF) method. Characterized map matching method.
제3항에 있어서,
상기 유클리드 거리 임계값은 다음 공식을 통해 결정되며, 즉:
Figure pct00006

상기 th은 유클리드 거리 임계값이고, th0은 설정된 고정 선험 임계값이고, t은 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리이고, f(t)은 t와 반상관 관계를 갖는 매핑 함수인 것을 특징으로 하는 맵 매칭 방법.
According to claim 3,
The Euclidean distance threshold is determined through the formula:
Figure pct00006

Wherein th is a Euclidean distance threshold, th 0 is a set fixed a priori threshold, t is a Euclidean distance between a candidate map semantic feature and candidate positioning information, and f(t) is a mapping function having an anti-correlation with t Characterized map matching method.
제6항에 있어서,
관측 시맨틱 특징의 시맨틱 레이블이 후보 맵 시맨틱 특징의 시맨틱 레이블과 동일하고, 상기 관측 시맨틱 특징 또는 상기 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한지 여부를 판단하며, 동일하지 않으면, 상기 관측 시맨틱 특징과 상기 맵 시맨틱 특징 간의 시맨틱-유클리드 거리를 무효값(INF)으로 결정하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 6,
If the semantic label of the observed semantic feature is identical to the semantic label of the candidate map semantic feature, and the observed semantic feature or the candidate map semantic feature has a higher order semantic feature, the semantic label of the higher order semantic feature of the observed semantic feature and the candidate map semantic feature Determines whether the semantic labels of upper-order semantic features of the map semantic feature are identical, and if not identical, determines a semantic-Euclidean distance between the observed semantic feature and the map semantic feature as an invalid value (INF). matching method.
제3항에 있어서,
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계는,
상기 복수 관측 시맨틱 특징 및 상기 복수 후보 맵 시맨틱 특징으로 구성된 시맨틱-유클리드 거리 행렬을 결정하는 단계;
상기 시맨틱-유클리드 거리 행렬을 기반으로, 거리 정렬 행렬을 결정하는 단계; 상기 거리 정렬 행렬 중의 각 요소는 2-튜플이며, 상기 2-튜플은 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬을 나타냄;
상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 3,
The step of obtaining a matching pair by matching the multiple observations semantic features and the multiple candidate map semantic features,
determining a semantic-Euclidean distance matrix composed of the plurality of observed semantic features and the plurality of candidate map semantic features;
determining a distance alignment matrix based on the semantic-Euclidean distance matrix; Each element of the distance alignment matrix is a 2-tuple, and the 2-tuple indicates an alignment of a row and column in which a semantic-Euclidean distance is located;
and determining an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple (1,1) in the distance alignment matrix as a matching pair.
제9항에 있어서,
상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계 후에, 상기 방법은,
상기 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하고, 거리 정렬 행렬을 업데이트하는 단계;
업데이트된 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;
업데이트된 거리 정렬 행렬 중에 2-튜플(1,1)이 없을 때까지, 상기 두 단계를 반복하는 단계;를 더 포함하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 9,
After the step of determining an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple (1,1) in the distance alignment matrix as a matching pair, the method comprises:
modifying all elements of rows and columns corresponding to the 2-tuple (1,1) to invalid values (INF) and updating a distance alignment matrix;
determining an observation semantic feature and a candidate map semantic feature corresponding to 2-tuple (1,1) in the updated distance alignment matrix as a matching pair;
Repeating the above two steps until there is no 2-tuple (1,1) in the updated distance alignment matrix.
제1항에 있어서,
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,
매칭 쌍이 가장 많은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 1,
Determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each of the candidate positioning information,
and selecting candidate positioning information having the largest number of matched pairs as the optimal candidate positioning information of the vehicle.
제1항에 있어서,
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,
차량 측위에 대한 서로 다른 후보 맵 시맨틱 특징의 선험 기여도와 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 각 후보 측위 정보의 평가값을 결정하는 단계;
평가값이 가장 높은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 1,
Determining a matching pair corresponding to the best candidate positioning information of the vehicle and the best candidate positioning information based on the matching pair corresponding to each of the candidate positioning information,
determining an evaluation value of each candidate positioning information based on a priori contributions of different candidate map semantic features for vehicle positioning and a matching pair corresponding to each candidate positioning information;
and selecting candidate positioning information having the highest evaluation value as the optimal candidate positioning information of the vehicle.
제12항에 있어서,
상기 후보 측위 정보의 평가값은 다음 공식을 통해 결정되며, 즉:
Figure pct00007

상기 score은 후보 측위 정보의 평가값이고, λ cλ d은 선험 할당 가중치이고, ci은 제i번째 매칭 쌍에서 차량 측위에 대한 후보 맵 시맨틱 특징의 연역적인 기여도이고, di은 제i번째 매칭 쌍의 시맨틱-유클리드 거리이고, f(di)은 di 와 반상관 관계를 갖는 매핑 함수인 것을 특징으로 하는 맵 매칭 방법.
According to claim 12,
The evaluation value of the candidate positioning information is determined through the following formula, namely:
Figure pct00007

The score is an evaluation value of candidate positioning information, λ c and λ d are a priori assigned weights, c i is an a priori contribution of the candidate map semantic feature for vehicle positioning in the ith matching pair, and d i is the i th matching pair. A map matching method, characterized in that the semantic-Euclidean distance of the th matching pair, and f(d i ) is a mapping function having an anti-correlation with d i .
제12항에 있어서,
평가값이 가장 높은 후보 측위 정보를 선택하는 단계 후에, 상기 방법은,
가장 높은 평가값이 평가값 임계값보다 작은 지 여부를 판단하며, 작은 경우, 맵 매칭이 실패한 것으로 판단하는 단계;를 더 포함하는 것을 특징으로 하는 맵 매칭 방법.
According to claim 12,
After the step of selecting the candidate positioning information having the highest evaluation value, the method comprises:
The map matching method further comprising: determining whether the highest evaluation value is smaller than the evaluation value threshold, and if smaller, determining that map matching has failed.
맵 매칭 장치로서,
차량의 초기 측위 정보 및 차량 센서 데이터를 획득하고, 상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하기 위한 획득 유닛;
상기 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정하고, 상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하기 위한 제1 결정 유닛;
상기 각 후보 측위 정보에 대해,
상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며,
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하기 위한 매칭 유닛;
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하기 위한 제2 결정 유닛;을 포함하는 것을 특징으로 하는 맵 매칭 장치.
As a map matching device,
an acquiring unit configured to acquire initial positioning information of a vehicle and vehicle sensor data, and obtain partial map information including plural map semantic features, based on the initial positioning information;
a first determining unit configured to determine multiple candidate positioning information based on the initial positioning information, and determine multiple observation semantic features based on the vehicle sensor data;
For each of the above candidate positioning information,
Based on the candidate positioning information, converting the plurality of map semantic features into a coordinate system of the vehicle sensor to obtain a plurality of candidate map semantic features in the coordinate system;
a matching unit configured to obtain a matching pair by matching the multiple observations semantic features with the multiple candidate map semantic features;
a second determining unit configured to determine, based on the matching pair corresponding to each of the candidate positioning information, the best candidate positioning information of the vehicle and the matching pair corresponding to the best candidate positioning information; Device.
프로세서 및 메모리를 포함하는 전자기기에 있어서,
상기 프로세서는 상기 메모리에 저장된 프로그램 또는 명령을 호출하여 제1항의 방법의 단계를 수행하는 것을 특징으로 하는 전자기기.
In an electronic device including a processor and a memory,
The electronic device, characterized in that the processor performs the steps of the method of claim 1 by calling a program or instructions stored in the memory.
프로그램 또는 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 프로그램 또는 명령이 컴퓨터에 의해 실행됨으로써 제1항의 방법의 단계가 수행되는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
A non-transitory computer-readable storage medium in which a program or instruction is stored,
A non-transitory computer-readable storage medium characterized in that the steps of the method of claim 1 are performed by executing the program or instructions by a computer.
KR1020237009778A 2020-09-27 2020-10-23 Map matching method, device, electronic device and storage medium KR20230086664A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011031457.0A CN112179359B (en) 2020-09-27 2020-09-27 Map matching method and device, electronic equipment and storage medium
CN202011031457.0 2020-09-27
PCT/CN2020/123162 WO2022062019A1 (en) 2020-09-27 2020-10-23 Map matching method and apparatus, and electronic device and storage medium

Publications (1)

Publication Number Publication Date
KR20230086664A true KR20230086664A (en) 2023-06-15

Family

ID=73944130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009778A KR20230086664A (en) 2020-09-27 2020-10-23 Map matching method, device, electronic device and storage medium

Country Status (6)

Country Link
US (1) US20230358547A1 (en)
EP (1) EP4206610A4 (en)
JP (1) JP2023541167A (en)
KR (1) KR20230086664A (en)
CN (1) CN112179359B (en)
WO (1) WO2022062019A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022212704A1 (en) 2022-11-28 2024-05-29 Robert Bosch Gesellschaft mit beschränkter Haftung Method for matching a digital road map
CN116105603B (en) * 2023-04-13 2023-09-19 安徽蔚来智驾科技有限公司 Method and system for determining the position of a moving object in a venue

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4934167B2 (en) * 2009-06-18 2012-05-16 クラリオン株式会社 Position detection apparatus and position detection program
CN102313547B (en) * 2011-05-26 2013-02-13 东南大学 Vision navigation method of mobile robot based on hand-drawn outline semantic map
KR102463702B1 (en) * 2016-12-15 2022-11-07 현대자동차주식회사 Apparatus for estimating location of vehicle, method for thereof, apparatus for constructing map thereof, and method for constructing map
CN108732582B (en) * 2017-04-20 2020-07-10 百度在线网络技术(北京)有限公司 Vehicle positioning method and device
CN107144285B (en) * 2017-05-08 2020-06-26 深圳地平线机器人科技有限公司 Pose information determination method and device and movable equipment
CN107990899B (en) * 2017-11-22 2020-06-30 驭势科技(北京)有限公司 Positioning method and system based on SLAM
CN109145171B (en) * 2018-07-23 2020-09-08 广州市城市规划勘测设计研究院 Multi-scale map data updating method
US10983526B2 (en) * 2018-09-17 2021-04-20 Huawei Technologies Co., Ltd. Method and system for generating a semantic point cloud map
CN109733383B (en) * 2018-12-13 2021-07-20 初速度(苏州)科技有限公司 Self-adaptive automatic parking method and system
CN111323004B (en) * 2018-12-16 2022-05-13 北京魔门塔科技有限公司 Initial position determining method and vehicle-mounted terminal
CN111323029B (en) * 2018-12-16 2022-05-27 北京魔门塔科技有限公司 Navigation method and vehicle-mounted terminal
CN110807412B (en) * 2019-10-30 2022-09-23 驭势科技(北京)有限公司 Vehicle laser positioning method, vehicle-mounted equipment and storage medium
CN110866079B (en) * 2019-11-11 2023-05-05 桂林理工大学 Generation and auxiliary positioning method of intelligent scenic spot live-action semantic map

Also Published As

Publication number Publication date
US20230358547A1 (en) 2023-11-09
EP4206610A1 (en) 2023-07-05
WO2022062019A1 (en) 2022-03-31
CN112179359B (en) 2022-09-23
JP2023541167A (en) 2023-09-28
CN112179359A (en) 2021-01-05
EP4206610A4 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
CN113272830B (en) Trajectory representation in behavior prediction system
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
US11175145B2 (en) System and method for precision localization and mapping
US11500063B2 (en) Deep learning for object detection using pillars
JP7239703B2 (en) Object classification using extraterritorial context
US10072936B2 (en) Estimating a street type using sensor-based surroundings data
CN110345955A (en) Perception and planning cooperation frame for automatic Pilot
KR102539942B1 (en) Method and apparatus for training trajectory planning model, electronic device, storage medium and program
US20180211119A1 (en) Sign Recognition for Autonomous Vehicles
CN110325935A (en) The lane guide line based on Driving Scene of path planning for automatic driving vehicle
US20180050694A1 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
CN110390240A (en) Lane post-processing in automatic driving vehicle
KR20230086664A (en) Map matching method, device, electronic device and storage medium
KR20230012953A (en) Machine learning-based framework for drivable surface annotation
CN111638536A (en) Method and apparatus for context-aware crowd-sourced sparse high definition maps
KR20240047408A (en) Detected object path prediction for vision-based systems
CN112710316A (en) Dynamic map generation focused on the field of construction and localization technology
EP3989031B1 (en) Systems and methods for fusing road friction data to enhance vehicle maneuvering
US20220404506A1 (en) Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment
US20210403056A1 (en) Convolution operator selection
CN110446106B (en) Method for identifying front camera file, electronic equipment and storage medium
US20210110600A1 (en) System and method for generating terrain maps
EP4095009B1 (en) Method and device for operating a self-driving car
CN115482679B (en) Automatic driving blind area early warning method and device and message server
JP7261892B2 (en) Occupancy grid map management device