KR102474160B1 - 맵 작성 방법, 장치, 및 시스템, 및 저장 매체 - Google Patents

맵 작성 방법, 장치, 및 시스템, 및 저장 매체 Download PDF

Info

Publication number
KR102474160B1
KR102474160B1 KR1020217019684A KR20217019684A KR102474160B1 KR 102474160 B1 KR102474160 B1 KR 102474160B1 KR 1020217019684 A KR1020217019684 A KR 1020217019684A KR 20217019684 A KR20217019684 A KR 20217019684A KR 102474160 B1 KR102474160 B1 KR 102474160B1
Authority
KR
South Korea
Prior art keywords
image
map
target
feature point
feature points
Prior art date
Application number
KR1020217019684A
Other languages
English (en)
Other versions
KR20210095913A (ko
Inventor
지아 리
치 천
쉐밍 펑
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20210095913A publication Critical patent/KR20210095913A/ko
Application granted granted Critical
Publication of KR102474160B1 publication Critical patent/KR102474160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이 출원은 맵 작성 방법, 장치, 및 시스템, 및 컴퓨터가 판독 가능한 매체를 개시하며, 데이터 처리 기술 분야에 관련된다. 방법은, 맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하는 단계-여기서, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-; 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계-여기서, 맵 레이어 공간 좌표는 타깃 이미지 내의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상대 변위는 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득됨-; 및 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 매 2개의 맵 레이어에 맵 레이어 융합을 수행하여, 타깃 환경의 맵을 획득하는 단계;를 포함할 수 있다. 이 출원은 맵 레이어 융합을 통해 획득되는 맵의 정확도를 효과적으로 향상할 수 있다.

Description

맵 작성 방법, 장치, 및 시스템, 및 저장 매체
본 출원의 실시예는 데이터 처리 기술 분야에 관한 것으로서, 특히, 맵 작성 방법, 장치, 및 시스템 및 저장 매체에 관한 것이다.
삭제
지능형 주행 기술의 지속적인 개발로 지능형 주행 차량이 점점 더 널리 적용되고 있다. 주차장 환경은 지능형 주행 차량의 매우 중요한 응용 환경이다. 고정밀 주차장 국부화 맵 레이어(localization map layer, LML)는 지능형 주행 차량의 안전한 주행을 보장할 수 있다. 주차장 국부화 맵 레이어는 주차장에서 특징점(예를 들어, 주행 경로의 폭, 주행 경로의 길이, 또는 연석의 높이와 같은 기하학적 특징, 그리고 고층 빌딩 또는 레이펭 탑(Leifeng Pagoda)과 같은 랜드마크 특징)에 관한 정보를 포함한다. 주차장 국부화 맵 레이어는, 특징점을 사용하여 주차장의 현재 환경을 기술하고, 주차장에서 차량의 위치를 결정하기 위한 사전 정보(예를 들어, 주차장 환경에서 지능형 차량의 위치 정보 및 자세 정보)를 제공하여, 위치에 기반하여 자동 주차, 주차 장소 자동 검색, 차량의 스마트 소환, 등을 수행하는데 사용될 수 있다.
현재, 주차장의 국부화 맵 레이어를 획득하는 중에, 주차장 환경의 이미지 정보를 전달하는 복수의 이미지 프레임이 이미지 캡처 콤포넌트를 사용하여 획득될 수 있고, 주차장 환경의 특징점이 복수의 이미지 프레임에 기초하여 결정될 수 있고; 상이한 특징점 사이의 변위 관계가 글로벌 포지셔닝 시스템(global positioning system, GPS)에 의해 제공되는 세계 좌표계에서 각각의 특징점의 절대 좌표에 기초하여 결정될 수 있고; 그리고 복수의 특징점을 포함하는 주차장 국부화 맵 레이어는 변위 관계에 기초하여 설정될 수 있다.
주차장 국부화 맵 레이어를 획득하는 과정은 GPS가 제공하는 위치 정보에 의존해야 하지만 주차장 환경에서 GPS 신호는 영향을 받을 수 있다. 결과적으로, GPS 신호에 기초하여 결정되는 위치 정보의 신뢰성은 상대적으로 낮다. 예를 들어, 잘못된 위치 정보가 수신되거나 및/또는 위치 정보가 수신되지 않을 수 있다. 그 결과, 이와 같이 얻은 주차장 국부화 맵 레이어의 정확도는 상대적으로 낮다.
본 출원의 실시예는, 관련 기술에서 다음과 같은 문제를 해결하기 위한, 맵 작성 방법, 장치, 및 시스템, 및 저장 매체를 제공한다: GPS 신호가 영향을 받을 수 있으므로 GPS 신호에 기초하여 결정되는 위치 정보의 신뢰도가 상대적으로 낮고, 결과적으로 획득된 주차장 국부화 맵 레이어의 정확도가 상대적으로 낮다. 기술적 해결 수단은 다음을 포함한다.
본 출원의 제1 측면에 따르면, 맵 작성 방법이 제공된다. 상기 방법은, 맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하는 단계-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-; 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 상기 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 특징점이 위치하는 이미지임-; 및 상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어에 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하는 단계;를 포함한다.
특징점 매칭은 상기 매 2개의 맵 레이어의 상기 특징점에 대해 수행되고; 상기 2개의 맵 레이어 사이의 타깃 변위 관계는 상기 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 획득되고; 그리고 맵 레이어 융합은 상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어에 대해 수행된다. 각각의 특징점의 맵 레이어 공간 좌표는 상기 타깃 이미지 내의 대응하는 특징점의 이미지 좌표 및 상기 타깃 이미지의 매 2개의 프레임의 상기 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 상기 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득된다. 따라서 관련 기술에 비해, 상기 특징점의 맵 레이어 공간 좌표는, GPS가 제공하는 이미지의 특징점 위치 정보에 의존할 필요가 없다. 이는 GPS 신호가 영향을 받으므로 GPS 신호를 기반으로 결정되는 위치 정보의 신뢰성이 상대적으로 낮다는 문제를 피할 수 있어, 맵 레이어 융합을 통해 획득되는 맵의 정확도를 효과적으로 향상시킬 수 있다.
상기 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함할 수 있다. 상기 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계의 구현 프로세스는, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하는 단계; 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하는 단계-여기서, 상기 적어도 하나의 제1 투영 평면은 상기 적어도 하나의 제2 투영 평면과 일대일 대응 관계에 있고, 각각의 제1 투영 평면을 결정하기 위한 복수의 특징점 및 대응하는 제2 투영 평면을 결정하기 위한 복수의 특징점은 일대일 방식으로 매칭되는 특징점임-; 서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대한 투영 오차 함수를 구성하는 단계-여기서, 상기 투영 오차 함수는 상기 제1 그래픽과 상기 제2 그래픽 사이의 투영 오차가 상기 2개의 맵 레이어 사이의 변위 관계에 따라 변화되는 상관 관계를 표현하는데 사용되고, 상기 제1 그래픽은 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이고, 상기 제2 그래픽은 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽임; 및 상기 투영 오차 함수의 최소 값에 대응하는 변위 관계를 상기 타깃 변위 관계로서 결정하는 단계;를 포함한다.
상기 적어도 하나의 제1 투영 평면 및 상기 적어도 하나의 제2 투영 평면이 결정되고, 상기 오차 함수가 서로 대응 관계를 가지는 투영 평면에 기초하여 구성되어, 상기 타깃 변위 관계를 획득한다. 이러한 방식으로, 3D 공간에서의 연산은 평면에서의 계산으로 변환되고, 따라서, 연산 복잡성을 줄이고 계산 정밀도 및 안정성을 개선한다.
선택사항으로서, 상기 서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제1 그래픽 및 상기 제2 그래픽에 대한 투영 오차 함수를 구성하는 단계의 구현 프로세스는, 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 대해, 상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하는 단계-여기서, 상기 투영 오차 서브함수는 상기 제1 다각형 및 상기 제2 다각형 사이의 투영 오차가 상기 변위 관계에 따라 변화하는 상관 관계를 표현하는데 사용되고, 상기 제1 다각형은 상기 복수의 제1 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이고, 상기 제2 다각형은 상기 복수의 제2 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형임-; 및 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 적어도 하나의 쌍에 기초하여 구성되는 하나 이상의 투영 오차 서브함수의 합을 상기 투영 오차 함수로서 결정하는 단계;를 포함할 수 있다.
선택사항으로서, 상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하는 단계 이전에, 상기 방법은, 상기 복수의 제1 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제1 다각형의 질량-중심 좌표를 획득하는 단계; 및 상기 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제2 다각형의 질량-중심 좌표를 획득하는 단계;를 더 포함할 수 있다.
이에 상응하여, 상기 제1 투영 평면 상의 상기 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 상기 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제1 다각형 및 상기 제2 다각형에 대해 상기 투영 오차 서브함수를 구성하는 단계의 구현 프로세스는, 상기 복수의 제1 특징점의 맵 레이어 공간 좌표, 상기 복수의 제2 특징점의 맵 레이어 공간 좌표, 상기 제1 다각형의 질량-중심 좌표, 및 상기 제2 다각형의 질량-중심 좌표에 기초하여 상기 투영 오차 서브함수를 구성하는 단계;를 포함할 수 있다.
상기 제1 다각형의 질량-중심 좌표 및 상기 제2 다각형의 질량-중심 좌표가 획득되고, 상기 투영 오차 서브함수는 상기 질량-중심 좌표에 기초하여 구성된다. 이러한 방식으로, 상기 투영 서브함수에 기초하여 결정되는 변위 관계의 정확도가 향상될 수 있다.
구현예로서, 상기 변위 관계는 회전 관계 및 병진 관계를 포함할 수 있고; 그리고 제1 특징점의 맵 레이어 공간 좌표 Sri, 제2 특징점의 맵 레이어 공간 좌표 Sli, 상기 제1 다각형의 질량-중심 좌표 Xr, 상기 제2 다각형의 질량-중심 좌표 Xl, 상기 투영 오차 서브함수 E, 상기 회전 관계 R, 및 상기 병진 관계 T는 다음을 만족한다:
Figure 112021073025712-pct00001
,
여기서, n은 상기 제1 투영 평면 상의 제1 특징점의 총 수량이고, ||.||는 놈(norm) 연산이다.
구현예로서, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 상기 적어도 하나의 제1 투영 평면을 결정하는 단계의 구현 프로세스는, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 초기 평면을 결정하고, 상기 3개의 마킹되지 않은 특징점을 상기 초기 평면에 대응하는 제1 타깃점 세트에 추가하는 단계-여기서, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점은 초기에 마킹되지 않은 상태에 있음-; 상기 제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달할 때까지 각각의 다른 특징점에 대해 스크리닝 절차를 순차적으로 수행하여 하나의 제1 타깃점 세트를 획득하고, 상기 제1 타깃점 세트 내의 모든 특징점을 마킹하는 단계-여기서, 상기 다른 특징점은 모든 마킹되지 않은 특징점에서 상기 3개의 마킹되지 않은 특징점을 제외한 특징점임-; 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점이 마킹될 때까지, 초기 평면을 결정하고 스크리닝 절차를 수행하는 상기 과정을 반복하여, 적어도 하나의 제1 타깃점 세트를 획득하는 단계; 및 각각의 제1 타깃점 세트내의 모든 특징점에 기초하여 제1 투영 평면을 결정하여 상기 적어도 하나의 제1 투영 평면을 획득하는 단계;를 포함한다.
다른 특징점 각각에 대해, 상기 스크리닝 절차는, 상기 다른 특징점으로부터 상기 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 상기 제1 타깃점 세트내의 모든 특징점 및 상기 다른 특징점을 꼭지점으로서 사용하는 복수의 다각형을 결정하는 단계; 및 상기 복수의 다각형 중에 볼록 다각형이 있는 경우, 상기 다른 특징점을 상기 제1 타깃점 세트에 추가하여 업데이트된 제1 타깃점 세트를 획득하는 단계;를 포함한다.
구현예로서, 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 상기 적어도 하나의 제2 투영 평면을 결정하는 단계의 구현 프로세스는, 상기 제2 맵 레이어의 모든 특징점에서, 각각의 제1 투영 평면에 기초하여 하나의 제2 타깃점 세트를 결정하는 단계-여기서, 각각의 제2 타깃점 세트는 상기 제1 투영 평면 상의 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점을 포함함-; 및 각각의 제2 타깃점 세트에 포함된 복수의 특징점이 위치하는 평면을 상기 제1 투영 평면에 대응하는 제2 투영 평면으로 결정하여, 상기 적어도 하나의 제2 투영 평면을 획득하는 단계;를 포함할 수 있다.
상기 2개의 맵 레이어는 상기 제1 맵 레이어 및 상기 제2 맵 레이어를 포함할 수 있다. 구현예로서, 상기 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하는 단계의 구현 프로세스는, 제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하는 단계-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 상기 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정하는 단계;를 포함한다.
특징점은 상기 제2 맵 레이어의 모든 이미지에서 순회되고, 상기 지정된 파라미터는 상기 제1 맵 레이어의 특징점 및 상기 제2 맵 레이어의 각각의 특징점에 기초하여 계산되고, 상기 가장 작은 지정된 파라미터에 대응하는 특징점은 상기 제1 맵 레이어의 특징점에 매칭되는 특징점으로서 결정된다. 이러한 방식으로, 매칭 안정성 및 정확도가 향상될 수 있다.
다른 구현예에서, 상기 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하는 단계의 구현 프로세스는, 제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하는 단계-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및 상기 지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 상기 제1 매칭 대상 특징점이 상기 제2 매칭 대상 특징점에 매칭된다고 결정하는 단계;를 포함한다.
상기 지정된 파라미터의 계산의 정확도를 향상하기 위해, 상기 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득하는 단계의 구현 프로세스는, 제1 이미지 블록 내의 각각의 픽셀의 픽셀 값 및 제2 이미지 블록 내의 각각의 픽셀의 픽셀 값에 기초하여 상기 지정된 파라미터를 획득하는 단계를 포함할 수 있고, 여기서, 상기 제1 이미지 블록은 상기 제1 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 상기 제2 이미지 블록은 상기 제2 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 상기 제2 이미지 블록의 크기는 상기 제1 이미지 블록의 크기와 같다.
상기 제1 이미지 및 상기 제2 이미지 각각은 복수의 레벨의 서브-이미지을 포함하는 이미지 피라미드에 의해 표현될 수 있고, 상기 제1 이미지의 복수의 레벨의 서브-이미지는 상기 제2 이미지의 복수의 레벨의 서브-이미지와 일대일 대응 관계에 있다. 상기 상기 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득하는 단계의 구현 프로세스는, 상기 제1 이미지의 서브-이미지의 각각의 레벨 및 제2 이미지의 서브-이미지의 상기 대응하는 레벨에 기초하여, 상기 대응하는 레벨의 지정된 파라미터 콤포넌트를 결정하는 단계; 및 상기 복수의 레벨의 서브-이미지에 대응하는 지정된 파라미터 콤포넌트의 합을 상기 지정된 파라미터로서 결정하는 단계;를 포함할 수 있다.
상기 이미지는 상기 이미지 피라미드를 사용하여 표현되므로, 복수의 해상도의 경우 상기 2개의 매칭 대상 특징점의 픽셀 계조 차이 및 디스크립터 유사도(descriptor similarities)는 상기 이미지 피라미드의 특성을 사용하여 별도로 계산된다. 이러한 방식으로, 상기 지정된 파라미터의 정확도와 매칭 정밀도가 더욱 향상될 수 있다. 또한, 특징점 매칭이 상기 이미지 피라미드를 사용하여 계산을 통해 획득되는 지정된 파라미터에 기초하여 수행되는 경우, 매칭 정밀도 및 안정성이 확보될 수 있다.
선택사항으로서, 상기 지정된 파라미터는 픽셀 계조 차이 및/또는 디스크립터 유사도를 포함할 수 있다.
상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어에 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하는 단계의 구현 프로세스는, 상기 복수의 맵 레이어의 특징점을 포함하는 상기 맵 상의 모든 특징점의 맵 레이어 공간 좌표가 동일한 참조 좌표계에 기초하여 획득되도록, 상기 2개의 맵 레이어 중 적어도 하나에 대해, 상기 맵 레이어의 모든 특징점의 맵 레이어 공간 좌표에 좌표 변환을 수행하는 단계를 포함할 수 있다.
선택사항으로서, 상기 타깃 환경은 주차장 환경일 수 있다.
본 출원의 제2 측면에 따르면, 맵 작성 방법이 제공된다. 상기 방법은, 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하는 단계-여기서, 상기 복수의 이미지 프레임은 이미지 캡처 콤포넌트에 의해 캡처됨-; 각각의 이미지 프레임의 캡처 위치에서 상기 이미지 캡처 콤포넌트의 모션 파라미터을 획득하는 단계-여기서, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용됨-; 상기 이미지 캡처 콤포넌트의 상기 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를를 획득하는 단계; 및 상기 복수의 이미지 프레임 및 상기 상대 변위에 기초하여, 상기 복수의 이미지 프레임 내의 특징점을 포함하는 맵 레이어를 획득하는 단계-여기서, 상기 맵 레이어는 맵을 작성하는데 사용됨-; 및 상기 맵 레이어 및 상기 상대 변위를 서버로 송신하는 단계;를 포함한다.
선택사항으로서, 상기 복수의 이미지 프레임은 상기 타깃 환경의 상기 이미지 정보를 전달하는 모든 키-프레임 이미지이고, 상기 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하는 단계는, 상기 타깃 환경의 상기 이미지 정보를 전달하는 스크리닝될 복수의 이미지 프레임을 획득하는 단계; 스크리닝될 이미지의 각각의 프레임의 타깃 파라미터를 획득하는 단계-여기서, 상기 타깃 파라미터는 지정된 이미지에 대해 상대적으로 상기 스크리닝될 이미지의 변화를 나타내는데 사용됨-; 및 상기 스크리닝될 이미지의 상기 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우, 상기 스크리닝될 이미지를 키-프레임 이미지로서 선택하는 단계.
상기 이미지 캡처 콤포넌트에 의해 캡처된 원본 이미지를 스크리닝함으로써, 획득된 이미지 내의 중복 정보를 효과적으로 줄일 수 있어, 맵 레이어 사이의 타깃 변위 관계의 결정, 맵 레이어 융합의 수행, 등의 후속 프로세스에서 계산량을 감소시킬 수 있다.
상기 타깃 파라미터는, 상기 스크리닝될 이미지의 캡처 시점과 상기 지정된 이미지의 캡처 시점 사이의 시간 간격; 상기 스크리닝될 이미지의 캡처 중에 상기 이미지 캡처 콤포넌트의 시야각과 상기 지정된 이미지의 캡처 중에 상기 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화; 상기 스크리닝될 이미지의 캡처 위치와 상기 지정된 이미지의 캡처 위치 사이의 상대 변위; 상기 스크리닝될 이미지에 포함된 특징점의 제1 총 수량; 및 상기 제1 총 수량에 대한 제2 총 수량의 제1 비율; 중 하나 이상을 포함할 수 있으며, 여기서 상기 제2 총 수량은 상기 스크리닝될 이미지에 포함된 특징점 내에 있고 상기 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량이다.
선택사항으로서, 상기 복수의 이미지 프레임은 시간 시퀀스의 관점에서 인접하고, 스크리닝될 이미지의 각각의 프레임에 대응하는 지정된 이미지는 상기 복수의 이미지 프레임 내에 있고 시간 시퀀스의 관점에서 상기 스크리닝될 이미지에 앞서고 가장 가까운 키-프레임 이미지의 프레임이다.
또한, 상기 스크리닝될 이미지의 상기 타깃 파라미터가 상기 미리 설정된 제2 임계치치보다 큰 경우, 상기 스크리닝될 이미지를 키-프레임 이미지로서 결정하는 단계의 구현 프로세스는, 상기 스크리닝될 이미지의 상기 타깃 파라미터가 상기 미리 설정된 제2 임계치치보다 큰 경우 제3 총 수량에 대한 상기 제2 총 수량의 제2 비율을 결정하는 단계-여기서, 상기 제3 총 수량은 상기 스크리닝될 이미지에 포함된 특징점의 총 수량이고, 상기 제2 총 수량은 상기 스크리닝될 이미지에 포함된 상기 특징점 내에 있고 지정된 이미지에 포함된 상기 특징점과는 상이한 상기 특징점의 총 수량임-; 및 상기 제2 비율이 미리 설정된 비율보다 작은 경우, 상기 스크리닝될 이미지를 상기 키-프레임 이미지로서 선택하는 단계;를 포함할 수 있다.
상기 스크리닝될 이미지의 타깃 파라미터가 상기 미리 설정된 제2 임계치보다 크다고 결정된 후, 상기 스크리닝될 이미지는 추가로 스크리닝되어, 중복 정보를 추가로 감소시민다.
본 출원의 제3 측면에 따르면, 맵 작성 장치가 제공된다. 상기 장치는, 맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 대해 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하도록 구성되는 매칭 모듈-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-; 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하도록 구성되는 획득 모듈-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 상기 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 특징점이 위치하는 이미지임-; 및 상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어마다 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하도록 구성되는 융합 모듈;을 포함한다.
선택사항으로서, 상기 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함하고, 상기 획득 모듈은, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하도록 구성되는 제1 결정 서브 모듈-여기서, 상기 제1 결정 서브 모듈은 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하도록 구성되며, 여기서, 상기 적어도 하나의 제1 투영 평면은 상기 적어도 하나의 제2 투영 평면과 일대일 대응 관계에 있고, 각각의 제1 투영 평면을 결정하기 위한 복수의 특징점 및 대응하는 제2 투영 평면을 결정하기 위한 복수의 특징점은 일대일 방식으로 매칭되는 특징점임-; 서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대해 투영 오차 함수를 구성하도록 구성되는 구성 서브 모듈-여기서, 상기 투영 오차 함수는 상기 제1 그래픽과 상기 제2 그래픽 사이의 투영 오차가 상기 2개의 맵 레이어 사이의 변위 관계에 따라 변화되는 상관 관계를 표현하는데 사용되고, 상기 제1 그래픽은 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이고, 상기 제2 그래픽은 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽임-; 및 상기 투영 오차 함수의 최소 값에 대응하는 변위 관계를 상기 타깃 변위 관계로서 결정하도록 구성되는 제2 결정 서브 모듈;을 포함한다.
선택사항으로서, 상기 제1 결정 서브 모듈은, 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 대해, 상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하도록-여기서, 상기 투영 오차 서브함수는 상기 제1 다각형 및 상기 제2 다각형 사이의 투영 오차가 상기 변위 관계에 따라 변화하는 상관 관계를 표현하는데 사용되고, 상기 제1 다각형은 상기 복수의 제1 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이고, 상기 제2 다각형은 상기 복수의 제2 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형임-; 그리고 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 적어도 하나의 쌍에 기초하여 구성되는 하나 이상의 투영 오차 서브함수의 합을 상기 투영 오차 함수로서 결정하도록, 구성된다.
선택사항으로서, 상기 획득 모듈은, 상기 복수의 제1 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제1 다각형의 질량-중심 좌표를 결정하도록 구성되는 제3 결정 서브 모듈을 추가로 포함하며, 여기서 상기 제3 결정 서브 모듈은 상기 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제2 다각형의 질량-중심 좌표를 결정하도록 추가적으로 구성된다.
상기 제1 결정 서브 모듈은 상기 복수의 제1 특징점의 맵 레이어 공간 좌표, 상기 복수의 제2 특징점의 맵 레이어 공간 좌표, 상기 제1 다각형의 질량-중심 좌표, 및 상기 제2 다각형의 질량-중심 좌표에 기초하여 상기 투영 오차 서브함수를 구성하도록 구성된다.
선택사항으로서, 상기 변위 관계는 회전 관계 및 병진 관계를 포함하고; 그리고 제1 특징점의 맵 레이어 공간 좌표 Sr, 제2 특징점의 맵 레이어 공간 좌표 Sl, 상기 제1 다각형의 질량-중심 좌표 Xr, 상기 제2 다각형의 질량-중심 좌표 Xl, 상기 투영 오차 서브함수 E, 상기 회전 관계 R, 및 상기 병진 관계 T는 다음을 만족한다:
Figure 112021073025712-pct00002
,
여기서, n은 상기 제1 투영 평면 상의 제1 특징점의 총 수량이고, ||.||는 놈(norm) 연산이다.
선택사항으로서, 상기 제1 결정 서브 모듈은, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 초기 평면을 결정하고, 상기 3개의 마킹되지 않은 특징점을 상기 초기 평면에 대응하는 제1 타깃점 세트에 추가하도록-여기서, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점은 초기에 마킹되지 않은 상태에 있음-; 상기 제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달할 때까지 모든 다른 특징점에 대해 스크리닝 절차를 순차적으로 수행하여 하나의 제1 타깃점 세트를 획득하고, 상기 제1 타깃점 세트에서 모든 특징점을 마킹하도록-여기서, 상기 다른 특징점은 모든 마킹되지 않은 특징점에서 상기 3개의 마킹되지 않은 특징점을 제외한 특징점임-; 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점이 마킹될 때까지, 초기 평면을 결정하고 스크리닝 절차를 수행하는 상기 과정을 반복하여, 적어도 하나의 제1 타깃점 세트를 획득하도록; 그리고 각각의 제1 타깃점 세트내의 모든 특징점에 기초하여 제1 투영 평면을 결정하여 상기 적어도 하나의 제1 투영 평면을 획득하도록, 구성된다.
다른 특징점 각각에 대해, 상기 스크리닝 절차는, 상기 다른 특징점으로부터 상기 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 상기 제1 타깃점 세트내의 모든 특징점 및 상기 다른 특징점을 꼭지점으로서 사용하는 복수의 다각형을 결정하는 단계; 및 상기 복수의 다각형 중에 볼록 다각형이 있는 경우, 상기 다른 특징점을 상기 제1 타깃점 세트에 추가하여 업데이트된 제1 타깃점 세트를 획득하는 단계;를 포함한다.
선택사항으로서, 상기 제1 결정 서브 모듈은, 상기 제2 맵 레이어의 모든 특징점에서, 각각의 제1 투영 평면에 기초하여 하나의 제2 타깃점 세트를 결정하도록-여기서, 각각의 제2 타깃점 세트는 상기 제1 투영 평면 상의 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점을 포함함-; 그리고 각각의 제2 타깃점 세트에 포함된 복수의 특징점이 위치하는 평면을 상기 대응하는 제1 투영 평면에 대응하는 제2 투영 평면으로 결정하여, 상기 적어도 하나의 제2 투영 평면을 획득하도록, 구성된다.
선택사항으로서, 상기 매칭 모듈은, 제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하도록 구성되는 획득 서브 모듈-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 상기 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정하도록 구성되는 제4 결정 서브 모듈;을 포함한다.
선택사항으로서, 상기 매칭 모듈은, 제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하도록 구성되는 획득 서브 모듈-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및 상기 지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 상기 제1 매칭 대상 특징점이 상기 제2 매칭 대상 특징점에 매칭된다고 결정하도록 구성되는 제4 결정 서브 모듈;을 포함한다.
선택사항으로서, 상기 획득 서브 모듈은, 제1 이미지 블록 내의 각각의 픽셀의 픽셀 값 및 제2 이미지 블록 내의 각각의 픽셀의 픽셀 값에 기초하여 상기 지정된 파라미터를 획득하도록 구성되며, 여기서, 상기 제1 이미지 블록은 상기 제1 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 상기 제2 이미지 블록은 상기 제2 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 상기 제2 이미지 블록의 크기는 상기 제1 이미지 블록의 크기와 같다.
선택사항으로서, 상기 제1 이미지 및 상기 제2 이미지 모두는 복수의 레벨의 서브-이미지을 포함하는 이미지 피라미드에 의해 표현되고, 상기 제1 이미지의 복수의 레벨의 서브-이미지는 상기 제2 이미지의 복수의 레벨의 서브-이미지와 일대일 대응 관계에 있고; 그리고 상기 획득 서브 모듈은, 상기 제1 이미지의 서브-이미지의 각각의 레벨 및 제2 이미지의 서브-이미지의 상기 대응하는 레벨에 기초하여, 상기 대응하는 레벨의 지정된 파라미터 콤포넌트를 결정하도록; 그리고 상기 복수의 레벨의 서브-이미지에 대응하는 지정된 파라미터 콤포넌트의 합을 상기 지정된 파라미터로서 결정하도록 구성된다.
선택사항으로서, 상기 지정된 파라미터는 픽셀 계조 차이 및/또는 디스크립터 유사도를 포함한다.
선택사항으로서, 상기 융합 모듈은, 상기 복수의 맵 레이어의 특징점을 포함하는 상기 맵 상의 모든 특징점의 맵 레이어 공간 좌표가 동일한 참조 좌표계에 기초하여 획득되도록, 상기 2개의 맵 레이어 중 적어도 하나에 대해, 상기 맵 레이어의 모든 특징점의 맵 레이어 공간 좌표에 좌표 변환을 수행하도록 구성된다.
선택사항으로서, 상기 타깃 환경은 주차장 환경이다.
본 출원의 제4 측면에 따르면, 맵 작성 장치가 제공된다. 상기 장치는, 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하도록 구성되는 제1 획득 모듈-여기서, 상기 복수의 이미지 프레임은 이미지 캡처 콤포넌트에 의해 캡처됨-; 각각의 이미지 프레임의 캡처 위치에서 상기 이미지 캡처 콤포넌트의 모션 파라미터을 획득하도록 구성되는 제2 획득 모듈-여기서, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용됨-; 상기 이미지 캡처 콤포넌트의 상기 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를 획득하도록 구성되는 제3 획득 모듈; 상기 복수의 이미지 프레임 및 상기 상대 변위에 기초하여, 상기 복수의 이미지 프레임 내의 특징점을 포함하는 맵 레이어를 획득하도록 구성되는 제4 획득 모듈-여기서, 상기 맵 레이어는 맵을 작성하는데 사용됨-; 및 상기 맵 레이어 및 상기 상대 변위를 서버로 송신하도록 구성되는 송신 모듈;을 포함한다.
선택사항으로서, 상기 복수의 이미지 프레임은 상기 타깃 환경의 상기 이미지 정보를 전달하는 모든 키-프레임 이미지이고, 상기 제1 획득 모듈은, 상기 타깃 환경의 상기 이미지 정보를 전달하는 스크리닝될 복수의 이미지 프레임을 획득하도록; 스크리닝될 이미지의 각각의 프레임의 타깃 파라미터를 획득하도록-여기서, 상기 타깃 파라미터는 지정된 이미지에 대해 상대적으로 상기 스크리닝될 이미지의 변화를 나타내는데 사용됨-; 그리고 상기 스크리닝될 이미지의 상기 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우, 상기 스크리닝될 이미지를 키-프레임 이미지로서 결정하도록, 구성된다.
선택사항으로서, 상기 타깃 파라미터는 다음 중 하나 이상을 포함한다: 상기 스크리닝될 이미지의 캡처 시점과 상기 지정된 이미지의 캡처 시점 사이의 시간 간격; 상기 스크리닝될 이미지의 캡처 중에 상기 이미지 캡처 콤포넌트의 시야각과 상기 지정된 이미지의 캡처 중에 상기 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화; 상기 스크리닝될 이미지의 캡처 위치와 상기 지정된 이미지의 캡처 위치 사이의 상대 변위; 상기 스크리닝될 이미지에 포함된 특징점의 제1 총 수량; 및 상기 제1 총 수량에 대한 제2 총 수량의 제1 비율-여기서, 상기 제2 총 수량은 상기 스크리닝될 이미지에 포함된 특징점 내에 있고 상기 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량임-.
선택사항으로서, 상기 복수의 이미지 프레임은 시간 시퀀스의 관점에서 인접하고, 스크리닝될 이미지의 각각의 프레임에 대응하는 지정된 이미지는 상기 복수의 이미지 프레임 내에 있고 시간 시퀀스의 관점에서 상기 스크리닝될 이미지에 앞서고 가장 가까운 키-프레임 이미지의 프레임이다.
선택사항으로서, 상기 제1 획득 모듈은, 상기 스크리닝될 이미지의 상기 타깃 파라미터가 상기 미리 설정된 제2 임계치치보다 큰 경우 제3 총 수량에 대한 상기 제2 총 수량의 제2 비율을 결정하도록-여기서, 상기 제3 총 수량은 상기 스크리닝될 이미지에 포함된 특징점의 총 수량이고, 상기 제2 총 수량은 상기 스크리닝될 이미지에 포함된 상기 특징점 내에 있고 지정된 이미지에 포함된 상기 특징점과는 상이한 상기 특징점의 총 수량임-; 그리고 상기 제2 비율이 미리 설정된 비율보다 작은 경우, 상기 스크리닝될 이미지를 상기 키-프레임 이미지로서 결정하도록, 구성된다.
본 출원의 제5 측면에 따르면, 맵 작성 시스템이 제공된다. 상기 시스템은 단말 및 서버를 포함한다. 상기 단말은 상기 제4 측면 또는 상기 제4 측면의 구현예 중 어느 하나에 따른 맵 작성 장치를 포함하고, 상기 서버는 제3 측면 또는 상기 제3 측면의 구현예 중 어느 하나에 따른 맵 작성 장치를 포함한다.
선택사항으로서, 상기 단말은 이미지 캡처 차량에 구성될 수 있고, 상기 이미지 캡처 차량은 타깃 환경의 이미지 정보를 캡처하도록 구성된다.
본 출원의 제6 측면에 따르면, 프로세서 및 메모리를 포함하는 맵 작성 장치가 제공된다. 상기 프로세서가 상기 메모리에 저장된 컴퓨터 프로그램을 실행하는 경우, 상기 제1 측면 또는 상기 제1 측면의 구현예 중 어느 하나에 따른 맵 작성 방법이 수행되거나 상기 제2 측면 또는 상기 제2 측면의 구현예 중 어느 하나에 따른 맵 작성 방법이 수행된다.
본 출원의 제7 측면에 따르면, 저장 매체가 제공된다. 상기 저장 매체는 컴퓨터 프로그램을 저장한다. 상기 컴퓨터 프로그램이 컴퓨터에서 실행될 때, 컴퓨터는 상기 제1 측면 또는 상기 제1 측면의 구현예 중 어느 하나에 따른 맵 작성 방법을 수행하거나 상기 제2 측면 또는 상기 제2 측면의 구현예 중 어느 하나에 따른 맵 작성 방법을 수행할 수 있다.
도 1은 본 출원의 실시예에 따른 맵 작성 방법에서 사용되는 맵 작성 시스템의 개략적인 구조도이다.
도 2는 본 출원의 실시예에 따른 키 프레임과 특징점 사이의 상관 관계의 개략도이다.
도 3은 본 출원의 실시예에 따른 맵 작성 방법의 흐름도이다.
도 4는 본 출원의 실시예에 따른 키-프레임 이미지를 획득하기 위해 이미지를 스크리닝하는 방법의 흐름도이다.
도 5는 본 출원의 실시예에 따른 이미지의 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우 스크리닝될 이미지를 추가적으로 스크리닝하는 방법의 흐름도이다.
도 6은 본 출원의 실시예에 따른 제1 이미지 내의 특징점 및 제2 이미지 내의 특징점에 특징점 매칭 중에 최적 매칭 특징점을 검색하는 방법의 흐름도이다.
도 7은 본 출원의 실시예에 따른 이미지 피라미드를 사용하여 이미지를 표현하는 개략도이다.
도 8은 본 출원의 실시예에 따른 제1 이미지 내의 특징점 및 제2 이미지 내의 특징점에 특징점 매칭 중에 제1 매칭 대상 특징점 및 제2 매칭 대상 특징점에 특징점 매칭을 수행하는 방법의 흐름도이다.
도 9는 본 출원의 실시예에 따른 제1 맵 레이어의 특징점 및 제2 맵 레이어의 특징점에 특징점 매칭 중에 최적 매칭 특징점을 검색하는 방법의 흐름도이다.
도 10은 본 출원의 실시예에 따른 제1 맵 레이어의 특징점 및 제2 맵 레이어의 특징점에 특징점 매칭 중에 제1 매칭 대상 특징점 및 제2 매칭 대상 특징점에 특징점 매칭을 수행하는 방법의 흐름도이다.
도 11은 본 출원의 실시예에 따른, 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 방법의 흐름도이다.
도 12는 출원의 실시예에 따른, 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하는 방법의 흐름도이다.
도 13은 본 출원의 실시예에 따른 스크리닝 절차의 방법 흐름도이다.
도 14는 본 출원의 실시예에 따른 다른 특징점 X4, 점 X2, 및 점 X3에 의해 형성되는 내부 각도의 개략도이다.
도 15는 본 출원의 실시예에 따른, 대응하는 맵 레이어에서, 제2 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하는 방법의 흐름도이다.
도 16은 본 출원의 실시예에 따른, 대응하는 맵 레이어에서, 서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대한 투영 오차 함수를 구성하는 방법의 흐름도이다.
도 17은 본 출원의 실시예에 따른 맵 작성 장치의 개략적인 구조도이다.
도 18은 본 출원의 실시예에 따른 획득 모듈의 개략적인 구조도이다.
도 19는 본 출원의 실시예에 따른 다른 득 모듈의 개략적인 구조도이다.
도 20은 본 출원의 실시예에 따른 매칭 모듈의 개략적인 구조도이다.
도 21은 본 출원의 실시예에 따른 다른 맵 작성 장치의 개략적인 구조도이다.
도 22는 본 출원의 실시예에 따른 맵 작성 장치의 구조 블록도이다.
도 23은 본 출원의 실시예에 따른 다른 맵 작성 장치의 구조 블록도이다.
본 출원의 목적, 기술적 해결 수단, 및 장점을 더 명확하게 하기 위해, 다음은 본 출원의 구현예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 출원의 실시예에 따른 맵 작성 방법에서 사용되는 맵 작성 시스템의 개략적인 구조도이다. 도 1을 참조로, 구현 환경에는 서버(10)와 단말(20)이 있을 수 있다. 서버(10)와 단말(20) 사이에는 유선 또는 무선 네트워크를 통해 연결이 설정될 수 있다.
서버(10)는 하나의 서버, 여러 서버를 포함하는 서버 클러스터, 또는 클라우드 컴퓨팅 서비스 센터일 수 있다. 단말(20)는 컴퓨터일 수 있다. 컴퓨터는 범용 컴퓨터(general-purpose computer), 특수용 컴퓨터(special-purpose computer), 퍼스널 컴퓨터 또는 스마트 폰과 같은 컴퓨팅 기능을 가지는 머신일 수 있다.
단말(20)은 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하고, 상이한 이미지의 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터를 획득하고-여기서, 모션 파라미터는 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용됨-; 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 상이한 이미지의 캡처 위치 사이의 상대변위를 획득하고; 그리고 복수의 이미지 프레임 및 대응하는 상대 변위에 기초하여, 복수의 이미지 프레임 내의 특징점을 포함하는 맵 레이어를 획득하고-여기서, 맵 레이어는 맵을 작성하는데 사용됨-; 그리고 맵 레이어 및 상대 변위를 서버로 송신한다. 이미지 캡처 컴포넌트는 단말(20)에 통합될 수 있다. 이 경우, 단말(20)은 이미지 캡처 컴포넌트를 사용하여 이미지를 캡처하여 이미지를 획득할 수 있다. 대안적으로, 단말(20)은 이미지 캡처 컴포넌트에 연결될 수 있다. 이미지를 캡처한 후, 이미지 캡처 컴포넌트는 캡처된 이미지를 단말(20)로 전송하여 단말(20)은 이미지를 획득할 수 있다. 구현예로서, 이미지 캡처 콤포넌트는 카메라를 포함할 수 있다. 모션 파라미터는 모션 센서 또는 카메라를 사용하여 얻을 수 있다.
예를 들어, 타깃 환경은 주차장 환경일 수 있고, 단말(20), 카메라, 및 관성 측정 유닛(inertial measurement unit, IMU)이 이미지 캡처 차량에 고정 배치될 수 있으며, 여기서 카메라와 관성 측정 유닛은 모두 장치는 단말(20)에 연결된다. 이미지 캡처 차량이 주차장 환경을 주행하는 과정에서, 카메라는 주차장 환경의 이미지를 캡처하고, 주차장 환경의 이미지를 캡처한 후 캡처된 이미지를 단말(20)로 송신할 수 있다. 관성 측정 유닛은, 피치 각도(pitch), 롤 각도(roll), 요 각도(yaw), 가속도 및/또는 각속도와 같은, 주행 과정에서 이미지 캡처 차량의 모션 파라미터를 획득할 수 있고, 모션 파라미터를 단말(20)로 송신한다. 또한, 카메라와 관성 측정 유닛이 모두 이미지 캡처 차량에 고정 배치되어 있으므로, 이미지 캡처 차량의 모션 파라미터는 카메라의 모션 파라미터가 된다. 이미지 및 모션 파라미터를 획득한 후, 단말(20)은 카메라에 의해 캡처된 이미지에 공간적 위치 교정을 수행하고 카메라에 의해 캡처된 이미지와 관성 측정 유닛에 의해 획득된 모션 파라미터에 시간 동기화 처리를 수행함으로써 각각의 이미지 프레임의 이미지 캡처 위치에서 카메라의 모션 파라미터를 결정할 수 있다. 또한, 카메라 및 관성 측정 유닛의 비용이 상대적으로 낮으므로, 카메라로 이미지를 캡처하고 관성 측정 유닛을 통해 모션 파라미터를 획득하여 맵 작성 시스템의 하드웨어 비용을 줄일 수 있다.
선택사항으로서, 이미지를 서버로 송신하기 전에, 단말(20)은 복수의 이미지 프레임에 대해 이미지 전처리를 더 수행한 다음, 이미지 전처리 후 획득된 이미지를 서버(10)로 송신할 수 있다. 예를 들어, 이미지 전처리는, 이미지로부터 특징점(landmark)을 획득하는 것, 및/또는 복수의 이미지 프레임으로부터 키 프레임(key frame, KF) 이미지를 결정하는 것을 포함할 수 있다. 키-프레임 이미지는 명백한 시나리오 차별화 정도를 가지는 이미지이다. 키-프레임 이미지는 이미지 정보, 특징점 정보, 키-프레임 이미지의 타임 스탬프 정보, 이미지 캡처 콤포넌트가 키-프레임 이미지를 캡처할 때의 이미지 캡처 콤포넌트의 위치 정보, 이미지 캡처 콤포넌트가 키-프레임 이미지를 캡처할 때의 이미지 캡처 콤포넌트의 자세 정보, 등을 포함할 수 있다. 이미지 캡처 콤포넌트가 이미지 캡처 차량에 고정 배치되는 경우, 이미지 캡처 콤포넌트가 키-프레임 이미지를 캡처할 때의 이미지 캡처 콤포넌트의 위치 정보는 이미지 캡처 콤포넌트가 키-프레임 이미지를 캡처할 때의 이미지 캡처 차량의 위치 정보로 간주될 수 있고, 이미지 캡처 콤포넌트가 키-프레임 이미지를 캡처할 때의 이미지 캡처 콤포넌트의 자세 정보는 이미지 캡처 콤포넌트가 키-프레임 이미지를 캡처할 때의 이미지 캡처 차량의 자세 정보로 간주될 수 있다. 자세 정보는, 피치 각도, 롤 각도, 또는 요 각도와 같은, 이미지 캡처 차량에 대응하는 모션 파라미터일 수 있다.
서버(10)는 단말(20)에 의해 서버(10)로 전송되는 맵 레이어에 기초하여 상이한 맵 레이어의 특징점에 대해 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득할 수 있다. 매 2개의 맵 레이어 사이의 변위 관계는, 대응하는 맵 레이어에서, 복수의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 획득된다. 맵 레이어 융합이 변위 관계에 기초하여 2개의 맵 레이어에 대해 수행되어, 타깃 환경의 맵을 획득한다. 각각의 특징점 쌍에 포함된 특징점은 타깃 환경에서 동일한 객체를 나타내는데 사용된다. 대응하는 맵 레이어에서, 각각의 특징점의 맵 레이어 공간 좌표는 타깃 이미지 내의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득된다. 선택사항으로서, 서버는. 클라우드 측의 리소스를 사용하여 데이터를 처리하기 위해, 클라우드측 서버일 수 있다.
예를 들어, 타깃 환경이 주차장 환경인 경우, 주차장 환경에서 이미지를 복수 횟수 캡처하여 복수의 맵 레이어를 획득할 수 있다. 상이한 맵 레이어의 특징점에 특징점 매칭을 수행함으로써 복수의 특징점 쌍이 획득될 수 있다. 대응하는 맵 레이어에서, 복수의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여. 상이한 맵 레이어 사이의 변위 관계가 획득될 수 있다. 주차장의 맵(국부화 맵 레이어로도 지칭됨)은 변위 관계에 기초하여 상이한 맵 레이어에 대해 맵 레이어 융합을 수행함으로써 획득될 수 있다.
복수의 이미지 프레임은 각각의 이미지 캡처 프로세스에서 획득될 수 있고, 복수의 특징점은 복수의 이미지 프레임에 기초하여 결정될 수 있다. 또한, 복수의 특징점 사이의 상대 변위는 관성 측정 유닛에 의해 획득되는 모션 파라미터에 기초하여 획득될 수 있고, 그런 다음, 복수의 특징점을 포함하는 (서브맵으로도 지칭되는) 맵 레이어가 상대 변위 및 복수의 특징점에 기초하여 결정될 수 있다. 또한, 각각의 맵 레이어는 앵커점(anchor point, AP)를 가진다. 앵커점은 맵 레이어의 마킹 점(mark point)이다. 예를 들어, 각각의 맵 레이어의 앵커점은 각각의 캡처 프로세스의 시작 순간에 대응하는 위치일 수 있다. 상이한 맵 레이어 사이의 타깃 변위 관계는 상이한 맵 레이어에서 앵커점 사이의 변위 관계로 간주될 수 있다. 대응하는 맵 레이어에서, 특징점의 맵 레이어 공간 좌표는 맵 레이어의 앵커점을 좌표의 원점으로 사용하여 설정되는 좌표계에 기초하여 결정되는 공간 좌표이다.
예를 들어, 이미지 캡처 차량이 주차장 환경의 이미지를 하루에 2번 캡처하고, 2번의 캡처의 기간는 11:00에서 12:00 및 14:00에서 15:00이고, 맵 레이어는 11:00로부터 12:00까지 캡처된 복수의 이미지 프레임에 기초하여 결정될 수 있고, 다른 맵 레이어는 14:00로부터 15:00까지 캡처된 복수의 이미지 프레임에 기초하여 결정될 수 있고, 각각의 맵 레이어에서의 앵커점은 대응하는 캡처 프로세스에서 시작 순간에 대응하는 위치이다.
특징점은 타깃 환경에서 명백한 시맨틱 특징을 가지는 정보를 설명하는데 사용된다. 각각의 특징점은 특징점 시리얼 번호를 가지며, 특징점 시리얼 번호는 특징점을 고유하게 식별하는데 사용된다. 특징점에 의해 표현되는 컨텐츠에 따라, 특징점은 시맨틱 특징점 및 기하학적 특징점을 포함할 수 있다. 시맨틱 특징점은 이미지에서 명백한 시맨틱 특징을 가진 픽셀 세트일 수 있다. 예를 들어, 본 출원의 본 실시예에서 사용되는 시맨틱 특징점은, 차선, 노면 표시, 교통 표지, 차량, 및 보행자와 같은 시맨틱 특징을 표현하는데 사용되는 픽셀 세트를 포함할 수 있다. 시각적 기하학적 특징점은 이미지에 명백한 시각적 특징이 있는 픽셀 집합일 수 있다. 예를 들어, 본 출원의 본 실시예에서 사용되는 시각적 기하학적 특징점은, 점, 직선, 평면, 파선, 또는 코너 점(corner point, CP)을 표현하는데 사용되는 픽셀 세트, 표현 차선 세그먼트 상의 꼭지점을 표현하는데 사용되는 픽셀 세트, 및 이미지가 명백한 흑백 콘트라스트를 가짐을 표현하는데 사용되는 픽셀 세트를 포함할 수 있다. 특징점의 공간적 차원에 따라, 특징점은 2D (차원, dimension) 특징점 및 3D 특징점을 포함할 수 있다. 2D 특징점은 이미지 공간의 특징점이다. 3D 특징점은 3차원 공간에서 물리적 객체의 특징점이다. 선택사항으로서, 본 출원의 본 실시예에서 특징점은 ORB(oriented FAST and rotated BRIEF, ORB) 특징점 등일 수 있다. 또한, 특징점과 특징점 주변의 충분한 이웃 픽셀 사이의 계조 값 차이가 미리 설정된 계조 임계치보다 큰 경우, 특징점이 ORB 특징점인 것으로 판단할 수 있다.
타깃 환경이 주차장 환경인 경우, 전술한 특징점이 본 출원의 본 실시예에서 제공되는 맵 작성 방법에서 사용되면, 차선 및 교통 표지와 같은 시맨틱 특징점이 사용되는 관련 기술과 비교하여, 주차장 환경은 상대적으로 다량의 전술한 특징점을 포함하고 상대적으로 소량의 차선 및 교통 표지와 같은 시맨틱 특징점을 포함하므로, 특징점에 대해 특징점 매칭이 수행되는 경우 특징점 매칭의 성공률을 증가시킬 수 있고, 이에 따라 상대적으로 소량의 특징점으로 인해 매칭이 수행될 수 없는 경우를 피할 수 있다.
각각의 이미지 프레임 내의 특징점은 이미지에서 적어도 하나의 픽셀을 포함할 수 있다. 또한, 각각의 이미지 프레임에는 복수의 특징점이 존재할 수 있고, 각각의 특징점이 복수의 이미지 프레임에 존재할 수도 있다. 예를 들어, 도 2를 참조하면, 특징점 1 및 특징점 2가 키 프레임 1에 존재하고, 특징점 1, 특징점 2, 및 특징점 3이 키 프레임 2에 존재하고, 특징점 2 및 특징점 3이 키 프레임 3에 존재하고, 특징점 3이 키 프레임 4에 존재한다.
서버(10)에서 수행되는 모든 동작은 단말(20)에서도 수행될 수 있다는 점에 유의해야 한다. 대안적으로, 이미지에 대한 이미지 전처리를 수행하는 동작은 서버(10)에서 수행될 수 있다. 예를 들어, 복수의 이미지 프레임 및 모션 파라미터를 획득한 후, 단말(20)은 복수의 이미지 프레임 및 모션 파라미터를 서버(10)로 직접 전송할 수 있다. 서버(10)는 각각의 이미지 프레임으로부터 특징점을 획득하고, 복수의 이미지 프레임으로부터 키-프레임 이미지를 결정한 후, 키-프레임 이미지에 기초하여 맵 레이어 획득, 특징점 매칭 수행, 상이한 맵 레이어 사이의 변위 관계 결정, 및 변위 관계에 기초하여 맵 레이어 융합 수행 등의 동작을 수행할 수 있다.
도 3은 본 출원의 실시예에 따른 맵 작성 방법의 흐름도이다. 맵 레이어 융합 프로세스에서, 일반적으로 융합될 맵 레이어가 복수 개 있다. 본 출원의 본 실시예에서, 맵 작성 방법의 구현 프로세스를 설명하기 위한 예로, 제1맵 레이어와 제2맵 레이어의 맵 레이어 융합 과정이 사용된다. 융합될 다른 맵 레이어의 맵 레이어 융합 프로세스에 관하여는, 상응하여 제1 맵 레이어와 제2 맵 레이어의 맵 레이어 융합 프로세스를 참조한다. 제1 맵 레이어 및 제2 맵 레이어는 복수의 맵 레이어 중 임의의 2개이다. 도 3에 도시된 바와 같이, 방법은 다음 단계를 포함할 수 있다.
단계 201. 단말은 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득한다.
복수의 이미지 프레임은 이미지 캡처 컴포넌트에 의해 캡처될 수 있다. 이미지 캡처 컴포넌트는 단말에 통합될 수 있거나, 이미지 캡처 컴포넌트는 단말에 연결될 수 있다. 이미지를 캡처한 후, 이미지 캡처 콤포넌트는 캡처된 이미지를 단말로 전송할 수 있고, 단말은 복수의 이미지 프레임을 획득할 수 있다.
선택사항으로서, 복수의 이미지 프레임은 이미지 캡처 컴포넌트에 의해 캡처된 원본 이미지일 수 있거나, 원본 이미지에 대해 스크리닝이 수행된 후에 획득되는 이미지일 수 있다. 예를 들어, 복수의 이미지 프레임 모두는 이미지 캡처 콤포넌트에 의해 캡처된 원본 이미지에 대해 스크리닝이 수행된 후에 획득되는 키-프레임 이미지일 수 있다. 이미지 캡처 콤포넌트에 의해 캡처된 원본 이미지를 스크리닝함으로써, 획득된 이미지 내의 중복 정보를 효과적으로 줄일 수 있어, 맵 레이어 사이의 타깃 변위 관계의 결정, 맵 레이어 융합의 수행, 등의 후속 프로세스에서 계산량을 감소시킬 수 있다.
도 4에 도시된 바와 같이, 이미지 스크리닝을 수행하여 키-프레임 이미지를 획득하는 단계의 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2011. 타깃 환경의 이미지 정보를 전달하는 스크리닝될 복수의 이미지 프레임을 획득한다.
스크리닝될 이미지의 복수의 프레임은 이미지 캡처 콤포넌트에 의해 캡처된 원본 이미지일 수 있다. 또한, 이미지는 컬러 이미지(예컨대, RGB 컬러 이미지) 또는 그레이스케일 이미지일 수 있다.
단계 2012. 스크리닝될 이미지의 각각의 프레임의 타깃 파라미터를 획득하며, 여기서 타깃 파라미터는 지정된 이미지에 대해 상대적으로 스크리닝될 이미지의 변화를 나타내는데 사용된다.
타깃 파라미터는 다음 중 하나 이상을 포함할 수 있다: 스크리닝될 이미지의 캡처 시점과 지정된 이미지의 캡처 시점 사이의 시간 간격; 스크리닝될 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각과 지정된 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화; 스크리닝될 이미지의 캡처 위치와 지정된 이미지의 캡처 위치 사이의 상대 변위; 스크리닝될 이미지에 포함된 특징점의 제1 총 수량; 및 제1 총 수량에 대한 제2 총 수량의 제1 비율-여기서, 제2 총 수량은 스크리닝될 이미지에 포함된 특징점 내에 있고 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량이다.
선택적사항으로서, 카메라와 관성 측정 유닛 각각은 시계 시스템을 가지고 있으며, 이미지 캡처 시점은 시계 시스템을 사용하여 결정될 수 있다. 이미지 캡처 콤포넌트의 모션 파라미터는 관성 측정 유닛을 사용하여 획득될 수 있고, 이미지의 캡처 중의 이미지 캡처 콤포넌트의 시야각 및 이미지의 캡처 위치와 지정된 이미지의 캡처 위치 사이의 상대 변위는 모션 파라미터에 기초하여 획득될 수 있다. 또한, 스크리닝될 이미지의 타깃 파라미터가 제1 총 수량 및/또는 제1 비율을 포함하는 경우, 타깃 파라미터가 회득되기 전에, 이미지 내의 특징점이 먼저 획득되어, 제1 총 수량 및/또는 제1 비율을 이미지 내의 특징점에 기초하여 획득한다.
또한, 지정된 이미지는 실제의 요구 사항에 따라 결정될 수 있다. 예를 들어, 복수의 이미지 프레임이 시간 시퀀스의 관점에서 인접한 경우, 스크리닝될 이미지의 각각의 프레임에 대응하는 지정된 이미지는 복수의 이미지 프레임 내에 있고 시간 시퀀스의 관점에서 스크리닝될 이미지에 앞서고 가장 가까운 키-프레임 이미지의 프레임일 수 있다. 달리 말하면, 스크리닝될 이미지의 각각의 프레임에 대응하는 지정된 이미지는 스크리닝될 이미지의 키-프레임 이미지의 이전 프레임일 수 있다. 이에 상응하여, 타깃 파라미터는 다음 중 하나 이상을 포함할 수 있다: 스크리닝될 이미지의 캡처 시점과 키-프레임 이미지의 이전 프레임의 캡처 시점 사이의 시간 간격; 스크리닝될 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각과 키-프레임 이미지의 이전 프레임의 캡처 중에 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화; 이미지의 캡처 위치와 키-프레임 이미지의 이전 프레임의 캡처 위치 사이의 상대 변위; 스크리닝될 이미지에 포함된 특징점의 제1 총 수량; 및 제1 총 수량에 대한 제2 총 수량의 제1 비율-여기서, 제2 총 수량은 스크리닝될 이미지에 포함된 특징점 내에 있고 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량임-.
2개의 특징점이 동일한 특징점인지 여부를 판단하는 단계의 구현 프로세스는, 스크리닝될 이미지 내의 각각의 특징점과 지정된 이미지 내의 각각의 특징점의 디스크립터(descriptor) 유사도와 같은 파라미터를 계산하는 단계; 및 2개의 특징점에 대응하는 파라미터가 미리 설정된 파라미터 임계치보다 큰 경우, 2개의 특징점이 동일한 특징점인 것으로 결정하는 단계;를 포함할 수 있다. 디스크립터는 비전 관점에서 특징점을 기술하는데 사용된다. 공통 디스크립터는 ORB 디스크립터, 스케일-불변 특징 변환 (scale-invariant feature transform, SIFT) 디스크립터 등을 포함할 수 있다.
스크리닝될 이미지는 시간 간격, 각도 변화, 상대 변위, 및/또는 특징점-관련 정보에 기초하여 스크리닝되므로 상이한 캡처 조건에서 이미지를 스크리닝할 수 있다. 예를 들어, 이미지 캡처 차량이 저속 주행, 고속 주행, 직진 주행, 또는 코너링과 같은 복수의 상에 있을 때 캡처된 이미지가 스크리닝될 수 있다. 대안적으로, 상이한 날씨 및 상이한 빛 조건에서 캡처된 이미지가 스크리닝될 수 있다. 상이한 캡처 조건에서 이미지가 스크리닝될 수 있으므로, 스크리닝 후에 획득되는 이미지에 기초하여 맵 레이어 융합이 수행되면, 융합을 통해 획득되는 맵 레이어의 정밀도가 확보될 수 있다.
단계 2013. 스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치보다 큰 경우, 스크리닝될 이미지를 키-프레임 이미지로서 결정한다.
스크리닝될 이미지의 타깃 파라미터가 스크리닝될 이미지의 캡처 시점과 지정된 이미지의 캡처 시점 사이의 시간 간격을 포함하는 경우, 시간 간격이 미리 설정된 제2 임계치보다 크면, 이는 제한된 시간 간격 내에 키 프레임이 없음을 나타낸다. 이 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정될 수 있고, 스크리닝될 이미지에 포함된 이미지 정보가 기록된다.
스크리닝될 이미지의 타깃 파라미터가 스크리닝될 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각과 지정된 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화를 포함하는 경우, 이미지 캡처 콤포넌트는 이미지 캡처 차량에 고정되어 있으므로, 이미지 캡처 콤포넌트의 시야각 변화는 이미지 캡처 차량의 회전 각도로 간주될 수 있다. 각도 변화가 미리 설정된 제2 임계치보다 크면, 이는 이미지 캡처 차량의 회전 각도가 상대적으로 크게 변화함을, 그리고 스크리닝될 이미지에 포함된 특징점에 대응하는 공간 점(space point)의 공간 좌표 또한 지정된 이미지 내의 특징점에 대응하는 공간 점의 공간 좌표에 대해 상대적으로 크게 변화함을 나타낸다. 이 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정될 수 있고, 스크리닝될 이미지에 포함된 이미지 정보가 기록된다.
스크리닝될 이미지의 타깃 파라미터가 스크리닝될 이미지의 캡처 위치와 지정된 이미지의 캡처 위치 사이의 상대 변위을 포함하는 경우, 이미지 캡처 콤포넌트는 이미지 캡처 차량에 고정되어 있으므로, 상대 변위는 스크리닝될 이미지의 캡처 중에 이미지 캡처 차량의 위치와 지정된 이미지의 캡처 중에 이미지 캡처 차량의 위치 사이의 변위로서 간주될 수 있다. 상대 변위가 미리 설정된 제2 임계치보다 크면, 이는 이미지 캡처 차량의 위치가 상대적으로 크게 변화함을, 그리고 스크리닝될 이미지에 대응하는 공간 점의 공간 좌표 또한 지정된 이미지 내의 특징점에 대응하는 공간 점의 공간 좌표에 대해 상대적으로 크게 변화함을 나타낸다. 이 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정될 수 있고, 스크리닝될 이미지에 포함된 이미지 정보가 기록된다.
스크리닝될 이미지의 타깃 파라미터가 스크리닝될 이미지에 포함된 특징점의 제1 총 수량을 포함하는 경우, 제1 총 수량이 미리 설정된 제2 임계치보다 크면, 이는 스크리닝될 이미지가 충분한 특징점을 포함함을 나타낸다. 이 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정될 수 있고, 스크리닝될 이미지에 포함된 이미지 정보가 기록된다.
스크리닝될 이미지의 타깃 파라미터가 제1 총 수량에 대한 제2 총 수량의 제1 비율을 포함하는 경우, 제1 비율은 스크리닝될 이미지 내에 있고 지정된 이미지 내의 특징점과는 상이한 특징점과 스크리닝될 이미지 내에 있는 특징점 사이의 비율을 반영하는데 사용된다. 이에 상응하여, 제1 비율은 스크리닝될 이미지 내의 특징점과 지정된 이미지 내의 특징점 사이의 일치 정도를 반영할 수 있다. 제1 비율이 미리 설정된 제2 임계치보다 크면, 이는 스크리닝될 이미지 내의 특징점과 지정된 이미지 내의 특징점 사이의 일치 정도가 상대적으로 작음을, 그리고 스크리닝될 이미지 내의 이미지 정보가 상대적으로 큰 기준값을 가짐을 나타낸다. 이 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정될 수 있고, 스크리닝될 이미지에 포함된 이미지 정보가 기록된다.
이미지의 타깃 파라미터가 상이한 컨텐츠를 포함하는 경우, 이미지의 타깃 파라미터에 대응하는 미리 설정된 제2 임계치는 실제의 요구 사항에 따라 설정될 수 있다. 예를 들어, 이미지의 타깃 파라미터가 이미지의 캡처 시점과 지정된 이미지의 캡처 시점 사이의 시간 간격을 포함하는 경우, 미리 설정된 제2 임계치는 150 밀리세컨드일 수 있다. 이미지의 타깃 파라미터가 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각과 지정된 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화를 포함하는 경우, 미리 설정된 제2 임계치는 30 도일 수 있다. 이미지의 타깃 파라미터가 이미지의 캡처 위치와 지정된 이미지의 캡처 위치 사이의 상대 변위을 포함하는 경우, 미리 설정된 제2 임계치는 10 미터일 수 있다. 또한, 이미지의 타깃 파라미터가 복수의 파라미터를 포함하는 경우, 복수의 파라미터 각각에 대응하는 미리 설정된 제2 임계치 또한 실제의 요구 사항에 따라 설정될 수 있다.
스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치보다 크다고 결정된 후, 스크리닝될 이미지가 추가로 스크리닝될 수 있고; 및 스크리닝될 이미지가 스크리닝 조건을 만족하는 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정되어 이미지 정보의 중복성을 추가로 감소시킬 수 있음에 유의해야 한다. 이는 후속 특징점 매칭 프로세스에서 드문드문한 계산을 촉진하게 하여 특징점 매칭 프로세스를 가속화한다. 예를 들어, 스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치보다 큰 것으로 결정된 후, 타깃 파라미터가 미리 설정된 제2 임계치보다 큰 스크리닝될 이미지가 추가로 분류될 수 있고, 분류 조건을 만족하는 스크리닝될 이미지가 키-프레임 이미지로서 결정된다. 예를 들어, 도 5를 참조하면, 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2013a. 스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치보다 큰 경우, 제3 총 수량에 대한 제2 총 수량의 제2 비율을 결정하며, 여기서, 제3 총 수량은 스크리닝될 이미지에 포함된 특징점의 총 수량이고, 제2 총 수량은 스크리닝될 이미지에 포함된 특징점 내에 있고 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량이다.
스크리닝될 이미지 내의 특징점 및 지정된 이미지 내의 특징점이 획득될 수 있고, 그 다음, 스크리닝될 이미지에 포함된 특징점의 총 수량을 카운팅하여 제3 총 수량을 획득한다. 스크리닝될 이미지 내에 포함된 모든 특징점 내에 있고 지정된 이미지 내에 포함된 특징점과는 상이한 특징점이 결정되고, 그런 다음 상이한 특징점의 총 수량이 카운딩되어 제2 총 수량을 획득한다. 스크리닝될 이미지 내에 포함된 모든 특징점 내에 있고 지정된 이미지 내에 포함된 특징점과는 상이한 특징점을 결정하는 프로세스에서, 스크리닝될 이미지 내의 각각의 특징점과 지정된 이미지 내의 각각의 특징점의 디스크립터 유사도와 같은 파라미터가 계산될 수 있고; 2개의 특징점에 대응하는 파라미터가 미리 설정된 파라미터 임계치보다 큰 경우, 2개의 특징점이 동일한 특징점인 것으로 결정되고; 그리고 스크리닝될 이미지 내에 있고 지정된 이미지 내의 것과 동일한 특징점의 총 수량이 카운팅되고, 동일한 특징점의 총 수량과 제3 총 수량 사이의 차이가 제2 총 수량으로서 결정된다. 선택사항으로서, 이미지 내의 특징점은 SIFT 알고리즘 또는 해리스 코너 검출 알고리즘(Harris corner detection algorithm)과 같은 알고리즘을 사용하여 획득될 수 있다.
단계 2013b. 제2 비율이 미리 설정된 비율보다 작은 경우, 스크리닝될 이미지를 키-프레임 이미지로서 결정한다.
제2 비율이 미리 설정된 비율보다 작은 경우, 이는 스크리닝될 이미지 내의 특징점과 지정된 이미지 내의 특징점 사이의 일치 정도가 상대적으로 작음을, 그리고 스크리닝될 이미지 내의 이미지 정보가 상대적으로 큰 기준값을 가짐을 나타낸다. 따라서, 스크리닝될 이미지는 키-프레임 이미지로서 결정될 수 있다. 미리 설정된 비율은 실제의 요구 사항에 따라 결정될 수 있다. 예를 들어, 미리 설정된 비율은 20 %일 수 있다.
타깃 파라미터가 이미지 캡처 시점 사이의 시간 간격, 이미지 캡처 콤포넌트의 시야각의 각도 변화, 이미지 캡처 위치 사이의 상대 변위, 및 제1 총 수량 중 적어도 하나를 포함하는 경우, 타깃 파라미터는 주로 시간 차원, 각도 차원, 거리 차원 및/또는 정보의 양에서 이미지 변화를 표현하므로. 스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치보다 크면, 스크리닝될 이미지는 키-프레임 이미지로서 결정된다. 키-프레임 이미지는 상대적으로 대량의 중복 정보를 더 포함할 수 있다. 또한, 타깃 파라미터가 제1 비율을 포함하는 경우, 미리 설정된 제2 임계치가 상대적으로 작으면, 대응하는 타깃 파라미터가 미리 설정된 제2 임계치보다 큰 스크리닝될 이미지가 키-프레임 이미지로서 결정된다. 키-프레임 이미지는 상대적으로 대량의 중복 정보를 더 포함할 수 있다. 따라서, 스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치보다 크다고 결정된 후, 스크리닝될 이미지는 추가로 스크리닝되어, 중복 정보를 추가로 줄일 수 있다.
예를 들어, 이미지 캡처 차량이 기간 중에 한 위치에 정지 상태에 있는 경우, 새로운 이미지가 고정된 시간 간격 dt로 캡처되지만, 이 기간 중에는, 이미지 캡처 차량의 위치, 자세, 및 속도와 같은 정보는 변화되지 않고, 기간 중에 캡처된 이미지 내의 특징점 또한 거의 변화되지 않는다. 따라서, 해당 기간 동안 캡처된 이미지는 다른 이미지로 대체될 수 있으며, 즉, 해당 기간 동안 캡처된 이미지는 상대적으로 대량의 중복 정보를 포함한다. 그러나, 타깃 파라미터가 스크리닝될 이미지의 캡처 시점과 지정된 이미지의 캡처 시점 사이의 시간 간격이고, 기간의 지속시간이 미리 설정된 제2 임계치보다 큰 경우, 해당 기간 중에 캡처된 이미지는 키-프레임 이미지로서 결정된다. 키-프레임 이미지는 상대적으로 대량의 중복 정보를 더 포함할 수 있다. 이 경우, 타깃 파라미터가 미리 설정된 제2 임계치보다 큰 이미지는 추가로 스크리닝되고, 스크리닝될 이미지에 대응하는 제2 비율이 미리 설정된 비율보다 큰 경우, 스크리닝될 이미지는 키-프레임 이미지로서 결정된다. 이러한 방식으로, 상대적으로 대량의 상이한 이미지 정보와 특징점 정보를 포함하는 이미지가 키 프레임으로서 결정되어, 후속 프로세스의 계산량 및 연산 복잡성을 감소시킨다.
미리 설정된 비율의 값은 실제의 요구 사항에 따라 결정될 수 있다. 예를 들어, 미리 설정된 비율의 값은 맵 레이어 융합을 위한 정보의 양에 따라 결정될 수 있다. 예를 들어, 초기에 선택된 미리 설정된 비율이 X0인 경우, 미리 설정된 비율에 기초하여 결정되는 키-프레임 이미지에 포함된 정보가 맵 레이어 융합에 충분하지 않은 것으로 판단을 통해 결정되면, 미리 설정된 비율의 값을 적절히 감소시킬 수 있고, 이에 따라 감소된 미리 설정된 비율에 기초하여 결정되는 키-프레임 이미지에 포함된 정보는 맵 레이어 융합에 충분하게 된다.
단계 202. 단말은 복수의 이미지 프레임 내의 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를 획득한다.
단계 202의 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2021. 각각의 이미지 프레임의 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터를 획득한다.
모션 파라미터는 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용된다. 모션 파라미터는 피치 각도, 롤 각도, 요 각도, 가속도, 및/또는 각속도와 같은 이미지 캡처 콤포넌트의 파라미터일 수 있다.
이미지 캡처 컴포넌트의 모션 파라미터는 관성 측정 유닛을 사용하여 캡처될 수 있다. 관성 측정 유닛은 미리 설정된 제1 주파수에 따라 이미지 캡처 차량의 모션 파라미터를 획득할 수 있다. 또한, 관성 측정 유닛과 이미지 캡처 부품이 모두 이미지 캡처 차량에 고정되어 있으므로, 관성 측정 유닛에 의해 측정된 이미지 캡처 차량의 모션 파라미터가 이미지 캡처 부품의 모션 파라미터가 된다. 이미지 캡처 컴포넌트는 미리 설정된 제2 주파수에 따라 이미지를 캡처할 수 있으며, 각각의 이미지 프레임의 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터는 이미지 캡처 콤포넌트에 의해 캡처된 이미지에 공간적 위치 교정을 수행하고 이미지 캡처 콤포넌트에 의해 캡처된 이미지와 관성 측정 유닛에 의해 획득되는 모션 파라미터에 시간 동기화 처리를 수행함으로써 결정될 수 있다.
단계 2023. 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를를 획득한다.
각각의 이미지 프레임을 캡처하기 위한 이미지 캡처 위치에서 캡처 이미지 콤포넌트의 모션 파라미터가 획득된 후, 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위는 2개의 이미지 프레임 각각의 모션 파라미터 및 2개의 이미지 프레임을 캡처하기 위한 시간 간격에 기초하여 결정될 수 있다.
일반적으로, 이미지 캡처 콤포넌트에 의해 캡처된 복수의 이미지 프레임은 시간 시퀀스의 관점에서 인접한 이미지이므로, 후속 이미지 처리 중에, 이미지 처리는 시간 시퀀스의 관점에서 인접한 이미지의 매 2개의 프레임에만 수행하면 된다. 따라서, 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를 획득하는 동안, 시간 시퀀스의 관점에서 인접한 이미지의 매 2개의 프레임의 이미지 캡처 위치 사이의 상대 변위만 획득하면 되므로, 계산량을 줄인다.
단계 203. 단말은, 복수의 이미지 프레임 및 상대 변위에 기초하여, 복수의 특징점을 포함하는 맵 레이어를 획득한다.
각각의 이미지 프레임 내의 특징점은 복수의 이미지 프레임에 기초하여 획득될 수 있다. 특징점 매칭이 이미지의 매 2개의 프레임 내의 특징점에 대해 수행되어, 타깃 환경 내의 동일한 객체를 표현하는데 사용되는 특징점 및 특징점이 위치하는 복수의 이미지 프레임을 결정한다. 상이한 이미지 내에 위치하는 상이한 특징점 사이의 변위 관계는 복수의 이미지 프레임의 각각의 이미지의 프레임에 포함된 모든 특징점 및 관성 측정 유닛에 의해 획득되는 모션 파라미터에 기초하여 결정될 수 있고, 복수의 특징점을 포함하는 맵 레이어는 상이한 특징점 사이의 변위 관계에 기초하여 설정된다. 복수의 이미지 프레임은 하나의 이미지 캡처 프로세스에서 캡처된 이미지일 수 있다. 또한, 하나의 이미지 캡처 과정에서 복수의 이미지 프레임이 캡처되기 때문에, 관성 측정 유닛에 의해 획득되는 모션 파라미터에 기초하여 특징점들 사이의 변위 관계를 결정하면 결정된 변위 관계의 정확성이 보장될 수 있다. 또한, 맵 레이어에 있는 모든 특징점의 맵 레이어 공간 좌표가 하나의 좌표계에서 획득되는 좌표임을 보장할 수 있어, 맵 레이어에 있는 모든 특징점의 위치 참조 일관성을 보장할 수 있다.
2개의 이미지 프레임 내의 특징점에 대해 특징점 매칭을 수행하는 복수의 구현예가 있을 수 있다. 본 출원의 본 실시예에서, 다음 2개의 구현예가 설명을 위한 예로서 사용된다.
2개의 이미지 프레임 내의 특징점에 대해 특징점 매칭을 수행하는 구현예에서, 제1 이미지 내의 임의의 제1 매칭 대상 특징점에 대해, 제2 이미지에 포함된 복수의 특징점을 검색하여 제1 매칭 대상 특징점의 최적 매칭 특징점을 찾을 수 있다. 도 6에 도시된 바와 같이, 최적 매칭 특징점을 찾는 구현 프로세스는 다음과 같은 단계를 포함할 수 있다.
단계 2031a. 제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득한다.
지정된 파라미터는 제1 매칭 대상 특징점과 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용된다. 선택사항으로서, 지정된 파라미터는 픽셀 계조 차이 및/또는 디스크립터 유사도를 포함할 수 있다. 또한, 지정된 파라미터가 픽셀 계조 차이 및 디스크립터 유사도를 포함하는 경우, 지정된 파라미터의 값은 픽셀 계조 차이의 값과 디스크립터 유사도의 값의 합이다. 디스크립터는 ORB 디스크립터일 수 있다. ORB 디스크립터는 ORB 특징점을 기술하기 위해 사용되며, ORB 디스크립터는 특징점과 이웃 픽셀 사이의 픽셀 값 상관 관계 및 특징점의 픽셀 값의 기울기 방향을 나타내는데 사용되는 매트릭스를 포함할 수 있다.
선택사항으로서, 지정된 파라미터의 계산의 정확도를 향상하기 위해, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득하는 중에, 지정된 파라미터는 제1 이미지 블록 내의 각각의 픽셀의 픽셀 값 및 제2 이미지 블록 내의 각각의 픽셀의 픽셀 값에 기초하여 획득될 수 있다. 제1 이미지 블록은 제1 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 제2 이미지 블록은 제2 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 제2 이미지 블록의 크기는 제1 이미지 블록의 크기와 같다. 이미지 블록의 크기는 실제 요구 사항에 따라 결정될 수 있으며, 특징점은 이미지 블록의 중앙 영역에 픽셀로 표현될 수 있다.
또한, 제1 이미지 및 제2 이미지 각각은 복수의 레벨의 서브-이미지을 포함하는 이미지 피라미드에 의해 표현될 수 있고, 제1 이미지의 복수의 레벨의 서브-이미지는 제2 이미지의 복수의 레벨의 서브-이미지와 일대일 대응 관계에 있다. 이 경우, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득하는 단계의 구현 프로세스는, 제1 이미지의 서브-이미지의 각각의 레벨 및 제2 이미지의 서브-이미지의 대응하는 레벨에 기초하여, 대응하는 레벨의 지정된 파라미터 콤포넌트를 결정하는 단계; 및 복수의 레벨의 서브-이미지에 대응하는 지정된 파라미터 콤포넌트의 합을 지정된 파라미터로서 결정하는 단계;를 포함할 수 있다. 대응하는 레벨의 지정된 파라미터 콤포넌트는 서브-이미지의 대응하는 레벨에서 제1 매칭 대상 특징점과 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용된다.
도 7에 도시된 바와 같이, 이미지 프레임의 이미지 피라미드는 피라미드 형태로 배열되고 해상도가 점진적으로 감소하는 동일한 원본 이미지로부터의 일련의 이미지 세트이다. 이미지 피라미드는 그라디언트 이미지 다운 샘플링(gradient image downsampling)을 수행하여 획득되며, 그라디언트 다운 샘플링 프로세스는 미리 설정된 종료 조건이 만족되면 종료된다. 이미지 피라미드에서, 이미지의 레벨이 높을수록 이미지의 크기가 작아지고, 이에 따라 해상도가 낮아진다. 선택사항으로서, 이미지 피라미드는 라플라시안 피라미드(Laplacian pyramid), 가우시안 피라미드(Gaussian pyramid) 등일 수 있다.
이미지는 이미지 피라미드를 사용하여 표현되므로, 이미지 피라미드의 특성을 이용하여 복수의 해상도인 경우 2개의 매칭 대상 특징점의 디스크립터 유사도 및 픽셀 계조 차이를 별도로 계산할 수 있다. 이러한 방식으로, 지정된 파라미터의 정확도와 매칭 정밀도가 더욱 향상될 수 있다. 또한, 특징점 매칭이 이미지 피라미드를 사용하여 계산을 통해 획득되는 지정된 파라미터에 기초하여 수행되는 경우, 매칭 정밀도 및 안정성이 확보될 수 있다. 매칭 정밀도는 매칭 오차의 절대값으로 표현되며, 매칭 오차의 절대값이 작을수록 매칭 정밀도가 높아진다. 매칭 안정성은 부정확한 매칭의 확률에 의해 표현되며, 부정확한 매칭의 확률이 낮을수록 매칭 안정성이 높아진다.
예를 들어, 키-프레임 이미지 Fa는 특징점 a1, a2, a3, ..., 및 an을 포함하고, 제1 매칭 대상 특징점 A는 복수의 특징점 중 어느 하나이고, 그리고 제1 매칭 대상 특징점 A가 위치한 이미지 블록은 Pa이고; 키-프레임 이미지 Fb는 특징점 b1, b2, b3, ..., 및 bn를 포함하고, 제2 매칭 대상 특징점 B 는 복수의 특징점 중 어느 하나이고, 그리고 제2 매칭 대상 특징점 B가 위치한 이미지 블록은 Pb이고; 그리고 이미지 블록 Pa 및 이미지 블록 Pb 크기 모두는 J이고, 그리고 키-프레임 이미지 Fa 및 키-프레임 이미지 Fb 모두는 레벨 0, 1, ..., 및 L을 포함하는 이미지 피라미드에 의해 표현되는 것을 가정한다. 이 경우, 제2 매칭 대상 특징점 B에 대응하는 픽셀 계조 차이 e1 및 디스크립터 유사도 e2는 각각 다음을 만족한다.
Figure 112021073025712-pct00003
; 및
Figure 112021073025712-pct00004
.
"."는 포인트 곱셈 연산을 표현하고,
Figure 112021073025712-pct00005
는 피라미드-레벨 스케일링 계수이고,
Figure 112021073025712-pct00006
이고, a 및 b는 키-프레임 이미지 Fa 및 키-프레임 이미지 Fb의 고정된 편차이고, P1은 제1 매칭 대상 특징점 A 내의 픽셀의 이미지 좌표이고, 그리고 P2는 제2 매칭 대상 특징점 B 내의 픽셀의 이미지 좌표이다. Pj는 이미지 블록 내의 픽셀의 오프셋 좌표이고, D는 이미지 블록이 속하는 키-프레임 이미지에 대해 상대적인 이미지 블록의 위치 맵핑 관계이고, 그리고 맵핑 관계는 키-프레임 이미지 내의 이미지 블록의 상대 위치를 나타내는데 사용된다. (P DPj)는, 키-프레임 이미지에서, 이미지 블록 내의 픽셀 Pj의 좌표이고, I(x)는 좌표 x에 있는 픽셀의 픽셀 값이다. f(x)는 픽셀 사이의 유사도를 나타내는 함수이다. 선택사항으로서, 함수는 유클리드 거리 함수, 진폭 함수, 위상 함수 등일 수 있다.
설명의 편의상, 픽셀 계조 차이 e1 및 디스크립터 유사도 e2에 대응하는 공식에서, 특징점이 하나의 픽셀을 포함하는 예만이 설명에 사용된다는 점에 유의해야 한다. 특징점이 복수의 픽셀을 포함하는 경우, 특징점 내의 각각의 픽셀에 대응하는 픽셀 계조 차이는 픽셀 계조 차이 e1에 대응하는 공식을 참조하여 계산될 수 있고, 그리고 모든 픽셀에 기초하여 계산되는 픽셀 계조 차이의 합은 특징점의 픽셀 계조 차이로서 결정된다. 이와 유사하게, 특징점이 복수의 픽셀을 포함하는 경우, 특징점 내의 각 픽셀에 대응하는 디스크립터 유사도는 디스크립터 유사도 e2에 대응하는 공식을 참조하여 계산될 수 있으며, 그리고 모든 픽셀에 기초하여 계산되는 디스크립터 유사도의 합은 특징점의 디스크립터 유사도로서 결정된다.
단계 2032a. 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정한다.
제2 이미지에서 제2 매칭 대상 특징점에 대응되는 지정된 파라미터가 가장 작은 경우, 이는 제1 매칭 대상 특징점과 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이가 가장 작음을 나타낸다. 이 경우, 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정될 수 있다. 제2 이미지에 포함된 복수의 특징점을 검색하여 제1 매칭 대상 특징점의 최적 매칭 특징점을 찾고, 제1 매칭 대상 특징점과 대응하는 최적 매칭 특징점 사이의 매칭 상관 관계가 설정된다. 이러한 방식으로, 특징점 매칭의 안정성 및 정확도가 향상될 수 있다.
선택사항으로서, 제1 매칭 대상 특징점과 제2 매칭 대상 특징점의 매칭 정확도를 확보하기 위해, 가장 작은 지정된 파라미터에 대응되는 제2 매칭 대상 특징점이 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되기 전에, 제2 매칭 대상 특징점이 추가로 검증될 수 있다. 제2 매칭 대상 특징점이 검증에 성공하는 경우, 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정된다.
예를 들어, 가장 작은 지정된 파라미터에 대응되는 제2 매칭 대상 특징점이 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되기 전에, 가장 작은 지정된 파라미터는 미리 설정된 파라미터 임계치와 비교될 수 있고; 그리고 가장 작은 지정된 파라미터가 미리 설정된 파라미터 임계치보다 작은 경우, 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되고; 그리고/또는
가장 작은 지정된 파라미터는 두번째로 가장 작은 지정된 파라미터와 비교될 수 있고; 그리고 두번째로 가장 작은 지정된 파라미터와 가장 작은 지정된 파라미터 사이의 차이가 미리 설정된 차이 값보다 큰 경우, 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되고-여기서, 미리 설정된 파라미터 임계치 및 미리 설정된 차이 값은 실제의 요구 사항에 따라 결정될 수 있음-; 및/또는
각각의 제1 매칭 대상 특징점에 대응하는 지정된 파라미터는 가장 작은 지정된 파라미터에 대응되는 제2 매칭 대상 특징점의 픽셀 값 및 제1 이미지 내의 각각의 제1 매칭 대상 특징점의 픽셀 값에 기초하여 획득될 수 있고; 가장 작은 지정된 파라미터에 대응하는 제1 매칭 대상 특징점 및 단계 2031a에서 "임의의 제1 매칭 대상 특징점"이 동일한 특징점인지 여부가 결정되고; 그리고 2개의 특징점이 동일한 특징점인 경우, 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정된다.
2개의 이미지 프레임 내의 특징점에 대해 특징점 매칭을 수행하는 다른 구현예로서, 제1 이미지 내의 제1 매칭 대상 특징점 및 제2 이미지 내의 제2 매칭 대상 특징점에 대해, 2개의 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이가 충분히 작아 미리 설정된 요구 사항을 만족하는 경우, 제1 매칭 대상 특징점은 제2 매칭 대상 특징점에 매칭되는 것으로 결정된다. 도 8에 도시된 바와 같이, 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2031b. 제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득한다.
단계 2032b. 지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 제1 매칭 대상 특징점이 제2 매칭 대상 특징점에 매칭된다고 결정하여, 제1 매칭 대상 특징점 및 제2 매칭 대상 특징점을 포함하는 특징점 쌍을 획득한다.
단계 2031b 및 단계 2032b의 구현 프로세스에 관하여는, 상응하여 단계 2031a 및 단계 2032a의 구현 프로세스를 참조한다. 세부 사항은 여기서 다시 설명하지 않는다.
단계 204. 단말은 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위 및 맵 레이어를 서버로 송신한다.
단말은, 통신 연결을 통해 서버로, 제1 이미지의 관련 정보, 제2 이미지의 관련 정보, 상대 변위, 및 복수의 특징점을 포함하는 맵 레이어를 서버로 송신할 수 있다. 이미지의 관련 정보는, 이미지 내의 픽셀에 관한 정보, 이미지 내의 특징점에 관한 정보, 및 대응하는 이미지를 캡처하는 동안의 이미지 캡처 콤포넌트의 모션 파라미터와 같은 정보를 포함할 수 있다.
단계 201에서 획득된 원본 이미지의 복수의 프레임에 대해 스크리닝 동작이 수행되는 경우, 단계 202 내지 단계 204에서 모든 복수의 이미지 프레임은 스크리닝 동작에 기초하여 결정되는 키-프레임 이미지임을 유의해야 한다. . 단계 201에서 획득된 원본 이미지의 복수의 프레임에 대해 스크리닝 동작이 수행되지 않는 경우, 단계 202 내지 단계 204에서 복수의 이미지 프레임은 획득된 원본 이미지의 복수의 프레임이다.
단계 205. 서버는 2개의 맵 레이어에 있는 특징점에 특징점 매칭을 수행하여 복수의 특징점 쌍을 획득한다.
각각의 특징점 쌍은 각각 2개의 맵 레이어로부터의 그리고 서로 매칭되는 2개의 특징점을 포함한다. 예를 들어, 각각의 특징점 쌍은 각각 제1 맵 레이어 및 제2 맵 레이어로부터의 그리고 서로 매칭되는 2개의 특징점을 포함한다. 선택사항으로서, 제1 맵 레이어에서의 특징점 및 제2 맵 레이어에서의 특징점에 특징점 매칭을 수행하여 특징점 쌍을 획득하는 복수의 구현예가 있을 수 있다. 본 출원의 본 실시예에서, 다음 2개의 구현예가 설명을 위한 예로서 사용된다.
구현예로서, 제1 맵 레이어에서 임의의 제1 매칭 대상 특징점에 대해, 제2 맵 레이어에 포함된 복수의 특징점을 검색하여 제1 매칭 대상 특징점의 최적 매칭 특징점을 찾을 수 있다. 도 9에 도시된 바와 같이, 최적 매칭 특징점을 검색하는 구현 프로세스는 다음과 같은 단계를 포함할 수 있다.
단계 2051a. 제1 맵 레이어의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 맵 레이어의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득한다.
단계 2051a의 구현 프로세스에 관하여는, 상응하여 단계 2031a의 구현 프로세스를 참조한다.
단계 2052a. 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정한다.
제2 맵 레이어에서 제2 매칭 대상 특징점에 대응되는 지정된 파라미터가 가장 작은 경우, 이는 제1 매칭 대상 특징점과 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이가 가장 작음을 나타낸다. 이 경우, 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정될 수 있다. 제2 맵 레이어에 포함된 복수의 특징점을 검색하여 제1 매칭 대상 특징점의 최적 매칭 특징점을 찾고, 제1 매칭 대상 특징점과 대응하는 최적 매칭 특징점 사이의 매칭 상관 관계가 설정된다. 이러한 방식으로, 특징점 매칭의 안정성 및 정확도가 향상될 수 있다.
선택사항으로서, 제1 매칭 대상 특징점과 제2 매칭 대상 특징점의 매칭 정확도를 확보하기 위해, 가장 작은 지정된 파라미터에 대응되는 제2 매칭 대상 특징점이 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되기 전에, 제2 매칭 대상 특징점이 추가로 검증될 수 있다. 제2 매칭 대상 특징점이 검증에 성공하는 경우, 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정된다.
예를 들어, 가장 작은 지정된 파라미터에 대응되는 제2 매칭 대상 특징점이 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되기 전에, 가장 작은 지정된 파라미터는 미리 설정된 파라미터 임계치와 비교될 수 있고; 그리고 가장 작은 지정된 파라미터가 미리 설정된 파라미터 임계치보다 작은 경우, 및 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되고; 그리고/또는
가장 작은 지정된 파라미터는 두번째로 가장 작은 지정된 파라미터와 비교될 수 있고; 그리고 두번째로 가장 작은 지정된 파라미터와 가장 작은 지정된 파라미터 사이의 차이가 미리 설정된 차이 값보다 큰 경우, 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정되고-여기서, 미리 설정된 파라미터 임계치 및 미리 설정된 차이 값은 실제의 요구 사항에 따라 결정될 수 있음-; 및/또는
각각의 제1 매칭 대상 특징점에 대응하는 지정된 파라미터는 가장 작은 지정된 파라미터에 대응되는 제2 매칭 대상 특징점의 픽셀 값 및 제1 이미지 내의 각각의 제1 매칭 대상 특징점의 픽셀 값에 기초하여 획득될 수 있고; 가장 작은 지정된 파라미터에 대응하는 제1 매칭 대상 특징점 및 단계 2051a에서 "임의의 제1 매칭 대상 특징점"이 동일한 특징점인지 여부가 결정되고; 그리고 2개의 특징점이 동일한 특징점인 경우, 가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점은 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정된다.
다른 구현예에서, 제1 맵 레이어에서의 제1 매칭 대상 특징점 및 제2 맵 레이어에서의 제2 매칭 대상 특징점에 대해, 2개의 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이가 충분히 작아 미리 설정된 요구 사항을 만족하는 경우, 즉, 제1 매칭 대상 특징점은 제2 매칭 대상 특징점에 매칭되는 것으로 결정된다. 도 10에 도시된 바와 같이, 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2051b. 제1 맵 레이어의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 맵 레이어의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득한다.
단계 2052b. 지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 제1 매칭 대상 특징점이 제2 매칭 대상 특징점에 매칭된다고 결정하여, 제1 매칭 대상 특징점 및 제2 매칭 대상 특징점을 포함하는 특징점 쌍을 획득한다.
단계 2051b 및 단계 2052b의 구현 프로세스에 관하여는, 상응하여 단계 2051a 및 단계 2052a의 구현 프로세스를 참조한다. 세부 사항은 여기서 다시 설명하지 않는다.
단계 206. 서버는 대응하는 맵 레이어에서, 각각의 특징점 쌍 내의 특징점의 맵 레이어 공간 좌표를 획득하고, 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 특징점의 맵 레이어 공간 좌표에 기초하여 2개의 맵 레이어 사이의 타깃 변위 관계를 획득한다.
선택사항으로서, 맵 레이어에서, 특징점의 맵 레이어 공간 좌표는 맵 레이어에 대응하는 타깃 이미지 내의 특징점의 이미지 좌표 및 타깃 이미지의 복수의 프레임에서 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 기하학적 상관 관계를 사용하여 해를 구할 수 있다. 대응하는 맵 레이어에서, 특징점의 맵 레이어 공간 좌표는 맵 레이어에서의 지정된 점(예를 들어, 앵커점)을 원점으로 사용하여 설정되는 좌표계에 기초하여 결정되는 공간 좌표일 수 있다. 또한, 2개의 이미지 프레임의 캡처 위치 사이의 상대 변위는 대응하는 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득된다. 모션 파라미터는 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용된다.
선택사항으로서, 도 11에 도시된 바와 같이, 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계의 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2061. 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정한다.
선택사항으로서, 도 12에 도시된 바와 같이, 단계 2061의 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2061a1. 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 초기 평면을 결정하고, 3개의 마킹되지 않은 특징점을 초기 평면에 대응하는 제1 타깃점 세트에 추가하며, 여기서, 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점은 초기에 마킹되지 않은 상태에 있다.
3개의 점은 동일 평면 상에 있다는 원칙에 따라, 임의의 3개의 점을 사용하여 평면을 결정할 수 있다. 따라서, 단계 2061a1에서, 초기 평면은, 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 결정될 수 있고; 그리고 제1 타깃점 세트가 초기 평면에 기초하여 생성되며, 여기서 생성된 제1 타깃점 세트는 빈 세트이다.
단계 2061b1. 제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달할 때까지 모든 다른 특징점에 대해 스크리닝 절차를 순차적으로 수행하여, 하나의 제1 타깃점 세트를 획득하고, 제1 타깃점 세트 내의 모든 특징점을 마킹한다.
다른 특징점은 모든 마킹되지 않은 특징점에서 3개의 마킹되지 않은 특징점을 제외한 특징점이다. 제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달하는 경우, 제1 타깃점 세트 내의 모든 특징점에 기초하여 결정되는 평면이 유효 평면인 것으로 결정될 수 있고-여기서, 평면의 신뢰도 레벨은 상대적으로 높음-; 그리고 제1 맵 레이어와 제2 맵 레이어 사이의 변위 관계는 유효 평면에 기초하여 결정될 수 있다. 또한, 미리 설정된 수량은 실제의 요구 사항에 따라 결정될 수 있다. 예를 들어, 미리 설정된 수량은 10일 수 있다.
선택사항으로서, 도 13에 도시된 바와 같이, 다른 특징점 각각에 대해, 스크리닝 절차는 다음 단계를 포함할 수 있다.
단계 b11. 다른 특징점으로부터 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 제1 타깃점 세트내의 모든 특징점 및 다른 특징점을 꼭지점으로서 사용하는 복수의 다각형을 결정한다.
다른 특징점 각각에 대해, 다른 특징점으로부터 초기 평면까지의 거리가 계산될 수 있다. 다른 특징점으로부터 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 다른 특징점은 허용된 오차 범위 내에서 초기 평면 상에 위치하는 것으로 결정될 수 있다. 이 경우, 제1 타깃점 세트 내의 모든 특징점 및 다른 특징점을 꼭지점으로서 사용하는 복수의 다각형은 제1 타깃점 세트 내의 모든 특징점 및 다른 특징점에 기초하여 결정될 수 있다. 또한, 대응하는 특징점이 초기 평면 상의 유효한 특징점인지 여부는 복수의 다각형의 형상에 기초하여 결정되며, 즉, 단계 b12가 수행된다.
단계 b12. 복수의 다각형 중에 볼록 다각형이 있는 경우, 다른 특징점을 제1 타깃점 세트에 추가하여 업데이트된 제1 타깃점 세트를 획득한다.
복수의 다각형 중에 볼록 다각형이 있는 경우, 다른 특징점이 초기 평면 상의 유효한 특징점인 것으로 결정될 수 있다. 제1 타깃점 세트 내의 모든 특징점 및 다른 특징점을 꼭지점으로서 사용하여 복수의 다각형이 결정될 수 있고, 볼록 다각형은 복수의 다각형 중에 소수이기 때문에, 볼록 다각형 내의 특징점은 대응하는 평면 상의 유효한 특징점인 것으로 결정되고, 제1 맵 레이어와 제2 맵 레이어 사이의 변위 관계는 다른 특징점의 맵 레이어 공간 좌표에 기초하여 결정될 수 있다. 따라서, 복수의 다각형 중에 볼록 다각형이 있는 경우, 다른 특징점을 제1 타깃점 세트에 추가하어, 제1 타깃점 세트를 업데이트할 수 있다. 또한, 제1 타깃점 세트가 볼록 다각형에 기초하여 결정되므로, 연산 복잡성을 줄이고 계산 정밀도와 안정성을 향상한다. 다각형의 경우, 다각형의 모든 면이 다각형의 양쪽으로 무한 확장되어 직선을 획득한다. 다각형의 다른 모든 면이 직선의 같은 면에 있으면 다각형은 볼록 한 다각형이다.
단계 b11 및 단계 b12의 구현 프로세스에서, 다른 특징점으로부터 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 다른 특징점이 제1 타깃점 세트 내의 임의의 2개의 특징점의 각각에 대안적으로 연결될 수 있음이 대안적으로 수행될 수 있고; 그리고 2개의 특징점 및 다른 특징점에 의해 형성되는 내부 각도가 180 도보다 작은 경우, 제1 타깃점 세트 내의 모든 특징점 및 다른 특징점을 꼭지점으로서 사용하는 다각형 중에 볼록 다각형이 있다고 결정한 후, 다른 특징점을 제1 타깃점 세트에 추가하어, 제1 타깃점 세트를 업데이트할 수 있음에 유의해야 한다.
예를 들어, 도 14에 도시된 바와 같이, 제1 타깃점 세트는 점 X1, 점 X2, 및 점 X3를 포함하는 것으로 가정한다. 점 X1, 점 X2, 및 점 X3에 의해 결정되는 초기 평면까지의 다른 특징점 X4으로부터 거리가 미리 설정된 거리 임계치보다 작은 경우, 다른 특징점 X4는 점 X2 및 점 X3 모두에 연결될 수 있다. 또 다른 특징점 X4, 점 X2 및 점 X3에 의해 형성되는 내부 각도는 각도 θ이다. 도 14로부터, 각도 θ는 180 도보다 작음을 알 수 있다. 이 경우, 점 X1, 점 X2, 점 X3, 및 다른 특징점 X4를 꼭지점으로 사용하는 다각형 중에 볼록 다각형이 있다고 결정될 수 있고, 다른 특징점 X4를 제1 타깃점 세트에추가하여 점 X1, 점 X2, 점 X3, 및 다른 특징점 X4를 포함하는 업데이트된 제1 타깃점 세트를 획득할 수 있다다.
단계 2061c1. 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점이 마킹될 때까지 초기 평면을 결정하고 스크리닝 절차의 수행하는 프로세스를 반복하여, 적어도 하나의 제1 타깃점 세트를 획득한다.
단계 2061d1. 각각의 제1 타깃점 세트 내의 모든 특징점에 기초하여 제1 투영 평면을 결정하여 적어도 하나의 제1 투영 평면을 획득한다.
평면은 각각의 제1 타깃점 세트 내의 모든 특징점을 사용하여 결정될 수 있고, 평면은 제1 타깃점 세트 내의 모든 특징점에 기초하여 결졍되는 제1 투영 평면이다. 단계 2061a1 내지 단계 2061c1가 수행된 후, 적어도 하나의 제1 타깃점 세트가 획득될 수 있다. 이 경우, 제1 투영 평면이 적어도 하나의 제1 타깃점 세트의 각각에 기초하여 결정되어, 적어도 하나의 제1 투영 평면을 획득할 수 있다.
단계 2062. 제2 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정한다.
적어도 하나의 제1 투영 평면은 적어도 하나의 제2 투영 평면과 일대일 대응 관계에 있고, 각각의 제1 투영 평면을 결정하기 위한 복수의 특징점 및 대응하는 제2 투영 평면을 결정하기 위한 복수의 특징점은 일대일 방식으로 매칭되는 특징점이다.
단계 2062의 제1 구현예에서, 단계 2061의 구현 프로세스를 참조하면, 초기 평면은 특징점의 맵 레이어 공간 좌표에 기초하여 결정될 수 있고, 스크리닝 절차가 수행되어 적어도 하나의 제2 투영 평면을 획득할 수 있다.
단계 2062의 제2 구현예에서, 제2 맵 레이어에서의, 그리고 복수의 특징점에 속하는 모든 특징점이, 일대일 방식으로, 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점에 매칭되기 때문에, 적어도 하나의 제1 투영 평면이 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점에 기초하여 결정된 후, 제2 투영 평면은 각각의 제1 투영 평면 상의 특징점에 매칭되는 특징점에 기초하여 결정되어, 적어도 하나의 제2 투영 평면을 획득할 수 있다. 도 15에 도시된 바와 같이, 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2062a2. 제2 맵 레이어의 모든 특징점에서, 각각의 제1 투영 평면에 기초하여 제2 타깃점 세트를 결정하며, 여기서, 각각의 제2 타깃점 세트는 제1 투영 평면 상의 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점을 포함한다.
각각의 제1 투영 평면에 대해, 제1 투영 평면 상에 포함되는 복수의 특징점이 결정될 수 있고, 제1 투영 평면 상에 포함되는 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점은 제1 맵 레이어에서의 특징점과 제2 맵 레이어에서의 특징점 사이의 일대일 매칭 상관 관계에 기초하여 제2 맵 레이어에서의 복수의 특징점 중에서 결정하여, 제2 타깃점 세트를 획득할 수 있다. 이에 상응하여, 적어도 하나의 제2 타깃점 세트가 적어도 하나의 제1 투영 평면에 기초하여 결정될 수 있다.
단계 2062b2. 각각의 제2 타깃점 세트에 포함된 복수의 특징점이 위치하는 평면을 대응하는 제1 투영 평면에 대응하는 제2 투영 평면으로 결정하여, 적어도 하나의 제2 투영 평면을 획득.
제2 투영 평면은 각각의 제2 타깃점 세트에 포함된 복수의 특징점에 기초하여 결정될 수 있고, 이에 상응하여, 적어도 하나의 제2 투영 평면이 적어도 하나의 타깃 피처에 기초하여 획득될 수 있다.
단계 2063. 서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대한 투영 오차 함수를 구성한다.
투영 오차 함수는 제1 그래픽과 제2 그래픽 사이의 투영 오차가 제1 맵 레이어와 제2 맵 레이어 사이의 변위 관계에 따라 변화되는 상관 관계를 표현하는데 사용되고, 제1 그래픽은 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이고, 제2 그래픽은 제2 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이다. 선택사항으로서, 도 16에 도시된 바와 같이, 단계 2063의 구현 프로세스는 다음 단계를 포함할 수 있다.
단계 2063a. 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형의 질량-중심 좌표을 결정하고, 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제2 다각형의 질량-중심 좌표를 결정한다.
제1 다각형은 복수의 제1 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이고, 제2 다각형은 복수의 제2 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이다.
선택사항으로서, 제1 투영 평면 상의 복수의 제1 특징점에 대해, 복수의 제1 특징점을 연결함으로써 획득되는 제1 다각형의 질량-중심 좌표는
Figure 112021073025712-pct00007
를 만족하며, 여기서, Xi 는 제1 특징점의 맵 레이어 공간 좌표이고, mi 는 대응하는 제1 특징점의 가중치이고, 여기서 i 는 양의 정수이다. 각각의 제1 특징점에 대응하는 가중치는 실제의 요구 사항에 따라 결정될 수 있다. 예를 들어, 각각의 특징점에 대응하는 가중치 m 은 1일 수 있다. 제2 다각형의 질량-중심 좌표의 계산 방식에 관하여는, 상응하여 제1 다각형의 질량-중심 좌표의 계산 방식을 참조한다.
단계 2063b. 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 대해, 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대한 투영 오차 서브함수를 구성한다.
투영 오차 서브함수는 제1 다각형과 제2 다각형 사이의 투영 오차가 제1 맵 레이어와 제2 맵 레이어 사이의 변위 관계에 따라 변화하는 상관 관계를 표현하는데 사용된다. 변위 관계는 회전 관계 및 병진 관계를 포함할 수 있다.
제1 다각형 및 제2 다각형에 대한 투영 오차 서브함수를 구성하는 중에, 투영 오차 서브함수는 복수의 제1 특징점의 맵 레이어 공간 좌표, 복수의 제2 특징점의 맵 레이어 공간 좌표, 제1 다각형의 질량-중심 좌표, 및 제2 다각형의 질량-중심 좌표에 기초하여 구성될 수 있다. 또한, 투영 서브함수가 질량-중심 좌표에 기초하여 구성되는 경우, 투영 서브함수에 기초하여 결정되는 변위 관계의 정확도가 향상될 수 있다.
선택사항으로서, 제1 특징점 i의 맵 레이어 공간 좌표 Sri, 제2 특징점 i의 맵 레이어 공간 좌표 Sli, 제1 다각형의 질량-중심 좌표 Xr, 제2 다각형의 질량-중심 좌표 Xl, 투영 오차 서브함수 E, 회전 관계 R, 및 병진 관계 T는 다음을 만족할 수 있다:
Figure 112021073025712-pct00008
,
여기서, "."는 포인트 곱셈 연산을 표현하고, n은 제1 투영 평면 상의 제1 특징점의 총 수량이고, ||.||는 놈(norm) 연산이다.
제1 맵 레이어와 제2 맵 레이어 사이의 제1 변위를 결정하는 프로세스에서, 단계 2063a는 대안적으로 수행되지 않을 수 있음에 유의해야 한다. 단계 2063a가 수행되지 않는 경우, 제1 특징점의 맵 레이어 공간 좌표 Sr, 제2 특징점의 맵 레이어 공간 좌표 Sl, 투영 오차 서브함수 E, 회전 관계 R, 및 병진 관계 T 는 다음을 만족할 수 있다:
Figure 112021073025712-pct00009
.
단계 2063c. 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 적어도 하나의 쌍에 기초하여 구성되는 하나 이상의 투영 오차 서브함수의 합을 투영 오차 함수로서 결정한다.
대응하는 제1 다각형 및 제2 다각형에 대한 투영 오차 서브함수가 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 기초하여 구성된 후, 서로 대응 관계를 가지는 제1 투영 평면과 제2 투영 평면의 적어도 하나의 쌍에 대응하는 투영 오차 서브함수의 합이 투영 오차 함수으로서 결정되며, 즉, 투영 오차 함수는
Figure 112021073025712-pct00010
이며, 여기서 m 은 서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 쌍의 총 수량이다.
단계 2064. 투영 오차 함수의 최소 값에 대응하는 변위 관계를 타깃 변위 관계로 결정한다.
제1 그래픽 및 제2 그래픽에 대해 투영 오차 함수가 결정된 후, 투영 오차 함수를 최적화 알고리즘을 사용하여 최적화하여 투영 오차 함수의 최소 값에 대응하는 회전 관계 R 및 병진 관계 T를 획득할 수 있고, 투영 오차 함수의 최소 값에 대응하는 회전 관계 R은 타깃 변위 관계에서의 회전 관계로서 결정되고, 투영 오차 함수의 최소 값에 대응하는 병진 관계 T는 타깃 변위 관계에서의 병진 관계로서 결정된다.
제1 맵 레이어 및 제2 맵 레이어 각각은 복수의 특징점을 포함하고, 각각의 특징점의 맵 레이어 공간 좌표는 3D 좌표이므로, 제1 맵 레이어와 제2 맵 레이어 사이의 타깃 변위 관계가 특징점의 맵 레이어 공간 좌표에 기초하여 직접 획득되면, 그 구현 프로세스는 3D 공간에서 수행되는 포즈(pose) 해결 수단의 프로세스와 동등하다. 이 프로세스는 연산 복잡성이 상대적으로 높고 계산 정밀도가 상대적으로 낮다. 본 출원의 본 실시예에서, 적어도 하나의 제1 투영 평면 및 적어도 하나의 제2 투영 평면이 결정되고, 오차 함수는 서로 대응 관계를 가지는 투영 평면에 기초하여 구성되어, 타깃 변위 관계을 획득한다. 이러한 방식으로, 3D 공간에서의 연산은 평면 상의 계산으로 변환될 수 있고, 이에 따라 연산 복잡성을 줄이고 계산 정밀도 및 안정성을 개선한다.
단계 207. 서버는 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 매 2개의 맵 레이어에 대해 맵 레이어 융합을 수행하여, 타깃 환경의 맵을 획득한다.
특징점 매칭이 매 2개의 맵 레이어의 특징점에 대해 수행된 후, 각각의 맵 레이어에서 중첩되는 영역이 결정될 수 있다. 이 경우, 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여, 매 2개의 맵 레이어의 적어도 하나의 맵 레이어에서의 모든 특징점의 맵 레이어 공간 좌표에 대해 좌표 변환이 수행되어, 매 2개의 맵 레이어에서의 모든 특징점의, 변환 후에 획득되는, 맵 레이어 공간 좌표가 동일한 참조 좌표계에 기초하여 획득된다. 이 경우, 복수의 맵 레이어를 동일한 좌표로 확장하여 복수의 맵 레이어에서의 특징점을 포함하는 맵을 획득할 수 있고, 맵 내의 모든 특징점의 맵 레이어 공간 좌표는 모두 동일한 참조에 기초하여 획득될 수 있다. 참조 좌표계는 복수의 맵 레이어 중 어느 하나가 위치하는 죄표계일 수 있거나, 또는 참조 좌표계는 다른 지정된 좌표계일 수 있다. 이는 본 출원의 본 실시예에서 구체적으로 제한되지 않는다.
융합될 맵 레이어가 주차장 환경의 이미지에 기초하여 결정되는 맵 레이어인 경우, 주차장 환경의 국부화 맵 레이어는 본 출원의 본 실시예에서 제공되는 맵 작성 방법을 사용하여 획득될 수 있다. 주차장 국부화 맵 레이어는 특징점을 사용하여 주차장의 현재 환경을 기술하는데 사용될 수 있고, 주차장 국부화 맵 레이어 내의 모든 특징점의 좌표는 모두 동일한 좌표계에 기초하여 결정된다. 따라서, 주차장에 위치시킬 차량의 위치는 위치시킬 차량이 위치한 현재 환경의 설명을 국부화 맵 레이어와 비교함으로써 정확하게 결정될 수 있다. 이러한 방식으로, 위치시킬 차량을 정확하게 위치시킬 수 있어, 지능형 주행 차량의 안전한 주행을 보장할 수 있다.
결론적으로, 본 출원의 실시예에서 제공되는 맵 작성 방법에 따르면, 특징점 매칭은 매 2개의 맵 레이어의 특징점에 대해 수행되고; 2개의 맵 레이어 사이의 타깃 변위 관계는 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 획득되고; 그리고 맵 레이어 융합은 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 매 2개의 맵 레이어에 대해 수행된다. 각각의 특징점의 맵 레이어 공간 좌표는 타깃 이미지 내의 대응하는 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상대 변위는 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득된다. 따라서, 관련 기술과 비교하여, 특징점의 맵 레이어 공간 좌표는 이미지의 특징점의, GPS에 의해 제공되는, 위치 정보에 의존할 필요가 없다. 이는 GPS 신호가 영항을 받으므로 GPS 신호에 기초하여 결정되는 위치 정보의 신뢰성이 상대적으로 낮다는 문제를 피할 수 있고, 따라서 맵 레이어 융합을 통해 획득되는 맵의 정확도를 효과적으로 향상시킬 수 있다.
또한, 맵 작성 방법은 이미지의 특징점의, GPS에 의해 제공되는, 위치 정보에 의존할 필요가 ?戮많퓐?, 방법은 GPS 신호가 없거나 GPS 신호가 상대적으로 약한 타깃 환경에 적용될 수 있어, 방법은 상대적으로 넓은 범위에 적용된다. 예를 들어, 맵 작성 방법가 주차장 환경에 적용되는 경우, 주차장 환경에서 GPS 신호가 영향을 받으므로 GPS 신호에 기초하여 결정되는 위치 정보의 신뢰성이 상대적으로 낮다는 문제를 피할 수 있으므로, 획득된 주차장 국부화 맵 레이어의 정확도 및 정밀도를 개선하고, 지능형 주행 차량의 안전 주행을 효과적으로 확보한다.
본 발명의 실시예에서 제공하는 맵 작성 방법의 단계의 연대순 순서는 적절하게 조정될 수 있으며, 상황에 따라 단계가 그에 대응하여 추가 또는 삭제될 수도 있음에 유의해야 한다. 본 발명에 개시된 기술적 범위 내에서 통상의 기술자에 의해 용이하게 이해되는 모든 변형은 본 발명의 보호 범위 내에 속해야 하며, 세부 사항은 여기서 다시 설명하지 않는다.
본 출원의 실시예는 맵 작성 장치를 추가로 제공한다. 도 17에 도시된 바와 같이, 장치(600)는,
맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 대해 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하도록 구성되는 매칭 모듈(601)-여기서, 각각의 특징점 쌍은 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하도록 구성되는 획득 모듈(602)-여기서, 맵 레이어 공간 좌표는 타깃 이미지 내의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상대 변위는 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 모션 파라미터는 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 타깃 이미지는 특징점이 위치하는 이미지임-; 및
매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 매 2개의 맵 레이어마다 맵 레이어 융합을 수행하여, 타깃 환경의 맵을 획득하도록 구성되는 융합 모듈(603);을 포함할 수 있다.
선택사항으로서, 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함할 수 있다. 도 18에 도시된 바와 같이, 획득 모듈(602)은,
제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하도록 구성되는 제1 결정 서브 모듈(6021), 여기서,
제1 결정 서브 모듈(6021)은 제2 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하도록 추가적으로 구성되며-여기서, 적어도 하나의 제1 투영 평면은 적어도 하나의 제2 투영 평면과 일대일 대응 관계에 있고, 각각의 제1 투영 평면을 결정하기 위한 복수의 특징점 및 대응하는 제2 투영 평면을 결정하기 위한 복수의 특징점은 일대일 방식으로 매칭되는 특징점임-;
서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대해 투영 오차 함수를 구성하도록 구성되는 구성 서브 모듈(6022)-여기서, 투영 오차 함수는 제1 그래픽과 제2 그래픽 사이의 투영 오차가 2개의 맵 레이어 사이의 변위 관계에 따라 변화되는 상관 관계를 표현하는데 사용되고, 제1 그래픽은 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이고, 제2 그래픽은 제2 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽임-; 및
투영 오차 함수의 최소 값에 대응하는 변위 관계를 타깃 변위 관계로서 결정하도록 구성되는 제2 결정 서브 모듈(6023);을 포함할 수 있다.
선택사항으로서, 제1 결정 서브 모듈(6021)은,
서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 대해, 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하도록-여기서, 투영 오차 서브함수는 제1 다각형 및 제2 다각형 사이의 투영 오차가 변위 관계에 따라 변화하는 상관 관계를 표현하는데 사용되고, 제1 다각형은 복수의 제1 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이고, 제2 다각형은 복수의 제2 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형임-; 그리고
서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 적어도 하나의 쌍에 기초하여 구성되는 하나 이상의 투영 오차 서브함수의 합을 투영 오차 함수로서 결정하도록, 구성된다.
선택사항으로서, 도 19에 도시된 바와 같이, 획득 모듈(602)은,
복수의 제1 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형의 질량-중심 좌표를 결정하도록 구성되는 제3 결정 서브 모듈(6024)을 더 포함할 수 있으며, 여기서,
제3 결정 서브 모듈(6024)은 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제2 다각형의 질량-중심 좌표를 결정하도록 추가적으로 구성된다.
이에 상응하여, 제1 결정 서브 모듈(6021)은 복수의 제1 특징점의 맵 레이어 공간 좌표, 복수의 제2 특징점의 맵 레이어 공간 좌표, 제1 다각형의 질량-중심 좌표, 및 제2 다각형의 질량-중심 좌표에 기초하여 투영 오차 서브함수를 구성하도록 구성된다.
선택사항으로서, 변위 관계는 회전 관계 및 병진 관계를 포함할 수 있고; 그리고 제1 특징점의 맵 레이어 공간 좌표 Sr, 제2 특징점의 맵 레이어 공간 좌표 Sl, 제1 다각형의 질량-중심 좌표 Xr, 제2 다각형의 질량-중심 좌표 Xl, 투영 오차 서브함수 E, 회전 관계 R, 및 병진 관계 T는 다음을 만족할 수 있다.
Figure 112021073025712-pct00011
,
여기서, n은 제1 투영 평면 상의 제1 특징점의 총 수량이고, ||.||는 놈(norm) 연산이다.
선택사항으로서, 제1 결정 서브 모듈(6021)은, 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 초기 평면을 결정하고, 3개의 마킹되지 않은 특징점을 초기 평면에 대응하는 제1 타깃점 세트에 추가하도록-여기서, 제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점은 초기에 마킹되지 않은 상태에 있음-;
제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달할 때까지 모든 다른 특징점에 대해 스크리닝 절차를 순차적으로 수행하여 하나의 제1 타깃점 세트를 획득하고, 제1 타깃점 세트에서 모든 특징점을 마킹하도록-여기서, 다른 특징점은 모든 마킹되지 않은 특징점에서 3개의 마킹되지 않은 특징점을 제외한 특징점임-;
제1 맵 레이어에 있고 복수의 특징점 쌍에 속하는 모든 특징점이 마킹될 때까지, 초기 평면을 결정하고 스크리닝 절차를 수행하는 과정을 반복하여, 적어도 하나의 제1 타깃점 세트를 획득하도록; 그리고
각각의 제1 타깃점 세트내의 모든 특징점에 기초하여 제1 투영 평면을 결정하여 적어도 하나의 제1 투영 평면을 획득하도록, 구성된다.
다른 특징점 각각에 대해, 스크리닝 절차는, 특징점으로부터 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 제1 타깃점 세트내의 모든 특징점 및 특징점을 꼭지점으로서 사용하는 복수의 다각형을 결정하는 단계; 및
복수의 다각형 중에 볼록 다각형이 있는 경우, 특징점을 제1 타깃점 세트에 추가하여 업데이트된 제1 타깃점 세트를 획득하는 단계;를 포함한다.
선택사항으로서, 제1 결정 서브 모듈(6021)은,
제2 맵 레이어의 모든 특징점에서, 각각의 제1 투영 평면에 기초하여 제2 타깃점 세트를 결정하도록-여기서, 각각의 제2 타깃점 세트는 제1 투영 평면 상의 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점을 포함할 수 있음-; 그리고
각각의 제2 타깃점 세트에 포함된 복수의 특징점이 위치하는 평면을 대응하는 제1 투영 평면에 대응하는 제2 투영 평면으로 결정하여, 적어도 하나의 제2 투영 평면을 획득하도록, 구성된다.
구현예로서, 도 20에 도시된 바와 같이, 매칭 모듈(601)은,
제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득하도록 구성되는 획득 서브 모듈(6011)-여기서, 지정된 파라미터는 제1 매칭 대상 특징점과 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 제1 이미지는 제1 매칭 대상 특징점이 위치하고 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 제2 이미지는 제2 매칭 대상 특징점이 위치하고 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및
가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정하도록 구성되는 제4 결정 서브 모듈(6012);를 포함할 수 있다.
다른 구현예에서, 여전히 도 20을 참조로, 매칭 모듈(601)은,
제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 제2 매칭 대상 특징점에 대응되는 지정된 파라미터를 획득하도록 구성되는 획득 서브 모듈(6011)-여기서, 지정된 파라미터는 제1 매칭 대상 특징점과 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 제1 이미지는 제1 매칭 대상 특징점이 위치하고 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 제2 이미지는 제2 매칭 대상 특징점이 위치하고 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및
지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 제1 매칭 대상 특징점이 제2 매칭 대상 특징점에 매칭된다고 결정하도록 구성되는 제4 결정 서브 모듈(6012);을 포함할 수 있다.
선택사항으로서, 획득 서브 모듈(6011)은 제1 이미지 블록 내의 각각의 픽셀의 픽셀 값 및 제2 이미지 블록 내의 각각의 픽셀의 픽셀 값에 기초하여 지정된 파라미터를 획득하도록 구성되며, 여기서, 제1 이미지 블록은 제1 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 제2 이미지 블록은 제2 매칭 대상 특징점에 대응하는 픽셀을 포함하고, 제2 이미지 블록의 크기는 제1 이미지 블록의 크기와 같다.
선택사항으로서, 제1 이미지 및 제2 이미지 모두는 복수의 레벨의 서브-이미지을 포함하는 이미지 피라미드에 의해 표현되고, 제1 이미지의 복수의 레벨의 서브-이미지는 제2 이미지의 복수의 레벨의 서브-이미지와 일대일 대응 관계에 있고; 그리고 이에 대응하여, 획득 서브 모듈(6011)은,
제1 이미지의 서브-이미지의 각각의 레벨 및 제2 이미지의 서브-이미지의 대응하는 레벨에 기초하여, 대응하는 레벨의 지정된 파라미터 콤포넌트를 결정하도록; 그리고
복수의 레벨의 서브-이미지에 대응하는 지정된 파라미터 콤포넌트의 합을 지정된 파라미터로서 결정하도록, 구성된다.
선택사항으로서, 지정된 파라미터는 픽셀 계조 차이 및/또는 디스크립터 유사도를 포함할 수 있다.
선택사항으로서, 융합 모듈(603)은, 복수의 맵 레이어의 특징점을 포함하는 맵 상의 모든 특징점의 맵 레이어 공간 좌표가 동일한 참조 좌표계에 기초하여 획득되도록, 2개의 맵 레이어 중 적어도 하나에 대해, 맵 레이어의 모든 특징점의 맵 레이어 공간 좌표에 좌표 변환을 수행하도록 구성된다.
선택사항으로서, 타깃 환경은 주차장 환경이다.
결론적으로, 본 출원의 본 실시예 제공되는 맵 작성 장치에 따르면, 매칭 모듈은 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하고; 획득 모듈은 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하고; 그리고 융합 모듈은 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 매 2개의 맵 레이어마다 맵 레이어 융합을 수행한다. 각각의 특징점의 맵 레이어 공간 좌표는 타깃 이미지 내의 대응하는 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상대 변위는 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득된다. 따라서, 관련 기술과 비교하여, 특징점의 맵 레이어 공간 좌표는 이미지의 특징점의, GPS에 의해 제공되는, 위치 정보에 의존할 필요가 없다. 이는 GPS 신호가 영항을 받으므로 GPS 신호에 기초하여 결정되는 위치 정보의 신뢰성이 상대적으로 낮다는 문제를 피할 수 있고, 따라서 맵 레이어 융합을 통해 획득되는 맵의 정확도를 효과적으로 향상시킬 수 있다.
또한, 맵 작성 프로세스가 이미지의 특징점의, GPS에 의해 제공되는, 위치 정보에 의존할 필요가 없으므로, 장치는 GPS 신호가 없거나 GPS 신호가 상대적으로 약한 타깃 환경에 적용될 수 있어, 장치는 상대적으로 넓은 범위에 적용된다. 예를 들어, 맵 작성 장치가 주차장 환경에 적용되는 경우, 주차장 환경에서 GPS 신호가 영향을 받으므로 GPS 신호에 기초하여 결정되는 위치 정보의 신뢰성이 상대적으로 낮다는 문제를 피할 수 있으므로, 획득된 주차장 국부화 맵 레이어의 정확도 및 정밀도를 개선하고, 지능형 주행 차량의 안전 주행을 효과적으로 확보한다.
본 출원의 실시예는 맵 작성 장치를 추가로 제공한다. 도 21에 도시된 바와 같이, 맵 작성 장치(700)는,
타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하도록 구성되는 제1 획득 모듈(701)-여기서, 복수의 이미지 프레임은 이미지 캡처 콤포넌트에 의해 캡처됨-;
각각의 이미지 프레임의 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터을 획득하도록 구성되는 제2 획득 모듈(702)-여기서, 모션 파라미터는 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용됨-;
이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를를 획득하도록 구성되는 제3 획득 모듈(703);
복수의 이미지 프레임 및 상대 변위에 기초하여, 복수의 이미지 프레임 내의 특징점을 포함하는 맵 레이어를 획득하도록 구성되는 제4 획득 모듈(704)-여기서, 맵 레이어는 맵을 작성하는데 사용됨-; 및
맵 레이어 및 상대 변위를 서버로 송신하도록 구성되는 송신 모듈(705);을 포함할 수 있다.
선택사항으로서, 복수의 이미지 프레임은 타깃 환경의 이미지 정보를 전달하는 모든 키-프레임 이미지이고, 제1 획득 모듈(701)은,
타깃 환경의 이미지 정보를 전달하는 스크리닝될 복수의 이미지 프레임을 획득하도록;
스크리닝될 이미지의 각각의 프레임의 타깃 파라미터를 획득하도록-여기서, 타깃 파라미터는 지정된 이미지에 대해 상대적으로 스크리닝될 이미지의 변화를 나타내는데 사용됨-; 그리고
스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우, 스크리닝될 이미지를 키-프레임 이미지로서 결정하도록, 구성된다.
선택사항으로서, 타깃 파라미터는 다음 중 하나 이상을 포함할 수 있다:
스크리닝될 이미지의 캡처 시점과 지정된 이미지의 캡처 시점 사이의 시간 간격;
스크리닝될 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각과 지정된 이미지의 캡처 중에 이미지 캡처 콤포넌트의 시야각 사이의 각도 변화;
스크리닝될 이미지의 캡처 위치와 지정된 이미지의 캡처 위치 사이의 상대 변위;
스크리닝될 이미지에 포함된 특징점의 제1 총 수량; 및
제1 총 수량에 대한 제2 총 수량의 제1 비율-여기서, 제2 총 수량은 스크리닝될 이미지에 포함된 특징점 내에 있고 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량임-.
선택사항으로서, 복수의 이미지 프레임은 시간 시퀀스의 관점에서 인접하고, 스크리닝될 이미지의 각각의 프레임에 대응하는 지정된 이미지는 복수의 이미지 프레임 내에 있고 시간 시퀀스의 관점에서 스크리닝될 이미지에 앞서고 가장 가까운 키-프레임 이미지의 프레임이다.
선택사항으로서, 제1 획득 모듈(701)은,
스크리닝될 이미지의 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우 제3 총 수량에 대한 제2 총 수량의 제2 비율을 결정하도록-여기서, 제3 총 수량은 스크리닝될 이미지에 포함된 특징점의 총 수량이고, 제2 총 수량은 스크리닝될 이미지에 포함된 특징점 내에 있고 지정된 이미지에 포함된 특징점과는 상이한 특징점의 총 수량임-; 그리고
제2 비율이 미리 설정된 비율보다 작은 경우, 스크리닝될 이미지를 키-프레임 이미지로서 결정하도록, 구성된다.
결론적으로, 본 출원의 본 실시예 제공되는 맵 작성 장치에 따르면, 제1 획득 모듈은 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하고; 제2 획득 모듈은 각각의 이미지 프레임의 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터을 획득하고; 제3 획득 모듈은 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를 획득하고; 제4 획득 모듈은, 복수의 이미지 프레임 및 상대 변위에 기초하여, 복수의 이미지 프레임의 특징점을 포함하는 맵 레이어를 획득하고; 그리고 송신 모듈은 맵 레이어 및 상대 변위를 서버로 송신한다. 이러한 방식으로, 서버는 타깃 이미지 내의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 특징점의 맵 레이어 공간 좌표를 획득할 수 있고, 상대 변위는 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득된다. 따라서, 관련 기술과 비교하여, 특징점의 맵 레이어 공간 좌표는 이미지의 특징점의, GPS에 의해 제공되는, 위치 정보에 의존할 필요가 없다. 이는 GPS 신호가 영항을 받으므로 GPS 신호에 기초하여 결정되는 위치 정보의 신뢰성이 상대적으로 낮다는 문제를 피할 수 있고, 따라서 맵 레이어 융합을 통해 획득되는 맵의 정확도를 효과적으로 향상시킬 수 있다.
본 기술 분야의 통상의 지식을 가진 자라면, 편리하고 간단한 설명을 위해, 전술한 시스템, 장치 모듈, 및 서브 모듈의 상세한 작업 과정에 대해서는 전술한 방법 실시예에서 대응하는 과정을 참조함을 명확히 이해할 수 있을 것이며, 세부 사항은 여기서 다시 설명하지 않는다.
본 출원의 실시예는 맵 작성 장치를 추가로 제공한다. 맵 작성 장치는 프로세서 및 메모리를 포함할 수 있다. 메모리는 컴퓨터 프로그램을 저장할 수 있다. 프로세서가 메모리에 저장된 컴퓨터 프로그램을 실행하는 경우, 맵 작성 장치는 본 출원의 실시예에서 제공되는 맵 작성 방법을 수행할 수 있다. 예를 들어, 맵 작성 장치는 전술한 방법 실시예에서의 단계 205 내지 단계 207를 수행하도록 구성된다.
구체적으로, 도 22를 참조하면, 맵 작성 장치(20)는 프로세서(22), 신호 인터페이스(24), 메모리(26), 및 버스(28)와 같은 콤포넌트를 포함할 수 있다. 메모리(26)와 신호 인터페이스(24)는 모두 버스(28)를 통해 프로세서(22)에 연결된다.
프로세서(22)는 하나 이상의 프로세싱 코어를 포함할 수 있다. 프로세서(22)는 소프트웨어 프로그램 및 모듈을 실행하여 다양한 기능 애플리케이션 및 데이터 처리를 수행한다. 프로세서(22)는 중앙 처리 장치, 디지털 신호 처리기, 마이크로프로세서, 마이크로제어기, 또는 인공 지능 프로세서 중 하나 이상을 포함할 수 있고, 선택사항으로, 예를 들어, 다양한 논리 연산 회로와 같은, 연산을 수행하는 하드웨어 가속기를 더 포함할 수 있다.
복수의 신호 인터페이스(24)가 있을 수 있다. 신호 인터페이스(24)는 다른 장치 또는 모듈에 대한 연결을 설정하도록 구성된다. 예를 들어, 신호 인터페이스(24)는 송수신기에 연결하도록 구성될 수 있다. 따라서, 선택사항으로, 맵 작성 장치(20)는 송수신기(도면에 도시되지 않음)를 더 포함할 수 있다. 송수신기는 특히 신호 수신 및 송신을 수행한다. 예를 들어, 송수신기는, 단말기로부터, 맵 레이어 및 이미지 캡처 위치 사이의 상대적 변위를 수신하도록 구성될 수 있다. 프로세서(22)가 신호 수신 및 송신 동작을 수행할 필요가 있는 경우, 프로세서(22)는 송수신기를 호출하거나 구동하여 대응하는 수신 및 송신 동작을 수행할 수 있다. 따라서, 맵 작성 장치(20)가 신호 수신 및 송신을 수행하는 경우, 프로세서(22)는 수신 및 송신 동작을 결정하거나 개시하도록 구성되고, 개시자(initiator)로서 동작하며; 송수신기는 특정 수신 및 송신을 수행하도록 구성되고 수행자 역할을 한다. 송수신기는 대안적으로 송수신기 회로, 무선 주파수 회로, 또는 무선 주파수 유닛일 수 있다. 이는 본 실시예에서 제한되지 않는다.
메모리(26)는 컴퓨터 프로그램 및 모듈을 저장하도록 구성될 수 있다. 컴퓨터 프로그램은 응용 프로그램 또는 드라이브 프로그램일 수 있다. 예를 들어, 메모리(26)는 적어도 하나의 기능을 위한 프로그램 모듈(262)을 저장할 수 있다. 프로그램 모듈(262)은 매칭 유닛(2621), 획득 유닛(2622), 및 융합 유닛(2623)을 포함할 수 있다.
매칭 유닛(2621)은 매칭 모듈(601)과 동일하거나 유사한 기능을 가진다. 예를 들어, 매칭 유닛(2621)은 전술한 방법 실시예에서의 단계 205를 수행하도록 구성된다.
획득 유닛(2622)은 획득 모듈(602)과 동일하거나 유사한 기능을 가진다. 예를 들어, 획득 유닛(2622)은 전술한 방법 실시예에서의 단계 206를 수행하도록 구성된다.
융합 유닛(2623)은 융합 모듈(603)과 동일하거나 유사한 기능을 가진다. 예를 들어, 융합 유닛(2623)은 전술한 방법 실시예에서의 단계 207를 수행하도록 구성된다.
본 출원의 실시예는 맵 작성 장치를 추가로 제공한다. 맵 작성 장치는 프로세서 및 메모리를 포함할 수 있다. 메모리는 컴퓨터 프로그램을 저장할 수 있다. 프로세서가 메모리에 저장된 컴퓨터 프로그램을 실행하는 경우, 맵 작성 장치는 본 출원의 실시예에서 제공되는 맵 작성 방법을 수행할 수 있다. 예를 들어, 맵 작성 장치는 전술한 방법 실시예에서의 단계 201 내지 단계 204를 수행하도록 구성된다.
구체적으로, 도 23를 참조하면, 맵 작성 장치(40)는, 프로세서(42), 신호 인터페이스(44), 메모리(46), 및 버스(48)와 같은 콤포넌트를 포함할 수 있다. 메모리(46)와 신호 인터페이스(44)는 모두 버스(48)를 통해 프로세서(42)에 연결된다.
프로세서(42)는 하나 이상의 프로세싱 코어를 포함할 수 있다. 프로세서(42)는 소프트웨어 프로그램 및 모듈을 실행하여 다양한 기능 애플리케이션 및 데이터 처리를 수행한다. 프로세서(42)는 중앙 처리 장치, 디지털 신호 처리기, 마이크로프로세서, 마이크로제어기, 또는 인공 지능 프로세서 중 하나 이상을 포함할 수 있고, 선택사항으로, 예를 들어, 다양한 논리 연산 회로와 같은, 연산을 수행하는 하드웨어 가속기를 더 포함할 수 있다.
복수의 신호 인터페이스(44)가 있을 수 있다. 신호 인터페이스(44)는 다른 장치 또는 모듈에 대한 연결을 설정하도록 구성된다. 예를 들어, 신호 인터페이스(44)는 송수신기에 연결하도록 구성될 수 있다. 따라서, 선택사항으로, 맵 작성 장치(40)는 송수신기(도면에는 도시하지 않음)를 더 포함할 수 있다. 송수신기는 특히 신호 수신 및 송신을 수행한다. 예를 들어, 송수신기는 맵 레이어 및 이미지 캡처 위치 사이의 상대 변위를 서버로 송신하도록 구성될 수 있다. 프로세서(42)가 신호 수신 및 송신 동작을 수행할 필요가 있는 경우, 프로세서(42)는 송수신기를 호출하거나 구동하여 대응하는 수신 및 송신 동작을 수행할 수 있다. 따라서, 맵 작성 장치(40)가 신호 수신 및 송신을 수행하는 경우, 프로세서(42)는 수신 및 송신 동작을 결정하거나 개시하도록 구성되고, 개시자(initiator)로서 동작하며; 송수신기는 특정 수신 및 송신을 수행하도록 구성되고 수행자 역할을 한다. 송수신기는 대안적으로 송수신기 회로, 무선 주파수 회로, 또는 무선 주파수 유닛일 수 있다. 이는 본 실시예에서 제한되지 않는다.
메모리(46)는 컴퓨터 프로그램 및 모듈을 저장하도록 구성될 수 있다. 컴퓨터 프로그램은 응용 프로그램 또는 드라이브 프로그램일 수 있다. 예를 들어, 메모리(46)는 적어도 하나의 기능에 대한 프로그램 모듈(462)을 저장할 수 있다. 프로그램 모듈(462)은 제1 획득 유닛(4621), 제2 획득 유닛(4622), 제3 획득 유닛(4623), 제4 획득 유닛(4624), 및 송신 유닛(4625)을 포함할 수 있다.
제1 획득 유닛(4621)은 제1 획득 모듈(701)과 동일하거나 유사한 기능을 가진다. 예를 들어, 제1 획득 유닛(4621)은 전술한 방법 실시예에서의 단계 201를 수행하도록 구성된다.
제2 획득 유닛(4622)은 제2 획득 모듈(702)과 동일하거나 유사한 기능을 가진다. 예를 들어, 제2 획득 유닛(4622)은 전술한 방법 실시예에서의 단계 202를 수행하도록 구성된다.
제3 획득 유닛(4623)은 제3 획득 모듈(703)과 동일하거나 유사한 기능을 가진다. 예를 들어, 제3 획득 유닛(4623)은 전술한 방법 실시예에서의 단계 203를 수행하도록 구성된다.
제4 획득 유닛(4624)은 제4 획득 모듈(704)과 동일하거나 유사한 기능을 가진다. 예를 들어, 제4 획득 유닛(4624)은 전술한 방법 실시예에서의 단계 204를 수행하도록 구성된다.
송신 유닛(4625)은 송신 모듈(705)과 동일하거나 유사한 기능을 가진다. 예를 들어, 송신 유닛(4625)은 전술한 방법 실시예에서의 단계 205를 수행하도록 구성된다.
구현예로서, 맵 작성 장치(40)는 디스플레이 스크린, 카메라 콤포넌트, 등을 더 포함할 수 있다.
디스플레이 스크린은 UI(User Interface, 사용자 인터페이스)를 디스플레이하도록 구성된다. 예를 들어, 디스플레이 스크린은 타깃 환경의 이미지 정보를 전달하는 이미지를 디스플레이하도록 구성될 수 있다. UI는 그래픽, 텍스트, 아이콘, 비디오, 및 이들의 조합을 포함할 수 있다. 디스플레이 스크린이 터치 디스플레이 스크린인 경우, 디스플레이 스크린은 디스플레이 스크린의 표면 상에서 또는 위에서 터치 신호를 획득하는 능력을 더 가진다. 터치 신호는 처리를 위한 제어 신호로서 프로세서에 입력될 수 있다. 이 경우, 디스플레이 스크린은 또한 소프트 버튼 및/또는 소프트 키보드라고도 지칭되는 가상 버튼 및/또는 가상 키보드를 제공하도록 추가로 구성될 수 있다. 일부 실시예에서, 맵 작성 장치의 전면 패널에 하나의 디스플레이 스크린이 배치될 수 있다. 일부 다른 실시예에서, 맵 작성 장치의 상이한 표면에 배치되거나 접힌 방식으로 설계된 적어도 2개의 디스플레이 스크린이 있을 수 있다. 또 다른 실시예에서, 디스플레이 스크린은 플렉서블 디스플레이 스크린일 수 있으며, 맵 작성 장치의 곡면 또는 접힌 면에 배치된다. 디스플레이 스크린은 직사각형이 아닌 불규칙한 그래픽, 즉 불규칙한 모양의 화면으로 설정될 수도 있다. 디스플레이 스크린는 LCD(Liquid Crystal Display, 액정 디스플레이) 또는 OLED(Organic Light-Emitting Diode, 유기 발광 다이오드)와 같은 재질로 만들어질 수 있다.
카메라 콤포넌트는 이미지 또는 비디오를 캡처하도록 구성된다. 예를 들어, 카메라는 타깃 환경의 이미지 정보를 전달하는 이미지를 캡처하도록 구성된다. 선택적사항으로서, 카메라 콤포넌트는 전면 카메라와 후면 카메라를 포함한다. 예를 들어, 전면 카메라는 맵 작성 장치의 전면 패널에 배치되고, 후면 카메라는 맵 작성 장치의 후면에 배치된다. 일부 실시예에서, 각각이 메인 카메라, 피사계 심도 카메라(depth-of-field camera), 광각 카메라, 및 망원 카메라 중 어느 하나인, 적어도 2개의 후면 카메라가 있어, 메인 카메라 및 깊이피사계 심도 카메라를 융합하여 보케 기능(bokeh function)을, 메인 카메라 및 광각 카메라를 융합하여 파노라마 촬영 및 VR(Virtual Reality, 가상 현실) 촬영 기능을, 또는 다른 융합 촬영 기능을 구현한다. 일부 실시예에서, 카메라 컴포넌트는 플래시를 더 포함할 수 있다. 플래시는 단일 색온도 플래시 또는 이중 색온도 플래시일 수 있다. 이중 색온도 플래시는 따뜻한 빛 플래시와 차가운 빛 플래시의 조합이며, 상이한 색온도에서 빛 보정을 수행하도록 구성할 수 있다.
본 출원의 실시예는 저장 매체를 추가로 제공한다. 저장 매체는 비휘발성 컴퓨터-판독 가능한 저장 매체일 수 있다. 저장 매체는 컴퓨터 프로그램을 저장한다. 컴퓨터 프로그램은 본 출원의 실시예에서 제공된 맵 작성 방법을 수행하도록 서버에 지시한다. 전술한 저장 매체는, 읽기-전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 자기 디스크, 또는 광학 디스크와 같은, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
본 출원의 실시예는 명령을 포함하는 컴퓨터 프로그램 제품을 추가로 제공한다. 컴퓨터 프로그램 제품이 컴퓨터에서 실행되는 경우, 컴퓨터는 본 출원의 실시예에서 제공되는 맵 작성 방법을 수행할 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령을 포함할 수 있다. 컴퓨터 프로그램 명령이 컴퓨터에 로딩되거나 실행되는 경우, 본 출원의 실시예에 따른 절차 또는 기능은 전부 또는 부분적으로 생성된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크, 또는 다른 프로그래밍 가능한 장치일 수 있다. 컴퓨터 명령은 컴퓨터-판독 가능한 저장 매체에 저장되거나, 컴퓨터-판독 가능한 저장 매체를 사용하여 전송될 수 있다. 컴퓨터-판독 가능한 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체이거나, 하나 이상의 사용 가능한 매체를 통합하는 서버 또는 데이터 센터와 같은 데이터 저장 장치일 수 있다. 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 또는 자기 테이프), 광학 매체(예를 들어, DVD(digital versatile disc)), 반도체 매체 (예를 들어, 솔리드-스테이트 드라이브(solid state disk, SSD)), 등일 수 있다.
통상의 기술자는 실시예의 단계의 전부 또는 일부가 하드웨어 또는 관련 하드웨어를 지시하는 프로그램에 의해 구현될 수 있음을 이해할 수 있다. 프로그램은 컴퓨터-판독 가능한 저장 매체에 저장될 수 있다. 저장 매체는 읽기-전용 메모리, 자기 디스크, 광 디스크 등을 포함할 수 있다.
전술한 설명은 단지 본 출원의 예시적인 실시예일뿐으로서, 본 출원을 제한하려는 의도는 아니다. 본 출원의 정신과 원리를 벗어나지 않은 수정, 동등한 대체, 또는 개선이 이루어진 경우에는 본 출원의 보호 범위 내에 있어야 한다.

Claims (27)

  1. 맵 작성 방법으로서,
    맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하는 단계-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 상기 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
    대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 상기 각각의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 각각의 특징점이 위치하는 이미지임-; 및
    상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어에 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하는 단계;를 포함하고,
    상기 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함하고,
    상기 대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계는,
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하는 단계;
    상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하는 단계-여기서, 상기 적어도 하나의 제1 투영 평면은 상기 적어도 하나의 제2 투영 평면과 일대일 대응 관계에 있고, 각각의 제1 투영 평면을 결정하기 위한 복수의 특징점 및 대응하는 제2 투영 평면을 결정하기 위한 복수의 특징점은 일대일 방식으로 매칭되는 특징점임-;
    서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대한 투영 오차 함수를 구성하는 단계-여기서, 상기 투영 오차 함수는 상기 제1 그래픽과 상기 제2 그래픽 사이의 투영 오차가 상기 2개의 맵 레이어 사이의 변위 관계에 따라 변화되는 상관 관계를 표현하는데 사용되고, 상기 제1 그래픽은 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이고, 상기 제2 그래픽은 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽임; 및
    상기 투영 오차 함수의 최소 값에 대응하는 변위 관계를 상기 타깃 변위 관계로서 결정하는 단계;를 포함하는, 맵 작성 방법.
  2. 제1항에 있어서,
    상기 서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대한 투영 오차 함수를 구성하는 단계는,
    서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 대해, 상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하는 단계-여기서, 상기 투영 오차 서브함수는 상기 제1 다각형 및 상기 제2 다각형 사이의 투영 오차가 상기 변위 관계에 따라 변화하는 상관 관계를 표현하는데 사용되고, 상기 제1 다각형은 상기 복수의 제1 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이고, 상기 제2 다각형은 상기 복수의 제2 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형임-; 및
    서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 적어도 하나의 쌍에 기초하여 구성되는 하나 이상의 투영 오차 서브함수의 합을 상기 투영 오차 함수로서 결정하는 단계;를 포함하는, 맵 작성 방법.
  3. 제2항에 있어서,
    상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하는 단계 이전에,
    상기 복수의 제1 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제1 다각형의 질량-중심 좌표를 획득하는 단계; 및
    상기 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제2 다각형의 질량-중심 좌표를 획득하는 단계;를 더 포함하고, 그리고
    상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하는 단계는,
    상기 복수의 제1 특징점의 맵 레이어 공간 좌표, 상기 복수의 제2 특징점의 맵 레이어 공간 좌표, 상기 제1 다각형의 질량-중심 좌표, 및 상기 제2 다각형의 질량-중심 좌표에 기초하여 상기 투영 오차 서브함수를 구성하는 단계;를 더 포함하는, 맵 작성 방법.
  4. 제1항에 있어서,
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하는 단계는,
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 초기 평면을 결정하고, 상기 3개의 마킹되지 않은 특징점을 상기 초기 평면에 대응하는 제1 타깃점 세트에 추가하는 단계-여기서, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점은 초기에 마킹되지 않은 상태에 있음-;
    상기 제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달할 때까지 모든 다른 특징점에 대해 스크리닝 절차를 순차적으로 수행하여 하나의 제1 타깃점 세트를 획득하고, 상기 제1 타깃점 세트 내의 모든 특징점을 마킹하는 단계-여기서, 상기 다른 특징점은 모든 마킹되지 않은 특징점에서 상기 3개의 마킹되지 않은 특징점을 제외한 특징점임-;
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점이 마킹될 때까지, 초기 평면을 결정하고 스크리닝 절차를 수행하는 상기 과정을 반복하여, 적어도 하나의 제1 타깃점 세트를 획득하는 단계; 및
    각각의 제1 타깃점 세트내의 모든 특징점에 기초하여 제1 투영 평면을 결정하여 상기 적어도 하나의 제1 투영 평면을 획득하는 단계;를 포함하고,
    상기 다른 특징점 각각에 대해, 상기 스크리닝 절차는,
    상기 특징점으로부터 상기 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 상기 제1 타깃점 세트내의 모든 특징점 및 상기 특징점을 꼭지점으로서 사용하는 복수의 다각형을 결정하는 단계; 및
    상기 복수의 다각형 중에 볼록 다각형이 있는 경우, 상기 특징점을 상기 제1 타깃점 세트에 추가하여 업데이트된 제1 타깃점 세트를 획득하는 단계;를 포함하는, 맵 작성 방법.
  5. 제1항에 있어서,
    상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하는 단계는,
    상기 제2 맵 레이어의 모든 특징점에서, 각각의 제1 투영 평면에 기초하여 하나의 제2 타깃점 세트를 결정하는 단계-여기서, 각각의 제2 타깃점 세트는 상기 제1 투영 평면 상의 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점을 포함함-; 및
    각각의 제2 타깃점 세트에 포함된 복수의 특징점이 위치하는 평면을 상기 대응하는 제1 투영 평면에 대응하는 제2 투영 평면으로 결정하여, 상기 적어도 하나의 제2 투영 평면을 획득하는 단계;를 포함하는, 맵 작성 방법.
  6. 맵 작성 방법으로서,
    맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하는 단계-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 상기 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
    대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 상기 각각의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 각각의 특징점이 위치하는 이미지임-; 및
    상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어에 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하는 단계;를 포함하고,
    상기 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함하고,
    상기 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하는 단계는,
    제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하는 단계-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및
    가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 상기 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정하는 단계;를 포함하는, 맵 작성 방법.
  7. 맵 작성 방법으로서,
    맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하는 단계-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 상기 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
    대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하는 단계-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 상기 각각의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 각각의 특징점이 위치하는 이미지임-; 및
    상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어에 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하는 단계;를 포함하고,
    상기 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함하고,
    상기 매 2개의 맵 레이어의 특징점에 특징점 매칭을 수행하는 단계는,
    제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하는 단계-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및
    상기 지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 상기 제1 매칭 대상 특징점이 상기 제2 매칭 대상 특징점에 매칭된다고 결정하는 단계;를 포함하는, 맵 작성 방법.
  8. 제6항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지 모두는 복수의 레벨의 서브-이미지을 포함하는 이미지 피라미드에 의해 표현되고, 상기 제1 이미지의 복수의 레벨의 서브-이미지는 상기 제2 이미지의 복수의 레벨의 서브-이미지와 일대일 대응 관계에 있고,
    상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 결정하는 단계는,
    상기 제1 이미지의 서브-이미지의 각각의 레벨 및 제2 이미지의 서브-이미지의 상기 대응하는 레벨에 기초하여, 상기 대응하는 레벨의 지정된 파라미터 콤포넌트를 결정하는 단계; 및
    상기 복수의 레벨의 서브-이미지에 대응하는 지정된 파라미터 콤포넌트의 합을 상기 지정된 파라미터로서 결정하는 단계 ;를 포함하는, 맵 작성 방법.
  9. 맵 작성 방법으로서,
    타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하는 단계-여기서, 상기 복수의 이미지 프레임은 이미지 캡처 콤포넌트에 의해 캡처됨-;
    각각의 이미지 프레임의 캡처 위치에서 상기 이미지 캡처 콤포넌트의 모션 파라미터을 획득하는 단계-여기서, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용됨-;
    상기 이미지 캡처 콤포넌트의 상기 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를를 획득하는 단계;
    상기 복수의 이미지 프레임 및 상기 상대 변위에 기초하여, 상기 복수의 이미지 프레임 내의 특징점을 포함하는 맵 레이어를 획득하는 단계-여기서, 상기 맵 레이어는 맵을 작성하는데 사용됨-; 및
    상기 맵 레이어 및 상기 상대 변위를 서버로 송신하는 단계;를 포함하고,
    상기 복수의 이미지 프레임은 상기 타깃 환경의 상기 이미지 정보를 전달하는 모든 키-프레임 이미지이고,
    상기 타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하는 단계는,
    상기 타깃 환경의 상기 이미지 정보를 전달하는 스크리닝될 복수의 이미지 프레임을 획득하는 단계;
    타겟 환경의 이미지 정보를 전달하는 복수의 스크리닝될 이미지 프레임을 획득하는 단계;
    스크리닝될 이미지의 각각의 프레임의 타깃 파라미터를 획득하는 단계-여기서, 상기 타깃 파라미터는 지정된 이미지에 대해 상대적으로 상기 스크리닝될 이미지의 변화를 나타내는데 사용됨-; 및
    상기 스크리닝될 이미지의 상기 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우, 상기 스크리닝될 이미지를 키-프레임 이미지로서 선택하는 단계;를 포함하는, 맵 작성 방법.
  10. 맵 작성 장치로서,
    맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 대해 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하도록 구성되는 매칭 모듈-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
    대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하도록 구성되는 획득 모듈-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 각각의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 각각의 특징점이 위치하는 이미지임-; 및
    a 상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어마다 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하도록 구성되는 융합 모듈;을 포함하고,
    상기 2개의 맵 레이어는 제1 맵 레이어 및 제2 맵 레이어를 포함하고,
    상기 획득 모듈은,
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제1 투영 평면을 결정하도록 구성되는 제1 결정 서브 모듈-여기서, 상기 제1 결정 서브 모듈은 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점의 맵 레이어 공간 좌표에 기초하여 적어도 하나의 제2 투영 평면을 결정하도록 구성되며, 여기서, 상기 적어도 하나의 제1 투영 평면은 상기 적어도 하나의 제2 투영 평면과 일대일 대응 관계에 있고, 각각의 제1 투영 평면을 결정하기 위한 복수의 특징점 및 대응하는 제2 투영 평면을 결정하기 위한 복수의 특징점은 일대일 방식으로 매칭되는 특징점임-;
    서로 대응 관계를 가지는 투영 평면 상의 특징점의 맵 레이어 공간 좌표에 기초하여 제1 그래픽 및 제2 그래픽에 대해 투영 오차 함수를 구성하도록 구성되는 구성 서브 모듈-여기서, 상기 투영 오차 함수는 상기 제1 그래픽과 상기 제2 그래픽 사이의 투영 오차가 상기 2개의 맵 레이어 사이의 변위 관계에 따라 변화되는 상관 관계를 표현하는데 사용되고, 상기 제1 그래픽은 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽이고, 상기 제2 그래픽은 상기 제2 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점을 꼭지점으로서 사용하는 그래픽임-; 및
    상기 투영 오차 함수의 최소 값에 대응하는 변위 관계를 상기 타깃 변위 관계로서 결정하도록 구성되는 제2 결정 서브 모듈;을 포함하는, 맵 작성 장치.
  11. 제10항에 있어서,
    상기 제1 결정 서브 모듈은,
    서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 각각의 쌍에 대해, 상기 제1 투영 평면 상의 복수의 제1 특징점의 맵 레이어 공간 좌표 및 상기 제2 투영 평면 상의 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 제1 다각형 및 제2 다각형에 대해 투영 오차 서브함수를 구성하도록-여기서, 상기 투영 오차 서브함수는 상기 제1 다각형 및 상기 제2 다각형 사이의 투영 오차가 상기 변위 관계에 따라 변화하는 상관 관계를 표현하는데 사용되고, 상기 제1 다각형은 상기 복수의 제1 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형이고, 상기 제2 다각형은 상기 복수의 제2 특징점을 연결함으로써 획득되는 다각형 중에 가장 큰 면적으로 가지는 다각형임-; 그리고
    서로 대응 관계를 가지는 제1 투영 평면 및 제2 투영 평면의 적어도 하나의 쌍에 기초하여 구성되는 하나 이상의 투영 오차 서브함수의 합을 상기 투영 오차 함수로서 결정하도록 구성되는, 맵 작성 장치.
  12. 제11항에 있어서,
    상기 획득 모듈은,
    상기 복수의 제1 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제1 다각형의 질량-중심 좌표를 결정하도록 구성되는 제3 결정 서브 모듈-여기서, 상기 제3 결정 서브 모듈은 상기 복수의 제2 특징점의 맵 레이어 공간 좌표에 기초하여 상기 제2 다각형의 질량-중심 좌표를 결정하도록 추가적으로 구성됨-; 및
    상기 복수의 제1 특징점의 맵 레이어 공간 좌표, 상기 복수의 제2 특징점의 맵 레이어 공간 좌표, 상기 제1 다각형의 질량-중심 좌표, 및 상기 제2 다각형의 질량-중심 좌표에 기초하여 상기 투영 오차 서브함수를 구성하도록 구성되는 상기 제1 결정 서브 모듈;을 포함하는, 맵 작성 장치.
  13. 제10항에 있어서,
    상기 제1 결정 서브 모듈은,
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점에서, 임의의 3개의 마킹되지 않은 특징점의 맵 레이어 공간 좌표에 기초하여 초기 평면을 결정하고, 상기 3개의 마킹되지 않은 특징점을 상기 초기 평면에 대응하는 제1 타깃점 세트에 추가하도록-여기서, 상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점은 초기에 마킹되지 않은 상태에 있음-;
    상기 제1 타깃점 세트 내의 특징점의 총 수량이 미리 설정된 수량에 도달할 때까지 모든 다른 특징점에 대해 스크리닝 절차를 순차적으로 수행하여 제1 타깃점 세트를 획득하고, 상기 제1 타깃점 세트에서 모든 특징점을 마킹하도록-여기서, 상기 다른 특징점은 모든 마킹되지 않은 특징점에서 상기 3개의 마킹되지 않은 특징점을 제외한 특징점임-;
    상기 제1 맵 레이어에 있고 상기 복수의 특징점 쌍에 속하는 모든 특징점이 마킹될 때까지, 초기 평면을 결정하고 스크리닝 절차를 수행하는 상기 과정을 반복하여, 적어도 하나의 제1 타깃점 세트를 획득하도록; 그리고
    각각의 제1 타깃점 세트내의 모든 특징점에 기초하여 제1 투영 평면을 결정하여 상기 적어도 하나의 제1 투영 평면을 획득하도록, 구성되며,
    상기 다른 특징점 각각에 대해, 상기 스크리닝 절차는,
    상기 특징점으로부터 상기 초기 평면까지의 거리가 미리 설정된 거리 임계치보다 작은 경우, 상기 제1 타깃점 세트내의 모든 특징점 및 상기 특징점을 꼭지점으로서 사용하는 복수의 다각형을 결정하는 단계; 및
    상기 복수의 다각형 중에 볼록 다각형이 있는 경우, 상기 특징점을 상기 제1 타깃점 세트에 추가하여 업데이트된 제1 타깃점 세트를 획득하는 단계;를 포함하는, 맵 작성 장치.
  14. 제10항에 있어서,
    상기 제1 결정 서브 모듈은,
    상기 제2 맵 레이어의 모든 특징점에서, 각각의 제1 투영 평면에 기초하여 하나의 제2 타깃점 세트를 결정하도록-여기서, 각각의 제2 타깃점 세트는 상기 제1 투영 평면 상의 복수의 특징점에 일대일 방식으로 매칭되는 복수의 특징점을 포함함-; 그리고
    각각의 제2 타깃점 세트에 포함된 복수의 특징점이 위치하는 평면을 상기 대응하는 제1 투영 평면에 대응하는 제2 투영 평면으로 결정하여, 상기 적어도 하나의 제2 투영 평면을 획득하도록 구성되는, 맵 작성 장치.
  15. 맵 작성 장치로서,
    맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 대해 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하도록 구성되는 매칭 모듈-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
    대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하도록 구성되는 획득 모듈-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 각각의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 각각의 특징점이 위치하는 이미지임-; 및
    a 상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어마다 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하도록 구성되는 융합 모듈;을 포함하고,
    상기 매칭 모듈은,
    제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 각각의 제2 매칭 대상 특징점의 픽셀 값 모두에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하도록 구성되는 획득 서브 모듈-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및
    가장 작은 지정된 파라미터에 대응하는 제2 매칭 대상 특징점을 상기 제1 매칭 대상 특징점에 매칭되는 특징점으로서 결정하도록 구성되는 제4 결정 서브 모듈;을 포함하는, 맵 작성 장치.
  16. 맵 작성 장치로서,
    맵을 작성하는데 사용되는 복수의 맵 레이어의 매 2개의 맵 레이어의 특징점에 대해 특징점 매칭을 수행하여, 복수의 특징점 쌍을 획득하도록 구성되는 매칭 모듈-여기서, 각각의 특징점 쌍은 상기 2개의 맵 레이어 각각으로부터의 그리고 서로 매칭되는 2개의 특징점을 포함하고, 각각의 맵 레이어는 복수의 이미지 프레임 내의 특징점을 포함하고, 각각의 이미지 프레임은 타깃 환경의 이미지 정보를 전달함-;
    대응하는 맵 레이어에서, 각각의 특징점 쌍에 있는 각각의 특징점의 맵 레이어 공간 좌표에 기초하여 상기 2개의 맵 레이어 사이의 타깃 변위 관계를 획득하도록 구성되는 획득 모듈-여기서, 상기 맵 레이어 공간 좌표는 타깃 이미지 내의 각각의 특징점의 이미지 좌표 및 타깃 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위에 기초하여 획득되고, 상기 상대 변위는 상기 이미지 캡처 위치에서 이미지 캡처 콤포넌트의 모션 파라미터에 기초하여 획득되고, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용되고, 상기 타깃 이미지는 상기 각각의 특징점이 위치하는 이미지임-; 및
    a 상기 매 2개의 맵 레이어 사이의 타깃 변위 관계에 기초하여 상기 매 2개의 맵 레이어마다 맵 레이어 융합을 수행하여, 상기 타깃 환경의 맵을 획득하도록 구성되는 융합 모듈;을 포함하고,
    상기 매칭 모듈은,
    제1 이미지 내의 임의의 제1 매칭 대상 특징점의 픽셀 값 및 제2 이미지 내의 임의의 제2 매칭 대상 특징점의 픽셀 값에 기초하여, 상기 제2 매칭 대상 특징점에 대응하는 지정된 파라미터를 획득하도록 구성되는 획득 서브 모듈-여기서, 상기 지정된 파라미터는 상기 제1 매칭 대상 특징점과 상기 제2 매칭 대상 특징점에 의해 표현되는 이미지 정보 사이의 차이를 나타내는데 사용되고, 상기 제1 이미지는 상기 제1 매칭 대상 특징점이 위치하고 상기 제1 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지이고, 상기 제2 이미지는 상기 제2 매칭 대상 특징점이 위치하고 상기 제2 맵 레이어에 대응하는 복수의 이미지 프레임 내에 있는 임의의 이미지임-; 및
    상기 지정된 파라미터가 미리 설정된 제1 임계치보다 작은 경우, 상기 제1 매칭 대상 특징점이 상기 제2 매칭 대상 특징점에 매칭된다고 결정하도록 구성되는 제4 결정 서브 모듈;를 포함하는, 맵 작성 장치.
  17. 제15항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지 모두는 복수의 레벨의 서브-이미지을 포함하는 이미지 피라미드에 의해 표현되고, 상기 제1 이미지의 복수의 레벨의 서브-이미지는 상기 제2 이미지의 복수의 레벨의 서브-이미지와 일대일 대응 관계에 있고; 그리고
    상기 획득 서브 모듈은,
    상기 제1 이미지의 서브-이미지의 각각의 레벨 및 제2 이미지의 서브-이미지의 상기 대응하는 레벨에 기초하여, 상기 대응하는 레벨의 지정된 파라미터 콤포넌트를 결정하도록; 그리고
    상기 복수의 레벨의 서브-이미지에 대응하는 지정된 파라미터 콤포넌트의 합을 상기 지정된 파라미터로서 결정하도록 구성되는, 맵 작성 장치.
  18. 맵 작성 장치로서,
    타깃 환경의 이미지 정보를 전달하는 복수의 이미지 프레임을 획득하도록 구성되는 제1 획득 모듈-여기서, 상기 복수의 이미지 프레임은 이미지 캡처 콤포넌트에 의해 캡처됨-;
    각각의 이미지 프레임의 캡처 위치에서 상기 이미지 캡처 콤포넌트의 모션 파라미터을 획득하도록 구성되는 제2 획득 모듈-여기서, 상기 모션 파라미터는 상기 이미지 캡처 콤포넌트의 모션 상태를 나타내는데 사용됨-;
    상기 이미지 캡처 콤포넌트의 상기 모션 파라미터에 기초하여 이미지의 매 2개의 프레임의 캡처 위치 사이의 상대 변위를 획득하도록 구성되는 제3 획득 모듈;
    상기 복수의 이미지 프레임 및 상기 상대 변위에 기초하여, 상기 복수의 이미지 프레임 내의 특징점을 포함하는 맵 레이어를 획득하도록 구성되는 제4 획득 모듈-여기서, 상기 맵 레이어는 맵을 작성하는데 사용됨-; 및
    상기 맵 레이어 및 상기 상대 변위를 서버로 송신하도록 구성되는 송신 모듈;을 포함하고,
    상기 복수의 이미지 프레임은 상기 타깃 환경의 상기 이미지 정보를 전달하는 모든 키-프레임 이미지이고,
    상기 제1 획득 모듈은,
    상기 타깃 환경의 상기 이미지 정보를 전달하는 스크리닝될 복수의 이미지 프레임을 획득하도록;
    스크리닝될 이미지의 각각의 프레임의 타깃 파라미터를 획득하도록-여기서, 상기 타깃 파라미터는 지정된 이미지에 대해 상대적으로 상기 스크리닝될 이미지의 변화를 나타내는데 사용됨-; 그리고
    상기 스크리닝될 이미지의 상기 타깃 파라미터가 미리 설정된 제2 임계치치보다 큰 경우, 상기 스크리닝될 이미지를 키-프레임 이미지로서 결정하도록 구성되는, 맵 작성 장치.
  19. 단말 및 서버를 포함하는 맵 작성 시스템으로서,
    상기 단말은 제18항에 따른 맵 작성 장치를 포함하고,
    상기 서버는 제10항 내지 제17항 중 어느 한 항에 따른 맵 작성 장치를 포함하는, 맵 작성 시스템.
  20. 제19항에 있어서,
    상기 단말은 이미지 캡처 차량에 구성되고, 상기 이미지 캡처 차량은 캡처 타깃 환경의 이미지 정보를 캡처하도록 구성되는, 맵 작성 시스템.
  21. 프로세서 및 메모리를 포함하는 맵 작성 장치로서,
    상기 프로세서가 상기 메모리에 저장된 컴퓨터 프로그램을 실행하는 경우, 제1항 내지 제8항 중 어느 한 항에 따른 맵 작성 방법이 수행되거나, 제9항에 따른 맵 작성 방법이 수행되는, 맵 작성 장치.
  22. 컴퓨터 프로그램을 저장하는 컴퓨터-판독 가능한 매체로서,
    상기 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 상기 컴퓨터는 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하거나, 제9항에 따른 방법을 수행할 수 있게 되는, 컴퓨터-판독 가능한 매체.
  23. 컴퓨터-판독 가능한 매체에 저장되어 있는 프로그램으로서,
    상기 프로그램은 컴퓨터에게 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하거나, 제9항에 따른 방법을 실행하도록 하는, 프로그램.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020217019684A 2018-11-30 2019-11-11 맵 작성 방법, 장치, 및 시스템, 및 저장 매체 KR102474160B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811458309.XA CN111260779B (zh) 2018-11-30 2018-11-30 地图构建方法、装置及***、存储介质
CN201811458309.X 2018-11-30
PCT/CN2019/117160 WO2020108285A1 (zh) 2018-11-30 2019-11-11 地图构建方法、装置及***、存储介质

Publications (2)

Publication Number Publication Date
KR20210095913A KR20210095913A (ko) 2021-08-03
KR102474160B1 true KR102474160B1 (ko) 2022-12-02

Family

ID=70854278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217019684A KR102474160B1 (ko) 2018-11-30 2019-11-11 맵 작성 방법, 장치, 및 시스템, 및 저장 매체

Country Status (5)

Country Link
US (1) US20210287350A1 (ko)
EP (1) EP3876142A4 (ko)
KR (1) KR102474160B1 (ko)
CN (1) CN111260779B (ko)
WO (1) WO2020108285A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212317B2 (ja) * 2019-10-11 2023-01-25 トヨタ自動車株式会社 車両駐車支援装置
CN113252045B (zh) * 2021-06-25 2021-11-02 成都睿沿科技有限公司 设备定位方法、装置、电子设备及可读存储介质
CN113465617B (zh) * 2021-07-08 2024-03-19 上海汽车集团股份有限公司 一种地图构建方法、装置及电子设备
CN114119429A (zh) * 2021-10-28 2022-03-01 北京三快在线科技有限公司 底图处理方法及装置
CN114494485A (zh) * 2021-12-28 2022-05-13 北京吉威数源信息技术有限公司 多图层数据融合显示方法、装置、设备及存储介质
WO2023131203A1 (zh) * 2022-01-04 2023-07-13 深圳元戎启行科技有限公司 语义地图更新方法、路径规划方法以及相关装置
CN117576494A (zh) * 2022-08-08 2024-02-20 腾讯科技（深圳）有限公司 特征地图生成方法、装置、存储介质和计算机设备
CN115797585B (zh) * 2022-12-19 2023-08-08 北京百度网讯科技有限公司 一种停车场地图生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022033A1 (ja) 2015-07-31 2017-02-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018124787A (ja) * 2017-01-31 2018-08-09 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP2018173882A (ja) 2017-03-31 2018-11-08 富士通株式会社 情報処理装置、方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
CN103123727B (zh) * 2011-11-21 2015-12-09 联想(北京)有限公司 即时定位与地图构建方法和设备
US9557419B2 (en) * 2012-12-18 2017-01-31 Trimble Inc. Methods for generating accuracy information on an ionosphere model for satellite navigation applications
CN103900583B (zh) * 2012-12-25 2018-02-27 联想(北京)有限公司 用于即时定位与地图构建的设备和方法
CN103559498A (zh) * 2013-09-24 2014-02-05 北京环境特性研究所 基于多特征融合的快速人车目标分类方法
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
JP6772000B2 (ja) * 2016-08-26 2020-10-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10422639B2 (en) * 2016-12-30 2019-09-24 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
WO2018136996A1 (en) * 2017-01-24 2018-08-02 Pangaea Innovations Pty Ltd Digital earth framework and indexing schema to extend any "surface" discrete global grid system to construct interoperable "volumetric" discrete global grid systems
CN107025668B (zh) * 2017-03-30 2020-08-18 华南理工大学 一种基于深度相机的视觉里程计的设计方法
US10990829B2 (en) * 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
CN107741233A (zh) * 2017-11-10 2018-02-27 邦鼓思电子科技（上海）有限公司 一种三维室外地图的构建方法
CN108665540A (zh) * 2018-03-16 2018-10-16 浙江工业大学 基于双目视觉特征和imu信息的机器人定位与地图构建***
CN110555883B (zh) * 2018-04-27 2022-07-22 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022033A1 (ja) 2015-07-31 2017-02-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018124787A (ja) * 2017-01-31 2018-08-09 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP2018173882A (ja) 2017-03-31 2018-11-08 富士通株式会社 情報処理装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Georges Younes et al, Keyframe-based monocular SLAM: design, survey, and future directions, ARXIV.ORG, CORNELL UNIVERSITY, 25pages, 7 Jan. 2018(2018.01.07.) 1부.*

Also Published As

Publication number Publication date
WO2020108285A1 (zh) 2020-06-04
CN111260779A (zh) 2020-06-09
EP3876142A4 (en) 2022-01-05
CN111260779B (zh) 2022-12-27
US20210287350A1 (en) 2021-09-16
EP3876142A1 (en) 2021-09-08
KR20210095913A (ko) 2021-08-03

Similar Documents

Publication Publication Date Title
KR102474160B1 (ko) 맵 작성 방법, 장치, 및 시스템, 및 저장 매체
US11835358B2 (en) Method and system for video-based positioning and mapping
US11055921B2 (en) System and method for dense, large scale scene reconstruction
CN108827249B (zh) 一种地图构建方法和装置
KR102103834B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN110176032B (zh) 一种三维重建方法及装置
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN105009120A (zh) 基于客户端-服务器的动态搜索
KR102643425B1 (ko) 차량의 차로변경을 탐지하는 방법과 장치, 전자 기기, 저장 장치, 노변 기기, 클라우드 제어 플랫폼 및 프로그램 제품
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN114969221A (zh) 一种更新地图的方法及相关设备
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及***
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN113984037A (zh) 一种基于任意方向目标候选框的语义地图构建方法
CN110827340B (zh) 地图的更新方法、装置及存储介质
CN116245730A (zh) 图像拼接的方法、装置、设备以及存储介质
CN112184901A (zh) 一种深度图确定方法及装置
Porzi et al. An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone
KR102613590B1 (ko) 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론
CN111737278B (zh) 同时定位与建图方法、***、设备及存储介质
CN116576866B (zh) 导航方法和设备
Novikov et al. Vehicle Geolocalization from Drone Imagery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant