KR102257610B1 - 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법 - Google Patents

자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법 Download PDF

Info

Publication number
KR102257610B1
KR102257610B1 KR1020190122310A KR20190122310A KR102257610B1 KR 102257610 B1 KR102257610 B1 KR 102257610B1 KR 1020190122310 A KR1020190122310 A KR 1020190122310A KR 20190122310 A KR20190122310 A KR 20190122310A KR 102257610 B1 KR102257610 B1 KR 102257610B1
Authority
KR
South Korea
Prior art keywords
plane
lidar sensors
planes
initial
lidar
Prior art date
Application number
KR1020190122310A
Other languages
English (en)
Other versions
KR20210040217A (ko
Inventor
정우진
이현석
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020190122310A priority Critical patent/KR102257610B1/ko
Priority to US17/060,710 priority patent/US11988781B2/en
Publication of KR20210040217A publication Critical patent/KR20210040217A/ko
Application granted granted Critical
Publication of KR102257610B1 publication Critical patent/KR102257610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)

Abstract

본 발명은 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법에 관한 것으로, 각각의 상기 3차원 라이다 센서에 의해 포인트 클라우드가 수집되는 데이터 수집 단계와; 각각의 상기 3차원 라이다 센서의 상기 포인트 클라우드로부터 평면에 해당하는 복수의 대상 평면이 추출되는 평면 추출 단계와; 복수의 상기 3차원 라이다 센서 중 어느 하나의 상기 대상 평면을 기준 평면으로 하여, 나머지 상기 3차원 라이다 센서 각각의 상기 대상 평면 중 각각의 상기 기준 평면과의 유사도에 기반한 대응 평면을 검출하는 대응 평면 검출 단계와; 상호 대응하는 상기 기준 평면과 상기 대응 평면의 평면 파라미터에 기초하여, 상기 기준 평면과 상기 대응 평면 간의 정합을 위한 초기 외부 파라미터를 산출하는 초기 파라미터 산출 단계와; 상기 초기 보정 파리미터를 기반으로, 상호 대응하는 상기 기준 평면과 상기 대응 평면에 대한 측정점의 분산을 최소화시키는 최종 외부 파라미터를 산출하는 최종 파라미터 산출 단계를 포함하는 것을 특징으로 한다.

Description

자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법{EXTRINSIC CALIBRATION METHOD OF PLURALITY OF 3D LiDAR SENSORS FOR AUTONOMOUS NAVIGATION SYSTEM}
본 발명은 복수의 3차원 라이다 센서를 이용한 자율 주행 시스템의 포인트 클라우드 보정 방법에 관한 것으로서, 보다 상세하게는 복수의 3차원 라이다 센서로부터 수집된 포인트 클라우드 간의 상대 위치, 즉 외부 파라미터를 보정하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법에 관한 것이다.
자율 주행 기술은 로봇 및 자동차에 적용되고 있고, 최근 몇 년간 도심 환경에서 주행하는 자율 주행 시스템의 상용화가 가속화되고 있다. 이러한 이유로 시스템 및 사용자의 안전, 그리고 시스템의 위치 인식 정확도 등을 위해 주행 환경의 인식에 대한 중요도가 높아지고 있다. 주변 환경으로부터 최대한 많은 양의 정보를 사각지대 없이 수집하기 위해, 다수의 자율 주행 시스템에서 동일한 종류의 센서를 복수로 사용하거나, 서로 다른 모달리티를 갖는 센서들을 조합하여 센서 시스템을 구성하고 있다.
3차원 라이다 센서는 정확한 거리 측정값과 풍부한 기하학적 정보를 제공하기 때문에 인식을 위해 가장 선호되는 센서들 중 하나이다. 최근 몇 년간 고분해능 및 저분해능 3 차원 라이다 센서의 제품군이 다양해졌으며, 따라서 그에 대한 활용 가치가 높아졌다. 고분해능의 3차원 라이다 센서의 경우 한 대를 이용하여 방대한 양의 포인트 클라우드(Point cloud)를 얻을 수 있다. 하지만, 비싼 가격으로 인해 실제 상용 시스템에 현실적으로 적용하기는 어렵다. 반면, 저분해능의 3차원 라이다 센서는 좁은 시야각을 가지며 낮은 밀도의 포인트 클라우드를 제공하지만 가격이 비교적 저렴한 장점이 있다. 자율주행시스템의 경우 전체 시스템의 가격은 낮추면서 넓은 범위의 환경을 측정하는 것이 실용적이며, 사각지대를 줄이는 센서 시스템이 필요하다. 따라서, 저해상도의 복수의 3차원 라이다 센서가 자율 주행시스템에 자주 사용되고 있다.
복수의 라이다 센서들을 활용하기 위해서는 각 센서들 간의 상대 위치가 정확히 주어져야 한다. 즉, 복수의 라이다 센서의 외부 파라미터 보정이 수행되어야 한다.
다수의 연구에서 한 대 또는 그 이상의 라이다 센서의 외부 파라미터 보정하는 방법을 다루어 왔다. 한 가지 가능한 방법으로 주변 환경에 존재하는 평면, 모서리, 또는 꼭지점 등의 특징 정보를 이용하여 정합하는 방법이 있다. D. G. Choi, Y. Bok, J. S. Kim, 그리고 I. S. Kweon의 논문"Extrinsic Calibration of 2-D Lidars Using Two Orthogonal Planes(IEEE Trans. Robot., vol. 32, no. 1, pp. 83??98, 2016.)"에서는 복수의 2차원 라이다 센서의 외부 파라미터 보정을 다루었다. 이 방법에서는 두 개의 직교 평면을 2차원 라이다 센서들로 측정하고, 측정점의 공통 영역과 직교성을 활용하여 외부 파라미터를 계산하였다.
E. Fernandez-Moral, J. Gonzalez-Jimenez, 그리고 V. Arevalo의 논문 "Extrinsic calibration of 2D laser range finders from perpendicular plane observations(Int. J. Rob. Res., vol. 34, no. 11, pp. 1401-1417, 2015.)"에서는 3개의 2차원 라이다 센서에 대한 외부 파라미터 보정을 위한 방법이 제안되었다. 복수의 라이다가 부착된 센서 프레임을 서로 다른 각도에 위치시켜 공통평면을 검출한다. 복수의 라이다의 측정점이 공통 평면을 이룬다는 구속조건을 이용하였다.
그리고, E. Fernandez-Moral, V. Arevalo, 및 J. Gonzalez-Jimenez의 논문 "Extrinsic calibration of a set of 2D laser range finders(Proc. -IEEE Int. Conf. Robot. Autom., vol. 2015-June, no. June, pp. 2098-2104, 2015.)"에서는 동일한 센서 시스템으로 직교 평면을 측정하여 외부 파라미터 보정을 수행하였다. 직교 평면을 측정할 때 라이다 센서의 측정점으로부터 선분을 검출하고, 선분들이 직교하거나 공통평면을 이룬다는 구속조건을 이용하여 보정을 수행하였다. 2차원 라이다 센서에 대해 좋은 성능을 보였지만 2차원 라이다 센서로 검출되는 직선 벡터를 활용하였다. 3차원 센서로 검출되는 평면 정보를 활용할 수도 있으나, 이는 기법의 상당한 수정을 필요로 한다.
라이다 센서 간의 외부 파라미터를 보정하기 위한 다른 방법으로, 반사 테이프 또는 박스 등 인공 표식을 사용하는 방법이 있다. J. Underwood, A. Hill, 및 S. Scheding의 논문 "Calibration of range sensor pose on mobile platforms(IEEE Int. Conf. Intell. Robot. Syst., pp. 3866-3871, 2007.)"에서는 반사테이프가 붙여진 수직 기둥을 이용하여 복수 라이다의 외부 파라미터를 보정하는 방법을 제안하였다. 평평한 지면에 고정된 기둥 주변으로 차량을 움직이면서 데이터를 수집하였다. 기둥 및 지면에 대한 라이다 측정점으로부터 각각 수평 및 수직 좌표에 대한 비용함수를 정의하고, 이를 최소화하는 센서 사이의 변환을 얻어내었다.
이와 비슷한 방법으로, C. Gao 및 J. R. Spletzer의 논문 "On-line calibration of multiple LIDARs on a mobile vehicle platform(Proc. -IEEE Int. Conf. Robot. Autom., pp. 279-284, 2010.)"에서도 환경에 존재하는 기둥에 반사 테이프를 붙이고, 각 센서로 검출한 반사 테이프를 이용하여 외부 파라미터 보정을 하였다. 특히 상기 연구에서는 비선형인 보정 문제를 second-order cone program(SOCP)으로 근사화하여 해결하였다.
또한, Z. Pusztai, I. Eichhardt, 및 L. Hajder의 논문 "Accurate calibration of multi­lidar-multi-camera systems(Sensors, vol. 18, no. 7, pp. 1-22, 2018.)"에서는, 육면체인 박스를 이용하여 Multi-LiDAR­Multi-Camera의 외부 파라미터 보정을 수행하였다. 박스 상에 있는 3개의 직교 평면을 라이다와 카메라로 측정하고, 박스의 평면과 꼭지점을 검출하였다. 라이다 센서 사이의 상대 좌표 보정의 경우, 각 센서로 검출한 박스의 꼭지점들을 registration 기법으로 정합하였다.
J. Levinson 및 S. Thrun의 논문 "Unsupervised Calibration for Multi-beam Lasers(in Experimental Robotics: The 12th International Sym­posium on Experimental Robotics, O. Khatib, V. Kumar, and G. Sukhatme, Eds. Berlin, Heidelberg: Springer Berlin Heidelberg, 2014, pp. 179-193.)에서는 고분해능의 3차원 라이다 센서의 내부 및 외부 파라미터 보정을 위한 비지도적 보정 방법이 제안되었다. 차량의 움직임에 의해 누적된 포인트 클라우드에서, 국소 공간상의 인접한 측정점들은 평면 위에 있다는 가정 하에 측정점과 국소평면의 오차에 기반한 에너지 함수를 정의하였다. 해당 에너지 함수가 최소화 되는 내부 및 외부 파라미터를 grid search 방법으로 최적화하였다. 이 방법은 별도의 환경 정비없이 차량과 라이다 센서 간 좌표계 보정이 가능하였으나, 복수의 라이다 센서간의 보정에 대한 적용은 고려하지 않았다. 또한 차량의 정확한 궤적을 필요로 하기 때문에 관성 항법 장치와 같이 추가적인 장비가 필요하다.
3차원의 포인트 클라우드의 품질에 기반한 외부 파라미터 보정 연구 또한 존재한다. M. Sheehan, A. Harrison, 및 P. Newman의 논문 "Self-calibration for a 3D laser(Int. J. Rob. Res., vol. 31, no. 5, pp. 675-687, 2012.)에서는 회전하는 3차원 라이다 센서의 내부 파라미터 보정 방법이 개시되었다. 상기 논문에서는 센서로 측정한 포인트 클라우드의 품질을 평가하기 위해 Renyi's Quadratic Entropy (RQE) 기반의 품질함수를 제안하였다. 또한, 해당 품질함수를 최대화하는 라이다 센서들의 내부 및 외부 파라미터를 계산하였다. 또한, 이들의 확정된 연구에서는 라이다 센서 간의 위치 보정 방법이 제안되었다. 차량을 주행하며 2차원 및 3차원 라이다 센서 데이터를 수집하고, 누적된 포인트 클라우드의 품질함수가 최대가 되는 차량 및 라이다 센서들의 외부 파라미터를 계산하였다. 복수의 라이다 센서간의 외부 파라미터 보정이 이루어졌지만, 해당 방법 또한 차량의 정확한 궤적을 필요로 한다.
복수의 3차원 센서들 사이의 상대 변환을 얻기 위해 Iterative Closest Point(ICP) 기법, ICP의 변형기법, 그리고 Normal Distribution Transform(NDT)와 같은포인트 클라우드 등록(Point cloud registration) 방법이 사용될 수 있다.
J. Jeong, Y. Cho, Y. S. Shin, H. Roh, 및 A. Kim의 논문 "Complex Urban LiDAR Data Set(Proc. -IEEE Int. Conf. Robot. Autom., pp. 6344-6351, 2018.)에서는 두 개의 저분해능 라이다 센서의 외부 파라미터 보정을 위해 두 센서의 공통 영역의 데이터에 대해 Generalized ICP를 적용하였다. 이 방법에서 두 라이다 센서는 서로 직각에 가깝게 배치되었다. 따라서 두 센서의 공통 영역이 바닥 및 서로 수직한 벽에 위치하게 한 후, 해당 영역의 포인트 클라우드에 대해 Generalized ICP를 적용하였다.
복수의 라이다 센서, 특히 3차원 라이다 센서를 사용하는데 있어, 외부 파라미터의 보정이 중요한 이유는 다음과 같다.
첫째, 여러 개의 센서가 장착된 자율 주행 시스템을 상용화할 때 많은 수의 시스템을 일괄적으로 보정해야 한다. 둘째, 연구용 플랫폼의 경우 센서 위치의 적절한 구성을 찾도록 조정하는 경우가 많다. 더욱이, 경험상 종종 플랫폼을 검사하거나 센서 시스템을 재구성할 때 센서를 부착하고 분리한다. 따라서 자율 주행 시스템을 작동하기 전에 외부 파라미터의 보정이 선행되어야 한다. 환경 인식의 관점에서, 자율 주행 시스템은 가능하면 적은 수의 센서로 넓은 영역을 커버하는 것이 효율적이다. 이는 같은 종류의 센서를 여러 개 사용할 때 특히 그러하다.
따라서, 다중 라이다 센서는 주행 시스템이 넓은 영역을 측정할 수 있도록 서로 다른 시야를 가지도록 탑재된다. 이러한 배치의 결과로 센서 사이의 겹치는 영역(overlapping regions)은 감소한다. 그러나 외부 파라미터 보정의 관점에서 겹치는 영역이 감소하는 것은 센서 사이의 외부 파라미터를 결정하기 어렵게 만든다.
ICP 변형 기법 및 NDT와 같은 포인트 클라우드 등록 알고리즘은 두 포인트 클라우드 사이의 상대 좌표를 제공한다. 그러나, 환경이 심하게 변경되거나 두 포인트 클라우드의 시점이 크게 다른 경우에는 등록이 실패할 수 있다. 복수의 라이다 센서를 사용할 때, 특히 저해상도 3차원 라이다 센서는, 센서 시야를 매우 다르게 설치하여 넓은 영역을 측정해야 한다. 외적 파라미터 보정의 경우, 다른 시점을 갖는 센서 구성에서는 등록 알고리즘을 사용하기 어렵다.
또한, 인공 보정 물체를 사용한 방법은 물체를 만들고 대상 환경에 배치하는 등 특별한 환경 구성을 필요로 한다. 보정 물체에서 더 많은 데이터를 수집할수록 외부 파라미터의 추정 값은 센서의 측정 불확실성에 대해 더 강인해진다. 따라서 보정 물체는 충분히 크거나, 많은 수의 물체를 배치해야 한다. 그러나 인공 보정 물체는 일반적으로 작기 때문에 물체의 측정점은 라이다 센서가 제공하는 포인트 클라우드의 극히 일부에 불과하다. 결과적으로, 보정 결과는 센서 불확실성에 민감하게 되고. 자동적으로 물체를 감지하지 않고 사용자가 물체의 영역을 설정하는 것이 필요할 때도 있다.
동작 기반 기법은 차량의 정확한 궤적을 요구한다. INS(Inertial Navigation System) 또는 Visual odometry 등으로 궤적을 구할 수 있지만, 시스템의 정확한 궤적을 추정하는 것은 쉬운 작업이 아니다. 따라서 궤적 추정 오차가 외부 파라미터에 대한 추정 오차를 초래할 수 있어 바람직하지 않다.
이에 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로써, 복수의 3차원 라이다 센서들의 외부 파라미터를 보정하는데 있어, 실내 및 실외 환경의 지면, 벽, 기둥과 같은 물체에서 쉽게 찾을 수 있는 평면 형상을 이용하여, 별도의 인공 표식을 배치하는 등의 환경 정비가 필요치 않은 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 상당히 다른 시점을 갖는 3차원 라이다 센서들에 대해서도 강인한 성능을 보장하면서도 평면 형상의 불확식성을 고려하여 최적의 외부 파라미터 보정이 가능한 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법을 제공하는데 또 다른 목적이 있다.
상기 목적은 본 발명에 따라, 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법에 있어서, 각각의 상기 3차원 라이다 센서에 의해 포인트 클라우드가 수집되는 데이터 수집 단계와; 각각의 상기 3차원 라이다 센서의 상기 포인트 클라우드로부터 평면에 해당하는 복수의 대상 평면이 추출되는 평면 추출 단계와; 복수의 상기 3차원 라이다 센서 중 어느 하나의 상기 대상 평면을 기준 평면으로 하여, 나머지 상기 3차원 라이다 센서 각각의 상기 대상 평면 중 각각의 상기 기준 평면과의 유사도에 기반한 대응 평면을 검출하는 대응 평면 검출 단계와; 상호 대응하는 상기 기준 평면과 상기 대응 평면의 평면 파라미터에 기초하여, 상기 기준 평면과 상기 대응 평면 간의 정합을 위한 초기 외부 파라미터를 산출하는 초기 파라미터 산출 단계와; 상기 초기 보정 파리미터를 기반으로, 상호 대응하는 상기 기준 평면과 상기 대응 평면에 대한 측정점의 분산을 최소화시키는 최종 외부 파라미터를 산출하는 최종 파라미터 산출 단계를 포함하는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법에 의해서 달성된다.
여기서, 상기 평면 추출 단계는 기 등록된 평면 추출 알고리즘을 통해 각각의 상기 3차원 라이다 센서에 대한 상기 포인트 클라우드로부터 평면에 해당하는 후보 평면을 추출하는 단계와; 상기 후보 평면 중 기 설정된 평면 조건을 만족시키는 후보 평면을 상기 대상 평면으로 추출하는 단계를 포함할 수 있다.
또한, 상기 평면 추출 알고리즘은 평활화 제약(Smoothness constraint)에 기반한 영역 확장 분할 기법(Region growing segmentation)과 MLESAC(Maximum likelihood estimator Sample consensus) 기법 중 어느 하나를 포함할 수 있다.
그리고, 상기 평면 조건은 수학식
Figure 112019101054342-pat00001
Figure 112019101054342-pat00002
Figure 112019101054342-pat00003
(
Figure 112019101054342-pat00004
은 상기 후보 평면의 평면도이고,
Figure 112019101054342-pat00005
는 기 등록된 기준 평면도이고,
Figure 112019101054342-pat00006
는 상기 후보 평면의 법선 방향의 분산이고,
Figure 112019101054342-pat00007
는 기 등록된 기준 분산값이고,
Figure 112019101054342-pat00008
은 상기 후보 평면을 구성하는 포인트 클라우드의 개수이고,
Figure 112019101054342-pat00009
는 기 등록된 기준 개수이다)로 표현될 수 있다.
그리고, 상기 대응 평면 검출 단계에서 상기 유사도는 평면 파라미터를 이용하여 산출되며; 상기 평면 파라미터는 법선 벡터, 원점과의 거리 및 질량 중심을 포함할 수 있다.
그리고, 상기 대응 평면 검출 단계는 상기 법선 벡터, 상기 원점과의 거리 및 상기 질량 중심을 이용하여 두 평면 사이의 각도, 두 평면 사이의 거리, 및 두 평면 사이의 질량 중심 거리를 유사도 지표로 산출하는 단계와; 상기 유사도 지표의 가중치 합을 두 평면의 상기 정합 오차로 산출하는 단계와; 나머지의 상기 3차원 라이다 센서별로, 각각의 상기 기준 평면과 상기 정합 오차가 가장 작은 하나의 대상 평면을 해당 기준 평면의 대응 평편으로 검출하는 단계를 포함할 수 있다.
그리고, 상기 유사도 지표는 수학식
Figure 112019101054342-pat00010
(
Figure 112019101054342-pat00011
는 두 평면 사이의 각도,
Figure 112019101054342-pat00012
는 두 평면 사이의 거리,
Figure 112019101054342-pat00013
는 두 평면 사이의 질량 중심 거리
Figure 112019101054342-pat00014
,
Figure 112019101054342-pat00015
은 상기 법선 벡터,
Figure 112019101054342-pat00016
는 상기 원점과의 거리
Figure 112019101054342-pat00017
,
Figure 112019101054342-pat00018
는 상기 질량 중심이다)에 의해 산출되며;
상기 정합 오차는 수학식
Figure 112019101054342-pat00019
(
Figure 112019101054342-pat00020
는 상기 기준 평면,
Figure 112019101054342-pat00021
는 나머지의 상기 3차원 라이다 센서의 대상 평면,
Figure 112019101054342-pat00022
는 기 설정된 각각의 상기 유사도 지표의 가중치이다)에 의해 산출될 수 있다.
또한, 상기 초기 외부 파라미터는 초기 회전변환행렬과 초기 병진벡터를 포함하며; 상기 초기 회전변환행렬은
Figure 112019101054342-pat00023
(
Figure 112019101054342-pat00024
는 상기 초기 회전변환행렬이고, 상기 기준 평면과 상기 대응 평면의 법선 벡터의 교차 공분산 행렬
Figure 112019101054342-pat00025
이고, 상기 교차 공분산 행렬의 특이값 분해는
Figure 112019101054342-pat00026
이고,
Figure 112019101054342-pat00027
의 상기 기준 평면과 상기 대응 평면이 쌍의 개수이고,
Figure 112019101054342-pat00028
은 평면의 법선 벡터로 윗 첨자 R은 상기 기준 평면을 나타내고, 윗 첨자 S는 상기 대응 평면을 나타낸다)에 의해 산출되고;
상기 초기 병진 벡터는 수학식
Figure 112019101054342-pat00029
Figure 112019101054342-pat00030
Figure 112019101054342-pat00031
(
Figure 112019101054342-pat00032
는 상기 초기 병진 벡터이고,
Figure 112019101054342-pat00033
는 평면의 질량 중심이고,
Figure 112019101054342-pat00034
는 평면의 원점과의 거리이다)에 의해 산출될 수 있다.
그리고, 상기 초기 파라미터 산출 단계는 상기 정합 오차가 기 설정된 수렴 조건이 만족될 때까지 반복 수행되어 최종적으로 상기 초기 외부 파라미터가 산출될 수 있다.
또한, 상기 최종 파라미터 산출 단계에서는 비용함수
Figure 112019101054342-pat00035
(
Figure 112019101054342-pat00036
는 외부 파라미터의 집합이고,
Figure 112019101054342-pat00037
은 상기 대응 평면의 개수이고,
Figure 112019101054342-pat00038
는 i번째 상기 대응 평면의 측정점의 개수이고,
Figure 112019101054342-pat00039
는 i번째 상기 대응 평면의 가중치로,
Figure 112019101054342-pat00040
이고,
Figure 112019101054342-pat00041
는 i번째 상기 대응 평면의 법선 방향으로의 분산이다)를 최소화시키도록 산출되며;
상기 비용 함수가 Levenberg-Marquardt 기법에 적용되되, 상기 초기 외부 파라미터가 상기 Levenberg-Marquardt 기법의 초기값으로 적용될 수 있다.
상기 구성에 따라 본 발명에 따르면, 복수의 3차원 라이다 센서들의 외부 파라미터를 보정하는데 있어, 실내 및 실외 환경의 지면, 벽, 기둥과 같은 물체에서 쉽게 찾을 수 있는 평면 형상을 이용하여, 별도의 인공 표식을 배치하는 등의 환경 정비가 필요치 않은 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법이 제공된다.
또한, 본 발명에 따르면 상당히 다른 시점을 갖는 3차원 라이다 센서들에 대해서도 강인한 성능을 보장하면서도 평면 형상의 불확식성을 고려하여 최적의 외부 파라미터 보정이 가능한 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법이 제공된다.
도 1은 본 발명에 따른 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법의 개념을 설명하기 위한 도면이고,
도 2는 본 발명에 따른 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법을 나타낸 도면이고,
도 3 내지 도 5는 본 발명에 따른 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법에 따른 보정 과정을 설명하기 위한 도면이고,
도 6 내지 도 10은 본 발명에 따른 복수의 3차원 라이다 센서를 이용한 자율 주행 시스템의 효과를 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 따른 실시예에 대해 상세히 설명한다.
도 1은 본 발명에 따른 자율 주행 시스템을 위한 복수의 3차원 라이다 센서(110,120)의 외부 파라미터 보정의 개념을 설명하기 위한 도면이다. 도 1의 (a)에 도시된 바와 같이, 각각의 3차원 라이다 센서(110,120)는 차량과 같은 자율 주행 시스템에서 서로 다른 위치에 설치되어 상이한 시야로 센싱하여 포인트 클라우드를 수집한다.
이 때, 복수의 3차원 라이다 센서(110,120) 중 기준이 되는 어느 하나(이하, '기준 라이다 센서(110)'라 함)의 좌표계를 {R}로 설정하고, 기준 라이다 센서(110)를 기준으로 나머지의 3차원 라이다 센서(110,120)(이하, '보정 라이다 센서(120)'라 함)의 상대 좌표를 계산하는데, 보정 라이다 센서(120)의 좌표계를 {S}로 정의한다.
본 발명에 따른 외부 파라미터 보정 방법은 {R}과 {S} 사이의 회전변환행렬과 병진벡터를 결정하는 것으로, 회전변환행렬과 병진벡터를 구성하는 요소가 보정 대상인 외부 파라미터가 된다. 도 1의 (b)는 외부 파라미터를 설명하기 위한 도면으로, [수학식 1]과 같이 표현될 수 있다.
[수학식 1]
Figure 112019101054342-pat00042
[수학식 1]의 앞의 3개의 요소가 회전변환행렬을 구성하고, 뒤의 3개의 요소가 병진벡터를 구성하게 된다.
도 2는 본 발명에 따른 자율 주행 시스템을 위한 복수의 3차원 라이다 센서(110,120)의 외부 파라미터 보정 방법을 나타낸 도면이다.
도 2를 참조하여 설명하면, 각각의 3차원 라이다 센서(110,120)의 센싱을 통해, 각각의 3차원 라이다 센서(110,120)에 대한 포인트 클라우드(Point cloud, 이하 동일)가 수집된다(S20). 도 3의 (a)는 실제 주행 환경을 나타낸 사진이고, 도 3의 (b)는 (a)의 주행 환경에서 수집된 포인트 클라우드를 나타낸 도면이다.
그런 다음, 각각의 3차원 라이다 센서(110,120)의 포인트 클라우드로부터 평면에 해당하는 대상 평면을 추출하는 과정이 수행된다(S21).
먼저, 기 등록된 평면 추출 알고리즘을 통해 각각의 3차원 라이다 센서(110,120)에 대한 포인트 클라우드로부터 평면에 해당하는 후보 평면이 추출된다(S211). 본 발명에서는 포인트 클라우드로부터 후보 평면을 추출하는 방법으로 평활화 제약(Smoothness constraint)에 기반한 영역 확장 분할 기법(Region growing segmentation)과 MLESAC(Maximum likelihood estimator Sample consensus) 기법 중 어느 하나가 적용되는 것을 예로 한다.
작은 규모의 실내 환경에서는 주변 구조물과의 거리가 멀지 않기 때문에 3차원 라이다 센서(110,120)의 의해 수집된 평면에 대한 측정점의 밀도가 높다. 이 경우, 인접한 측정점들로부터 계산된 포인트 클라우드의 평활화 제약(Smoothness constraint)에 기반한 영역 확장 분할 기법을 적용할 수 있다. 영역 확장 분할 기법은 측정점의 법선 벡터를 이용하여 매끄러운 면(Smooth surface) 단위로 포인트 클라우드를 분할하게 된다.
반면, 지면이나 실외 환경과 같은 큰 규모의 환경에서 저해상도의 3차원 라이다 센서(110,120)로부터 획득된 포인트 클라우드의 경우, 영역 확장 분할 기법을 이용할 정도로 데이터 양이 충분하지 않을 수 있다. 이 경우, MLESAC(Maximum likelihood estimator Sample consensus) 기법을 이용하여 주어진 환경에서 우세한 평면 특징을 검출할 수 있다. 본 발명에서는 상기 두 가지 평면 추출 알고리즘을 자율 주행 시스템의 주행 환경에 따라 선택적으로 사용하는 것을 예로 한다.
상기와 같은 과정을 통해 각각의 3차원 라이다 센서(110,120)에 대해 후보 평면들이 추출되면(S211), 후보 평면 중 기 설정된 평면 조건을 만족시키는 후보 평면을 보정에 사용될 대상 평면으로 추출한다(S212).
본 발명에서는 대상 평면의 추출에 후보 평면의 점집합의 아이겐밸류(Eigenvalue)를 사용하여 계산한다. 후보 평면의 점집합의 측정점
Figure 112019101054342-pat00043
와, 중심(Centroid)
Figure 112019101054342-pat00044
로 정의하면, 후보 평면을 구성하는 점집합의 공분산 행렬은 [수학식 2]를 통해 계산된다.
[수학식 2]
Figure 112019101054342-pat00045
특이값 분해에 의한 공분산 행렬의 아이겐벡터(Eigenvector)는 점집합의 주성분 축을 의미하며, 아이겐밸류는 대응되는 주성분 축에 대한 분산을 나타낸다. 아이겐밸류
Figure 112019101054342-pat00046
를 이용하여 평면 세그먼트를 검출할 수 있다.
여기서, 평면에 해당하는 포인트 클라우드의 아이겐밸류는
Figure 112019101054342-pat00047
특징을 갖는데, 후보 평면의 평면성(Planarity)은 [수학식 3]과 같이 정의될 수 있다.
[수학식 3]
Figure 112019101054342-pat00048
본 발명에서는 평면 조건이 [수학식 4]에 해당하는 경우, 해당 후보 평면이 평면 조건을 만족시키는 것으로 판단하는 것을 예로 한다.
[수학식 4]
Figure 112019101054342-pat00049
Figure 112019101054342-pat00050
Figure 112019101054342-pat00051
즉, 후보 평면의 평면도가 기준 평면도
Figure 112019101054342-pat00052
이상이고, 후보 평면의 법선 방향의 분산
Figure 112019101054342-pat00053
이 기준 분산값
Figure 112019101054342-pat00054
이상이고, 후보 평면을 구성하는 포인트 클라우드의 개수
Figure 112019101054342-pat00055
이 기준 개수
Figure 112019101054342-pat00056
이상인 경우, 평면 조건을 만족하는 것으로 평가될 수 있다.
도 4는 본 발명에 따른 외부 파라미터 보정 방법을 통해 도 3의 (b)의 포인트 클라우드로부터 추출된 대상 평면의 예를 나타낸 도면이다.
상기와 같이, 각각의 3차원 라이다 센서(110,120)에 대한 대상 평면들이 추출되면, 복수의 3차원 라이다 센서(110,120) 중 어느 하나, 즉, 상술한 기준 라이다 센서(110)의 대상 편면을 기준 평면으로 하여, 나머지의 3차원 라이다 센서(110,120), 즉 상술한 보정 라이다 센서(120) 각각의 대상 평면 중 기준 평면과의 유사도에 기반한 대응 평면을 검출한다(S22).
기준 라이다 센서(110)와 보정 라이다 센서(120)가 비슷한 위치에 있는 경우, 평면 사이의 각도 및 거리 유사도 만으로 한 번에 대응 평면의 검출이 가능할 것이다. 하니만, 센서의 초기 상대 좌표계정보가 없거나, 모델링 포즈의 오차가 큰 경우 대응 평면을 한 번에 정확하게 얻기는 현실적으로 어렵다. 또한, 라이다 센서들의 시야(Point of view)가 상당히 다른 경우에, 동일한 평면을 측정하더라도 각각의 라이다 센서로 측정한 평면의 크기와 위치가 다르게 된다.
이에, 본 발명에서는 평면 파라미터를 이용하여 평면의 반복적인 정합을 통해 초기 외부 파라미터를 산출한다.
보다 구체적으로 설명하면, 평면 파라미터를 이용하여 평면 간의 유사도를 산출하고, 유사도가 가장 높은 평면을 상호 대응하는 대응 평면으로 검출하는데, 상술한 바와 같이, 각각의 보정 라이다 센서(120)의 대상 평면들 중 각각의 기준 평면에 대응하는 대응 평면을 검출하게 된다.
본 발명에서는 기준 평면을
Figure 112019101054342-pat00057
이라 하고, 보정 라이다 센서(120)의 대상 평면을
Figure 112019101054342-pat00058
라 정의하고, 평면 파라미터로 법선 벡터
Figure 112019101054342-pat00059
, 원점과의 거리
Figure 112019101054342-pat00060
및 질량 중심
Figure 112019101054342-pat00061
로 설정한다. 따라서, 기준 평면과 보정 라이다 센서(120)의 대상 평면의 평면 파라미터는 각각
Figure 112019101054342-pat00062
및
Figure 112019101054342-pat00063
로 정의될 수 있다. 도 5는 본 발명에 따른 외부 파라미터 보정 방법에서 평면 파라미터의 개념을 설명하기 위한 도면이다.
그리고, 법선 벡터, 원점과의 거리 및 질량 중심을 이용하여 두 평면 사이의 각도
Figure 112019101054342-pat00064
, 두 평면 사이의 거리
Figure 112019101054342-pat00065
, 및 두 평면 사이의 질량 중심 거리
Figure 112019101054342-pat00066
를 유사도 지표로 산출한다. 유사도 지표는 [수학식 5]에 나타난 바와 같다.
[수학식 5]
Figure 112019101054342-pat00067
그리고, 유사도 지표의 가중치 합을 두 평면 간의 정합 오차로 산출하는데, 이는 [수학식 6]과 같이 나타낼 수 있다.
[수학식 6]
Figure 112019101054342-pat00068
여기서,
Figure 112019101054342-pat00069
는 기 설정된 각각의 유사도 지표의 가중치이다.
상기와 같은 정합 오차는 모든 기준 평면과 각각의 보정 라이다 센서(120)의 대상 평면에 대해 수행되며, 하나의 기준 평면에 대해 정합 오차가 최소가 되는 대상 평면이 대응 평면을 검출된다. 여기서, 각각의 보정 라이다 센서(120)별로 기준 평면에 대한 대응 평면이 검출되어, 각각의 보정 라이다 센서(120)별로 후술할 외부 파라미터의 보정이 진행된다. 이하에서는 설명의 편의를 위해 하나의 보정 라이다 센서(120)를 기준으로 설명한다. 또한, 특정 기준 평면에 대해 하나의 보정 라이다 센서(120)의 대상 평면들 각각 정합 오차가 모두 기 설정된 임계값 이상일 경우 해당 기준 평면에 대해서는 대응 평면이 존재하지 않은 것으로 판단하여 이를 제외할 수 있다.
상기와 같이, 기준 라이다 센서(110)의 기준 평면에 각각 대응하는 보정 라이다 센서(120)의 대상 평면의 검출이 완료되면, 기준 평면과 대응 평면의 평면 파라미터에 기초하여, 기준 평면과 대응 평면 간의 정합, 즉 상대 좌표 변환을 위한 초기 외부 파라미터가 산출된다(S23).
기준 평면과 대응 평면의 개수를
Figure 112021015542644-pat00070
개라 가정하면, 기준 평면과 대응 평면은 각각
Figure 112021015542644-pat00071
및
Figure 112021015542644-pat00072
(
Figure 112021015542644-pat00073
)로 나타낼 수 있다. 그리고 기준 평면과 대응 평면의 평면 파라미터를 이용하여 상대 좌표 변환을 위한 초기 외부 파라미터
Figure 112021015542644-pat00074
가 산출된다. 여기서,
Figure 112021015542644-pat00075
가 초기 외부 파라미터를 구성하는 초기 회전변환행렬이고,
Figure 112021015542644-pat00076
가 초기 외부 파라미터를 구성하는 초기 병진벡터이다.
기준 평면과 대응 평면이 정합되기 위한 구속 조건은 [수학식 7]과 [수학식 8]에 나타낸 바와 같다.
[수학식 7]
Figure 112019101054342-pat00077
[수학식 8]
Figure 112019101054342-pat00078
회전변환행렬
Figure 112019101054342-pat00079
을 산출하기 위해, [수학식 7]의 구속 조건이 이용되는데, 주어진
Figure 112019101054342-pat00080
쌍의 기준 평면과 대응 평면에 대하여, 법선 벡터
Figure 112019101054342-pat00081
의 구속 조건을 만족하는 초기 회전변환행렬은 [수학식 9]를 최소화시킴으로써 산출 가능하다.
[수학식 9]
Figure 112019101054342-pat00082
[수학식 9]는 Kabsch 알고리즘에 의해 닫힌 형태 해(Closed-form solution)을 갖는데, 기준 평면과 대응 평면의 법선 벡터들의 교차 공분산 행렬을
Figure 112019101054342-pat00083
로 정의하고, 교차 공분산 행렬의 특이값 분해(Singular Value Decomposition, SVD)을
Figure 112019101054342-pat00084
라 할 때 초기 회전변환행렬은 [수학식 10]을 통해 산출된다.
[수학식 10]
Figure 112019101054342-pat00085
한편, 초기 병진벡터는 [수학식 8]의 구속 조건을 누적한 선형 시스템에 의해서 산출된다. 이는 [수학식 11]과 같이 표현할 수 있다.
[수학식 11]
Figure 112019101054342-pat00086
[수학식 11]에 나타낸 선형 시스템에 대한 최소 자승 해(Least square solution)는 [수학식 12]와 같이 나타낼 수 있다.
[수학식 12]
Figure 112019101054342-pat00087
여기서, [수학식 10]에서 초기 회전변환행렬에 대한 유일한 해를 얻기 위해, 교차 공분산 행렬
Figure 112019101054342-pat00088
의 랭크(Rank)는 3이여야 한다. 마찬가지로, 병진벡터에 대해 유일한 행를 얻기 위해서, [수학식 11]의 법선 벡터의 세트
Figure 112019101054342-pat00089
는 가역 행렬이여야 한다. 즉,
Figure 112019101054342-pat00090
의 랭크(Rank) 또한 3이여야 한다. 따라서, 두 개의 3차원 라이다 센서(110,120) 간의 상대 좌표 연산을 위해서는 3개 이상의 평행하지 않은 평면이 존재하여야 한다.
본 발명에서는 초기 외부 파라미터를 산출하는 과정이, [수학식 6]의 정합 오차가 기 설정된 수렴 조검이 만족될 때까지 반복 수행되어 최종적으로 초기 외부 파라미터가 산출되는 것을 예로 한다(S24).
예컨대, k 번째의 반복에서 정합 오차와 k-1 번째 반복에서의 정합 오차 간의 편차가 기 설정된 임계치 이하로 작아지면 반복 과정을 종료하고, 이 때의 초기 외부 파라미터를 최종적인 초기 외부 파라미터로 결정할 수 있다(S25).
상기와 같이, 초기 외부 파라미터, 즉, 초기 회전변환행렬
Figure 112021015542644-pat00091
와 초기 병진벡터
Figure 112021015542644-pat00092
가 산출되면, 기준 평면과 대응 평면의 측정점을 이용하여 최적화 과정이 진행된다.
여기서. [수학식 8]의 구속 조건에서 질량 중심
Figure 112019101054342-pat00093
를 대신하여, 모든 측정점
Figure 112019101054342-pat00094
를 대입하여 각각의 기준 평면 및 대응 평면에 대한 측정점의 분산을 계산한다. 모든 기준 평면과 대응 평면 쌍에 대한 축정점의 분산이 최소화되도록 하기 위한 기준 평면과 대응 평면 사이의 최적 변환은 [수학식 13]에 나타낸 비용함수를 최소화함으로써 산출될 수 있다.
[수학식 13]
Figure 112019101054342-pat00095
[수학식 13]에서
Figure 112019101054342-pat00096
는 외부 파라미터의 집합으로 상술한 바와 같이,
Figure 112019101054342-pat00097
이다. 그리고,
Figure 112019101054342-pat00098
은 상술한 바와 같이, 대응 평면의 개수이고,
Figure 112019101054342-pat00099
는 i번째 대응 평면의 측정점의 개수이다.
Figure 112019101054342-pat00100
는 i번째 대응 평면의 가중치로,
Figure 112019101054342-pat00101
이고,
Figure 112019101054342-pat00102
는 i번째 대응 평면의 법선 방향으로의 분산이다. 이는 분산이 클 경우 평면 정보가 불확실하다고 가정하여 외부 파라미터를 계산할 때 낮은 가중치를 부여하는 것이다.
비선형 최소 자승 문제를 풀기 위해, 본 발명에서는 Levenberg-Marquardt 기법을 적용한다. Levenberg-Marquardt 기법은 주어진 에러 함수(Error function)이 최소화되도록 외부 파라미터
Figure 112019101054342-pat00103
의 추정치를 반복적으로 갱신한다.
Figure 112019101054342-pat00104
가 되는 편차
Figure 112019101054342-pat00105
를 정의하면, 외부 파라미터의 업데이트를 위한 자코비안 행렬(Jacobian matrix)은 [수학식 14]와 같이 나타낼 수 있다.
[수학식 14]
Figure 112019101054342-pat00106
[수학식 14]에서 자코비안 행령은
Figure 112019101054342-pat00107
의 길이이며, 차원은 외부 파라미터 집합과 같이 6이 된다. 여기서, 상술한 과정에서 산출된 초기 회전변환행렬과 병진벡터로부터 얻은 초기 외부 파라미터를 초기값으로 설정하게 된다. 각각의 Levenberg-Marquardt 기법의 반복 과정에서 업데이트되는 외부 파라미터는 [수학식 15]와 같이 나타낼 수 있다.
[수학식 15]
Figure 112019101054342-pat00108
상기와 같은 업데이트 과정을 통해 최종적으로 최종 외부 파라미터가 산출 가능하게 된다(S26).
이하에서는, 본 발명에 따른 외부 파라미터 보정 방법의 효과를 설명하기 위한 실험 결과에 대해, 도 6 내지 도 10을 참조하여 설명한다.
실험은 2 개의 3차원 라이다 센서(110,120)를 부착한 로봇을 이용하여 진행되었다. 실험은 도 3의 (a)에 도시된 환경에서 진행되었다. 2개의 3차원 라이다 센서(110,120) 중 하나를 1.9m 높이에 수평으로 설치하고, 다른 하나는 1.4m 높이에 지면을 향하도록 22.5도 기울여 설치하였다.
상단의 3차원 라이다 센서(110,120)를 기준 라이다 센서(110)로 설정하고, 하단의 3차원 라이다 센서(110,120)를 보정 라이다 센서(120)로 설정하여 실험을 진행하였다. 도 6의 (a) 및 (b)는 각각 기준 라이다 센서(110)와 보정 라이다 센서(120)에 의해 수집된 미가공 데이터를 나타낸 도면이다. 도 6에 도시된 바와 같이, 설치 위치와 시야 각도에 따라 두 데이터가 서로 상이하게 나타남을 확인할 수 있다.
도 7의 (a) 및 (b)는 본 발명에 따른 외부 파라미터 보정 방법을 통해 추출된 대상 평면을 나타낸 도면이다. 도 7에서는 도 6에 도시된 포인트 클라우드 중 평면으로 인식된 부분, 즉 대상 평면 만을 특정 색으로 표현한 것이다.
도 8의 (a) 및 (b)는 본 발명에 따른 외부 파라미터 보정 방법에서 기준 평면을 기준으로 대응 평면을 추출한 결과를 나타낸 도면이다. 상호 대응하는 기준 평면과 대응 평면은 동일한 색상으로 표현하였다. 여기서, 도 9의 (a)에 도시된 대상 평면 중 상술한 바와 같이, 대응 평면이 존재하지 않는 경우에는 제거됨을 확인할 수 있다.
상기와 같은 과정을 통해 최종적으로 산출된 외부 파라미터에 의해 보정 라이다 센서(120)의 포인트 클라우드를 보정한 결과는 도 9 및 도 10에 도시된 바와 같다. 도 9는 정면을 촬영한 것이고, 도 10은 측면을 촬영한 것이다.
도 9의 (a) 및 도 10의 (a)을 통해 보정 전의 두 라이다 센서의 포인트 클라우드가 서로 매칭되지 않음을 확인할 수 있으며, 보정 후에 도 9의 (b) 및 도 10의 (b)에 도시된 바와 같이 매칭됨을 확인할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
110 : 기준 라이다 센서 120 : 보정 라이다 센서

Claims (10)

  1. 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법에 있어서,
    각각의 상기 3차원 라이다 센서에 의해 포인트 클라우드가 수집되는 데이터 수집 단계와;
    각각의 상기 3차원 라이다 센서의 상기 포인트 클라우드로부터 평면에 해당하는 복수의 대상 평면이 추출되는 평면 추출 단계와;
    복수의 상기 3차원 라이다 센서 중 어느 하나의 상기 대상 평면을 기준 평면으로 하여, 나머지 상기 3차원 라이다 센서 각각의 상기 대상 평면 중 각각의 상기 기준 평면과의 유사도에 기반한 대응 평면을 검출하는 대응 평면 검출 단계와;
    상호 대응하는 상기 기준 평면과 상기 대응 평면의 평면 파라미터에 기초하여, 상기 기준 평면과 상기 대응 평면 간의 정합을 위한 초기 외부 파라미터를 산출하는 초기 파라미터 산출 단계와;
    상기 초기 외부 파리미터를 기반으로, 상호 대응하는 상기 기준 평면과 상기 대응 평면에 대한 측정점의 분산을 최소화시키는 최종 외부 파라미터를 산출하는 최종 파라미터 산출 단계를 포함하는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  2. 제1항에 있어서,
    상기 평면 추출 단계는
    기 등록된 평면 추출 알고리즘을 통해 각각의 상기 3차원 라이다 센서에 대한 상기 포인트 클라우드로부터 평면에 해당하는 후보 평면을 추출하는 단계와;
    상기 후보 평면 중 기 설정된 평면 조건을 만족시키는 후보 평면을 상기 대상 평면으로 추출하는 단계를 포함하는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  3. 제2항에 있어서,
    상기 평면 추출 알고리즘은 평활화 제약(Smoothness constraint)에 기반한 영역 확장 분할 기법(Region growing segmentation)과 MLESAC(Maximum likelihood estimator Sample consensus) 기법 중 어느 하나를 포함하는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  4. 제2항에 있어서,
    상기 평면 조건은 수학식
    Figure 112019101054342-pat00109

    Figure 112019101054342-pat00110

    Figure 112019101054342-pat00111

    (
    Figure 112019101054342-pat00112
    은 상기 후보 평면의 평면도이고,
    Figure 112019101054342-pat00113
    는 기 등록된 기준 평면도이고,
    Figure 112019101054342-pat00114
    는 상기 후보 평면의 법선 방향의 분산이고,
    Figure 112019101054342-pat00115
    는 기 등록된 기준 분산값이고,
    Figure 112019101054342-pat00116
    은 상기 후보 평면을 구성하는 포인트 클라우드의 개수이고,
    Figure 112019101054342-pat00117
    는 기 등록된 기준 개수이다)로 표현되는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  5. 제1항에 있어서,
    상기 대응 평면 검출 단계에서 상기 유사도는 평면 파라미터를 이용하여 산출되며;
    상기 평면 파라미터는 법선 벡터, 원점과의 거리 및 질량 중심을 포함하는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  6. 제5항에 있어서,
    상기 대응 평면 검출 단계는
    상기 법선 벡터, 상기 원점과의 거리 및 상기 질량 중심을 이용하여 두 평면 사이의 각도, 두 평면 사이의 거리, 및 두 평면 사이의 질량 중심 거리를 유사도 지표로 산출하는 단계와;
    상기 유사도 지표의 가중치 합을 두 평면의 정합 오차로 산출하는 단계와;
    나머지의 상기 3차원 라이다 센서별로, 각각의 상기 기준 평면과 상기 정합 오차가 가장 작은 하나의 대상 평면을 해당 기준 평면의 대응 평편으로 검출하는 단계를 포함하는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  7. 제6항에 있어서,
    상기 유사도 지표는 수학식
    Figure 112019101054342-pat00118

    (
    Figure 112019101054342-pat00119
    는 두 평면 사이의 각도,
    Figure 112019101054342-pat00120
    는 두 평면 사이의 거리,
    Figure 112019101054342-pat00121
    는 두 평면 사이의 질량 중심 거리
    Figure 112019101054342-pat00122
    ,
    Figure 112019101054342-pat00123
    은 상기 법선 벡터,
    Figure 112019101054342-pat00124
    는 상기 원점과의 거리
    Figure 112019101054342-pat00125
    ,
    Figure 112019101054342-pat00126
    는 상기 질량 중심이다)에 의해 산출되며;
    상기 정합 오차는 수학식
    Figure 112019101054342-pat00127

    (
    Figure 112019101054342-pat00128
    는 상기 기준 평면,
    Figure 112019101054342-pat00129
    는 나머지의 상기 3차원 라이다 센서의 대상 평면,
    Figure 112019101054342-pat00130
    는 기 설정된 각각의 상기 유사도 지표의 가중치이다)에 의해 산출되는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  8. 제7항에 있어서,
    상기 초기 외부 파라미터는 초기 회전변환행렬과 초기 병진벡터를 포함하며;
    상기 초기 회전변환행렬은
    Figure 112019101054342-pat00131

    (
    Figure 112019101054342-pat00132
    는 상기 초기 회전변환행렬이고, 상기 기준 평면과 상기 대응 평면의 법선 벡터의 교차 공분산 행렬
    Figure 112019101054342-pat00133
    이고, 상기 교차 공분산 행렬의 특이값 분해는
    Figure 112019101054342-pat00134
    이고,
    Figure 112019101054342-pat00135
    의 상기 기준 평면과 상기 대응 평면이 쌍의 개수이고,
    Figure 112019101054342-pat00136
    은 평면의 법선 벡터로 윗 첨자 R은 상기 기준 평면을 나타내고, 윗 첨자 S는 상기 대응 평면을 나타낸다)에 의해 산출되고;
    상기 초기 병진 벡터는 수학식
    Figure 112019101054342-pat00137

    Figure 112019101054342-pat00138

    Figure 112019101054342-pat00139

    (
    Figure 112019101054342-pat00140
    는 상기 초기 병진 벡터이고,
    Figure 112019101054342-pat00141
    는 평면의 질량 중심이고,
    Figure 112019101054342-pat00142
    는 평면의 원점과의 거리이다)에 의해 산출되는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  9. 제8항에 있어서,
    상기 초기 파라미터 산출 단계는 상기 정합 오차가 기 설정된 수렴 조건이 만족될 때까지 반복 수행되어 최종적으로 상기 초기 외부 파라미터가 산출되는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
  10. 제8항에 있어서,
    상기 최종 파라미터 산출 단계에서는 비용함수
    Figure 112019101054342-pat00143

    (
    Figure 112019101054342-pat00144
    는 외부 파라미터의 집합이고,
    Figure 112019101054342-pat00145
    은 상기 대응 평면의 개수이고,
    Figure 112019101054342-pat00146
    는 i번째 상기 대응 평면의 측정점의 개수이고,
    Figure 112019101054342-pat00147
    는 i번째 상기 대응 평면의 가중치로,
    Figure 112019101054342-pat00148
    이고,
    Figure 112019101054342-pat00149
    는 i번째 상기 대응 평면의 법선 방향으로의 분산이다)
    를 최소화시키도록 산출되며;
    상기 비용 함수가 Levenberg-Marquardt 기법에 적용되되, 상기 초기 외부 파라미터가 상기 Levenberg-Marquardt 기법의 초기값으로 적용되는 것을 특징으로 하는 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법.
KR1020190122310A 2019-10-02 2019-10-02 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법 KR102257610B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190122310A KR102257610B1 (ko) 2019-10-02 2019-10-02 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법
US17/060,710 US11988781B2 (en) 2019-10-02 2020-10-01 Extrinsic calibration method of multiple 3D LiDAR sensors for autonomous navigation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190122310A KR102257610B1 (ko) 2019-10-02 2019-10-02 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법

Publications (2)

Publication Number Publication Date
KR20210040217A KR20210040217A (ko) 2021-04-13
KR102257610B1 true KR102257610B1 (ko) 2021-05-28

Family

ID=75275057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190122310A KR102257610B1 (ko) 2019-10-02 2019-10-02 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법

Country Status (2)

Country Link
US (1) US11988781B2 (ko)
KR (1) KR102257610B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021002158A1 (de) * 2021-04-23 2022-10-27 Daimler Truck AG Verfahren und Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems
CN113391299B (zh) * 2021-04-30 2023-09-22 深圳市安思疆科技有限公司 一种扫描面阵激光雷达的参数标定方法和装置
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
CN113418418B (zh) * 2021-06-23 2023-04-18 西安工业大学 光电探测靶的自动化标定***和方法
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
CN113589263B (zh) * 2021-08-06 2023-10-31 北京易航远智科技有限公司 一种多个同源传感器联合标定方法及***
CN113640756B (zh) * 2021-08-11 2024-05-17 北京航迹科技有限公司 一种数据标定方法、***、装置、计算机程序以及存储介质
CN113655453B (zh) * 2021-08-27 2023-11-21 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆
CN113866747B (zh) * 2021-10-13 2023-10-27 上海师范大学 一种多激光雷达的标定方法及装置
DE102021134371A1 (de) * 2021-12-22 2023-06-22 Jungheinrich Aktiengesellschaft Verfahren zum Bestimmen einer relativen Anbauposition einer ersten Sensoreinheit in Bezug auf eine zweite Sensoreinheit an einem Flurförderzeug
CN114488097A (zh) * 2022-01-26 2022-05-13 广州小鹏自动驾驶科技有限公司 激光雷达的外参标定方法、计算机设备及计算机存储介质
CN114646932B (zh) * 2022-05-23 2022-10-21 深圳元戎启行科技有限公司 基于外置雷达的雷达外参标定方法、装置和计算机设备
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물
KR102525568B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 반사판을 이용한 원거리 라이다 위치 보정 시스템 및 방법
CN115877349B (zh) * 2023-02-20 2023-05-23 北京理工大学 一种基于激光雷达的交叉路口车辆定位方法及***
CN116148822B (zh) * 2023-03-28 2023-11-03 安徽海博智能科技有限责任公司 一种应用于露天矿山无人驾驶的多激光雷达自动标定方法
CN116772887B (zh) * 2023-08-25 2023-11-14 北京斯年智驾科技有限公司 一种车辆航向初始化方法、***、装置和可读存储介质
CN117129979B (zh) * 2023-10-25 2024-02-13 深圳市迅龙软件有限公司 一种基于机器学习模型的激光雷达标定方法及***
CN117671013B (zh) * 2024-02-01 2024-04-26 安徽蔚来智驾科技有限公司 点云定位方法、智能设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510559A (ja) * 2006-10-30 2010-04-02 テレ アトラス ベスローテン フエンノートシャップ 地上モバイルマッピングデータからオブジェクトを検出する方法及び装置
KR101569654B1 (ko) * 2015-06-12 2015-11-16 (주)선운 이앤지 지상라이다를 이용한 가공송전철탑 기초의 변위 및 각입측정과 분석방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232355A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
KR101105361B1 (ko) * 2009-09-10 2012-01-16 서울시립대학교 산학협력단 영상데이터와 라이다데이터의 기하학적 정합방법 및 그 장치
KR101392804B1 (ko) * 2012-07-25 2014-05-08 연세대학교 산학협력단 지상 라이다에서 취득된 포인트 클라우드 기반의 실내공간 3차원 모델 추출 방법 및 이를 구현하기 위한 프로그램이 기록된 기록매체
KR101869605B1 (ko) * 2016-09-29 2018-06-21 전자부품연구원 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20180099090A (ko) 2017-02-28 2018-09-05 전자부품연구원 자율 주행 차량을 위한 다중 라이다 신호 융합 장치
KR101931564B1 (ko) * 2017-03-03 2018-12-24 한국과학기술원 영상 정합을 이용한 영상 처리 장치 및 방법
KR102063534B1 (ko) 2017-11-30 2020-01-09 주식회사 모빌테크 라이다를 이용한 지도 생성 방법
KR102167847B1 (ko) * 2018-01-15 2020-10-20 주식회사 스트리스 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510559A (ja) * 2006-10-30 2010-04-02 テレ アトラス ベスローテン フエンノートシャップ 地上モバイルマッピングデータからオブジェクトを検出する方法及び装置
KR101569654B1 (ko) * 2015-06-12 2015-11-16 (주)선운 이앤지 지상라이다를 이용한 가공송전철탑 기초의 변위 및 각입측정과 분석방법

Also Published As

Publication number Publication date
US20210103040A1 (en) 2021-04-08
KR20210040217A (ko) 2021-04-13
US11988781B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
KR102257610B1 (ko) 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법
CN113781582B (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
EP2990828B1 (en) Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and program therefor
CN102472609B (zh) 位置和姿势校准方法及设备
US7446766B2 (en) Multidimensional evidence grids and system and methods for applying same
US8340818B2 (en) Method of accurate mapping with mobile robots
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN107741234A (zh) 一种基于视觉的离线地图构建及定位方法
CN105469405A (zh) 基于视觉测程的同时定位与地图构建方法
KR20190064311A (ko) 라이다를 이용한 지도 생성 방법 및 장치
CN108332752B (zh) 机器人室内定位的方法及装置
KR102083911B1 (ko) 점군을 포함하는 라이다 지도 생성 방법
CN103257342A (zh) 三维激光传感器与二维激光传感器的联合标定方法
CN112444246B (zh) 高精度的数字孪生场景中的激光融合定位方法
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及***
CN112837352A (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
Forsman et al. 3-D mapping of natural environments with trees by means of mobile perception
Gonzalez et al. A mobile robot iconic position estimator using a radial laser scanner
Tong et al. A self-calibrating 3D ground-truth localization system using retroreflective landmarks
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、***及电子设备
KR102083913B1 (ko) 라이다를 이용한 지도 생성 장치
Geva et al. Estimating camera pose using bundle adjustment and digital terrain model constraints
Ölmez et al. Metric scale and angle estimation in monocular visual odometry with multiple distance sensors
Montijano et al. Fast pose estimation for visual navigation using homographies
Shen et al. P‐2.11: Research on Scene 3d Reconstruction Technology Based on Multi‐sensor Fusion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant