KR20220075481A - Method and device for online calibration between LiDAR sensor and camera - Google Patents
Method and device for online calibration between LiDAR sensor and camera Download PDFInfo
- Publication number
- KR20220075481A KR20220075481A KR1020200163582A KR20200163582A KR20220075481A KR 20220075481 A KR20220075481 A KR 20220075481A KR 1020200163582 A KR1020200163582 A KR 1020200163582A KR 20200163582 A KR20200163582 A KR 20200163582A KR 20220075481 A KR20220075481 A KR 20220075481A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- lidar
- image
- feature
- camera image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Manufacturing & Machinery (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
라이다 센서와 카메라 간 온라인 캘리브레이션 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 캘리브레이션 방법은, 카메라 영상을 획득하여 정해진 형태의 지물을 추출하고, 라이다 영상을 획득하여 정해진 형태의 지물을 추출하며, 추출한 지물들의 외형들을 비교하여 카메라와 라이다 간 위치와 자세의 오차를 보정한다. 이에 의해, 형태가 미리 정해져 있고 알려져 있는 지물을 이용하여, 라이다-카메라 간 기하학적 오차를 계산하고 온라인으로 보정함으로써, 수정이 필요한 캘리브레이션 값을 간편하게 자동으로 보정할 수 있게 된다.A method and apparatus for online calibration between a lidar sensor and a camera are provided. The calibration method according to an embodiment of the present invention obtains a camera image and extracts a feature of a predetermined shape, extracts a feature of a predetermined shape by obtaining a lidar image, and compares the appearances of the extracted features between the camera and the lidar Correct position and posture errors. Thereby, by using a feature whose shape is determined in advance and known, the geometric error between the lidar-camera is calculated and online corrected, thereby making it possible to easily and automatically correct the calibration value that needs to be corrected.
Description
본 발명은 센서 캘리브레이션 기술에 관한 것으로, 더욱 상세하게는 한 대 이상의 카메라와 한 대 이상의 라이다 센서가 동시에 사용되는 장치(예: 자율주행 자동차)에서 기구적인 흔들림이나 뒤틀림에 의해 발생하는 기하학적 오차를 보정하는 방법 및 장치에 관한 것이다.The present invention relates to a sensor calibration technology, and more particularly, to correct geometrical errors caused by mechanical shaking or distortion in devices (eg, autonomous vehicles) in which one or more cameras and one or more LiDAR sensors are used at the same time. It relates to a method and apparatus for calibrating.
센서 캘리브레이션(calibration) 과정은 카메라 간 또는 카메라와 센서 간의 위치/자세 정보를 추정하는 과정으로 센서 정보 융합을 위해 반드시 선행되어야 하는 과정이다.The sensor calibration process is a process of estimating position/posture information between cameras or between a camera and a sensor, which must be preceded for fusion of sensor information.
기존에는 이와 같은 캘리브레이션을 제품을 생산하는 단계에서 수행 한 뒤, 고정된 캘리브레이션 수치 값을 사용하는 형태였다고 할 수 있다.In the past, it can be said that this type of calibration was performed at the stage of product production, and then a fixed calibration numerical value was used.
하지만, 센서의 위치는 시간이 지남에 따라 여러 가지 요인에 의해 미묘하게 달라질 수 있으며 이와 같은 차이는 센서 융합 후 사용되는 알고리즘에까지 큰 영향을 미칠 수 있다.However, the position of the sensor can be subtly changed over time depending on various factors, and such a difference can have a significant impact on the algorithm used after sensor fusion.
캘리브레이션은 전문가에 의해 수행되어야 하므로 사용자 입장에서는 번거롭고 불편할 수 밖에 없다. 따라서, 수정이 필요한 캘리브레이션 값을 간편하게 자동으로 보정해주는 방법이 필요하다.Since the calibration must be performed by an expert, it is inevitably cumbersome and inconvenient for the user. Therefore, there is a need for a method for easily and automatically correcting a calibration value that needs to be corrected.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 형태가 미리 정해져 있고 알려져 있는 지물을 이용하여, 라이다-카메라 간 기하학적 오차를 계산하고 온라인으로 보정하는 방법 및 장치를 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to calculate the geometrical error between the lidar and the camera using a feature that is predetermined and known in shape, and a method and apparatus for online correction is to provide.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 캘리브레이션 방법은, 카메라 영상을 획득하는 제1 획득단계; 획득한 카메라 영상에서 정해진 형태의 지물을 추출하는 제1 추출단계; 라이다 영상을 획득하는 제2 획득단계; 획득한 라이다 영상에서 정해진 형태의 지물을 추출하는 제2 추출단계; 추출한 지물들의 외형들을 비교하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a calibration method includes: a first acquiring step of acquiring a camera image; A first extraction step of extracting a feature of a predetermined shape from the acquired camera image; a second acquisition step of acquiring a lidar image; a second extraction step of extracting a feature of a predetermined shape from the obtained lidar image; Comparing the outlines of the extracted features, correcting the error of the position and posture between the camera and the lidar; includes.
지물은, 형상과 크기가 정해진 형태의 지물일 수 있다. 지물은, 교통 표지판일 수 있다.The feature may be a feature having a fixed shape and size. The feature may be a traffic sign.
카메라 영상은, 2D 카메라 영상 또는 3D 카메라 영상이고, 보정 단계는, 2D 카메라 영상 또는 3D 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형을 비교하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함할 수 있다.The camera image is a 2D camera image or a 3D camera image, and the correction step compares the appearance of the feature extracted from the 2D camera image or 3D camera image with the appearance of the feature extracted from the lidar image, and the position and posture between the camera and the lidar may include; correcting the error of .
카메라 영상은, 2D 카메라 영상과 3D 카메라 영상을 포함하고, 제1 추출단계는, 2D 카메라 영상과 3D 카메라 영상에서 지물의 외형을 각각 추출하고, 보정 단계는, 2D 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형 간 비교 결과인 제1 비교 결과 및 3D 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형 간 비교 결과인 제2 비교 결과를 이용하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함할 수 있다.The camera image includes a 2D camera image and a 3D camera image, the first extraction step extracts the appearance of the feature from the 2D camera image and the 3D camera image, respectively, and the correction step includes the appearance of the feature extracted from the 2D camera image and the Using the first comparison result, which is a comparison result between the appearance of features extracted from the lidar image, and the second comparison result, which is the comparison result between the appearance of the feature extracted from the 3D camera image and the appearance of the feature extracted from the lidar image, the camera and lidar It may include; correcting the error of the liver position and posture.
보정 단계는, 제1 비교 결과와 제2 비교 결과 중 하나에 가중치를 적용할 수 있다.In the correction step, a weight may be applied to one of the first comparison result and the second comparison result.
보정 단계는, 추출한 지물의 외형들을 정합하는 단계; 정합 오차가 최소가 되도록, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함할 수 있다.The correction step may include matching the contours of the extracted feature; It may include; correcting the error of the position and posture between the camera and the lidar so that the matching error is minimized.
한편, 본 발명의 다른 실시예에 따른, 캘리브레이션 장치는, 카메라 영상을 획득하는 제1 입력부; 획득한 카메라 영상에서 정해진 형태의 지물을 추출하는 제1 처리부; 라이다 영상을 획득하는 제2 획득부; 획득한 라이다 영상에서 정해진 형태의 지물을 추출하는 제2 처리부; 추출한 지물들의 외형들을 비교하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 캘리브레이션부;를 포함한다.On the other hand, according to another embodiment of the present invention, a calibration apparatus, a first input unit for acquiring a camera image; a first processing unit for extracting a feature of a predetermined shape from the acquired camera image; a second acquisition unit for acquiring a lidar image; a second processing unit for extracting a feature of a predetermined shape from the obtained lidar image; Comparing the outlines of the extracted features, a calibration unit for correcting the error of the position and posture between the camera and the lidar; includes.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 형태가 미리 정해져 있고 알려져 있는 지물을 이용하여, 라이다-카메라 간 기하학적 오차를 계산하고 온라인으로 보정함으로써, 수정이 필요한 캘리브레이션 값을 간편하게 자동으로 보정할 수 있게 된다.As described above, according to the embodiments of the present invention, by using a feature whose shape is predetermined and known, the geometric error between the lidar-camera is calculated and online corrected, so that the calibration value that needs correction can be easily and automatically can be corrected.
도 1은 카메라-라이다 센서 간 위치/자세 오차 보정 과정의 개념 설명에 제공되는 도면,
도 2는 2D 카메라 영상과 라이다 영상을 이용한 캘리브레이션 방법의 설명에 제공되는 흐름도,
도 3은 3D 카메라 영상과 라이다 영상을 이용한 캘리브레이션 방법의 설명에 제공되는 흐름도,
도 4는 2D 카메라 영상과 3D 카메라 영상 및 라이다 영상을 이용한 캘리브레이션 방법의 설명에 제공되는 흐름도,
도 5는 본 발명의 다른 실시예에 따른 캘리브레이션 장치의 블럭도이다.1 is a diagram provided for conceptual explanation of a process of correcting a position/posture error between a camera and a lidar sensor;
2 is a flowchart provided for explaining a calibration method using a 2D camera image and a lidar image;
3 is a flowchart provided for explaining a calibration method using a 3D camera image and a lidar image;
4 is a flowchart provided for explaining a calibration method using a 2D camera image, a 3D camera image, and a lidar image;
5 is a block diagram of a calibration apparatus according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는 라이다(LiDAR) 센서와 카메라 간 온라인 캘리브레이션 방법을 제시한다.An embodiment of the present invention provides an online calibration method between a LiDAR sensor and a camera.
구체적으로, 1대 이상의 라이다 센서와 1대 이상의 카메라가 장착된 자동차나 드론 등 다양한 장치에서, 지면의 요철, 기구적 흔들림, 외부 충격 등 외부적인 요인에 의해 센서의 위치가 미세하게 변경되었을 경우 변화된 정보를 추정하여 위치 정보를 보정하는 방법이다.Specifically, in various devices such as cars and drones equipped with one or more lidar sensors and one or more cameras, when the sensor position is minutely changed due to external factors such as unevenness of the ground, mechanical shaking, and external impact It is a method of correcting location information by estimating the changed information.
이를 위해, 일상에서 주기적인 온라인 캘리브레이션을 가능하도록 하기 위해, 본 발명의 실시예에서는, 형태가 미리 정해져 있고 알려져 있는 지형이나 지물(예: 교통표지판, 차량)을 이용한다.To this end, in order to enable periodic online calibration in daily life, in an embodiment of the present invention, a terrain or a feature (eg, a traffic sign, a vehicle) whose shape is predetermined and known is used.
도 1은 카메라-라이다 센서 간 위치/자세 오차 보정 과정의 개념 설명에 제공되는 도면이다.1 is a diagram provided for conceptual explanation of a process of correcting a position/posture error between a camera and a lidar sensor.
도시된 바와 같이, 먼저, 카메라 영상을 획득하고, 획득한 카메라 영상에서 형상과 크기가 정해진 형태의 지형이나 지물(도 1의 경우는 교통 표지판을 예시함)을 추출한다.As shown, first, a camera image is acquired, and a topography or feature (in the case of FIG. 1, a traffic sign is exemplified) is extracted from the acquired camera image with a fixed shape and size.
그리고, 라이다 영상을 획득하고, 획득한 라이다 영상에서 동일한 지형이나 지물을 추출한다. 라이다 센서는 군집화(clustering) 과정을 통해 지형이나 지물을 분리할 수 있다.Then, a lidar image is acquired, and the same terrain or features are extracted from the acquired lidar image. The lidar sensor can separate terrain or features through a clustering process.
카메라 영상과 라이다 영상으로부터 추출한 지물의 외형은 카메라와 라이다 센서의 대응 정보이며, 이를 캘리브레이션에 이용한다.The appearance of features extracted from the camera image and lidar image is the correspondence information between the camera and lidar sensor, and this is used for calibration.
즉, 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형을 정합하고, 정합 오차가 최소가 되도록 카메라와 라이다 간 위치와 자세의 오차를 보정하여, 캘리브레이션을 수행한다.That is, the contour of the feature extracted from the camera image and the appearance of the feature extracted from the lidar image are matched, and the error of the position and posture between the camera and the lidar is corrected so that the matching error is minimized, and calibration is performed.
라이다 영상은 3D 영상인 반면, 카메라 영상의 경우 3D 영상일 수 있지만 2D 영상일 수도 있다. 이하에서, 각각의 경우를 구분하여, 캘리브레이션 방법에 대해 상세히 설명한다.While the lidar image is a 3D image, the camera image may be a 3D image, but may also be a 2D image. Hereinafter, each case is divided and a calibration method will be described in detail.
도 2는 2D 카메라 영상과 라이다 영상을 이용한 캘리브레이션 방법의 설명에 제공되는 흐름도이다. 카메라가 2D 카메라(1대의 RGB 카메라)인 경우가 이에 해당한다.2 is a flowchart provided to explain a calibration method using a 2D camera image and a lidar image. This is the case when the camera is a 2D camera (1 RGB camera).
도시된 바와 같이, 먼저, 2D 카메라 영상을 획득하고(S110), 획득한 2D 카메라 영상에서 형상과 크기가 정해진 형태의 지형이나 지물을 추출한다(S120).As shown, first, a 2D camera image is acquired ( S110 ), and a topography or feature having a shape and size determined from the acquired 2D camera image is extracted ( S120 ).
S120단계에서 추출할 지형이나 지물은 형상과 크기가 미리 정해져 있고 알려져 있으므로, 이에 대한 사전 지식을 바탕으로 3차원 정보를 역산할 수 있는 경우이다.Since the shape and size of the topography or feature to be extracted in step S120 are predetermined and known, it is a case in which three-dimensional information can be inversely calculated based on prior knowledge.
다음, 라이다 영상을 획득하고(S130), 획득한 라이다 영상에서 동일한 지형이나 지물을 추출한다(S140).Next, a lidar image is acquired (S130), and the same terrain or features are extracted from the acquired lidar image (S140).
그리고, 2D 카메라 영상에서 추출한 지형이나 지물의 외형과 라이다 영상에서 추출한 지형이나 지물의 외형을 정합하고(S150), 정합 오차가 최소가 되도록 카메라와 라이다 간 위치와 자세의 오차를 보정한다(S160).Then, the appearance of the terrain or feature extracted from the 2D camera image and the appearance of the terrain or feature extracted from the lidar image are matched (S150), and the error of the position and posture between the camera and the lidar is corrected so that the matching error is minimized (S150). S160).
S170단계에서의 오차 보정은 다음의 수식 1에 제시된 목적 함수를 최소화하는 R(자세)과 T(위치)를 구하는 과정이다.The error correction in step S170 is a process of obtaining R (posture) and T (position) that minimize the objective function presented in Equation 1 below.
[수식 1][Formula 1]
여기서, l(R,T)는 목적 함수이고, πRT는 라이다 영상을 2D 카메라 영상 평면으로 워핑하기 위한 함수이며, XLiDAR는 라이다 영상이고, uimg는 2D 카메라 영상이다.Here, l(R,T) is an objective function, π RT is a function for warping a lidar image to a 2D camera image plane, X LiDAR is a lidar image, and u img is a 2D camera image.
도 3은 3D 카메라 영상과 라이다 영상을 이용한 캘리브레이션 방법의 설명에 제공되는 흐름도이다. 카메라가 3D 카메라(스테레오 RGB 카메라 또는 RGB 카메라 + 뎁스 카메라)인 경우가 이에 해당한다.3 is a flowchart provided to explain a calibration method using a 3D camera image and a lidar image. This is the case if the camera is a 3D camera (stereo RGB camera or RGB camera + depth camera).
도시된 바와 같이, 먼저, 3D 카메라 영상을 획득하고(S210), 획득한 3D 카메라 영상에서 형상과 크기가 정해진 형태의 지형이나 지물을 추출한다(S220).As shown, first, a 3D camera image is obtained ( S210 ), and a topography or feature of a shape and size determined from the obtained 3D camera image is extracted ( S220 ).
다음, 라이다 영상을 획득하고(S230), 획득한 라이다 영상에서 동일한 지형이나 지물을 추출한다(S240).Next, a lidar image is acquired (S230), and the same terrain or features are extracted from the acquired lidar image (S240).
그리고, 3D 카메라 영상에서 추출한 지형이나 지물의 외형과 라이다 영상에서 추출한 지형이나 지물의 외형을 정합하고(S250), 정합 오차가 최소가 되도록 카메라와 라이다 간 위치와 자세의 오차를 보정한다(S260).Then, the appearance of the terrain or feature extracted from the 3D camera image is matched with the appearance of the terrain or feature extracted from the lidar image (S250), and the error of the position and posture between the camera and the lidar is corrected so that the matching error is minimized (S250). S260).
S270단계에서의 오차 보정은 다음의 수식 2에 제시된 목적 함수를 최소화하는 R(자세)과 T(위치)를 구하는 과정이다.The error correction in step S270 is a process of obtaining R (posture) and T (position) that minimize the objective function presented in Equation 2 below.
[수식 2][Formula 2]
여기서, l(R,T)는 목적 함수이고, XLiDAR는 라이다 영상이고, Ximg는 3D 카메라 영상이다.Here, l(R,T) is an objective function, X LiDAR is a lidar image, and X img is a 3D camera image.
도 4는 2D 카메라 영상과 3D 카메라 영상 및 라이다 영상을 이용한 캘리브레이션 방법의 설명에 제공되는 흐름도이다. 카메라 영상을 2D와 3D 모두 이용한다는 점에서 전술한 실시예들과 차이가 있다.4 is a flowchart provided to explain a calibration method using a 2D camera image, a 3D camera image, and a lidar image. It is different from the above-described embodiments in that both 2D and 3D camera images are used.
도시된 바와 같이, S311단계 내지 S315단계를 수행하는데, 이들은 도 2에 도시된 S110단계 내지 S150단계와 동일하다. 그리고, S321단계 내지 S325단계를 수행하는데, 이들은 도 2에 도시된 S210단계 내지 S250단계와 동일하다.As shown, steps S311 to S315 are performed, which are the same as steps S110 to S150 shown in FIG. 2 . Then, steps S321 to S325 are performed, which are the same as steps S210 to S250 shown in FIG. 2 .
다음, S315단계와 S3125단계에서의 정합 오차가 최소가 되도록 카메라와 라이다 간 위치와 자세의 오차를 보정한다(S330).Next, the error of the position and posture between the camera and the lidar is corrected so that the matching error in steps S315 and S3125 is minimized (S330).
S330단계에서의 오차 보정은 다음의 수식 3에 제시된 목적 함수를 최소화하는 R(자세)과 T(위치)를 구하는 과정이다.The error correction in step S330 is a process of obtaining R (posture) and T (position) that minimize the objective function presented in Equation 3 below.
[수식 3][Equation 3]
여기서, l(R,T)는 목적 함수이고, πRT는 라이다 영상을 2D 카메라 영상 평면으로 워핑하기 위한 함수이며, XLiDAR는 라이다 영상이고, uimg는 2D 카메라 영상이며, Ximg는 3D 카메라 영상이다. λ는 두 항을 균형있게 하기 위해 설정되는 가중치이다.where l(R,T) is the objective function, π RT is a function for warping the lidar image to the 2D camera image plane, X LiDAR is the lidar image, u img is the 2D camera image, and X img is It is a 3D camera image. λ is a weight set to balance the two terms.
지금까지, 라이다 센서와 카메라 간 온라인 캘리브레이션 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a preferred embodiment of the online calibration method between the lidar sensor and the camera has been described in detail.
본 발명의 실시예에서는, 1대 이상의 라이다 센서와 1대 이상의 카메라 센서가 장착된 자동차나 드론 등 다양한 장치에서 지면의 요철, 기구적 흔들림, 외부 충격 등 외부적인 요인에 의해 센서의 위치가 미세하게 변경되었을 경우 변화된 정보를 추정하여 위치 정보를 보정하여 캘리브레이션하는 방법을 제시하였다.In an embodiment of the present invention, in various devices such as a car or drone equipped with one or more lidar sensors and one or more camera sensors, the position of the sensor is fine due to external factors such as unevenness of the ground, mechanical shaking, and external impact. A method of calibrating by estimating the changed information and correcting the location information is proposed.
본 발명의 실시예에서 제시한 온라인 캘리브레이션의 대상이 되는 카메라와 라이다 센서는 설명의 편의를 위해 언급한 일 예에 해당한다. 이들을 다른 센서로 대체하는 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.A camera and a lidar sensor to be subjected to on-line calibration presented in the embodiment of the present invention correspond to an example mentioned for convenience of description. Of course, the technical idea of the present invention can be applied even when replacing them with other sensors.
도 5는 본 발명의 다른 실시예에 따른 캘리브레이션 장치의 블럭도이다. 본 발명의 실시예에 따른 캘리브레이션 장치는, 도시된 바와 같이, 카메라 영상 입력부(410), 라이다 영상 입력부(420), 카메라 영상 처리부(430), 라이다 영상 처리부(440) 및 캘리브레이션부(450)를 포함하여 구성된다.5 is a block diagram of a calibration apparatus according to another embodiment of the present invention. As shown in the figure, the calibration apparatus according to an embodiment of the present invention includes a camera
카메라 영상 입력부(410)는 카메라(미도시)에서 생성되는 영상을 수신하여 카메라 영상 처리부(430)로 전달한다. 카메라 영상 입력부(410)가 수신/전달하는 카메라 영상은 2D 카메라 영상 또는 3D 카메라 영상이거나 양자를 모두 포함할 수 있다.The camera
카메라 영상 처리부(430)는 카메라 영상 입력부(410)로부터 전달된 카메라 영상에 대한 전처리를 수행하고, 전처리된 카메라 영상에서 정해진 지형이나 지물을 추출한다.The camera
라이다 영상 입력부(420)는 라이다 센서(미도시)에서 생성되는 영상을 수신하여 라이다 영상 처리부(440)로 전달한다.The lidar
라이다 영상 처리부(440)는 라이다 영상 입력부(420)로부터 전달된 라이다 영상에 대한 전처리를 수행하고, 전처리된 라이다 영상에서 정해진 지형이나 지물을 추출한다.The lidar
캘리브레이션부(450)는 영상 처리부(430,440)들에 추출된 지형이나 지물의 외형들을 정합하고, 정합 오차가 최소화 되도록 카메라와 라이다 간의 위치와 자세를 보정한다.The calibrator 450 matches the contours of the terrain or features extracted by the
캘리브레이션부(450)은 카메라와 라이다 간의 위치와 자세 보정이 주기적으로 수행한다.The
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
410 : 카메라 영상 입력부
420 : 라이다 영상 입력부
430 : 카메라 영상 처리부
440 : 라이다 영상 처리부
450 : 캘리브레이션부410: camera image input unit
420: lidar video input unit
430: camera image processing unit
440: lidar image processing unit
450: calibration unit
Claims (8)
획득한 카메라 영상에서 정해진 형태의 지물을 추출하는 제1 추출단계;
라이다 영상을 획득하는 제2 획득단계;
획득한 라이다 영상에서 정해진 형태의 지물을 추출하는 제2 추출단계;
추출한 지물들의 외형들을 비교하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
A first acquisition step of acquiring a camera image;
A first extraction step of extracting a feature of a predetermined shape from the acquired camera image;
a second acquisition step of acquiring a lidar image;
a second extraction step of extracting a feature of a predetermined shape from the obtained lidar image;
Comparing the outlines of the extracted features, correcting an error in the position and posture between the camera and the lidar; calibration method comprising the.
지물은,
형상과 크기가 정해진 형태의 지물인 것을 특징으로 하는 캘리브레이션 방법.
The method according to claim 1,
the material,
A calibration method, characterized in that the shape and size are features of a fixed shape.
지물은,
교통 표지판인 것을 특징으로 하는 캘리브레이션 방법.
3. The method according to claim 2,
the material,
A calibration method, characterized in that it is a traffic sign.
카메라 영상은,
2D 카메라 영상 또는 3D 카메라 영상이고,
보정 단계는,
2D 카메라 영상 또는 3D 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형을 비교하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
3. The method according to claim 2,
camera video,
2D camera image or 3D camera image,
The correction step is
Comparing the appearance of the feature extracted from the 2D camera image or the 3D camera image with the appearance of the feature extracted from the lidar image, correcting the error in the position and posture between the camera and the lidar; calibration method comprising: a.
카메라 영상은,
2D 카메라 영상과 3D 카메라 영상을 포함하고,
제1 추출단계는,
2D 카메라 영상과 3D 카메라 영상에서 지물의 외형을 각각 추출하고,
보정 단계는,
2D 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형 간 비교 결과인 제1 비교 결과 및 3D 카메라 영상에서 추출한 지물의 외형과 라이다 영상에서 추출한 지물의 외형 간 비교 결과인 제2 비교 결과를 이용하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
3. The method according to claim 2,
camera video,
Includes 2D camera images and 3D camera images,
The first extraction step is
The appearance of features is extracted from the 2D camera image and the 3D camera image, respectively,
The correction step is
The first comparison result, which is a comparison result between the appearance of the feature extracted from the 2D camera image and the appearance of the feature extracted from the lidar image, and the second comparison result, which is the comparison result between the appearance of the feature extracted from the 3D camera image and the appearance of the feature extracted from the lidar image Using the result, correcting the error of the position and posture between the camera and the lidar; calibration method comprising the.
보정 단계는,
제1 비교 결과와 제2 비교 결과 중 하나에 가중치를 적용하는 것을 특징으로 하는 캘리브레이션 방법.
6. The method of claim 5,
The correction step is
A calibration method, characterized in that applying a weight to one of the first comparison result and the second comparison result.
보정 단계는,
추출한 지물의 외형들을 정합하는 단계;
정합 오차가 최소가 되도록, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 단계;를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
The method according to claim 1,
The correction step is
matching the contours of the extracted features;
Calibration method comprising a; correcting the error of the position and posture between the camera and the lidar so that the matching error is minimized.
획득한 카메라 영상에서 정해진 형태의 지물을 추출하는 제1 처리부;
라이다 영상을 획득하는 제2 획득부;
획득한 라이다 영상에서 정해진 형태의 지물을 추출하는 제2 처리부;
추출한 지물들의 외형들을 비교하여, 카메라와 라이다 간 위치와 자세의 오차를 보정하는 캘리브레이션부;를 포함하는 것을 특징으로 하는 캘리브레이션 장치.
a first input unit for acquiring a camera image;
a first processing unit for extracting a feature of a predetermined shape from the acquired camera image;
a second acquisition unit for acquiring a lidar image;
a second processing unit for extracting a feature of a predetermined shape from the obtained lidar image;
A calibration device comprising a; a calibration unit that compares the external appearances of the extracted features and corrects errors in the position and posture between the camera and the lidar.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200163582A KR20220075481A (en) | 2020-11-30 | 2020-11-30 | Method and device for online calibration between LiDAR sensor and camera |
| PCT/KR2021/010044 WO2022114449A1 (en) | 2020-11-30 | 2021-08-02 | Online calibration method and apparatus between lidar sensor and camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200163582A KR20220075481A (en) | 2020-11-30 | 2020-11-30 | Method and device for online calibration between LiDAR sensor and camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220075481A true KR20220075481A (en) | 2022-06-08 |
Family
ID=81755154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200163582A KR20220075481A (en) | 2020-11-30 | 2020-11-30 | Method and device for online calibration between LiDAR sensor and camera |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220075481A (en) |
| WO (1) | WO2022114449A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525563B1 (en) * | 2022-11-30 | 2023-04-25 | 주식회사 테스트웍스 | Image acquisition method using multiple lidar and camera sensor and computing device performing the same method |
| WO2023249188A1 (en) | 2022-06-21 | 2023-12-28 | 주식회사 엘지에너지솔루션 | Lithium secondary battery and manufacturing method therefor |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102012179B1 (en) * | 2018-04-30 | 2019-08-20 | 충북대학교 산학협력단 | APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION |
| US10719957B2 (en) * | 2018-07-30 | 2020-07-21 | Pony Ai Inc. | System and method for calibrating on-board vehicle cameras |
| KR102470772B1 (en) * | 2018-11-06 | 2022-11-25 | 주식회사 스프링클라우드 | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle |
| JP7056540B2 (en) * | 2018-12-18 | 2022-04-19 | 株式会社デンソー | Sensor calibration method and sensor calibration device |
| US10726579B1 (en) * | 2019-11-13 | 2020-07-28 | Honda Motor Co., Ltd. | LiDAR-camera calibration |
-
2020
- 2020-11-30 KR KR1020200163582A patent/KR20220075481A/en unknown
-
2021
- 2021-08-02 WO PCT/KR2021/010044 patent/WO2022114449A1/en active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023249188A1 (en) | 2022-06-21 | 2023-12-28 | 주식회사 엘지에너지솔루션 | Lithium secondary battery and manufacturing method therefor |
| KR102525563B1 (en) * | 2022-11-30 | 2023-04-25 | 주식회사 테스트웍스 | Image acquisition method using multiple lidar and camera sensor and computing device performing the same method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022114449A1 (en) | 2022-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108141570B (en) | Calibration device, calibration method, and calibration program storage medium | |
| CN108986037B (en) | Monocular vision odometer positioning method and positioning system based on semi-direct method | |
| US10594943B2 (en) | Camera calibration device and camera calibration system | |
| EP2194725B1 (en) | Method and apparatus for correcting a depth image | |
| CN105069804B (en) | Threedimensional model scan rebuilding method based on smart mobile phone | |
| KR20220075481A (en) | Method and device for online calibration between LiDAR sensor and camera | |
| CN111091592B (en) | Image processing method, image processing apparatus, electronic device, and readable storage medium | |
| CN109472820B (en) | Monocular RGB-D camera real-time face reconstruction method and device | |
| US8831359B2 (en) | Apparatus and method for refining a value of a similarity measure | |
| CN109961417B (en) | Image processing method, image processing apparatus, and mobile apparatus control method | |
| JP2003317117A (en) | Method and system for 3d smoothing within bound of error region of matching curve | |
| CN111209770A (en) | Lane line identification method and device | |
| EP3633606B1 (en) | Information processing device, information processing method, and program | |
| CN110717445B (en) | Front vehicle distance tracking system and method for automatic driving | |
| KR101510312B1 (en) | 3D face-modeling device, system and method using Multiple cameras | |
| US20200226774A1 (en) | Information processing device, information processing method, and computer program | |
| US20210368206A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
| CN111080537B (en) | Intelligent control method, medium, equipment and system for underwater robot | |
| JP6946255B2 (en) | Learning device, estimation device, learning method and program | |
| CN109074480B (en) | Method, computing device, driver assistance system, and motor vehicle for detecting a rolling shutter effect in an image of an environmental region of a motor vehicle | |
| JP2010152521A (en) | Apparatus and method for performing stereographic processing to image | |
| CN110349249B (en) | Real-time dense reconstruction method and system based on RGB-D data | |
| CN112648994A (en) | Camera pose estimation method and device based on depth vision odometer and IMU | |
| CN106991379B (en) | Human skin recognition method and device combined with depth information and electronic device | |
| JP7019431B2 (en) | Camera calibration device, camera calibration method, and program |