KR101473736B1 - Calibration apparatus for multi-sensor based on closed-loop and and method thereof - Google Patents

Calibration apparatus for multi-sensor based on closed-loop and and method thereof Download PDF

Info

Publication number
KR101473736B1
KR101473736B1 KR1020130160655A KR20130160655A KR101473736B1 KR 101473736 B1 KR101473736 B1 KR 101473736B1 KR 1020130160655 A KR1020130160655 A KR 1020130160655A KR 20130160655 A KR20130160655 A KR 20130160655A KR 101473736 B1 KR101473736 B1 KR 101473736B1
Authority
KR
South Korea
Prior art keywords
sensor
camera
closed loop
dimensional
closed
Prior art date
Application number
KR1020130160655A
Other languages
Korean (ko)
Inventor
심성대
곽기호
민지홍
김준
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020130160655A priority Critical patent/KR101473736B1/en
Application granted granted Critical
Publication of KR101473736B1 publication Critical patent/KR101473736B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to an apparatus capable of improving a calibration performance between sensors as the relation between the sensors is configured by a closed-loop when the calibration between sensors is performed in a system consisting of a multi-sensor; and a method thereof. According to an embodiment of the present invention, a multi-sensor calibration apparatus based on a closed-loop comprises: a determining part to determine whether a closed-loop consisting of the multi-sensors is satisfied with a closed-loop constraint condition; and a controlling part to optimize an error function used in each sensor calibration of the multi-sensors by using the closed-loop constraint condition if the closed-loop consisting of the multi-sensors is satisfied with the closed-loop constraint condition. Each multi-sensor can consist of a plurality of array cameras respectively connected with one three dimensional lidar.

Description

폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법{CALIBRATION APPARATUS FOR MULTI-SENSOR BASED ON CLOSED-LOOP AND AND METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a multi-sensor calibration apparatus and a method thereof,

본 발명은 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법에 관한 것이다.The present invention relates to a closed-loop based multiple sensor calibration apparatus and method.

로봇이나 자율주행 차량 등에서 주변 환경을 감지하기 위하여 여러 가지 센서를 사용하고 있다. 이 중 로봇이나 자율주행 차량 주변의 환경을 감지하기 위하여 라이다, 레이다, 카메라 등이 많이 사용되고 있으며, 하나의 단일 센서를 사용하기보다, 여러 개의 다중 센서를 이용하여 센서 정보를 융합하여 활용하고 있다. 서로 다른 센서 정보를 융합하기 위하여 각각의 센서 사이의 관계를 알아야 한다. 여기에서 센서 간의 관계는 센서 사이의 회전(Rotation)과 병진(Translation)이다. 센서 간의 관계를 알기 위하여 센서 간을 캘리브레이션(Calibration) 하여야 한다. 정보 융합의 정확성을 높이기 위해서는 캘리브레이션의 오차를 최소화해야 한다. Various sensors are used to detect the surrounding environment in a robot or an autonomous vehicle. Radar, radar, and camera are widely used to detect the environment around a robot or an autonomous vehicle. Rather than using a single sensor, multiple sensors are used to fuse sensor information . In order to fuse different sensor information, we need to know the relationship between each sensor. Here, the relationship between the sensors is the rotation between the sensors and the translation. In order to know the relationship between the sensors, it is necessary to calibrate between the sensors. In order to improve the accuracy of information fusion, the error of calibration should be minimized.

일반적으로 다중센서를 장치한 시스템에서 캘리브레이션을 수행하기 위해서는 캘리브레이션이 가능한 두 센서의 조합을 먼저 수행하고, 차례로 다른 조합에 대하여 캘리브레이션을 수행한다. 차례로 캘리브레이션을 하게 되면 첫 번째의 캘리브레이션 오차가 두 번째 캘리브레이션에 영향을 주고, 그 오차가 다시 다음 캘리브레이션에 영향을 주게 되어, 처음의 센서와 마지막의 센서 관계의 오차가 커지게 된다.Generally, in order to perform calibration in a system equipped with multiple sensors, a combination of two sensors capable of calibration is performed first, and calibration is performed on other combinations in turn. If calibration is performed in sequence, the first calibration error affects the second calibration, and the error again affects the next calibration, which increases the error between the initial sensor and the final sensor.

한국특허 출원번호 제10-2012-0025658호Korean Patent Application No. 10-2012-0025658

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은, 다중센서로 구성된 시스템에서 센서들 간의 캘리브레이션을 수행할 때, 폐루프(Close-loop)로 센서들 간의 관계가 구성되도록 하여 센서들 간의 캘리브레이션의 성능을 향상하는 장치 및 그 방법을 제공하는 데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been conceived to solve the problems as described above, and it is an object of the present invention to provide an apparatus and method for performing a calibration between sensors in a system constituted by multiple sensors, So as to improve the performance of calibration between the sensors, and a method thereof.

본 명세서에 개시된 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 장치는, 다중 센서 캘리브레이션 장치에 있어서, 상기 다중 센서들로 구성된 폐루프가 폐루프 제약조건에 만족하는지를 결정하는 결정부와; 상기 다중 센서로 구성된 폐루프가 상기 폐루프 제약조건에 만족하면, 상기 폐루프 제약조건을 이용하여 상기 다중 센서의 각 센서 캘리브레이션에 사용되는 오차함수를 최적화하는 제어부를 포함하며, 상기 다중 센서 각각은 하나의 3차원 라이다에 각각 연결된 다수의 배열 카메라로 이루어질 수 있다.  A closed-loop-based multiple sensor calibration apparatus according to an embodiment disclosed herein includes: a determination unit for determining whether a closed loop composed of the multiple sensors meets a closed-loop constraint; And a controller for optimizing an error function used for each sensor calibration of the multiple sensors using the closed loop constraint if the closed loop composed of the multiple sensors satisfies the closed loop constraint, And a plurality of array cameras respectively connected to one three-dimensional ladder.

본 명세서에 개시된 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 방법은, 다중 센서 캘리브레이션 방법에 있어서, 상기 다중 센서들로 구성된 폐루프가 폐루프 제약조건에 만족하는지를 결정하는 단계와; 상기 다중 센서로 구성된 폐루프가 상기 폐루프 제약조건에 만족하면, 상기 폐루프 제약조건을 이용하여 상기 다중 센서의 각 센서 캘리브레이션에 사용되는 오차함수를 최적화하는 단계를 포함하며, 상기 다중 센서 각각은 하나의 3차원 라이다에 각각 연결된 다수의 배열 카메라로 이루어질 수 있다.A closed-loop-based multiple sensor calibration method according to an embodiment disclosed herein is a multi-sensor calibration method comprising: determining whether a closed loop composed of the multiple sensors satisfies a closed-loop constraint; And optimizing an error function used in each sensor calibration of the multiple sensors using the closed loop constraint if the closed loop of multiple sensors satisfies the closed loop constraint, And a plurality of array cameras respectively connected to one three-dimensional ladder.

본 발명의 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법은, 센서들 간의 관계가 폐루프를 구성하는 다중센서 환경에서 제약조건을 적용한 캘리브레이션으로 센서들 사이의 관계를 보다 정확하게 추출할 수 있다. 또한, 폐루프를 구성하지 않는 센서 캘리브레이션에서 임의의 센서를 추가하여 센서 관계 폐루프를 구성하도록 하여 본 발명의 센서 캘리브레이션 기법으로 캘리브레이션 결과를 향상시킬 수도 있다. 센서 캘리브레이션은 다중 센서를 사용하는 무인 차량이나 로봇 등에서 필수적인 조건으로 본 발명을 통해 보다 정확한 결과를 도출할 수도 있다.A closed-loop-based multi-sensor calibration apparatus and method thereof according to an embodiment of the present invention is an apparatus and method for a multi-sensor calibration in which a relationship between sensors is more accurately extracted . In addition, it is possible to improve the calibration result by the sensor calibration method of the present invention by configuring the sensor-related closed loop by adding any sensor in the sensor calibration not constituting the closed loop. The sensor calibration may result in more accurate results through the present invention under conditions that are essential for unmanned vehicles or robots using multiple sensors.

도 1은 본 발명의 일 실시예에 따른 3차원 라이다 및 다수의 카메라로 구성된 다중 센서를 나타낸 도이다.
도 2는 본 발명의 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 장치를 나타낸 도이다.
도 3은 도 1의 다중 센서에서 센서 간의 관계를 도식화한 도이다.
도 4는 본 발명의 일 실시예를 설명하기 센서 좌표를 나타낸 도이다.
도 5는 본 발명에 따른 폐루프 기반 다중 센서 캘리브레이션 결과를 나타낸 도이다.FIG. 1 is a diagram illustrating multiple sensors composed of a plurality of cameras and a three-dimensional array according to an exemplary embodiment of the present invention.
FIG. 2 illustrates a closed-loop-based multiple sensor calibration apparatus in accordance with an embodiment of the present invention.
3 is a diagram illustrating the relationship between sensors in the multiple sensors of FIG.
4 is a diagram showing sensor coordinates for explaining an embodiment of the present invention.
5 is a diagram illustrating the results of closed-loop-based multi-sensor calibration according to the present invention.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art can easily carry out the technical idea of the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly explain the present invention, parts not related to the description are omitted, and like parts are denoted by similar reference numerals throughout the specification.

이하에서는, 다중센서로 구성된 시스템에서 센서 간의 캘리브레이션의 성능을 향상하기 위해, 폐루프를 구성하는 센서 관계를 이용하여 전체의 캘리브레이션 오차를 줄이는 방법을 설명한다. 센서 정보 융합을 위하여 다중센서를 사용하는 대다수의 경우는 센서의 감지범위가 겹치게 되도록 구성하게 된다. 이는 다중 센서 관계에서 페루프를 구성할 수 있음을 나타낸다. Hereinafter, a method of reducing the overall calibration error by using the sensor relationship constituting the closed loop will be described in order to improve the performance of the calibration between the sensors in a system constituted by multiple sensors. In most of the cases where multiple sensors are used for fusion of sensor information, the detection ranges of the sensors are overlapped. This indicates that Peru can be configured in multiple sensor relationships.

본 발명을 적용하기 위하여 일반적으로 많이 쓰이는 다중센서인 카메라와 라이다(Lidar)가 적용된 센서 구성을 예로 들어 설명한다. In order to apply the present invention, the following description will be given taking as an example a sensor configuration using a camera and a Lidar, which are generally used in many cases.

도 1은 본 발명의 일 실시예에 따른 3차원 라이다 및 다수의 카메라로 구성된 다중 센서를 나타낸 도이다. 본 발명은 도 1의 다중 센서 구성 뿐 아니라 폐루프를 가지는 다중 센서 구조에서 공통적으로 적용할 수 있다. 도 1의 예는 하나의 3차원 라이다(10)와 3개의 카메라(20)로 구성된 다중 센서로 구성될 수 있다. 즉, 도 1은 하나의 3차원 라이다 센서(10)와 제 1, 2, 3 카메라(21, 22, 23)로 구성된다. FIG. 1 is a diagram illustrating multiple sensors composed of a plurality of cameras and a three-dimensional array according to an exemplary embodiment of the present invention. The present invention can be applied not only to the multiple sensor configuration of FIG. 1, but also to multiple sensor structures having a closed loop. The example of FIG. 1 may be composed of multiple sensors composed of one three-dimensional LR 10 and three cameras 20. That is, FIG. 1 is composed of one three-dimensional Lidar sensor 10 and first, second and third cameras 21, 22, and 23.

일반적으로 도 1과 같은 다중 센서를 캘리브레이션 하기 위해서 센서 쌍(예를 들면, 3차원 라이다와 하나의 카메라)을 하나씩 캘리브레이션 하게 된다. 각 센서 쌍을 캘리브레이션 하기 위해서는 별도의 캘리브레이션 방법이 사용되며, 사용되는 센서에 따라 적정한 센서 캘리브레이션 방법을 사용한다. Generally, a pair of sensors (for example, a three-dimensional scanner and a single camera) are calibrated one by one to calibrate the multiple sensors as shown in FIG. To calibrate each pair of sensors, a separate calibration method is used, and the appropriate sensor calibration method is used according to the sensor used.

상기 제2 카메라(중앙)는, 제1 카메라(21)의 감지 영역(촬영 영역)과 일부 중복되고, 제3 카메라(23)의 감지 영역과 일부 중복된다. 3대의 카메라(20)는 3차원 라이다(10)와 감지 영역이 일부 중복된다. 센서 간의 관계(예를 들면, 3차원 라이다와 제1 카메라, 3차원 라이다와 제2 카메라, 제1 카메라와 제2 카메라)로 페루프를 구성할 수 있는 경우에는 폐루프로부터 제약조건을 만들 수 있다. The second camera (center) partially overlaps with the sensing area (sensing area) of the first camera 21 and partially overlaps with the sensing area of the third camera 23. The three cameras 20 are three-dimensional (10) and the sensing area is partially overlapped. When the relationship between sensors (for example, a three-dimensional camera and a first camera, a three-dimensional camera and a second camera, a first camera and a second camera) can be constructed, Can be made.

도 2는 본 발명의 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 장치를 나타낸 도이다.FIG. 2 illustrates a closed-loop-based multiple sensor calibration apparatus in accordance with an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 장치는, 다중 센서들로 구성된 폐루프가 폐루프 제약조건에 만족하는지를 결정하는 결정부(100)와; 상기 다중 센서로 구성된 폐루프가 상기 폐루프 제약조건에 만족하면, 상기 폐루프 제약조건을 이용하여 상기 다중 센서의 각 센서 캘리브레이션에 사용되는 오차함수를 최적화하는 제어부(200)로 구성되며, 상기 다중 센서는 하나의 3차원 라이다(10)에 각각 연결된 다수의 배열 카메라(20)로 이루어진다. 상기 제어부(200)는 상기 결정부(100)를 포함할 수도 있다.As shown in FIG. 2, a closed-loop-based multiple sensor calibration apparatus according to an embodiment of the present invention includes a determination unit 100 that determines whether a closed loop composed of multiple sensors satisfies a closed loop constraint; And a controller 200 for optimizing an error function used for each sensor calibration of the multiple sensors using the closed loop constraint when the closed loop composed of the multiple sensors satisfies the closed loop constraint condition, The sensor is composed of a plurality of array cameras 20 connected to one three-dimensional array 10, respectively. The control unit 200 may include the determination unit 100.

도 3은 도 1의 다중 센서에서 센서 간의 관계를 도식화한 도이다.3 is a diagram illustrating the relationship between sensors in the multiple sensors of FIG.

도 3에 도시한 바와 같이, 본 실시예에서는 도 2와 같이 2개의 작은 폐루프를 구성하게 된다. 상기 폐루프를 구성하게 되면 하나의 센서(3차원 라이다와 하나의 카메라)에서 루프를 따라서 센서 관계를 모두 계산하였을 때 다시 현재 센서 위치로 돌아와야 한다. 하나의 센서 좌표에서 다른 센서 좌표(X')로 변환하기 위해서는 다음과 같은 수학식 1이 정의된다.As shown in Fig. 3, the present embodiment constitutes two small closed loops as shown in Fig. When constructing the closed loop, it is necessary to return to the current sensor position when one sensor (three dimensional camera and one camera) calculates the sensor relationship along the loop. In order to convert from one sensor coordinate to another sensor coordinate (X '), the following Equation 1 is defined.

Figure 112013117235265-pat00001
Figure 112013117235265-pat00001

여기서, R은 센서(하나의 3차원 라이다와 하나의 카메라) 사이의 회전(Rotation) 행렬, T는 센서(하나의 3차원 라이다와 하나의 카메라) 사이의 병진(Translation) 벡터이고, X는 센서 좌표이다. Where R is the rotation matrix between the sensor (one 3D line and one camera), T is the translational vector between the sensor (one 3D line and one camera), X Is the sensor coordinate.

도 4는 본 발명의 일 실시예를 설명하기 센서 좌표를 나타낸 도이다.상기 센서 좌표라함은 각 센서(3차원 라이다, 카메라)가 가지는 고유의 3차원 좌표계(유클리디안 좌표계)이다. 즉, 센서 좌표란 3차원 라이다 센서 좌표계(

Figure 112013117235265-pat00002
))와, 카메라 좌표계(
Figure 112013117235265-pat00003
)를 나타낸다.4 is a diagram showing sensor coordinates for explaining an embodiment of the present invention. The sensor coordinate is an inherent three-dimensional coordinate system (euclidean coordinate system) of each sensor (three-dimensional camera). That is, the sensor coordinate is a three-dimensional sensor coordinate system (
Figure 112013117235265-pat00002
), A camera coordinate system
Figure 112013117235265-pat00003
).

상기 결정부(100)는 3개의 센서(3차원 라이다(10)와 제1 카메라(21)로 이루어진 제1 센서, 3차원 라이다(10)와 제2 카메라(22)로 이루어진 제2 센서, 3차원 라이다(10)와 제3 카메라(23)로 이루어진 제3 센서)로 구성된 폐루프는 다음의 수학식 2와 같은 폐루프 제약조건이 만족하는지를 결정한다.The determination unit 100 includes a first sensor including a three-dimensional sensor 10 and a first camera 21, a second sensor including a three-dimensional sensor 10 and a second sensor 22, , A third sensor consisting of three-dimensional LIDAR (10) and a third camera (23)) determines if the closed loop constraint satisfies the following equation (2).

Figure 112013117235265-pat00004
Figure 112013117235265-pat00004

여기서, R1은 하나의 3차원 라이다(10)와 제1 카메라(21) 사이의 회전(Rotation) 행렬을 나타내며, R2은 하나의 3차원 라이다(10)와 제2 카메라(22) 사이의 회전(Rotation) 행렬을 나타내며, R3은 하나의 제1 카메라(21)와 제2 카메라(22) 사이의 회전(Rotation) 행렬을 나타낸다. Herein, R 1 denotes a rotation matrix between one 3-dimensional R (10) and the first camera 21, R 2 denotes one 3-dimensional R (10) and the second camera 22, And R 3 represents a rotation matrix between one first camera 21 and the second camera 22.

T1은 하나의 3차원 라이다(10)와 제1 카메라(21) 사이의 병진 벡터를 나타내며, T2은 하나의 3차원 라이다(10)와 제2 카메라(22) 사이의 병진 벡터를 나타내며, T3은 하나의 제1 카메라(21)와 제2 카메라(22) 사이의 병진 벡터를 나타낸다. T 1 denotes a translation vector between one 3-dimensional LID 10 and the first camera 21, and T 2 denotes one 3-dimensional LID. The translation vector between the first camera 21 and the second camera 22 And T 3 represents a translation vector between one first camera 21 and the second camera 22. [

위의 식에서 마지막 센서(제3 센서) 관계인 R3,T3는 다음과 같은 수학식 3과 같이 정의된다.In the above equation, R 3 and T 3 related to the last sensor (third sensor) are defined as shown in Equation 3 below.

Figure 112013117235265-pat00005
Figure 112013117235265-pat00005

즉, 하나의 센서(예를 들면, 제1 센서) 관계를 다른 두 센서(예를 들면, 제2 센서 및 제3 센서) 관계로 표현이 가능하다. 상기 제어부(200)는 이 폐루프 제약조건을 이용하여 각 센서 캘리브레이션에 사용되는 오차함수와 함께 최적화 과정을 수행함으로써 각각 별도의 센서 쌍(제1 센서와 제2 센서의 쌍/제2 센서와 제3 센서의 쌍)을 각자 캘리브레이션하는 방법의 결과를 보정할 수 있다. 이를 수학식으로 표현하자면, 기존의 센서 쌍(제1 센서와 제2 센서의 쌍/제2 센서와 제3 센서의 쌍)의 각 캘리브레이션 오차함수는 아래 수학식 4와 같다.That is, one sensor (for example, first sensor) relationship can be expressed in relation to the other two sensors (for example, the second sensor and the third sensor). The control unit 200 performs an optimization process together with the error function used for each sensor calibration using the closed loop constraint, thereby obtaining a separate sensor pair (a pair of the first sensor and the second sensor / 3 pairs of sensors) can be corrected. The calibration error function of the existing sensor pair (the pair of the first sensor and the second sensor / the pair of the second sensor and the third sensor) is expressed by the following equation (4).

Figure 112013117235265-pat00006
Figure 112013117235265-pat00006

여기서 f1, f2, f3는 함수이다.

Figure 112013117235265-pat00007
는 캘리브레이션에서 센서 대응쌍의 오차이다. Where f 1 , f 2 , and f 3 are functions.
Figure 112013117235265-pat00007
Is the error of the sensor corresponding pair in the calibration.

폐루프를 이용한 오차함수는 R3,T3를 변환 대입함으로써 아래의 수학식5 와 같이 구해진다.The error function using the closed loop is obtained by the following Equation 5 by transforming and substituting R 3 and T 3 .

Figure 112013117235265-pat00008
Figure 112013117235265-pat00008

위와 같이

Figure 112013117235265-pat00009
의 조합으로 구성하여 폐루프 조건이 만족하도록 한다. 본 발명은 세 개의 센서(제1 센서, 제2 센서, 제3 센서)로 구성된 폐루프를 예로 제시하였으나, 이에 한정하지 않으며, 세 개 이상의 센서가 폐루프를 구성하는 것에 적용될 수 있다. as above
Figure 112013117235265-pat00009
So that the closed loop condition is satisfied. Although the present invention has been described as an example of a closed loop composed of three sensors (a first sensor, a second sensor, and a third sensor), the present invention is not limited thereto, and three or more sensors can be applied to constitute a closed loop.

도 5는 본 발명에 따른 폐루프 기반 다중 센서 캘리브레이션 결과로서, 도 1의 다중 센서의 실시예에서 폐루프를 구성하여 다중 센서를 캘리브레이션 한 것(붉은색)과 종래의 방법(파란색)으로 캘리브레이션 한 결과이다.Figure 5 is a closed loop based multiple sensor calibration result in accordance with the present invention in which the closed loop is configured in the multiple sensor embodiment of Figure 1 to calibrate multiple sensors in red (red) and conventional (blue) Results.

3차원 라이다(10)를 중심으로 하여 위치를 나타낼 때, 설계상의 개략적인 위치(검은색)에서 보듯이, 3대의 카메라(20)는 카메라가 수평으로 놓여 있음을 알 수 있다. 종래의 방법은 3대의 카메라 위치가 수평 방향으로 각각 지역 최저점(local minimum)에 빠져 있으며, 본 발명에서는 3대의 카메라(20)가 거의 수평에 놓여 있음을 알 수 있다.As shown in the schematic position (black) in the design when three-dimensional lidar 10 is positioned at the center, it can be seen that the three cameras 20 are located horizontally. In the conventional method, three camera positions are respectively located at the local minimum in the horizontal direction, and in the present invention, it can be seen that the three cameras 20 are located almost horizontally.

이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법은, 센서 관계가 폐루프를 구성하는 다중센서 환경에서 제약조건을 적용한 캘리브레이션으로 센서 사이의 관계를 보다 정확하게 추출할 수 있다. 또한, 폐루프를 구성하지 않는 센서 캘리브레이션에서 임의의 센서를 추가하여 센서 관계 폐루프를 구성하도록 하여 본 발명의 센서 캘리브레이션 기법으로 캘리브레이션 결과를 향상시킬 수도 있다. 센서 캘리브레이션은 다중 센서를 사용하는 무인 차량이나 로봇 등에서 필수적인 조건으로 본 발명을 통해 보다 정확한 결과를 도출할 수도 있다.As described above, the closed-loop-based multi-sensor calibration apparatus and method according to an embodiment of the present invention can be applied to a multi-sensor environment in which a sensor relationship constitutes a closed loop. It can be extracted accurately. In addition, it is possible to improve the calibration result by the sensor calibration method of the present invention by configuring the sensor-related closed loop by adding any sensor in the sensor calibration not constituting the closed loop. The sensor calibration may result in more accurate results through the present invention under conditions that are essential for unmanned vehicles or robots using multiple sensors.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (7)

다중 센서 캘리브레이션 장치에 있어서,
상기 다중 센서들로 구성된 폐루프가 폐루프 제약조건에 만족하는지를 결정하는 결정부와;
상기 다중 센서로 구성된 폐루프가 상기 폐루프 제약조건에 만족하면, 상기 폐루프 제약조건을 이용하여 상기 다중 센서의 각 센서 캘리브레이션에 사용되는 오차함수의 해를 구하는 제어부를 포함하며,
상기 다중 센서 각각은 하나의 3차원 라이다에 각각 연결된 다수의 배열 카메라로 이루어지는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 장치.In a multiple sensor calibration apparatus,
A determination unit that determines whether a closed loop composed of the multiple sensors satisfies a closed loop constraint;
And a controller for obtaining a solution of an error function used for each sensor calibration of the multiple sensors using the closed loop constraint when the closed loop composed of the multiple sensors satisfies the closed loop constraint,
Wherein each of the plurality of sensors comprises a plurality of array cameras connected to one three-dimensional array. 제1항에 있어서, 상기 제어부는,
Figure 112013117235265-pat00010
를 통해 상기 다중 센서 내의 제1 센서 좌표에서 제2 센서 좌표(X')로 변환하며, 여기서, R은 하나의 3차원 라이다와 하나의 카메라 사이의 회전(Rotation) 행렬, T는 하나의 3차원 라이다와 하나의 카메라 사이의 병진(Translation) 벡터, X는 센서 좌표를 나타내는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 장치.The apparatus of claim 1,
Figure 112013117235265-pat00010
(X ') from the first sensor coordinates in the multiple sensors, where R is a rotation matrix between one 3-dimensional and one camera, T is a 3 A translation vector between one dimensional camera and the one dimensional camera, and X represents sensor coordinates. 제1항에 있어서, 상기 결정부는,
상기 3차원 라이다와 제1 카메라로 이루어진 제1 센서, 상기 3차원 라이다와 제2 카메라로 이루어진 제2 센서, 상기 제1 카메라와 제2 카메라로 이루어진 제3 센서로 구성된 폐루프가
Figure 112013117235265-pat00011
식의 폐루프 제약조건을 만족하는지를 결정하며,
여기서, R1은 하나의 3차원 라이다와 제1 카메라 사이의 회전(Rotation) 행렬을 나타내며, R2은 하나의 3차원 라이다와 제2 카메라 사이의 회전(Rotation) 행렬을 나타내며, R3은 하나의 3차원 라이다와 제3 카메라 사이의 회전(Rotation) 행렬을 나타내며, T1은 하나의 3차원 라이다와 제1 카메라 사이의 병진 벡터를 나타내며, T2은 하나의 3차원 라이다와 제2 카메라 사이의 병진 벡터를 나타내며, T3은 하나의 제1 카메라와 제2 카메라 사이의 병진 벡터를 나타내는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 장치.2. The apparatus according to claim 1,
A closed loop composed of a first sensor made up of the three-dimensional ray and the first camera, a second sensor made up of the three-dimensional ray and the second camera, and a third sensor made up of the first camera and the second camera
Figure 112013117235265-pat00011
Loop closed loop constraint,
Here, R 1 represents a rotation matrix between one 3-dimensional RI and the first camera, R 2 represents a rotation matrix between one 3-dimensional RI and the second camera, and R 3 Denotes a rotation matrix between one 3-dimensional Lada and a 3rd camera, T 1 denotes a translation vector between one 3-dimensional Lada and the 1st camera, and T 2 denotes one 3-dimensional Luma And T 3 denotes a translation vector between one of the first camera and the second camera. 제3항에 있어서, 상기 제3 센서의 관계인 R3,T3는
Figure 112013117235265-pat00012
식에 의해 정의되는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 장치.4. The method of claim 3, wherein R 3 and T 3 of the third sensor
Figure 112013117235265-pat00012
Lt; RTI ID = 0.0 > 1, < / RTI > 제4항에 있어서, 상기 제1 센서와 제2 센서의 쌍, 상기 제2 센서와 제3 센서의 쌍의 각 캘리브레이션 오차함수는,
Figure 112013117235265-pat00013
식을 통해 정의되는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 장치.5. The method of claim 4, wherein each calibration error function of the pair of the first sensor and the second sensor, the pair of the second sensor and the third sensor,
Figure 112013117235265-pat00013
≪ / RTI > wherein the closed-loop-based multi-sensor calibration device is defined by an equation. 제5항에 있어서, 상기 폐루프를 이용한 오차함수는,
Figure 112013117235265-pat00014
식을 통해 구해지는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 장치.6. The method of claim 5, wherein the error function using the closed-
Figure 112013117235265-pat00014
≪ / RTI > is obtained by the following equation: < EMI ID = 1.0 > 다중 센서 캘리브레이션 방법에 있어서,
상기 다중 센서들로 구성된 폐루프가 폐루프 제약조건에 만족하는지를 결정하는 단계와;
상기 다중 센서로 구성된 폐루프가 상기 폐루프 제약조건에 만족하면, 상기 폐루프 제약조건을 이용하여 상기 다중 센서의 각 센서 캘리브레이션에 사용되는 오차함수의 해를 구하는 단계를 포함하며,
상기 다중 센서 각각은 하나의 3차원 라이다에 각각 연결된 다수의 배열 카메라로 이루어지는 것을 특징으로 하는 폐루프 기반의 다중 센서 캘리브레이션 방법.In a multiple sensor calibration method,
Determining if the closed loop comprised of the multiple sensors satisfies a closed loop constraint;
Determining a solution of an error function used for each sensor calibration of the multiple sensors using the closed loop constraint if the closed loop composed of the multiple sensors satisfies the closed loop constraint,
Wherein each of the plurality of sensors comprises a plurality of array cameras connected to a single three-dimensional array.
KR1020130160655A 2013-12-20 2013-12-20 Calibration apparatus for multi-sensor based on closed-loop and and method thereof KR101473736B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130160655A KR101473736B1 (en) 2013-12-20 2013-12-20 Calibration apparatus for multi-sensor based on closed-loop and and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130160655A KR101473736B1 (en) 2013-12-20 2013-12-20 Calibration apparatus for multi-sensor based on closed-loop and and method thereof

Publications (1)

Publication Number Publication Date
KR101473736B1 true KR101473736B1 (en) 2014-12-18

Family

ID=52679171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160655A KR101473736B1 (en) 2013-12-20 2013-12-20 Calibration apparatus for multi-sensor based on closed-loop and and method thereof

Country Status (1)

Country Link
KR (1) KR101473736B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167788A (en) * 2017-03-21 2017-09-15 深圳市速腾聚创科技有限公司 Obtain laser radar calibration parameter, the method and system of laser radar calibration
CN108020825A (en) * 2016-11-03 2018-05-11 岭纬公司 Laser radar, Laser video camera head, the fusion calibration system of video camera and method
KR101932041B1 (en) * 2017-03-02 2018-12-24 충북대학교 산학협력단 Method and apparatus for calibration of dual Lidar sensors
KR20190064708A (en) 2017-11-30 2019-06-11 한국로봇융합연구원 Multi sensor calibration system and calibration method for multi sensor
KR20190072734A (en) * 2017-12-18 2019-06-26 전자부품연구원 Calibration Method for Integrating a Single Three-dimensional Coordinate System of Multiple Sensors
CN110376598A (en) * 2019-08-14 2019-10-25 深圳市镭神智能***有限公司 A kind of vision system and laser radar fusing device and emerging system
KR20200052391A (en) * 2018-10-22 2020-05-15 주식회사 스프링클라우드 Distance measuring equipment for autonomous vehicles
CN111492403A (en) * 2017-10-19 2020-08-04 迪普迈普有限公司 Lidar to camera calibration for generating high definition maps

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
KR101033167B1 (en) 2011-01-31 2011-05-11 국방과학연구소 Device, system and method for calibration of camera and laser range finder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
KR101033167B1 (en) 2011-01-31 2011-05-11 국방과학연구소 Device, system and method for calibration of camera and laser range finder

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108020825A (en) * 2016-11-03 2018-05-11 岭纬公司 Laser radar, Laser video camera head, the fusion calibration system of video camera and method
CN108020825B (en) * 2016-11-03 2021-02-19 岭纬公司 Fusion calibration system and method for laser radar, laser camera and video camera
KR101932041B1 (en) * 2017-03-02 2018-12-24 충북대학교 산학협력단 Method and apparatus for calibration of dual Lidar sensors
CN107167788A (en) * 2017-03-21 2017-09-15 深圳市速腾聚创科技有限公司 Obtain laser radar calibration parameter, the method and system of laser radar calibration
CN111492403A (en) * 2017-10-19 2020-08-04 迪普迈普有限公司 Lidar to camera calibration for generating high definition maps
US11747455B2 (en) 2017-10-19 2023-09-05 Nvidia Corporation Calibrating sensors mounted on an autonomous vehicle
KR20190064708A (en) 2017-11-30 2019-06-11 한국로봇융합연구원 Multi sensor calibration system and calibration method for multi sensor
KR20190072734A (en) * 2017-12-18 2019-06-26 전자부품연구원 Calibration Method for Integrating a Single Three-dimensional Coordinate System of Multiple Sensors
KR102021202B1 (en) * 2017-12-18 2019-09-11 전자부품연구원 Calibration Method for Integrating a Single Three-dimensional Coordinate System of Multiple Sensors
KR20200052391A (en) * 2018-10-22 2020-05-15 주식회사 스프링클라우드 Distance measuring equipment for autonomous vehicles
KR102426922B1 (en) * 2018-10-22 2022-07-29 주식회사 스프링클라우드 Distance measuring equipment for autonomous vehicles
CN110376598A (en) * 2019-08-14 2019-10-25 深圳市镭神智能***有限公司 A kind of vision system and laser radar fusing device and emerging system

Similar Documents

Publication Publication Date Title
KR101473736B1 (en) Calibration apparatus for multi-sensor based on closed-loop and and method thereof
US10726579B1 (en) LiDAR-camera calibration
JP5371927B2 (en) Coordinate system calibration method and robot system
US9826217B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
US20230093680A1 (en) Data fusion
US20200158840A1 (en) Multi-mode multi-sensor calibration
KR101565900B1 (en) Device, method for calibration of camera and laser range finder
US10353072B2 (en) Laser scanner controlling device, laser scanner controlling method, and laser scanner controlling program
US11426876B2 (en) Information processing apparatus, information processing method, and program
WO2012133457A1 (en) Object recognition device
JP6515650B2 (en) Calibration apparatus, distance measuring apparatus and calibration method
CN112946609B (en) Calibration method, device and equipment for laser radar and camera and readable storage medium
CN112558043B (en) Laser radar calibration method and electronic equipment
CN115427832A (en) Lidar and image calibration for autonomous vehicles
US20180117760A1 (en) Robotic sensing apparatus and methods of sensor planning
KR20210061875A (en) Method for detecting defects in the 3d lidar sensor using point cloud data
JP5976027B2 (en) Sensor axis deviation detection device and sensor axis deviation detection method
Mader et al. An integrated flexible self-calibration approach for 2D laser scanning range finders applied to the Hokuyo UTM-30LX-EW
CN111496845A (en) Installation method of TOF module for robot
WO2020215296A1 (en) Line inspection control method for movable platform, and line inspection control device, movable platform and system
JP2018074479A (en) Imaging apparatus and mobile object system
CN111044039A (en) Monocular target area self-adaptive high-precision distance measuring device and method based on IMU
JP6901870B2 (en) Position estimator, control method, and program
US11039114B2 (en) Method for determining distance information from images of a spatial region
US11524702B2 (en) Method and device for autonomous driving control, vehicle, storage medium and electronic device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant