KR102145557B1 - Apparatus and method for data fusion between heterogeneous sensors - Google Patents
Apparatus and method for data fusion between heterogeneous sensors Download PDFInfo
- Publication number
- KR102145557B1 KR102145557B1 KR1020190020480A KR20190020480A KR102145557B1 KR 102145557 B1 KR102145557 B1 KR 102145557B1 KR 1020190020480 A KR1020190020480 A KR 1020190020480A KR 20190020480 A KR20190020480 A KR 20190020480A KR 102145557 B1 KR102145557 B1 KR 102145557B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- fusion
- sensor
- point cloud
- camera sensor
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000003550 marker Substances 0.000 claims abstract description 76
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 이종 센서 간의 데이터 융합 장치 및 방법에 관한 것으로, 보다 구체적으로는 캘리브레이션이 수행된 카메라 센서 및 라이다 센서 각각을 통해 식별된 데이터들을 변환벡터를 이용하여 융합하고, 상기 데이터들이 융합된 융합 데이터의 정확도를 평가하는 기술에 관한 것이다.The present invention relates to an apparatus and method for data fusion between heterogeneous sensors, and more specifically, fusion of data identified through each of a calibrated camera sensor and a lidar sensor using a conversion vector, and fusion of the data It relates to techniques for evaluating the accuracy of data.
최근 센싱 기술의 발달에 따라 카메라, 라이다, 레이더 등의 멀티 센서를 사용한 데이터 융합 및 데이터 통합 기술에 대한 관심이 증가하고 있다. 특히 로봇이나 자율주행 시스템은 센서 간의 상호보완을 통한 안정적 이동성이 중요한 이슈로 대두되었다. 최근 개발된 센서 융합 기술을 통해 각 센서들의 장점을 융합함으로써 개별 센서의 단점을 극복할 수 있고, 안정적 이동에 대한 이슈를 충분히 해결 가능하게 되었다.With the recent development of sensing technology, interest in data fusion and data integration technology using multi-sensors such as cameras, lidars, and radars is increasing. In particular, for robots and autonomous driving systems, stable mobility through complementation between sensors has emerged as an important issue. By combining the advantages of each sensor through the recently developed sensor fusion technology, it is possible to overcome the shortcomings of individual sensors and to sufficiently solve the issue of stable movement.
일례로, 라이다 센서와 같은 거리 측정 센서는 다양한 객체 탐색을 위해 RGB 카메라와 함께 사용할 수 있다. 라이다 센서는 물체에 대한 3D 위치 및 깊이 정보를 제공할 수 있는 반면 RGB 카메라는 물체에 대한 2D 위치 및 색상 정보를 제공할 수 있다. 따라서 2D 영상 데이터에 3D 위치 정보를 맵핑함으로써 보다 현실 세계 속의 객체를 시각화 할 수 있다. For example, a distance measurement sensor such as a lidar sensor can be used with an RGB camera to search for various objects. A lidar sensor can provide 3D position and depth information for an object, while an RGB camera can provide 2D position and color information for an object. Therefore, by mapping 3D location information to 2D image data, it is possible to visualize objects in the real world.
한편, 자율주행 차량에서 카메라와 라이다를 이용한 인지 기술 개발을 위해서는 우선적으로 카메라와 라이다 사이의 상대적 위치(자세 및 방향 정보 포함)에 대한 정확한 지식이 필요하다. 이것은 두 이종 센서 프레임 간의 변환을 결정하는 것, 다시 말해서 외부 캘리브레이션(extrinsic calibration) 문제로 접근할 수 있다. 라이다의 포인트 클라우드 데이터와 카메라의 이미지 데이터에서 고유한 특징(feature)을 식별하기 위해서는 두 센서 사이의 대응 관계를 설정해야 한다. Meanwhile, in order to develop a cognitive technology using a camera and a lidar in an autonomous vehicle, it is first necessary to accurately knowledge about the relative position (including posture and direction information) between the camera and the lidar. This can be approached as a problem of determining the conversion between two heterogeneous sensor frames, ie, extrinsic calibration. In order to identify unique features in the LIDAR point cloud data and the camera's image data, a correspondence relationship between the two sensors must be established.
그러나 이와 같이 설정된 두 센서 사이의 대응 관계를 통해 각 센서를 통해 식별된 데이터를 융합하는 경우, 해당 융합 데이터가 제대로 융합되었는지를 판단하는 기준이 모호한 실정이다. 따라서, 융합 데이터에 대한 안전성과 신뢰성을 위해 융합 데이터의 정확도를 평가하는 기술이 요구되고 있다.However, when data identified through each sensor is fused through the correspondence between the two sensors set as described above, the criteria for determining whether the fusion data is properly fused is ambiguous. Therefore, there is a need for a technology to evaluate the accuracy of the fusion data for safety and reliability of the fusion data.
본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시키는 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for improving detection accuracy of a distant object regardless of a mounting position of the heterogeneous sensor by performing calibration between heterogeneous sensors through a 3D marker board in which a hole exists.
또한, 본 발명은 캘리브레이션이 수행된 이종 센서 각각을 통해 식별된 데이터들을 융합하여 융합 데이터를 생성하고, 생성된 융합 데이터에 대한 정확도를 평가하는 장치 및 방법을 제공할 수 있다.In addition, the present invention may provide an apparatus and method for generating fusion data by fusion of data identified through each of the heterogeneous sensors on which calibration has been performed, and evaluating the accuracy of the generated fusion data.
본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법은 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계; 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계를 포함할 수 있다.The data fusion method between heterogeneous sensors according to an embodiment of the present invention includes image data and point cloud data for a search area through each of a camera sensor and a LiDAR sensor calibrated using a marker board with a hole. Identifying a; Recognizing a conversion vector determined through calibration of the camera sensor and lidar sensor; And fusing the identified image data and point cloud data by projecting the cloud data of the lidar sensor to the image data of the camera sensor using the recognized conversion vector.
상기 변환 벡터는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정될 수 있다.The conversion vector may be determined based on a first distance from the camera sensor to a marker board and a second distance from the lidar sensor to a marker board.
상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.The first distance and the second distance may be determined using a focal length of the camera sensor, a radius of a hole existing in the marker board, and a radius of a hole recognized through each of the camera sensor and lidar sensor.
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 단계를 더 포함할 수 있다.It may further include evaluating the accuracy of the fusion data fused the identified image data and point cloud data.
상기 평가하는 단계는 상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.The evaluating step is to evaluate the accuracy of the fusion data by using the correspondence between the positions of pixels corresponding to the reference region of the identified image data in the fusion data and the positions of the points of the point cloud data corresponding to the reference region. I can.
상기 평가하는 단계는 상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.In the evaluating step, the points of the point cloud data are visualized in the fusion data, and the accuracy of the fusion data may be evaluated using a degree of correspondence between the color values of the visualized points and the pixel values of the identified image data.
상기 평가하는 단계는 상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가할 수 있다.In the evaluating step, the estimated distance to the target is determined using points of point cloud data aligned with pixels corresponding to the image of the target in the fusion data, and the estimated distance and an existing target recognition algorithm are determined. The accuracy of the fusion data may be evaluated by comparing the measured distance to the target measured through.
본 발명의 일실시예에 따른 데이터 융합 장치는 카메라 센서 및 라이다 센서 간의 데이터 융합을 수행하는 프로세서를 포함하고, 상기 프로세서는 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하고, 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하며, 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합할 수 있다.A data fusion device according to an embodiment of the present invention includes a processor that performs data fusion between a camera sensor and a lidar sensor, wherein the processor is a camera sensor and a lidar calibrated using a marker board in which a hole exists. (LiDAR) Identify image data and point cloud data for a search area through each sensor, recognize a conversion vector determined through calibration of the camera sensor and LiDAR sensor, and use the recognized conversion vector The identified image data and point cloud data can be fused by projecting the cloud data of the sensor onto the image data of the camera sensor.
상기 변환 벡터는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정될 수 있다.The conversion vector may be determined based on a first distance from the camera sensor to a marker board and a second distance from the lidar sensor to a marker board.
상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.The first distance and the second distance may be determined using a focal length of the camera sensor, a radius of a hole existing in the marker board, and a radius of a hole recognized through each of the camera sensor and lidar sensor.
상기 프로세서는 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가할 수 있다.The processor may evaluate the accuracy of fusion data obtained by fusion of the identified image data and point cloud data.
상기 프로세서는 상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.The processor may evaluate the accuracy of the fusion data by using a degree of correspondence between the positions of pixels corresponding to the reference area of the identified image data in the fusion data and the positions of points of the point cloud data corresponding to the reference.
상기 프로세서는 상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.The processor may visualize points of point cloud data in the fusion data, and evaluate the accuracy of the fusion data by using a degree of correspondence between a color value of the visualized points and a pixel value of the identified image data.
상기 프로세서는 상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가할 수 있다.The processor determines the estimated distance to the target by using points of point cloud data aligned with pixels corresponding to the image of the target in the fusion data, and measures the estimated distance and an existing target recognition algorithm. The accuracy of the fusion data may be evaluated by comparing the measured distance to the target.
본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시킬 수 있다.The present invention can improve detection accuracy for a distant object regardless of the mounting position of the heterogeneous sensor by performing calibration between heterogeneous sensors through a 3D marker board with a hole.
또한, 본 발명은 캘리브레이션이 수행된 이종 센서 각각을 통해 식별된 데이터들을 융합하여 융합 데이터를 생성하고, 생성된 융합 데이터에 대한 정확도를 평가할 수 있다.In addition, the present invention can generate fusion data by fusion of data identified through each of the heterogeneous sensors on which calibration has been performed, and evaluate the accuracy of the generated fusion data.
도 1은 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 마커 보드의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 추출하는 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제1 실시예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 다양한 시나리오를 고려하여 식별된 카메라 센서의 이미지 데이터와 라이다 센서의 포인트 클라우드 데이터를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제2 실시예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 터의 정확도 평가 방법에 대한 제3 실시예를 도시한 도면이다.1 is a diagram illustrating a data fusion system between heterogeneous sensors according to an embodiment of the present invention.
2 is a diagram showing an example of a marker board according to an embodiment of the present invention.
3 is a diagram illustrating an example of extracting a hole from heterogeneous sensor data according to an embodiment of the present invention.
4 is a diagram illustrating a method for determining a transform vector according to an embodiment of the present invention.
5 is a diagram illustrating a data fusion method between heterogeneous sensors according to an embodiment of the present invention.
6 is a diagram illustrating a first embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
7 is a diagram showing image data of a camera sensor and point cloud data of a lidar sensor identified in consideration of various scenarios according to an embodiment of the present invention.
8 is a diagram showing a second embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
9 is a diagram illustrating a third embodiment of a method for evaluating accuracy of a fusion site performed by a data fusion device according to an embodiment of the present invention.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, various changes may be made to the embodiments, and thus the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.
도 1은 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 시스템을 도시한 도면이다.1 is a diagram illustrating a data fusion system between heterogeneous sensors according to an embodiment of the present invention.
도 1을 참고하면, 본 발명의 이종 센서 간의 데이터 융합 시스템(100)은 제1 센서(110), 제1 센서(110)와는 다른 제2 센서(120), 마커 보드(130) 및 데이터 융합 장치(140)로 구성될 수 있다. 일례로, 제1 센서(110) 및 제2 센서(120)는 카메라 센서, 라이다 센서, 레이저 센서 등 다양한 센서 중 하나일 수 있다. Referring to FIG. 1, the
이와 같이 이종 센서를 통해 수집된 데이터를 융합하기 위해서는 각 센서의 프레임 간 좌표 변환, 즉 캘리브레이션을 수행하여야 한다. 이를 위해서는 이종 센서를 통해 수집된 데이터 각각에서 고유한 특징을 식별하고, 식별된 고유한 특징에 기초하여 이종 센서 간 대응 관계를 설정해야 한다.In order to fuse the data collected through heterogeneous sensors as described above, coordinate conversion, that is, calibration between frames of each sensor must be performed. To this end, it is necessary to identify a unique feature in each of the data collected through the heterogeneous sensor, and establish a correspondence relationship between the heterogeneous sensors based on the identified unique feature.
본 발명에서는 이종 센서 간의 데이터 융합 방법을 제공하기 위해 도 2와 같이 복수의 홀이 존재하는 마커 보드(130)를 이용하여 이종 센서 간의 캘리브레이션을 수행하는 방법을 제공한다. 이때, 마커 보드(130)에 존재하는 홀(131~134)은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있다. 또한, 도 2의 마커 보드(130)에는 4개의 홀(131~134)이 존재하지만 이와 같은 홀의 개수는 하나의 예시일 뿐 다양한 개수로 존재할 수 있다. In the present invention, in order to provide a data fusion method between heterogeneous sensors, a method of performing calibration between heterogeneous sensors using a
이때, 데이터 융합 장치(140)의 통신 장치(141)는 제1 센서(110) 및 제2 센서(120)로부터 마커 보드(130)를 촬영한 데이터를 수신할 수 있다. 이때, 통신 장치(141)는 제1 센서(110) 및 제2 센서(120)와 유선 혹은 무선으로 연결되어 데이터를 수신할 수 있다.In this case, the
그리고 데이터 융합 장치(140)의 프로세서(142)는 통신 장치(141)를 통해 수신된 데이터들을 식별하고, 식별된 데이터들로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 그리고 프로세서(142)는 제1 센서(110)로부터 식별된 데이터를 통해 인식한 홀의 반지름과 제2 센서(120)로부터 식별된 데이터를 통해 인식한 홀의 반지름에 기초하여 제1 센서(110)와 제2 센서(120) 간의 캘리브레이션을 위한 변환 벡터를 결정할 수 있다. In addition, the
다시 말하자면, 제1 센서(110)의 좌표계와 제2 센서(120)의 좌표계는 상기 변환 벡터를 통해 일치될 수 있는데, 이와 같은 변환 벡터는 제1 센서(110)와 제2 센서(120)의 상대적인 위치 차이, 즉 제1 센서(110)와 마커 보드(130) 사이의 거리 및 제2 센서(120)와 마커 보드(130) 사이의 거리에 기초하여 결정될 수 있다. 보다 자세한 변환 벡터 결정 방법은 이후 개시되는 도 4를 통해 보다 자세히 설명하도록 한다.In other words, the coordinate system of the
이후 프로세서(142)는 결정된 변환 벡터를 이용하여 제1 센서(110)의 좌표계 및 제2 센서(120)의 좌표계가 서로 일치하도록 이종 센서 간의 캘리브레이션을 수행함으로써 제1 센서(110)로부터 식별된 데이터와 제2 센서(120)로부터 식별된 데이터를 융합할 수 있다. Thereafter, the
기존의 이종 센서 간의 캘리브레이션 방법은 마커 보드의 위치 변화나 센서 사이의 위치 변화가 있을 때마다 측정 오차를 유발하거나, 원거리 타겟을 인식하는 경우 센서 자체의 특성에 따라 서로 다른 결과를 생성할 수 있었다. 따라서, 기존의 이종 센서 간의 캘리브레이션 방법은 타겟의 인지 정확도를 높이기 위해 이종 센서 간의 탑재 위치를 최대한 가깝게 배치하여 캘리브레이션을 수행하기 때문에 비교적 가까운 거리 내에 위치한 타겟만을 인식할 수 있으므로, 원거리 타겟을 인지해야 하는 자율주행 시스템 등에서는 적합하지 않는 단점이 있었다.Existing calibration methods between heterogeneous sensors could cause measurement errors whenever there is a change in the position of the marker board or between the sensors, or when recognizing a distant target, different results could be generated according to the characteristics of the sensor itself. Therefore, the conventional calibration method between heterogeneous sensors performs calibration by arranging the mounting positions between the heterogeneous sensors as close as possible to increase the recognition accuracy of the target, so only targets located within a relatively close distance can be recognized. There was a drawback that is not suitable for autonomous driving systems.
그러나 본 발명의 이종 센서 간의 캘리브레이션 방법은 홀이 존재하는 마커 보드(130)를 이용하여 캘리브레이션을 수행함으로써 이종 센서 간의 탑재 위치에 상관없이 원거리의 타겟에 대해서도 높은 정확도로 인식할 수 있으므로 자율주행 시스템 등에서도 크게 활용될 수 있다.However, the method of calibrating between heterogeneous sensors of the present invention performs calibration using the
추가적으로 본 발명의 데이터 융합 시스템(100)은 이종 센서 간의 캘리브레이션을 통해 융합된 데이터의 정확도를 평가하는 방법을 제공할 수 있으며, 이를 위해 별도의 거리 측정 센서(150)를 더 포함할 수 있다. 보다 구체적인 융합 데이터에 대한 정확도 평가 방법은 도 6 내지 도 9을 통해 자세히 설명하도록 한다.Additionally, the
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 인식하는 예를 도시한 도면이다.3 is a diagram illustrating an example of recognizing a hole from heterogeneous sensor data according to an embodiment of the present invention.
본 발명에서는 다양한 이종 센서 간의 캘리브레이션 방법 중 카메라 센서 및 라이다 센서 간의 캘리브레이션 방법을 제공한다. 따라서, 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하기 위해서는 먼저 카메라 센서 및 라이다 센서 각각이 마커 보드(130)를 촬영한 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식하는 것이 필요하다.The present invention provides a calibration method between a camera sensor and a lidar sensor among a variety of calibration methods between heterogeneous sensors. Accordingly, in order to perform calibration between the camera sensor and the lidar sensor, it is first necessary for each of the camera sensor and lidar sensor to recognize a hole existing in the
먼저, 프로세서(142)는 이종 센서 중 하나가 카메라 센서인 경우, 체커 보드를 이용하여 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 자체의 내부 특성에 대응하는 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이는 이종 센서 즉, 카메라 센서 및 라이다 센서 각각을 통해 수집한 이미지 데이터 및 포인트 클라우드 데이터의 융합을 위해 필수적인 단계일 수 있다. 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 캘리브레이션의 결과로 프로세서(142)는 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있다. 이때, 카메라 투영 행렬은 하기의 식 1과 같이 내부 행렬 및 외부 행렬의 결합으로 획득될 수 있다.First, when one of the heterogeneous sensors is a camera sensor, the
<식 1><Equation 1>
여기서, 
<식 2><Equation 2>
여기서 
도 3의 (a)는 라이다 센서를 이용하여 마커 보드(130)를 센싱 함으로써 식별된 포인트 클라우드 데이터로부터 프로세서(142)가 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다. 3A shows an example in which the
프로세서(142)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.The
프로세서(142)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130)만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 프로세서(142)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.In order to extract only the
프로세서(142)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 프로세서(142)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 프로세서(142)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다. The
이후 프로세서(142)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다. 일례로, 본 발명에서는 자율주행 시스템에 활용하기 위하여 반지름을 20~22cm로 결정하였고, 해당 임계값 범위 내에 있는 네 개의 원을 도 3의 (a)와 같이 인식할 수 있었다.Thereafter, the
도 3의 (b)는 카메라 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 이미지 데이터로부터 프로세서(142)가 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다. FIG. 3B shows an example in which the
프로세서(142)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀(130)의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 프로세서(142)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다. The
프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 대해 3
프로세서(142)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 프로세서(142)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다. 일례로, 본 발명의 프로세서(142)는 카메라 센서를 통해 식별된 이미지 데이터로부터 네 개의 원을 도 3의 (b)와 같이 인식할 수 있었다.The
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.4 is a diagram illustrating a method for determining a transform vector according to an embodiment of the present invention.
도 3과 같이 카메라 센서 및 라이다 센서를 통해 식별된 데이터로부터 마커 보드(130)에 존재하는 홀이 인식되면, 프로세서(142)는 인식된 홀을 이용하여 카메라 센서와 라이다 센서 간의 좌표계를 일치시키기 위한 캘리브레이션을 수행할 수 있다. 본 발명에서는 자율주행 차량의 카메라 센서 및 라이다 센서가 3축에서 동일한 방향으로 탑재되므로 회전 차이(Rotation difference)는 고려하지 않고, 센서 간 이동 차이(Translation difference)만을 고려하여 이종 센서 간의 캘리브레이션을 수행함으로써 연산량을 최소화할 수 있다. As shown in FIG. 3, when a hole in the
즉, 프로세서(142)는 두 센서의 내부 파라미터(Intrinsic parameter) 즉, 카메라 센서 고유의 캘리브레이션 파라미터와 외부 파라미터(Extrinsic parameter) 즉, 변환 벡터를 계산한 후 하기의 식 3을 통해 라이다 센서를 통해 식별된 포인트 클라우드 데이터의 포인트들을 카메라 센서를 통해 식별된 이미지 데이터 상에 투영(Projection)함으로써 두 이종 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 수 있다.That is, the
<식 3><Equation 3>
이때, 외부 파라미터인 변환 벡터는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 결정될 수 있다. 먼저, 프로세서(142)는 변환 벡터(
<식 4><Equation 4>
이때, 각 센서로부터 마커 보드(130)까지의 거리 
<식 5><Equation 5>
이후, 프로세서(142)는 계산된 
<식 6><Equation 6>
이와 같이 결정된 변환 벡터(
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법을 도시한 도면이다.5 is a diagram illustrating a data fusion method between heterogeneous sensors according to an embodiment of the present invention.
단계(510)에서, 데이터 융합 시스템(100)의 데이터 융합 장치(140)는 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이때, 데이터 융합 장치(140)는 체커 보드를 이용하여 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. In
데이터 융합 장치(140)는 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 카메라 센서의 캘리브레이션의 결과 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있으며, 이를 통해 카메라 센서 및 라이다 센서를 통해 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합할 수 있다. The
단계(520)에서, 데이터 융합 장치(140)는 카메라 센서를 통해 마커 보드(130)를 촬영한 이미지 데이터를 식별하고, 단계(530)에서 라이다(LiDAR) 센서를 통해 마커 보드(130)를 센싱(Sensing)한 포인트 클라우드 데이터를 식별할 수 있다. 이때, 마커 보드(130)에 존재하는 홀은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있으며 다양한 개수로 존재할 수 있다.In
단계(540)에서, 데이터 융합 장치(140)는 카메라 센서를 이용하여 마커 보드(130)를 촬영함으로써 식별된 이미지 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 데이터 융합 장치(140)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 데이터 융합 장치(140)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.In
데이터 융합 장치(140)는 변환된 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 데이터 융합 장치(140)는 그레이 스케일 형태의 이미지 데이터에 대해 3
데이터 융합 장치(140)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 데이터 융합 장치(140)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다.The
단계(550)에서, 데이터 융합 장치(140)는 라이다 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 포인트 클라우드 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 데이터 융합 장치(140)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.In
데이터 융합 장치(140)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130) 만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 데이터 융합 장치(140)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.The
데이터 융합 장치(140)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 데이터 융합 장치(140)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 데이터 융합 장치(140)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다. The
이후 데이터 융합 장치(140)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다Thereafter, the
단계(560)에서, 데이터 융합 장치(140)는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 변환 벡터를 결정할 수 있다. 이때, 라이다 센서로부터 마커 보드(130)까지의 제1 거리(
단계(570)에서, 데이터 융합 장치(140)는 결정된 변환 벡터를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 할 수 있다. 그리고, 데이터 융합 장치(140)는 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 원거리에 위치한 타겟을 보다 정확하게 탐지할 수 있다.In
도 6은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제1 실시예를 도시한 도면이다.6 is a diagram illustrating a first embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
본 발명에서는 주행 차량의 깊이 감지 컨텍스트(depth sensing context)를 이용하여 이종 센서 간 데이터 융합 방법의 성능을 평가하는 방법을 제시한다. 데이터 융합 방법은 자율 주행 차량의 현재 요구 사항을 기반으로 주변 환경을 감지할 때 다양한 측면을 고려하여 평가될 수 있다.In the present invention, a method of evaluating the performance of a data fusion method between heterogeneous sensors using a depth sensing context of a driving vehicle is proposed. The data fusion method can be evaluated in consideration of various aspects when detecting the surrounding environment based on the current requirements of an autonomous vehicle.
또한 본 발명은 자율 주행 차량 플랫폼으로 실제 도로 주행을 통해 식별된 이종 센서의 데이터들을 융합하고, 융합한 데이터의 정확도를 평가하기 위한 기준을 제시할 수 있다.In addition, the present invention can provide a standard for fusion of data of heterogeneous sensors identified through actual road driving with an autonomous vehicle platform and evaluating the accuracy of the fused data.
일례로, 본 발명의 데이터 융합 장치(140)는 자율 주행 차량 플랫폼에 라이다 센서 및 카메라 센서를 배치하고 자율 주행 차량의 이동에 따라 식별된 데이터들의 융합 정확도에 대한 평가 실험을 수행하였다. 자율 주행 차량 플랫폼에는 Velodyne HDL 64E-S2 라이다 센서와 Sekonix SF3321 카메라 센서 1대를 이용하여 데이터를 취득하였다. 라이다 센서 및 카메라 센서에 의해 식별된 데이터를 융합하기 전에 센서를 보정하여 카메라 센서 고유의 캘리브레이션 파라미터(내부 매개 변수와 외부 매개 변수)를 추정할 수 있다.As an example, the
평가 실험은 이와 같은 자율 주행 차량 플랫폼 및 센서 배치를 통해 얻은 센서 데이터를 사용하여 수행되었다. 다양한 도로 환경 시나리오에서 30-40 km/h로 달리는 차량을 이용하여 데이터를 취득하였는데, 카메라 센서는 초당 40-60 프레임으로 이미지 데이터를 획득하고, 라이다 센서는 초당 20 프레임으로 포인트 클라우드 데이터를 획득하였다. 카메라 센서에 의해 캡처된 이미지 데이터와 라이다 센서에 의해 센싱된 포인트 클라우드 데이터는 각각 도 7의 왼쪽(710)과 오른쪽(720)과 같다. Evaluation experiments were conducted using sensor data obtained through such autonomous vehicle platform and sensor placement. Data was acquired using a vehicle running at 30-40 km/h in various road environment scenarios, the camera sensor acquired image data at 40-60 frames per second, and the lidar sensor acquired point cloud data at 20 frames per second. I did. Image data captured by the camera sensor and point cloud data sensed by the lidar sensor are the same as the left 710 and right 720 of FIG. 7, respectively.
움직이는 물체 및 고정 물체까지의 거리를 추정하는 방법은 자율 주행을 위한 필수 기술이다. 융합 데이터의 정확도를 평가하는 것은 타겟 물체까지의 거리와 관련된 요소를 고려하여 검증할 수 있다.A method of estimating the distance to a moving object and a fixed object is an essential technology for autonomous driving. Evaluating the accuracy of the fusion data can be verified by considering factors related to the distance to the target object.
데이터 융합 장치(140)는 도 6과 같이 타겟 물체까지의 거리가 변할 때, 융합 데이터의 정확도를 측정하여 평균 오차를 비교할 수 있다. 구체적으로 데이터 융합 장치(140)는 카메라 센서를 통해 식별된 이미지 데이터의 참조 영역에 라이다 센서의 포인트들이 얼마나 맵핑되어 정렬되었는지를 분석함으로써 융합 데이터의 정확도를 평가할 수 있다. When the distance to the target object changes as shown in FIG. 6, the
일례로, 표 1은 동일한 평면 마커 보드를 거리를 다르게 실험하여 카메라 센서를 통해 식별된 이미지 데이터의 픽셀들과 라이다 센서를 통해 식별된 포인트 클라우드 데이터의 포인트들을 융합한 분석 결과이다. 이 평가 방법은 차량으로부터 20m(a), 30m(b) 및 40m(c)의 거리에서 각각 실험을 수행하였으며, 1m ㅧ 1.5m 크기의 동일한 평면 보드를 사용하였다.As an example, Table 1 is an analysis result obtained by fusion of pixels of image data identified through a camera sensor and points of point cloud data identified through a lidar sensor by experimenting with different distances on the same flat marker board. In this evaluation method, experiments were performed at a distance of 20m(a), 30m(b) and 40m(c) from the vehicle, and the same flat board of 1m x 1.5m was used.
평면 보드의 모서리(Coner)에는 카메라 센서의 이미지 데이터에서 참조 영역을 표시하기 위해 별도의 테이프를 사용하여 표시하였으며, 라이다 센서의 포인트 클라우드 데이터 중 테이프로 표시된 참조 영역에 일치하는 포인트들을 찾아서 정렬 정도를 측정함으로써 융합 데이터의 정확도를 평가하였다. A separate tape was used to mark the reference area in the image data of the camera sensor at the corner of the flat board, and the degree of alignment by finding points that match the reference area indicated by tape among the point cloud data of the lidar sensor. The accuracy of the fusion data was evaluated by measuring.
다시 말해, 데이터 융합 장치(140)는 카메라 센서와 라이다 센서를 통해 식별된 데이터들을 융합한 후 이미지 데이터에 포함된 각 참조 영역의 픽셀들 위치와 해당 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 통해 융합 데이터의 정확도를 평가할 수 있다. In other words, the
표 1에서와 같이 평가 실험을 수행한 후 통계 분석을 해본 결과, 참조 영역에 대응하는 이미지 데이터의 픽셀들 위치와 해당 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 평균 오차가 고해상도 카메라의 허용오차 범위인 35 픽셀보다도 낮은 결과를 보이는 것을 확인할 수 있다. 즉, 본 발명의 데이터 융합 장치(140)를 통해 융합된 데이터의 정확도가 높다는 것을 알 수 있다.As a result of statistical analysis after performing the evaluation experiment as shown in Table 1, the average error between the positions of the pixels of the image data corresponding to the reference area and the points of the point cloud data corresponding to the reference area is allowed by the high-resolution camera. It can be seen that the result is lower than the error range of 35 pixels. That is, it can be seen that the accuracy of the data fused through the
도 8은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제2 실시예를 도시한 도면이다.8 is a diagram showing a second embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
데이터 융합 장치(140)는 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 픽셀과 포인트 간의 정렬 점수를 계산함으로써 상기 융합 데이터의 정확도를 평가할 수 있다.The
다시 말하자면, 데이터 융합 장치(140)는 카메라 센서의 이미지 데이터에서 특정 객체의 픽셀 값이 해당 강도 값(intensity value) 기반의 RGB 포인트 값과 일치하는 비율 정도를 측정하여 융합 데이터의 정확도를 평가할 수 있다.In other words, the
일례로, 데이터 융합 장치(140)는 도 8의 오른쪽(820)과 같이 포인트 클라우드 데이터의 포인트들을 RGB 기반의 강도 값(intensity value)으로 변환하여 시각화 할 수 있다. 먼저 데이터 융합 장치(140)는 라이다 센서를 통해 식별된 3D 포인트 클라우드 데이터를 2D 포인트 클라우드 데이터로 변환하고, 변환된 2D 포인트 클라우드 데이터와 동일한 위치(position)에 있는 2D 이미지 데이터의 픽셀에 대한 색상값으로 2D 포인트 클라우드 데이터의 강도 값을 대체할 수 있다. 이때 픽셀과 포인트 간의 정렬 점수는 RGB로 변환된 포인트 클라우드 데이터의 포인트에 정확히 맵핑된 이미지 데이터의 픽셀 개수 비율을 기반으로 계산될 수 있다.For example, the
도 8을 참고하면, 동일한 객체를 나타내는 이미지 데이터(810)와 포인트 클라우드들을 시각화한 융합 데이터(820)는 동일한 좌표계에서 정확하게 정렬되었음을 보여준다. 표 2는 실제 도로 주행을 통해 획득한 데이터를 바탕으로 융합 데이터의 정확도를 통계 분석한 것으로써, 본 발명의 데이터 융합 장치(140)를 통해 생성된 융합 데이터를 이용하여 평균 89% 정도로 동일한 물체를 정확히 찾아낸 결과를 보여준다. Referring to FIG. 8, it is shown that
도 9는 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제3 실시예를 도시한 도면이다.9 is a diagram illustrating a third embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
도 9를 참고하면, 데이터 융합 장치(140)는 자율주행 차량을 위한 타겟의 깊이 추정을 수행함으로써 융합 데이터의 정확도를 평가할 수 있다. 데이터 융합 장치(140)는 주변 환경에서 차량의 깊이 추정을 위해 카메라 센서의 이미지 데이터에 정렬된 포인트 클라우드 데이터의 집합을 이용할 수 있다. Referring to FIG. 9, the
일례로, 데이터 융합 장치(140)는 차량의 깊이를 차량의 이미지에 대응하는 픽셀들 상에 정렬된 포인트들을 이용하여 추정할 수 있다. 보다 구체적으로 데이터 융합 장치(140)는 일정한 차량 이미지의 바운딩 박스(bounding box)에 포함된 픽셀들 상에 정렬된 포인트들의 거리(depth) 평균값을 이용하여 해당 차량까지의 추정 거리를 판단할 수 있다. 이때, 이미지 데이터에서의 차량 인지는 기존의 차량 인지 알고리즘을 사용하여 인식할 수 있다.As an example, the
실제도로 시나리오에서 수행된 실험 결과의 통계적 분석은 표 3과 같으며, 해당 장면의 이미지 데이터는 도 9와 같을 수 있다. 다양한 거리에 떨어져 있는 차량들이 포함된 네 개 이미지 데이터가 평가를 위해 고려되었다. 이 이미지 데이터들은 35km/h로 주행하는 동안 캡처되었다. Statistical analysis of the experimental results performed in the actual road scenario is shown in Table 3, and image data of the corresponding scene may be shown in FIG. 9. Four image data containing vehicles at various distances were considered for evaluation. These image data were captured while driving at 35 km/h.
데이터 융합 장치(140)는 이와 같이 획득한 차량까지의 추정 거리를 레이저 거리 측정기와 같은 별도의 거리 측정 센서(150)를 사용하여 얻은 실제 측정 거리와 비교함으로써 융합 데이터의 정확도를 평가할 수 있다. 즉, 융합 데이터에서 깊이 추정의 정확도는 실제 측정 거리와 추정 거리의 차이를 고려하여 계산될 수 있다.The
예를 들어, Scene 4(940)의 C3 차량은 80m 이상 떨어진 거리에서 측정된 차량으로 실제 측정 거리와 추정 거리의 차이가 9cm 임을 확인할 수 있다. 이와 같은 차이는 최대 거리 오차의 허용 기준 내에 존재하므로 본 발명의 데이터 융합 장치(140)를 통해 생성된 융합 데이터의 정확도가 높다는 것을 알 수 있다.For example, the C3 vehicle in the scene 4 940 is a vehicle measured at a distance of 80 m or more, and it can be confirmed that the difference between the actual measured distance and the estimated distance is 9 cm. Since such a difference exists within the allowable standard of the maximum distance error, it can be seen that the accuracy of the fusion data generated by the
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in an order different from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the following claims.
100 : 데이터 융합 시스템
110 : 제1 센서
120 : 제2 센서
130 : 마커 보드
140 : 데이터 융합 장치
141 : 통신 장치
142 : 프로세서
150 : 거리 측정 센서100: data fusion system
110: first sensor
120: second sensor
130: marker board
140: data fusion device
141: communication device
142: processor
150: distance measurement sensor
Claims (15)
상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및
상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계
를 포함하고,
상기 변환 벡터는,
상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 통해 식별되는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정되는 이종 센서 간의 데이터 융합 방법.Identifying image data and point cloud data for the search area through each of a camera sensor and a LiDAR sensor, which are calibrated using a marker board in which a hole exists;
Recognizing a conversion vector determined through calibration of the camera sensor and lidar sensor; And
Fusing the identified image data and point cloud data by projecting the cloud data of the lidar sensor to the image data of the camera sensor using the recognized conversion vector
Including,
The transformation vector is
The first distance from the camera sensor to the marker board and the lidar sensor identified through a focal length of the camera sensor, a radius of a hole present in the marker board, and a radius of a hole recognized through each of the camera sensor and lidar sensor Data fusion method between heterogeneous sensors determined based on the second distance from the marker board to the marker board.
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 단계
를 더 포함하는 이종 센서 간의 데이터 융합 방법.The method of claim 1,
Evaluating the accuracy of fusion data by fusion of the identified image data and point cloud data
Data fusion method between heterogeneous sensors further comprising a.
상기 평가하는 단계는,
상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.The method of claim 4,
The evaluating step,
Data between heterogeneous sensors for evaluating the accuracy of the fusion data by using the degree of correspondence between the positions of pixels corresponding to the reference region of the identified image data in the fusion data and the positions of points of the point cloud data corresponding to the reference region Fusion method.
상기 평가하는 단계는,
상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.The method of claim 4,
The evaluating step,
A data fusion method between heterogeneous sensors for visualizing points of point cloud data in the fusion data, and evaluating the accuracy of the fusion data by using a degree of correspondence between a color value of the visualized points and a pixel value of the identified image data.
상기 평가하는 단계는,
상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법. The method of claim 4,
The evaluating step,
In the fusion data, the estimated distance to the target is determined by using points of point cloud data aligned with pixels corresponding to the image of the target, and the estimated distance and the target measured through an existing target recognition algorithm Data fusion method between heterogeneous sensors for evaluating the accuracy of the fusion data by comparing the measurement distance to.
를 포함하고,
상기 프로세서는,
홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하고,
상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하며,
상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하고,
상기 변환 벡터는,
상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 통해 식별되는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정되는 이종 센서 간의 데이터 융합 장치.Processor that performs data fusion between camera sensor and lidar sensor
Including,
The processor,
The image data and point cloud data for the search area are identified through the camera sensor and the LiDAR sensor, respectively, for which calibration was performed using a marker board in which a hole exists,
Recognizing the conversion vector determined through calibration of the camera sensor and lidar sensor,
Fusing the identified image data and point cloud data by projecting the cloud data of the lidar sensor to the image data of the camera sensor using the recognized conversion vector,
The transformation vector is
The first distance from the camera sensor to the marker board and the lidar sensor identified through a focal length of the camera sensor, a radius of a hole present in the marker board, and a radius of a hole recognized through each of the camera sensor and lidar sensor Data fusion device between heterogeneous sensors determined based on the second distance from the marker board.
상기 프로세서는,
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.The method of claim 9,
The processor,
A data fusion device between heterogeneous sensors that evaluates the accuracy of fusion data obtained by fusion of the identified image data and point cloud data.
상기 프로세서는,
상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.The method of claim 12,
The processor,
Data between heterogeneous sensors for evaluating the accuracy of the fusion data by using the degree of correspondence between the positions of pixels corresponding to the reference region of the identified image data in the fusion data and the positions of points of the point cloud data corresponding to the reference region Fusion device.
상기 프로세서는,
상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.The method of claim 12,
The processor,
A data fusion device between heterogeneous sensors that visualizes points of point cloud data in the fusion data, and evaluates the accuracy of the fusion data by using a degree of correspondence between a color value of the visualized points and a pixel value of the identified image data.
상기 프로세서는,
상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
The method of claim 12,
The processor,
In the fusion data, the estimated distance to the target is determined by using points of point cloud data aligned with pixels corresponding to the image of the target, and the estimated distance and the target measured through an existing target recognition algorithm A data fusion device between heterogeneous sensors that compares the measurement distance to and evaluates the accuracy of the fusion data.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020480A KR102145557B1 (en) | 2019-02-21 | 2019-02-21 | Apparatus and method for data fusion between heterogeneous sensors |
| US17/274,870 US11971961B2 (en) | 2018-09-28 | 2019-09-27 | Device and method for data fusion between heterogeneous sensors |
| PCT/KR2019/012562 WO2020067751A1 (en) | 2018-09-28 | 2019-09-27 | Device and method for data fusion between heterogeneous sensors |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020480A KR102145557B1 (en) | 2019-02-21 | 2019-02-21 | Apparatus and method for data fusion between heterogeneous sensors |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102145557B1 true KR102145557B1 (en) | 2020-08-18 |
Family
ID=72291933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190020480A KR102145557B1 (en) | 2018-09-28 | 2019-02-21 | Apparatus and method for data fusion between heterogeneous sensors |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102145557B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102306083B1 (en) * | 2021-02-03 | 2021-09-29 | 국방과학연구소 | Method and apparatus for identifying driving area of vehicle using image and lidar |
| CN113688900A (en) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | Radar and visual data fusion processing method, road side equipment and intelligent traffic system |
| US11249174B1 (en) * | 2020-07-27 | 2022-02-15 | Tsinghua University | Automatic calibration method and system for spatial position of laser radar and camera sensor |
| KR20220099679A (en) * | 2021-01-07 | 2022-07-14 | 충북대학교 산학협력단 | Object detection system and method using deformable convolutional neural network |
| WO2022215898A1 (en) * | 2021-04-09 | 2022-10-13 | 현대두산인프라코어(주) | Sensor fusion system and sensing method for construction equipment |
| CN117496161A (en) * | 2023-12-29 | 2024-02-02 | 武汉理工大学 | Point cloud segmentation method and device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150069927A (en) * | 2013-12-16 | 2015-06-24 | 국방과학연구소 | Device, method for calibration of camera and laser range finder |
| KR20180055292A (en) * | 2016-11-16 | 2018-05-25 | 국민대학교산학협력단 | Integration method for coordinates of multi lidar |
-
2019
- 2019-02-21 KR KR1020190020480A patent/KR102145557B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150069927A (en) * | 2013-12-16 | 2015-06-24 | 국방과학연구소 | Device, method for calibration of camera and laser range finder |
| KR20180055292A (en) * | 2016-11-16 | 2018-05-25 | 국민대학교산학협력단 | Integration method for coordinates of multi lidar |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11249174B1 (en) * | 2020-07-27 | 2022-02-15 | Tsinghua University | Automatic calibration method and system for spatial position of laser radar and camera sensor |
| KR20220099679A (en) * | 2021-01-07 | 2022-07-14 | 충북대학교 산학협력단 | Object detection system and method using deformable convolutional neural network |
| KR102575224B1 (en) * | 2021-01-07 | 2023-09-08 | 충북대학교 산학협력단 | Object detection system and method using deformable convolutional neural network |
| KR102306083B1 (en) * | 2021-02-03 | 2021-09-29 | 국방과학연구소 | Method and apparatus for identifying driving area of vehicle using image and lidar |
| WO2022215898A1 (en) * | 2021-04-09 | 2022-10-13 | 현대두산인프라코어(주) | Sensor fusion system and sensing method for construction equipment |
| CN113688900A (en) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | Radar and visual data fusion processing method, road side equipment and intelligent traffic system |
| CN117496161A (en) * | 2023-12-29 | 2024-02-02 | 武汉理工大学 | Point cloud segmentation method and device |
| CN117496161B (en) * | 2023-12-29 | 2024-04-05 | 武汉理工大学 | Point cloud segmentation method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102145557B1 (en) | Apparatus and method for data fusion between heterogeneous sensors | |
| KR102054455B1 (en) | Apparatus and method for calibrating between heterogeneous sensors | |
| WO2022156175A1 (en) | Detection method, system, and device based on fusion of image and point cloud information, and storage medium | |
| CN106503653B (en) | Region labeling method and device and electronic equipment | |
| US11971961B2 (en) | Device and method for data fusion between heterogeneous sensors | |
| US10909395B2 (en) | Object detection apparatus | |
| JP2023523243A (en) | Obstacle detection method and apparatus, computer device, and computer program | |
| WO2020090428A1 (en) | Geographic object detection device, geographic object detection method, and geographic object detection program | |
| EP3637308A1 (en) | Method and device for positioning vehicle, device, and computer readable storage medium | |
| KR20210090384A (en) | Method and Apparatus for Detecting 3D Object Using Camera and Lidar Sensor | |
| EP3324359B1 (en) | Image processing device and image processing method | |
| CN110794406A (en) | Multi-source sensor data fusion system and method | |
| KR102021202B1 (en) | Calibration Method for Integrating a Single Three-dimensional Coordinate System of Multiple Sensors | |
| KR102498435B1 (en) | Apparatus and method for calibration of sensor system of autonomous vehicle | |
| KR20200093271A (en) | Apparatus and method for estimating location of landmark and computer recordable medium storing computer program thereof | |
| CN115797408A (en) | Target tracking method and device fusing multi-view image and three-dimensional point cloud | |
| US9183748B2 (en) | Apparatus for determining available parking space and method thereof | |
| KR20160125803A (en) | Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest | |
| CN111353481A (en) | Road obstacle identification method based on laser point cloud and video image | |
| US11704815B2 (en) | Tracking device, tracking method, and tracking system | |
| CN116182831A (en) | Vehicle positioning method, device, equipment, medium and vehicle | |
| US11267130B2 (en) | Robot localization method and apparatus and robot using the same | |
| KR101316387B1 (en) | Method of object recognition using vision sensing and distance sensing | |
| CN112598736A (en) | Map construction based visual positioning method and device | |
| CN111539279A (en) | Road height limit height detection method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |