KR102309608B1 - Method of convergence a coordinate system between Lidar and Stereo-Camera - Google Patents
Method of convergence a coordinate system between Lidar and Stereo-Camera Download PDFInfo
- Publication number
- KR102309608B1 KR102309608B1 KR1020200136820A KR20200136820A KR102309608B1 KR 102309608 B1 KR102309608 B1 KR 102309608B1 KR 1020200136820 A KR1020200136820 A KR 1020200136820A KR 20200136820 A KR20200136820 A KR 20200136820A KR 102309608 B1 KR102309608 B1 KR 102309608B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- lidar
- stereo
- camera
- center point
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에 관한 것으로, 라이다의 좌표계와 스테레오-카메라의 좌표계를 정확하고 효율적으로 정합할 수 있는 방법에 관한 것이다.The present invention relates to a method of matching a coordinate system between a lidar (Lidar) and a stereo-camera (Stereo-Camera), and to a method for accurately and efficiently matching the coordinate system of the lidar and the stereo-camera.
위치 측정 및 동시 지도화(SLAM: Simultaneous Localization and Mapping)는 로봇 등의 장치가 임의 공간을 이동하면서 주변을 탐색하고 자신의 위치를 측정하면서 동시에 지도를 작성하는 것을 말한다. 정확하게 구현된 위치 측정 및 동시 지도화 결과는 자율 주행 무인 자동차, 무인 항공기(드론), 무인 청소기 등에서 활용할 수 있다.Simultaneous Localization and Mapping (SLAM) refers to a device, such as a robot, moving in an arbitrary space, searching for surroundings, measuring its own location, and creating a map at the same time. The accurately implemented location measurement and simultaneous mapping results can be utilized in autonomous driving unmanned vehicles, unmanned aerial vehicles (drones), and unmanned vacuum cleaners.
최근 위치 측정 및 동시 지도화(SLAM: Simultaneous Localization and Mapping) 기법에서는 라이다(Lidar) 센서와 스테레오-카메라(Stereo-Camera)를 결합하여 매핑(Mapping) 및 위치화(Localization)의 정확도를 높이고 있다.Recently, in the Simultaneous Localization and Mapping (SLAM) technique, a lidar sensor and a stereo-camera are combined to increase the accuracy of mapping and localization. .
그러나 종래의 방법은 라이다의 좌표계와 스테레오-카메라의 좌표계를 정확하고 효율적으로 정합하기 위한 현실적인 방법을 아직도 제공하지 못하고 있는 실정이다.However, the conventional method still does not provide a realistic method for accurately and efficiently matching the coordinate system of the lidar and the coordinate system of the stereo-camera.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 정확하고 효율적으로 정합할 수 있는 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법을 제공하는 것이다.An object of the present invention for solving the above problems is to provide a coordinate system matching method between a lidar and a stereo-camera that can be accurately and efficiently matched.
위와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법은 객체(Object)와의 거리 및 방향을 측정하기 위한 라이다(Lidar); 상기 객체에 대한 입체사진을 촬영하기 위한 스테레오-카메라(Stereo-Camera); 및 상기 라이다와 상기 스테레오-카메라의 좌표계를 정합하기 위하여, 일면에 복수의 홀(hole)이 형성된 캘리브레이션 보드(Calibration Board);를 포함하는 라이다와 스테레오-카메라 간의 좌표계 정합 방법에 있어서, 상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영하는 단계; 상기 촬영된 영상을 이용하여, 상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계; 상기 촬영된 라이다 데이터를 이용하여, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계; 및 상기 스테레오-카메라 좌표계 기준의 상기 홀의 중심점에 대한 3차원 좌표와 상기 라이다 좌표계 기준의 상기 홀의 중심점에 대한 3차원 좌표를 이용하여, 상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 단계;를 포함하는 것일 수 있다.A coordinate system matching method between a lidar and a stereo-camera according to an embodiment of the present invention for solving the above problems is a lidar for measuring a distance and a direction from an object ); a stereo-camera for taking a stereoscopic picture of the object; and a calibration board having a plurality of holes formed on one surface in order to match the coordinate systems of the lidar and the stereo-camera; in the coordinate system matching method between the lidar and the stereo-camera, photographing the calibration board from a plurality of angles in a state where the relative positions of the lidar and the stereo-camera are fixed; calculating three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system by using the captured image; calculating three-dimensional coordinates for the center point of the hole based on the lidar coordinate system by using the captured lidar data; and matching the stereo-camera coordinate system with the lidar coordinate system by using the three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system and the three-dimensional coordinates for the center point of the hole based on the lidar coordinate system. may include.
여기에서, 상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계는 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계; 피앤피 알고리즘(PnP Algorism)을 이용하여, 상기 스테레오-카메라 좌표계로부터 상기 캘리브레이션 보드까지의 변환관계를 획득하는 단계; 및 상기 홀의 중심점을 상기 스테레오-카메라 좌표계로 변환시키는 단계;를 포함하는 것일 수 있다.Here, calculating the three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system may include: obtaining the center point of the hole using a Hough Circle Detection method; obtaining a transformation relationship from the stereo-camera coordinate system to the calibration board using a PnP algorithm; and converting the center point of the hole into the stereo-camera coordinate system.
여기에서, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계는 3차원 허프-변환-검출(Hough Transform for Plane Detection) 방법을 이용하여, 상기 캘리브레이션 보드를 인식하는 단계; 주변의 3차원 점들을 상기 인식된 캘리브레이션 보드 일면으로 투영하는 단계; 상기 캘리브레이션 보드 일면 위에서 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계; 및 상기 획득된 홀의 중심점을 상기 라이다의 좌표계로 변환시키는 단계;를 포함하는 것일 수 있다.Here, calculating the three-dimensional coordinates for the center point of the hole based on the LIDAR coordinate system may include: recognizing the calibration board using a three-dimensional Hough-transform-detection method; Projecting the three-dimensional points around the recognized calibration board one surface; obtaining a center point of the hole by using a Hough Circle Detection method on one surface of the calibration board; and converting the obtained center point of the hole into the coordinate system of the lidar;
여기에서, 상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 단계는 포인트-셋-레지스트레이션(Point-Set-Registration) 방법을 이용하는 것일 수 있다.Here, the step of matching the stereo-camera coordinate system and the lidar coordinate system may be to use a point-set-registration method.
여기에서, 상기 캘리브레이션 보드에 형성된 복수의 홀(hole)은 복수의 행(行, row)으로 구성되며, 홀수행은 N개의 홀로 형성되며, 짝수행은 상기 N개의 홀 사이에 N-1개의 홀로 형성되고, 렬(column)은 M개로 형성되는 것일 수 있으며, 여기에서, N과 M은 자연수이고, N은 2보다 큰 자연수이며, N이 홀수이면 M은 짝수, N이 짝수이면 M이 홀수이다.Here, the plurality of holes formed in the calibration board is composed of a plurality of rows (row, row), odd rows are formed with N holes, and even rows are formed with N-1 holes between the N holes. formed, and the column may be formed of M, where N and M are natural numbers, N is a natural number greater than 2, if N is odd, M is even, if N is even, M is odd .
본 발명의 일 실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법은 정확하고 효율적으로 라이다(Lidar) 좌표계와 스테레오-카메라(Stereo-Camera) 좌표계 정합방법을 제공하는 효과가 있다.The coordinate system matching method between the lidar (Lidar) and the stereo-camera (Stereo-Camera) according to an embodiment of the present invention accurately and efficiently matches the lidar (Lidar) coordinate system and the stereo-camera (Stereo-Camera) coordinate system matching method. has the effect of providing.
도 1은 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 스테레오-카메라 좌표계를 기준으로 홀의 중심점에 대한 3차원 좌표를 계산하는 단계를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 라이다 좌표계를 기준으로 홀의 중심점에 대한 3차원 좌표를 계산하는 단계를 설명하기 위한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 라이다(Lidar)의 좌표계와 스테레오-카메라(Stereo-Camera)의 좌표계를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 홀(hole)이 형성된 캘리브레이션 보드(Calibration Board)를 설명하기 위한 도면이다.1 is a flowchart illustrating a coordinate system matching method between a lidar and a stereo-camera according to an embodiment of the present invention.
2 is a method of matching a coordinate system between a lidar and a stereo-camera according to an embodiment of the present invention. This is a flow chart for
3 is a method for matching a coordinate system between a lidar (Lidar) and a stereo-camera according to an embodiment of the present invention. is a flow chart for
4 is a coordinate system of Lidar and a stereo-camera in a coordinate system matching method between Lidar and a stereo-camera according to an embodiment of the present invention. It is a drawing for
5 is a view for explaining a calibration board (Calibration Board) having a hole (hole) formed in the coordinate system matching method between the lidar (Lidar) and the stereo-camera (Stereo-Camera) according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in several different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals are given to the same or similar elements throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, this means that other components may be further included rather than excluding other components unless otherwise stated.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a part is referred to as being “above” another part, it may be directly on top of the other part, or the other part may be involved in between. In contrast, when a part refers to being "directly above" another part, no other part is involved in between.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.Terms such as first, second and third are used to describe, but are not limited to, various parts, components, regions, layers and/or sections. These terms are used only to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, a first part, component, region, layer or section described below may be referred to as a second part, component, region, layer or section without departing from the scope of the present invention.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for the purpose of referring to specific embodiments only, and is not intended to limit the invention. As used herein, the singular forms also include the plural forms unless the phrases clearly indicate the opposite. The meaning of "comprising," as used herein, specifies a particular characteristic, region, integer, step, operation, element, and/or component, and includes the presence or absence of another characteristic, region, integer, step, operation, element and/or component. It does not exclude additions.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90도 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating a relative space such as “below” and “above” may be used to more easily describe the relationship of one part shown in the drawings to another part. These terms are intended to include other meanings or operations of the device in use with the meanings intended in the drawings. For example, if the device in the drawings is turned over, some parts described as being "below" other parts are described as being "above" other parts. Thus, the exemplary term “down” includes both the up and down directions. The device may be rotated 90 degrees or at other angles, and terms denoting relative space are interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined otherwise, all terms including technical and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Commonly used terms defined in the dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the presently disclosed content, and unless defined, they are not interpreted in an ideal or very formal meaning.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily carry out the embodiments of the present invention. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법을 설명하기 위한 흐름도이다. 도 2는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 스테레오-카메라 좌표계를 기준으로 홀의 중심점에 대한 3차원 좌표를 계산하는 단계를 설명하기 위한 흐름도이다. 도 3은 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 라이다 좌표계를 기준으로 홀의 중심점에 대한 3차원 좌표를 계산하는 단계를 설명하기 위한 흐름도이다. 도 4는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 라이다(Lidar)의 좌표계와 스테레오-카메라(Stereo-Camera)의 좌표계를 설명하기 위한 도면이다. 도 5는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 홀(hole)이 형성된 캘리브레이션 보드(Calibration Board)를 설명하기 위한 도면이다.1 is a flowchart illustrating a coordinate system matching method between a lidar and a stereo-camera according to an embodiment of the present invention. 2 is a method of matching a coordinate system between a lidar and a stereo-camera according to an embodiment of the present invention. This is a flow chart for 3 is a method for matching a coordinate system between a lidar (Lidar) and a stereo-camera according to an embodiment of the present invention. is a flow chart for 4 illustrates the coordinate system of the lidar and the stereo-camera in the coordinate system matching method between the lidar and the stereo-camera according to an embodiment of the present invention. It is a drawing for 5 is a view for explaining a calibration board (Calibration Board) having a hole (hole) formed in the coordinate system matching method between the lidar (Lidar) and the stereo-camera (Stereo-Camera) according to an embodiment of the present invention.
도 1, 도 2, 도 3, 도 4 및 도 5를 함께 참조하면, 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법은 객체(Object)와의 거리 및 방향을 측정하기 위한 라이다(Lidar); 상기 객체에 대한 입체사진을 촬영하기 위한 스테레오-카메라(Stereo-Camera); 및 상기 라이다와 상기 스테레오-카메라의 좌표계를 정합하기 위하여, 일면에 복수의 홀(hole)이 형성된 캘리브레이션 보드(Calibration Board);를 포함하는 라이다와 스테레오-카메라 간의 좌표계 정합 방법에 있어서, 상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영하는 단계(S110); 상기 촬영된 영상을 이용하여, 상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계(S120); 상기 촬영된 라이다 데이터를 이용하여, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계(S130); 및 상기 스테레오-카메라 좌표계 기준의 상기 홀의 중심점에 대한 3차원 좌표와 상기 라이다 좌표계 기준의 상기 홀의 중심점에 대한 3차원 좌표를 이용하여, 상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 단계(S140);를 포함하는 것일 수 있다.1, 2, 3, 4 and 5 together, the method of matching the coordinate system between the lidar and the stereo-camera according to an embodiment of the present invention is an object. Lidar (Lidar) for measuring distance and direction with; a stereo-camera for taking a stereoscopic picture of the object; and a calibration board having a plurality of holes formed on one surface in order to match the coordinate systems of the lidar and the stereo-camera; in the coordinate system matching method between the lidar and the stereo-camera, The step of photographing the calibration board from a plurality of angles in a state where the relative positions of the lidar and the stereo-camera are fixed (S110); calculating three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system using the captured image (S120); calculating three-dimensional coordinates for the center point of the hole based on the lidar coordinate system by using the captured lidar data (S130); and matching the stereo-camera coordinate system with the lidar coordinate system by using the three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system and the three-dimensional coordinates for the center point of the hole based on the lidar coordinate system ( S140); may be included.
먼저, 도 4는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 라이다(Lidar)의 좌표계와 스테레오-카메라(Stereo-Camera)의 좌표계를 설명하기 위한 도면으로, 상기 라이다와 상기 스테레오-카메라가 결합된 형태의 장치를 나타내고 있다. 일반적으로, 라이다는 각각의 점들의 위치를 수집하여 3차원 지도를 작성하는데 주로 사용되며, 스테레오-카메라는 시각적인 주행거리계(Visual Odometry)를 작성하는데 주로 사용된다.First, FIG. 4 shows the coordinate system of the lidar and the coordinate system of the stereo-camera in the coordinate system matching method between the lidar and the stereo-camera according to an embodiment of the present invention. As a drawing for explaining the above, the lidar and the stereo-camera are combined. In general, lidar is mainly used to create a three-dimensional map by collecting the positions of each point, and a stereo-camera is mainly used to create a visual odometer.
상기 라이다와 스테레오-카메라는 각각 독립된 좌표계를 가지고 있으며, 라이다의 중심좌표는 제조사에서 제공을 하는 경우가 많이 있으나, 스테레오-카메라의 경우에는 정확한 좌표계를 파악하기 어려운 경우가 많다.The lidar and the stereo-camera have independent coordinate systems, and the central coordinates of the lidar are often provided by the manufacturer, but in the case of the stereo-camera, it is often difficult to determine the exact coordinate system.
도 5는 본 발명의 일실시예에 따른 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법에서 홀(hole)이 형성된 캘리브레이션 보드(Calibration Board)를 설명하기 위한 도면으로, 도 5의 (a)에 도시된 바와 같이, 상기 캘리브레이션 보드에 형성된 복수의 홀(hole)은 복수의 행(行, row)으로 구성되며, 첫번째 행(row) 기준으로, 가로 N개의 홀로 형성되고, 전체 행(row)은 M개로 구성된다.5 is a view for explaining a calibration board (Calibration Board) having a hole (hole) formed in the coordinate system matching method between the lidar (Lidar) and the stereo-camera (Stereo-Camera) according to an embodiment of the present invention. As shown in (a) of 5, the plurality of holes formed in the calibration board is composed of a plurality of rows (row, row), based on the first row (row), is formed of N horizontal holes, A total row consists of M pieces.
또한, 홀수행은 N개의 홀로 형성되며, 짝수행은 상기 N개의 홀 사이의 위치에 N-1개의 홀로 형성되는 것일 수 있다. 이것은 상기 캘리브레이션 보드의 대칭성을 없애기 위한 것으로 어느 방향으로도 대칭적인 형태를 가지지 않도록 구성한 것일 수 있다.In addition, an odd number of holes may be formed with N holes, and an even number of holes may be formed with N-1 holes at positions between the N holes. This is to eliminate the symmetry of the calibration board and may be configured not to have a symmetrical shape in any direction.
여기에서, N과 M은 자연수이고, N은 2보다 큰 자연수이며, N이 홀수이면 M은 짝수, N이 짝수이면 M이 홀수일 것이다.Here, N and M are natural numbers, N is a natural number greater than 2, if N is odd, M will be even, and if N is even, M will be odd.
또한, 도 5의 (b)에 도시된 바와 같이, 상기 캘리브레이션 보드에 형성된 복수의 홀(hole)은 각각 중심점을 가지게 될 것이며, 상기 홀의 중심점 각각에 대한 3차원 위치를 분석하여, 상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합할 수 있을 것이다.In addition, as shown in (b) of FIG. 5 , a plurality of holes formed in the calibration board will each have a center point, and by analyzing the three-dimensional position of each center point of the hole, the stereo-camera It may be possible to match the coordinate system and the lidar coordinate system.
상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영하는 단계(S110)는 복수의 데이터를 수집하기 위하여 상기 캘리브레이션 보드를 촬영하는 것으로, 상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태로 촬영하므로, 좌표계 정합의 단계에서도 상대위치가 고정된 조건을 제공하기 위한 것일 수 있다.In a state where the relative positions of the lidar and the stereo-camera are fixed, the step (S110) of photographing the calibration board at a plurality of angles is to photograph the calibration board in order to collect a plurality of data, and the lidar and the Since the stereo-camera is photographed in a state in which the relative position is fixed, it may be to provide a condition in which the relative position is fixed even in the step of matching the coordinate system.
상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계(S120)는 상기 스테레오-카메라의 입장에서 상기 홀의 중심점에 대한 3차원 좌표를 계산하기 위한 것으로, 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계(S122); 피앤피 알고리즘(PnP Algorism)을 이용하여, 상기 스테레오-카메라 좌표계로부터 상기 캘리브레이션 보드까지의 변환관계를 획득하는 단계(S124); 및 상기 홀의 중심점을 상기 스테레오-카메라 좌표계로 변환시키는 단계(S126);를 포함하는 것일 수 있다.The step of calculating the three-dimensional coordinates of the center point of the hole based on the stereo-camera coordinate system (S120) is for calculating the three-dimensional coordinates of the center point of the hole from the standpoint of the stereo-camera, Huff-Circle-detection Using a (Hough Circle Detection) method, obtaining the center point of the hole (S122); obtaining a transformation relation from the stereo-camera coordinate system to the calibration board using a PnP algorithm (S124); and converting the center point of the hole into the stereo-camera coordinate system (S126).
상기 스테레오-카메라 기준으로 상기 홀의 중심점을 획득하는 단계(S122)는 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 캘리브레이션 보드의 일면에 형성된 복수의 홀(hole)에 대한 각각의 중심점을 획득하는 것일 수 있다.The step (S122) of obtaining the center point of the hole based on the stereo-camera is a Hough-Circle-detection method, each center point for a plurality of holes formed on one surface of the calibration board. may be to obtain
상기 스테레오-카메라 좌표계로부터 상기 캘리브레이션 보드까지의 변환관계를 획득하는 단계(S124)는 피앤피 알고리즘(PnP Algorism)을 이용하는 것으로, 상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영한 데이터를 이용하여, 상기 스테레오-카메라 좌표계로부터 상기 캘리브레이션 보드까지의 변환관계를 획득하는 것일 수 있다.The step (S124) of obtaining the conversion relationship from the stereo-camera coordinate system to the calibration board is to use a PnP algorithm, and the calibration board in a state where the relative positions of the lidar and the stereo-camera are fixed. It may be to obtain a transformation relationship from the stereo-camera coordinate system to the calibration board by using data photographed from a plurality of angles.
상기 홀의 중심점을 상기 스테레오-카메라 좌표계로 변환시키는 단계(S126)는 상기 스테레오-카메라 기준으로 상기 홀의 중심점을 획득하고, 상기 스테레오-카메라 좌표계로부터 상기 캘리브레이션 보드까지의 변환관계를 획득한 후에, 상기 스테레오-카메라 좌표계 기준에서의 상기 홀의 중심점 위치를 파악하는 것일 수 있다.In the step of converting the center point of the hole into the stereo-camera coordinate system (S126), after obtaining the center point of the hole based on the stereo-camera, and obtaining a transformation relation from the stereo-camera coordinate system to the calibration board, the stereo - It may be to determine the position of the center point of the hole in the reference of the camera coordinate system.
상기 촬영된 라이다 데이터를 이용하여, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계(S130)는 상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영한 데이터를 이용하여, 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 것으로, 3차원 허프-변환-검출(Hough Transform for Plane Detection) 방법을 이용하여, 상기 캘리브레이션 보드를 인식하는 단계(S132); 주변의 3차원 점들을 상기 인식된 캘리브레이션 보드 일면으로 투영하는 단계(S134); 상기 캘리브레이션 보드 일면 위에서 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계(S136); 및 상기 획득된 홀의 중심점을 상기 라이다의 좌표계로 변환시키는 단계(S138);를 포함하는 것일 수 있다.Using the captured lidar data, calculating three-dimensional coordinates for the center point of the hole based on the lidar coordinate system (S130) is performed in a state where the relative positions of the lidar and the stereo-camera are fixed. By using data taken from a plurality of angles of the calibration board, the three-dimensional coordinates for the center point of the hole are calculated. Using a three-dimensional Hough Transform for Plane Detection method, the calibration board is Recognizing (S132); Projecting the three-dimensional points around the recognized calibration board one surface (S134); obtaining a center point of the hole by using a Hough Circle Detection method on one surface of the calibration board (S136); and converting the obtained center point of the hole into the coordinate system of the lidar (S138).
상기 촬영된 라이다 데이터를 이용하여, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계(S130)에서 상기 캘리브레이션 보드를 인식하는 단계(S132)는 가장 먼저 수행되는 것으로, 3차원 허프-변환-검출(Hough Transform for Plane Detection) 방법을 이용하는 것일 수 있다. 먼저, 상기 캘리브레이션 보드를 인식하여 이후 단계를 진행하기 위한 것이다.Using the captured LiDAR data, the step of recognizing the calibration board (S132) in the step (S130) of calculating the three-dimensional coordinates for the center point of the hole based on the LIDAR coordinate system is performed first, A three-dimensional Hough-transform-detection (Hough Transform for Plane Detection) method may be used. First, the calibration board is recognized and the subsequent steps are performed.
상기 주변의 3차원 점들을 상기 인식된 캘리브레이션 보드 일면으로 투영하는 단계(S134)는 상기 캘리브레이션 보드 이외의 공간에 형성된 주변의 (가상) 3차원 점들을 설정하고, 설정된 3차원 점들을 상기 인식된 캘리브레이션 보드 일면으로 투영하는 것일 수 있다.The step (S134) of projecting the 3D points around the recognized calibration board to one surface is to set surrounding (virtual) 3D points formed in a space other than the calibration board, and apply the set 3D points to the recognized calibration. It may be to project one side of the board.
상기 홀의 중심점을 획득하는 단계(S136)는 상기 캘리브레이션 보드 일면 위에서 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 홀의 중심점을 획득하는 것일 수 있다. 상기 주변의 3차원 점들을 상기 인식된 캘리브레이션 보드 일면으로 투영하는 단계를 통하여 획득된 데이터를 이용하면서, 허프-서클-검출(Hough Circle Detection) 방법을 적용하면서 상기 홀의 중심점을 획득하는 것일 수 있다.The step of obtaining the center point of the hole ( S136 ) may be obtaining the center point of the hole using a Hough Circle Detection method on one surface of the calibration board. While using data obtained through the step of projecting the 3D points around the recognized calibration board to one surface, the Hough-Circle-detection method may be applied while obtaining the center point of the hole.
상기 획득된 홀의 중심점을 상기 라이다의 좌표계로 변환시키는 단계(S138)는 상기 캘리브레이션 보드 일면 위에서 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계(S136)에서 획득된 상기 홀의 중심점 데이터를 활용하여 상기 홀의 중심점을 상기 라이다의 좌표계로 변환시키는 것일 수 있다.The step of converting the obtained center point of the hole into the coordinate system of the lidar (S138) is a step of obtaining the center point of the hole by using a Hough Circle-detection method on one surface of the calibration board (S136) It may be to convert the center point of the hole into the coordinate system of the lidar by using the obtained center point data of the hole.
상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 단계(S140)는 포인트-셋-레지스트레이션(Point-Set-Registration) 방법을 이용하는 것일 수 있다.The step of matching the stereo-camera coordinate system and the lidar coordinate system ( S140 ) may be to use a point-set-registration method.
상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영하고(S110), 상기 촬영된 영상을 이용하여, 상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하고(S120), 상기 촬영된 라이다 데이터를 이용하여, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는(S130) 과정을 통하여 상기 홀의 중심점에 대한 3차원 좌표계를 획득한 후, 최종적으로, 포인트-셋-레지스트레이션(Point-Set-Registration) 방법을 이용하여, 상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 것일 수 있을 것이다.In a state in which the relative positions of the lidar and the stereo-camera are fixed, the calibration board is photographed at a plurality of angles (S110), and using the photographed image, the stereo-camera coordinate system is used as a reference to the center point of the hole. For the center point of the hole through the process of calculating three-dimensional coordinates for (S120) and calculating the three-dimensional coordinates for the center point of the hole based on the lidar coordinate system using the captured lidar data (S130) After acquiring the three-dimensional coordinate system, finally, using a point-set-registration method, the stereo-camera coordinate system and the lidar coordinate system may be matched.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소의 재질, 크기 등을 적용 분야에 따라 변경하거나, 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand For example, those skilled in the art may change the material, size, etc. of each component according to the field of application, or combine or substitute the disclosed embodiments in a form not clearly disclosed in the embodiment of the present invention, but this is also without departing from the scope of the invention. Therefore, the embodiments described above are not to be understood as illustrative and limiting in all respects, and it should be said that these modified embodiments are included in the technical spirit described in the claims of the present invention.
Claims (5)
상기 라이다와 상기 스테레오-카메라의 상대위치가 고정된 상태에서 상기 캘리브레이션 보드를 복수의 각도에서 촬영하는 단계;
상기 촬영된 영상을 이용하여, 상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계;
상기 촬영된 라이다 데이터를 이용하여, 상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계; 및
상기 스테레오-카메라 좌표계 기준의 상기 홀의 중심점에 대한 3차원 좌표와 상기 라이다 좌표계 기준의 상기 홀의 중심점에 대한 3차원 좌표를 이용하여, 상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 단계;를 포함하되,
상기 스테레오-카메라 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계는
허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계;
피앤피 알고리즘(PnP Algorism)을 이용하여, 상기 스테레오-카메라 좌표계로부터 상기 캘리브레이션 보드까지의 변환관계를 획득하는 단계; 및
상기 홀의 중심점을 상기 스테레오-카메라 좌표계로 변환시키는 단계;
를 포함하는 것을 특징으로 하는 라이다와 스테레오-카메라 간의 좌표계 정합 방법.Lidar (Lidar) for measuring the distance and direction to the object (Object); a stereo-camera for taking a stereoscopic picture of the object; and a calibration board having a plurality of holes formed on one surface in order to match the coordinate system of the lidar and the stereo-camera;
photographing the calibration board from a plurality of angles in a state in which the relative positions of the lidar and the stereo-camera are fixed;
calculating three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system by using the captured image;
calculating three-dimensional coordinates for the center point of the hole based on the lidar coordinate system by using the captured lidar data; and
Matching the stereo-camera coordinate system with the lidar coordinate system by using the three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system and the three-dimensional coordinates for the center point of the hole based on the lidar coordinate system; including,
Calculating the three-dimensional coordinates for the center point of the hole based on the stereo-camera coordinate system comprises:
obtaining a center point of the hole by using a Hough Circle Detection method;
obtaining a transformation relationship from the stereo-camera coordinate system to the calibration board using a PnP algorithm; and
converting the center point of the hole into the stereo-camera coordinate system;
A method of matching the coordinate system between the lidar and the stereo-camera, comprising: a.
상기 라이다 좌표계를 기준으로 상기 홀의 중심점에 대한 3차원 좌표를 계산하는 단계는
3차원 허프-변환-검출(Hough Transform for Plane Detection) 방법을 이용하여, 상기 캘리브레이션 보드를 인식하는 단계;
주변의 3차원 점들을 상기 인식된 캘리브레이션 보드 일면으로 투영하는 단계;
상기 캘리브레이션 보드 일면 위에서 허프-서클-검출(Hough Circle Detection) 방법을 이용하여, 상기 홀의 중심점을 획득하는 단계; 및
상기 획득된 홀의 중심점을 상기 라이다의 좌표계로 변환시키는 단계;
를 포함하는 것을 특징으로 하는 라이다와 스테레오-카메라 간의 좌표계 정합 방법.According to claim 1,
Calculating the three-dimensional coordinates for the center point of the hole based on the lidar coordinate system comprises:
recognizing the calibration board using a three-dimensional Hough Transform for Plane Detection method;
Projecting the three-dimensional points around the recognized calibration board one surface;
acquiring the center point of the hole by using a Hough Circle Detection method on one surface of the calibration board; and
converting the obtained center point of the hole into the coordinate system of the lidar;
A method of matching the coordinate system between the lidar and the stereo-camera, comprising: a.
상기 스테레오-카메라 좌표계와 상기 라이다 좌표계를 정합시키는 단계는
포인트-셋-레지스트레이션(Point-Set-Registration) 방법을 이용하는 것을 특징으로 하는 라이다와 스테레오-카메라 간의 좌표계 정합 방법.According to claim 1,
The step of matching the stereo-camera coordinate system and the lidar coordinate system is
Point-set-registration (Point-Set-Registration) method, characterized in that using the lidar and stereo-camera coordinate system matching method.
상기 캘리브레이션 보드에 형성된 복수의 홀(hole)은
복수의 행(行, row)으로 구성되며,
홀수행은 N개의 홀로 형성되며, 짝수행은 상기 N개의 홀 사이에 N-1개의 홀로 형성되고,
행(row)의 갯수는 M개로 형성되는 것을 특징으로 하는 라이다와 스테레오-카메라 간의 좌표계 정합 방법.
여기에서, N과 M은 자연수이고, N은 2보다 큰 자연수이며, N이 홀수이면 M은 짝수, N이 짝수이면 M이 홀수임
According to claim 1,
A plurality of holes formed in the calibration board
Consists of multiple rows
Odd rows are formed with N holes, and even rows are formed with N-1 holes between the N holes,
The coordinate system matching method between the lidar and the stereo-camera, characterized in that the number of rows is formed by M.
where N and M are natural numbers, N is a natural number greater than 2, if N is odd, M is even, and if N is even, M is odd.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200136820A KR102309608B1 (en) | 2020-10-21 | 2020-10-21 | Method of convergence a coordinate system between Lidar and Stereo-Camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200136820A KR102309608B1 (en) | 2020-10-21 | 2020-10-21 | Method of convergence a coordinate system between Lidar and Stereo-Camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102309608B1 true KR102309608B1 (en) | 2021-10-06 |
Family
ID=78077373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200136820A KR102309608B1 (en) | 2020-10-21 | 2020-10-21 | Method of convergence a coordinate system between Lidar and Stereo-Camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102309608B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782556A (en) * | 2022-06-20 | 2022-07-22 | 季华实验室 | Camera and laser radar registration method, system and storage medium |
| KR20230116601A (en) | 2022-01-28 | 2023-08-04 | 이동민 | Method and apparatus for merging machine coordinate system and camera coordinate system |
| KR20240028837A (en) | 2022-08-25 | 2024-03-05 | 전남대학교산학협력단 | Calibration system and method of camera-lidar sensor throuh high-resolution conversion of lidar data |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170081375A (en) * | 2016-01-04 | 2017-07-12 | 엘지전자 주식회사 | Drive assistance apparatus and method for controlling the same |
| KR20180003535A (en) * | 2015-02-24 | 2018-01-09 | 하이프브이알 | Rider Stereo Fusion Photographed 3D Model Virtual Reality Video |
| KR102054455B1 (en) * | 2018-09-28 | 2019-12-10 | 재단법인대구경북과학기술원 | Apparatus and method for calibrating between heterogeneous sensors |
| KR102110813B1 (en) | 2017-01-25 | 2020-05-13 | 한국과학기술연구원 | SLAM method and apparatus robust to wireless environment change |
-
2020
- 2020-10-21 KR KR1020200136820A patent/KR102309608B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180003535A (en) * | 2015-02-24 | 2018-01-09 | 하이프브이알 | Rider Stereo Fusion Photographed 3D Model Virtual Reality Video |
| KR20170081375A (en) * | 2016-01-04 | 2017-07-12 | 엘지전자 주식회사 | Drive assistance apparatus and method for controlling the same |
| KR102110813B1 (en) | 2017-01-25 | 2020-05-13 | 한국과학기술연구원 | SLAM method and apparatus robust to wireless environment change |
| KR102054455B1 (en) * | 2018-09-28 | 2019-12-10 | 재단법인대구경북과학기술원 | Apparatus and method for calibrating between heterogeneous sensors |
Non-Patent Citations (9)
| Title |
|---|
| 3차원 허프-변환-검출(Hough Transform for Plane Detection) 방법 |
| Andriy Myronenko and Xubo Song, "Point set registration: Coherent point drift", IEEE Transactions on pattern analysis and machine intelligence, Vol 32, No. 12, Dec. 2010.* * |
| Dorit Borrmann, Jan Elseberg, Kai Lingemann, Andreas Nuchter "The 3D Hough Transform for Plane Detection in Point Clouds: A Review and a new Accumulator Design" |
| H.K. Yuen, J. Princen, J. Illingworth and J. Kittler "A Comparative Study of Hough Transform Methods for Circle Finding" |
| K.S. Arun, T.S. Huang, and S.D. Blostein "Least-Squares Fitting of Two 3-D Point Sets" |
| Lepetit, Vincent, Francesc Moreno-Noguer, and Pascal Fua. "EPnP: An accurate O(n) Solution to the PnP problem" |
| 포인트-셋-레지스트레이션(Point-Set-Registration) 방법 |
| 피앤피 알고리즘(PnP Algorism) |
| 허프-서클-검출(Hough Circle Detection) 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230116601A (en) | 2022-01-28 | 2023-08-04 | 이동민 | Method and apparatus for merging machine coordinate system and camera coordinate system |
| CN114782556A (en) * | 2022-06-20 | 2022-07-22 | 季华实验室 | Camera and laser radar registration method, system and storage medium |
| CN114782556B (en) * | 2022-06-20 | 2022-09-09 | 季华实验室 | Camera and laser radar registration method and system and storage medium |
| KR20240028837A (en) | 2022-08-25 | 2024-03-05 | 전남대학교산학협력단 | Calibration system and method of camera-lidar sensor throuh high-resolution conversion of lidar data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102309608B1 (en) | Method of convergence a coordinate system between Lidar and Stereo-Camera | |
| Zhang et al. | Intelligent collaborative localization among air-ground robots for industrial environment perception | |
| Paya et al. | A state‐of‐the‐art review on mapping and localization of mobile robots using omnidirectional vision sensors | |
| Bazin et al. | Motion estimation by decoupling rotation and translation in catadioptric vision | |
| Lins et al. | Vision-based measurement for localization of objects in 3-D for robotic applications | |
| Zhou et al. | Homography-based ground detection for a mobile robot platform using a single camera | |
| Tribou et al. | Multi-camera parallel tracking and mapping with non-overlapping fields of view | |
| US20170186164A1 (en) | Method for fast camera pose refinement for wide area motion imagery | |
| JP2014013146A5 (en) | ||
| Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
| JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
| WO2019144269A1 (en) | Multi-camera photographing system, terminal device, and robot | |
| Natraj et al. | Omnidirectional vision for UAV: Applications to attitude, motion and altitude estimation for day and night conditions | |
| He et al. | Automated relative orientation of UAV-based imagery in the presence of prior information for the flight trajectory | |
| Pi et al. | Stereo visual SLAM system in underwater environment | |
| Bazin et al. | UAV attitude estimation by vanishing points in catadioptric images | |
| Kostavelis et al. | Visual odometry for autonomous robot navigation through efficient outlier rejection | |
| Zhao et al. | Homography-based camera pose estimation with known gravity direction for UAV navigation | |
| Ozcan et al. | A novel fusion method with thermal and RGB-D sensor data for human detection | |
| Pollini et al. | Experimental evaluation of vision algorithms for formation flight and aerial refueling | |
| US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
| Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
| Yang et al. | Visual SLAM using multiple RGB-D cameras | |
| CN114092564B (en) | External parameter calibration method, system, terminal and medium for non-overlapping vision multi-camera system | |
| Martínez-García et al. | Divergent trinocular vision observers design for extended Kalman filter robot state estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |