KR102054455B1

KR102054455B1 - 이종 센서 간의 캘리브레이션 장치 및 방법

Info

Publication number: KR102054455B1
Application number: KR1020180116141A
Authority: KR
Inventors: 이진희; 쿠마 아재이; 권순; 김광회; 원웅재; 윤성훈
Original assignee: 재단법인대구경북과학기술원
Priority date: 2018-09-28
Filing date: 2018-09-28
Publication date: 2019-12-10

Abstract

이종 센서 간의 캘리브레이션 장치 및 방법이 개시된다. 이종 센서 간의 캘리브레이션 방법은 카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하는 단계; 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계; 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계; 상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계를 포함할 수 있다.

Description

이종 센서 간의 캘리브레이션 장치 및 방법{APPARATUS AND METHOD FOR CALIBRATING BETWEEN HETEROGENEOUS SENSORS}

본 발명은 이종 센서 간의 캘리브레이션 장치 및 방법에 관한 것으로, 보다 구체적으로는 이종 센서를 통해 마커 보드를 각각 촬영하고, 이종 센서 각각의 데이터로부터 마커 보드에 존재하는 홀을 인식한 후 인식된 홀에 기초하여 이종 센서 간의 캘리브레이션을 수행하는 장치 및 방법에 관한 것이다.

최근 센싱 기술의 발달과 더불어 카메라, 라이다, 레이더 등의 센서를 사용한 멀티 센서 데이터 융합 및 데이터 통합 기술에 관심이 증가하였다. 특히 로봇이나 자율주행 시스템은 센서 간의 상호 보완을 통한 안정적 이동성이 중요한 이슈로 대두되었다. 최근 개발된 센서 융합 기술을 통해 각 센서들의 장점을 융합함으로써 개별 센서의 단점을 극복할 수 있고, 안정적 이동에 대한 이슈를 충분히 해결 가능하게 되었다.

또한 이종의 센서를 융합함으로써 자율주행 차량의 주변 환경 및 자신의 현재 위치 등의 다양한 정보를 제공할 수 있다. 예를 들어, 고속 라이다(LiDAR)와 같은 거리 측정 센서는 다양한 로봇 탐색 작업을 위해 RGB카메라와 함께 사용할 수 있다. 라이다 센서는 물체에 대한 3D 위치 및 깊이 정보를 제공할 수 있는 반면 RGB 카메라는 2D 위치 및 색상 정보를 제공한다. 따라서 2D 영상 데이터에 3D 위치 정보를 맵핑함으로써 보다 현실 세계 속의 객체를 시각화 할 수 있다. 이를 위해서는 이종 센서 간의 상대 위치 및 방향을 파악하는 작업이 선행되어야 한다. 따라서 최근 센서 융합 기술이 다양한 분야에 적용됨에 따라 센서 간의 캘리브레이션 이슈가 중요하게 대두되고 있다.

특히, 자율주행 차량에서 카메라와 라이다를 이용한 인지 기술 개발을 위해서는 우선적으로 카메라와 라이다 사이의 상대적 위치(자세 및 방향 정보 포함)에 대한 정확한 정보가 필요하므로 캘리브레이션 기술이 매우 중요하다. 카메라와 라이다 센서 데이터를 융합하기 위해서는 객체를 빠르고 정확하게 탐지할 수 있는 마커 유형을 고려하는 작업이 캘리브레이션을 위해 가장 먼저 선행되어야 한다. 대부분의 연구에서는 카메라와 라이다 간에 캘리브레이션을 수행하기 위해, 체커 보드나 상자 등의 평면을 사용한다.

이때 3D 라이다 포인터를 카메라 2D 이미지에 맵핑하여 내부 파라미터와 외부 파라미터를 찾음으로써 캘리브레이션 작업을 수행하였다. 이 방법들은 평면의 위치 변화나 이종 센서 사이의 위치 변화가 있을 때마다 측정 오차를 유발하거나 캘리브레이션 결과에 영향을 미친다. 특히, 이종 센서 간의 위치 변화가 커지면 평면의 모서리를 정확히 찾아내는 것이 어려우므로 이종 센서 간의 캘리브레이션이 어려워진다. 또한 상이한 패턴 및 컬러를 갖는 원거리 목표물은 센서 특성에 따라 서로 다른 캘리브레이션 결과를 생성할 수도 있다.

그러므로 기존 방법들은 정확도를 높이기 위해 대부분 이종 센서 간의 탑재 위치를 최대한 가깝게 배치하여 캘리브레이션을 수행한다. 따라서 이종 센서들을 가깝게 배치한 후 캘리브레이션을 수행하면 가까운 거리에 위치한 물체만 인식 가능하므로 원거리 물체를 인식해야 하는 자율주행 시스템에서는 기존의 캘리브레이션 방법을 사용하기 어려운 단점이 있다.

본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시키는 방법을 제공한다.

본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 방법은 카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하는 단계; 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계; 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계; 상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계를 포함할 수 있다.

체커 보드를 이용하여 상기 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심을 포함하는 내부 특성에 대응하는 상기 카메라 센서 고유의 캘리브레이션 파라미터를 추정하는 단계를 더 포함하고, 상기 이미지 데이터를 식별하는 단계 및 상기 포인트 클라우드 데이터를 식별하는 단계는 상기 추정된 캘리브레이션 파라미터를 이용하여 추출된 상기 카메라 센서의 시야(Field Of View, FOV)에 대응하는 이미지 데이터 및 포인트 클라우드 데이터를 식별할 수 있다.

상기 홀을 인식하는 단계는 상기 식별된 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 상기 마커 보드에 존재하는 홀을 인식할 수 있다.

상기 홀을 인식하는 단계는 상기 식별된 포인트 클라우드 데이터에 포함된 포인트들 중 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 상기 마커 보드에 존재하는 홀을 인식할 수 있다.

상기 변환 벡터를 결정하는 단계는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정할 수 있다.

상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.

상기 캘리브레이션을 수행하는 단계는 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함에 있어 이동 변환을 고려하여 투영할 수 있다.

상기 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 타겟을 탐지하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 방법은 제1 센서를 통해 마커 보드에 존재하는 홀을 인식하는 단계; 제1 센서와 다른 제2 센서를 통해 상기 마커 보드에 존재하는 홀을 인식하는 단계; 및 상기 제1 센서를 통해 인식한 홀의 반지름과 상기 제2 센서를 통해 인식한 홀의 반지름에 기초하여 상기 제1 센서와 제2 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계를 포함할 수 있다.

상기 캘리브레이션을 위한 제1 센서의 좌표계와 제2 센서의 좌표계 간의 변환 벡터는, 상기 제1 센서와 제2 센서 사이의 상대적인 위치 차이에 기초하여 결정될 수 있다.

본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 장치는 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 프로세서를 포함하고, 상기 프로세서는 카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하고, 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하며, 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하고, 상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하며, 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행할 수 있다.

상기 프로세서는 체커 보드를 이용하여 상기 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심을 포함하는 내부 특성에 대응하는 상기 카메라 센서 고유의 캘리브레이션 파라미터를 추정하고, 상기 추정된 캘리브레이션 파라미터를 이용하여 추출된 상기 카메라 센서의 시야(Field Of View, FOV)에 대응하는 이미지 데이터 및 포인트 클라우드 데이터를 식별할 수 있다.

상기 프로세서는 상기 식별된 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 상기 마커 보드에 존재하는 홀을 인식할 수 있다.

상기 프로세서는 상기 식별된 포인트 클라우드 데이터에 포함된 포인트들 중 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 상기 마커 보드에 존재하는 홀을 인식할 수 있다.

상기 프로세서는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정할 수 있다.

상기 프로세서는 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함에 있어 이동 변환을 고려하여 투영할 수 있다.

상기 프로세서는 상기 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 타겟을 탐지할 수 있다.

본 발명의 일실시예에 의하면, 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 마커 보드의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 추출하는 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 방법을 도시한 도면이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 시스템을 도시한 도면이다.

도 1을 참고하면, 본 발명의 이종 센서 간의 캘리브레이션 시스템(100)은 제1 센서(110), 제1 센서(110)와는 다른 제2 센서(120), 마커 보드(130) 및 프로세서(140)로 구성될 수 있다. 일례로, 제1 센서(110) 및 제2 센서(120)는 카메라 센서, 라이다 센서, 레이저 센서 등 다양한 센서 중 하나일 수 있다.

이와 같이 이종 센서를 통해 수집된 데이터를 융합하기 위해서는 각 센서의 프레임 간 좌표 변환, 즉 캘리브레이션을 수행하여야 한다. 이를 위해서는 이종 센서를 통해 수집된 데이터 각각에서 고유한 특징을 식별하고, 식별된 고유한 특징에 기초하여 이종 센서 간 대응 관계를 설정해야 한다.

본 발명에서는 이종 센서를 이용하여 타겟을 탐지하는 방법을 제공하기 위해 도 2와 같이 복수의 홀이 존재하는 마커 보드(130)를 이용하여 이종 센서 간의 캘리브레이션을 수행하는 방법을 제공한다. 이때, 마커 보드(130)에 존재하는 홀(131~134)은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있다. 또한, 도 2의 마커 보드(130)에는 4개의 홀(131~134)이 존재하지만 이와 같은 홀의 개수는 하나의 예시일 뿐 다양한 개수로 존재할 수 있다.

프로세서(140)는 제1 센서(110) 및 제2 센서(120)로부터 마커 보드(130)를 촬영한 데이터를 각각 식별하고, 식별된 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 그리고 프로세서(140)는 제1 센서(110)를 통해 인식한 홀의 반지름과 제2 센서(120)를 통해 인식한 홀의 반지름에 기초하여 제1 센서(110)와 제2 센서(120)의 캘리브레이션을 위한 변환 벡터를 결정할 수 있다.

다시 말하자면, 제1 센서(110)의 좌표계와 제2 센서(120)의 좌표계는 상기 변환 벡터를 통해 일치될 수 있는데, 이와 같은 변환 벡터는 제1 센서(110)와 제2 센서(120)의 상대적인 위치 차이, 즉 제1 센서(110)와 마커 보드(130) 사이의 거리 및 제2 센서(120)와 마커 보드(130) 사이의 거리에 기초하여 결정될 수 있다. 보다 자세한 변환 벡터 결정 방법은 이후 개시되는 도 4를 통해 보다 자세히 설명하도록 한다.

이후 프로세서(140)는 결정된 변환 벡터를 이용하여 제1 센서(110)의 좌표계 및 제2 센서(120)의 좌표계가 서로 일치하도록 변환함으로써 이종 센서 간의 캘리브레이션을 수행할 수 있다.

기존의 이종 센서 간의 캘리브레이션 방법은 마커 보드의 위치 변화나 센서 사이의 위치 변화가 있을 때마다 측정 오차를 유발하거나, 원거리 타겟을 인식하는 경우 센서 자체의 특성에 따라 서로 다른 결과를 생성할 수 있었다. 따라서, 기존의 이종 센서 간의 캘리브레이션 방법은 타겟의 인지 정확도를 높이기 위해 이종 센서 간의 탑재 위치를 최대한 가깝게 배치하여 캘리브레이션을 수행하기 때문에 비교적 가까운 거리 내에 위치한 타겟만을 인식할 수 있으므로, 원거리 타겟을 인지해야 하는 자율주행 시스템 등에서는 적합하지 않는 단점이 있었다.

그러나 본 발명의 이종 센서 간의 캘리브레이션 방법은 홀이 존재하는 마커 보드(130)를 이용하여 캘리브레이션을 수행함으로써 이종 센서 간의 탑재 위치에 상관없이 원거리의 타겟에 대해서도 높은 정확도로 인식할 수 있으므로 자율주행 시스템 등에서도 크게 활용될 수 있다.

도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 인식하는 예를 도시한 도면이다.

본 발명에서는 다양한 이종 센서 간의 캘리브레이션 방법 중 카메라 센서 및 라이다 센서 간의 캘리브레이션 방법을 제공한다. 따라서, 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하기 위해서는 먼저 카메라 센서 및 라이다 센서 각각이 마커 보드(130)를 촬영한 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식하는 것이 필요하다.

먼저, 프로세서(140)는 이종 센서 중 하나가 카메라 센서인 경우, 체커 보드를 이용하여 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 자체의 내부 특성에 대응하는 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이는 이종 센서 즉, 카메라 센서 및 라이다 센서를 통해 수집한 이미지 데이터 및 포인트 클라우드 데이터의 융합을 위해 필수적인 단계일 수 있다. 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 캘리브레이션의 결과로 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있다. 이때, 카메라 투영 행렬은 하기의 식 1과 같이 내부 행렬 및 외부 행렬의 결합으로 획득할 수 있다.

<식 1>

여기서,

이고, 내부 행렬

는 하기의 식 2와 같이 2D 변환 행렬(2D translational matrix), 2D 스케일링 행렬(2D scaling matrix) 및 2D 전단 행렬(2D shear matrix)의 곱으로 분해될 수 있다.

<식 2>

여기서

와

는 이미지 데이터의 중심이고,

와

는 픽셀 유닛의 초점 거리이며, s 는 전단 계수이다.

도 3의 (a)는 라이다 센서를 이용하여 마커 보드(130)를 센싱 함으로써 식별된 포인트 클라우드 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다.

프로세서(140)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.

프로세서(140)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130) 만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 프로세서(140)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.

프로세서(140)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 프로세서(140)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 프로세서(140)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다.

이후 프로세서(140)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다. 일례로, 본 발명에서는 자율주행 시스템에 활용하기 위하여 반지름을 20~22cm로 결정하였고, 해당 임계값 범위 내에 있는 네 개의 원을 도 3의 (a)와 같이 인식할 수 있었다.

도 3의 (b)는 카메라 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 이미지 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다.

프로세서(140)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀(130)의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 프로세서(140)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.

프로세서(140)는 변환된 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 프로세서(140)는 그레이 스케일 형태의 이미지 데이터에 대해 3

3 크기의 형렬을 필터로 사용하여 마커 보드(130) 및 마커 보드(130) 내에 존재하는 홀의 에지를 추출할 수 있다. 이때, 프로세서(140)는 그레이 스케일 형태의 이미지 데이터에 포함된 모든 픽셀에 대해 필터를 적용하는데 이미지 데이터 내의 어느 한 점을 기준으로 각 방향의 앞뒤 픽셀 값을 비교하여 그 변화량을 검출함으로써 가장자리 에지를 추출할 수 있다.

프로세서(140)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 프로세서(140)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다. 일례로, 본 발명의 프로세서(140)는 카메라 센서의 이미지 데이터로부터 네 개의 원을 도 3의 (b)와 같이 인식할 수 있었다.

도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.

도 3과 같이 카메라 센서 및 라이다 센서를 통해 수집한 데이터로부터 마커 보드(130)에 존재하는 홀을 인식하면, 프로세서(140)는 인식된 홀을 이용하여 카메라 센서와 라이다 센서 간의 좌표계를 일치시키기 위한 캘리브레이션을 수행할 수 있다. 본 발명에서는 자율주행 차량의 카메라 센서 및 라이다 센서가 3축에서 동일한 방향으로 탑재되므로 회전 차이(Rotation difference)는 고려하지 않고, 센서 간 이동 차이(Translation difference)만을 고려하여 이종 센서 간의 캘리브레이션을 수행함으로써 연산량을 최소화할 수 있다.

즉, 프로세서(140)는 두 센서의 내부 파라미터(Intrinsic parameter) 즉 카메라 센서 고유의 캘리브레이션 파라미터와 외부 파라미터(Extrinsic parameter) 즉, 변환 벡터를 계산한 후 하기의 식 3을 통해 라이다 센서를 통해 수집된 포인트 클라우드 데이터의 포인트들을 카메라 센서를 통해 수집된 이미지 데이터 상에 투영(Projection)함으로써 두 이종 센서 간의 캘리브레이션을 수행할 수 있다.

<식 3>

이때, 외부 파라미터인 변환 벡터는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 결정될 수 있다. 먼저, 프로세서(140)는 변환 벡터(

)의 구성요소인

를 계산하기 전

를 계산할 수 있다. 이때,

는 라이다 센서로부터 마커 보드(130)까지의 제1 거리(

)과 카메라 센서로부터 마커 보드(130)까지의 제2 거리(

)를 이용하여 하기의 식 4와 같이 계산될 수 있다.

<식 4>

이때, 각 센서로부터 마커 보드(130)까지의 거리

는 카메라 센서의 초점 거리(

), 포인트 클라우드 데이터 및 이미지 데이터로부터 각각 인식된 홀의 반지름(

)을 이용하여 하기의 식 5와 같이 계산될 수 있다.

<식 5>

이후, 프로세서(140)는 계산된

를 이용하여 나머지 변환 벡터인

를 하기의 식 6을 이용하여 계산할 수 있다.

<식 6>

이와 같이 결정된 변환 벡터(

)를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 프로세서(140)는 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행할 수 있다.

도 5는 본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 방법을 도시한 도면이다.

단계(510)에서, 캘리브레이션 시스템(100)의 프로세서(140)는 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이때, 프로세서(140)는 체커 보드를 이용하여 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다.

프로세서(140)는 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 카메라 센서의 캘리브레이션의 결과 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있으며, 이를 통해 카메라 센서 및 라이다 센서를 통해 수집한 이미지 데이터 및 포인트 클라우드 데이터의 융합을 수행할 수 있다.

단계(520)에서, 프로세서(140)는 카메라 센서를 통해 따라 마커 보드(140)를 촬영한 이미지 데이터를 식별하고, 단계(530)에서 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별할 수 있다. 이때, 마커 보드(130)에 존재하는 홀은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있으며 다양한 개수로 존재할 수 있다.

단계(540)에서, 프로세서(140)는 카메라 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 이미지 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 프로세서(140)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀(130)의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 프로세서(140)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.

프로세서(140)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 프로세서(140)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다.

단계(550)에서, 프로세서(140)는 라이다 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 포인트 클라우드 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 프로세서(140)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.

이후 프로세서(140)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다

단계(560)에서, 프로세서(140)는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 변환 벡터를 결정할 수 있다. 이때, 라이다 센서로부터 마커 보드(130)까지의 제1 거리(

)과 카메라 센서로부터 마커 보드(130)까지의 제2 거리(

)는 카메라 센서의 초점 거리(

)을 이용하여 계산될 수 있다.

단계(570)에서, 프로세서(140)는 결정된 변환 벡터를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 프로세서(140)는 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행할 수 있다. 그리고, 프로세서(140)는 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 원거리에 위치한 타겟을 보다 정확하게 탐지할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

100 : 이종 센서 간의 캘리브레이션 시스템
110 : 제1 센서
120 : 제2 센서
130 : 마커 보드
140 : 프로세서

Claims

삭제
이종 센서 간의 캘리브레이션 방법에 있어서,
체커 보드를 이용하여 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심을 포함하는 내부 특성에 대응하는 상기 카메라 센서 고유의 캘리브레이션 파라미터를 추정하는 단계;
상기 추정된 캘리브레이션 파라미터를 이용하여 추출된 상기 카메라 센서의 시야(Field Of View, FOV)에 기초하여 상기 카메라 센서를 통해 마커 보드를 촬영한 이미지 데이터를 식별하는 단계;
상기 카메라 센서의 시야에 기초하여 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계;
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계;
상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계
를 포함하는 이종 센서 간의 캘리브레이션 방법.
제2항에 있어서,
상기 홀을 인식하는 단계는,
상기 식별된 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 상기 마커 보드에 존재하는 홀을 인식하는 이종 센서 간의 캘리브레이션 방법.
이종 센서 간의 캘리브레이션 방법에 있어서,
카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하는 단계;
라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계;
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계;
상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계
를 포함하고,
상기 홀을 인식하는 단계는,
상기 식별된 포인트 클라우드 데이터에 포함된 포인트들 중 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 상기 마커 보드에 존재하는 홀을 인식하는 이종 센서 간의 캘리브레이션 방법.
삭제
이종 센서 간의 캘리브레이션 방법에 있어서,
카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하는 단계;
라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계;
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계;
상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정된 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계
를 포함하는 이종 센서 간의 캘리브레이션 방법.
제2항에 있어서,
상기 캘리브레이션을 수행하는 단계는,
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함에 있어 이동 변환을 고려하여 투영하는 이종 센서 간의 캘리브레이션 방법.
제2항에 있어서,
상기 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 타겟을 탐지하는 단계
를 더 포함하는 이종 센서 간의 캘리브레이션 방법.
삭제
삭제
제2항 내지 제4항 및 제6항 내지 제8항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
삭제
카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 프로세서
를 포함하고,
상기 프로세서는,
체커 보드를 이용하여 상기 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심을 포함하는 내부 특성에 대응하는 상기 카메라 센서 고유의 캘리브레이션 파라미터를 추정하고,
상기 추정된 캘리브레이션 파라미터를 이용하여 추출된 상기 카메라 센서의 시야(Field Of View, FOV)에 기초하여 상기 카메라 센서를 통해 마커 보드를 촬영한 이미지 데이터를 식별하며,
상기 카메라 센서의 시야에 기초하여 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하고,
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하며,
상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하고,
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 이종 센서 간의 캘리브레이션 장치.
제13항에 있어서,
상기 프로세서는,
상기 식별된 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 상기 마커 보드에 존재하는 홀을 인식하는 이종 센서 간의 캘리브레이션 장치.
카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 프로세서
를 포함하고,
상기 프로세서는,
카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하고, 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하며,
상기 식별된 이미지 데이터에서 상기 마커 보드에 존재하는 홀을 인식하고,
상기 식별된 포인트 클라우드 데이터에 포함된 포인트들 중 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 상기 마커 보드에 존재하는 홀을 인식하며,
상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하고,
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 이종 센서 간의 캘리브레이션 장치.
삭제
카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 프로세서
를 포함하고,
상기 프로세서는,
카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하고, 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하며,
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하고,
상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정된 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하며,
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 이종 센서 간의 캘리브레이션 장치.
제13항에 있어서,
상기 프로세서는,
상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함에 있어 이동 변환을 고려하여 투영하는 이종 센서 간의 캘리브레이션 장치.
제13항에 있어서,
상기 프로세서는,
상기 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 타겟을 탐지하는 이종 센서 간의 캘리브레이션 장치.