KR20200023974A - 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치 - Google Patents

Abstract

본 발명에 따른 회전형 라이다와 다중 카메라간의 센서 동기화 방법에 있어서, 상기 방법은 동기화 장치에 의해 수행되고, 상기 방법은, 상기 회전형 라이다로부터 획득된 각도 정보와 사전에 입력된 목표 각도를 비교하여, 상기 목표 각도와 가장 인접한 각도를 탐색하는 각도 비교 단계; 상기 탐색된 각도와 상기 회전형 라이다의 회전에 따른 실제 각도와의 오프셋과 상기 회전형 라이다의 회전 속도를 고려하여, 다음 프레임에서의 카메라 촬영 예측 시간을 계산하는 예측 시간 계산 단계; 및 상기 예측 시간을 예측 시간 대기열에 입력하고, 현재 프로세스를 분기하여 상기 분기된 프로세스 중 하나는 상기 회전형 라이다로부터 정보를 입력받기 위해 대기하는 프로세스 분기 단계를 포함한다. 본 발명을 사용함에 따라서, 회전형 라이다와 다중카메라 센서 간의 데이터 간의 에러를 줄이고, 이로 인한 캘리브레이션, 인식, 장애물 판단, 자율행동판단 등 시각 센서를 사용하는 모든 종류의 알고리즘의 결과를 향상시킬 수 있다.

Description

회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치 {METHOD AND APPARATUS FOR SYNCHRONIZATION OF ROTATING LIDAR AND MULTIPLE CAMERAS}

본 발명은 회전형 라이다와 다중 카메라간의 센서 동기화를 수행하는 동기화 장치 및 이를 수행하는 동기화 방법에 관한 것이다.

자율주행차량을 포함한 지상장비의 무인자율화 시스템은 주변 환경을 실시간으로 인식/판단하기 위해서 회전형 거리 측정 센서(라이다)와 카메라 같은 다양한 종류의 시각 센서들이 많이 사용되고 있고, 무인자율화 시스템은 이런 다양한 시각 센서들 간의 시간 동기화를 기본적으로 가정하고 동작하고 있다. 일반적으로 카메라 종류 간의 시각 센서 동기화는 GPS처럼 빠르게 시간 정보를 제공해주는 장치를 이용하면 상대적으로 쉽게 동기화가 가능하다. 하지만, 외부 장치에서 제공되는 시간 정보만으로 회전하며 주변의 거리 정보를 취득하는 회전형 라이다와 특정 범위의 시각 정보를 한번에 취득하는 카메라 간의 정교한 동기화를 확보하는 것은 불가능하다.

이와 같은 문제를 해결하기 위해 본 발명에서는 시각 정보를 확보하기 위해 필수적으로 사용되고 있는 회전형 라이다와 카메라간의 정확한 동기화 방법과 그 장치에 대한 기술을 포함하고 있다. 이와 관련하여, 현재 솔리드 스테이트(Solid-state) 형식의 라이다를 제외한 모든 라이다는 회전형 라이다이다. 앞서 언급한 것과 같이 기존의 회전형 라이다와 카메라간의 동기화 방법은 외부 장치의 시간 정보를 활용하여 카메라가 촬영되었을 때의 시간 정보와 라이다가 회전하면서 얻은 3차원 데이터들의 시간 정보들을 저장하고, 이렇게 기록된 시간 정보들 중 가장 유사한 시간 값을 매칭하여 사용하거나, 소프트웨어 수준에서 회전형 라이다로부터 데이터가 얻어진 시점에 카메라를 촬영하여 동기화를 맞추어 사용한다. 이렇게 동기화된 데이터는 일반적인 용도로는 충분히 사용가능지만, 라이다와 카메라간의 정교한 정합이 요구되는 무인자율화 시스템 등에 사용되는 알고리즘에 사용하기에는 적합하지 않다. 이를 해결하기 위해 독일의 카를스루에 공과대학교(Karlsruhe Institute of Technology)에서는 회전형 라이다에 하드웨어적 스위치를 설치하여 카메라에 동기화 신호를 물리적으로 제공하는 방식을 사용하여 시간동기화 문제를 해결하였다. 하지만, 이 방식은 물리적은 스위치로 인한 내구성 문제를 내포하고 있다. 특히, 야지/험지를 전천후 환경에서 주행하여야 하는 국방용 무인자율화 시스템에서는 물리적인 동기화 신호 장치는 현실적으로 사용하기 힘들다.

회전형 라이다와 카메라간의 정교하지 않은 시간 동기화는 데이터간의 정합에 근본적인 에러를 유발하고, 이는 매우 다양한 야외 환경에서 안정적인 결과를 보장해야 하는 무인자율화 시스템의 시각 센서 운용에 있어서 치명적으로 작용할 수 있다. 기존의 장치와 그 방법들로는 이런 단점을 근본적으로 극복하기에는 한계가 있다는 문제점이 있다.

따라서, 본 발명의 목적은 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치를 제공하는데 그 목적이 있다.

또한, 본 발명의 목적은 회전형 라이다와 카메라가 동시에 사용되는 시스템에서 회전형 라이다의 각도 정보를 통해 가장 정확한 카메라의 촬영 순간을 제공하는 방법과 그 장치를 제공하는데 그 목적이 있다.

상기와 같은 과제를 해결하기 위한 본 발명에 따른 회전형 라이다와 다중 카메라간의 센서 동기화 방법에 있어서, 상기 방법은 동기화 장치에 의해 수행되고, 상기 회전형 라이다로부터 획득된 각도 정보와 사전에 입력된 목표 각도를 비교하여, 상기 목표 각도와 가장 인접한 각도를 탐색하는 각도 비교 단계; 상기 탐색된 각도와 상기 회전형 라이다의 회전에 따른 실제 각도와의 오프셋과 상기 회전형 라이다의 회전 속도를 고려하여, 다음 프레임에서의 카메라 촬영 예측 시간을 계산하는 예측 시간 계산 단계; 및 상기 예측 시간을 예측 시간 대기열에 입력하고, 현재 프로세스를 분기하여 상기 분기된 프로세스 중 하나는 상기 회전형 라이다로부터 정보를 입력받기 위해 대기하는 프로세스 분기 단계를 포함한다.

일 실시 예에서, 상기 프로세스 분기 단계에서, 상기 분기된 프로세스 중 나머지 하나는 상기 예측 시간 대기열에 입력된 예측 시간들과 현재 시간을 실시간으로 비교할 수 있다.

일 실시 예에서, 상기 예측 시간들 중 해당 예측 시간이 상기 현재 시간에 도달하면, 상기 해당 예측 시간을 대기열에서 제거한 후, 촬영 동작 신호를 발생시켜 카메라 센서로 전달하는 촬영 동작 신호 발생 단계를 더 포함할 수 있다.

일 실시 예에서, 상기 촬영 동작 신호 발생 단계에서, 상기 탐색된 각도, 상기 오프셋, 상기 회전 속도 및 상기 해당 예측 시간에 기반하여 판단된 현재 각도에 대응하는 카메라를 상기 촬영 동작 신호에 의해 활성화시키고, 상기 다중 카메라 각각은 서로 다른 시간에 상기 촬영 동작 신호에 의해 트리거링될 수 있다.

일 실시 예에서, 상기 촬영 동작 신호 발생 단계에서, 상기 회전형 라이다의 각도 오차와 상기 다중 카메라의 배치 위치와 커버리지 범위를 고려하여, 상기 다중 카메라 각각에 대해 서로 다른 예측 시간에 기반하여 동기화될 수 있다. 이때, 상기 다중 카메라 중 제1 카메라와 제2 카메라 간에 중복되는 영역에 객체가 배치된 것으로 상기 회전형 라이다에 의해 판단된 경우, 상기 제1 카메라와 제2 카메라를 동시에 트리거링될 수 있다.

일 실시 예에서, 상기 동기화 장치는 센서 정보 수신부, 각도 정보 연산부, 예측 시간 대기부 및 카메라 신호 발생부를 포함할 수 있다. 이때, 상기 센서 정보 수신부는 상기 회전형 라이다로부터 거리 정보와 상기 각도 정보를 모두 수신할 수 있다. 한편, 상기 획득된 각도 정보에 기반하여 상기 목표 각도에 임계치 범위 내로 수렴되지 않은 것으로 판단되면, 상기 센서 정보 수신부는 상기 회전형 라이다로부터 상기 거리 정보와 상기 각도 정보를 다시 수신할 수 있다. 이때, 상기 획득된 각도 정보에 기반하여 상기 목표 각도에 임계치 범위 내로 수렴된 것으로 판단되면, 상기예측 시간 대기부와 상기 센서 정보 수신부는 상기 예측 시간 계산 단계 및 상기 프로세스 분기 단계에 따른 상기 촬영 동작 신호 발생 단계를 수행할 수 있다.

본 발명은 무인자율화 시스템에서 필수적으로 사용되고 있는 회전형 라이다와 카메라 센서의 정확한 동기화 방법을 제공한다.

이에 따라, 센서 정보의 획득 단에서 최대한 정확한 데이터를 획득함으로서 상기 이종 센서 데이터 간의 에러를 줄이고, 이로 인한 캘리브레이션, 인식, 장애물 판단, 자율행동판단 등 시각 센서를 사용하는 모든 종류의 알고리즘의 결과를 향상시킬 수 있는 효과가 있다.

도 1은 본 발명에 따른 회전형 라이다와 카메라 동기화 방법의 순서도이다.
도 2는 본 발명에 따른 회전형 라이다와 카메라 동기화 방법의 장치도이다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명을 하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 모듈, 블록 및 부는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

이하에서는, 본 발명에 따른 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 이를 수행하는 동기화 장치 및 다중 카메라 시스템에 대해 살펴보기로 한다.

이와 관련하여, 본 발명은 회전형 라이다와 카메라가 동시에 사용되는 시스템에서 회전형 라이다의 각도 정보를 통해 가장 정확한 카메라의 촬영 순간을 제공하는 방법과 그 장치를 포함한다. 회전형 라이다 센서의 경우 내부의 거울이나 외부의 장치를 통해 레이저 거리 측정기를 회전시켜 주변의 거리 정보를 획득한다. 주변을 측정하는 물리적 방법이 카메라 센서와 다르기 때문에 두 센서의 촬영간 격차를 물리적으로 최소화시키기 위한 별도의 장치가 필요하다. 본 발명에 포함된 방법과 장치를 사용할 경우, 이러한 물리적 문제를 최소화하여 카메라로부터 얻은 영상 정보와 최대로 일치된 거리 정보를 획득할 수 있는 장점을 가질 수 있다. 본 발명은 센서 정보의 취득 단에서 최대한 정확한 정보를 추구함으로서 센서 정보 간의 에러를 줄임으로써 인한 캘리브레이션, 인식, 자율판단 등의 결과 향상 또한 기대할 수 있다. 이러한 발명에 포함된 방법의 순서도는 도 1과 같고, 도 2는 본 발명의 장치도를 표현한다. 순서도로 표현된 발명의 방법은 아래와 같다.

도 1 및 도 2를 참조하며, 본 발명에 따른 회전형 라이다와 카메라 동기화 방법 및 장치에서 본 발명의 구체적인 구성과 동작은 다음과 같다.

(1) 본 발명에서 제안하는 방법은 회전형 라이다 센서로부터 거리정보와 각도정보를 입력으로 받는다. 본 발명에서 언급하는 회전형 라이다 센서는 거리 측정 센서를 회전하면서 특정 분해능을 가지는 단일 혹은 n개의 거리 측정 모듈로 구성된 센서이다.

(2) 회전형 라이다-카메라 동기화 장치는 입력 정보들 중에서 각도 정보를 실시간으로 추출하여, 사전에 입력된 목표 각도와 연속적으로 입력되고 있는 라이다의 각도를 비교하여, 가장 일치하는 각도를 찾아낸다.

(3) 상기 단계(2)에서 각도 정보를 연산하는 중에도 회전형 라이다는 계속해서 회전하고 있기 때문에 실제 현재의 라이다의 각도와는 차이(오프셋)가 발생한다. 이런 오프셋 때문에 단순히 각도 비교 후 카메라 카메라로 촬영 신호(트리거)를 발생시키면, 이미 카메라 촬영 시기를 놓치기 때문에 두 센서간의 촬영 격차를 최소화할 수 없다. 하지만, 이렇게 물리적인 시간 때문에 발생하는 오프셋은 매번 거의 균일한 값을 보이기 때문에 사전에 계산할 수 있다. 동기화 장치는 계산된 오프셋과 회전형 라이다의 회전 속도를 함께 고려하여 다음 프레임에서의 카메라 촬영 예측 시간을 계산한다.

(4) 상기 단계(3)에서 계산된 예측 시간은 예측 시간 대기열에 입력하고, 현재 프로세스를 분기한다. 분기된 프로세스 중 하나는 다시 회전형 라이다로부터 정보를 입력받기 위해 대기하고, 나머지 하나는 예측 시간 대기열에 입력되어 있는 예측 시간들과 현재시간을 실시간으로 비교한다.

(5) 상기 단계(4)에서 비교한 예측 시간들 중에서 현재 시간에 도달한 예측 시간이 존재하면, 해당 예측 시간을 대기열에서 제거한 후, 카메라 센서로 촬영 동작 신호를 발생시킨다. 그리고 해당 프로세스는 지속적으로 예측 시간 대기열을 감시한다.

이와 관련하여, 도 1을 참조하여, 본 발명에 따른 회전형 라이다와 다중 카메라간의 센서 동기화 방법은 다음의 단계들을 수행할 수 있다. 이때, 각 단계는 그 순서에 한정되는 것이 아니라, 응용에 따라 순서를 변경하거나 또는 둘 이상의 단계가 동시에 수행될 수 있다.

각도 비교 단계(S110)에서, 상기 회전형 라이다로부터 획득된 각도 정보와 사전에 입력된 목표 각도를 비교하여, 상기 목표 각도와 가장 인접한 각도를 탐색하다. 한편, 예측 시간 계산 단계(S120)에서, 상기 탐색된 각도와 상기 회전형 라이다의 회전에 따른 실제 각도와의 오프셋과 상기 회전형 라이다의 회전 속도를 고려하여, 다음 프레임에서의 카메라 촬영 예측 시간을 계산한다.

한편, 프로세스 분기 단계(S130)에서, 상기 예측 시간을 예측 시간 대기열에 입력하고, 현재 프로세스를 분기하여 상기 분기된 프로세스 중 하나는 상기 회전형 라이다로부터 정보를 입력받기 위해 대기한다. 또한, 프로세스 분기 단계(S130)에서, 상기 분기된 프로세스 중 나머지 하나는 상기 예측 시간 대기열에 입력된 예측 시간들과 현재 시간을 실시간으로 비교할 수 있다.

한편, 촬영 동작 신호 발생 단계(S140)에서, 상기 예측 시간들 중 해당 예측 시간이 상기 현재 시간에 도달하면, 상기 해당 예측 시간을 대기열에서 제거한 후, 촬영 동작 신호를 발생시켜 카메라 센서로 전달할 수 있다.

또한, 촬영 동작 신호 발생 단계(S140)에서, 상기 탐색된 각도, 상기 오프셋, 상기 회전 속도 및 상기 해당 예측 시간에 기반하여 판단된 현재 각도에 대응하는 카메라를 상기 촬영 동작 신호에 의해 활성화시킬 수 있다. 이때, 상기 다중 카메라 각각은 서로 다른 시간에 상기 촬영 동작 신호에 의해 트리거링될 수 있다.

또한, 촬영 동작 신호 발생 단계(S140)에서, 상기 회전형 라이다의 각도 오차와 상기 다중 카메라의 배치 위치와 커버리지 범위를 고려하여, 상기 다중 카메라 각각에 대해 서로 다른 예측 시간에 기반하여 동기화될 수 있다. 이때, 상기 다중 카메라 중 제1 카메라와 제2 카메라 간에 중복되는 영역에 객체가 배치된 경우, 상기 제1 카메라와 제2 카메라를 동시에 트리거링될 수 있다.

상기 기술된 방법으로 구현한 장치의 구성도는 도 2와 같다. 회전형 라이다로(100)부터 센서 정보를 입력받아 처리하는 센서 정보 수신부(210), 수신된 센서 정보로부터 각도 정보를 분리하고 목표 각도와의 비교 연산을 수행하는 각도 정보 연산부(220), 다음 프레임에서의 카메라 트리거 발생 시간을 예측하고 대기하는 예측 시간 대기부(230), 그리고 예측 시간과 현재 시간을 실시간으로 비교하면서 카메라 촬영 동작 신호를 발생시키는 카메라 신호 발생부(240)로 구성이 된다.

한편, 본 발명에 따른 회전형 라이다와 다중 카메라간의 센서 동기화 방법을 수행하는 동기화 장치(200)는 다음과 같은 동작을 수행할 수 있다. 상기 센서 정보 수신부(210)는 상기 회전형 라이다(100)로부터 거리 정보와 상기 각도 정보를 모두 수신하도록 구성된다. 한편, 각도 정보 연산부(220)는 상기 회전형 라이다(100)로부터 획득된 각도 정보와 사전에 입력된 목표 각도를 비교하여, 상기 목표 각도와 가장 인접한 각도를 탐색하도록 구성된다. 또한, 예측 시간 대기부(230)는 상기 탐색된 각도와 상기 회전형 라이다의 회전에 따른 실제 각도와의 오프셋과 상기 회전형 라이다의 회전 속도를 고려하여, 다음 프레임에서의 카메라 촬영 예측 시간을 계산한다.

또한, 카메라 신호 발생부(240)는 상기 예측 시간을 예측 시간 대기열에 입력하고, 현재 프로세스를 분기하여 상기 분기된 프로세스 중 하나는 상기 회전형 라이다로부터 정보를 입력받기 위해 대기한다. 한편, 예측 시간 대기부(230)는 상기 분기된 프로세스 중 나머지 하나는 상기 예측 시간 대기열에 입력된 예측 시간들과 현재 시간을 실시간으로 비교할 수 있다. 이에 따라, 카메라 신호 발생부(240)는 상기 예측 시간들 중 해당 예측 시간이 상기 현재 시간에 도달하면, 상기 해당 예측 시간을 대기열에서 제거한 후, 촬영 동작 신호를 발생시켜 카메라 센서로 전달할 수 있다.

한편, 카메라 신호 발생부(240)는 상기 탐색된 각도, 상기 오프셋, 상기 회전 속도 및 상기 해당 예측 시간에 기반하여 판단된 현재 각도에 대응하는 카메라를 상기 촬영 동작 신호에 의해 활성화시킬 수 있다. 이때, 상기 다중 카메라 각각은 서로 다른 시간에 상기 촬영 동작 신호에 의해 트리거링될 수 있다.

한편, 카메라 신호 발생부(240)는 상기 회전형 라이다의 각도 오차와 상기 다중 카메라의 배치 위치와 커버리지 범위를 고려하여, 상기 다중 카메라 각각에 대해 서로 다른 예측 시간에 기반하여 동기화를 수행할 수 있다. 이때, 상기 다중 카메라 중 제1 카메라와 제2 카메라 간에 중복되는 영역에 객체가 배치된 것으로 상기 회전형 라이다에 의해 판단된 경우, 상기 제1 카메라와 제2 카메라를 동시에 트리거링될 수 있다.

한편, 상기 획득된 각도 정보에 기반하여 상기 목표 각도에 임계치 범위 내로 수렴되지 않은 것으로 판단되면, 상기 센서 정보 수신부(210)는 상기 회전형 라이다로부터 상기 거리 정보와 상기 각도 정보를 다시 수신한다. 이에 따라, 상기 획득된 각도 정보에 기반하여 상기 목표 각도에 임계치 범위 내로 수렴된 것으로 판단되면, 상기 예측 시간 대기부(230)와 상기 센서 정보 수신부(240)는 상기 예측 시간 계산 단계(S120) 및 상기 프로세스 분기 단계(S130)에 따른 상기 촬영 동작 신호 발생 단계(S140)를 수행할 수 있다.

이상에서는 본 발명에 따른 본 발명에 따른 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 이를 수행하는 동기화 장치에 대해 살펴보았다.

본 발명은 무인자율화 시스템에서 필수적으로 사용되고 있는 회전형 라이다와 카메라 센서의 정확한 동기화 방법을 제공한다.

이에 따라, 센서 정보의 획득 단에서 최대한 정확한 데이터를 획득함으로서 센서 데이터 간의 에러를 줄이고, 이로 인한 캘리브레이션, 인식, 장애물 판단, 자율행동판단 등 시각 센서를 사용하는 모든 종류의 알고리즘의 결과를 향상시킬 수 있는 효과가 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들에 대한 설계 및 파라미터 최적화는 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.

Claims (6)

1. 회전형 라이다와 다중 카메라간의 센서 동기화 방법에 있어서, 상기 방법은 동기화 장치에 의해 수행되고, 상기 방법은,
   상기 회전형 라이다로부터 획득된 각도 정보와 사전에 입력된 목표 각도를 비교하여, 상기 목표 각도와 가장 인접한 각도를 탐색하는 각도 비교 단계;
   상기 탐색된 각도와 상기 회전형 라이다의 회전에 따른 실제 각도와의 오프셋과 상기 회전형 라이다의 회전 속도를 고려하여, 다음 프레임에서의 카메라 촬영 예측 시간을 계산하는 예측 시간 계산 단계; 및
   상기 예측 시간을 예측 시간 대기열에 입력하고, 현재 프로세스를 분기하여 상기 분기된 프로세스 중 하나는 상기 회전형 라이다로부터 정보를 입력받기 위해 대기하는 프로세스 분기 단계를 포함하는, 센서 동기화 방법.
2. 제1 항에 있어서,
   상기 프로세스 분기 단계에서,
   상기 분기된 프로세스 중 나머지 하나는 상기 예측 시간 대기열에 입력된 예측 시간들과 현재 시간을 실시간으로 비교하는 것을 특징으로 하는, 센서 동기화 방법.
3. 제2 항에 있어서,
   상기 예측 시간들 중 해당 예측 시간이 상기 현재 시간에 도달하면, 상기 해당 예측 시간을 대기열에서 제거한 후, 촬영 동작 신호를 발생시켜 카메라 센서로 전달하는 촬영 동작 신호 발생 단계를 더 포함하는, 센서 동기화 방법.
4. 제3 항에 있어서,
   상기 촬영 동작 신호 발생 단계에서,
   상기 탐색된 각도, 상기 오프셋, 상기 회전 속도 및 상기 해당 예측 시간에 기반하여 판단된 현재 각도에 대응하는 카메라를 상기 촬영 동작 신호에 의해 활성화시키고,
   상기 다중 카메라 각각은 서로 다른 시간에 상기 촬영 동작 신호에 의해 트리거링되는 것을 특징으로 하는, 센서 동기화 방법.
5. 제4 항에 있어서,
   상기 촬영 동작 신호 발생 단계에서,
   상기 회전형 라이다의 각도 오차와 상기 다중 카메라의 배치 위치와 커버리지 범위를 고려하여, 상기 다중 카메라 각각에 대해 서로 다른 예측 시간에 기반하여 동기화하고,
   상기 다중 카메라 중 제1 카메라와 제2 카메라 간에 중복되는 영역에 객체가 배치된 경우, 상기 제1 카메라와 제2 카메라를 동시에 트리거링하는 것을 특징으로 하는, 센서 동기화 방법.
6. 제 1항에 있어서,
   상기 동기화 장치는
   센서 정보 수신부, 각도 정보 연산부, 예측 시간 대기부 및 카메라 신호 발생부를 포함하고,
   상기 센서 정보 수신부는 상기 회전형 라이다로부터 거리 정보와 상기 각도 정보를 모두 수신하고,
   상기 획득된 각도 정보에 기반하여 상기 목표 각도에 임계치 범위 내로 수렴되지 않은 것으로 판단되면, 상기 센서 정보 수신부는 상기 회전형 라이다로부터 상기 거리 정보와 상기 각도 정보를 다시 수신하고,
   상기 획득된 각도 정보에 기반하여 상기 목표 각도에 임계치 범위 내로 수렴된 것으로 판단되면, 상기예측 시간 대기부와 상기 센서 정보 수신부는 상기 예측 시간 계산 단계 및 상기 프로세스 분기 단계에 따른 상기 촬영 동작 신호 발생 단계를 수행하는 것을 특징으로 하는, 센서 동기화 방법.

Images