KR102363691B1 - 자율주행을 위한 객체 속도 추정 장치 및 방법 - Google Patents

Abstract

본 발명의 일 실시예는 자율주행을 위한 객체 속도 추정 방법 및 장치에 관한 것으로, 자율주행을 위한 객체 속도 추정 방법은, 자율주행 이동체에 탑재된 하나 이상의 카메라 모듈 및 레이다 모듈로부터 객체의 정보를 수집하는 단계; 상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 단계; 및 상기 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정하는 단계를 포함한다.

Description

자율주행을 위한 객체 속도 추정 장치 및 방법{VELOCITY ESTIMATION METHOD OF OBJECT FOR AUTONOMOUS DRIVING AND APPARATUS}

본 발명의 일 실시예는 자율주행을 위한 객체 속도 추정 장치 및 방법에 관한 것으로, 보다 상세하게는 비전 센서와 레이다를 이용한 자율주행을 위한 객체 속도 추정 장치 및 방법에 관한 것이다.

자율주행이란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 것을 말한다.

최근 자율주행 기술의 발달에 따라 자동차, 항공기, 드론, 로봇, 선박 등의 여러 플랫폼을 이용한 자율주행이 시도되고 있다.

자율주행에서 핵심적인 요소는 장애물 예측이다. 장애물을 예측하여 주변환경으로부터 발생하는 위험을 파악하고 대처하는 것이 중요하다. 자동차의 자율주행의 경우 주행하는 곳이 주로 차도이기 때문에 장애물의 종류가 꽤 규칙적이다. 반면 배달로봇이나 서빙로봇은 더욱 복잡하고 다양한 장애물들이 존재하는 인도, 횡단보도, 실내 공간 등을 주행한다. 때문에 이러한 복잡한 환경에서는 장애물의 속도를 정확하게 예측해 위험을 회피하는 것이 중요하다.

종래의 자율주행의 장애물 추적에 사용되는 센서로는 카메라, Depth Camera, Lidar, Radar 등이 대표적이다. 카메라는 이미지를 통해 객체(물체)를 구분하고 추적할 수 있지만 시각적인 이미지를 이용한 것이기 때문에 움직인 거리를 알 수 없다.

Depth Camera는 두개의 이미지를 매칭하여 거리(Depth)를 추정 할 수 있지만 거리가 멀어질수록 오차가 심해진다. Lidar는 빛을 쏘아 돌아오는 시간을 측정 후 거리를 계산하기 때문에 성능이 매우 뛰어나지만 가격이 매우 비싸다는 단점이 있다. Radar도 Lidar와 원리는 비슷하지만 파장을 쏘아 되돌아오는 파장을 바탕으로 거리 및 속도를 측정하며 잡음 데이터가 많이 발생하기 때문에 물체를 잘못 인식할 수 있다는 단점이 있다. 이 모든 단일 센서들의 방식으로는 장애물을 정확히 추적하는데 어려움이 있다.

한편, Camera를 이용한 물체의 추적 및 속도 추정 방법으로는 IOU(Intersection over Union) tracker와 SORT(Simple Online and Realtime Tracking) 알고리즘이 존재한다. IOU tracker는 이미지의 연속적인 프레임들을 비교하여 그 중 가장 많이 겹치는 물체를 같은 물체로 인식한다. SORT는 연속적인 프레임의 데이터를 가지고 다음 프레임에서의 위치를 예측한 후 인식한 물체와 비교하여 물체를 추적한다.

한편, IOU tracker나 SORT 알고리즘은 물체가 겹치는 순간 등 물체를 제대로 인식할 수 없다는 문제가 있다. 그러한 경우 거짓양성(False Positive)이나 거짓음성(False Negative) 등이 발생한다. 거짓양성은 물체가 인식되었지만 실제로 존재하지는 않는 경우이다. 거짓음성은 반대로 물체가 인식되지 않았지만 실제로 존재하는 경우이다. 이 중 거짓음성이 발생할 경우 인명 피해로 까지 이어질 수 있기 때문에 거짓음성이 거짓양성에 비해 위험한 오류이다. 또한 두 방법 모두 각 프레임 간의 평균속도를 계산하기 때문에 오차를 포함하게 된다.

그러므로 단일 센서들의 시각적인 데이터만으로는 물체의 순간속도를 정확하게 추정할 수 없다는 문제가 있다.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명은 카메라와 레이더를 이용하여 저비용으로 정확하게 객체의 속도를 추정하는 방법 및 장치를 제공하고자 한다.

이를 위하여, 본 발명의 일 실시예에 따르면, 자율주행을 위한 객체 속도 추정 방법은 자율주행 이동체에 탑재된 하나 이상의 카메라 모듈 및 레이다 모듈로부터 객체의 정보를 수집하는 단계; 상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 단계; 및 상기 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 단계는, 상기 카메라 모듈로부터 수집된 이미지로부터 객체 추적을 수행하여 객체에 대응하는 영역을 인식하는 단계; 상기 레이다 모듈로부터 수집된 복수개의 포인트에서 각각의 포인트가 상기 영역의 X, Y, Z 각각의 최소값과 최대값 내에 존재하는지 여부를 판단하는 단계; 및 상기 최소값과 최대값 외부의 포인트를 노이즈로 간주하여 제거하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 객체의 속도를 추정하는 단계는, 레이다를 원점으로 하는 좌표계 내의 객체의 위치에 기초하여 포인트의 단위벡터를 구하고, 레이다 모듈이 도플러 효과를 이용하여 획득한 포인트의 시선속도를 최소자승법에 적용하여 객체의 속도를 추정하는 것을 특징으로 한다.

일 실시예에서, 상기 객체 추적을 수행하여 객체에 대응하는 영역을 인식하는 단계는, 상기 카메라 모듈에 포함된 스테레오 카메라로부터 연속하는 복수개의 영상을 획득하여 각각 이웃하는 영상 사이에서 픽셀 단위로 포인트화하여 3D 포인트 정보를 생성하고 클러스터링 하여 객체의 영역을 추출하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 자율주행을 위한 객체 속도 추정 장치는 자율주행 이동체에 탑재된 하나 이상의 카메라 모듈 및 레이다 모듈로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 노이즈 제거 모듈; 및 상기 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정하는 속도 추정 모듈을 포함한다.

일 실시예에서, 상기 카메라 모듈은 스테레오 카메라를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 자율주행 이동체는 자율주행 이동체에 탑재된 하나 이상의 카메라 모듈 및 레이다 모듈; 상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하여, 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정하는 속도 추정 장치; 상기 속도 추정 장치에 의해 추정된 객체의 속도를 고려하여 이동체의 경로를 설정하는 컨트롤러; 및 동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 상기 컨트롤러에 의해 설정된 경로에 따라 이동체의 조향 및 속도를 제어하는 구동장치를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 수백 내지 수천 달러 LiDAR에 비해 비교적 저렴한 카메라와 Radar를 이용하므로 비용적 이득이 있다.

또한, 종래의 카메라 즉 시각 데이터 만을 이용한 IOU tracker, SORT 등의 알고리즘에서 거짓양성/거짓음성 등의 문제가 발생하는 반면, 본 발명의 일 실시예에 따르면 강건하고 지속적인 속도 추정이 가능하다.

또한, IOU tracker, SORT 등의 알고리즘은 평균속도를 계산하기 때문에 오차가 존재하는 반면 본 발명의 일 실시예에 따르면 도플러 효과를 이용하여 획득되는 순간의 시선속도와 위치 데이터를 사용하기 때문에 정확한 순간속도 계산이 가능하다.

또한, IOU tracker, SORT 등의 알고리즘은 여러 프레임의 시각데이터들을 사용하는 방식이기 때문에 연산량이 비교적 많은 반면, 본 발명의 일 실시예에 따르면 한 순간에서의 시선속도와 위치데이터를 사용하므로 객체 속도 추적시 연산량을 감소시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치의 제어부의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 객체 속도 추정 장치의 노이즈를 제거하는 방법을 설명하기 위한 부분 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 객체 속도 추정 방법을 설명하기 위한 좌표계이다.
도 6은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치를 탑재한 이동체의 구성을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치를 탑재한 이동체의 주행을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치의 구성을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 자율주행을 위한 객체 속도 추정 장치(100)는 정보 수집부(120), 제어부(140) 및 메모리부(160)를 포함할 수 있다.

정보 수집부(120)는 자율주행 이동체에 탑재된 하나 이상의 카메라 모듈(10)에 의해 촬영되는 영상 및 레이다 모듈(20)로부터 수신되는 데이터를 수집한다. 정보 수신부(120)는 제어부(140)에 전달한다.

여기서, 카메라 모듈(10)은 하나 이상의 카메라를 포함하고, 카메라의 화각 내의 객체(object)를 촬영한다. 화각은 자율주행체의 전방을 포함한다. 일 실시예에서 카메라 모듈(10)는 동시에 2장의 화상을 얻을 수 있는 스테레오 카메라일 수 있다. 카메라 모듈(10)은 촬영에 의해 획득한 정보를 제어부(140)로 전달한다.

레이다 모듈(20)은 수신 안테나와 송신안테나를 포함할 수 있다. 송신 안테나를 통해 전파를 공간상에 방사시켜 수신 안테나를 통해 수신되는 신호를 이용하여 객체를 탐지하고 객체의 거리와 방위를 측정하는 계기이다. 즉, 레이다 모듈(20)은 자율주행 이동체에서 어떤 방향으로 전파를 방사했을 때, 그 전달 경로에 객체가 있으면 전파가 반사하게 되는데 이 반사파를 수신해서 화면에 영상으로 나타내고 전파의 직진성과 등속성을 이용해서 객체의 방위와 거리를 측정한다. 레이다 모듈(20)은 도플러 효과를 이용하여 시선속도를 측정한다. 레이다 모듈(20)은 측정한 정보를 제어부(140)로 전달한다.

제어부(140)는 자율주행을 위한 객체 속도 추정 장치(100)의 각 구성요소를 제어하여 자율주행을 위한 객체의 속도를 추정한다. 제어부(140)의 각 구성요소는 상기의 기능들을 수행할 수 있는 하드웨어와 소프트웨어의 집합으로 구성된다.

일 실시예에서 제어부(140)는 카메라 모듈(10)와 레이다 모듈(20)을 이용하여 인식되는 객체의 속도를 연산한다. 제어부(140)는 카메라 모듈(10)에 의해 획득한 정보를 통해 객체의 크기와 위치를 추정하고, 추정된 객체의 크기와 위치에 기초하여 레이다 모듈(20)에서 측정한 객체의 위치정보와 결합하여 레이다 모듈(20)의 노이즈를 최소화한다. 제어부(140)는 레이다 모듈(20)에 의해 획득한 객체의 시선속도에 기초하여 레이다 모듈(20)을 원점으로 하는 좌표계에서의 객체들의 속도를 추정할 수 있다.

여기서, 시선속도란 어떤 객체의 시선방향으로의 속도를 말한다. 즉, 관측자 쪽으로 일직선 방향으로 다가오거나 멀어지는 속도이다. 상당한 시선속도를 가진 물체에서 나오는 빛은 도플러 효과를 일으킨다. 빛의 진동수는 멀어지는 물체에 대해서는 감소하고, 다가오는 물체에 대해서는 증가한다. 멀어지는 물체의 시선속도는 양의 수이고, 다가오고 있는 물체의 시선속도는 음의 수이다.

메모리부(160)는 자율주행을 위한 객체 속도 추정 장치(100)가 속도 추정을 위해 필요한 정보를 저장하거나 데이터베이스화한다. 예컨대, 정보 수집부(120)에 의해 수집되는 정보를 저장하거나, 제어부(140)의 속도 추정에 의해 생성되는 중간 데이터를 저장할 수 있다.

또한, 메모리부(160)는 제어부(140)의 요청에 따라 저장된 정보를 제어부(140)에 전달할 수 있다.

도 2는 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치의 제어부의 구성을 개략적으로 나타낸 도면이다.

도 2를 참조하면, 제어부(도 1의 140)는 기능에 따라, 노이즈 제거 모듈(142) 및 속도 추정 모듈(144)를 포함할 수 있다.

하지만, 제어부(140)의 각 구성은 반드시 물리적으로 다른 구성을 가질 필요는 없다. 제어부(140)의 각 구성은 하나의 프로세서로 구성되고 단지 소프트웨어적으로 분리되거나 실행 루틴이 구분되어 실행될 수도 있을 것이다. 즉, 제어부(140)의 각 구성은 단지 기능적으로 구분될 뿐, 동일한 하드웨어 상에서 실현될 수 있다.

노이즈 제거 모듈(142)은 카메라 모듈(10)로부터 획득한 이미지로부터 획득한 정보에 기초하여 레이다 모듈(20)로부터 획득한 정보의 노이즈를 제거한다.

노이즈 제거 모듈(142)은 카메라 모듈(10)로부터 획득한 이미지로부터 객체 추적을 수행하여 객체(예컨대 장애물)에 대응하는 영역을 인식한다. 인식된 영역의 크기를 상기 객체에 대한 크기로 인식한다.

노이즈 제거시 제1 객체의 X, Y, Z의 최소값과 최대값(

에 기초하여 객체의 크기 범위를 산출한다.

이후, 레이다 모듈(20)로부터 획득한 임의의 포인트

= (

)의 x,y,z이 상기 객체의 크기 범위 내에 존재하는지 여부를 판단한다.

즉,

에 부합하는 경우, 해당 포인트는 객체에 속하는 것으로 간주된다.

⊂ Object

이와 같이, 노이즈 제거 모듈(142)은 레이다 모듈(20)로부터 획득한 포인트 중에서 카메라 모듈(10)에 의해 인식된 객체에 대응하는 영역 이외에 위치하는 포인트를 노이즈로 간주하여 제거한다.

속도 추정 모듈(144)은 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정한다.

이를 위해 먼저, 레이다를 원점으로 하는 좌표계 내의 객체의 위치에 기초하여 레이다와 포인트 간 단위 벡터를 수학식 1에 따라 구한다.

[수학식 1]

여기서,

는 레이다와 포인트 간 단위벡터이고, P는 레이다를 원점으로 하는 좌표계내에서의 객체가 찍힌 포인트 위치이다.

다음, 포인트간 단위벡터에 기초하여, 객체의 속도 V를 수학식 2를 이용하여 구한다.

[수학식 2]

여기서, V는 레이다를 원점으로 하는 좌표계내에서의 객체의 속도이며,

은 레이다(원점)와 포인트를 잇는 선 방향으로의 시선속도이다.

이와 같이 계산된 각 포인트의 단위벡터와 시선속도를 다음과 같이 행렬로 나타낼 수 있다. 여기서, 레이다 좌표계가 2D인 경우, 하나의 물체에 대한 포인트 수는 2개 이상이어야 하며, 레이다 좌표계가 3D인 경우, 포인트의 수는 3개 이상이어야 한다.

,

,

위의 행렬식에 기초하여 최소자승법으로 수학식 3에 따라 객체의 속도를 추정할 수 있다.

[수학식 3]

여기서, 최소자승법이란 N번 측정한 측정값이 어떤 다른 측정값의 함수일 것으로 추정할 수 있을 때, 이를 측정값들의 관계에 가장 잘 맞는 함수의 측정값과 함수값의 차이를 제곱한 것의 합이 최소가 되도록 하는 함수를 구하는 방식이다. 즉, 함수f(x)가 일차함수 y=a+bx 일 때 편차를 제곱한 것의 합이 최소가 되도록 하는 상수 a와 b를 찾는 것이 최소자승법이다.

이하에서 다른 실시예로써, 상술한 바와 같은 구성을 갖는 본 발명에 따른 자율주행을 위한 객체 속도 추정 방법에 대해 도 4를 참조하여 설명한다.

도 3은 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 방법을 설명하기 위한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 객체 속도 추정 장치의 노이즈를 제거하는 방법을 설명하기 위한 부분 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 객체 속도 추정 방법을 설명하기 위한 좌표계이다.

도 3을 참조하면, 단계 S110에서, 자율주행을 위한 객체 속도 추정 장치는 자율주행 이동체에 탑재된 하나 이상의 카메라 모듈에 의해 촬영되는 영상 및 레이다 모듈로부터 획득되는 정보를 수집한다. 여기서 자율주행을 위한 객체 속도 추정 장치는 카메라 모듈과 레이다 모듈로부터 이산적으로 데이터 입력을 받을 수 있다. 이 경우, 카메라 모듈과 레이다 모듈의 데이터 획득 주기와 동기화를 수행하여야 한다. 센서 동기화는 널리 알려진 방법을 채택할 수 있다.

단계 S120에서, 자율주행을 위한 객체 속도 추정 장치는 상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거한다. 이하, 도 4를 참조하여 노이즈 제거 방법을 상세히 설명한다.

단계 S121에서, 먼저, 카메라 모듈로부터 수집된 이미지로부터 객체 추적을 수행하여 객체에 대응하는 영역을 인식한다. 일 실시예에서 카메라 모듈은 스테레오 카메라의 영상 내에서 이동하는 객체를 추출하며, 연속 촬영된 각 영상 내에서 이동하는 객체의 영역을 추출한다. 특히, 연속하는 에지 영상으로부터 각각 이웃하는 영상 사이에서 픽셀 단위로 포인트화하여 3D 포인트 정보를 생성하고 클러스터링하여 움직이는 객체의 영역을 추출할 수 있다. 이러한 기술을 통해 객체의 일부가 겹치는 경우에도, 각각의 객체를 분리해 낼 수 있다. 여기서 설명한 객체 추출 방식은 일 예로서, 이에 한정하는 것은 아니다.

단계 S121에서, 레이다 모듈로부터 수집된 복수개의 포인트에서 각각의 포인트가 상기 각각의 객체 영역의 X, Y, Z 각각의 최소값과 최대값 내에 존재하는지 여부를 판단한다.

단계 S121에서, 상기 X, Y, Z 각각의 최소값과 최대값 외부의 포인트를 노이즈로 간주하여 제거한다.

다시 도 3으로 되돌아와서, 단계 S130에서, 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정한다.

레이다를 원점으로 하는 좌표계 기준으로 각 포인트의 단위벡터와 시선속도를 최소자승법에 적용하여 객체의 속도를 추정한다.

도 5를 참조하면, 속도 추정 장치는 레이다를 원점O(x₀, y₀, z₀)으로 하는 좌표계 내의 객체의 영역(A)에 기초하여 포인트의 단위벡터

,

,

를 구하고, 단위벡터와, 시선속도

,

,

를 최소자승법에 적용하여 객체의 속도를 추정한다.

본 발명의 일 실시예에 따라 카메라 모듈과 레이다 모듈의 정보에 기반하여 객체의 속도를 추정함으로써, 객체가 겹쳐지는 경우에도 객체의 정확한 순간 속도를 판단할 수 있으므로, 거짓양성(False Positive)이나 거짓음성(False Negative) 등의 오류 발생 가능성을 최소화할 수 있다.

도 6은 본 발명의 일 실시예에 따른 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치를 탑재한 이동체의 구성을 설명하기 위한 블록도이고, 도 7은 본 발명의 일 실시예에 따른 자율주행을 위한 객체 속도 추정 장치를 탑재한 이동체의 주행을 설명하기 위한 도면이다.

도 6 및 도 7을 참조하면, 자율주행을 위한 객체 속도 추정 장치를 탑재한 이동체(이하 이동체라고 한다)(1)는 카메라 모듈(10), 레이다 모듈(20), 속도 추정 장치(100), 컨트롤러(200) 및 구동장치(300)를 포함할 수 있다. 상기 실시예에서 설명한 바와 같이, 카메라 모듈(10), 레이다 모듈(20)는 속도 추정 장치(100)에게 정보를 전송하고, 속도 추정 장치(100)와 이동체(1)는 정보를 송수신할 수 있다. 또한, 컨트롤러(200)는 구동장치(300)에게 제어명령을 전송할 수 있다.

카메라 모듈(10), 레이다 모듈(20), 속도 추정 장치(100)는 도 1에서 설명한 카메라 모듈(10), 레이다 모듈(20), 속도 추정 장치(100)와 동일하므로 상세한 설명은 생략한다. 다만, 속도 추정 장치(100)는 이동체(1)가 목적지에 도착할 때까지 이산적으로 장애물(객체) 정보(O1, O2)를 생성하여 컨트롤러(200)에 전달한다. 여기서 장애물 정보는 장애물의 위치와 속도일 수 있다.

다만, 도 7을 참조하면 1개의 카메라 모듈을 탑재한 예를 설명하고 있다. 이와 같이, 1개의 카메라 모듈만을 탑재한 경우, 속도 추정 장치(100) 또는 컨트롤러(200)는 카메라 렌즈의 방향을 회전시켜, 이동체(10)의 주행시 요구되는 필요 화각의 영상을 획득할 수 있다. 도 7을 참조하면, 카메라 모듈(10)의 화각 내에 위치하는 장애물(O1, O2)의 크기를 감지하고, 레이다 모듈(20)에 의해 측정된 장애물(O1, O2)의 시선속도에 기초하여, 장애물(O1, O2)의 속도를 추정하여, 자율주행한다.

컨트롤러(200)는 이동체의 각 구성요소를 제어하고, 특히 속도 추정 장치(100)로부터 추정된 장애물(O1, O2)의 속도를 수신하여 설정경로에 따라 구동장치(300)에 제어명령을 전송한다.

컨트롤러(200)는 이동체(1)가 미리 설정된 목표 위치에 도달할 때까지 구동장치(300)를 제어하여 주행하고, 목적지에 도달하면 주행을 종료할 수 있다.

구동장치(300)는 동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 컨트롤러(200)의 제어명령에 따라 이동체의 조향 및 속도를 제어한다.

여기서 동력원은 전기 기반의 모터, 화석연료 기반의 엔진 등 이동체의 크기 및 기능에 따라 다양하게 채택될 수 있다.

컨트롤러(200)는 속도 추정 장치(100)에 의해 설정된 장애물(O1, O2)의 속도에 기초하여, 주행을 위한 신호를 생성한다.

일 실시예에서 컨트롤러(200)는 감지된 장애물의 속도를 고려하여 충돌 가능성을 판단하고, 장애물의 회피할 수 있는 회피 경로를 설정하거나, 충돌 위험이 제거될 때까지 제자리에 멈추도록 구동장치(300)를 제어할 수 있다.

본 발명의 일 실시예에 따르면, 라이다에 비하여 비교적 저렴한 레이다와 카메라를 이용하여 객체의 정확한 속도 추정을 가능하게 한다.

이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.

한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 속도 추정 장치
110 : 입력부
120 : 정보 수신부
140 : 제어부
142 : 노이즈 제거 모듈
144 : 속도 추정 모듈
160 : 저장부

Claims (12)

1. 배달용 또는 서빙용 로봇으로 사용되는 자율주행 이동체의 자율주행 제어를 위한 객체 속도 추정 방법에 있어서,
   자율주행 이동체에 탑재된 하나 이상의 카메라 모듈 및 레이다 모듈로부터 객체의 정보를 수집하는 단계;
   상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 단계; 및
   상기 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정하는 단계
   를 포함하고,
   상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 단계는,
   상기 카메라 모듈로부터 수집된 이미지로부터 객체 추적을 수행하여 객체에 대응하는 영역을 인식하는 단계;
   상기 레이다 모듈로부터 수집된 복수개의 포인트에서 각각의 포인트가 상기 영역의 X, Y, Z 각각의 최소값과 최대값 내에 존재하는지 여부를 판단하는 단계; 및
   상기 최소값과 최대값 외부의 포인트를 노이즈로 간주하여 제거하는 단계;
   를 포함하고,
   상기 객체의 속도를 추정하는 단계는,
   레이다를 원점으로 하는 좌표계 내의 객체의 위치에 기초하여 포인트의 단위벡터를 구하고, 레이다 모듈이 도플러 효과를 이용하여 획득한 포인트의 시선속도를 최소자승법에 적용하여 객체의 속도를 추정하고,
   상기 객체 추적을 수행하여 객체에 대응하는 영역을 인식하는 단계는,
   상기 카메라 모듈에 포함된 스테레오 카메라로부터 연속하는 복수개의 영상을 획득하여 각각 이웃하는 영상 사이에서 픽셀 단위로 포인트화하여 3D 포인트 정보를 생성하고 클러스터링 하여 객체의 영역을 추출하고,
   상기 좌표계가 2D인 경우는 포인트 수는 2개 이상이고, 상기 좌표계가 3D인 경우는 포인트 수는 3개 이상인 자율주행을 위한 객체 속도 추정 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 배달용 또는 서빙용 로봇으로 사용되는 자율주행 이동체의 자율주행 제어를 위한 객체 속도 추정 장치에 있어서,
   자율주행 이동체에 탑재된 하나 이상의 카메라 모듈 및 레이다 모듈로부터 데이터를 수집하는 정보 수집부;
   상기 카메라 모듈로부터 수집된 정보에 기초하여 상기 레이다 모듈로부터 수집된 정보의 노이즈를 제거하는 노이즈 제거 모듈; 및
   상기 노이즈가 제거된 데이터에 기초하여 레이다를 원점으로 하는 좌표계 기준으로 객체의 속도를 추정하는 속도 추정 모듈을 포함하고,
   상기 노이즈 제거 모듈은,
   상기 카메라 모듈로부터 수집된 이미지로부터 객체 추적을 수행하여 객체에 대응하는 영역을 인식하고, 상기 레이다 모듈로부터 수집된 복수개의 포인트에서 각각의 포인트가 상기 영역의 X, Y, Z 각각의 최소값과 최대값 내에 존재하는지 여부를 판단하여, 상기 최소값과 최대값 외부의 포인트를 노이즈로 간주하여 제거하고,
   상기 속도 추정 모듈은,
   레이다를 원점으로 하는 좌표계 내의 객체의 위치에 기초하여 포인트의 단위벡터를 구하고, 레이다 모듈이 도플러 효과를 이용하여 획득한 포인트의 시선속도를 최소자승법에 적용하여 객체의 속도를 추정하고,
   상기 카메라 모듈은 스테레오 카메라를 포함하고,
   상기 스테레오 카메라로부터 연속하는 복수개의 영상을 획득하여 각각 이웃하는 영상 사이에서 픽셀 단위로 포인트화하여 3D 포인트 정보를 생성하고 클러스터링 하여 객체의 영역을 추출하고,
   상기 좌표계가 2D인 경우는 포인트 수는 2개 이상이고, 상기 좌표계가 3D인 경우는 포인트 수는 3개 이상인 자율주행을 위한 객체 속도 추정 장치.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images