KR20180117882A

KR20180117882A - 자동차 주변의 장애물 검출 방법

Info

Publication number: KR20180117882A
Application number: KR1020170050982A
Authority: KR
Inventors: 윤성원; 김제연; 조훈; 정호기; 서재규
Original assignee: 현대자동차주식회사; 한국교통대학교산학협력단; 기아자동차주식회사
Priority date: 2017-04-20
Filing date: 2017-04-20
Publication date: 2018-10-30
Also published as: US20180307922A1; US10354151B2; KR102275310B1

Abstract

본 발명은 자동차 주변의 장애물 검출 방법에 관한 것으로, 가격이 저렴한 단일의 단안 카메라만을 이용하는 개선된 3차원 환경 인식 기술을 제공하는데 그 목적이 있다. 이를 위해 본 발명에 따른 자동차 주변의 장애물 검출 방법은, 하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와; 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하는 단계와; 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 통합하고, 통합된 최종 코스트 맵으로부터 장애물의 높이를 추정하는 단계를 포함한다.

Description

자동차 주변의 장애물 검출 방법{MTEHOD OF DETECTING OBSTACLE AROUND VEHICLE}

본 발명은 자동차에 관한 것으로, 특히 자율 주행차에 관한 것이다.

자율 주행차는 운전자가 핸들과 가속 페달, 브레이크 페달 등을 조작하지 않아도 스스로 목적지까지 찾아가는 자동차를 말한다. 엄밀하게는 사람이 타지 않은 상태에서 움직이는 무인 자동차(driverless cars)와 구분되어야 하지만, 실제로는 자율 주행차와 무인 자동차의 용어가 혼용되고 있다.

자율 주행의 여러 형태 가운데 하나로서 자동 주차를 예로 들 수 있다. 자동 주차는 자동차 스스로 빈 주차 공간을 찾아 자동으로 주차하는 것을 의미한다. 이를 위해 자동차는 주변의 지형 지물을 탐지하기 위한 3차원 환경 인식 기술을 탑재해야 한다.

지형 지물의 탐지를 위해서는 양안 스테레오 카메라(Stereo Camera)나 레이더(Radar), 라이더(Lidar), 초음파 센서 등의 탐지 장치들이 요구된다. 양안 스테레오 카메라나 레이더, 라이더는 값이 비싸고, 초음파 센서는 부가 정보의 확보가 어렵고 탐지 거리가 짧다.

본 발명의 일 측면에 따르면, 가격이 저렴한 단일의 단안 카메라만을 이용하는 개선된 3차원 환경 인식 기술을 제공하는데 그 목적이 있다.

상술한 목적의 본 발명에 따른 자동차 주변의 장애물 검출 방법은, 하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와; 상기 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하는 단계와; 상기 거리 기반 코스트 맵과 상기 색상 기반 코스트 맵, 상기 에지 기반 코스트 맵을 통합하고, 상기 통합된 최종 코스트 맵으로부터 상기 장애물의 높이를 추정하는 단계를 포함한다.

상술한 자동차 주변의 장애물 검출 방법에서, 상기 거리 기반 코스트 맵을 생성하는 단계는, 상기 특징점들을 연결하여 복수의 들로네(Delaunay) 삼각형을 생성하고, 상기 복수의 들로네 삼각형 각각의 세 꼭지점이 생성하는 평면의 방정식을 이용하여 거리 정보의 인터폴레이션을 수행하는 단계와; 상기 인터폴레이션 결과로부터 상기 복수의 들로네 삼각형 각각에 포함되는 픽셀들의 디스패리티를 추정하는 단계를 포함한다.

상술한 자동차 주변의 장애물 검출 방법에서, 상기 색상 기반 코스트 맵을 생성하는 단계는, 상기 변환된 영상에서 색상 유사도 측정을 원하는 영역을 설정하고, 상기 영역 내에 존재하는 모든 특징점들과의 색상 유사도를 측정하여 가장 큰 색상 유사도 값을 최종 색상 유사도로 선택하는 단계와; 상기 변환된 상기 색상 유사도 계산 결과로부터 색상 유사도 합의 차이를 계산하여 상기 색상 기반 코스트 맵을 생성하는 단계를 포함한다.

상술한 자동차 주변의 장애물 검출 방법에서, 상기 에지 기반 코스트 맵을 생성하는 단계는, 상기 변환된 영상으로부터 에지 검출을 수행하는 단계와; 상기 에지 검출의 결과를 대상으로 거리 변환을 수행하여 에지에 근접할 수록 낮은 값을 갖도록 변경하는 단계를 포함한다.

상술한 자동차 주변의 장애물 검출 방법에서, 상기 최종 코스트 맵이 아래의 식 6으로 표현된다.

<식 6>

상기 식 6에서, w_d는 거리 코스트 맵의 가중치이고, w_c는 색상 코스트 맵의 가중치이며, w_e는 에지 코스트 맵의 가중치이다.

상술한 목적의 본 발명에 따른 또 다른 자동차 주변의 장애물 검출 방법은, 하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와; 상기 영상에서 대응점의 3차원 위치를 복원하고, 상기 대응점의 3차원 복원을 통해 얻은 깊이 값에 상기 일안 카메라의 이동에 의해 형성되는 가상의 베이스라인 값을 적용하여 디스패리티 값을 계산하며, 상기 디스패리티 값에 기초하여 상기 장애물의 경계를 추정하는 단계를 포함한다.

상술한 자동차 주변의 장애물 검출 방법에서, 상기 디스패리티 값을 계산하는 단계에서 다음의 식 1을 통해 상기 디스패리티 값을 계산한다.

<식 1>

상기 식 1에서, 상기 d는 구하고자 하는 디스패리티 값이고, 상기 B는 상기 일안 카메라의 가상의 베이스라인(Baseline) 값이며, 상기 Z는 3차원 복원을 통해 얻은 깊이 값이고, 상기 f는 상기 일안 카메라의 초점 거리이다.

상술한 자동차 주변의 장애물 검출 방법에서, 상기 일안 카메라의 화각이 미리 설정된 화각 이상의 광각일 때 u축을 다음의 식 2를 통해 입사각축(θu)으로 변경하는 단계를 더 포함한다.

<식 2>

상기 식 2에서, 상기 u는 u축의 값이고, 상기 0x는 상기 일안 카메라의 중심점이며, 상기 f는 상기 일안 카메라의 초점 거리(Focal Length)이다.

상술한 목적의 본 발명에 따른 또 다른 자동차 주변의 장애물 검출 방법은, 하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와; 상기 영상에서 대응점의 3차원 위치를 복원하고, 상기 대응점의 3차원 복원을 통해 얻은 깊이 값에 상기 일안 카메라의 이동에 의해 형성되는 가상의 베이스라인 값을 적용하여 디스패리티 값을 계산하며, 상기 디스패리티 값에 기초하여 상기 장애물의 경계를 추정하는 단계와; 상기 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하고, 상기 거리 기반 코스트 맵과 상기 색상 기반 코스트 맵, 상기 에지 기반 코스트 맵을 이용하여 상기 장애물의 높이를 추정하는 단계를 포함한다.

<식 1>

<식 2>

상술한 자동차 주변의 장애물 검출 방법에서, 상기 색상 기반 코스트 맵을 생성하는 단계는, 상기 변환된 영상에서 색상 유사도 측정을 원하는 영역을 설정하고, 상기 영역 내에 존재하는 모든 특징점들과의 색상 유사도를 측정하여 가장 큰 색상 유사도 값을 최종 색상 유사도로 선택하는 단계와; 상기 변환된 상기 색상 유사도 계산 결과로부터 색상 유사도 합의 차이를 계산하여 상기 색상 기반 코스트 맵을 생성한다.

<식 6>

상술한 목적의 본 발명에 따른 또 다른 자동차 주변의 장애물 검출 방법은, 하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와; 상기 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하고, 상기 거리 기반 코스트 맵과 상기 색상 기반 코스트 맵, 상기 에지 기반 코스트 맵을 이용하여 상기 장애물의 높이를 추정하는 단계를 포함한다.

본 발명의 일 측면에 따르면, 가격이 저렴한 단일의 단안 카메라만을 이용하는 개선된 3차원 환경 인식 기술을 제공함으로써 저비용 고효율을 구현할 수 있도록 한다.

도 1은 본 발명의 일 실시 예에 따른 자동차를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 자동차의 자율 주행 시 일안 카메라를 통해 검출되는 장애물 경계 및 장애물 높이를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 자동차의 제어 계통을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 자동차의 제어 방법을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 자동차의 장애물 경계 검출 방법을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 자동차의 장애물 높이 검출 방법을 나타낸 도면이다.
도 7은 영상의 키 프레임 및 키 프레임 사이의 간격을 나타낸 도면이다.
도 8은 한 쌍의 키 프레임들 사이의 대응점의 관계를 나타낸 도면이다.
도 9는 3차원 복원 결과의 조감도를 나타낸 도면이다.
도 10은 3차원 복원을 위한 3차원 좌표의 시간적 통합을 나타낸 도면이다.
도 11은 시간 차이를 두고 획득한 다수의 3차원 복원 결과를 통합한 결과를 나타낸 도면이다.
도 12는 3차원 점들의 시간적 통합을 수행하기 전과 후의 장애물 경계 검출 결과를 나타낸 도면이다.
도 13은 대응점의 u축 범위(위쪽)와 u축 당 누적된 디스패리티 개수(아래쪽)를 나타낸 도면이다.
도 14는 본 발명의 실시 예에서 생성된 u-디스패리티 맵과 관련 영상, 대응점 등을 나타낸 도면이다.
도 15는 식 3 내지 식 5에 나타낸 것과 같은 비용 함수를 이용한 다이나믹 프로그래밍(DP) 기반의 최적 경로 검출 결과를 나타낸 도면이다.
도 16은 장애물 경계의 전체에서 유효 경계 부분을 구분하여 나타낸 도면이다.
도 17은 장애물 높이 추정 과정에서 렌즈의 왜곡을 제거하기 위한 영산 변환 과정을 나타낸 도면이다.
도 18은 거리 기반 코스트 맵의 생성을 위한 들로네 삼각형의 형성을 나타낸 도면이다.
도 19는 본 발명의 실시 예에 따른 디스패리티 유사도 계산에 기초한 거리 기반 코스트 맵의 계산을 나타낸 도면이다.
도 20은 색상 기반의 장애물 높이 정보를 획득하기 위해 관심 영역을 설정하고 상이도를 측정하는 것을 나타낸 도면이다.
도 21은 본 발명의 실시 예에 따른 색상 유사도 계산에 기초한 색상 기반 코스트 맵의 계산을 나타낸 도면이다.
도 22는 본 발명의 실시 예에 따른 에지 검출에 기초한 에지 기반 코스트 맵의 계산을 나타낸 도면이다.
도 23은 코스트 맵의 통합에 의한 장애물 높이 추정 결과를 나타낸 도면이다.
도 24는 최종 장애물 높이 추정 결과를 실제 영상에 적용하여 나타낸 도면이다.

도 1은 본 발명의 일 실시 예에 따른 자동차를 나타낸 도면이다. 도 1에 나타낸 자동차(100)의 후미에는 단일의 일안 카메라(Single Lens Camera)(102)가 장착된다. 일안 카메라(102)는 180도의 화각을 가진 어안 렌즈가 장착된 것일 수 있다.

본 발명의 실시 예에 따른 자동차(100)의 일안 카메라(102)는 자동차(100)가 후진할 때 자동차(100)의 후방을 촬영하기 위한 후방 카메라일 수 있다. 또는 본 발명의 실시 예에 따른 자동차의 일안 카메라(102)는 자동차(100)의 어라운드 뷰 이미지(Around View Image)를 생성하기 위해 자동차(100)의 전방과 후미, 좌측, 우측에 각각 마련되는 복수의 카메라 가운데 자동차(100)의 후미에 장착되는 카메라일 수 있다.

본 발명의 실시 에에 따른 자동차(100)의 일안 카메라(102)를 통해 촬영되는 영상은 제어부(도 3의 302 참조)에 의해 일련의 영상 처리 과정을 거친 후 자동차(100) 내부의 디스플레이(예를 들면 내비게이션의 화면, 도 3의 316 참조)를 통해 표출될 수 있다.

도 2는 본 발명의 실시 예에 따른 자동차의 자율 주행 시 일안 카메라를 통해 검출되는 장애물 경계 및 장애물 높이를 나타낸 도면이다. 여기서 장애물은 자동차(100)의 운행 시 충돌을 피하기 위해 회피해야 할 대상을 의미하며, 자동차(100)의 주변에 존재하는 다른 자동차나 지형 지물, 구조물 등이 장애물에 포함될 수 있다. 본 발명의 실시 예에 따른 자동차(100)의 일안 카메라(102)가 도 2(A)에 나타낸 것과 같은 자율 주행을 위해 사용될 때, 자동차(100)가 일안 카메라(102)를 통해 주변의 장애물(202)을 검출하는 것은 장애물(202)의 경계와 높이를 추정하는 행위이다. 즉, 도 2(B)에 나타낸 것처럼, 장애물 경계(252)와 장애물 높이(264)를 추정함으로써 장애물(202)과 빈 주차 공간(204)을 구분한다.

도 3은 본 발명의 실시 예에 따른 자동차의 제어 계통을 나타낸 도면이다. 특히 도 3에 나타낸 제어 계통은 일안 카메라(102)를 통해 촬영한 영상으로부터 주변의 장애물(202)의 정보를 획득하고, 획득한 정보를 자율 주행에 활용하기 위한 것이다.

제어부(302)는 본 발명의 실시 예에 따른 자동차(100)의 주행 전반의 제어를 담당한다. 제어부(302)는 하나의 ECU(Electronic Control Unit)로 구성되거나, 또는 서로 협업하도록 마련되는 복수의 ECU일 수 있다. 제어부(302)의 입력 측에는 일안 카메라(102)와 운전 상황 검출부(306), 경로 제어부(308)가 통신 가능하도록 연결된다. 제어부(302)의 출력 측에는 동력부(310)와 조향부(312), 제동부(314), 디스플레이(316)가 통신 가능하도록 연결된다.

일안 카메라(102)는 앞서 도 1 및 도 2의 설명에서 언급한 것처럼 자동차(100)의 주변(특히 후방)을 촬영하여 영상을 생성한다. 일안 카메라(102)에 의해 촬영된 영상은 제어부(302)에 전달되어 본 발명의 실시 예에 따른 일련의 영상 처리 과정을 거쳐서 자동차(100) 주변의 장애물(202)의 상황을 검출하는데 이용된다.

운전 상황 검출부(306)는 자동차(100)의 운전 상황을 검출하기 위한 다수의 센서들, 예를 들면 차속 센서와 조향각 센서, 요 레이트(Yaw Rate) 센서, 가속도 센서 등을 포함한다. 운전 상황 검출부(306)는 자동차(100)의 운전 상황을 검출하고, 검출한 운전 상황의 정보를 제어부(302)로 전송한다.

경로 제어부(308)는 자동차(100)의 현재 위치를 추정하고 자동차(100)를 주행하기 위한 경로 계획을 생성하여 제어부(302)로 전송한다.

동력부(310)는 자동차(100)의 엔진과 트랜스미션 등을 포함한다. 동력부(310)는 엔진에서 동력을 발생시키고 그 동력을 차륜에 전달함으로써 자동차(100)가 주행할 수 있도록 한다.

조향부(312)는 운전자의 조향 입력에 대해 자동차(100)의 조향 안정성이 확보되도록 각종 센서와 제어 장치를 이용하여 조향을 유도하는 조향 보조 장치이다. 이를 위해, 조향부(312)는 전동식 조향 장치(Electronic Power Steering, EPS)와 모터 구동 조향 장치(Motor Driven Power Steering, MDPS), 능동 전륜 조향 장치(Active Front Steering, AFS) 등을 포함할 수 있다.

제동부(314)는 자동차(100)의 속도를 줄여서 정지에 이르도록 하기 위한 장치이다. 제동부(314)는 제어부(302)의 제어 신호에 응답하여 자동차(100)의 제동을 수행한다. 이를 위해 제동부(314)는 안티록 브레이크 시스템(Anti-lock Brake System, ABS)과 전자 안정성 제어 시스템(Electronic Stability Control System, ESC System) 등을 포함할 수 있다.

디스플레이(316)는 자동차(100)의 주행 상태나 주행에 필요한 정보 등을 표출하기 위한 장치로서, 독립적으로 장착된 디스플레이이거나 또는 멀티미디어 기기(예를 들면 AVN 등)에 부속된 디스플레이일 수 있다. 디스플레이(316)의 화면에는 일안 카메라(102)를 통해 촬영한 자동차(100) 주변의 영상이나 자율 주행을 위해 제공되는 정보들이 표출될 수 있다.

도 4는 본 발명의 실시 예에 따른 자동차의 제어 방법을 나타낸 도면이다. 도 4에 나타낸 제어 방법은, 일안 카메라(102)를 이용하여 자동차(100)의 주변 영상을 촬영하고, 촬영한 영상으로부터 자동차(100)의 주변에 존재하는 장애물(202)을 검출하며, 검출된 장애물(202)의 영상 정보를 디스플레이(316)를 통해 표출하는 과정을 나타낸 도면이다. 본 발명의 실시 예에 따른 자동차(100)에서는 양안 스테레오 카메라나 레이더, 라이더, 초음파 센서 대신 단일의 일안 카메라(102)만을 이용하여 자동차(100)의 주변에 존재하는 장애물(202)을 검출한다. 본 발명에서는 새로운 특징을 포함하는 장애물 경계 검출 방법과 장애물 높이 추정 방법을 제안하고자 한다.

도 4에 나타낸 바와 같이, 제어부(302)는 일안 카메라(102)로부터 영상을 수신하고(402), 수신된 영상으로부터 장애물의 경계 및 높이를 검출하며(404)(406), 장애물의 경계 및 높이의 검출 결과를 디스플레이(316)를 통해 영상으로 표출한다(408).

이 가운데, 장애물 경계 검출 단계(404)는, 조밀하지 않은 3차원 정보의 한계를 극복하기 위해 3차원 정보를 시간적으로 통합하는 특징과, 광각 상황에서 각도 정보를 활용하여 효율적으로 u-디스패리티(u-disparity)를 생성하는 특징, 디스패리티 정보가 없는 상황에서 가상의 베이스라인(Baseline)을 사용하여 변위 값을 생성하는 특징을 포함한다.

장애물 높이 검출 단계(406)는, 조밀하지 않은 3차원 정보의 한계를 극복하기 위해 거리 정보, 색상 정보, 에지 정보를 융합하여 장애물 높이를 추정하는 특징과, 영상 왜곡 상황에서 실린더 변환 과정을 통해 장애물이 영상의 세로 방향으로 서 있도록 강제하여 연산의 효율을 높이는 특징을 포함한다.

이와 같은 본 발명의 실시 예에 따른 자동차(100)의 장애물 경계 검출(404)과 장애물 높이 검출(406)에 대해 도 5 내지 도 24를 통해 구체적으로 설명하고자 한다. 도 5에는 장애물 경계 검출(404)의 구체적인 방법을 나타내었고, 도 6에는 장애물 높이 검출(406)의 구체적인 방법을 나타내었다. 도 7 내지 도 24는 도 5 및 도 6의 설명을 보조하기 위한 도면들이다.

도 5에 나타낸 바와 같이, 장애물 경계 검출을 위해, 먼저 제어부(302)는 일안 카메라(102)를 통해 촬영되는 영상에서 대응점 획득을 위한 키 프레임(Key Frame)의 간격을 설정한다(502). 키 프레임의 간격은 3차원 복원에 사용될 한 쌍의 프레임 사이의 간격을 의미한다. 도 7에 키 프레임 및 그 간격에 대해 나타내었다. 도 7에 나타낸 바와 같이, 일안 카메라(102)로 촬영되는 영상의 프레임들 가운데 적절한 간격의 프레임 쌍을 선택하고 선택된 프레임 쌍을 대상으로 3차원 복원을 위한 대응점을 획득한다. 키 프레임 사이의 간격이 너무 작거나 또는 간격 없이 모든 프레임을 대상으로 대응점을 획득하면 대응점 획득에는 용이하지만 3차원 복원 오차와 데이터 연산량이 지나치게 증가한다. 반대로 키 프레임 사이의 간격이 너무 크면 3차원 복원 오차와 데이터 연산량은 감소하지만 대응점 획득이 어렵다. 따라서 3차원 복원의 오차와 대응점 획득의 용이함 사이에서 트레이드 오프를 통해 적절한 키 프레임의 간격을 설정하는 것이 바람직하다.

도 5의 장애물 경계 검출 방법으로 돌아와서, 제어부(302)는 설정된 키 프레임들 사이의 대응점을 획득한다(504). 한 쌍의 키 프레임들 사이의 대응점의 관계를 도 8에 나타내었다. 도 8에 나타낸 바와 같이, 대응점이란 한 쌍을 이루는 두 개의 키 프레임 각각에서 서로 대응되는 위치(실 세계에서 같은 위치)를 나타내는 점이다. 제어부(302)는 두 개의 키 프레임에서의 대응점의 위치 차이를 이용하여 3차원 정보를 복원한다. 특징점의 수가 비교적 적은 자동차(일안 카메라(102)에 포착되는 타 자동차들)의 표면과 도로의 노면에서 다수의 대응점을 확보 및 추적하기 위해 Kanade-Lucas_Tomasi 방법(KLT 방법)을 사용할 수 있다. KLT 방법 이외에 대응점 획득을 위한 다른 방법이 사용될 수도 있다.

도 5의 장애물 경계 검출 방법으로 돌아와서, 제어부(302)는 일안 카메라(102)의 움직임을 추정한다(506). 자동차(100)에 설치된 일안 카메라(102)는 자동차(100)의 이동 궤적을 따라 함께 이동하기 때문에 정확한 3차원 영상 복원을 위해서는 일안 카메라(102)의 움직임을 추정할 필요가 있다. 일안 카메라(102)의 움직임을 추정하기 위해 대응점을 기반으로 기초 행렬(Fundamental Matrix)의 연산을 수행해야 한다. 이를 위해 M-estimator Sample Concensus (MSAC) 방법을 이용할 수 있다. 이 방법에서는 기초 행렬을 분해하여(decompose) 일안 카메라(102)의 움직임을 추정한다.

또한 제어부(302)는 3차원 복원 시 큰 오차를 발생시킬 것으로 예상되는 대응점들을 제거하기 위해 대응점 필터링을 수행한다(508). 본 발명의 실시 예에서 제어부(302)는 다양한 방식으로 대응점 필터링을 수행할 수 있다. 예를 들면, 기초 행렬 기반의 대응점 필터링 방식에서는 공액선(Epipolar Line)과 특징점 사이의 거리를 기반으로 하여 그 거리 값이 일정 값 이하의 작은 대응점만을 선택하고 나머지 대응점은 제거한다. 또 다른 예를 들면, 역회전(De-rotation) 기반의 대응점 필터링 방식에서는 회전(Rotation)의 영향을 제거한 상태에서의 대응점의 길이가 일정 길이 이상인 대응점만을 선택하고 나머지 대응점은 제거한다.

위와 같은 과정을 통해 대응점, 일안 카메라(102)의 움직임, 일안 카메라(102)의 내부 변수 등이 확보되었으므로, 제어부(302)는 삼각 측량(Triangulation)을 통해 대응점의 3차원 위치를 계산하고 복원한다(510). 단, 영상만을 이용하여 복원된 3차원 점들은 단위를 가지지 않으므로, 자동차(100)의 주행 거리(Odometry)를 기반으로 하는 일안 카메라(102)의 이동 거리를 이용하여 3차원 점들을 미터 단위로 복원한다. 단, 자동차(100)와 충돌할 가능성이 있는 장애물(202)이 존재하는 영역이 주요 관심 영역이므로, 도 9에 나타낸 바와 같이, 지면에서 복원된 3차원 점들은 제거하고 지면으로부터 일정 높이(예를 들면 25cm~200cm) 내에 존재하는 3차원 점들만 선택하여 복원한다.

도 5의 장애물 경계 검출 방법으로 돌아와서, 제어부(302)는 복원한 3차원 점들을 시간적으로 통합한다(512). 조밀한 3차원 형상 정보를 확보하기 위해서는 일정 시간 이상의 차이를 두고 3차원 복원을 실시하여 그 복원 결과를 통합하는 것이 바람직하다. 특히 일안 카메라(102)의 움직임과 자동차(100)의 주행 거리(Odometry)를 기반으로 이동 거리를 함께 반영하여 3차원 통합을 수행하는 것이 바람직하다.

즉, 도 10에 나타낸 바와 같이, 이전(과거)에 복원된 3차원 점들과 현재 복원된 3차원 점들의 상대적 위치 관계(회전 및 위치 변환)를 일안 카메라(102)의 움직임과 자동차(100)의 주행 거리(Odometry)를 기반으로 이동 거리를 적용하여 파악한 다음, 이전에 복원된 3차원 점들을 변형(transformation)하여 현재 복원된 3차원 점들과 통합한다.

도 11은 시간 차이를 두고 획득한 다수의 3차원 복원 결과를 통합한 결과를 나타낸 도면이다. 도 11의 오른쪽 그래프에서 서로 다른 색상의 점들은 서로 다른 시점에서 복원된 3차원 점들이다. 도 11에 따르면, 시간적 통합에 의해 더욱 조밀한 3차원 점들을 획득할 수 있음을 알 수 있다.

도 12는 3차원 점들의 시간적 통합을 수행하기 전과 후의 장애물 경계 검출 결과를 나타낸 도면이다. 도 12에 나타낸 바와 같이, 3차원 점들의 시간적 통합을 수행하기 전에는 검출되지 않았던 장애물 경계가 3차원 점들의 시간적 통합을 수행한 이후에는 올바르게 검출된다.

도 5의 장애물 경계 검출 방법으로 돌아와서, 제어부(302)는 다음과 같은 방법을 이용하여 u-disparity 맵을 생성한다(514). 기존의 스테레오 카메라에서는 조밀한 거리 정보(Dense Disparity Map)를 이용하여 u-디스패리티를 생성하고 여기에 다이나믹 프로그래밍(Dynamic Programming, DP)을 적용하여 장애물의 경계를 검출하였다. 그러나 본 발명의 실시 예처럼 단일의 일안 카메라(102)만을 사용하는 경우에는 기존의 스테레오 카메라에서 사용되던 방법을 그대로 사용하기 어렵다. 따라서 본 발명의 실시 예에서는 단일의 일안 카메라(102)만을 이용하여 기존의 스테레오 카메라를 통해 얻는 것과 동일한 장애물 경계 검출 효과를 얻기 위해 다음과 같은 두 개의 새로운 방법을 이용한다.

그 중 하나의 새로운 방법은 모션 스테레오 결과에서 디스패리티 값을 계산하는 방법이다. 디스패리티는 정렬(Rectification)된 스테레오 카메라의 영상에서 한 쌍 프레임 사이의 대응점 간 가로축 상의 거리 차를 의미한다. 이와 같은 스테레오 카메라의 경우와 달리 일안 카메라(102) 기반의 모션 스테레오 상황에서는 디스패리티 값을 계산할 수 없기 때문에 u-디스패리티를 생성할 수 없다. 따라서 본 발명의 실시 예처럼 단일의 일안 카메라(102)를 사용하는 경우에는 u-디스패리티를 생성하기 위해 3차원 복원을 통해 얻은 깊이(depth)(Z) 값에 가상의 베이스라인(baseline)(B) 값을 적용하여 아래의 식 1과 같이 디스패리티 값(d)을 계산한다.

<식 1>

식 1에서, d는 구하고자 하는 디스패리티(disparity) 값이고, B는 일안 카메라(102)의 가상의 베이스라인(Baseline) 값이며, Z는 3차원 복원을 통해 얻은 깊이(Depth) 값이고, f는 일안 카메라(102)의 초점 거리(Focal Length)이다.

다른 하나의 새로운 방법은 광각 상황에 적합한 u-디스패리티를 생성하는 방법이다. 일안 카메라(102)에 어안 렌즈와 같은 광각 렌즈가 채용되어 화각이 광각인 상황에서는 원근 투영(perspective projection)으로 인해 u축(영상의 가로 좌표)의 범위가 매우 넓다. 이는 u-디스패리티를 매우 크게 해서 제어부(302)의 연산량과 메모리 사용을 크게 증가시킨다. 또한 u-디스패리티가 매우 크면 어안 렌즈를 통해 획득한 디스패리티가 충분히 누적되지 않는다.

도 13은 대응점의 u축 범위(위쪽 그림)와 u축 당 누적된 디스패리티 개수(아래쪽 그림)를 나타낸 도면이다. 도 13에 나타낸 바와 같이, u축의 범위가 매우 넓으면 u축 당 누적되는 디스패리티가 매우 적다. 이 문제를 해결하기 위해 본 발명의 실시 예에서는 u축을 입사각축(θu)으로 변경한다. 이 때, -90도와 +90도 사이를 1도 단위의 해상도로 구분하여 θ를 생성한다. 즉, 일안 카메라(102)의 중심점을 기준으로 좌우 각각 90도씩 화각이 180도일 때 180도의 화각을 부채살 모양으로 1도씩 구분하여 아래의 식 2를 통해 각각의 각도(θ)마다의 입사각축(θu)을 구한다.

<식 2>

위의 식 2에서, u는 u축의 값이고, 0x는 일안 카메라(102)의 중심점이며, f는 일안 카메라(102)의 초점 거리(Focal Length)이다.

결과물로서의 u-디스패리티 맵을 도 14에 나타내었다. 도 14는 본 발명의 실시 예에서 생성된 u-디스패리티 맵과 관련 영상, 대응점 등을 나타낸 도면이다.

도 5의 장애물 경계 검출 방법으로 돌아와서, 제어부(302)는 상술한 본 발명의 실시 예에 따른 방법을 통해 획득한 u-disparity에서 공간적으로 부드러운 형태의 장애물 경계를 추정하기 위해 아래의 식 3 내지 식 5에 나타낸 것과 같은 비용 함수(cost function)(C)를 이용한 다이나믹 프로그래밍(DP) 기반의 최적 경로(optimal path)를 검출하는 과정을 수행한다(516).

<식 3>

<식 4>

<식 5>

위의 식 3 내지 식 5에서, θ는 일안 카메라(102)의 화각 내의 임의의 어느 한 각도이고, d0 및 d1은 디스패리티, E_D는 데이터 항(data term), E_S는 평활도 항(smoothness term), L(θ,d₀)는 u-디스패리티의 (θ,d₀) 위치 누적 값, l(d₀,d₁)는 d₀과 d₁ 사이 Z축 상의 거리 차이의 절대 값, c_S는 평활도 항의 가중치, T_S는 Z축 상의 거리 차이의 최대 값이다.

도 15는 식 3 내지 식 5에 나타낸 것과 같은 비용 함수를 이용한 다이나믹 프로그래밍(DP) 기반의 최적 경로 검출 결과를 나타낸 도면이다. 도 15에서, 첫 번째 그림은 u-디스패리티에서 검출된 장애물 경계를 나타낸 것이고, 두 번째 그림은 장애물 경계를 영상에 표시한 결과이다.

도 5의 장애물 경계 검출 방법으로 돌아와서, 제어부(302)는 검출된 장애물 경계에서 유효 장애물 영역만을 분류한다(518). 다이나믹 프로그래밍 기반으로 검출된 장애물 경계에는 3차원 점들의 누적이 아닌 다이나믹 프로그래밍 기반의 경로 생성 시 단순히 연결되어 검출된 위치들이 포함되어 있다. 따라서 검출된 장애물 경계를 유효한 영역과 유효하지 않은 영역으로 분류한다.

이를 위해 u-disparity의 path 위치에 누적 결과가 존재하는 위치는 유효한 장애물 경계로 분류하고 누적 결과가 존재하지 않는 위치는 유효하지 않은 장애물 경계로 분류한다. 도 16은 장애물 경계의 전체에서 유효 경계 부분을 구분하여 나타낸 도면이다. 도 16에서 참조 부호 1602로 표시된 부분들이 DP 기반으로 검출된 장애물 경계이고, 참조 부호 1604로 표시된 부분들이 유효한 장애물 경계이다.

도 6은 본 발명의 실시 예에 따른 자동차의 장애물 높이 검출 방법을 나타낸 도면이다. 도 6에 나타낸 장애물 높이 검출 방법에서는 본 발명의 실시 예에 따른 세 가지 코스트 맵(Cost Map)을 생성하고, 이 세 가지 코스트 맵을 통합하여 장애물의 높이를 추정한다.

장애물 높이 검출의 첫 번째 단계로서, 제어부(302)는 일안 카메라(102)가 촬영하는 영상의 변환을 수행한다(604). 이와 같은 영상의 변환을 통해 도 17의 좌측 그림처럼 광각 렌즈(예를 들면 어안 렌즈)로 인해 왜곡된 영상에서 왜곡이 제거되어 도 17의 우측 그림처럼 변환된다. 제어부(302)는 장애물(202)이 영상의 세로축을 따라 세워져 있다는 가정 하에 영상 변환을 수행함으로써 연산량을 간소화한다. 다만, 일안 카메라(102)가 기울어져 있거나 어안 렌즈로 인한 왜곡이 존재하면 장애물(202)이 영상의 세로축을 따라 세워져 있다는 가정을 사용할 수 없다. 따라서 일안 카메라(102)의 각도를 보상하고 원통 도법(Cylindrical Projection) 기반의 영상 변환을 실시함으로써 위의 가정이 가능하도록 한다. 도 17의 두 그림을 비교해 보면, 영상 변환 후 영상에 촬영된 장애물들이 영상의 세로축과 같은 방향으로 세워져서 나타나는 것을 알 수 있다.

도 6의 장애물 높이 검출 방법으로 돌아와서, 제어부(302)는 변환된 영상으로부터 코스트 맵을 생성한다(606)(608)(610). 본 발명의 실시 예에서는, 제어부(302)가 거리 기반 코스트 맵 생성(606)과 색상 기반 코스트 맵 생성(608), 에지 기반 코스트 맵 생성(610)의 세 가지 방법을 이용한다.

먼저 제어부(302)는 변환된 영상으로부터 거리 기반의 코스트 맵을 생성한다(606). 일안 카메라(102) 기반의 모션 스테레오를 통해 획득한 거리 정보는 장애물(202)의 높이를 추정하기에는 조밀함이 부족한 한계를 가지고 있다. 따라서 본 발명의 실시 예에서는 획득한 거리 정보를 인터폴레이션(Interpolation)하는 방식을 통해 조밀한 거리 정보를 획득한다.

제어부(302)는 특징점을 기반으로 도 18에 나타낸 것과 같은 들로네 삼각형(Delaunay Triangle)을 생성한 후, 들로네 삼각형의 세 꼭지점이 생성하는 평면의 방정식을 사용하여 거리 정보의 인터폴레이션을 수행한다. 각각의 들로네 삼각형에서, 각 꼭지점의 3차원 좌표는 영상의 x, y 좌표 및 디스패리티 값이다. 제어부(302)는 들로네 삼각형의 평면 방정식 획득 후 들로네 삼각형 내의 모든 픽셀의 디스패리티를 추정한다. 제어부(302)는 모든 들로네 삼각형에 대하여 위 과정을 적용함으로써 조밀한 디스패리티를 획득할 수 있다.

장애물 경계의 디스패리티와 장애물의 디스패리티는 유사해야 하므로, 제어부(302)는 이 두 디스패리티 사이의 유사도를 계산한다. 도 19의 첫 번째 그림은 디스패리티 맵의 조밀도를 나타낸 것이고, 두 번째 그림은 디스패리티 유사도의 계산 결과를 나타낸 것이다. 도 19의 두 번째 그림의 디스패리티 유사도 계산 결과에서, 참조 부호 1902가 지시하는 화살표 영역의 세로 방향 디스패리티 유사도 합과 참조 부호 1904가 지시하는 화살표 영역의 세로 방향 디스패리티 유사도 합의 차이가 최대가 되는 위치가 장애물의 높이를 나타내는 위치이다. 따라서 디스패리티 유사도 상의 특정 위치 아래와 위의 디스패리티 유사도 합의 차이를 계산하여 이를 거리 기반 코스트 맵으로 설정한다. 도 19의 세 번째 그림은 본 발명의 실시 예에 따른 거리 기반 코스트 맵의 결과를 나타낸 것이다.

도 6의 장애물 높이 검출 방법으로 돌아와서, 제어부(302)는 변환된 영상으로부터 색상 기반의 코스트 맵을 생성한다(608). 도 20은 색상 기반의 장애물 높이 정보를 획득하기 위해 관심 영역을 설정하고 상이도를 측정하는 것을 나타낸 도면이다. 도 20에서, 장애물 경계 검출에 참여한 특징점들(원으로 표시된 부분들)은 장애물 위에 존재할 가능성이 높다. 따라서 특징점들과의 색상 유사도를 측정하면 장애물에 속할 가능성을 판단할 수 있다. 도 20에 나타낸 바와 같이, 제어부(302)는 색상 유사도 측정을 원하는 위치를 근거로 관심 영역(2002)을 설정하고, 관심 영역 내에 존재하는 모든 특징점들과의 색상 유사도를 측정하여 가장 큰 색상 유사도 값을 최종 색상 유사도로 선택한다.

색상 유사도는 RGB 값의 유클리드 거리(Euclidean Distance)에서 최대 값을 감산하는 과정을 통해 계산된다. 도 21은 색상 유사도 계산에 기초한 색상 기반 코스트 맵의 계산 과정을 나타낸 도면이다. 도 21에서, 첫 번째 그림은 변환된 영상과 특징점을 나타낸 것이고, 두 번째 그림은 색상 유사도 계산 결과를 나타낸 것이며, 세 번째 그림은 색상 기반 코스트 맵 계산 결과를 나타낸 것이다. 도 21의 두 번째 그림처럼, 영상의 세로 방향으로 유사도의 차이가 큰 위치가 장애물의 높이를 나타내는 위치가 된다. 따라서 색상 유사도 계산 결과에서 특정 위치 아래와 위의 일정 영역에 대한 색상 유사도 합의 차이를 계산하고 이를 기반으로 도 21의 세 번째 그림과 같은 색상 기반 코스트 맵을 생성한다.

도 6의 장애물 높이 검출 방법으로 돌아와서, 제어부(302)는 변환된 영상으로부터 에지 기반의 코스트 맵을 생성한다(610). 일반적으로 장애물과 비장애물의 경계에는 강한 에지 성분이 존재한다. 에지 검출 결과는 바이너리(Binary) 값을 가지기 때문에 코스트 맵으로 사용하기에 적절하지 않다. 따라서 에지 검출 결과를 거리 변환(Distance Transform)을 통해 변형함으로써 에지에 근접할 수록 낮은 값을 갖도록 변경하여 에지 기반 코스트 맵을 생성한다. 도 22는 본 발명의 실시 예에 따른 에지 검출에 기초한 에지 기반 코스트 맵의 계산을 나타낸 도면이다. 도 22에서, 두 번째 그림이 본 발명의 실시 예에 따라 계산된 에지 기반 코스트 맵을 나타낸 것이다.

도 6의 장애물 높이 검출 방법으로 돌아와서, 제어부(302)는 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 통합하여 도 23의 하단 좌측 그림과 같은 통합된 최종 코스트 맵을 생성한다(612).

또한 제어부(302)는 최종 코스트 맵으로부터 다이나믹 프로그래밍 기반 정보 융합을 통한 장애물 높이 추정을 수행한다(614). 제어부(302)는 거리(c_d)와 색상(c_c), 에지(c_e) 기반으로 계산된 코스트 맵을 아래의 수식 6과 같이 가중치를 부여한 후 더하여(weighted sum, 가중합) 융합한다.

<식 6>

식 6에서, w_d, w_c, w_e는 각각 거리 코스트 맵, 색상 코스트 맵, 에지 코스트 맵의 가중치이다. 가중합을 통해 얻어진 c_t가 최종 장애물 높이 추정을 위한 코스트 맵이 된다. 최종 코스트 맵에 다이나믹 프로그래밍을 적용하여 장애물 높이 추정을 수행한다. 도 23의 하단의 그림들은 코스트 맵 통합 과정과 다이나믹 프로그래밍 적용 결과, 그리고 최종 장애물 높이 추정 결과를 실제 영상에 적용하여 나타낸 그림들이다.

이와 같은 본 발명의 실시 예에 따른 일련의 과정을 통해 장애물(202)의 경계와 높이를 추정한 최종 결과를 도 24에 나타내었다. 도 24에서 알 수 있듯이, 본 발명의 실시 예에 따른 장애물 경계 추정과 장애물 높이 추정을 통해 단일의 일안 카메라(102)만으로 장애물의 경계와 높이를 정확하게 검출할 수 있다.

위의 설명은 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 위에 개시된 실시 예 및 첨부된 도면들은 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 기술적 사상의 범위가 한정되는 것은 아니다. 그 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 자동차
102 : 일안 카메라
202 : 장애물
252 : 장애물의 경계
254 : 장애물의 높이
302 : 제어부
306 : 운전 상황 검출부
308 : 경로 제어부
310 : 동력부
312 : 조향부
314 : 제동부
316 : 디스플레이

Claims

하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와;
상기 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하는 단계와;
상기 거리 기반 코스트 맵과 상기 색상 기반 코스트 맵, 상기 에지 기반 코스트 맵을 통합하고, 상기 통합된 최종 코스트 맵으로부터 상기 장애물의 높이를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 1 항에 있어서, 상기 거리 기반 코스트 맵을 생성하는 단계는,
상기 특징점들을 연결하여 복수의 들로네(Delaunay) 삼각형을 생성하고, 상기 복수의 들로네 삼각형 각각의 세 꼭지점이 생성하는 평면의 방정식을 이용하여 거리 정보의 인터폴레이션을 수행하는 단계와;
상기 인터폴레이션 결과로부터 상기 복수의 들로네 삼각형 각각에 포함되는 픽셀들의 디스패리티를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 1 항에 있어서, 상기 색상 기반 코스트 맵을 생성하는 단계는,
상기 변환된 영상에서 색상 유사도 측정을 원하는 영역을 설정하고, 상기 영역 내에 존재하는 모든 특징점들과의 색상 유사도를 측정하여 가장 큰 색상 유사도 값을 최종 색상 유사도로 선택하는 단계와;
상기 변환된 상기 색상 유사도 계산 결과로부터 색상 유사도 합의 차이를 계산하여 상기 색상 기반 코스트 맵을 생성하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 1 항에 있어서, 상기 에지 기반 코스트 맵을 생성하는 단계는,
상기 변환된 영상으로부터 에지 검출을 수행하는 단계와;
상기 에지 검출의 결과를 대상으로 거리 변환을 수행하여 에지에 근접할 수록 낮은 값을 갖도록 변경하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 1 항에 있어서, 상기 최종 코스트 맵이 아래의 식 6으로 표현되는 자동차 주변의 장애물 검출 방법.
<식 6>

상기 식 6에서, w_d는 거리 코스트 맵의 가중치이고, w_c는 색상 코스트 맵의 가중치이며, w_e는 에지 코스트 맵의 가중치이다.
하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와;
상기 영상에서 대응점의 3차원 위치를 복원하는 단계와;
이전에 복원된 3차원 대응점들과 현재 복원된 3차원 대응점들의 상대적 위치 관계에 기초하여 상기 이전에 복원된 3차원 대응점들과 상기 현재 복원된 3차원 대응점들을 통합하는 단계와;
상기 대응점의 3차원 복원을 통해 얻은 깊이 값에 상기 일안 카메라의 이동에 의해 형성되는 가상의 베이스라인 값을 적용하여 디스패리티 값을 계산하는 단계와;
상기 디스패리티 값에 기초하여 상기 장애물의 경계를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 6 항에 있어서,
상기 디스패리티 값을 계산하는 단계에서 다음의 식 1을 통해 상기 디스패리티 값을 계산하는 자동차 주변의 장애물 검출 방법.
<식 1>

상기 식 1에서, 상기 d는 구하고자 하는 디스패리티 값이고, 상기 B는 상기 일안 카메라의 가상의 베이스라인(Baseline) 값이며, 상기 Z는 3차원 복원을 통해 얻은 깊이 값이고, 상기 f는 상기 일안 카메라의 초점 거리이다.
제 6 항에 있어서,
상기 일안 카메라의 화각이 미리 설정된 화각 이상의 광각일 때 u축을 다음의 식 2를 통해 입사각축(θu)으로 변경하는 단계를 더 포함하는 자동차 주변의 장애물 검출 방법.
<식 2>

상기 식 2에서, 상기 u는 u축의 값이고, 상기 0x는 상기 일안 카메라의 중심점이며, 상기 f는 상기 일안 카메라의 초점 거리(Focal Length)이다.
하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와;
상기 영상에서 대응점의 3차원 위치를 복원하고, 상기 대응점의 3차원 복원을 통해 얻은 깊이 값에 상기 일안 카메라의 이동에 의해 형성되는 가상의 베이스라인 값을 적용하여 디스패리티 값을 계산하며, 상기 디스패리티 값에 기초하여 상기 장애물의 경계를 추정하는 단계와;
상기 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하고, 상기 거리 기반 코스트 맵과 상기 색상 기반 코스트 맵, 상기 에지 기반 코스트 맵을 이용하여 상기 장애물의 높이를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 9 항에 있어서,
상기 디스패리티 값을 계산하는 단계에서 다음의 식 1을 통해 상기 디스패리티 값을 계산하는 자동차 주변의 장애물 검출 방법.
<식 1>

상기 식 1에서, 상기 d는 구하고자 하는 디스패리티 값이고, 상기 B는 상기 일안 카메라의 가상의 베이스라인(Baseline) 값이며, 상기 Z는 3차원 복원을 통해 얻은 깊이 값이고, 상기 f는 상기 일안 카메라의 초점 거리이다.
제 9 항에 있어서,
상기 일안 카메라의 화각이 미리 설정된 화각 이상의 광각일 때 u축을 다음의 식 2를 통해 입사각축(θu)으로 변경하는 단계를 더 포함하는 자동차 주변의 장애물 검출 방법.
<식 2>

상기 식 2에서, 상기 u는 u축의 값이고, 상기 0x는 상기 일안 카메라의 중심점이며, 상기 f는 상기 일안 카메라의 초점 거리(Focal Length)이다.　
제 9 항에 있어서, 상기 거리 기반 코스트 맵을 생성하는 단계는,
상기 특징점들을 연결하여 복수의 들로네(Delaunay) 삼각형을 생성하고, 상기 복수의 들로네 삼각형 각각의 세 꼭지점이 생성하는 평면의 방정식을 이용하여 거리 정보의 인터폴레이션을 수행하는 단계와;
상기 인터폴레이션 결과로부터 상기 복수의 들로네 삼각형 각각에 포함되는 픽셀들의 디스패리티를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 9 항에 있어서, 상기 색상 기반 코스트 맵을 생성하는 단계는,
상기 변환된 영상에서 색상 유사도 측정을 원하는 영역을 설정하고, 상기 영역 내에 존재하는 모든 특징점들과의 색상 유사도를 측정하여 가장 큰 색상 유사도 값을 최종 색상 유사도로 선택하는 단계와;
상기 변환된 상기 색상 유사도 계산 결과로부터 색상 유사도 합의 차이를 계산하여 상기 색상 기반 코스트 맵을 생성하는 자동차 주변의 장애물 검출 방법.
제 9 항에 있어서, 상기 에지 기반 코스트 맵을 생성하는 단계는,
상기 변환된 영상으로부터 에지 검출을 수행하는 단계와;
상기 에지 검출의 결과를 대상으로 거리 변환을 수행하여 에지에 근접할 수록 낮은 값을 갖도록 변경하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
제 9 항에 있어서, 상기 최종 코스트 맵이 아래의 식 6으로 표현되는 자동차 주변의 장애물 검출 방법.
상기 식 6에서, w_d는 거리 코스트 맵의 가중치이고, w_c는 색상 코스트 맵의 가중치이며, w_e는 에지 코스트 맵의 가중치이다.
하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와;
상기 영상에서 대응점의 3차원 위치를 복원하고, 상기 대응점의 3차원 복원을 통해 얻은 깊이 값에 상기 일안 카메라의 이동에 의해 형성되는 가상의 베이스라인 값을 적용하여 디스패리티 값을 계산하며, 상기 디스패리티 값에 기초하여 상기 장애물의 경계를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.
하나의 일안 카메라를 이용하여 자동차 주변의 장애물의 영상을 획득하는 단계와;
상기 영상으로부터 거리 기반 코스트 맵과 색상 기반 코스트 맵, 에지 기반 코스트 맵을 생성하고, 상기 거리 기반 코스트 맵과 상기 색상 기반 코스트 맵, 상기 에지 기반 코스트 맵을 이용하여 상기 장애물의 높이를 추정하는 단계를 포함하는 자동차 주변의 장애물 검출 방법.