KR20180031146A

KR20180031146A - 차량 및 장애물 검출 방법

Info

Publication number: KR20180031146A
Application number: KR1020160119124A
Authority: KR
Inventors: 황진규; 최진하; 김대환; 이상윤; 김재성; 이경재
Original assignee: 현대자동차주식회사; 연세대학교 산학협력단; 기아자동차주식회사
Priority date: 2016-09-19
Filing date: 2016-09-19
Publication date: 2018-03-28
Also published as: KR102655800B1

Abstract

개시된 발명의 일 측면은 카메라가 촬영한 영상을 기초로 장애물이 움직이는 물체인지 여부를 판별하고 연속적인 장애물을 검출하여 사고를 방지할 수 있는 차량 및 장애물 검출 방법을 제공한다.
장애물 검출 방법은, 적어도 하나의 장애물이 포함된 3차원 영상을 획득하고; 미리 결정된 제1기준점을 기준으로 상기 영상의 좌표 정보를 도출하고; 저장부에 저장된 정보와 상기 좌표 정보를 기초로 상기 장애물의 위치 및 크기를 산출하고; 상기 장애물의 이동여부를 판단하는 것;을 포함한다.

Description

차량 및 장애물 검출 방법{Vehicle and Method for detecting obstacle}

본 발명은 차량 및 장애물 검출 방법에 관한 것이다.

차량용 스테레오 비전은 카메라 두 대가 병렬로 구성되어 있는 구조로 주변 환경을 인식하는 방식을 의미한다. 또한, 인간의 두 눈과 비슷한 구조를 갖고 시각의 차이를 이용하여 전방의 장애물까지의 거리를 측정한다. 이 방식은 단일 카메라 사용 방식에 비해 하드웨어 가격과 알고리즘의 복잡도가 높다는 단점이 있다.

현재, 차량의 자율 주행 시 보행자 및 차량을 검출하고 이를 추적하는 방법에 대해서는 많은 연구가 진행되어 왔지만, 차량과 다른 장애물을 구별하는 연구 및 기술은 아직 많이 미흡하다.

개시된 발명의 일 측면은 카메라가 촬영한 영상을 기초로 장애물이 움직이는 물체인지 여부를 판별하고 연속적인 장애물을 검출하여 사고를 방지할 수 있는 차량 및 장애물 검출 방법을 제공한다.

개시된 발명의 일 실시예에 따른 차량은, 적어도 하나의 장애물이 포함된 3차원 영상을 획득하는 카메라; 상기 장애물의 종류를 판별하는 정보를 저장하는 저장부; 및 미리 결정된 제1기준점을 기준으로 상기 영상의 좌표 정보를 도출하고, 상기 저장부에 저장된 정보와 상기 좌표 정보를 기초로 상기 장애물의 위치 및 크기를 산출하고, 상기 장애물의 이동여부를 판단하는 제어부;를 포함한다.

상기 제어부는, 상기 영상의 상기 제1기준점을 기준으로 한 수직정보를 나타내는 Y축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 상기 좌표 정보를 기초로 임의의 같은 깊이 정보를 갖는 좌표 중 가장 낮은 수직 위치 정보를 갖는 좌표의 집합을 기준선으로 도출 할 수 있다.

상기 제어부는, 상기 좌표의 속도, 상기 좌표의 상기 기준선과 수직 거리, 상기 좌표의 미리 결정된 제2기준점으로부터의 위치 및 상기 좌표의 지속시간을 도출 할 수 있다.

상기 제어부는, 상기 영상의 상기 제1기준점을 기준으로 한 수평정보를 나타내는 X축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 좌표 정보를 도출 할 수 있다.

상기 제어부는, 상기 좌표의 상기 제2기준점으로부터의 위치를 기초로 상기 좌표를 포함하는 미리 결정된 크기를 갖는 셀을 형성 할 수 있다.

상기 제어부는, 상기 차량의 속도, 상기 차랑의 요레이트(Yaw rate) 및 미리 결정된 상기 셀의 크기를 기초로 상기 좌표의 속도 및 상기 좌표와 상기 미리 결정된 제2기준점으로부터의 위치를 수정 할 수 있다.

상기 제어부는, 상기 좌표와 상기 기준선의 수직 거리와 미리 결정된 상기 셀의 높이의 차이에 기초하여 상기 셀의 가중치를 부여 할 수 있다.

상기 제어부는, 상기 셀이 포함하고 있는 상기 좌표의 평균속도와 상기 좌표의 위치의 분산 값을 비교하여 상기 장애물의 이동여부를 판단 할 수 있다.

상기 제어부는, 상기 지속시간이 미리 결정된 값 이상인 상기 좌표를 기초로 상기 장애물의 이동여부를 판단 할 수 있다.

상기 제어부는, 상기 X축으로 구성된 좌표정보를 상기 영상의 제3기준점을 기준으로 하는 수평정보를 나타내는 U축으로 구성된 좌표 정보로 변환 할 수 있다.

상기 제어부는, 상기 U축과 상기 X축으로 구성된 좌표정보를 기초로 동적 계획법(dynamic programming)을 수행한 결과 값을 도출하고, 상기 결과 값을 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출 할 수 있다.

상기 제어부는, 상기 결과 값을 기초로 근사화 된 직선을 도출하고, 상기 직선의 길이를 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출 할 수 있다.

상기 제어부는, 상기 결과 값을 기초로GOD(General Obstacle Detection)를 수행하여 상기 장애물의 위치와 상기 장애물의 크기를 산출 할 수 있다.

개시된 발명의 다른 실시예에 따른 장애물 검출 방법은, 적어도 하나의 장애물이 포함된 3차원 영상을 획득하고; 미리 결정된 제1기준점을 기준으로 상기 영상의 좌표 정보를 도출하고; 저장부에 저장된 정보와 상기 좌표 정보를 기초로 상기 장애물의 위치 및 크기를 산출하고; 상기 장애물의 이동여부를 판단하는 것;을 포함한다.

상기 좌표 정보를 도출하는 것은, 상기 영상의 상기 제1기준점을 기준으로 한 수직정보를 나타내는 Y축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 상기 좌표 정보를 기초로 임의의 같은 깊이 정보를 갖는 좌표 중 가장 낮은 수직 위치 정보를 갖는 좌표의 집합을 기준선으로 도출하는 것을 더 포함 할 수 있다.

상기 장애물 검출 방법은, 상기 좌표의 속도, 상기 좌표의 상기 기준선과 수직 거리, 상기 좌표의 미리 결정된 제2기준점으로부터의 위치 및 상기 좌표의 지속시간을 도출하는 것을 더 포함 할 수 있다.

상기 좌표 정보를 도출하는 것은, 상기 영상의 상기 제1기준점을 기준으로 한 수평정보를 나타내는 X축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 좌표 정보를 도출하는 것을 더 포함 할 수 있다.

상기 장애물의 이동여부를 판단하는 것은, 상기 좌표의 상기 제2기준점으로부터의 위치를 기초로 상기 좌표를 포함하는 미리 결정된 크기를 갖는 셀을 형성하는 것을 더 포함 할 수 있다.

상기 장애물의 이동여부를 판단하는 것은,

차량의 속도, 차랑의 요레이트(Yaw rate) 및 미리 결정된 상기 셀의 크기를 기초로 상기 좌표의 속도 및 상기 좌표와 상기 미리 결정된 제2기준점으로부터의 위치를 수정하는 것을 더 포함 할 수 있다.

장애물 검출 방법은, 상기 좌표와 상기 기준선의 수직 거리와 미리 결정된 상기 셀의 높이의 차이에 기초하여 상기 셀의 가중치를 부여하는 것을 더 포함 할 수 있다.

상기 장애물의 이동여부를 판단하는 것은, 상기 셀이 포함하고 있는 상기 좌표의 평균속도와 상기 좌표의 위치의 분산 값을 비교하는 것을 더 포함 할 수 있다.

상기 장애물의 이동여부를 판단하는 것은, 상기 지속시간이 미리 결정된 값 이상인 상기 좌표를 기초로 상기 장애물의 이동여부를 판단하는 것을 더 포함 할 수 있다.

상기 좌표 정보를 도출하는 것은, 상기 X축을 상기 영상의 제3기준점을 기준으로 하는 수평정보를 나타내는 U축으로 구성된 좌표 정보로 변환하는 것을 더 포함 할 수 있다.

상기 장애물의 위치 및 크기를 산출하는 것은, 상기 U축과 상기 Z축으로 구성된 상기 좌표 정보를 기초로 동적 계획법(dynamic programming)을 수행한 결과 값을 도출하고, 상기 결과 값을 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 것을 더 포함 할 수 있다.

상기 장애물의 위치 및 크기를 산출하는 것은, 상기 결과 값을 기초로 근사화 된 직선을 도출하고, 상기 직선의 길이를 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 것을 더 포함 할 수 있다.

상기 장애물의 위치 및 크기를 산출하는 것은,

상기 결과 값을 기초로 GOD(General Obstacle Detection)를 수행하여 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 것을 더 포함 할 수 있다.

일 측면에 따른 차량 및 장애물 검출 방법에 의하면, 카메라가 촬영한 영상을 기초로 장애물이 움직이는 물체인지 여부를 판별하고 연속적인 장애물을 검출하여 사고를 방지할 수 있다.

도 1은 차량의 외관을 나타내는 도면이다.
도 2는 차량의 내부를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 제어 블록도이다.
도 4는 본 발명의 일 실시예에 따른 획득한 영상으로부터 좌표정보를 추출하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 장애물의 이동 여부를 판단하기 위한 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 벽을 검출하기 위한 방법을 설명하기 위한 도면이다.
도 8은 장애물 검출 방법을 설명하기 위한 흐름도 이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.

도 1은 차량의 외관을 나타내는 도면이고, 도 2는 차량의 내부를 나타내는 도면이다.

도1및 도2를 참고하면, 차량(1)의 외관은 차량(1)의 외관을 형성하는 본체(10), 운전자에게 차량(1) 전방의 시야를 제공하는 윈드스크린(windscreen)(11), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(12), 차량(1) 내부를 외부로부터 차폐시키는 도어(13) 및 차량의 전방에 위치하는 앞바퀴(21), 차량의 후방에 위치하는 뒷바퀴(22)를 포함하여 차량(1)을 이동시키기 위한 바퀴를 포함할 수 있다.

윈드 스크린(11)은 본체(10)의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 한다. 또한, 사이드 미러(12)는 본체(10)의 좌측에 마련되는 좌측 사이드 미러 및 우측에 마련되는 우측 사이드 미러를 포함하며, 차량(1) 내부의 운전자가 차량(1) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.

도어(13)는 본체(10)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킬 수 있다.

또한, 차량(1)은 주변의 영상을 획득하기 위한 카메라(110)를 구비 할 수 있다. 도 1에서 도시하는 바와 같이, 카메라(110)는 차량(1)의 전면에 마련될 수 있으며, 이에 한정되지 않는다. 카메라(110)에 관련된 자세한 내용은 후술한다.

차량(1)의 내부는 운전자가 차량(1)을 조작하기 위한 각종 기기가 설치되는 대시 보드(dashboard)(14), 차량(1)의 운전자가 착석하기 위한 운전석(15), 차량(1)의 동작 정보 등을 표시하는 클러스터 표시부(51, 52), 운전자의 조작 명령에 따라 경로 안내 정보를 제공하는 길 안내 기능뿐만 아니라 오디오 및 비디오 기능까지 제공하는 내비게이션(navigation)(70)을 포함할 수 있다.

대시 보드(14)는 윈드 스크린(11)의 하부로부터 운전자를 향하여 돌출되게 마련되며, 운전자가 전방을 주시한 상태로 대시 보드(14)에 설치된 각종 기기를 조작할 수 있도록 한다.

운전석(15)은 대시 보드(14)의 후방에 마련되어 운전자가 안정적인 자세로 차량(1)의 전방과 대시 보드(14)의 각종 기기를 주시하며 차량(1)을 운행할 수 있도록 한다.

클러스터 표시부(51, 52)는 대시 보드(14)의 운전석(15) 측에 마련되며, 차량(1)의 운행 속도를 표시하는 주행 속도 게이지(51), 동력 장치(미도시)의 회전 속도를 표시하는 rpm 게이지(52)를 포함할 수 있다.

내비게이션(70)은 차량(1)이 주행하는 도로의 정보 또는 운전자가 도달하고자 하는 목적지까지의 경로를 표시하는 디스플레이 및 운전자의 조작 명령에 따라 음향을 출력하는 스피커(41)를 포함할 수 있다. 최근에는 오디오 장치, 비디오 장치 및 내비게이션 장치가 일체화된 AVN(Audio Video Navigation) 장치가 차량에 설치되고 있는 추세이다.

상기 내비게이션(70)은 센터페시아(center fascia)에 설치될 수 있다. 이때, 센터페시아는 대시 보드(14) 중에서 운전석과 조수석 사이에 있는 컨트롤 패널 부분을 의미하는 것으로, 대시 보드(14)와 시프트레버가 수직으로 만나는 영역이며, 이곳에는 내비게이션(70)을 비롯하여 에어콘, 히터의 컨트롤러, 송풍구, 시거잭과 재떨이, 컵홀더 등을 설치할 수 있다. 또한, 센터페시아는 센터콘솔과 함께 운전석과 조수석을 구분하는 역할도 할 수 있다.

또한, 운전자의 내비게이션(70)을 비롯한 각종 구동 조작을 위한 별도의 조그 다이얼(60)을 구비할 수 있다.

개시된 발명의 조그 다이얼(60)은 회전시키거나 압력을 가하여 구동 조작을 수행하는 방법뿐만 아니라, 터치 인식 기능을 구비한 터치 패드를 구비하여 사용자의 손가락 또는 별도의 터치 인식 기능을 구비한 도구를 이용하여 구동 조작을 위한 필기 인식을 수행할 수 있다.

차량(1)은 상술한 구성 이외에도 바퀴(미도시)를 회전시키는 동력 장치(미도시), 차량(1)의 이동 방향을 변경하는 조향 장치(미도시), 바퀴의 이동을 정지시키는 제동 장치(미도시)를 포함할 수 있다.

상기 동력 장치는 본체가 전방 또는 후방으로 이동하도록 앞바퀴 또는 뒷바퀴에 회전력을 제공한다. 이와 같은 동력 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 포함할 수 있다.

조향 장치는 운전자로부터 주행 방향을 입력받는 조향 핸들(42), 조향 핸들(42)의 회전 운동을 왕복 운동으로 전환하는 조향 기어(미도시), 조향 기어(미도시)의 왕복 운동을 앞바퀴에 전달하는 조향 링크(미도시)를 포함할 수 있다. 이와 같은 조향 장치는 바퀴의 회전축의 방향을 변경함으로써 차량(1)의 주행 방향을 변경할 수 있다.

제동 장치는 운전자로부터 제동 조작을 입력받는 제동 페달(미도시), 바퀴와 결합된 브레이크 드럼(미도시), 마찰력을 이용하여 브레이크 드럼(미도시)의 회전을 제동시키는 브레이크 슈(미도시) 등을 포함할 수 있다. 이와 같은 제동 장치는 바퀴의 회전을 정지시킴으로써 차량(1)의 주행을 제동할 수 있다.

도 3은 본 발명의 일 실시예에 따른 차량의 제어 블록도이다.

도3을 참고하면, 차량(1)은 카메라(110), 제어부(120) 및 저장부(130)를 포함 할 수 있다.

차량에 설치된 카메라(110)는 CCD(Charge-Coupled Device) 카메라 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라(110)의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다.

카메라(110)는 스테레오 카메라로 마련 될 수 있다. 스테레오 카메라는 두 대로 구성되어 있는 카메라를 사용하여 주변 환경을 인식하는 방식을 의미한다. 스테레오 카메라는 삼각법을 기반으로 거리 정보를 획득할 수 있는 센서로서 영상과 거리 정보를 동시에 제공할 수 있다. 스테레오 카메라는 수평 스테레오 카메라를 구성하여 좌안 카메라와 우안 카메라의 다른 시점 때문에 나타나는 시차정보를 이용하여 깊이지도(depth map)를 생성하고, 깊이지도 정보를 바탕으로 장애물을 검출 할 수 있다.

또한, 2개의 수평 스테레오 카메라로 구성된 이중 스테레오 카메라를 이용하여 장애물을 검출 할 수 있다. 이 방법은, 깊이 지도를 하나 이상 생성하여 하나의 스테레오 카메라에서 생성한 깊이지도의 오차를 다른 스테레오 카메라에서 생성한 깊이지도 정보를 이용하여 보정하고 보정된 깊이지도 정보를 분석하여 장애물체를 검출하는 것이다.

한편 사람의 시선에서 물체까지의 거리를 주시 거리라 하는데, 이와 마찬가지로 입체 카메라가 촬영할 때 대상 물체까지의 거리를 주시 거리라 한다. 이것을 어떻게 제어하느냐에 따라 수평식, 교차식, 수평 이동식의 3가지 방식으로 분류한다. 카메라(110)는 차량의 영상을 촬영하여 촬영된 영상을 제어부(120)에 송신 할 수 있다.

제어부(120)는 카메라(110)로부터 입력되는 영상을 처리하고, 전술 및 후술하는 동작을 수행하는 프로그램 및 프로그램을 실행하는 프로세서, MCU(Micro controller unit)등을 포함 할 수 있다. 또한 제어부(120)는 차량(1)에 내장된 시스템 온 칩(System On Chip, SOC)에 집적될 수 있으며, 프로세서(processor)에 의해 동작될 수 있다. 다만, 차량(1)에 내장된 시스템 온 칩이 하나만 존재하는 것은 아니고, 복수 개일 수도 있으므로, 하나의 시스템 온 칩에만 집적되는 것으로 제한되지 않는다.

제어부(120)는 카메라(110)로부터 거리 정보를 획득하기 위해서 두 카메라(110)의 내/외부 변수를 추정하는 카메라(110) 캘리브레이션 과정과 두 카메라(110)에서 획득된 영상 상에서 서로 대응되는 위치를 찾는 스테레오 매칭 과정을 수행 할 수 있다.

제어부(120)는 카메라(110)로부터 획득한 영상을 기초로 영상의 좌표정보를 추출 할 수 있다. 좌표정보는 단순한 직교 좌표일 수도 있고 후술할 텍스처 좌표(Texture coordinate)계 일 수도 있다. 또한 후술할 필터 모델을 적용하여 셀을 구성하고 이를 기초로 장애물의 이동 여부를 판단 할 수 있다. 제어부(120)는 장애물이 이동이 가능한 동적 장애물인지, 또는 이동이 불가능한 정적 장애물인지 여부를 판단 할 수 있다. 정적 장애물로 판단한 경우에는 후술할 알고리즘을 통하여 장애물이 연속 장애물인지, 예를 들어, 벽인지 여부를 검출하는 동작을 수행 할 수 있다. 이와 관련된 제어부(120)의 상세한 동작은 도4내지 7에서 자세히 설명한다.

제어부(120)는 카메라(110)가 촬영하는 영상을 처리하는 ISP(Image Signal Processing)를 수행하고, 처리된 영상을 디지털 신호로 변환하고 제어하는 DSP(Digital signal processing)를 수행하고, DSP가 처리하는 데이터를 저장하는 구성 및 처리된 이미지를 증폭시키는 AMP(Amplifier)를 포함할 수 있다.

ISP는 카메라(110)가 전달하는 영상에서 휘도 또는 색 처리를 담당하는 반도체 칩을 의미한다. 또한, ISP는 추가적으로 포커스, 반전, 모자익, DIS, 영상 포멧 같은 기능을 지원할 수 있다.

DSP는 디지털 신호를 처리하는 칩을 의미한다. 즉, 제어부(120)에서 DSP는 제어부(120) 전반의 제어를 수행하는 프로세서(Processor)의 일종이다. DSP는 ISP를 제어하고, ISP가 오프 되는 경우 카메라(110)가 전달하는 영상을 디지털 처리하여 디스플레이로 표시하도록 출력하는 역할을 한다.

AMP는 DSP가 처리한 이미지를 증폭시켜 디스플레이로 전달하는 역할을 수행한다. AMP는 일반적인 이미지 처리를 수행하는 모듈에서 설치된 증폭 장치이면 충분하고, 제한은 없다.

저장부(130)는 처리한 영상을 저장하거나, 다른 데이터를 저장할 수 있다. 또한 저장부(130)는 후술하는 동작을 위한 프로세서, 알고리즘 등을 저장 할 수 있다. 저장부(130)는 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 통해 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 당업계에 알려져 있는 임의의 다른 형태로 구현될 수도 있다.

제어부(120)는 장애물을 감지하여 디스플레이에 표시 할 수 있으며, 원활한 자율 주행을 위한 정보로 활용 할 수 있다.

도 4a내지 4c는 본 발명의 일 실시예에 따른 획득한 영상으로부터 좌표 정보를 추출하는 방법을 설명하기 위한 도면이다. 차량에 구비된 카메라(110)는 도4a의 영상을 획득한다.

도 4a와 도4b를 같이 참고하면, 제어부(120)는 제1기준점(s1)으로부터 도4a에 표시된 장애물을 점으로 표시 할 수 있다. 도 4b는 제어부(120)가 표시한 점을 그래프로 나타낸 것이다. 도4b를 참고하면, Z축으로 표시된 가로축은 영상의 깊이를 나타내는 축이며 Y축으로 표시된 세로축은 수직 정보를 표시한다. 그래프에 표시된 점은 Y축으로 점점 증가하는 패턴을 표시하는데, 이러한 패턴의 상단은 영상에 나타난 장애물의 높이를 나타내는 것이다. 또한 도4b에 나타나 있는 점들의 가장 하단에 있는 점들은 도로를 나타내는 것으로 후술할 높이 정보의 기준이 되는 기준선을 이루는 점이다. 따라서 도4b에 표시된 정보를 기초로 기준선에 대한 정보를 획득 할 수 있다.

도4a와 도4c를 같이 참고하면, 제어부(120)는 기준점으로부터 도4a에 표시된 장애물을 점으로 표시 할 수 있으며, 도 4c는 제어부(120)가 표시한 점을 탑뷰(Top view)로 나타낸 것이다. 구체적으로, 도4c를 참고하면, 세로축으로 표시된 Z축은 영상의 깊이를 나타내는 축이며 가로축에 표시된 X축은 도4a에 나타나 있는 장애물의 좌우 위치를 표시한 것이다 이렇게 획득된 정보는 후술하는 장애물의 이동 여부를 판단하기 위하여 사용 될 수 있다.

도 5는 본 발명의 일 실시예에 따른 장애물의 이동 여부를 판단하기 위한 방법을 설명하기 위한 도면이다.

도5a를 참고하면, 도5a는 상술한 도4c위에 셀과 두 좌표축을 겹치게 위치 시킨 도면으로써 획득한 영상을 기초로 한 지점에 관한 정보를 필터링 하기 위한 파티클 필터(Particle Filter)를 설명하기 위한 도면이다. 파티클 필터는 시뮬레이션에 기반을 둔 예측기술의 하나로 연속적으로 들어오는 정보를 관측 값에 기초하여 정보를 예측하는 기술이다. 본 발명에서는 장애물의 이동 여부를 판단하기 위하여 파티클 필터를 사용 할 수 있다. 한편, 도5a에 나타난 한 지점에 관한 정보는 아래 식으로 정의 될 수 있다.

수학식1을 참고하면, 한 지점에 관한 정보(

)는 각각의 위치(

), 속도(

), 높이(

), 나이(

) 변수를 갖는다.

위치변수(

)는 사용자가 미리 결정한 제2기준점(s2)으로부터 장애물의 한지점의 위치를 의미한다. 제2기준점(s2)은 도4에 나타난 제1기준점(s1)과는 다른 기준점으로써 사용자가 임의로 선택 할 수 있다.

속도변수(vc,vr)은 획득한 영상을 기초로 장애물의 한 지점의 속도에 관한 변수로써 장애물의 이동 여부를 판단 하는데 기초가 되는 변수이다. 속도 변수는 위치변수(c,r)의 시간에 대한 미분 값으로 도출 할 수 있다. 또한 나이변수(a)는 장애물의 한 지점이 한 위치에 있는 시간에 관련된 변수로서 속도변수(vc,vr)과 마찬가지로, 장애물이 동적 장애물인지 여부를 판단하는 변수 중 하나이다.

높이변수(H)는 획득한 영상을 기초로 획득한 한 지점의 기준선으로부터의 장애물의 한 지점의 높이를 나타낸 변수이다. 지면 기준선을 도출하는 방법은 도4에서 상술하였으므로 자세한 설명은 생략한다.

수학식2는 획득한 영상을 기초로 한 지점들의 집합인 셀을 도출 하기 위한 식이다. 수학식2의

는 정의된 셀 하나에 포함 될 수 있는 최대 지점 수를 의미하며,

는 셀의 존재 확률을 의미한다.

수학식 3을 참고하면, 수학식3은 차량의 동역학 정보를 나타낸다. V는 차량의 속도를 의미하며, Ψ는 요 레이트(yaw rate)로써, 요 각속도라고 하며, 자동차의 중심을 통하는 수직선 주위에 회전각이 변하는 속도를 의미한다. DX와 DZ는 상술한 셀의 실제 크기를 의미한다.

수학식4,5는 수학식3을 기초로 차량의 동역학 정보를 고려한 한 지점을 나타내기 위한 행렬식이다. 각각 지점의 위치정보와 속도 정보는 차량의 요 레이트와 셀의 크기를 고려한 보정 값에 의하여 변환된다.

수학식4,5와 도5b를 참고하면, 도5b는 동역학 정보를 고려하기 전의 지점의 정보와 동역학 정보를 고려한 후의 정보를 표시하고 있다. 기존에 지점에 대한 정보는 위에 표시된 점의 위치와 같지만, 상술한 파티클 필터와 차량 동역학 정보를 고려한 후에는 예측전과 예측후의 지점 정보가 다르다. 차량의 영상 정보는 실제로 움직임 있는 차량에서 촬영되는 것이다. 따라서, 수학식4,5를 적용한 결과로 예측 후의 모델은 실제 영상을 획득하는 차량의 움직임을 고려한 영상 획득이 가능하다.

수학식6,7는 상술한 모델의 신뢰도를 증가시키 위한 수학식이다.

는 각 지점의 가중치를 의미한다.

는 가중치가 적용된 셀의 존재 확률을 의미한다.

는 재정렬 비율로 유효한 값의 좌표만이 남겨지는 정도를 의미한다. 지점에 대한 정보는 측정하는 시간이 증가함에 따라 신뢰도가 떨어진다. 따라서 각각의 지점이 셀에 해당하는 높이에 해당하는 경우에는 높은 가중치를 부여하여 신뢰도를 높이고자 한다. 신뢰도가 높은 셀의 경우 더 많은 지점의 정보로 간주하고, 신뢰도가 낮은 셀의 경우 더 적은 지점의 정보로 추정한다.

수학식8,9는 획득한 영상으로부터 추출한 한 지점의 정보를 이용하여 영상에 나타난 장애물의 이동여부 판단하기 위한 식이다.

은 각 셀의 평균 속도를 의미하며,

은 각 셀의 입자의 분산 값을 의미한다. 각 지점은 상술한 바와 같이 나이변수(a)를 가지고 있으며, 상술한 한 셀 내의 나이변수는 정규 분포를 따르며 신뢰도 확보를 위하여 사용자는 나이정보의 임계 값(

)을 설정 할 수 있고, 임계 값 이상인 값만 추출하여 동적 셀 여부를 판단 할 수 있다. 수학식8,9로부터 도출된 평균 속도와 분산 값을 이용하여 장애물의 이동 여부를 판단 할 수 있다. 평균 속도의 절대값 정보가 표준편차 값의 2배 미만일 경우, 하나의 일정한 속도로 움직이고 있는 물체로 정의할 수 없다고 판단하기 때문에 분산 값이 평균 속도보다 큰 경우는 움직임이 있는 동적 셀로 정의하고, 평균속도가 분산보다 큰 경우 정적 셀로 정의한다. 상기 도출한 정보를 기초로 하여 제어부(120)는 장애물의 이동여부를 판단 할 수 있다.

도 6은 본 발명의 일 실시예에 따른 벽을 검출하기 위한 방법을 설명하기 위한 도면이다.

도6는 상술한 방법에 의한 획득된 영상으로부터 산출한 지점을 UZ좌표로 변환한 지점들을 나타낸 것이다. U축으로 하는 좌표는 일종의 텍스쳐 좌표로서 정점에 작용되는 2차원 좌표계 중 하나이다. UZ좌표에서는 획득된 영상을 기초로 한 화면을 구성하는 2차원에서 가장 좌측의 최 상단을 기준점으로 설정 할 수 있다. 도4내지 6 좌표는 X축과 Z축으로 구성된 직교 좌표이지만, X, Z좌표는 불필요한 정보가 많고, 형태가 불분명하여 연속된 장애물의 검출에는 어려움이 있다. 특히 X, Z좌표는 좌표상의 스케일의 문제가 존재한다. 따라서 제어부(120)는 X, Z좌표를 U,Z 좌표를 텍스로 변환 할 필요성이 있다. 본 발명에서는 U축의 기준이 되는 좌표를 제 3기준점(s3)으로 설정하고 설명한다.

본 발명에서는 카메라(110)가 획득한 영상을 기초로 좌표 값을 도출 하고 좌표 값을 입력 값으로 하여 동적 계획법(dynamic programming)을 실시하여 도6의 값을 도출 할 수 있는데 상술한 동적 계획법에 의한 식은 아래와 같이 정의된다.

수학식10,11을 참고하면, cost는 제어부(120)가 도출한 높이(H)에 관련된 변수이고, smoothness는 두 좌표 사이의 거리 값(

)에 비례한 값이다. smoothness가 낮을수록 점이 인접한 것으로 판단하여 낮은 Output값을 도출 할 수 있고, 큰 Output값을 갖는 점들은 벽을 검출하는 동작에서 제외하도록 한다. 이와 같은 동작을 통하여 노이즈를 제거 하고 신뢰도 높은 장애물 검출을 할 수 있는 것이다. 결과적으로 동적 계획법을 통하여 하나의 컬럼(column)에 하나의 값만 갖도록 도출 할 수 있다. 특히 본 발명에서는 smoothness를 제곱과 미리 결정된 T값의 최소값으로 정의하여 더욱 유연하게 경로를 측정하고 좌표간 불연속적으로 바뀔 때 왜곡되는 정보를 수정 할 수 있다. 수학식10,11의 값을 기초로 동적 계획법을 실행하고 공통된 값을 갖는 좌표끼리 집단체를 형성 할 수 있다. 집단체의 길이와 형태를 미리 결정된 조건을 이용하여 연속된 장애물인지 여부, 즉 벽인지 여부와 장애물의 위치를 파악 할 수 있다. 제어부(120)는 도6에 나타난 연속되어 있는 점들을 묶어 하나의 장애물인 것으로 판단한다. 동적 계획법을 시행한 이후의 도6는 하나의 세로축에서 하나의 값만 갖게 되는데 도6에 나타난 임의의 한 점과 다른 임의의 한 점이 미리 정한 기준 값 이상의 거리를 갖게 되면 그 경계를 별도의 장애물로 분류 할 수 있다. 이렇게 분류한 장애물은 길이, 측면의 존재여부, 양 끝점을 직선으로 근사하여도 적절한지 여부를 판단한다. 상술한 과정을 바탕으로 제어부(120)는 벽인지 여부를 판단 할 수 있다.

도6을 참고하면, 분류된 점의 시작과 끝을 기초로 직선으로 근사화 할 수 있다. 제어부(120)는 직선을 기초로 해당 픽셀간의 오차를 계산 할 수 있으며, 오차가 큰 경우는 해당 지점부터 직선으로의 근사화와 픽셀간의 오차를 다시 계산 하는 동작을 수행 할 수 있다. 상술한 방법대로 직선으로 근사화가 완료된 경우, 장애물이 연속된 것으로 판단 할 수 있는 것이다.

다만 상술한 방법대로 검출한 정보에서도 일정한 길이 이하의 경우는 벽으로 추정 할 수 없기 때문에 미리 결정된 기준치를 이용한 필터를 적용하여 기준치 미만의 값은 벽에 해당하는 정보에서 제외한다. 이러한 동작은 GOD(General Obstacle Detection)를 통해 이루어 질 수 있다. GOD는 주행 상황에 존재하는 일반적인 장애물을 검출하는 방식을 의미한다. 단안 카메라를 사용하는 모노 비전은 영상의 밝기 정보만을 제공하기 때문에 보행자, 차량과 같이 유형이 정해진 물체의 외형을 학습하는 방법으로만 물체를 검출할 수 있지만 스테레오 비전은 조밀한 거리 정보를 제공하기 때문에 물체의 유형과 관계없이 거리 정보를 기반으로 장애물을 인식할 수 있다. 상술한 동작에 관련된 정보는 저장부(130)에 저장 될 수 있다.

도 7은 본 발명의 일 실시예에 따른 벽을 검출하기 위한 방법을 설명하기 위한 도면이다.

도7을 참고하면, 장애물을 검출하는 기술에 있어서, 정지되어 있는 자동차와 같은 장애물은 실제 벽과 입력되는 좌표의 값이 매우 유사하기 때문에 벽으로 추정하는 경우가 많다. 따라서 제어부(120)는 벽으로 자주 추정되는 장애물에 대하여 기계학습의 과정을 거친다. 기계학습과정에서 제어부(120)는 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN) 및 심층 Q-네트워크(Deep Q-Networks) 중 어느 하나의 알고리즘을 이용 할 수 있다. 제어부(120)가 벽이 아닌 것으로 판단한 경우에는 잘못 판단한 장애물 뒤에 위치한 장애물에 대하여 다시 벽인지 여부를 판단하는 과정을 거친다. 그 결과 그 장애물이 벽인 경우 벽의 위치와 크기를 다시 추정한다. 상술한 기계학습 결과로 얻어진 정보는 저장부(130)에 저장 될 수 있다.

도7를 참고하면, 도7는 앞쪽의 차량2대의 위치를 검출 하였지만 벽으로 인식하고 있다. 즉, 우측에 위치한 벽에 대해서는 올바르게 검출 하였지만, 좌측에 위치한 차량에 대해서는 벽으로 잘못 검출한 것이다.

도7를 참고하면, 도7는 좌측에 차량에 있어서는 차량으로 판단하고 후면에 위치한 새로운 장애물에 대한 판단을 실시 한다. 그 결과 제어부(120)는 차량의 뒤에 위치한 장애물을 벽으로 판단 할 수 있다. 제어부(120)는 기계학습을 통하여 연속된 장애물인지 여부를 판단 할 수 있는 것이다.

도 8은 장애물 검출 방법을 설명하기 위한 흐름도 이다.

도8을 참고하면, 카메라(110)는 외부의 영상을 획득한다(500). 상술한 바와 같이 카메라(110)는 스테레오 카메라(110)로 마련 될 수 있다. 제어부(120)는 카메라(110)가 획득한 영상의 좌표정보를 추출 할 수 있다(510). 제어부(120)는 추출된 정보를 기초로 높이정보의 기준선을 설정 할 수 있고(520), 미리 결정된 크기의 셀을 형성 할 수 있다(530). 제어부(120)는 셀을 형성함에 있어서, 차량의 동적 정보를 고려하여 형성 할 수 있다. 또한 제어부(120)는 형성된 셀을 기초로 장애물의 이동 여부를 판단 할 수 있다(540). 제어부(120)는 장애물이 이동하지 않는 다면, 상술한 바와 같이 동적 계획법을 수행 할 수 있고 (550), 이를 기초로 장애물이 연속으로 배치되어 벽을 형성하는지 여부를 판단 할 수 있다(560). 제어부(120)는 벽인 것으로 판단되면 장애물을 벽으로 인식하고(570) 그렇지 않은 경우는 일반 장애물로 인식한다(580).

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

1: 차량
110 : 카메라
120 : 제어부
130 : 저장부

Claims

적어도 하나의 장애물이 포함된 3차원 영상을 획득하는 카메라;
상기 장애물의 종류를 판별하는 정보를 저장하는 저장부; 및
미리 결정된 제1기준점을 기준으로 상기 영상의 좌표 정보를 도출하고,
상기 저장부에 저장된 정보와 상기 좌표 정보를 기초로 상기 장애물의 위치 및 크기를 산출하고, 상기 장애물의 이동여부를 판단하는 제어부; 를 포함하는 차량.
제1항에 있어서,
상기 제어부는,
상기 영상의 상기 제1기준점을 기준으로 한 수직정보를 나타내는 Y축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 상기 좌표 정보를 기초로 임의의 같은 깊이 정보를 갖는 좌표 중 가장 낮은 수직 위치 정보를 갖는 좌표의 집합을 기준선으로 도출하는 차량.
제2항에 있어서,
상기 제어부는,
상기 좌표의 속도, 상기 좌표의 상기 기준선과 수직 거리, 상기 좌표의 미리 결정된 제2기준점으로부터의 위치 및 상기 좌표의 지속시간을 도출하는 차량.
제3항에 있어서,
상기 제어부는,
상기 영상의 상기 제1기준점을 기준으로 한 수평정보를 나타내는 X축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 좌표 정보를 도출하는 차량.
제4항에 있어서,
상기 제어부는,
상기 좌표의 상기 제2기준점으로부터의 위치를 기초로 상기 좌표를 포함하는 미리 결정된 크기를 갖는 셀을 형성하는 차량.
제5항에 있어서,
상기 제어부는,
상기 차량의 속도, 상기 차랑의 요레이트(Yaw rate) 및 미리 결정된 상기 셀의 크기를 기초로 상기 좌표의 속도 및 상기 좌표와 상기 미리 결정된 제2기준점으로부터의 위치를 수정하는 차량.
제5항에 있어서,
상기 제어부는,
상기 좌표와
상기 기준선의 수직 거리와 미리 결정된 상기 셀의 높이의 차이에 기초하여 상기 셀의 가중치를 부여하는 차량.
제6항에 있어서,
상기 제어부는,
상기 셀이 포함하고 있는 상기 좌표의 평균속도와 상기 좌표의 위치의 분산 값을 비교하여 상기 장애물의 이동여부를 판단하는 차량.
제 8항에 있어서
상기 제어부는,
상기 지속시간이 미리 결정된 값 이상인 상기 좌표를 기초로 상기 장애물의 이동여부를 판단하는 차량.
제4항에 있어서,
상기 제어부는,
상기 X축으로 구성된 좌표정보를 상기 영상의 제3기준점을 기준으로 하는 수평정보를 나타내는 U축으로 구성된 좌표 정보로 변환하는 차량.
제10항에 있어서,
상기 제어부는,
상기 U축과 상기 X축으로 구성된 좌표정보를 기초로 동적 계획법(dynamic programming)을 수행한 결과 값을 도출하고, 상기 결과 값을 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 차량.
제 11항에 있어서,
상기 제어부는,
상기 결과 값을 기초로 근사화 된 직선을 도출하고, 상기 직선의 길이를 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 차량.
제 11항에 있어서,
상기 제어부는,
상기 결과 값을 기초로GOD(General Obstacle Detection)를 수행하여 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 차량.
적어도 하나의 장애물이 포함된 3차원 영상을 획득하고;
미리 결정된 제1기준점을 기준으로 상기 영상의 좌표 정보를 도출하고;
저장부에 저장된 정보와 상기 좌표 정보를 기초로 상기 장애물의 위치 및 크기를 산출하고;
상기 장애물의 이동여부를 판단하는 것;을 포함하는 장애물 검출 방법.
제 14항에 있어서,
상기 좌표 정보를 도출하는 것은,
상기 영상의 상기 제1기준점을 기준으로 한 수직정보를 나타내는 Y축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 상기 좌표 정보를 기초로
임의의 같은 깊이 정보를 갖는 좌표 중 가장 낮은 수직 위치 정보를 갖는 좌표의 집합을 기준선으로 도출하는 것을 더 포함하는 장애물 검출 방법
제 15항에 있어서,
상기 좌표의 속도, 상기 좌표의 상기 기준선과 수직 거리, 상기 좌표의 미리 결정된 제2기준점으로부터의 위치 및 상기 좌표의 지속시간을 도출하는 것을 더 포함하는 장애물 검출 방법.
제 16항에 있어서,
상기 좌표 정보를 도출하는 것은,
상기 영상의 상기 제1기준점을 기준으로 한 수평정보를 나타내는 X축, 상기 영상의 상기 제1기준점을 기준으로 한 깊이 정보를 나타내는 Z축으로 구성된 좌표 정보를 도출하는 것을 더 포함하는 장애물 검출 방법.
제 17항에 있어서,
상기 장애물의 이동여부를 판단하는 것은,
상기 좌표의 상기 제2기준점으로부터의 위치를 기초로 상기 좌표를 포함하는 미리 결정된 크기를 갖는 셀을 형성하는 것을 더 포함하는 장애물 검출 방법.
제 18항에 있어서,
상기 장애물의 이동여부를 판단하는 것은,
차량의 속도, 차랑의 요레이트(Yaw rate) 및 미리 결정된 상기 셀의 크기를 기초로 상기 좌표의 속도 및 상기 좌표와 상기 미리 결정된 제2기준점으로부터의 위치를 수정하는 것을 더 포함하는 장애물 검출 방법.
제 19항에 있어서,
상기 좌표와 상기 기준선의 수직 거리와 미리 결정된 상기 셀의 높이의 차이에 기초하여 상기 셀의 가중치를 부여하는 것을 더 포함하는 장애물 검출 방법.
제 19항에 있어서,
상기 장애물의 이동여부를 판단하는 것은,
상기 셀이 포함하고 있는 상기 좌표의 평균속도와 상기 좌표의 위치의 분산 값을 비교하는 것을 더 포함하는 장애물 검출 방법.
제 21항에 있어서,
상기 장애물의 이동여부를 판단하는 것은,
상기 지속시간이 미리 결정된 값 이상인 상기 좌표를 기초로 상기 장애물의 이동여부를 판단하는 것을 더 포함하는 장애물 검출 방법.
제 17항에 있어서,
상기 좌표 정보를 도출하는 것은,
상기 X축을 상기 영상의 제3기준점을 기준으로 하는 수평정보를 나타내는 U축으로 구성된 좌표 정보로 변환하는 것을 더 포함하는 장애물 검출 방법.
제 23항에 있어서,
상기 장애물의 위치 및 크기를 산출하는 것은,
상기 U축과 상기 Z축으로 구성된 상기 좌표 정보를 기초로 동적 계획법(dynamic programming)을 수행한 결과 값을 도출하고, 상기 결과 값을 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 것을 더 포함하는 장애물 검출 방법.
제 24항에 있어서,
상기 장애물의 위치 및 크기를 산출하는 것은,
상기 결과 값을 기초로 근사화 된 직선을 도출하고, 상기 직선의 길이를 기초로 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 것을 더 포함하는 장애물 검출 방법.
제24항에 있어서,
상기 장애물의 위치 및 크기를 산출하는 것은,
상기 결과 값을 기초로 GOD(General Obstacle Detection)를 수행하여 상기 장애물의 위치와 상기 장애물의 크기를 산출하는 것을 더 포함하는 장애물 검출 방법.