KR20210050925A

KR20210050925A - 차량 충돌 회피 장치 및 방법

Info

Publication number: KR20210050925A
Application number: KR1020190135520A
Authority: KR
Inventors: 이동하; 윤종욱
Original assignee: 엘지전자 주식회사
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-05-10
Also published as: US20210122364A1

Abstract

차량 충돌 회피 장치 및 방법이 개시된다. 차량 충돌 회피 장치는 차량에 설치된 라이다에 의해 생성된 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, 회피 주행 알고리즘을 활성화하고, 활성화된 상기 회피 주행 알고리즘에 따라 충돌 방지 동작을 수행하며, 상기 위협가능 객체의 위치에 대응하는 영상(차량에 설치된 카메라에 의해 생성된 영상) 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하며, 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단됨에 따라, 상기 차량을 충돌 회피 공간으로 이동시킬 수 있다. 상기 위협가능 객체의 종류 식별시, 사용되는 객체 식별 알고리즘은 기계 학습을 통해 생성된 신경망 모델이고, 차량 충돌 회피 장치 내 메모리에 저장되거나, 또는 5G 네트워크를 통한 인공지능 환경에서 서버를 통해 제공될 수 있다.

Description

차량 충돌 회피 장치 및 방법{VEHICLE COLLISION AVOIDANCE APPARATUS AND METHOD}

본 발명은 차량의 주변에 존재하는 객체와 충돌하지 않도록 차량을 제어하는 차량 충돌 회피 장치 및 방법에 관한 것이다.

차량 주행시, 운전자의 뷰 포인트가 한정적이고, 차량 외부에 카메라가 설치된 경우에도, 카메라만을 이용하여 운전자가 주변 환경을 신속하고 정확하게 인지하기가 어렵고, 이에 따라 교통사고 발생률이 높다.

교통사고를 줄이기 위한 방안으로, 선행기술 1에는 차량 외부의 전, 후, 좌, 우에 카메라를 설치하고, 각 카메라를 내비게이션과 연결시킴으로써, 각 카메라를 통해 운전자가 볼 수 없는 사각지대를 촬영하여 내비게이션에 제공하는 구성을 개시하고 있다. 또한, 선행기술 2에는 차량의 카메라로부터 획득한 영상에서 측면차량에 대한 존재 여부를 판단하고, 측면차량이 존재하는 것으로 판단되면, 상기 측면차량과의 충돌을 회피하도록 조향각을 제어하거나 또는 운전자에게 이를 경고하여, 차량 간 충돌이 발생하지 않도록 하는 구성을 개시하고 있다.

그러나, 선행기술 1 및 선행기술 2는 모두 차량에 설치된 카메라를 이용하여, 차량의 충돌 사고를 조금이나마 줄일 수 있으나, 카메라만을 이용하여 타 차량을 움직임을 신속히 인지하고 충돌을 회피하는 데에는 한계가 있다.

선행기술 1: 한국 등록특허공보 제10-1752675호 선행기술 2: 한국 공개특허공보 제10-2012-0086577호

본 발명의 일실시예는, 차량에 설치된 카메라와 함께, 상기 차량에 설치된 라이다를 이용하여 주변 환경 내 객체에 대한 정보(예컨대, 객체의 속도, 진행 방향, 크기 및 객체와 차량 간의 거리 중 적어도 하나의 정보)를 신속하고 정확하게 인식할 수 있게 하는 것을 목적으로 한다.

본 발명의 일실시예는, 차량에 설치된 라이다를 통해 생성되는 포인트 클라우드 맵에 기초하여, 주변 환경 내 객체가 차량을 위협할 가능성이 있는 위협가능 객체로 판단함에 따라, 충돌 방지 동작(예컨대, 감속, 가속, 조향)을 차량에서 수행하도록 함으로써, 상기 차량과 상기 위협가능 객체의 충돌 가능성에 대비하여, 충돌하지 않도록 사전에 미리 예방하거나, 충돌이 발생하더라도 충돌로 인한 피해를 최소화하는 것을 목적으로 한다.

본 발명의 일실시예는, 차량에 설치된 라이다를 통해 생성된 포인트 클라우드 맵에 존재하는 위협가능 객체의 위치에 대응하여, 차량에 설치된 카메라를 통해 생성된 영상에서 관심 영역을 설정하고, 상기 관심 영역 내 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단되며, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 충돌 회피 공간으로 이동시킴으로써, 차량이 상기 위협가능 객체와의 충돌을 회피할 수 있게 하는 것을 목적으로 한다.

또한, 본 발명의 일실시예는, 차량과 위협가능 객체 간의 충돌이 예상될 때 비상 상황으로 판단하여, 주행가능 영역 뿐 아니라 비상 상황이 아닐 때에는 주행이 불가능한 영역까지도 일시적으로 충돌 회피 공간으로 설정하여, 차량과 위협가능 객체 간의 충돌을 최대한 방지할 수 있게 하는 것을 목적으로 한다.

본 발명의 일실시예는, 차량에 설치된 라이다(Lidar)로부터 설정된 범위의 주변 환경에 대한 포인트 클라우드 맵(point cloud map)을 수신하고, 상기 차량에 설치된 카메라로부터 상기 주변 환경에 대한 영상을 수신하는 인터페이스와, 상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, ⅰ)회피 주행 알고리즘을 활성화하고, ⅱ)활성화된 상기 회피 주행 알고리즘에 따라 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하며, ⅲ)상기 위협가능 객체의 위치에 대응하는 상기 카메라로부터 수신된 상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하여, 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단됨에 따라, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 프로세서를 포함하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 포인트 클라우드 맵이 설정된 주기 마다 수신되고, 상기 프로세서가, 상기 설정된 주기 마다 상기 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도(OGM: Occupancy Grid Map)로 변형하고, 상기 변형된 각각의 점유 격자 지도를 비교한 결과, 상기 각각의 점유 격자 지도 내에 객체가 존재하는 것으로 추정되는 점유(occupied) 영역에 대한 이동을 확인하고, 상기 이동에 기초하여 상기 점유 영역에 대응하는 상기 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함하는 상기 객체에 대한 정보를 확인하며, 상기 객체에 대한 정보에 기초하여, 상기 객체가 상기 위협가능 객체인지를 판단하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 상기 차량이 위치한 방향으로 움직이고, 상기 객체와 상기 차량 간의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체를 위협가능 객체로 판단하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 인터페이스가, 서버로부터 고정밀 지도(High Definition MAP)를 수신하고, 상기 프로세서가, 상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하고, 상기 고정밀 지도 내 차선 정보에 기초하여, 상기 객체의 움직임이 정상인지를 확인하며, 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 인터페이스가 상기 포인트 클라우드 맵과 함께, 상기 영상 또한 설정된 주기 마다 수신하고, 상기 프로세서가, 상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하고, 상기 점유 격자 지도로부터 상기 객체가 존재하지 않을 것으로 추정되는 비점유 영역(non-occupied) 및 상기 객체의 움직임에 기초하여, 상기 차량의 주행가능 영역을 결정하며, 상기 결정된 차량의 주행가능 영역을 상기 설정된 주기 마다 수신되는 영상 내 주행가능 영역에 기초하여 조정한 후, 상기 조정된 주행가능 영역에 기초하여 상기 차량의 주행을 제어하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 충돌 회피 공간을 설정하기 전에, 상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 긴 것에 기초하여, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜, 상기 차량에서 충돌 방지 동작을 수행하도록 하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 상기 충돌 회피 공간으로 이동시키는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역을 설정하고, 상기 설정된 회피 영역 및 상기 차량의 주행가능 영역을 충돌 회피 공간으로 설정하며, 상기 차량과 상기 위협가능 객체 간의 충돌 회피를 위한 상기 차량 제어시, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키기 전에, 상기 충돌 회피 공간으로의 상기 차량 이동에 대한 메시지를 상기 차량을 기준으로 설정된 범위 내에 위치하는 타 차량에 전송하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단함에 따라, 상기 영상에서 상기 위협가능 객체에 대한 공간 좌표에 대응하는 영역을 관심 영역으로 설정하고, 상기 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트(frame rate)를 설정된 배수 만큼 증가시킴에 따라, 상기 배수 만큼 증가되어 수신되는 상기 관심 영역의 영상에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시켜, 상기 위협가능 객체의 종류에 대한 정확도를 설정된 신뢰도 이상으로 증가시키는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 관심 영역의 영상에, 객체 식별 알고리즘을 적용하여, 상기 위협가능 객체의 종류를 식별하고, 상기 식별된 위협가능 객체의 종류가 상기 회피 대상인지를 판단하며, 상기 객체 식별 알고리즘이, 수집된 영상 내 지정 영역에서 객체를 검출하고, 상기 검출된 객체의 종류를 식별하도록 훈련된 신경망 모델인, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 상기 프로세서가, 상기 위협가능 객체의 종류가 상기 설정된 회피 대상이 아니거나, 또는 상기 차량과 상기 위협가능 객체가 충돌되지 않을 것으로 판단함에 따라, 상기 회피 주행 알고리즘을 비활성화하는, 차량 충돌 회피 장치일 수 있다.

본 발명의 일실시예는, 차량에 설치된 라이다로부터 설정된 범위의 주변 환경에 대한 포인트 클라우드 맵을 수신하고, 상기 차량에 설치된 카메라로부터 상기 주변 환경에 대한 영상을 수신하는 단계와, 상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, 회피 주행 알고리즘을 활성화하고, 활성화된 상기 회피 주행 알고리즘에 따라 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하는 단계와, 상기 위협가능 객체의 위치에 대응하는 상기 카메라로부터 수신된 상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하는 단계와, 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단됨에 따라, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 포인트 클라우드 맵이 설정된 주기 마다 수신되고, 상기 설정된 주기 마다 상기 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도로 변형하는 단계와, 상기 변형된 각각의 점유 격자 지도를 비교한 결과, 상기 각각의 점유 격자 지도 내에 객체가 존재하는 것으로 추정되는 점유 영역에 대한 이동을 확인하는 단계와, 상기 이동에 기초하여 상기 점유 영역에 대응하는 상기 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함하는 상기 객체에 대한 정보를 확인하고, 상기 객체에 대한 정보에 기초하여, 상기 객체가 상기 위협가능 객체인지를 판단하는 단계를 더 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 객체가 상기 위협가능 객체인지를 판단하는 단계가, 설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 상기 차량이 위치한 방향으로 움직이고, 상기 객체와 상기 차량 간의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체를 위협가능 객체로 판단하는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 객체가 상기 위협가능 객체인지를 판단하는 단계가, 상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하는 단계와, 서버로부터 고정밀 지도가 수신됨에 따라, 상기 고정밀 지도 내 차선 정보에 기초하여, 상기 객체의 움직임이 정상인지를 확인하며, 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단하는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하는 단계가, 상기 충돌 회피 공간을 설정하기 전에, 상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 긴 것에 기초하여, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜, 상기 차량에서 충돌 방지 동작을 수행하도록 하는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계가, 상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 상기 충돌 회피 공간으로 이동시키는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계가, 상기 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역을 설정하는 단계와, 상기 설정된 회피 영역 및 상기 차량의 주행가능 영역을 충돌 회피 공간으로 설정하며, 상기 차량과 상기 위협가능 객체 간의 충돌 회피를 위한 상기 차량 제어시, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

본 발명의 일실시예는, 상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하는 단계가, 상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단함에 따라, 상기 영상에서 상기 위협가능 객체에 대한 공간 좌표에 대응하는 영역을 관심 영역으로 설정하는 단계와, 상기 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트를 설정된 배수 만큼 증가시킴에 따라, 상기 배수 만큼 증가되어 수신되는 상기 관심 영역의 영상에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시켜, 상기 위협가능 객체의 종류에 대한 정확도를 설정된 신뢰도 이상으로 증가시키는 단계를 포함하는, 차량 충돌 회피 방법일 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 의하면, 차량에 설치된 카메라와 함께, 상기 차량에 설치된 라이다를 이용하여 주변 환경 내 객체에 대한 정보(예컨대, 객체의 속도, 진행 방향, 크기 및 객체와 차량 간의 거리 중 적어도 하나의 정보)를 신속하고 정확하게 인식할 수 있게 한다.

본 발명에 따르면, 차량에 설치된 라이다를 통해 생성되는 포인트 클라우드 맵에 기초하여, 주변 환경 내 객체가 차량을 위협할 가능성이 있는 위협가능 객체로 판단함에 따라, 충돌 방지 동작(예컨대, 감속, 가속, 조향)을 차량에서 수행하도록 함으로써, 상기 차량과 상기 위협가능 객체의 충돌 가능성에 대비하여, 충돌하지 않도록 사전에 미리 예방하거나, 충돌이 발생하더라도 충돌로 인한 피해를 최소화할 수 있다.

본 발명에 의하면, 차량에 설치된 라이다를 통해 생성된 포인트 클라우드 맵에 존재하는 위협가능 객체의 위치에 대응하여, 차량에 설치된 카메라를 통해 생성된 영상에서 관심 영역을 설정하고, 상기 관심 영역 내 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단되며, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 충돌 회피 공간으로 이동시킴으로써, 차량이 상기 위협가능 객체와의 충돌을 회피할 수 있게 한다.

또한, 본 발명에 따르면, 차량과 위협가능 객체 간의 충돌이 예상될 때 비상 상황으로 판단하여, 주행가능 영역 뿐 아니라 비상 상황이 아닐 때에는 주행이 불가능한 영역까지도 일시적으로 충돌 회피 공간으로 설정하여, 차량과 위협가능 객체 간의 충돌을 최대한 방지할 수 있게 한다.

도 1은 본 발명의 실시예에 따른 차량 충돌 회피 장치가 적용되는 차량을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 충돌 회피 장치가 적용되는 시스템을 도시한 블록도이다.
도 3은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 차량 충돌 회피 장치의 구성에 대한 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 차량 충돌 회피 장치의 구성에 대한 다른 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 라이다를 이용하여 객체 움직임 및 주행가능 영역을 결정하는 구성의 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 위협가능 객체를 확인하는 일례를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 위협가능 객체를 확인하는 다른 일례를 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 위협가능 객체가 확인될 때의 처리 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 차량 충돌 회피 방법을 나타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.

도 1은 본 발명의 실시예에 따른 차량 충돌 회피 장치가 적용되는 차량을 도시한 도면이다.

도 1을 참조하면, 차량 충돌 회피 장치가 적용되는 차량(100)은, 예컨대, 동일한 위치에 라이다(101) 및 카메라(102)가 설치될 수 있다. 여기서, 라이다(101) 및 카메라(102)는 차량(100)의 외부에 설치될 수 있으며, 1개 이상의 위치(예컨대, 차량의 전면, 측면, 후면)에 설치될 수 있다.

라이다(101)는 예컨대, 설정된 범위의 주변 환경에 수직 및 수평 방향 빛을 조사하고, 반사되어 수신되는 빛에 기초하여 해당 주변 환경에 대한 포인트 클라우드 맵(point cloud map)을 생성할 수 있다.

또한, 카메라(102)는 RGB(Red, Green, Blue) 센서, IR(Infrared Radiation) 센서 및 TOF(Time of Flight) 센서 중 적어도 하나의 센서를 이용하여 상기 주변 환경에 대한 영상을 생성할 수 있다.

본 발명의 실시예에 따른 차량 충돌 회피 장치는 차량(100)의 내부에 탑재되어, 차량(100)의 외부를 촬영하는 라이다(101) 및 카메라(102)로부터 포인트 클라우드 맵 및 영상을 각각 수신할 수 있으며, 포인트 클라우드 맵 및 영상에 기초하여, 차량의 주변 환경에 존재하는 객체를 인식할 수 있다.

차량 충돌 회피 장치는 먼저, 포인트 클라우드 맵으로부터 인식된 객체가 차량(100)을 위협할 가능성이 있는 위협가능 객체일 경우, 회피 주행 알고리즘을 활성화하고, 상기 회피 주행 알고리즘에 따라, 차량에서의 충돌 방지 동작(예컨대, 감속, 가속, 조향)을 수행하며, 충돌 회피 공간을 미리 설정할 수 있다. 또한, 차량 충돌 회피 장치는 카메라로부터 수신된 상기 영상에 기초하여, 상기 위협가능 객체의 종류가 설정된 회피 대상(예컨대, 차량, 사람 등)로 판단되고, 차량(100)과 상기 위협가능 객체가 충돌될 것으로 판단 됨에 따라, 차량(100)을 미리 설정한 충돌 회피 공간으로 이동시킴으로써, 차량(100)으로 하여금 충돌회피 대응속도를 향상시켜, 상기 위협가능 객체와의 충돌을 신속하게 회피할 수 있게 한다.

도 2는 본 발명의 실시예에 따른 차량 충돌 회피 장치가 적용되는 시스템을 도시한 블록도이다.

도 2를 참조하면, 차량 충돌 회피 장치가 적용되는 시스템(200)은 차량(100)에 포함될 수 있으며, 통신부(201), 제어부(202), 사용자 인터페이스부(203), 오브젝트 검출부(204), 운전 조작부(205), 차량 구동부(206), 운행부(207), 센싱부(208), 저장부(209) 및 차량 충돌 회피 장치(210)를 포함할 수 있다.

실시예에 따라 차량 충돌 회피 장치가 적용되는 시스템은, 도 2에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 2에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.

차량(100)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 통신부(201)에 의해 수신된 정보, 오브젝트 검출부(204)에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.

차량(100)은 사용자 인터페이스부(203)를 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다.

차량(100)이 자율 주행 모드로 운행되는 경우, 차량(100)은 주행, 출차, 주차 동작을 제어하는 운행부(207)의 제어에 따라 운행될 수 있다. 한편, 차량(100)이 매뉴얼 모드로 운행되는 경우, 차량(100)은 운전자의 기계적 운전 조작을 통한 입력에 의해 운행될 수 있다.

통신부(201)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 사용자 단말기, 타 차량 또는 서버일 수 있다.

통신부(201)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.

통신부(201)는, 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다.

실시예에 따라, 통신부(201)는, 설명되는 기능 외에 다른 기능을 더 지원하거나, 설명되는 기능 중 일부를 지원하지 않을 수 있다.

통신부(201)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

통신부(201)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 장치 사이의 근거리 통신을 수행할 수 있다.

통신부(201)는, 차량(100)의 위치 정보를 획득하기 위한 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.

통신부(201)는, 차량(100)과 서버(V2I: Vehicle to Infra), 타 차량(V2V: Vehicle to Vehicle) 또는 보행자(V2P: Vehicle to Pedestrian)와의 무선 통신을 지원하는 모듈, 즉, V2X 통신 모듈을 포함할 수 있다. V2X 통신 모듈은, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.

통신부(201)는, V2X 통신 모듈을 통하여, 타 차량이 송신하는 위험 정보 방송 신호를 수신할 수 있고, 위험 정보 질의 신호를 송신하고 그에 대한 응답으로 위험 정보 응답 신호를 수신할 수 있다.

통신부(201)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 광통신 모듈을 포함할 수 있다. 광통신 모듈은, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신 모듈 및 수신된 광 신호를 전기 신호로 전환하는 광수신 모듈을 포함할 수 있다.

실시예에 따라, 광발신 모듈은, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.

통신부(201)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 방송 통신 모듈을 포함할 수 있다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.

통신부(201)는, 교통 시스템과 정보, 데이터 또는 신호를 교환하는 ITS 통신 모듈을 포함할 수 있다. ITS 통신 모듈은, 교통 시스템에 획득한 정보, 데이터를 제공할 수 있다. ITS 통신 모듈은, 교통 시스템으로부터, 정보, 데이터 또는 신호를 제공받을 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 도로 교통 정보를 수신하여, 제어부(202)에 제공할 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 제어 신호를 수신하여 제어부(202) 또는 차량(100) 내부에 구비된 프로세서에 제공할 수 있다.

실시예에 따라, 통신부(201)의 각 모듈은 통신부(201) 내에 구비된 별도의 프로세서에 의해 전반적인 동작이 제어될 수 있다. 통신부(201)는, 복수개의 프로세서를 포함하거나, 프로세서를 포함하지 않을 수도 있다. 통신부(201)에 프로세서가 포함되지 않는 경우, 통신부(201)는, 차량(100) 내 다른 장치의 프로세서 또는 제어부(202)의 제어에 따라, 동작될 수 있다.

통신부(201)는, 사용자 인터페이스부(203)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.

도 3은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.

통신부(201)는, 차량(100)이 자율 주행 모드로 운행되는 경우, 특정 정보를 5G 네트워크로 전송할 수 있다(S1).

이 때, 특정 정보는 자율 주행 관련 정보를 포함할 수 있다.

자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.

자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 특정 정보는, 사용자 인터페이스부(203)를 통해 입력된 목적지와 차량의 안정 등급에 관한 정보를 포함할 수 있다.

또한, 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).

여기서, 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.

또한, 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율 주행 차량으로 전송할 수 있다(S3).

전술한 바와 같이, 원격 제어와 관련된 정보는 자율 주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시예에서 자율 주행 차량은, 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율 주행과 관련된 서비스를 제공할 수 있다.

차량(100)은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다.

이하의 실시예에서, 사용자는 운전자, 탑승자 또는 사용자 단말기의 소유자로 해석될 수 있다.

차량(100)이 자율 주행 모드로 주행 중인 경우에, 주변 위험 요소들을 실시간 센싱하는 능력에 따라 사고 발생 유형 및 빈도가 크게 달라질 수 있다. 목적지까지의 경로는 날씨, 지형 특성, 교통 혼잡도 등 다양한 원인에 의해 위험 수준이 서로 다른 구간들을 포함할 수 있다.

본 발명의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Inteligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.

예를 들어, 차량(100)은 자율 주행 중에 차량(100)에 포함된 적어도 하나의 인공지능 모듈, 로봇과 연계되어 동작할 수 있다.

예를 들어, 차량(100)은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.

로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량(100)에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(100)에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(100)에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.

차량(100)에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.

차량(100)에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량(100)에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, HD 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.

차량(100)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량(100)에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.

차량(100)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량(100)에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.

차량(100)에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)을 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.

인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.

차량(100)에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.

실시예에 따라, 차량(100)에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.

인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.

또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.

제어부(202)는, ASICs (Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

사용자 인터페이스부(203)는, 차량(100)과 차량 이용자와의 소통을 위한 것으로, 이용자의 입력 신호를 수신하고, 수신된 입력 신호를 제어부(202)로 전달하며, 제어부(202)의 제어에 의해 이용자에게 차량(100)이 보유하는 정보를 제공할 수 있다. 사용자 인터페이스부(203)는, 입력 모듈, 내부 카메라, 생체 감지 모듈 및 출력 모듈을 포함할 수 있으나 이에 한정되지 않는다.

입력 모듈은, 사용자로부터 정보를 입력 받기 위한 것으로, 입력 모듈에서 수집한 데이터는, 제어부(202)에 의해 식별되어, 사용자의 제어 명령으로 처리될 수 있다.

입력 모듈은, 사용자로부터 차량(100)의 목적지를 입력받아 제어부(202)로 제공할 수 있다.

입력 모듈은, 사용자의 입력에 따라 오브젝트 검출부(204)의 복수개의 센서 모듈 중 적어도 하나의 센서 모듈을 지정하여 비활성화하는 신호를 제어부(202)로 입력할 수 있다.

입력 모듈은, 차량 내부에 배치될 수 있다. 예를 들면, 입력 모듈은, 스티어링 휠(Steering wheel)의 일 영역, 인스투루먼트 패널(Instrument panel)의 일 영역, 시트(Seat)의 일 영역, 각 필러(Pillar)의 일 영역, 도어(Door)의 일 영역, 센타 콘솔(Center console)의 일 영역, 헤드 라이닝(Head lining)의 일 영역, 썬바이저(Sun visor)의 일 영역, 윈드 쉴드(Windshield)의 일 영역 또는 윈도우(Window)의 일 영역 등에 배치될 수 있다.

출력 모듈은, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 모듈은, 음향 또는 영상을 출력할 수 있다.

출력 모듈은, 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.

디스플레이 모듈은, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.

디스플레이 모듈은 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉서블 디스플레이(Flexible display), 삼차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

디스플레이 모듈은 터치 입력 모듈과 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.

디스플레이 모듈은 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 모듈이 HUD로 구현되는 경우, 디스플레이 모듈은 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 영상을 통해 정보를 출력할 수 있다.

디스플레이 모듈은, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.

투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.

사용자 인터페이스부(203)는, 복수개의 디스플레이 모듈을 포함할 수 있다.

디스플레이 모듈은, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬 바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 윈도우의 일영역에 구현될 수 있다.

음향 출력 모듈은, 제어부(202)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 음향 출력 모듈은, 하나 이상의 스피커를 포함할 수 있다.

햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.

오브젝트 검출부(204)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 제어부(202)로 전달할 수 있다. 이때, 오브젝트는 차량(100)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.

오브젝트 검출부(204)는, 복수개의 센서 모듈로서, 복수개의 촬상부로서의 카메라 모듈, 라이다(LIDAR: Light Imaging Detection and Ranging), 초음파 센서, 레이다(RADAR: Radio Detection and Ranging)(1450) 및 적외선 센서를 포함할 수 있다.

오브젝트 검출부(204)는, 복수개의 센서 모듈을 통하여 차량(100) 주변의 환경 정보를 센싱할 수 있다.

실시예에 따라, 오브젝트 검출부(204)는, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

레이다는, 전자파 송신 모듈, 수신 모듈을 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.

레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

라이다는, 레이저 송신 모듈, 수신 모듈을 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.

라이다는, 구동식 또는 비구동식으로 구현될 수 있다.

구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있고, 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수개의 비구동식 라이다를 포함할 수 있다.

라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

촬상부는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳, 예를 들면, 차량의 전방, 후방, 우측 사이드 미러, 좌측 사이드 미러에 위치할 수 있다. 촬상부는, 모노 카메라일 수 있으나, 이에 한정되지 않으며, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.

촬상부는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 촬상부는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.

촬상부는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 촬상부는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.

촬상부는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또한, 촬상부는 휀더 또는 도어 주변에 배치될 수 있다.

촬상부는, 획득된 영상을 제어부(202)에 제공할 수 있다.

초음파 센서는, 초음파 송신 모듈, 수신 모듈을 포함할 수 있다. 초음파 센서는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

초음파 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

적외선 센서는, 적외선 송신 모듈, 수신 모듈을 포함할 수 있다. 적외선 센서는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

적외선 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

제어부(202)는, 오브젝트 검출부(204)의 각 모듈의 전반적인 동작을 제어할 수 있다.

제어부(202)는, 레이다, 라이다, 초음파 센서 및 적외선 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다.

제어부(202)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

예를 들면, 제어부(202)는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.

예를 들면, 제어부(202)는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.

제어부(202)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

제어부(202)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

제어부(202)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

제어부(202)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

실시예에 따라, 오브젝트 검출부(204)는, 제어부(202)와 별도의 프로세서를 내부에 포함할 수 있다. 또한, 레이다, 라이다, 초음파 센서 및 적외선 센서 각각 개별적으로 프로세서를 포함할 수 있다.

오브젝트 검출부(204)에 프로세서가 포함된 경우, 오브젝트 검출부(204)는, 제어부(202)의 제어를 받는 프로세서의 제어에 따라, 동작될 수 있다.

운전 조작부(205)는, 운전을 위한 사용자 입력을 수신할 수 있다. 메뉴얼 모드인 경우, 차량(100)은, 운전 조작부(205)에 의해 제공되는 신호에 기초하여 운행될 수 있다.

차량 구동부(206)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어할 수 있다. 차량 구동부(206)는, 차량(100)내 파워 트레인, 샤시, 도어/윈도우, 안전 장치, 램프 및 공조기의 구동을 전기적으로 제어할 수 있다.

운행부(207)는, 차량(100)의 각종 운행을 제어할 수 있다. 운행부(207)는, 자율 주행 모드에서 동작될 수 있다.

운행부(207)는, 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있다.

실시예에 따라, 운행부(207)는, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.

운행부(207)는, 제어부(202)의 제어를 받는 프로세서를 포함할 수 있다. 운행부(207)의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다.

실시예에 따라, 운행부(207)가 소프트웨어적으로 구현되는 경우, 제어부(202)의 하위 개념일 수도 있다.

주행 모듈은, 차량(100)의 주행을 수행할 수 있다.

주행 모듈은, 오브젝트 검출부(204)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

주행 모듈은, 통신부(201)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

출차 모듈은, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 오브젝트 검출부(204)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 통신부(201)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

주차 모듈은, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 오브젝트 검출부(204)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 통신부(201)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

내비게이션 모듈은, 제어부(202)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.

내비게이션 모듈은, 차량(100)이 진입한 주차장의 주차장 지도를 제어부(202)에 제공할 수 있다. 제어부(202)는, 차량(100)이 주차장에 진입한 경우, 내비게이션 모듈로부터 주차장 지도를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 주차장 지도에 투영하여 지도 데이터를 생성할 수 있다.

내비게이션 모듈은, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 통신부(201)를 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션 모듈은, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 제어부(202)로부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.

운행부(207)의 주행 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

센싱부(208)는, 차량(100)에 장착된 센서를 이용하여 차량(100)의 상태를 센싱, 즉, 차량(100)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(100)의 이동 경로 정보를 획득할 수 있다. 센싱부(208)는, 획득된 이동 경로 정보를 제어부(202)에 제공할 수 있다.

센싱부(208)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.

센싱부(208)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.

센싱부(208)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.

센싱부(208)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.

차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.

저장부(209)는, 제어부(202)와 전기적으로 연결된다. 저장부(209)는 차량 충돌 회피 장치(210)각 부에 대한 기본 데이터, 차량 충돌 회피 장치(210) 각 부의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 저장부(209)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 저장부(209)는 제어부(202)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터, 특히, 운전자 성향 정보를 저장할 수 있다. 이때, 저장부(209)는, 제어부(202)와 일체형으로 형성되거나, 제어부(202)의 하위 구성 요소로 구현될 수 있다.

차량 충돌 회피 장치(210)는 차량(100)에 설치된 라이다 및 카메라를 이용하여, 차량(100)의 주변 환경 내 객체를 신속하게 인식할 수 있다. 차량 충돌 회피 장치(210)는 상기 객체가 위협가능 객체이고, 설정된 회피 대상으로 판단되며, 차량(100)과 상기 위협가능 객체가 충돌될 것으로 판단 됨에 따라, 차량(100)이 상기 위협가능 객체와의 충돌을 회피하도록 차량(100)을 제어할 수 있다.

이러한 차량 충돌 회피 장치(210)는 인터페이스, 프로세서 및 메모리를 포함할 수 있으며, 이후 도 4를 참조하여 상세하게 설명하도록 한다. 여기서, 인터페이스는 예컨대, 통신부(201)에 포함될 수 있고, 프로세서는 제어부(202)에 포함될 수 있으며, 메모리는 저장부(209)에 포함될 수 있다.

도 4는 본 발명의 일실시예에 따른 차량 충돌 회피 장치의 구성에 대한 일례를 도시한 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 차량 충돌 회피 장치(400)는 인터페이스(401), 프로세서(402) 및 메모리(403)를 포함할 수 있다.

인터페이스(401)는 차량에 설치된 라이다로부터 설정된 범위의 주변 환경에 대한 포인트 클라우드 맵(point cloud map)을 설정된 주기 마다 수신할 수 있다. 인터페이스(401)는 차량에 설치된 카메라로부터 상기 주변 환경에 대한 영상을 설정된 주기 마다 수신할 수 있다. 여기서, 주변 환경은 차량의 주행방향의 환경일 수 있으나, 이에 한정되지 않고 차량 기준으로 모든 방향의 환경일 수 있다.

또한, 인터페이스(401)는 서버로부터 고정밀 지도(High Definition MAP)를 수신할 수 있다. 여기서, 고정밀 지도는 설정된 범위의 주변 환경을 포함하는 영역 또는 상기 차량이 위치하는 지역(예컨대, 구, 동)에 대한 상세한 지도일 수 있다.

프로세서(402)는 상기 포인트 클라우드 맵에서 객체가 인식되면, 상기 객체가 상기 차량을 위협할 가능성이 있는 위협가능 객체인지를 판단함에 따라, 상기 포인트 클라우드 맵에 위협가능 객체가 존재하는지를 판단할 수 있다.

프로세서(402)는 상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, ⅰ)회피 주행 알고리즘을 활성화함으로써, 상기 차량과 상기 위협가능 객체의 충돌 가능성에 대비하여 차량으로 하여금 충돌회피 대응속도를 향상시킴에 따라, 충돌하지 않도록 사전에 미리 예방하거나, 충돌이 발생하더라도 충돌로 인한 피해를 최소화할 수 있다. 이때, 프로세서(402)는 예컨대, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜 상기 차량에서 충돌 방지 동작을 수행하도록 한다.

이후, 프로세서(402)는 ⅱ)활성화된 상기 회피 주행 알고리즘에 따라 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하고, ⅲ)상기 위협가능 객체의 위치에 대응하는 상기 영상 내 관심 영역(ROI: Region of Interest)에서 상기 위협가능 객체의 종류를 식별하며, 상기 위협가능 객체의 종류를 설정된 회피 대상(예컨대, 차량, 사람)으로 판단할 수 있다. 프로세서(402)는 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단됨에 따라, 상기 차량을 미리 설정된 상기 충돌 회피 공간으로 이동시킬 수 있다.

또한, 프로세서(402)는 상기 차량과 상기 위협가능 객체 간의 충돌 여부를 더 판단할 수 있으며, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 충돌 회피 공간으로 이동시킴으로써, 상기 차량이 상기 위협가능 객체와의 충돌을 회피할 수 있게 한다.

결과적으로, 프로세서(402)는 라이더로부터 수신한 포인트 클라우드 맵에 기초하여, 회피 주행 알고리즘을 활성화함으로써, 1차적으로 충돌 방지 동작을 수행한 후, 카메라로부터 수신한 영상에 기초하여, 2차적으로 차량을 미리 설정된 충돌 회피 공간으로 이동시킴에 따라, 차량으로 하여금 위협가능 객체와의 충돌을 민첩하게 회피할 수 있게 한다.

상기 위협가능 객체에 대한 존재 판단시, 프로세서(402)는 먼저, 설정된 주기 마다 상기 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도(OGM: Occupancy Grid Map)로 변형할 수 있다. 이때, 프로세서(402)는 3차원의 포인트 클라우드 맵으로부터 불필요한 부분(예컨대, 노면(도로)과 노이즈(Noise))를 제거 함으로써, 추후 객체 인식 및 공간 인식시 데이터의 양을 줄여 연산에 사용되는 자원을 절약할 수 있게 한다. 프로세서(402)는 불필요한 부분이 제거된 포인트 클라우드 맵에서, 객체가 존재하는 것으로 추정되는 점유(occupied) 영역 및 객체가 존재하지 않을 것으로 추정되는 비점유 영역(non-occupied)을 분류할 수 있다. 이후, 프로세서(402)는 점유(occupied) 영역과 비점유 영역(non-occupied)에 기초하여 3차원의 포인트 클라우드 맵을 2차원의 점유 격자 지도로 변형할 수 있다.

이에 따라, 2차원의 점유 격자 지도 또한 객체가 존재하는 것으로 추정되는 점유(occupied) 영역 및 객체가 존재하지 않을 것으로 추정되는 비점유 영역(non-occupied)을 포함할 수 있다.

프로세서(402)는 상기 변형된 각각의 점유 격자 지도(복수의 점유 격자 지도)를 비교한 결과, 상기 각각의 점유 격자 지도 내에 객체가 존재하는 것으로 추정되는 점유 영역에 대한 이동을 확인할 수 있다. 프로세서(402)는 상기 이동에 기초하여, 상기 점유 영역에 대응하는 객체에 대한 정보를 확인하고, 상기 객체에 대한 정보에 기초하여 상기 객체가 상기 위협가능 객체인지를 판단할 수 있다. 여기서, 객체에 대한 정보는 상기 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함할 수 있다. 이때, 프로세서(402)는 점유 영역에 대해 예컨대, 칼만 필터(Kalman filter)를 이용하여 객체에 대한 정보를 확인할 수 있다.

구체적으로, 프로세서(402)는 현재 시점을 기준으로 설정된 주기(예컨대, 0.1초) 이전에 수신된 제1 포인트 클라우드 맵이 변형된 제1 점유 격자 지도와 현재 시점에서 수신된 제2 포인트 클라우드 맵이 변형된 제2 점유 격자 지도를 비교하고, 상기 비교 결과, 객체가 존재하는 것으로 추정되는 점유 영역의 이동(또는, 크기, 거리)이, 설정된 조건(예컨대, 이동 속도, 방향, 크기 등)을 만족하는지에 따라, 점유 영역에 존재하는 것으로 추정되는 객체에 대한 위협가능 객체 여부를 판단할 수 있다. 즉, 프로세서(402)는 객체가 존재하는 것으로 추정되는 점유 영역의 이동(또는, 크기, 거리)이, 설정된 조건을 만족 함에 따라, 점유 영역에 존재하는 것으로 추정되는 객체가 위협가능 객체인 것으로 판단할 수 있다.

예컨대, 프로세서(402)는 제1 점유 격자 지도 내 제1 점유 영역에 존재하는 것으로 추정되는 객체가, 제2 점유 격자 지도 내 제2 점유 영역으로 이동함에 따라, 설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 차량 충돌 회피 장치가 포함된 차량이 위치한 방향으로 움직이고, 객체와 차량의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체가 위협가능 객체인 것으로 판단할 수 있다. 이때, 프로세서(402)는 3차원의 포인트 클라우드 맵이 수신되는 주기와 제1 및 제2 점유 영역 간의 이동 거리에 기초하여, 상기 객체의 속도를 산출할 수 있다.

한편, 프로세서(402)는 상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정(또는, 예상)할 수 있다. 여기서, 프로세서(402)는 인터페이스(401)를 통해 서버로부터 수신한 고정밀 지도 내 차선 정보에 기초하여, 상기 객체의 움직임에 대한 정상 여부를 확인하고, 상기 확인 결과에 기초하여 상기 객체가 상기 위협가능 객체인지를 재판단할 수 있다. 이때, 프로세서(402)는 상기 고정밀 지도를 2차원의 점유 격자 지도로 변환하고, 변환된 고정밀 지도의 점유 격자 지도 내 차선 정보에 기초하여, 상기 객체의 움직임이 정상인지를 확인하고, 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단할 수 있다. 예컨대, 프로세서(402)는 상기 점유 영역에 존재하는 것으로 추정되는 객체가, 상기 차선 정보를 무시하고, 차량 충돌 회피 장치가 포함된 차량의 위치로 빠르게 접근할 경우, 상기 객체의 움직임을 비정상으로 확인하여, 상기 객체를 위협 객체로 판단할 수 있다.

반면, 프로세서(402)는 상기 객체의 움직임이 정상으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단할 수 있다. 예컨대, 프로세서(402)는 상기 점유 영역에 존재하는 것으로 추정되는 객체가, 차량 충돌 회피 장치가 포함된 차량의 위치로 빠르게 접근하더라도, 상기 차선 정보에 기초하여 인접 차선으로 상기 객체의 진입이 예상됨에 따라, 상기 객체의 움직임을 정상으로 확인하여, 상기 객체를 차량에 위협할 가능성이 없는 비위협 객체로 판단할 수 있다.

상기 차량의 충돌 방지 동작 수행시, 프로세서(402)는 상기 포인트 클라우드 맵에서의 위협가능 객체 존재 외에, 상기 위협가능 객체와 상기 차량의 거리를 더 확인할 수 있으며, 상기 확인 결과, 상기 거리가 상기 차량의 설정된 제동 거리 보다 긴 것에 기초하여, 상기 충돌 방지 동작을 수행하도록 차량을 제어할 수 있다.

또한, 상기 위협가능 객체의 종류에 대한 상기 회피 대상 판단시, 프로세서(402)는 라이다에 의해 생성된 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단 됨에 따라, 카메라로부터 인터페이스(401)를 통해 수신된 영상에서 상기 위협가능 객체에 대한 공간 좌표에 대응하는 영역을 관심 영역으로 설정하고, 상기 설정된 관심 영역 내에 존재하는 상기 위협가능 객체의 종류를 식별할 수 있다. 이때, 프로세서(402)는 상기 위협가능 객체가 존재하는 것으로 판단되는 포인트 클라우드 맵과 동시에 수신된 영상(예컨대, 포인트 클라우드 맵과 일치하는 주기에 수신된 영상)(또는, 포인트 클라우드 맵 보다 설정된 주기 만큼 늦게 수신된 영상)에 관심 영역을 설정하고, 관심 영역의 영상에 메모리(403) 내 객체 식별 알고리즘을 적용하여, 상기 위협가능 객체의 종류를 식별할 수 있다. 여기서, 상기 객체 식별 알고리즘은 수집된 영상 내 지정 영역에서 객체를 검출하고, 상기 검출된 객체의 종류를 식별하도록 훈련된 신경망 모델일 수 있다.

즉, 프로세서(402)는 라이다에 의해 생성된 포인트 클라우드 맵에서 위협가능 객체로 판단된 객체의 위치를, 카메라에 의해 생성된 영상에 관심 영역으로 설정하여, 상기 관심 영역 내 객체를 신속하게 인식 함으로써, 객체의 위치를 빠르고, 정확하게 추정할 수 있는 라이다와 객체의 종류(또는, 형태, 크기)를 빠르고, 정확하게 추정할 수 있는 카메라를 이용하여, 위협가능 객체에 관한 정보(예컨대, 위협가능 객체의 위치, 종류, 크기, 형태 등)를 신속하고 용이하게 파악할 수 있다.

한편, 프로세서(402)는 상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단 됨에 따라(또는, 영상에서 관심 영역이 설정됨에 따라), 상기 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트(frame rate)를 설정된 배수(또는, 설정된 수치) 만큼 증가시키고, 상기 배수 만큼 증가되어 인터페이스(401)를 통해, 수신되는 각 영상 내 상기 관심 영역에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시켜, 상기 위협가능 객체의 종류에 대한 정확도를 설정된 신뢰도 이상으로 증가시킬 수 있다. 예컨대, 프로세서(402)는 0.1초 마다 포인트 클라우드 맵 및 영상이 각각 수신되는 상태에서, 상기 포인트 클라우드 맵에서 상기 위협가능 객체가 존재하는 것으로 판단 됨에 따라, 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트(frame rate)를 증가시켜, 0.05 초마다 영상을 수신할 수 있으며, 동일한 시간(0.1초) 동안 2개의 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시킬 수 있다.

또한, 프로세서(402)는 상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단 됨에 따라(또는, 영상에서 관심 영역이 설정됨에 따라), 라이다에 의해 생성되는 포인트 클라우드 맵 및 카메라에 의해 생성되는 영상이 생성되는 주기를 감소시켜, 보다 많은 양의 데이터(포인트 클라우드 맵, 영상)을 수신함으로써, 주변 환경 변화를 보다 신속히 파악할 수 있게 하는 환경을 마련할 수 있다.

상기 차량과 상기 위협가능 객체 간의 충돌 판단시, 프로세서(402)는 상기 위협가능 객체와 상기 차량의 거리를 확인하고, 상기 확인 결과, 상기 위협가능 객체와 상기 차량의 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 상기 충돌 회피 공간으로 이동시킬 수 있다.

또한, 프로세서(402)는 상기 포인트 클라우드 맵 및 상기 영상으로부터 차량의 주행가능 영역을 결정할 수 있다. 이때, 프로세서(402)는 3차원의 포인트 클라우드 맵이 변형된 2차원의 점유 격자 지도로부터 상기 객체가 존재하지 않을 것으로 추정되는 비점유 영역 및 상기 객체의 움직임에 기초하여, 상기 차량의 주행가능 영역을 결정할 수 있다. 프로세서(402)는 상기 결정된 차량의 주행가능 영역을 상기 영상 내 주행가능 영역에 기초하여 조정하며, 상기 조정된 주행가능 영역에 기초하여 상기 차량의 주행을 제어할 수 있다. 이때, 프로세서(402)는 예컨대, 포인트 클라우드 맵 및 영상으로부터 각각 객체를 제외한 차량의 주행가능 영역을 인식하고, 상기 각각 인식된 차량의 주행가능 영역 간에 서로 일치하는 영역만을 상기 차량의 주행가능 영역으로서 결정할 수 있다.

상기 충돌 회피 공간 설정시, 프로세서(402)는 상기 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역(예컨대, 사람이 없는 횡단보도, 인도 등)을 설정하고, 상기 설정된 회피 영역 및 상기 차량의 주행가능 영역을 충돌 회피 공간으로 설정할 수 있다. 즉, 프로세서(402)는 상기 차량과 상기 위협가능 객체 간의 충돌이 예상될 때, 비상 상황으로 판단하여, 주행가능 영역 뿐 아니라 비상 상황이 아닐 때에는 주행이 불가능한 영역까지도 일시적으로 충돌 회피 공간으로 설정할 수 있다. 이때, 프로세서(402)는 예컨대, 차량에서의 충돌 방지 동작 수행시에, 상기 충돌 회피 공간을 미리 설정하거나, 또는 설정된 주기 마다 충돌 회피 공간을 설정 함으로써, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단될 때 신속하게 상기 설정된 충돌 회피 공간으로 이동시킬 수 있게 한다.

프로세서(402)는 상기 차량과 상기 위협가능 객체 간의 충돌 회피를 위한 상기 차량 제어시, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키되, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키기 전에, 상기 충돌 회피 공간으로의 상기 차량 이동에 대한 메시지를 상기 차량을 기준으로 설정된 범위 내에 위치하는 타 차량에 전송함으로써, 타 차량으로 하여금 상기 차량의 이동 위치를 미리 인식하여 상기 차량과 타 차량 간의 충돌을 방지할 수 있게 한다.

한편, 프로세서(402)는 상기 위협가능 객체의 종류가 상기 설정된 회피 대상이 아니거나, 또는 상기 차량과 상기 위협가능 객체가 충돌되지 않을 것으로 판단함에 따라, 상기 회피 주행 알고리즘을 비활성화함으로써, 상기 회피 주행 알고리즘에 소비되는 에너지를 감소시킬 수 있다.

메모리(403)는 미리 수집된 영상 내 지정 영역에서 객체를 검출하고, 상기 검출된 객체의 종류를 식별하도록 훈련된 신경망 모델인 객체 식별 알고리즘이 저장될 수 있다.

메모리(403)는 프로세서(402)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(403)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(403)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.

도 5는 본 발명의 일실시예에 따른 차량 충돌 회피 장치의 구성에 대한 다른 일례를 도시한 도면이다.

도 5를 참조하면, 차량 충돌 회피 장치(500)는 차량에 포함될 수 있으며, 제1 인식부(501), 제1 추정부(502), 제2 인식부(503), 제2 추정부(504), 객체 움직임 결정부(505), 주행가능 영역 결정부(506), 충돌 방지 동작부(507), 충돌 회피 영역 설정부(508), 충돌 예측 판단부(509) 및 충돌 회피부(510)를 포함할 수 있다. 여기서, 차량 충돌 회피 장치(500) 내 각 구성은 도 4의 프로세서에 대응될 수 있다.

제1 인식부(501)는 차량에 설치된 라이다로부터 주변 환경에 대한 포인트 클라우드 맵(point cloud map)을 설정된 주기 마다 수신할 수 있다. 제1 인식부(501)는 상기 포인트 클라우드 맵이 수신 됨에 따라, 상기 포인트 클라우드 맵으로부터 객체에 대한 정보, 공간 정보 및 차선 정보 중 적어도 하나의 정보를 인식할 수 있다. 이러한 제1 인식부(501)는 제1 객체 인식부(501-1), 제1 공간 인식부(501-2) 및 제1 차선 인식부(501-3)를 포함할 수 있다. 여기서, 제1 객체 인식부(501-1)는 상기 포인트 클라우드 맵으로부터 객체를 인식할 수 있으며, 설정된 주기 마다 수신되는 복수의 포인트 클라우드 맵으로부터 상기 객체에 대한 정보(예컨대, 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나의 정보)를 인식할 수 있다. 제1 공간 인식부(501-2)는 상기 포인트 클라우드 맵으로부터 공간 정보를 인식할 수 있다. 또한, 제1 차선 인식부(501-3)는 상기 포인트 클라우드 맵으로부터 차선 정보를 인식할 수 있다.

제1 추정부(502)는 제1 인식부(501)로부터 객체에 대한 정보, 공간 정보 및 차선 정보 중 적어도 하나의 정보를 수신하고, 수신된 정보에 기초하여 객체의 움직임 및 주행가능 영역 중 적어도 하나의 정보를 추정할 수 있다. 이러한 제1 추정부(502)는 제1 객체 움직임 추정부(502-1) 및 제1 주행가능 영역 추정부(502-2)를 포함할 수 있다. 여기서, 제1 객체 움직임 추정부(502-1)는 제1 객체 인식부(501-1)로부터 객체에 대한 정보를 수신하고, 상기 수신된 객체에 대한 정보에 기초하여 객체의 움직임을 추정할 수 있다. 이때, 제1 객체 움직임 추정부(502-1)는 객체의 움직임에 기초하여, 라이다에 의해 생성된 포인트 클라우드 맵으로부터 인식된 상기 객체가 차량을 위협할 가능성이 있는 위협가능 객체인지를 판단할 수 있다. 예컨대, 제1 객체 움직임 추정부(502-1)는 설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 상기 차량이 위치한 방향으로 움직이고, 상기 객체와 상기 차량 간의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체가 위협가능 객체인 것으로 판단할 수 있다.

한편, 제1 객체 움직임 추정부(502-1)는 상기 객체가 위협가능 객체인 것으로 확인 됨에 따라, 상기 위협가능 객체에 대한 공간 좌표를 제2 객체 인식부(503-1)에 전달하여, 상기 객체의 종류를 신속하게 식별할 수 있는 환경을 마련할 수 있다.

제1 주행가능 영역 추정부(502-2)는 제1 공간 인식부(501-2)로부터 공간 정보를 수신하고, 제1 차선 인식부(501-3)로부터 차선 정보를 수신하며, 상기 수신된 공간 정보 및 차선 정보에 기초하여 차량의 주행가능 영역을 추정할 수 있다. 또한, 제1 주행가능 영역 추정부(502-2)는 제1 객체 움직임 추정부(502-1)로부터 객체에 대한 정보(또는, 객체의 움직임)를 더 수신할 수 있으며, 공간 정보 및 차선 정보와 함께, 상기 객체에 대한 정보(또는, 객체의 움직임)에 더 기초하여 차량의 주행가능 영역을 추정할 수 있다.

제2 인식부(503)는 차량에 설치된 카메라부터 주변 환경에 대한 영상을 설정된 주기 마다 수신할 수 있다. 제2 인식부(503)는 상기 영상이 수신 됨에 따라, 상기 영상으로부터 객체에 대한 정보, 공간 정보 및 차선 정보 중 적어도 하나의 정보를 인식할 수 있다. 이러한 제2 인식부(503)는 제2 객체 인식부(503-1), 제2 공간 인식부(503-2) 및 제3 차선 인식부(503-3)를 포함할 수 있다. 여기서, 제2 객체 인식부(503-1)는 상기 영상으로부터 객체를 인식할 수 있으며, 설정된 주기 마다 수신되는 복수의 영상으로부터 상기 객체에 대한 정보(예컨대, 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나의 정보)를 인식할 수 있다.

한편, 제2 객체 인식부(503-1)는 제1 객체 움직임 추정부(502-1)로부터 상기 위협가능 객체에 대한 공간 좌표를 전달받음에 따라, 상기 영상에서 상기 공간 좌표에 대응하는 영역을 관심 영역(ROI)으로 설정하고, 상기 설정된 관심 영역에서 상기 위협가능 객체의 종류를 신속하게 식별하여, 충돌 예측 판단부(509)에 제공 함으로써, 충돌 예측 판단부(509)에서 객체와 차량 간의 충돌 여부를 빨리 판단할 수 있게 한다.

제2 공간 인식부(503-2)는 상기 영상으로부터 공간 정보를 인식할 수 있다. 또한, 제2 차선 인식부(503-3)는 상기 영상으로부터 차선 정보를 인식할 수 있다.

제2 추정부(504)는 제2 인식부(501)로부터 객체에 대한 정보, 공간 정보 및 차선 정보 중 적어도 하나의 정보를 수신하고, 수신된 정보에 기초하여 객체의 움직임 및 주행가능 영역 중 적어도 하나의 정보를 추정할 수 있다. 이러한 제2 추정부(504)는 제2 객체 움직임 추정부(504-1) 및 제2 주행가능 영역 추정부(504-2)를 포함할 수 있다. 여기서, 제2 객체 움직임 추정부(504-1)는 제2 객체 인식부(503-1)로부터 객체에 대한 정보를 수신하고, 상기 수신된 객체에 대한 정보에 기초하여 객체의 움직임을 추정할 수 있다. 제2 주행가능 영역 추정부(504-2)는 제2 공간 인식부(503-2)로부터 공간 정보를 수신하고, 제2 차선 인식부(503-3)로부터 차선 정보를 수신하며, 상기 수신된 공간 정보 및 차선 정보에 기초하여 차량의 주행가능 영역을 추정할 수 있다.

객체 움직임 결정부(505)는 제1 객체 움직임 추정부(502-1)로부터 추정된 객체의 움직임을 수신하고, 제2 객체 움직임 추정부(504-1)로부터 추정된 객체의 움직임을 수신하며, 각각 수신된 상기 객체의 움직임에 기초하여 상기 객체의 움직임을 결정할 수 있다. 이때, 객체 움직임 결정부(505)는 예컨대, 각각 추정된 상기 객체의 움직임에서 일치하는 움직임만을 상기 객체의 움직임으로서 결정하고, 결정된 객체의 움직임에 기초하여 객체의 향후 움직임(예컨대, 객체가 이동하려는 방향, 속도 등)을 예상할 수도 있다.

주행가능 영역 결정부(506)는 제1 주행가능 영역 추정부(502-2)로부터 추정된 차량의 주행가능 영역을 수신하고, 제2 주행가능 영역 추정부(504-2)로부터 추정된 차량의 주행가능 영역을 수신하며, 각각 수신된 상기 차량의 주행가능 영역에 기초하여 차량의 주행가능 영역을 결정할 수 있다. 이때, 주행가능 영역 결정부(506)는 예컨대, 각각 추정된 상기 차량의 주행가능 영역에서 일치하는 영역만을 상기 차량의 주행가능 영역으로서 결정할 수 있다.

충돌 방지 동작부(507)는 제1 객체 움직임 추정부(502-1)에 의해, 라이다에 의해 생성된 포인트 클라우드 맵으로부터 인식된 상기 객체가 위협가능 객체로 확인 됨에 따라, 회피 주행 알고리즘을 활성화함으로써, 상기 차량과 상기 위협가능 객체의 충돌 가능성에 대비하여 상기 차량에서 충돌 방지 동작을 수행할 수 있게 한다. 이때, 충돌 방지 동작부(507)는 상기 충돌 방지 동작으로서, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜, 상기 차량에서 상기 충돌 방지 동작을 수행하도록 한다.

충돌 회피 영역 설정부(508)는 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역(예컨대, 사람없는 횡단보도, 인도 등)을 설정하고, 주행가능 영역 결정부(506)에 의해 결정된 차량의 주행가능 영역과 함께 상기 설정된 회피 영역을, 충돌 회피 공간으로 설정할 수 있다.

충돌 예측 판단부(509)는 제2 객체 인식부(503-1)에 의해, 카메라에서 생성된 영상으로부터 검출된 상기 위협가능 객체의 종류를 식별하고, 상기 위협가능 객체의 종류를 설정된 회피 대상으로 판단하고, 상기 위협가능 객체와 상기 차량의 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단할 수 있다.

충돌 회피부(510)는 충돌 예측 판단부(509)에서 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 충돌 방지 동작을 수행한 차량을 충돌 회피 영역 설정부(508)에 의해 미리 설정된 충돌 회피 공간으로 이동시킴으로써, 상기 위협가능 객체와 충돌할 가능성이 낮은 안전한 장소로 차량을 신속히 대피시킬 수 있다.

도 6은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 라이다를 이용하여 객체 움직임 및 주행가능 영역을 결정하는 구성의 일례를 도시한 도면이다.

도 6을 참조하면, 차량 충돌 회피 장치(600)는 노면 제거부(601), 인식부(602), 추정부(603), 객체 움직임 결정부(604) 및 주행가능 영역 결정부(606)를 포함할 수 있다.

노면 제거부(601)는 차량에 설치된 라이다로부터 주변 환경에 대한 포인트 클라우드 맵을 설정된 주기 마다 수신할 수 있다. 이때, 노면 제거부(601)는 상기 포인트 클라우드 맵에서 불필요한 부분(예컨대, 노면(도로)과 노이즈(Noise))를 제거하여, 추후 객체 인식 및 공간 인식시 데이터의 양을 줄여 연산에 사용되는 자원을 절약할 수 있게 한다.

노면 제거부(601)는 예컨대, 입면지도(Elevation map)과 같은 알고리즘을 사용할 수 있으며, 이는 버즈 아이 뷰(bird's eye view) 공간상의 각 셀별로 높이를 측정하여, 상기 측정된 값이 연속적으로 변하는 영역을 노면으로 간주하고, 상기 측정된 값이 불연속적으로 변하는 영역은 객체 영역으로 간주할 수 있다.

인식부(602)는 노면(도로)과 노이즈(Noise)가 제거된 포인트 클라우드 맵을 수신하고, 상기 수신된 포인트 클라우드 맵으로부터 객체에 대한 정보 및 공간 정보를 추정할 수 있다. 이러한 인식부(602)는 객체 인식부(602-1) 및 공간 인식부(602-2)를 포함할 수 있다.

객체 인식부(602-1)는 상기 노면(도로)과 노이즈(Noise)가 제거된 포인트 클라우드 맵으로부터 객체를 인식할 수 있으며, 설정된 주기 마다 수신되는 복수의 포인트 클라우드 맵으로부터 상기 객체에 대한 정보(예컨대, 객체의 확률, 속도, 진행 방향, 크기 및 상기 차량과의 거리 중 적어도 하나의 정보)를 인식할 수 있다. 이때, 객체 인식부(602-1)는 포인트 클라우드 맵에 대해 3차원 거리기반 군집화(Clustering)를 수행하여, 상기 객체에 대한 정보를 인식할 수 있다. 객체 인식부(602-1)는 포인트 클라우드 맵으로부터 객체를 인식하도록 미리 훈련된 DNN(Deep Neural Network) 알고리즘을 이용하여 객체를 인식할 수 있다.

공간 인식부(602-2)는 상기 노면(도로)과 노이즈(Noise)가 제거된 포인트 클라우드 맵으로부터 버즈 아이 뷰(bird's eye view) 기반의 공간 및 상기 공간 외에 빈 공간에 대한 확률을 계산할 수 있다. 이때, 공간 인식부(602-2)는 예컨대, 공간인식을 위해 OGM(Occupancy Grid Map)을 사용할 수 있으며, 높이 방향의 데이터를 이용하여 높이가 일정 수준 이상일 경우, 점유 영역으로 인식하고, 상기 높이가 일정 수준 미만일 경우, 비점유 영역으로 인식할 수 있다.

추정부(603)는 객체 움직임 추정부(603-1) 및 주행가능 영역 추정부(603-2)를 포함할 수 있다.

객체 움직임 추정부(603-1)는 객체 인식부(602-1)로부터 객체에 대한 정보를 수신하고, 상기 수신된 객체에 대한 정보에 기초하여, 객체의 움직임을 추정할 수 있다. 이때, 객체 움직임 추정부(603-1)는 추정된 객체의 움직임에 기초하여 객체의 예상 경로를 추정할 수 있다. 여기서, 객체 움직임 추정부(603-1)는 예컨대, 칼만 필터(Kalman filter)를 이용하여 과거와 현재 데이터를 기반으로 미래의 데이터를 추정할 수 있다

주행가능 영역 추정부(603-2)는 공간 인식부(602-2)로부터 수신된 버즈 아이 뷰 기반의 점유 영역 및 객체 움직임 추정부(603-1)로부터 수신된 객체에 대한 정보(또는, 객체의 움직임)에 기초하여, 차량의 주행가능 영역을 추정할 수 있다.

객체 움직임 결정부(604)는 객체 움직임 추정부(603-1)로부터 추정된 객체의 움직임 또는 추정된 객체의 예상 경로를 수신하고, 카메라와 연관된 객체 움직임 추정부(도시하지 않음)로부터 카메라 기반의 객체에 대한 정보(605)를 수신할 수 있다. 이때, 객체 움직임 결정부(604)는 라이다 기반의 객체에 대한 정보와 카메라 기반의 객체에 대한 정보를 융합하여, 하나의 객체에 대한 정보를 결정할 수 있다. 여기서, 객체 움직임 결정부(604)는 라이다를 통해 획득한 객체에 대한 정보 중 객체의 위치 및 차량과 객체 간의 거리에 가중치를 부여 함으로써, 객체의 위치 및 객체와의 거리에 대한 정확도를 보다 향상시킬 수 있으며, 카메라를 통해 획득한 객체에 대한 정보 중 객체의 종류, 형태 및 크기에 가중치를 부여 함으로써, 객체의 종류, 형태 및 크기에 대한 정확도를 보다 향상시킬 수 있음에 따라, 라이다와 카메라의 장점을 효과적으로 활용할 수 있다.

주행가능 영역 결정부(606)는 카메라와 연관된 주행가능 영역 추정부(도시하지 않음)로부터 추정된 차량의 주행가능 영역(607)을 수신하고, 카메라와 연관된 주행가능 영역 추정부(도시하지 않음)로부터 카메라 기반의 주행가능 영역을 수신할 수 있다. 이때, 주행가능 영역 결정부(606)는 라이다 기반의 차량의 주행가능 영역과 카메라 기반의 차량의 주행가능 영역을 융합하여, 하나의 차량의 주행가능 영역을 결정할 수 있다. 여기서, 주행가능 영역 결정부(606)는 라이다를 통해 획득한 차량의 주행가능 영역의 위치 및 차량과 주행가능 영역 간의 거리에 가중치를 부여 함으로써, 보다 정확하게 차량의 주행가능 영역의 위치 및 차량과 주행가능 영역 간의 거리를 획득할 수 있다.

도 7은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 위협가능 객체를 확인하는 일례를 설명하기 위한 도면이다.

도 7을 참조하면, 차량 내 차량 충돌 회피 장치는 설정된 주기 마다 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도(OGM: Occupancy Grid Map)로 변형할 수 있다. 여기서, 2차원의 점유 격자 지도는 객체가 존재하는 것으로 추정되는 점유(occupied) 영역 및 객체가 존재하지 않을 것으로 추정되는 비점유 영역(non-occupied)을 포함할 수 있다.

이때, 차량 충돌 회피 장치는 상기 변형된 각각의 점유 격자 지도 내 객체가 존재하는 것으로 추정되는 점유 영역에 대한 이동에 기초하여, 상기 점유 영역에 대응하는 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함하는 객체에 대한 정보를 확인하고, 상기 객체에 대한 정보에 따른 상기 객체의 움직임에 기초하여 상기 객체가 상기 위협가능 객체인지를 판단할 수 있다. 예컨대, 차량 충돌 회피 장치는 현재 시점을 기준으로 설정된 주기(예컨대, 0.1초) 이전에 수신된 제1 포인트 클라우드 맵이 변형된 제1 점유 격자 지도(701)와 현재 시점에서 수신된 제2 포인트 클라우드 맵이 변형된 제2 점유 격자 지도(702)를 비교하고, 상기 비교 결과, 객체가 존재하는 것으로 추정되는 점유 영역의 이동(703→704)이, 설정된 조건(예컨대, 이동 속도, 방향, 크기 등)을 만족하는지에 따라, 점유 영역(704)에 존재하는 것으로 추정되는 객체에 대한 위협가능 객체 여부를 판단할 수 있다. 즉, 차량 충돌 회피 장치는 객체가 존재하는 것으로 추정되는 점유 영역의 이동이, 설정된 조건을 만족 함에 따라, 점유 영역(704)에 존재하는 것으로 추정되는 객체가 위협가능 객체인 것으로 판단할 수 있다.

예컨대, 차량 충돌 회피 장치는 제1 점유 영역(703)에 존재하는 것으로 추정되는 객체가, 제2 점유 영역(704)로 이동함에 따라, 상기 객체가 설정된 속도 이상으로 차량 충돌 회피 장치가 포함된 차량(705) 방향으로 움직이고, 객체와 차량(705)의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체가 위협가능 객체인 것으로 판단할 수 있다.

도 8은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 위협가능 객체를 확인하는 다른 일례를 설명하기 위한 도면이다.

도 8을 참조하면, 차량 내 차량 충돌 회피 장치는 예컨대, 현재 시점을 기준으로 설정된 주기(예컨대, 0.1초) 이전에 수신된 제1 포인트 클라우드 맵이 변형된 제1 점유 격자 지도와 현재 시점에서 수신된 제2 포인트 클라우드 맵이 변형된 제2 점유 격자 지도를 비교하고, 제1 점유 격자 지도 및 제2 점유 격자 지도(801)에 객체가 존재하는 것으로 추정되는 점유 영역(802)의 이동이, 설정된 조건(예컨대, 이동 속도, 방향, 크기 등)을 만족하는지에 따라, 상기 객체에 대한 위협가능 객체 여부를 확인할 수 있다. 즉, 차량 충돌 회피 장치는 객체가 존재하는 것으로 추정되는 점유 영역(802)의 이동이, 설정된 조건을 만족 함에 따라, 상기 점유 영역(802)에 존재하는 것으로 추정되는 객체가 위협가능 객체인 것으로 확인할 수 있다.

한편, 차량 충돌 회피 장치는 예컨대, AI(Artificial Intelligence) 서버로부터 고정밀 지도(HD MAP)를 수신할 수 있으며, 고정밀 지도 내 차선 정보에 기초하여, 점유 영역(802)에 존재하는 것으로 추정되는 객체가 위협가능 객체인지를 재판단할 수 있다. 이때, 차량 충돌 회피 장치는 고정밀 지도를 2차원의 점유 격자 지도(803)로 변환하고, 변환된 고정밀 지도의 점유 격자 지도(803)에 기초하여, 점유 영역(802)에 존재하는 것으로 추정되는 객체의 움직임이 정상인지를 확인하고, 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단할 수 있다. 반면, 차량 충돌 회피 장치는 상기 객체의 움직임이 정상으로 확인 됨에 따라, 상기 객체를 상기 위협가능 객체가 아닌 것으로 판단할 수 있다. 예컨대, 차량 충돌 회피 장치는 점유 영역(802)에 존재하는 것으로 추정되는 객체가, 고정밀 지도의 점유 격자 지도(803) 내 차선 정보에 기초하여 차량(804)이 주행하는 차선이 아닌, 상기 차선 옆에 위치하는 다른 차선으로 진입하는 객체인 것으로 확인하여, 차량(804)에 위협할 가능성이 없는 일반 객체로 판단할 수 있다.

또한, 차량 충돌 회피 장치는 고정밀 지도의 점유 격자 지도(803)에 기초하여, 제3 점유 격자 지도(805) 내 점유 영역에서 존재하는 것으로 추정되는 객체의 크기 또는 객체의 수를 확인할 수 있다. 예컨대, 차량 충돌 회피 장치는 고정밀 지도의 점유 격자 지도(803)에 기초하여, 제3 점유 격자 지도(805) 내 점유 영역(806)에서 존재하는 것으로 추정되는 제1 객체(807), 제2 객체(808) 및 제3 객체(809)의 크기 및 객체의 개수(3개)를 확인할 수 있다.

도 9 및 도 10은 본 발명의 일실시예에 따른 차량 충돌 회피 장치에서 위협가능 객체가 확인될 때의 처리 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 차량 내 차량 충돌 회피 장치는 설정된 주기 마다 상기 차량에 설치된 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도로 변형하고, 복수의 점유 격자 지도 간의 차이에 기초하여, 상기 차량을 기준으로 설정된 범위 내에 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는지를 판단할 수 있다.

차량 충돌 회피 장치는 위협가능 객체(901)가 존재하는 것으로 확인 됨에 따라, 상기 위협가능 객체에 대한 공간 좌표(902)에 대응하는 영역을, 도 10에 도시된 바와 같이, 상기 차량에 설치된 카메라로부터 수신되는 영상에서, 관심 영역(1001)으로 설정하고, 설정된 관심 영역(1001)에서 위협가능 객체(901)의 종류를 식별할 수 있다.

도 11은 본 발명의 일실시예에 따른 차량 충돌 회피 방법을 나타내는 흐름도이다. 여기서, 차량 충돌 회피 방법을 구현하는 차량 충돌 회피 장치는 객체 식별 알고리즘을 생성하여 메모리에 저장할 수 있다. 상기 객체 식별 알고리즘은, 수집된 영상 내 지정 영역에서 객체를 검출하고, 상기 검출된 객체의 종류를 식별하도록 훈련된 신경망 모델일 수 있다.

도 11을 참조하면, 단계 S1101에서, 차량 충돌 회피 장치는 차량에 설치된 라이다로부터 설정된 범위의 주변 환경에 대한 포인트 클라우드 맵을 수신하고, 상기 차량에 설치된 카메라로부터 상기 주변 환경에 대한 영상을 수신할 수 있다. 이때, 차량 충돌 회피 장치는 상기 포인트 클라우드 맵 및 영상을 설정된 주기 마다 수신할 수 있다.

단계 S1102에서, 차량 충돌 회피 장치는 상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는지를 판단할 수 있다.

이때, 차량 충돌 회피 장치는 상기 설정된 주기 마다 상기 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도로 변형하고, 상기 변형된 각각의 점유 격자 지도를 비교한 결과, 상기 각각의 점유 격자 지도 내에 객체가 존재하는 것으로 추정되는 점유 영역에 대한 이동을 확인할 수 있다. 차량 충돌 회피 장치는 상기 이동에 기초하여 상기 점유 영역에 대응하는 상기 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함하는 상기 객체에 대한 정보를 확인하며, 상기 객체에 대한 정보에 기초하여, 상기 객체가 상기 위협가능 객체인지를 판단할 수 있다.

이때, 차량 충돌 회피 장치는 예컨대, 설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 상기 차량이 위치한 방향으로 움직이고, 상기 객체와 상기 차량 간의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체를 위협가능 객체로 판단할 수 있다.

한편, 차량 충돌 회피 장치는 상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정할 수 있고, 서버로부터 고정밀 지도가 수신됨에 따라, 상기 고정밀 지도 내 차선 정보에 기초하여, 상기 객체의 움직임이 정상인지를 확인할 수 있다. 이때, 차량 충돌 회피 장치는 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단할 수 있다. 예컨대, 차량 충돌 회피 장치는 상기 점유 영역에 존재하는 것으로 추정되는 객체가, 상기 차선 정보를 무시하고, 차량 충돌 회피 장치가 포함된 차량의 위치로 빠르게 접근할 경우, 상기 객체의 움직임을 비정상으로 확인하여, 상기 객체를 위협 객체로 판단할 수 있다.

반면, 차량 충돌 회피 장치는 상기 객체의 움직임이 정상으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단할 수 있다. 예컨대, 차량 충돌 회피 장치는 상기 객체가, 차량 충돌 회피 장치가 포함된 차량의 위치로 빠르게 접근하더라도, 상기 차선 정보에 기초하여 인접 차선으로 상기 객체의 진입이 예상됨에 따라, 상기 객체의 움직임을 정상으로 확인하여, 상기 객체를 차량에 위협할 가능성이 없는 비위협 객체로 판단할 수 있다.

상기 단계 S1102에서, 차량 충돌 회피 장치는 상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, 단계 S1103에서, 회피 주행 알고리즘을 활성화함으로써, 충돌 방지 동작을 수행하도록 상기 차량을 제어할 수 있다.

이때, 차량 충돌 회피 장치는 상기 위협가능 객체와 상기 차량 간의 거리를 확인하고, 상기 거리가 상기 차량의 설정된 제동 거리 보다 긴 것에 기초하여, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜 충돌 방지 동작을 수행함으로써, 상기 차량과 상기 위협가능 객체의 충돌 가능성에 대비할 수 있다. 그리고, 차량 충돌 회피 장치는 활성화된 상기 회피 주행 알고리즘에 따라 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정할 수 있다. 이때, 차량 충돌 회피 장치는 상기 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역(예컨대, 사람이 없는 횡단보도, 인도 등)을 설정하고, 상기 설정된 회피 영역 및 상기 차량의 주행가능 영역을 충돌 회피 공간으로 설정할 수 있다. 즉, 차량 충돌 회피 장치는 상기 차량과 상기 위협가능 객체 간의 충돌이 예상될 때, 비상 상황으로 판단하여, 주행가능 영역 뿐 아니라 비상 상황이 아닐 때에는 주행이 불가능한 영역까지도 일시적으로 충돌 회피 공간으로 설정할 수 있다.

단계 S1104에서, 차량 충돌 회피 장치는 상기 위협가능 객체의 위치에 대응하는 상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하며, 상기 위협가능 객체의 종류를 설정된 회피 대상으로 판단하고, 상기 차량과 상기 위협가능 객체가 충돌될지를 판단할 수 있다. 이때, 차량 충돌 회피 장치는 관심 영역이 영상에, 메모리 내 객체 식별 알고리즘을 적용하여, 상기 위협가능 객체의 종류를 인식하고, 상기 인식된 위협가능 객체의 종류가 상기 회피 대상인지를 판단할 수 있다.

또한, 차량 충돌 회피 장치는 상기 위협가능 객체와 상기 차량 간의 거리를 확인하고, 상기 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단할 수 있다.

상기 단계 S1104에서, 차량 충돌 회피 장치는 상기 위협가능 객체의 종류를 설정된 회피 대상으로 판단하고, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 단계 S1105에서, 상기 차량을 충돌 회피 공간으로 이동시킬 수 있다.

또한, 차량 충돌 회피 장치는 설정된 충돌 회피 공간으로 이동시키기 전에, 상기 충돌 회피 공간으로의 상기 차량 이동에 대한 메시지를 상기 차량을 기준으로 설정된 범위 내에 위치하는 타 차량에 전송 함으로써, 타 차량으로 하여금 상기 차량의 이동 위치를 미리 인식하여 상기 차량과 타 차량 간의 충돌을 방지할 수 있게 한다.

상기 관심 영역 설정시, 차량 충돌 회피 장치는 상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단함에 따라, 상기 영상에서 상기 위협가능 객체에 대한 공간 좌표에 대응하는 영역을 관심 영역으로 설정할 수 있다. 이때, 차량 충돌 회피 장치는 상기 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트를 설정된 배수 만큼 증가시키고, 상기 배수 만큼 증가되어 수신되는 상기 관심 영역의 영상에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시켜, 상기 위협가능 객체의 종류에 대한 정확도를 설정된 신뢰도 이상으로 증가시킬 수 있다.

상기 단계 S1104에서, 차량 충돌 회피 장치는 상기 위협가능 객체의 종류가 상기 설정된 회피 대상이 아니거나, 또는 상기 차량과 상기 위협가능 객체가 충돌되지 않을 것으로 판단함에 따라, 상기 활성화된 회피 주행 알고리즘을 비활성화함으로써, 상기 회피 주행 알고리즘에 소비되는 에너지를 감소시킬 수 있다.

또한, 차량 충돌 회피 장치는 상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하고, 상기 점유 격자 지도로부터 상기 객체가 존재하지 않을 것으로 추정되는 비점유 영역 및 상기 객체의 움직임에 기초하여, 상기 차량의 주행가능 영역을 결정할 수 있다. 차량 충돌 회피 장치는 상기 결정된 차량의 주행가능 영역을 상기 설정된 주기 마다 수신되는 영상 내 주행가능 영역에 기초하여 조정한 후, 상기 조정된 주행가능 영역에 기초하여 상기 차량의 주행을 제어할 수 있다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

400: 차량 충돌 회피 장치
401: 인터페이스
402: 프로세서
403: 메모리

Claims

차량 충돌 회피 장치로서,
차량에 설치된 라이다(Lidar)로부터 설정된 범위의 주변 환경에 대한 포인트 클라우드 맵(point cloud map)을 수신하고, 상기 차량에 설치된 카메라로부터 상기 주변 환경에 대한 영상을 수신하는 인터페이스; 및
상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, ⅰ)회피 주행 알고리즘을 활성화하고, ⅱ)활성화된 상기 회피 주행 알고리즘에 따라 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하며, ⅲ)상기 위협가능 객체의 위치에 대응하는 상기 카메라로부터 수신된 상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하여, 상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단됨에 따라, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 프로세서를 포함하는,
차량 충돌 회피 장치.
제1항에 있어서,
상기 포인트 클라우드 맵은 설정된 주기 마다 수신되고,
상기 프로세서는,
상기 설정된 주기 마다 상기 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도(OGM: Occupancy Grid Map)로 변형하고,
상기 변형된 각각의 점유 격자 지도를 비교한 결과, 상기 각각의 점유 격자 지도 내에 객체가 존재하는 것으로 추정되는 점유(occupied) 영역에 대한 이동을 확인하고, 상기 이동에 기초하여 상기 점유 영역에 대응하는 상기 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함하는 상기 객체에 대한 정보를 확인하며, 상기 객체에 대한 정보에 기초하여, 상기 객체가 상기 위협가능 객체인지를 판단하는,
차량 충돌 회피 장치.
제2항에 있어서,
상기 프로세서는,
설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 상기 차량이 위치한 방향으로 움직이고, 상기 객체와 상기 차량 간의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체를 위협가능 객체로 판단하는,
차량 충돌 회피 장치.
제2항에 있어서,
상기 인터페이스는, 서버로부터 고정밀 지도(High Definition MAP)를 수신하고,
상기 프로세서는,
상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하고, 상기 고정밀 지도 내 차선 정보에 기초하여, 상기 객체의 움직임이 정상인지를 확인하며, 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단하는,
차량 충돌 회피 장치.
제2항에 있어서,
상기 인터페이스는 상기 포인트 클라우드 맵과 함께, 상기 영상 또한 설정된 주기 마다 수신하고,
상기 프로세서는,
상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하고, 상기 점유 격자 지도로부터 상기 객체가 존재하지 않을 것으로 추정되는 비점유 영역(non-occupied) 및 상기 객체의 움직임에 기초하여, 상기 차량의 주행가능 영역을 결정하며, 상기 결정된 차량의 주행가능 영역을 상기 설정된 주기 마다 수신되는 영상 내 주행가능 영역에 기초하여 조정한 후, 상기 조정된 주행가능 영역에 기초하여 상기 차량의 주행을 제어하는,
차량 충돌 회피 장치.
제1항에 있어서,
상기 프로세서는,
상기 충돌 회피 공간을 설정하기 전에, 상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 긴 것에 기초하여, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜, 상기 차량에서 충돌 방지 동작을 수행하도록 하는,
차량 충돌 회피 장치.
제1항에 있어서,
상기 프로세서는,
상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 상기 충돌 회피 공간으로 이동시키는,
차량 충돌 회피 장치.
제1항에 있어서,
상기 프로세서는,
상기 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역을 설정하고, 상기 설정된 회피 영역 및 상기 차량의 주행가능 영역을 충돌 회피 공간으로 설정하며, 상기 차량과 상기 위협가능 객체 간의 충돌 회피를 위한 상기 차량 제어시, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는,
차량 충돌 회피 장치.
제8항에 있어서,
상기 프로세서는,
상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키기 전에, 상기 충돌 회피 공간으로의 상기 차량 이동에 대한 메시지를 상기 차량을 기준으로 설정된 범위 내에 위치하는 타 차량에 전송하는,
차량 충돌 회피 장치.
제1항에 있어서,
상기 프로세서는,
상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단함에 따라, 상기 영상에서 상기 위협가능 객체에 대한 공간 좌표에 대응하는 영역을 관심 영역으로 설정하고,
상기 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트(frame rate)를 설정된 배수 만큼 증가시킴에 따라, 상기 배수 만큼 증가되어 수신되는 상기 관심 영역의 영상에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시켜, 상기 위협가능 객체의 종류에 대한 정확도를 설정된 신뢰도 이상으로 증가시키는,
차량 충돌 회피 장치.
제1항에 있어서,
상기 프로세서는,
상기 관심 영역의 영상에, 객체 식별 알고리즘을 적용하여, 상기 위협가능 객체의 종류를 식별하고, 상기 식별된 위협가능 객체의 종류가 상기 회피 대상인지를 판단하며,
상기 객체 식별 알고리즘은,
수집된 영상 내 지정 영역에서 객체를 검출하고, 상기 검출된 객체의 종류를 식별하도록 훈련된 신경망 모델인,
차량 충돌 회피 장치.
제1항에 있어서,
상기 프로세서는,
상기 위협가능 객체의 종류가 상기 설정된 회피 대상이 아니거나, 또는 상기 차량과 상기 위협가능 객체가 충돌되지 않을 것으로 판단함에 따라, 상기 회피 주행 알고리즘을 비활성화하는,
차량 충돌 회피 장치.
차량 충돌 회피 방법으로서,
차량에 설치된 라이다로부터 설정된 범위의 주변 환경에 대한 포인트 클라우드 맵을 수신하고, 상기 차량에 설치된 카메라로부터 상기 주변 환경에 대한 영상을 수신하는 단계;
상기 포인트 클라우드 맵에서 상기 차량을 위협할 가능성이 있는 위협가능 객체가 존재하는 것으로 판단함에 따라, 회피 주행 알고리즘을 활성화하고, 활성화된 상기 회피 주행 알고리즘에 따라 상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하는 단계;
상기 위협가능 객체의 위치에 대응하는 상기 카메라로부터 수신된 상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하는 단계; 및
상기 위협가능 객체의 종류가 설정된 회피 대상으로 판단됨에 따라, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계를 포함하는,
차량 충돌 회피 방법.
제13항에 있어서,
상기 포인트 클라우드 맵은 설정된 주기 마다 수신되고,
상기 설정된 주기 마다 상기 라이다로부터 수신되는 3차원의 포인트 클라우드 맵 각각을 2차원의 점유 격자 지도로 변형하는 단계;
상기 변형된 각각의 점유 격자 지도를 비교한 결과, 상기 각각의 점유 격자 지도 내에 객체가 존재하는 것으로 추정되는 점유 영역에 대한 이동을 확인하는 단계; 및
상기 이동에 기초하여 상기 점유 영역에 대응하는 상기 객체의 속도, 진행 방향, 크기 및 상기 객체와 차량 간의 거리 중 적어도 하나를 포함하는 상기 객체에 대한 정보를 확인하고, 상기 객체에 대한 정보에 기초하여, 상기 객체가 상기 위협가능 객체인지를 판단하는 단계를 더 포함하는,
차량 충돌 회피 방법.
제14항에 있어서,
상기 객체가 상기 위협가능 객체인지를 판단하는 단계는,
설정된 사이즈 보다 큰 객체가 설정된 속도 이상으로 상기 차량이 위치한 방향으로 움직이고, 상기 객체와 상기 차량 간의 거리가 설정된 이격 거리 보다 짧은 것에 기초하여, 상기 객체를 위협가능 객체로 판단하는 단계를 포함하는,
차량 충돌 회피 방법.
제14항에 있어서,
상기 객체가 상기 위협가능 객체인지를 판단하는 단계는,
상기 객체에 대한 정보에 기초하여 상기 객체의 움직임을 추정하는 단계; 및
서버로부터 고정밀 지도가 수신됨에 따라, 상기 고정밀 지도 내 차선 정보에 기초하여, 상기 객체의 움직임이 정상인지를 확인하며, 상기 객체의 움직임이 정상이 아닌 것으로 확인됨에 따라, 상기 객체를 상기 위협가능 객체로 판단하는 단계를 포함하는,
차량 충돌 회피 방법.
제13항에 있어서,
상기 위협가능 객체를 회피하기 위한 충돌 회피 공간을 설정하는 단계는,
상기 충돌 회피 공간을 설정하기 전에, 상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 긴 것에 기초하여, 상기 차량을 감속시키거나, 가속시키거나 또는 조향시켜, 상기 차량에서 충돌 방지 동작을 수행하도록 하는 단계를 포함하는,
차량 충돌 회피 방법.
제13항에 있어서,
상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계는,
상기 위협가능 객체와 상기 차량 간의 거리가 상기 차량의 설정된 제동 거리 보다 짧은 것에 기초하여, 상기 차량과 상기 위협가능 객체가 충돌될 것으로 판단함에 따라, 상기 차량을 상기 충돌 회피 공간으로 이동시키는 단계를 포함하는,
차량 충돌 회피 방법.
제13항에 있어서,
상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계는,
상기 차량의 주행불가능 영역 중 설정된 조건에 따라 회피 영역을 설정하는 단계; 및
상기 설정된 회피 영역 및 상기 차량의 주행가능 영역을 충돌 회피 공간으로 설정하며, 상기 차량과 상기 위협가능 객체 간의 충돌 회피를 위한 상기 차량 제어시, 상기 차량을 상기 설정된 충돌 회피 공간으로 이동시키는 단계를 포함하는,
차량 충돌 회피 방법.
제13항에 있어서,
상기 영상 내 관심 영역에서 상기 위협가능 객체의 종류를 식별하는 단계는,
상기 포인트 클라우드 맵에서, 상기 위협가능 객체가 존재하는 것으로 판단함에 따라, 상기 영상에서 상기 위협가능 객체에 대한 공간 좌표에 대응하는 영역을 관심 영역으로 설정하는 단계; 및
상기 카메라에서 상기 관심 영역에 대한 촬영 시의 프레임 레이트를 설정된 배수 만큼 증가시킴에 따라, 상기 배수 만큼 증가되어 수신되는 상기 관심 영역의 영상에서 상기 위협가능 객체의 종류를 식별하는 횟수를 증가시켜, 상기 위협가능 객체의 종류에 대한 정확도를 설정된 신뢰도 이상으로 증가시키는 단계를 포함하는,
차량 충돌 회피 방법.