KR102481289B1

KR102481289B1 - 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치

Info

Publication number: KR102481289B1
Application number: KR1020200106408A
Authority: KR
Inventors: 김희년; 이원희; 정철진; 공민호; 정명환
Original assignee: 오토아이티(주)
Priority date: 2020-08-24
Filing date: 2020-08-24
Publication date: 2022-12-27
Also published as: KR20220025997A

Abstract

본 발명은 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치에 관한 것으로, 이는 차량에 설치된 N(N은 4 이상의 자연수)개의 어안 카메라를 통해 차량 주변을 촬영한 N채널 주변 영상을 획득하는 주변 영상 획득부; 접근 객체 위치별로 N채널 주변 영상을 반복 획득한 후, N채널 주변 영상의 영상 특징과 접근 객체 위치간의 상관관계를 신경망 모델을 통해 반복 학습하는 신경망 모델 학습부; 차량 운행이 시작되면, 상기 N채널 주변 영상이 획득될 때마다 상기 신경망 모델에 기반한 접근 객체 위치 확인 동작을 수행하는 접근 객체 검출부; 접근 객체의 위치에 기반하여 위험 지수를 산출하는 위험 평가부; 및 상기 N채널 주변 영상을 통해 AVM 영상을 생성 및 제공하되, 상기위험 지수가 기 설정치 이상이면 경고 정보를 생성 및 제공하는 제어부를 포함하며, 상기 경고 정보는 접근 객체 발생, 접근 객체 현재 위치, 충돌 세기, 충돌 방향, 접근 객체 충돌 가능성 중 적어도 하나를 시각, 청각, 또는 시청각적으로 통보하기 위한 정보인 것을 특징으로 한다.

Description

접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치{Apparatus for providing vehicle AVM image for collision prevention of approaching objects}

본 발명은 AVM(Around View Monitoring) 영상을 생성 및 제공하되, 접근 객체 검출 및 충돌 방지 동작 또한 추가적으로 수행할 수 있도록 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치에 관한 것이다.

최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.

이러한 첨단 전자 기술 중 하나가 자동차의 주변 환경을 촬영하여 표시함으로써, 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 AVM(Around View Monitoring) 영상 제공 장치가 있다.

AVM 영상 제공 장치는 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면에 표시한다.

이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.

다만, AVM 영상은 1~2 미터 이내의 차량 주변에 대한 영상만을 제공하기 때문에, 이를 기반으로 접근 객체를 검출하고, 차량과의 충돌 회피 동작을 수행하기가 어려운 단점을 가진다.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 인공 지능 기술을 이용하여 보다 넓은 영역의 주행 접근 객체를 검출하고, 이에 따른 충돌 방지 동작을 수행할 수 있도록 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치에 관한 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 차량에 설치된 N(N은 4 이상의 자연수)개의 어안 카메라를 통해 차량 주변을 촬영한 N채널 주변 영상을 획득하는 주변 영상 획득부; 접근 객체 위치별로 N채널 주변 영상을 반복 획득한 후, N채널 주변 영상의 영상 특징과 접근 객체 위치간의 상관관계를 신경망 모델을 통해 반복 학습하는 신경망 모델 학습부; 차량 운행이 시작되면, 상기 N채널 주변 영상이 획득될 때마다 상기 신경망 모델에 기반한 접근 객체 위치 확인 동작을 수행하는 접근 객체 검출부; 접근 객체의 위치에 기반하여 위험 지수를 산출하는 위험 평가부; 및 상기 N채널 주변 영상을 통해 AVM 영상을 생성 및 제공하되, 상기위험 지수가 기 설정치 이상이면 경고 정보를 생성 및 제공하는 제어부를 포함하며, 상기 경고 정보는 접근 객체 발생, 접근 객체 현재 위치, 충돌 세기, 충돌 방향, 접근 객체 충돌 가능성 중 적어도 하나를 시각, 청각, 또는 시청각적으로 통보하기 위한 정보인 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치를 제공할 수 있다.

상기 위험 평가부는 ECU에서 획득 및 제공하는 차량 주행 속도, 차량 주행 방향 및 차량 회전각중 적어도 하나를 추가 고려하여, 상기 위험 지수를 산출하는 것을 특징으로 한다.

상기 신경망 모델 학습부는 N채널 주변 영상 각각에 대한 객체 검출 동작을 수행한 후, 접근 객체 검출 결과를 수집하여 상기 N채널 주변 영상의 영상 특징을 획득하는 것을 특징으로 한다.

상기 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치는 차량의 측면에 설치된 적어도 M(M는 2 이상의 자연수)개의 고화질 카메라를 통해 차량 측면 영상을 획득하는 측면 영상 획득부; 상기 차량 측면 영상을 기반으로 객체 검출 동작을 수행하는 측면 객체 검출부를 더 포함하는 것을 특징으로 한다.

상기 제어부는 상기 측면 객체 검출부와 상기 접근 객체 검출부가 접근 객체를 동시 검출하는 경우에 한해, 상기 경고 정보를 출력하는 기능을 더 포함하는 것을 특징으로 한다.

상기 제어부는 상기 접근 객체 검출부가 접근 객체를 검출하는 경우에 한해, 상기 측면 객체 검출부를 선택적으로 구동시키는 기능을 더 포함하는 것을 특징으로 한다.

상기 제어부는 상기 AVM 영상과 상기 차량 측면 영상을 함께 제공하는 기능을 더 포함하는 것을 특징으로 한다.

본 발명은 신경망 모델을 이용하여 N채널 주변 영상과 접근 객체 위치간 상관관계를 학습하고, 이에 기반하여 접근 객체 검출 동작을 수행하도록 함으로써, 최소한의 구성 요소로 보다 신속 정확한 접근 객체 검출 동작이 수행될 수 있도록 한다.

그리고 보다 넓은 카메라 시야각을 가지는 어안 영상을 직접 이용하여 접근 객체 검출 동작을 수행함으로써, 보다 넓은 객체 감지 범위를 보장할 수 있도록 한다.

도 1는 본 발명의 일 실시예에 따른 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 어안 카메라 배치 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 N채널 주변 영상을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 신경망 모델 학습 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치의 구성도이다.
도 6은 본 발명의 다른 실시예에 따른 고화질 카메라 배치 예를 도시한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 어라운드 뷰 영상 제공 장치(100)는 주변 영상 획득부(110), 신경망 모델 학습부(120), 접근 객체 검출부(130), 위험 평가부(140), 제어부(150) 등을 포함한다.

주변 영상 획득부(110)는 차량의 분산 배치된 N(N은 4 이상의 자연수)개의 어안 카메라(111)를 통해 차량 주변을 촬영하여, N 채널의 주변 영상을 획득 및 제공한다. 예를 들어, 도 2에 도시된 바와 같이, 어안 카메라(111)는 차량의 전방, 후방, 좌측면, 우측면 등에 분산 배치되어 차량 전후좌우를 촬영할 수 있다.

신경망 모델 학습부(120)는 접근 객체 위치를 가변하면서 N채널 주변 영상을 반복 획득한 후, 이들을 기반으로 N채널 주변 영상의 영상 특징과 접근 객체 위치간 상관관계가 정의된 다수의 학습 데이터를 생성한다. 그리고 다수의 학습 데이터를 통해 신경망 모델에 반복 학습시킴으로써, 신경망 모델이 N채널 주변 영상을 입력받아, 이에 대응되는 접근 객체 위치를 획득 및 출력할 수 있도록 한다.

접근 객체 검출부(130)는 차량 운행시에 동작 활성화되어, 주변 영상 획득부(110)가 새로운 N채널 주변 영상을 획득할 때마다, 신경망 모델을 통해 현재 획득된 N채널 주변 영상에 대응되는 접근 객체 위치를 확인하도록 한다.

위험 평가부(140)는 차량 현재 위치와 접근 객체 위치를 비교하여 거리값을 계산하고, 거리값 기반으로 위험 지수(즉, 접근 객체와의 충돌 가능성)를 산출할 수 있다.

더하여, ECU(Electronic Control Unit)과의 상호 연동을 통해 차량 주행 속도, 차량 주행 방향 및 차량 회전각을 추가적으로 파악 및 분석하여 단위 시간당 차량 이동 반경을 예측한 후, 차량 현재 위치와 접근 객체 위치간의 거리값과 단위 시간당 차량 이동 반경을 함께 고려하여 위험 지수를 산출할 수도 있다.

제어부(150)는 N채널 주변 영상을 합성하여 AVM 영상을 생성 및 화면 제공하되, 위험 지수가 기 설정치 이상인 경우에는 접근 객체 충돌 가능성을 경고하기 위한 경고 정보를 추가 생성 및 제공하도록 한다. 이때, 경고 정보는 접근 객체 발생, 접근 객체 현재 위치, 충돌 세기, 충돌 방향, 접근 객체 충돌 가능성 중 적어도 하나를 시각, 청각, 또는 시청각적으로 통보하기 위한 정보이다.

더하여, 제어부(150)는 접근 객체와의 충돌 회피를 위한 차량 제어 정보를 생성하여 ECU에 제공함으로써, 접근 객체와의 충돌 가능성을 최소화하여 줄 수도 있도록 한다. 이때, 차량 제어 정보는 차량 주행 속도, 차량 주행 방향 및 차량 회전각을 제한하기 위한 정보일 수 있으나, 이에 한정될 필요는 없다.

이와 같이, 본 발명은 신경망 모델을 이용하여 N채널 주변 영상과 접근 객체 위치간 상관관계를 학습하고, 이에 기반하여 접근 객체 검출 동작을 수행하도록 함으로써, 최소한의 구성 요소로 보다 신속 정확한 접근 객체 검출 동작이 수행될 수 있도록 한다.

도 3은 본 발명의 일 실시예에 따른 N채널 주변 영상을 도시하는 도면이다.

도 3에 도시된 바와 같이, AVM 영상 생성을 위한 주변 영상은 일반적으로 어안 카메라를 통해 획득하므로, 주변 영상은 보다 넓은 카메라 시야각을 가지되, 외곽 영역으로 갈수록 영상 왜곡 정도가 커지는 특징을 가진다.

그러나 종래의 AVM 영상은 차량 주변의 상태를 안내하는 것에 초점이 맞춰져 있었으므로, 주변 영상의 외곽 영역 부분을 사용되지 못하고 그대로 버려지는 경우가 많았다.

이에 본 발명에서는 주변 영상 외곽 영역까지 모두 사용하여 신경망 모델 학습을 위한 학습 데이터를 생성함으로써, 보다 넓은 접근 객체 감지 범위를 확보할 수 있도록 한다.

이와 같이 본 발명은 보다 넓은 카메라 시야각을 가지는 어안 영상을 직접 이용하여 접근 객체 검출 동작을 수행함으로써, 보다 넓은 객체 감지 범위를 보장할 수 있도록 한다.

도 4는 본 발명의 일 실시예에 따른 신경망 모델 학습 방법을 설명하기 위한 도면이다.

앞서 설명한 바와 같이, N 채널 주변 영상을 입력 조건으로 가지고 접근 객체 위치를 출력 조건으로 가지는 다수의 학습 데이터를 생성한 후 이를 통해 신경망 모델을 반복 학습시키도록 한다.

다만, N채널 주변 영상을 그대로 이용하는 경우 신경망 모델의 처리 부하가 매우 커지게 되므로, 본 발명에서는 채널 주변 영상을 다음과 같은 전처리 과정을 거친 후, 학습 데이터로 이용할 수 있도록 한다.

먼저, 접근 객체 위치 각각에 대응되는 N채널 주변 영상을 다수개 획득한 후(S1), 주변 영상 각각에 대한 객체 검출 동작을 수행한다(S2).

다만, 주변 영상이 어안 영상으로 구현되는 외곽 영역으로 갈수록 영상 왜곡이 심해지므로, 객체가 외곽 영역에 존재하는 경우 객체 검출 동작이 원할히 수행되지 않을 수가 있다. 이에 주변 영상을 평면 영상으로 변환하여 영상내 왜곡을 최소화시킨 후, 평면 영상을 기준으로 접근 객체 검출 동작을 수행할 수도 있도록 한다.

그리고 접근 객체 검출 결과를 채널별로 수집하여 N채널 주변 영상의 영상 특징을 생성한 후(S3), 생성된 영상 특징 정보를 입력값으로 가지고 접근 객체 위치를 출력값으로 가지는 다수의 학습 데이터를 생성한다(S4).

다수의 학습 데이터를 통해 신경망 모델을 반복 학습시키고, 만약 입력값에 대한 출력값과 목표값과의 오차가 기 설정값으로 수렴되면, 신경망 모델의 반복 학습을 종료한다(S5).

더하여, 본 발명에서는 어안 카메라 이외에 고화질 카메라를 추가 구비하고, 이를 통해 객체 검출 효율 및 정확도를 보다 증대할 수도 있도록 한다.

도 5는 본 발명의 다른 실시예에 따른 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치의 구성도이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 차량 어라운드 뷰 영상 제공 장치(100)는 측면 영상 획득부(160)와 측면 객체 검출부(170)를 더 포함할 수 있다.

측면 영상 획득부(160)는 차량 측면을 촬영하는 적어도 M(M는 2 이상의 자연수)개의 고화질 카메라(161)를 포함하고, 이들을 통해 고화질의 차량 측면 영상을 획득할 수 있다. 이때, 고화질 카메라는 도 6에서와 같이 보다 넓은 시야각을 확보하기 위해 사이드 미러쪽에 설치되는 것이 바람직하나, 이에 한정되지는 않는다.

측면 객체 검출부(170)는 차량 측면 영상을 기반으로 객체 검출 동작을 수행하여, 차량 측면에 존재하는 접근 객체 여부, 접근 객체의 종류를 검출 및 통보할 수 있도록 한다.

그러면, 제어부(150)는 접근 객체 검출부(130) 및 측면 객체 검출부(170)를 동시 이용하여 접근 객체를 검출한 후, 동시 검출시에만 상기의 경고 정보를 출력할 수 있도록 한다.

또 다르게는 접근 객체 검출부(130)만을 우선 구동하여 접근 객체를 검출한 후, 접근 객체가 검출된 경우에 한해 측면 객체 검출부(170)를 추가 구동하여 접근 객체를 검출할 수 있도록 한다. 즉, 객체 검출의 정확성을 향상하되, 이에 따른 전력 소모량 및 처리 부하량은 최소로 유지할 수 있도록 한다.

한편, 도 5의 다른 실시예에서는 어안 카메라(111) 이외에 고화질 카메라(161)를 추가 구비하므로, 이를 통해 AVM 영상 과 측면 영상으로 구성되는 다중 영상을 생성하여 제공할 수 있으며, 더 나아가서는 접근 객체의 영상만을 추출하여 확대 제공할 수도 있도록 한다.

즉, 사용자가 경고 정보를 통해 접근 객체과의 충돌 가능성을 단순 확인하는 것에서 더 나아가 접근 객체가 종류와 상태(객체 이동 속도, 이동 방향 등)를 영상 기반으로 확인할 수 있도록 한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims

차량에 설치된 N(N은 4 이상의 자연수)개의 어안 카메라를 통해 차량 주변을 촬영한 N채널 주변 영상을 획득하는 주변 영상 획득부;
접근 객체 위치별로 N채널 주변 영상을 반복적으로 획득 및 분석하여, 상기 N채널 주변 영상이 합쳐진 하나의 영상을 입력 조건으로 가지고 접근 객체 위치를 출력 조건으로 가지는 다수의 학습 데이터를 생성한 후, 상기 다수의 학습 데이터를 통해 신경망 모델이 N채널 주변 영상을 입력받아 차량에 접근하는 차량 접근 객체의 위치를 예측하도록 사전 학습시키는 신경망 모델 학습부;
차량 운행이 시작되면, 상기 N채널 주변 영상을 새로이 획득될 때마다 상기 신경망 모델에 상기 새로이 획득된 N채널 주변 영상에 대응되는 접근 객체 위치를 확인하는 동작을 반복 수행하는 접근 객체 검출부;
접근 객체의 위치에 기반하여 위험 지수를 산출하는 위험 평가부; 및
상기 N채널 주변 영상을 통해 AVM 영상을 생성 및 제공하되, 상기위험 지수가 기 설정치 이상이면 경고 정보를 생성 및 제공하는 제어부를 포함하며,
상기 경고 정보는
접근 객체 발생, 접근 객체 현재 위치, 충돌 세기, 충돌 방향, 접근 객체 충돌 가능성 중 적어도 하나를 시각, 청각, 또는 시청각적으로 통보하기 위한 정보이며,
상기 접근 객체 위치의 객체 감지 범위는
N개의 차량 주변 영상의 카메라 시야각만큼 확대되는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.
제1항에 있어서, 상기 위험 평가부는
ECU(Electronic Control Unit)에서 획득 및 제공하는 차량 주행 속도, 차량 주행 방향 및 차량 회전각중 적어도 하나를 추가 고려하여, 상기 위험 지수를 산출하는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.
제1항에 있어서, 상기 신경망 모델 학습부는
N채널 주변 영상 각각에 대한 객체 검출 동작을 수행하고, 접근 객체 검출값을 수집한 결과를 상기 학습 데이터의 입력 조건으로 이용하는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.
제1항에 있어서,
차량의 측면에 설치된 적어도 M(M는 2 이상의 자연수)개의 고화질 카메라를 통해 차량 측면 영상을 획득하는 측면 영상 획득부;
상기 차량 측면 영상을 기반으로 객체 검출 동작을 수행하는 측면 객체 검출부를 더 포함하는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.
제4항에 있어서, 상기 제어부는
상기 측면 객체 검출부와 상기 접근 객체 검출부가 접근 객체를 동시 검출하는 경우에 한해, 상기 경고 정보를 출력하는 기능을 더 포함하는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.
제5항에 있어서, 상기 제어부는
상기 접근 객체 검출부가 접근 객체를 검출하는 경우에 한해, 상기 측면 객체 검출부를 선택적으로 구동시키는 기능을 더 포함하는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.
제4항에 있어서, 상기 제어부는
상기 AVM 영상과 상기 차량 측면 영상을 함께 제공하는 기능을 더 포함하는 것을 특징으로 하는 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치.