KR20220167522A - 차량 내 경보 발생 장치 - Google Patents

Abstract

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치는 차량 내 각각 다른 위치에 설치되어 경고음을 출력하는 다수의 스피커와, 차량에 다수 설치되어 차량 전방 및 후방을 포함하는 주변 영역 영상을 촬영하는 카메라와, 촬영된 영상으로부터 객체를 검출하여 객체의 종류를 인식하는 객체 인식부와, 인식된 객체에 부합하는 경고음을 검색하여 스피커를 통해 경고음이 출력되도록 제어하는 제어부를 포함한다.

Description

차량 내 경보 발생 장치 { IN-VEHICLE ALARM GENERATING DEVICE }

본 발명은 운전자 보조 장치에 관한 것으로, 보다 상세하게는 경고음만으로 운전자가 충돌 위험이 있는 장애물의 종류 및 위치를 인식하게 하는 장치에 관한 것이다

운전자의 운전을 보조하기 하기 위하여 초음파 센서를 이용하여 자동차 전방이나 후방의 장애물을 감지하여 경고음을 발생시키는 자동차 편의장치가 많이 사용되고 있다. 장애물을 감지하여 경고음을 발생시키는 장치 중에는 다수의 초음파 센서를 사용하여 장애물의 위치(방향)를 인식하여 자동차 클러스터에 해당 정보를 표시하는 장치도 있다. 그러나 자동차 클러스터에 장애물의 위치(방향)를 표시하는 경우에는 운전 중에 해당 정보를 보기가 어려워 장애물의 위치(방향)를 쉽게 인지하기 어렵다. 또한, 종래의 장치들은 장애물의 종류를 구분하지 않아 운전자가 육안으로 장애물을 인지하기 전에는 어떤 장애물이 있는지 인지할 수 없는 문제가 있다.

대한민국 공개특허 제10-2010-0027629호

본 발명은 자동차와 충돌 가능성이 있는 장애물의 종류, 위치(방향)를 운전자가 경고음 만으로 직관적으로 인식할 수 있는 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치는 스피커와, 카메라와, 객체 인식부와, 음원 저장부와, 제어부를 포함한다.

스피커는 차량 내 각각 다른 위치에 설치되어 경고음을 출력하고, 카메라는 차량에 다수 설치되어 차량 전방 및 후방을 포함하는 주변 영역 영상을 촬영하고, 객체 인식부는 촬영된 영상으로부터 객체를 검출하여 객체의 종류를 인식하고, 제어부는 인식된 객체에 부합하는 경고음을 음원 저장부에서 검색하여 스피커를 통해 경고음이 출력되도록 제어한다.

본 발명의 차량 내 경보 발생 장치는 추가적으로 영상으로부터 객체의 위치를 검출하여 그 위치 방향의 스피커를 통해 경고음을 출력할 수 있으며, 영상으로부터 객체와의 거리와 충돌 소요시간을 산출하여 그에 따라 경고음의 음량을 조절하여 출력할 수 있다.

본 발명의 차량 내 경보 발생 장치는 추가적으로 영상에서 객체를 인식하더라도 충돌 위험을 판단하여 충돌 위험이 있는 객체에 대하여만 경고음을 출력할 수 있다.

본 발명의 차량 내 경보 발생 장치에 의하면 운전자가 자동차와 충돌 가능성이 있는 장애물의 종류, 위치(방향)를 경고음 만으로 직관적으로 인식할 수 있다.

도 1은 본 발명의 일 양상에 따른 차량 내 경보 발생 장치의 블록도이다.
도 2는 본 발명의 일 양상에 따른 차량 내 경보 발생 장치가 객체의 종류를 인식하여 경고음을 출력하는 예시이다.
도 3은 본 발명의 일 양상에 따른 차량 내 경보 발생 장치가 객체의 방향에 따라 스피커를 선택하여 경고음을 출력하는 예시들이다.
도 4는 본 발명의 차량 내 경보 발생 장치가 객체 인식에 따라 경고음을 출력하는 방법을 도시한 절차도이다.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.

도 1은 본 발명의 일 양상에 따른 차량 내 경보 발생 장치의 블록도이다. 본 발명의 일 양상에 따르는 차량 내 경보 발생 장치(100)는 스피커(110)와, 카메라(120)와, 객체 인식부(130)와, 음원 저장부(160), 제어부(140)를 포함한다.

스피커(110)는 경고음을 출력하기 위한 장치이나, 차량의 오디오 시스템에 속하는 스피커일 수 있다. 스피커(110)는 차량 내 각각 다른 위치에 설치되어 경고음을 출력한다. 일 예로 스피커(110)는 차량 내부의 전방 좌측 위치와, 전방 우측 위치와, 후방 좌측 위치와, 후방 우측 위치에 설치될 수 있다. 다만, 이에 제한되는 것은 아니며 스피커(110)에서 출력되는 음향으로 스피커(110)가 설치된 방향을 인지할 수 있는 위치에 추가하여 설치될 수도 있다.

카메라(120)는 차량에 설치되는 카메라 모듈들이며 차량에 다수 설치되어 차량 주변 영역을 촬영한다. 이때 차량 주변 영역은 차량 전방 및 후방을 포함하며 추가적으로 차량의 좌측면 영역과 우측면 영역을 포함할 수 있다. 카메라(120)가 설치되는 위치는 제한이 없다.

객체 인식부(130)는 촬영된 영상으로부터 객체를 검출하여 객체의 종류를 인식한다. 객체 인식부(130)는 프로세서에서 실행되는 적어도 기능의 일부가 컴퓨터 프로그램 명령어로 구현되며 인공지능의 기반 기술 중 하나인 딥러닝 모델을 사용한다. 일 예로 객체 인식부(130)는 촬영된 영상에서 관심 객체를 배경과 구분하여 식별하며, 객체 탐지를 위하여 경계박스(Bounding Box)를 설정하고 탐지된 객체를 분류한다. 발명의 양상에 따라서는 YOLO(You Only Look Once) 알고리즘이 사용될 수 있으며, RCNN(Regions with CNN features) 알고리즘, Faster RCNN 알고리즘 등 CNN 기초한 딥러닝 알고리즘이 사용될 수 있으나, 이에 한정되지 않고 객체를 탐지하여 분류할 수 있는 다른 딥러닝 알고리즘이 사용될 수 있다. 객체 인식부(130)는 다수의 카메라(120)가 촬영한 다수의 영상에 대하여 실시간으로 객체를 검출하여 그 종류를 인식할 수 있다. 객체 인식부(130)가 검출하는 객체는 차량의 주행에 있어서 장애가 되는 사람, 다른 차량, 자전거 등의 장애물이다.

음원 저장부(160)는 메모리 장치를 포함하여 다양한 음원을 저장한다. 음원 저장부(160)에 저장된 음원들은 다양한 객체들의 음원으로 해당 음원을 청취하는 것만으로 누구나 객체의 종류를 식별할 수 있는 음원이다. 음원 저장부(160)는 객체의 종류로 저장된 음원을 검색할 수 있는 인터페이스를 제공한다.

제어부(140)는 객체 인식부(130)가 인식한 객체의 종류에 기초하여 인식된 객체에 부합하는 경고음을 음원 저장부(160)에서 검색하여 찾는다. 제어부(140)는 프로세서에서 실행되는 적어도 기능의 일부가 컴퓨터 프로그램 명령어로 구현된다. 예를 들어, 제어부(140)는 객체 인식부(130)가 인식한 객체가 어린이인 경우 어린이 말소리를 경고음으로 음원 저장부(160)에서 찾을 수 있고, 객체가 자동차인 경우 경적 소리나 엔진 소리 등 자동차를 인식할 수 있는 음원을 경고음으로 음원 저장부(160)에서 찾을 수 있고, 객체가 자전거인 경우 자전거 경적벨 소리로 많이 사용되는 소리(예, 따르릉)를 경고음으로 음원 저장부(160)에서 찾을 수 있다. 다양한 객체에 부합하는 음원은 음원 저장부(160)에 미리 저장되어 있을 수 있으며, 발명의 양상에 따라서는 객체에 부합하는 음원을 음원 저장부(160)에서 찾을 수 없는 경우 적절한 음원을 차량 내 설치된 통신장치를 통해 외부에서 가져올 수도 있다. 제어부(140)는 스피커(110)를 통해 경고음이 출력되도록 제어한다.

도 2는 본 발명의 일 양상에 따른 차량 내 경보 발생 장치가 객체의 종류를 인식하여 경고음을 출력하는 예시이다. 도 2의 예에서 객체 인식부(130)는 차량의 전방이 촬영된 영상에서 객체가 자전거임을 인식하고, 제어부(140)는 객체 인식결과에 부합하는 자전거의 경적벨 소리인 "따르릉"을 경고음으로 음원 저장부(160)에서 검색하고 검색된 경고음을 스피커(110)를 통해 출력하도록 제어하여 운전자가 이 경고음을 듣는 것만으로 객체 즉, 장애물이 자전거임을 인식하도록 할 수 있다.

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치(100)는 객체의 위치 즉, 방향을 검출하여 방향에 따라 스피커(110)를 선택하여 경고음을 출력하여 운전자가 경고음을 듣는 것만으로 객체의 방향을 인식할 수 있게 한다.

다수의 스피커(110)는 적어도 전방 좌측 위치(110-1), 전방 우측 위치(110-2), 후방 좌측 위치(110-3), 후방 우측 위치(110-4)를 포함하는 차량 내부 위치에 설치되고, 객체 인식부(130)는 촬영된 영상으로부터 객체의 위치(방향)을 검출할 수 있다. 이때, 제어부(140)는 검출된 객체의 위치에 기초하여 스피커를 선택하여 경고음을 출력할 수 있다. 예를 들어, 차량의 전방이 촬영된 영상에서 영상의 우측에 객체가 검출되는 경우 객체 인식부(130)는 객체의 위치를 차량의 전방 우측 방향으로 인식할 수 있으며 제어부(140)는 전방 우측 스피커(110-2)를 선택하여 경고음을 출력하고, 차량의 후방이 촬영된 영상에서 영상의 가운데 위치에서 객체가 검출되는 경우 객체 인식부(130)는 객체의 위치를 차량의 후방 정면 방향으로 인식할 수 있으며 제어부(140)는 후방 좌측 스피커(110-3)와 후방 우측 스피커(110-4)를 선택하여 경고음을 출력한다.

도 3은 본 발명의 일 양상에 따른 차량 내 경보 발생 장치가 객체의 방향에 따라 스피커를 선택하여 경고음을 출력하는 예시들이다. 도 3의 (a)는 차량의 전방 가운데 방향에 있는 객체가 인식되는 경우 제어부(140)가 전방 좌측 스피커(110-1)와, 전방 우측 스피커(110-2)를 통해 경고음을 출력하도록 하여 운전자가 차량의 전방 정면에 객체가 있음을 인식할 수 있는 예이고, 도 3의 (b)는 차량의 전방 우측 방향에 있는 객체가 인식되는 예로 제어부(140)가 전방 우측 스피커(110-2)를 통해서만 경고음을 출력하도록 제어하여 운전자가 해당 방향에 객체가 있음을 인식할 수 있도록 하고, 도 3의 (c)는 차량의 우측면에 객체가 인식되는 예로 제어부(140)가 전방 우측 스피커(110-2)와 후방 우측 스피커(110-4)를 통해 경고음을 출력하도록 제어하여 운전자가 차량의 우측에 객체가 있음을 인식하도록 하고 있다.

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치(100)는 차량과 객체와의 거리를 산출할 수 있으며, 산출된 거리에 기초하여 충돌 소요시간을 계산하고 충돌 소요시간에 따라 경고음의 음량을 조절하여 운전자가 충돌 소요시간에 따라 충돌 위험을 인식할 수 있도록 할 수 있다.

객체 인식부(130)는 촬영된 영상으로부터 차량과 객체와의 거리를 산출할 수 있다. 객체 인식부(130)가 객체와의 거리를 산출하는 방법 또한 딥러닝에 기반하여 거리를 측정하는 방법이다. 발명의 양상에 따라서는 객체 인식부(130)는 양안기반 거리측정 방법을 사용할 수 있다. 이때는 차량에 설치된 카메라(120)들이 양안 카메라이거나 한 방향에 대하여 두 대의 카메라가 사용되어야 한다. 또 다른 양상에 의하면 객체 인식부(130)는 단안기반 거리측정 방법을 사용할 수 있다. 캘리브레이션 문제와 비용의 문제로 인해 단안기반 거리측정 방법을 사용하는 것이 바람직하다.

양안기반 거리측정 방법과 단안기반 거리측정 방법은 공지된 기술로 자세한 설명을 생략한다.

제어부(140)는 차량의 속도와 객체와의 거리에 기초하여 충돌 소요시간을 산출할 수 있다. 제어부(140)는 자동차의 차량 제어 장치로부터 차량의 주행 정보를 획득할 수 있으며, 주행 정보로부터 차량의 속도를 알 수 있다. 제어부(140)는 객체 인식부(130)가 측정한 객체와의 거리와 차량의 속도로부터 충돌 소요시간을 산출한다. 또한 제어부(140)는 충돌 소요시간에 따라 경고음의 음량을 조절하여 출력할 수 있다. 즉, 제어부(140)는 충돌 소요시간이 짧을수록 경고음의 음량을 크게 하여 출력할 수 있다.

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치(100)는 차로 변경 시 차로 변경 방향의 객체를 인식하여 해당 객체에 부합하는 경고음을 해당 방향을 인식할 수 있는 스피커를 선택하여 출력할 수 있다. 제어부(140)는 자동차의 차량 제어 장치로부터 차량의 방향지시등이 켜졌다는 정보를 포함하는 주행 정보를 획득할 수 있다. 제어부는 방향지시등이 켜진 경우 다른 방향보다 높은 우선순위로 해당 방향에서 인식된 객체에 대한 경고음을 음원 저장부(160)에서 검색하고, 검색된 경고음을 검출된 객체의 위치에 기초하여 선택된 스피커를 통해 출력할 수 있다. 이는 운전자가 차로 변경을 시도할 때 해당 방향에 어떤 객체가 있는지 경고하기 위함으로 특히 사이드 미러 등에 대하여 사각 지대에 있는 객체에 대하여 객체의 종류에 따른 경고음을 출력하여 운전자에게 경고하여 주의를 환기시키기 위함이다.

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치(100)는 복수의 객체를 인식할 수 있다. 즉, 객체 인식부(130)는 입력된 하나의 영상 또는 복수의 영상으로부터 복수의 객체를 인식할 수 있다. 이 경우 제어부(140)는 객체 인식부(130)가 인식한 복수의 객체 각각에 대하여 충돌 소요시간을 계산하고, 복수의 객체 중 충돌 소요시간이 가장 짧은 객체에 부합하는 경고음을 음원 저장부(160)에서 검색할 수 있다. 복수의 객체가 검출되더라도 충돌 가능성이 가장 높은 객체를 운전자가 인식하도록 할 수 있다. 이는 서로 다른 위치의 복수에 객체에 대하여 모두 경고음을 검색하여 출력하면 운전자에게 혼동을 주어 운전에 오히려 방해가 될 수 있어, 충돌 위험이 가장 큰 객체에 대하여만 경고하기 위함이다.

발명의 양상에 따라서는 충돌 소요시간의 크기를 우선순위로 하여 일정한 개수의 객체에 대하여는 순차적으로 객체에 부합하는 경고음을 출력하게 할 수도 있다.

본 발명의 일 양상에 따르는 차량 내 경보 발생 장치(100)는 인식된 객체를 추적하여 해당 객체와의 거리 차이 변화로부터 충돌 위험 여부 즉, 충돌 가능성을 판단하여 충돌 위험이 있는 객체에 대해서만 객체에 부합하는 경고음을 음원 저장부(160)에서 검색하여 출력할 수 있다.

제어부(140)는 인식된 객체에 대하여 차량과 해당 객체와의 거리 차이 변화를 추적하여 해당 객체와의 충동 가능성이 있는지를 판단하여 충돌 위험 여부를 판단할 수 있다. 제어부(140)는 충돌 위험이 없다고 판단되면 해당 객체에 대한 경고음을 검색하지 않으며 충돌 위험이 있다고 판단된 객체에 대하여 객체에 부합하는 경고음을 음원 저장부(160)에서 검색하여 스피커를 통해 출력할 수 있다. 이는 충돌할 가능성이 없는 객체에 대하여 지속적으로 경고음을 출력하여 운전자의 운전을 방해하지 않기 위함이다. 예를 들어, 전방에 다른 차량과 같은 속도로 주행하고 있는 경우 다른 차량과 충돌할 가능성이 없는데도 스피커(110)를 통해 경고음이 출력되지 않도록 한다.

추가적 양상에 따르면, 차량 내 경보 발생 장치(100)는 거리 측정부(150)를 더 포함할 수 있다.

거리 측정부(150)는 영상 분석이 아닌 다른 방식으로 거리를 측정하며, 거리 측정용으로 자동차에 많이 사용되는 센서를 사용하여 객체와의 거리를 측정할 수 있다. 이때, 사용되는 센서는 라이다 센서와, 레이더 센서와, 초음파 센서가 있으며 거리 측정부(150)는 이들 센서 중 하나 이상의 센서를 포함할 수 있다.

차량 내 경보 발생 장치(100)가 거리 측정부(150)를 포함하는 경우 영상 인식부는 영상에서 객체와의 거리를 계산하는 기능을 수행하지 않을 수 있다. 또한, 영상 인식부의 거리 산출 결과를 보정하는 용도로 거리 측정부(150)의 측정 결과를 사용할 수도 있다.

도 4는 본 발명의 차량 내 경보 발생 장치가 객체 인식에 따라 경고음을 출력하는 방법을 도시한 절차도이다. 도 4를 참조하여 설명하면, 차량에 다수 설치된 카메라(120)를 통하여 차량 주변 영상을 획득한다(S4000). 차량 주변 영상은 설치된 카메라의 수만큼 획득된다. 객체 인식부(130)가 딥러닝 기술을 이용하여 촬영된 영상들에서 객체를 검출하고 인식한다(S4010). 객체 인식부(130)가 딥러닝 기술을 이용하여 영상으로부터 객체의 종류, 객체의 위치(방향)을 식별하고, 차량과 객체와의 거리를 측정한다(S4020). 제어부(140)는 객체 인식부(130)가 인식한 객체의 종류에 부합하는 경고음을 음원 저장부(160)에서 검색하고(S4030), 객체의 위치(방향)에 따라 경고음을 출력할 스피커(110)를 선택한다(S4040). 제어부(140)는 또한 객체와의 산출된 거리에 기초하여 경고음의 음량을 조절하고(S4050) 선택된 스피커를 통해 경고음을 출력한다(S4060). 운전자는 주행 중 경고음을 듣는 것만으로 객체(장애물)의 종류와 객체의 위치(방향)과 위험의 정도(경고음의 음량으로부터 추론)를 인식할 수 있다.

이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.

100 : 경보 발생 장치
110 : 스피커
120 : 카메라
130 : 객체 인식부
140 : 제어부
150 : 거리 측정부
160 : 음원 저장부

Claims (8)

1. 차량 내 각각 다른 위치에 설치되어 경고음을 출력하는 다수의 스피커;
   차량 전방 및 후방을 포함하는 주변 영역 영상을 촬영하는 다수의 카메라;
   상기 영상으로부터 객체를 검출하여 객체의 종류를 인식하는 객체 인식부;
   인식된 객체에 부합하는 경고음을 객체를 식별할 수 있는 음원들이 저장되어 있는 음원 저장부에서 검색하여 스피커를 통해 경고음이 출력되도록 제어하는 제어부;
   를 포함하는 차량 내 경보 발생 장치.
   
2. 제 1 항에 있어서,
   객체 인식부는 상기 영상으로부터 객체의 위치를 검출하고,
   제어부는 검출된 객체의 위치에 기초하여 스피커를 선택하여 경고음을 출력하는 차량 내 경보 발생 장치.
   
3. 제 1 항에 있어서,
   객체 인식부는 상기 영상으로부터 (차량과) 객체와의 거리를 산출하는 차량 내 경보 발생 장치.
   
4. 제 3 항에 있어서,
   제어부는 차량의 속도와 객체와의 거리에 기초하여 충돌 소요시간을 산출하고, 충돌 소요시간에 따라 경고음의 음량을 조절하여 출력하는 차량 내 경보 발생 장치.
   
5. 제 2 항에 있어서,
   제어부는 방향지시등이 켜진 경우 해당 방향에서 인식된 객체에 부합하는 경고음을 검출된 객체의 위치에 기초하여 선택된 스피커를 통해 출력하는 차량 내 경보 발생 장치.
   
6. 제 4 항에 있어서,
   제어부는 객체 인식부가 인식한 복수의 객체 중 충돌 소요시간이 가장 짧은 객체에 부합하는 경고음을 출력하는 차량 내 경보 발생 장치.
   
7. 제 3 항에 있어서,
   제어부는 객체와의 거리 변화를 추적하여 충돌 위험 여부를 판단하고, 충돌 위험이 있는 객체에 부합하는 경고음을 출력하는 차량 내 경보 발생 장치.
   
8. 제 1 항에 있어서, 상기 장치는
   라이다 센서와, 레이더 센서와 초음파 센서 중 하나 이상의 센서를 포함하여 객체와의 거리를 측정하는 거리 측정부;
   를 더 포함하는 차량 내 경보 발생 장치.

Images