KR20150066799A

KR20150066799A - 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량

Info

Publication number: KR20150066799A
Application number: KR1020130152296A
Authority: KR
Inventors: 최은진; 김재광; 김진학; 이완재; 이강훈
Original assignee: 현대자동차주식회사
Priority date: 2013-12-09
Filing date: 2013-12-09
Publication date: 2015-06-17
Also published as: CN104700114A; KR101543105B1; US20150161796A1

Abstract

본 발명은 보행자 인식에 관한 것으로, 원적외선 영상을 수집하는 단계, 상기 원적외선 영상에서 보행자 후보군을 검출하는 검출 단계, 사전 정규화된 보행자 데이터베이스 학습을 기반으로 보행자 특징을 추출하는 특징 추출 단계, 상기 추출된 보행자 특징과 상기 보행자 데이터베이스 학습 결과 간의 유사성을 비교하는 비교 단계, 상기 비교 결과에 따라 보행자 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 보행자 인식 처리 방법 및 장치와 이를 지원하는 차량의 구성을 개시한다.

Description

보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량{Method And Device for Recognizing a Pedestrian　and Vehicle supporting the same}

본 발명은 보행자 인식 및 처리에 관한 것으로서, 보다 구체적으로 전방 보행자에 대하여 적절한 처리 속도와 신뢰성 있는 인식이 가능한 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량에 관한 것이다.

차량 사고 중 사망사고의 대부분은 야간에 전방 보행자를 인식 못해서 발생하게 된다. 특히, 야간 운전의 경우 운전자는 시야가 좁아져서 전방의 보행자의 존재 유무와 움직임을 예측하지 못하기 때문에 발생할 수 있다. 이러한 문제를 해결하기 위하여 다양한 센서 신호를 수집하고, 이를 기반으로 야간 전방 보행자 인식을 수행하는 방안이 제안된 바 있다.

예컨대 종래 보행자 인식 기술은 보행자 관련해서 사전 획득된 DB 영상을 기준으로 HOG(Histogram of Gradients)라는 윤곽선 특징을 추출한 후, 이를 이용하여 보행자인지 비보행자인지 구분하는 강분류기 SVM(Support Vector Machine) classifier를 사용하는 방식이 있다. 그런데 강분류기를 적용하는 방식은 검출성능은 향상될 수 있으나 많은 특징들을 비교하여야 하기 때문에 검출속도가 저하되는 문제가 있어 필요한 시점에 적절한 정보 제공이 어려운 문제가 있다. 이를 보완하기 위하여 약분류기인 adaboost 기법을 적용할 수 있는데 이 방식은 처리 속도는 개선될 수 있으나 검출 성능이 필요 이하로 저하되므로 적절한 보행자 인식이 어려운 문제점이 있다. 더욱이 약분류기 방식을 적용할 경우 보행자 인지 성능에 오류가 많아 실효적인 기능 제공이 어려운 실정이다.

이러한 종래의 문제점들을 해결하기 위한 본 발명의 목적은 보다 개선된 영상처리프로세스 속도와 안정적인 보행자 인식이 가능한 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량을 제공하는데 있다.

이러한 목적들을 달성하기 위하여 본 발명은 일정 영역의 원적외선 영상을 수집하는 원적외선 카메라, 상기 원적외선 영상에서 보행자 후보군을 검출하고, 정규화된 보행자 데이터베이스 학습을 기반으로 보행자 특징을 추출 및 비교하여 보행자 검출을 수행하는 제어부를 포함하는 것을 특징으로 하는 보행자 인식 장치의 구성을 개시한다.

상기 제어부는 상기 원적외선 영상에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하는 것을 특징으로 한다.

상기 제어부는 상기 원적외선 영상에서 검출된 상기 보행자 후보군의 주변 영역을 선정하고, 상기 보행자 후보군 주변 영역을 정규화된 보행자 데이터베이스에서의 보행자 영역 크기로 정규화하는 것을 특징으로 한다.

상기 제어부는 너비와 높이가 1:2의 비율을 가지는 크기로 상기 보행자 후보군 주변 영역을 정규화하는 것을 특징으로 한다.

상기 제어부는 상기 보행자 후보군 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식을 적용하거나, 현재 화소 값과 이웃 화소 값의 변화를 패턴화 한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 히스토그램을 구성하여 특징을 추출하는 LBP 방식을 적용하는 것을 특징으로 한다.

상기 제어부는 상기 보행자 검출 결과 영상에서 객체가 겹친 영역에 대한 군집화를 수행하여 하나의 보행자인지 또는 복수의 보행자인지를 결정하는 것을 특징으로 한다.

본 발명은 또한, 일정 영역의 원적외선 영상을 수집하는 원적외선 카메라, 상기 원적외선 영상에서 보행자 후보군을 검출하고, 정규화된 보행자 데이터베이스 학습을 기반으로 보행자 특징을 추출 및 비교하여 보행자 검출을 수행하는 제어부, 상기 보행자 검출 결과를 출력하는 정보 출력 장치를 포함하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량의 구성을 개시한다.

상기 정보 출력 장치는 상기 보행자와 자차 간의 거리 및 상기 보행자의 위치 중 적어도 하나에 따라 경보음을 출력하는 오디오 장치, 상기 보행자 검출 영상을 출력하는 비디오 장치 중 적어도 하나를 포함하는 것을 특징으로 한다.

상기 차량은 상기 보행자 인식 기능의 자동 적용 시간을 위한 타이머, 상기 보행자 인식 기능 자동 적용 환경을 검출하기 위한 조도 센서, 온도 센서 중 적어도 하나를 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 원적외선 영상을 수집하는 단계, 상기 원적외선 영상에서 보행자 후보군을 검출하는 검출 단계, 사전 정규화된 보행자 데이터베이스 학습을 기반으로 보행자 특징을 추출하는 특징 추출 단계, 상기 추출된 보행자 특징과 상기 보행자 데이터베이스 학습 결과 간의 유사성을 비교하는 비교 단계, 상기 비교 결과에 따라 보행자 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 보행자 인식 처리 방법의 구성을 개시한다.

상기 검출 단계는 상기 원적외선 영상에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하는 단계인 것을 특징으로 한다.

상기 방법은 상기 원적외선 영상에서 검출된 상기 보행자 후보군의 주변 영역을 선정하는 단계, 상기 보행자 후보군 주변 영역을 정규화된 보행자 데이터베이스에서의 보행자 영역 크기에 대응하되 너비와 높이가 1:2의 비율을 가지는 크기로 정규화하는 단계를 더 포함하는 것을 특징으로 한다.

상기 특징 추출 단계는 상기 데이터베이스 학습 중 약분류기에 의해 추출된 특징 중 특성이 높은 상위 특징들을 추출하는 단계를 포함하는 것을 특징으로 한다.

상기 특징 추출 단계는 상기 보행자 후보군 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식을 적용하는 단계, 현재 화소 값과 이웃 화소 값의 변화를 패턴화 한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 히스토그램을 구성하여 특징을 추출하는 LBP 방식을 적용하는 단계 중 적어도 하나를 포함하는 것을 특징으로 한다.

상기 방법은 상기 보행자 검출 결과 영상에서 검출 객체가 겹친 영역에 대해 하나의 보행자인지 또는 복수의 보행자인지를 결정하는 군집화 단계를 더 포함하는 것을 특징으로 한다.

상기 방법은 상기 보행자와 자차 간의 거리 및 상기 보행자의 위치 중 적어도 하나에 따라 경보음을 출력하는 단계, 상기 보행자 검출 영상을 출력하는 단계 중 적어도 하나를 더 포함하는 것을 특징으로 한다.

상기 방법은 사전 설정된 시간 도래하는 경우 상기 보행자 인식 기능의 자동 적용하는 단계, 조도 센서 값이 사전 정의된 일정 값 이하 또는 이상인 경우 상기 보행자 인식 기능 자동 적용하는 단계, 및 온도 센서 값이 사전 정의된 일정 값 이하 또는 이상인 경우 상기 보행자 인식 기능 자동 적용하는 단계 중 적어도 하나의 단계를 더 포함하는 것을 특징으로 한다.

이와 같이, 본 발명의 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량에 따르면, 본 발명은 보다 개선된 영상 처리 속도와 안정적인 보행자 특징 검출을 통하여 보행자 인식이 적절한 시점에 신뢰성 있게 검출될 수 있도록 지원한다.

이에 따라, 본 발명은 운전자 및 보행자의 안전을 도모할 수 있다.

도 1은 본 발명의 실시예에 따른 보행자 인식 장치 및 이를 포함할 수 있는 차량의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 보행자 인식 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 보행자 인식 장치 구성 중 제어부 구성을 보다 상세히 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 보행자 인식 처리 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 보행자 후보군 선정 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 보행자 후보군 주변 영역 선정 및 정규화 방식을 설명하기 위한 도면이다.
도 7은 본 발명의 보행자 특징 검출 중 Adv_HOG 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 보행자 특징 검출 중 LBP 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 보행자 특징 비교를 설명하기 위한 도면이다.
도 10은 본 발명의 보행자 특징 중 Adv_HOG 및 LBP 특징의 영상 내 위치 일예를 나타낸 도면이다.
도 11은 본 발명의 보행자 검출 결과에서의 군집화 과정을 설명하기 위한 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다.

도 1은 본 발명의 실시예에 따른 보행자 인식 기능을 지원하는 보행자 인식 장치 및 이를 포함하는 차량의 구성을 개략적으로 나타낸 도면이다. 그리고 도 2는 본 발명의 보행자 인식 단계를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 보행자 인식 장치(100)는 원적외선 카메라(110) 및 제어부(160)의 구성을 포함하며, 추가로 정보 출력 장치(140)의 구성을 더 포함할 수 있다. 여기서 보행자 인식 장치(100)가 차량인 경우 정보 출력 장치(140)는 AVN(Audio/Video/Navigation), 클러스터 등의 구성이 될 수 있다. 특히 보행자 인식 장치(100)가 차량인 경우 제어부(160)는 MCU(Motor Control Unit) 등의 구성이 될 수 있다.

이와 같은 구성을 포함하는 본 발명의 보행자 인식 장치(100)는 원적외선 카메라(110)가 수집한 원적외선 영상 신호를 제어부(160)가 처리하되, 보행자 인식을 위하여 도 2에 도시된 바와 같은 과정을 포함할 수 있다. 즉 보행자 인식 장치(100)는 영상 입력 과정, 관심 영역 설정 과정, 후보 추출 과정, 보행자 검출 과정, 보행자 추적 과정 및 결과 영상 출력 과정을 포함할 수 있다.

원적외선 카메라(110)는 보행자 인식 장치(100)의 영상 입력 과정을 지원하는 구성일 수 있다. 원적외선 카메라(110)는 제어부(160) 제어에 따라, 일정 방향 예컨대 차량의 전방 일정 각도 범위 이내의 주변 환경에 대한 원적외선 영상을 수집할 수 있다. 이를 위하여 원적외선 카메라(110)는 차량의 지붕이나 차량의 본넷 일정 위치에 배치될 수 있다. 원적외선 카메라(110)가 수집하는 영상을 실시간으로 또는 일정 주기 단위로 획득될 수 있다. 원적외선 카메라(110)가 수집한 원적외선 영상은 제어부(160)에 전달될 수 있다.

정보 출력 장치(140)는 제어부(160) 제어에 따라 보행자 인식 결과를 출력하는 장치일 수 있다. 이러한 정보 출력 장치(140)는 앞서 언급한 바와 같이 차량에 배치된 적어도 하나의 오디오 장치, 비디오 장치 중 적어도 하나를 포함할 수 있다. 또한 정보 출력 장치(140)는 클러스터 장치를 포함할 수 있다. 이에 따라, 보행자 인식 결과는 오디오 신호 및 텍스트나 이미지 또는 램프 점멸 등의 형태로 출력될 수 있다. 이를 위하여 정보 출력 장치(140)는 보행자 인식 결과에 따라 출력될 사전 정의된 안내 메시지 및 안내 패턴 정보를 포함할 수 있다. 상기 안내 메시지 및 안내 패턴 정보 저장을 위하여 정보 출력 장치(140)는 메모리 장치를 더 포함할 수 있다. 예컨대, 정보 출력 장치(140)는 보행자 인식 결과에 따라 전방에 위치하는 보행자 수, 보행자와 자차 간의 거리, 보행자와 자차 간의 거리에 따른 경보 메시지 등을 출력할 수 있다. 보행자 수, 보행자와 자차 간의 거리, 경보 메시지 등은 앞서 언급한 바와 같이 사전 정의된 일정 형태의 안내음이나 안내 텍스트 또는 안내 이미지, 램프 패턴 등 다양한 형태로 출력될 수 있다. 추가로, 정보 출력 장치(140) 중 비디오 장치는 원적외선 영상에서의 보행자 인식 결과를 그대로 보여줄 수도 있다.

제어부(160)는 본 발명의 보행자 인식 기능 지원을 위한 장치 제어와, 신호 처리 및 데이터 처리와 전달 및 출력 등의 제어를 수행할 수 있다. 예컨대, 제어부(160)는 보행자 인식 모드 설정을 위한 입력 신호의 수신, 원적외선 카메라(110)의 활성화 및 원적외선 영상 수집 제어, 원적외선 영상에서의 보행자 인식, 보행자 인식 결과의 출력을 제어할 수 있다. 이 과정에서 제어부(160)는 도 2에 도시된 바와 같이 영상 입력 과정, 관심 영역 설정 과정, 후보 추출 과정, 보행자 검출 과정, 보행자 추적 과정 및 결과 영상 출력 과정의 수행을 제어할 수 있다. 영상 입력 과정 수행을 위하여 제어부(160)는 원적외선 카메라(110)의 활성화를 제어하고, 원적외선 영상을 실시간 또는 일정 주기로 획득될 수 있도록 제어할 수 있다. 그리고 관심 영역 설정 과정에서 제어부(160)는 원적외선 영상이 획득되면 사전 정의된 일정 영역을 관심 영역으로 설정하거나 또는 필터링 등을 수행하여 획득된 원적외선 영상에서의 객체 검출을 개략적으로 수행하여 관심 영역을 설정할 수 있다. 관심 영역이 설정되면, 후보 추출 과정에서 제어부(160)는 관심 영역 내에서 보행자 인식을 위한 후보 영역을 선정할 수 있다. 후보 영역이 선정되면, 제어부(160)는 후보 영역들 중에 실제로 보행 중인 객체에 대한 검출을 보행자 검출 과정에서 수행할 수 있다. 이후 제어부(160)는 보행자 추적 과정에서 보행 중인 객체에 대한 추적을 수행하고, 그 결과를 결과 영상 과정에서 출력하도록 제어할 수 있다. 이를 위하여 제어부(160)는 도 3에 도시된 바와 같은 구성을 포함할 수 있다.

추가로, 보행자 인식 장치(100) 또는 이를 포함하는 차량은 보행자 인식 모드 설정 또는 모드 진입을 위하여 입력 장치를 포함할 수 있다. 여기서 입력 장치는 적어도 하나의 키 버튼이나 터치 키 등 다양한 입력 수단을 포함할 수 있다.

도 3은 본 발명의 실시예에 따른 제어부의 구성을 보다 상세히 나타낸 도면이다.

도 3을 참조하면, 본 발명의 제어부(160)는 영상 수집부(161), 후보 추출부(163), 보행자 검출 및 추적부(165) 및 정보 출력 제어부(167)의 구성을 포함할 수 있다.

영상 수집부(161)는 보행자 인식 모드 설정이 있거나 보행자 인식 기능 실행을 요청하는 입력 신호가 발생하면, 원적외선 카메라(110)의 활성화를 제어할 수 있다. 그리고 영상 수집부(161)는 원적외선 카메라(110)가 획득하는 원적외선 영상을 후보 추출부(163)에 전달할 수 있다.

후보 추출부(163)는 원적외선 카메라(110)가 수집하는 원적외선 영상에 대한 필터링과 객체 추출 과정을 수행하여 보행자 영역에 대한 후보 영역을 추출할 수 있다. 이를 위하여, 후보 추출부(163)는 원적외선 영상에 대한 관심 영역 설정을 수행할 수 있다. 이때, 후보 추출부(163)는 획득된 원적외선 영상의 일정 범위 예컨대 차량 진입 과정에서 실질적으로 사고 위험이 발생할 수 있는 영역으로서 사전 정의된 일정 영역을 관심 영역으로 설정할 수 있다. 또는 후보 추출부(163)는 획득된 원적외선 영상에 대한 대략적인 필터링을 수행한 후, 일정 객체들이 배치된 영역을 관심 영역으로 설정할 수 있다. 후보 추출부(163)는 설정된 관심 영역 내에서만 필터링을 수행하여 일정 객체들이 배치되어 있는지 확인할 수 있다. 그리고 후보 추출부(163)는 일정 크기 이상의 객체들이 검출되면, 해당 객체들을 후보 영역들로 설정할 수 있다. 후보 추출부(163)는 추출된 후보 영역들에 대한 정보를 보행자 검출 및 추적부(165)에 전달할 수 있다.

보행자 검출 및 추적부(165)는 후보 추출부(163)가 전달한 후보 영역들에 대한 보행자 검출을 수행할 수 있다. 이를 위하여 보행자 검출 및 추적부(165)는 사전 저장된 보행자 인식을 위한 데이터베이스에서 보행자 특징을 검출하고, 이 특징들과 현재 전달된 후보 영역들과의 비교를 수행할 수 있다. 그리고 보행자 검출 및 추적부(165)는 후보 영역들 중에서 보행자 특징을 포함하는 영역들을 보행자 영역으로 설정할 수 있다. 보행자 영역 설정 후 보행자 검출 및 추적부(165)는 설정된 보행자 영역에 대한 추적을 수행할 수 있다. 보행자 추적 과정에서 보행자 검출 및 추적부(165)는 보행자와 자차와의 거리 등에 대한 정보를 산출하고 이를 정보 출력 제어부(167)에 전달할 수 있다.

정보 출력 제어부(167)는 보행자 검출 및 추적부(165)로부터 추적 중인 특정 보행자 영역들에 대한 정보 중 적어도 일부를 정보 출력 장치(140)를 통해 출력하도록 제어할 수 있다. 예컨대, 정보 출력 제어부(167)는 보행자 영역 중 자차와의 거리가 일정 거리 이내인 보행자 영역에 대한 경보 메시지를 정보 출력 장치(140)를 통하여 출력하도록 제어할 수 있다. 또는 정보 출력 제어부(167)는 인식된 전체 보행자 영역에 대한 정보를 영상이나 메시지 등으로 비디오 신호로서 정보 출력 장치(140)에 출력하도록 제어할 수 있다.

추가로, 보행자 인식 장치(100)를 포함하는 차량은 차속 제어 장치를 더 포함할 수 있다. 그리고 차량은 인식된 보행자와 자차와의 거리가 일정 거리 이내인 경우 차속을 자동으로 저감하도록 제어할 수 있다. 또한 보행자 인식 장치(100)를 포함하는 차량은 정보 출력 장치(140)로서 보행자가 인식할 수 있는 경보음 출력이 가능한 경보음 출력 장치를 더 포함할 수 있다. 그리고 차량은 보행자와 자차와의 거리가 일정 거리 이내인 경우 자동으로 경보음을 출력할 수 있다.한편, 본 발명의 보행자 인식 장치(100)는 타이머, 조도 센서, 온도 센서를 더 중 적어도 하나를 더 포함할 수 있다. 그리고 조도 센서 및 온도 센서가 수집하는 조도 센서 정보 및 온도 센서 정보를 바탕으로 보행자 인식 장치(100)는 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 예컨대, 보행자 인식 장치(100)는 타이머에서 설정된 특정 시간이 도래한 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 또한 보행자 인식 장치(100)는 차량 외부 환경이 일정 조도 이하인 경우 예를 들면, 외부 환경이 밤이거나 차량이 터널이나 주차장 등에서 운행 중인 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 또한 보행자 인식 장치(100)는 차량 외부 온도가 일정 온도 이하인 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 이에 따라, 본 발명의 보행자 인식 기능은 야간 시간 설정이나 야간 환경 등의 검출에 따라 야간 보행자 인식을 위한 특화된 기능으로서 지원될 수도 있을 것이다.

도 4는 본 발명의 실시예에 따른 보행자 인식과 인식 결과에 따른 처리 방법으로서 차량 운용 방법의 구성을 설명하기 위한 도면이다. 또한, 도 5 내지 도 11은 보행자 인식 단계들을 보다 상세히 설명하기 위한 도면들이다.

먼저, 도 4를 참조하면, 본 발명의 보행자 인식 처리 방법은 먼저, 제어부(160)가 S101 단계에서 보행자 추적 모드 상태인지 여부를 확인할 수 있다. 이 단계에서, 제어부(160)는 보행자 추적 모드 상태가 아닌 경우 S103 단계로 진입하여 사용자 조작에 따른 해당 기능 수행을 지원할 수 있다. 예컨대, 제어부(160)는 보행자 인식 장치(100)에 포함된 정보 출력 장치(140)를 기반으로 사용자 조작에 따라 방송 서비스 출력 기능을 수행하거나 음악 재생 기능을 수행하도록 제어할 수 있다.

S101 단계는 앞서 언급한 바와 같이 본 발명의 보행자 인식 기능을 위한 설정을 확인하는 단계일 수 있다. 즉 야간 운행 중에만 보행자 인식 모드가 실행되도록 설정된 경우, 보행자 인식 장치(100) 또는 이를 포함하는 차량은 타이머나 조도 센서, 온도 센서 등을 포함하고, 사전 설정된 시간이 도래하거나, 사전 정의된 일정 조도 이하의 상황, 사전 정의된 일정 온도 이하의 상황이 발생하면 보행자 인식 모드 진입으로 판단할 수 있다.

한편, S101 단계에서 보행자 인식 모드 진입 설정이 있거나 이를 위한 입력 이벤트 발생이 있으면, 제어부(160)는 S105 단계에서 원적외선 영상 데이터 수집을 제어할 수 있다. 이를 위하여 제어부(160)는 원적외선 카메라(110)의 활성화를 수행하고 실시간 또는 일정 주기로 동작하도록 제어할 수 있다.

다음으로, 제어부(160)는 S107 단계에서 보행자 후보군 검출을 수행할 수 있다. 보행자 후보군 검출은 도 5에 도시된 바와 같이, 원적외선 영상에서의 객체 온도 및 보행자의 머리 영역 기반으로 수행될 수 있다. 즉 제어부(160)는 원적외선 영상에서 보행자가 존재하는 온도 영역을 표현하는 영상 구축을 수행할 수 있다. 제어부(160)는 머리영역 기반 보행자 후보군 검출을 위하여, 수직 및 수평 필터를 적용하고, 그에 따른 결과로서 보행자의 머리영역 검출을 수행할 수 있다. 그리고 제어부(160)는 검출된 결과를 통해 지면까지의 거리를 예측하여 보행자의 키 예측을 수행한다. 그리고 제어부(160)는 보행자의 키를 통해 어깨 선을 추출하여 전체적인 보행자 후보군 예측을 수행할 수 있다.

보행자 후보군 검출이 완료되면, 제어부(160)는 S109 단계에서 보행자 후보군 주변 영역 선정을 수행할 수 있다. 보행자 후보군 주변 영역 선정 단계(Margin Step)는 도 6에 도시된 바와 같이 보행자 후보 영역에 대한 일정 마진을 선정하는 과정일 수 있다. 이때, 제어부(160)는 가변적 여백 선택을 수행하여 후보군 영상 1개 당 일정 개수 예컨대 5가지 종류 여백을 선정할 수 있다. 한편, 보행자 후보군 영상의 높이를 h, 보행자 DB 이미지 정규화된 사이즈는 64 x 32(height x width)라고 가정하면, 세로 여백 선정은 다음 수학식 1에 의해 결정될 수 있다.

[수학식 1]

m=5*h*idx /(64-10) (idx=0,1,2,3,4)

여기서, m은 세로 여백일 수 있다. 세로 여백이 선정되면, 제어부(160)는 비율에 맞게 가로 여백 선정을 수행할 수 있다. 예컨대, 가로 여백은 보행자 높이가 m+h로 선정될 경우 너비가(m+h)/2 가 되도록 보행자의 중심에서 선정될 수 있다. 상술한 주변 영역 선정을 위하여 보행자 인식 장치(100)는 정규화된 보행자 DB(database) 이미지 정보를 사전 저장할 수 있다.

보행자 후보군의 주변 영역 선정 후 제어부(160)는 S111 단계에서 정규화 변환을 수행할 수 있다. 즉, 제어부(160)는 보행자 DB 이미지들로부터 산출된 정규화된 크기 정보를 바탕으로 현재 선정된 보행자 후보군 주변 영역들을 정규화된 사이즈로 이미지 변환(Resize)을 수행할 수 있다. 예컨대, 제어부(160)는 보행자 DB에서 추출한 특징과 보행자 후보군 영상에서 추출한 특징이 동일하게 되도록 보행자 DB와 동일한 사이즈인 64 x 32로 정규화할 수 있다. 앞서 예시된 정규화 사이즈는 보행자 DB의 이미지 사이즈에 따라 변화될 수 있다. 이때, 제어부(160)는 정규화 사이즈의 비율을 1:2(너비: 높이)비율로 유지한다. 사전 정의된 일정 비율로 정규화하는 과정을 통해 제어부(160)는 보행자 크기 변화에도 강인한 특징 추출을 수행할 수 있다.

다음으로, 제어부(160)는 S113 단계에서 특징 추출을 수행할 수 있다. 특징 추출을 위하여, 제어부(160)는 학습된 결과와 동일하게 특징 추출 영역에서 보행자 특징 추출을 수행하여 보행자 DB 학습 결과 추출된 강인한 특징을 실시간 추출하는 도 7의 Adv_HOG 방식 및 도 8의 LBP 코드 적용 방식 중 적어도 하나의 방식을 이용할 수 있다. 이러한 방식 적용을 통하여 본 발명은 모든 특징 적용에 따른 처리 속도 저하를 개선할 수 있다. 즉 제어부(160)는 학습하는 동안 약분류기인 Adaboost를 통해 특징 중 특성이 높은 상위 특징들을 추출하여 보행자 검출에 사용함으로써 유사성능을 제공하면서 속도 개선을 수행할 수 있다.

HOG (Histogram of Gradients) 방식은 영상의 일정 block영역 내 윤곽선(Gradients) 각도에 따라 Histogram을 구성하여 크기를 정규화한 특징을 추출한다. 기존에는 16*16(w*h, 단위: pixels)Block 영역 내에서 gradients 값 추출하고 0~180도를 9개 bin으로 구성해서 각도 표현을 한다. 이에 반하여, 본 발명의 Adv_HOG (advanced Histogram of Gradients) 방식은 도 7에 도시된 바와 같이 정사각형(8*8) 외에도 block의 직사각형 및 크기 변화 유도를 지원하며, 원적외선 영상에 용이하게 변경 가능하도록 0~360도를 9개 bin으로 구성해서 각도 표현을 수행한다.

한편, 도 8에서 설명하는 LBP (Local Binary Patterns) 방식은 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 값을 산출하고 적용하는 방식으로, 패턴화한 값을 단순히 적용하는 것이 아니라 각 block 마다 히스토그램을 구성하여 특징을 정규화하여 추출하는 방식이다. 여기서, block의 크기는 Adv_HOG 방식에서와 동일하게 기존의 정사각형 고정형태의 크기가 아니라 가변적으로 정사각형, 직사각형 등 크기의 다양화를 적용하여, 본 발명은 보다 강인한 특징 추출을 수행할 수 있도록 지원한다.

특징 추출 이후, 제어부(160)는 S115 단계에서 특징 비교를 수행할 수 있다. 이 과정에서, 제어부(160)는 도 9에 도시된 바와 같이 학습된 결과와 특징 비교(Adaboost)를 수행할 수 있다. 즉, 제어부(160)는 보행자 DB 학습 결과와 실시간 영상에서 추출된 특징(Adv_HOG 방식 적용 또는 LBP 방식 적용에 따라 산출된 특징)의 유사성을 비교할 수 있다. 여기서 강인한 비교 특징 수량 및 특징 추출 위치는 보행자 DB의 특성에 따라 변화 가능하다.

특징 비교 이후, 제어부(160)는 S117 단계에서 군집화 실행을 제어할 수 있다. 예컨대, 제어부(160)는 도 11에 도시된 바와 같이 보행자 검출된 결과 영상을 이용하여 겹친 영역 군집화 실행을 수행할 수 있다. 이때, 제어부(160)는 보행자의 일부 영역이 겹쳐서 보행자로 인지 되었을 때, 겹친 영역의 겹친 비율을 통해서 동일한 보행자로 인지해야 하는지 결정할 수 있다. 이를 통해 본 발명은 보행자의 검출을 명확이 할 수 있으며, 그에 따라 운전자에게 보행자 존재유무를 명확이 표현할 수 있고, 추적 알고리즘을 용이하게 적용할 수 있다.

다음으로, 제어부(160)는 S119 단계에서 보행자 추적을 수행할 수 있다. 보행자 추적에는 Kalman Filter를 적용할 수 있다. 이 과정에서 제어부(160)는 보행자 검출 결과를 통해 보행자의 위치, 속도, 특징 등의 파라미터를 적용하여 linear-kalman filter를 통해서 보행자의 움직임을 추적한다. 제어부(160)는 상술한 필터 적용을 통해 보행자의 움직임 예측을 수행하고, 그에 따른 미검출 또는 오검출 영역 제거를 수행할 수 있다.

제어부(160)는 S121 단계에서 정보 및 경보 출력 중 적어도 하나의 실행을 위한 설정이 있는지 여부를 확인할 수 있다. 이를 위하여 제어부(160)는 보행자를 검출한 영상을 이용하여 보행자와 자차 간의 거리를 예측한다. 이때, 제어부(160)는 원적외선 카메라(110)를 장착한 위치가 고정되어 있고, 사람의 키가 170cm이라는 가정으로 보행자와 자차 간의 거리를 예측을 수행할 수 있다. 그리고 제어부(160)는 원적외선 영상에서 보행자가 존재하는 영역이 어디인지를 이용하여 차량 전방 어디에 보행자가 서있는지 검출할 수 있다.

제어부(160)는 S121 단계에서 정보 및 경보 출력을 위한 설정이 있는 경우 S123 단계로 분기하여 사전 정의된 정보 및 경보 출력을 제어할 수 있다. 예컨대, 제어부(160)는 보행자가 근접하거나 차량 앞에 존재하는 경우 위험경고음 발생을 수행할 수 있다. 또는 제어부(160)는 보행자가 멀리 있거나 차량의 전방 우측 또는 좌측에 존재 하는 경우 정보 출력 장치(140)의 비디오 장치를 통하여 영상 내에 보행자 위치 표현을 수행할 수 있다.

한편, 제어부(160)는 S121 단계에서 정보 및 경보 출력을 위한 설정이 없는 경우, S123 단계를 스킵할 수 있다.

다음으로, 제어부(160)는 S125 단계에서 보행자 인식 기능의 종료를 위한 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 제어부(160)는 보행자 인식 기능 종료를 위한 입력 신호 수신이 있거나, 앞서 언급한 바와 같이 사전 정의된 일정 시간이 도래하거나, 조도 센서 정보가 일정 조도 이하 또는 이상인 경우, 온도 센서 정보가 일정 온도 이하 또는 이상인 경우 보행자 인식 기능 종료를 위한 이벤트 발생으로 결정할 수 있다. 한편, 제어부(160)는 S125 단계에서 보행자 인식 기능 종료를 위한 입력 이벤트 발생이 없으면, S105 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시예에 따른 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량에 따르면 본 발명은 야간 등 운전자가 보행자를 인식하기 어려운 상황에서 능동적으로 보행자의 인식을 파악할 수 있도록 지원한다. 이 과정에서 본 발명은 보다 신속한 영상 처리와 신뢰성 높은 영상 인식을 통해 보행자 인식 기능에 대한 강건성을 제공할 수 있다. 추가로 본 발명은 보행자 인식 결과를 기반으로 차량 제어 또는 경보 제어를 수행함으로써 운전자 및 보행자에 대한 안전성 확보를 개선할 수 있다.

본 명세서와 도면에서는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 상기에 기재된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 보행자 인식 장치 110 : 원적외선 카메라
120 : 정보 출력 장치 160 : 제어부

Claims

일정 영역의 원적외선 영상을 수집하는 원적외선 카메라;
상기 원적외선 영상에서 보행자 후보군을 검출하고, 정규화된 보행자 데이터베이스 학습 중 약분류기로 검출된 특징들의 상위 특징들을 기반으로 보행자 특징을 추출 및 비교하여 보행자 검출을 수행하는 제어부;를 포함하는 것을 특징으로 하는 보행자 인식 장치.
제1항에 있어서,
상기 제어부는
상기 원적외선 영상에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하는 것을 특징으로 하는 보행자 인식 장치.
제1항에 있어서,
상기 제어부는
상기 원적외선 영상에서 검출된 상기 보행자 후보군의 주변 영역을 선정하고, 상기 보행자 후보군 주변 영역을 정규화된 보행자 데이터베이스에서의 보행자 영역 크기로 정규화하는 것을 특징으로 하는 보행자 인식 장치.
제3항에 있어서,
상기 제어부는
너비와 높이가 1:2의 비율을 가지는 크기로 상기 보행자 후보군 주변 영역을 정규화하는 것을 특징으로 하는 보행자 인식 장치.
제1항에 있어서,
상기 제어부는
상기 보행자 후보군 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식을 적용하거나,
현재 화소 값과 이웃 화소 값의 변화를 패턴화 한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 히스토그램을 구성하여 특징을 추출하는 LBP 방식을 적용하는 것을 특징으로 하는 보행자 인식 장치.
제1항에 있어서,
상기 제어부는
상기 보행자 검출 결과 영상에서 객체가 겹친 영역에 대한 군집화를 수행하여 하나의 보행자인지 또는 복수의 보행자인지를 결정하는 것을 특징으로 하는 보행자 인식 장치.
일정 영역의 원적외선 영상을 수집하는 원적외선 카메라;
상기 원적외선 영상에서 보행자 후보군을 검출하고, 정규화된 보행자 데이터베이스 학습 중 약분류기로 검출된 특징들의 상위 특징들을 기반으로 보행자 특징을 추출 및 비교하여 보행자 검출을 수행하는 제어부;
상기 보행자 검출 결과를 출력하는 정보 출력 장치;를 포함하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량.
제7항에 있어서,
상기 제어부는
상기 원적외선 영상에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하며, 상기 원적외선 영상에서 검출된 상기 보행자 후보군의 주변 영역을 선정하고, 상기 보행자 후보군 주변 영역을 정규화된 보행자 데이터베이스에서의 보행자 영역 크기에 대응하되 너비와 높이가 1:2의 비율을 가지는 크기로 정규화하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량.
제7항에 있어서,
상기 제어부는
상기 보행자 후보군 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식을 적용하거나,
현재 화소 값과 이웃 화소 값의 변화를 패턴화 한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 히스토그램을 구성하여 특징을 추출하는 LBP 방식을 적용하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량.
제7항에 있어서,
상기 제어부는
상기 보행자 검출 결과 영상에서 객체가 겹친 영역에 대한 군집화를 수행하여 하나의 보행자인지 또는 복수의 보행자인지를 결정하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량.
제7항에 있어서,
상기 정보 출력 장치는
상기 보행자와 자차 간의 거리 및 상기 보행자의 위치 중 적어도 하나에 따라 경보음을 출력하는 오디오 장치;
상기 보행자 검출 영상을 출력하는 비디오 장치; 중 적어도 하나를 포함하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량.
제7항에 있어서,
상기 보행자 인식 기능의 자동 적용 시간을 위한 타이머;
상기 보행자 인식 기능의 자동 적용을 위해 외부 조도를 검출하기 위한 조도 센서;
상기 보행자 인식 기능의 자동 적용을 위해 외부 온도를 검출하기 위한 온도 센서;
중 적어도 하나를 더 포함하는 것을 특징으로 하는 보행자 인식 기능을 지원하는 차량.
원적외선 영상을 수집하는 단계;
상기 원적외선 영상에서 보행자 후보군을 검출하는 검출 단계;
사전 정규화된 보행자 데이터베이스 학습을 기반으로 보행자 특징을 추출하는 특징 추출 단계;
상기 추출된 보행자 특징과 상기 보행자 데이터베이스 학습 결과 간의 유사성을 비교하는 비교 단계;
상기 비교 결과에 따라 보행자 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 보행자 인식 처리 방법.
제13항에 있어서,
상기 검출 단계는
상기 원적외선 영상에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하는 단계인 것을 특징으로 하는 보행자 인식 처리 방법.
제13항에 있어서,
상기 원적외선 영상에서 검출된 상기 보행자 후보군의 주변 영역을 선정하는 단계;
상기 보행자 후보군 주변 영역을 정규화된 보행자 데이터베이스에서의 보행자 영역 크기에 대응하되 너비와 높이가 1:2의 비율을 가지는 크기로 정규화하는 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 처리 방법.
제13항에 있어서,
상기 특징 추출 단계는
상기 데이터베이스 학습 중 약분류기에 의해 추출된 특징 중 특성이 높은 상위 특징들을 추출하는 단계;를 포함하는 보행자 인식 처리 방법.
제16항에 있어서,
상기 특징 추출 단계는
상기 보행자 후보군 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식을 적용하는 단계;
현재 화소 값과 이웃 화소 값의 변화를 패턴화 한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 히스토그램을 구성하여 특징을 추출하는 LBP 방식을 적용하는 단계; 중 적어도 하나의 단계를 포함하는 것을 특징으로 하는 보행자 인식 처리 방법.
제13항에 있어서,
상기 보행자 검출 결과 영상에서 검출 객체가 겹친 영역에 대해 하나의 보행자인지 또는 복수의 보행자인지를 결정하는 군집화 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 처리 방법.
제13항에 있어서,
상기 보행자와 자차 간의 거리 및 상기 보행자의 위치 중 적어도 하나에 따라 경보음을 출력하는 단계;
상기 보행자 검출 영상을 출력하는 단계; 중 적어도 하나의 단계를 더 포함하는 것을 특징으로 하는 보행자 인식 처리 방법.
제13항에 있어서,
사전 설정된 시간 도래하는 경우 상기 보행자 인식 기능의 자동 적용하는 단계;
조도 센서 값이 사전 정의된 일정 값 이하 또는 이상인 경우 상기 보행자 인식 기능 자동 적용하는 단계;
온도 센서 값이 사전 정의된 일정 값 이하 또는 이상인 경우 상기 보행자 인식 기능 자동 적용하는 단계; 중 적어도 하나의 단계를 더 포함하는 것을 특징으로 하는 보행자 인식 처리 방법.