KR101302798B1 - 환경정보를 이용한 능동 보행자 보호 방법 및 시스템 - Google Patents

환경정보를 이용한 능동 보행자 보호 방법 및 시스템 Download PDF

Info

Publication number
KR101302798B1
KR101302798B1 KR1020090115012A KR20090115012A KR101302798B1 KR 101302798 B1 KR101302798 B1 KR 101302798B1 KR 1020090115012 A KR1020090115012 A KR 1020090115012A KR 20090115012 A KR20090115012 A KR 20090115012A KR 101302798 B1 KR101302798 B1 KR 101302798B1
Authority
KR
South Korea
Prior art keywords
pedestrian
specific
algorithm
determination
vehicle
Prior art date
Application number
KR1020090115012A
Other languages
English (en)
Other versions
KR20110058279A (ko
Inventor
이준희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020090115012A priority Critical patent/KR101302798B1/ko
Publication of KR20110058279A publication Critical patent/KR20110058279A/ko
Application granted granted Critical
Publication of KR101302798B1 publication Critical patent/KR101302798B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예는 환경정보를 이용한 능동 보행자 보호 방법 및 시스템에 관한 것으로서, 하나 이상의 센서나 특정 장치를 통해 환경정보를 수신하여 차량 외부 상태를 감지하고, 감지된 차량 외부 상태에 근거하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하며, 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하고, 특정 트래킹 알고리즘에 따라 판별된 보행자에 대한 위험도를 판단하는 것을 특징으로 한다.
본 발명의 일 실시예에 의하면, 보행자 판별, 보행자 위험도 판단 및 보호 처리 등의 보행자 보호 기능을 외부 환경에 맞게 적응적으로 제공하는 효과가 있다.
보행자 보호, 환경정보

Description

환경정보를 이용한 능동 보행자 보호 방법 및 시스템{METHOD AND SYSTEM FOR PROTECTING PEDESTRIAN USING ENVIRONMENT INFORMATION}
본 발명의 일 실시예는 환경정보를 이용한 능동 보행자 보호 방법 및 시스템에 관한 것이다. 더욱 상세하게는, 외부 환경에 맞게 적응적으로 보호자 보호 기능을 수행하는 기술에 관한 것이다.
종래의 능동 보행자 보호 시스템(APPS: Active Pedestrian Protection System)은, 센서 및 카메라 등을 이용하여 보행자를 판별하고 보행자 위험도를 판단하여 그에 따른 보행자 보호 기능을 수행한다.
이러한 종래의 능동 보행자 보호 시스템은, 작동하는 환경에 따라 보행자 판별 능력인 인식률과, 비 보행자를 보행자로 오판할 오 감지율이 크게 달라질 수 있다. 예를 들어, 비가 오는 우천 상황에서는, 운전자 시야 확보가 용이하지 않기 때문에 운전자의 보행자 인식 능력이 크게 떨어지고, 보행자 보호를 위한 차량 제동시 제동 거리도 크게 길어질 수 있으며, 또한 우천 상황에서는 경고 경적 소리가 보행자에게 잘 들리지 않을 수 있다. 또한, 온도가 급격히 떨어진 극저온 상황에서는, 보행자가 두꺼운 옷을 입거나 귀마개, 모자 등을 착용하게 되어 보행자 특성이 달라지고, 그로 인해 보행자 판별 능력(인식률)이 달라지고, 극저온 상황에서의 보행자는 느린 보행 속도를 보이거나, 귀마개나 모자 등의 착용으로 보행자가 차량의 경적 소리를 듣지 못하거나, 빙판 길인 경우, 보행자 보호를 위한 차량 제동시 제동 거리가 매우 길어질 수 있다.
전술한 바와 같이, 능동 보행자 보호 시스템의 인식률 또는 오 감지율이, 작동하는 환경에 따라 크게 달라질 수 있음에도 불구하고, 종래의 능동 보행자 보호 시스템에서는 작동 환경을 고려하지 않고 보행자 판별, 보행자 위험도 판단 및 보행자 보호 처리 등을 수행하고 있으며, 이로 인해, 정확한 보행자 판별, 보행자 위험도 판단 및 보호 처리 등의 보행자 보호 기능이 제공되지 못하여, 보행자 안전을 담보해줄 수 없는 문제점이 있다.
이러한 배경에서, 본 발명의 일 실시예의 목적은, 환경정보를 획득하여 차량 외부 상태를 감지하고, 감지된 차량 외부 상태에 따라서 보행자 판별, 보행자 위험도 판단 및 보호 처리 등의 보행자 보호 기능을 외부 환경에 맞게 적응적으로 제공하는 데 있다.
본 발명의 일 실시예는, 하나 이상의 센서나 특정 장치를 통해 환경정보를 수신하여 차량 외부 상태를 감지하는 환경 감지부; 보행자 판별을 위해 미리 정의된 판별 알고리즘 및 트래킹 알고리즘 중에서, 상기 감지된 차량 외부 상태에 근거 하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하는 선택부; 상기 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하는 보행자 판별부; 및 상기 특정 트래킹 알고리즘에 따라 상기 판별된 보행자에 대한 위험도를 판단하는 보행자 위험도 판단부를 포함하는 환경정보를 이용한 능동 보행자 보호 시스템을 제공한다.
또한, 본 발명의 일 실시예는, 하나 이상의 센서나 특정 장치를 통해 환경정보를 수신하여 차량 외부 상태를 감지하는 환경 감지 단계; 보행자 판별을 위해 미리 정의된 판별 알고리즘 및 트래킹 알고리즘 중에서, 상기 감지된 차량 외부 상태에 근거하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하는 선택 단계; 상기 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하는 보행자 판별 단계; 상기 특정 트래킹 알고리즘에 따라 상기 판별된 보행자에 대한 위험도를 판단하는 보행자 위험도 판단 단계; 및 상기 판단된 위험도에 따라 운전자 경고, 보행자 경고 및 자동 제동을 제어하여 보행자 보호 기능을 수행하는 보행자 보호 단계를 포함하는 환경정보를 이용한 능동 보행자 보호 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 환경정보를 획득하여 차량 외부 상태를 감지하고, 감지된 차량 외부 상태에 따라서 보행자 판별, 보행자 위험도 판단 및 보호 처리 등의 보행자 보호 기능을 외부 환경에 맞게 적응적으로 제공하는 효과가 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(APPS: Active Pedestrian Protection System, 100)에 대한 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)은, 환경정보 획득 장치(110)에 획득된 환경정보에 근거해 차량 외부 상태를 감지하는 환경 감지부(120)와, 차량 외부 상태에 적합한 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하는 선택부(130)와, 입력 장 치(150)를 통해 입력된 입력 영상이나 정보 등을 이용하여 특정 판별 알고리즘 및 특정 트래킹 알고리즘에 따라 보행자를 판별하는 보행자 판별부(144)와, 판별된 보행자에 대한 보행자 위험도를 판단하는 보행자 위험도 판단부(145)와, 보행자 보호 기능을 출력 장치(160)를 통해 수행하는 보행자 보호부(146) 등을 포함한다.
환경 감지부(120)는, 우적 센서(111), 온도 센서(112) 등과 같은 하나 이상의 센서나, GPS/MAP 장치(113) 등과 같은 특정 장치를 포함하는 환경정보 획득 장치(110)를 통해 환경정보를 수신하여 차량 외부 상태를 감지한다.
선택부(130)는, 보행자 판별을 위해 미리 정의된 판별(Clasification) 알고리즘 및 트래킹(Tracking) 알고리즘 중에서, 감지된 차량 외부 상태에 근거하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어한다. 위에서 언급한 판별(Clasification) 알고리즘 및 트래킹(Tracking) 알고리즘과, 각 알고리즘에서 알고리즘 수행시 이용하는 데이터베이스 및 임계값 등은, 보행자 판별 능력을 의미하는 인식률과 비 보행자를 보행자로 오판하는 비율을 의미하는 오 감지율에 영향을 끼칠 수 있는 요소들이며, 이러한 요소들은 차량 외부 상태에 따라 크게 달라질 수 있기 때문에, 차량 외부 상태를 감지하여 감지된 차량 외부 상태에 따라 이러한 요소들을 선택하거나 제어하게 된다.
보행자 판별부(144)는, 선택부(130)에 의해 차량 외부 상태에 근거하여 선택되거나 제어된 특정 판별 알고리즘에 따라, 입력 영상을 분석하여 보행자를 판별한다.
보행자 위험도 판단부(145)는, 선택부(130)에 의해 차량 외부 상태에 근거하 여 선택되거나 제어된 특정 트래킹 알고리즘에 따라, 판별된 보행자에 대한 위험도를 판단한다.
전술한 환경 감지부(120)는, 강우정보, 기온정보 및 위치정보 중 하나 이상을 포함하는 환경정보를 하나 이상의 센서나 특정 장치를 포함하는 환경정보 획득 장치(110)로부터 수신하고, 이렇게 수신된 환경정보를 토대로, 차량 외부 상태가 우천 상황인지 극저온 상황인지 등에 대하여 감지할 수 있다.
전술한 선택부(130)는, 보행자 인식이 방해되는 정도나, 제동 거리가 길어지는 정도 등에 따라 감지된 차량 외부 상태를 분류한다.
예를 들어, 차량 외부 상태가 우천 상황인 경우에는, 운전자 시야 확보가 용이하지 않기 때문에 운전자의 보행자 인식 능력이 더욱 떨어질 수 있다. 또한, 우천 상황에서의 제동 거리는 우천 상황이 아닌 경우에서의 제동 거리보다 더욱 길어질 수 있다. 따라서, 우천 상황인 차량 외부 상태를 운전자의 보행자 인식이 방해되는 정도나, 제동 거리가 길어지는 정도 등이 높은 상태로 분류할 수 있다. 일 예로, 상/중/하 중에서 상으로 분류할 수 있다.
또한, 차량 외부 상태가 극저온 상황인 경우에는, 보행자가 두꺼운 옷을 입거나 귀마개, 모자 등을 착용하게 되어, 보행자 외곽선이 달라져, 입력 영상을 기반으로 하는 보행자 판별 능력(즉, 인식률)이 크게 떨어질 수 있다. 또한, 극저온 상황에서의 보행자는 느린 보행 속도를 보이는 경향이 있고, 귀마개나 모자 등의 착용으로 보행자가 차량의 경적 소리를 듣지 못할 확률이 높을 수 있으며, 극저온 상황에서의 빙판으로 인해 제동 거리가 매우 길어질 수 있다. 따라서, 극저온 상황 인 차량 외부 상태를 운전자의 보행자 인식이 방해되는 정도나, 제동 거리가 길어지는 정도 등이 높은 상태로 분류할 수 있다. 일 예로, 상/중/하 중에서 상으로 분류할 수 있다.
전술한 선택부(130)는, 이렇게 분류된 차량 외부 상태에 대응되도록 정의된 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어할 수 있다.
전술한 선택부(130)에 의해 선택되거나 제어된 특정 판별 알고리즘 및 특정 트래킹 알고리즘 각각은, 감지된 차량 외부 상태에 대응되도록 강화 학습(예: 기계 학습 등)이 수행되어 분류되고 정의되며, 감지된 차량 외부 상태에 대응되도록 강화 학습이 수행되어 정의된 임계값 및 데이터베이스를 알고리즘 실행에 이용한다.
전술한 바와 같이, 선택부(130)에 의해, 차량 외부 상태에 적합한 특정 판별 알고리즘(적합한 임계값과 데이터베이스를 포함)과 특정 트래킹 알고리즘(적합한 임계값과 데이터베이스를 포함)를 선택하거나 제어함으로써, 이러한 알고리즘들을 이용하는 보행자 판별부(144) 및 보행자 위험도 판단부(145)도, 차량 외부 상태를 고려하여 보행자 판별과 보행자 위험도 판단을 수행하게 된다. 그로 인해, 보행자 보호부(146)에서도 차량 외부 상태에 적합한 보행자 보호 기능을 수행할 수 있게 되는 것이다.
전술한 보행자 보호부(146)는, 보행자 위험도 판단부(145)에서 판단된 위험도와, 보행자 판별부(144)에서 판별된 보행자와의 거리에 따른 요구 제동 감속도 양에 따라, 운전자 경고(Sound Alarm) 구간, 보행자 경고(Horning) 구간 및 자동 제동(ESC Braking) 구간으로 나누고, 해당 구간에서 사운드 명령 신호, 경적 명령 신호 및 제동 명령 신호를 제어하여 발생시켜, 출력 장치(160)에 포함된 차량용 HMI(Human Machine Interface, 161), 스피커(162), 경적 장치(163) 및 전자제어유닛(ESC: Electronic Control Unit) 등을 통해 운전자 경고, 보행자 경고 및 자동 제동 기능을 수행한다.
아래에서는, 이상에서 전술한 보호자 판별, 보호자 위험도 판단 및 보호자 보호를 우천 상황과 극저온 상황에서 예를 들어 설명한다.
먼저, 환경 감지부(120)가 차량 외부상태가 우천 상황인 거로 감지한 경우, 선택부(130)는, 우천 상황에서는 보행자 판별 능력(인식률)이 저하될 수 있기 때문에, 우천 상황에서 정의된 일정 수준이상의 높은 신뢰도를 갖는 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어한다.
보행자 판별부(144)는, 우천 상황에서의 보행자로 강화 학습 한 데이터베이스와 임계값을 이용하여 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별한다.
보행자 위험도 판단부(145)는, 우천 상황에서 정의된 트래킹 모델과 판단 임계값을 이용하여 특정 트래킹 알고리즘에 따라 판별된 보행자에 대한 위험도를 판단한다.
보행자 보호부(146)는, 우천 상황에 근거하여, 사운드 명령 신호, 경적 명령 신호 및 제동 명령 신호의 발생 시점, 발생 횟수, 또는 발생 크기를 제어할 수 있다. 예를 들어, 우천 상황에서는, 운전자나 보행자가 사운드나 경적을 듣지 못하거나 제동 거리가 매우 길어질 수 있기 때문에, 사운드 명령 신호나 경적 명령 신호 의 발생 시점을 일정 시간 빨리 하거나 여러 번 발생시키거나 좀 더 빨리 제동을 걸 수 있다.
다음으로, 환경 감지부(120)가 차량 외부상태가 일정 온도 이하의 극저온 상황인 거로 감지한 경우, 선택부(130)는, 극저온 상황에서의 보행자 특성으로 인해 보행자 판별 능력(인식률)이 떨어질 수 있기 때문에, 극저온 상황에서 정의된 일정 수준이상의 높은 신뢰도를 갖는 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어한다.
보행자 판별부(144)는, 극저온 상황에서의 보행자로 강화 학습 한 데이터베이스와 판별 임계값을 이용하여, 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별한다.
보행자 위험도 판단부(145)는, 극저온 상황에서 정의된 트래킹 모델과 판단 임계값을 이용하여, 특정 트래킹 알고리즘에 따라 판별된 보행자에 대한 위험도를 판단한다.
보행자 보호부(146)는, 극저온 상황에 근거하여, 사운드 명령 신호, 경적 명령 신호 및 제동 명령 신호의 발생 시점, 발생 횟수 또는 발생 크기를 제어할 수 있다. 예를 들어, 극저온 상황에서는, 보행자 판별 능력(인식률)이 떨어지거나, 운전자나 보행자가 사운드나 경적을 듣지 못하거나, 제동 거리가 매우 길어질 수 있기 때문에, 사운드 명령 신호나 경적 명령 신호의 발생 시점을 일정 시간 빨리 하거나 여러 번 발생시키거나 좀 더 빨리 제동을 걸 수 있다.
한편, 전술한 선택부(130)는, 레이저 스캐너(Laser Scanner) 등과 같은 레인 지 센서(Range Sensor, 151)를 통해 얻어진 보행자 거리와, 감지된 차량 외부 상태에 근거하여, 거리에 따른 반응을 위한 최대 허용 시간을 결정하고, 이렇게 결정된 최대 허용 시간에 따라, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어할 수 있다.
한편, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)은, 도 1에 도시된 바와 같이, 입력 장치(150)에 포함된 레이저 스캐너 등과 같은 레인지 센서(151)를 통해 위험 구간을 감지하는 위험 구간 감지부(141)와, 레인지 센서(151)를 통해, 감지된 위험 구간에서 보행자 후보군을 검출하는 보행자 후보군 검출부(142)와, 검출된 보행자 후보군의 위치에 따라 입력 장치(150)에 포함된 카메라(152)에서 획득된 영상으로부터 관심영역(ROI: Region Of Interest)의 영상만을 입력 영상으로서 잘라내어 보행자 판별부(144)로 입력하는 입력 영상 생성부(143) 등을 더 포함할 수 있다.
전술한 위험 구간 감지부(141), 보행자 후보군 검출부(142), 입력 영상 생성부(143), 보행자 판별부(144), 보행자 위험도 판단부(145) 및 보행자 보호부(146)는, 제어부(140)에 포함되어 구현될 수 있다.
도 2는 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)의 작동 범위를 예시적으로 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)의 작동 범위는, 레이저 스캐너 등과 같은 레인지 센서(151)와, 카메라(152) 등을 포함하는 입력 장치(150)의 성능에 의해 결정될 수 있다.
도 2의 예시에서는, 레이저 스캐너인 레인지 센서(151)에서의 데이터 기반 보행자 후보군 추출 및 추적 거리가, 최대 80m이고, 카메라(152)에서의 영상 기반 보행자 판별 거리가, 12mm 렌즈 사용시 30m내외인 거로 가정하였다.
도 2를 참조하면, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)이 장착된 차량(200)이, 30m 이내의 오른쪽 전방에 주차해 있는 차량(201, 202)의 사이에서 보행자(220)가 걷거나 뛰어나오는 경우, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)은 오른쪽 전방에 주차해 있는 차량(201, 202)의 사이 공간을 위험 구간(210)으로 감지하고, 감지된 위험 구간(210)에서 보행자(220)를 판별하고, 위험도를 판단하여, 이에 따른 보행자 보호 기능을 수행한다.
또한, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)의 작동 속도는, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)이 장착된 차량의 속도에 의해 결정된다. 예를 들어, 작동 속도 영역은 20k/h~50k/h일 수 있다.
도 3은 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)에서 보행자 보호를 차등화하여 제공하는 방법을 예시적으로 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템(100)은, 보행자 위험도와, 보행자와의 거리에 따른 요구 제동 감속도 양에 따라, 운전자 경고(Sound Alarm) 구간, 보행자 경고(Horning) 구간 및 자 동 제동(ESC Braking) 구간으로 나누고, 해당 구간에서 사운드 명령 신호, 경적 명령 신호 및 제동 명령 신호를 제어하여 발생시켜, 출력 장치(160)에 포함된 차량용 HMI(Human Machine Interface, 161), 스피커(162), 경적 장치(163) 및 전자제어유닛(ESC: Electronic Control Unit) 등을 통해 운전자 경고, 보행자 경고 및 자동 제동 기능을 수행한다.
도 4는 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 방법에 대한 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 방법은, 하나 이상의 센서나 특정 장치를 포함하는 환경정보 획득 장치(110)를 통해 환경정보를 수신하여 차량 외부 상태를 감지하는 환경 감지 단계(S400)와, 보행자 판별을 위해 미리 정의된 판별 알고리즘 및 트래킹 알고리즘 중에서, 감지된 차량 외부 상태에 근거하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하는 선택 단계(S402)와, 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하는 보행자 판별 단계(S404)와, 특정 트래킹 알고리즘에 따라 판별된 보행자에 대한 위험도를 판단하는 보행자 위험도 판단 단계(S406)와, 판단된 위험도에 따라 운전자 경고, 보행자 경고 및 자동 제동을 제어하여 보행자 보호 기능을 수행하는 보행자 보호 단계(S408) 등을 포함한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 환경정보를 획득하여 차량 외부 상태를 감지하고, 감지된 차량 외부 상태에 따라서 보행자 판별, 보행자 위험도 판단 및 보호 처리 등의 보행자 보호 기능을 외부 환경에 맞게 적응 적으로 제공하는 효과가 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용 어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템에 대한 블록 구성도,
도 2는 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템의 작동 범위를 예시적으로 나타낸 도면,
도 3은 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 시스템에서 보행자 보호를 차등화하여 제공하는 방법을 예시적으로 나타낸 도면,
도 4는 본 발명의 일 실시에에 따른 환경정보를 이용한 능동 보행자 보호 방법에 대한 흐름도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 능동 보행자 보호 시스템(APPS)
111: 우적 센서
112: 온도 센서
120: 환경 감지부
130: 선택부
144: 보행자 판별부
145: 보행자 위험도 판단부
146: 보행자 보호부
151: 레인지 센서
152: 카메라

Claims (10)

  1. 하나 이상의 센서나 특정 장치를 통해 환경정보를 수신하여 차량 외부 상태를 감지하는 환경 감지부;
    보행자 판별을 위해 미리 정의된 판별 알고리즘 및 트래킹 알고리즘 중에서, 상기 감지된 차량 외부 상태에 근거하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하는 선택부;
    상기 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하는 보행자 판별부;
    상기 특정 트래킹 알고리즘에 따라 상기 판별된 보행자에 대한 위험도를 판단하는 보행자 위험도 판단부; 및
    상기 보행자 위험도 판단부에서 상기 판단된 위험도와, 상기 판별된 보행자와의 거리에 따른 요구 제동 감속도 양에 따라, 운전자 경고 구간, 보행자 경고 구간 및 자동 제동 구간으로 나누고, 해당 구간에서 사운드 명령 신호, 경적 명령 신호 및 제동 명령 신호를 제어하여 발생시키는 보행자 보호부를 포함하는 환경정보를 이용한 능동 보행자 보호 시스템.
  2. 제 1항에 있어서,
    상기 환경 감지부는,
    강우정보, 기온정보 및 위치정보 중 하나 이상을 포함하는 상기 환경정보를 상기 하나 이상의 센서나 상기 특정 장치로부터 수신하는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 시스템.
  3. 제 1항에 있어서,
    상기 선택부는,
    보행자 인식이 방해되는 정도나, 제동 거리가 길어지는 정도에 따라 상기 감지된 차량 외부 상태를 분류하고,
    상기 분류된 차량 외부 상태에 대응되도록 정의된 상기 특정 판별 알고리즘 및 상기 특정 트래킹 알고리즘을 선택하거나 제어하는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 시스템.
  4. 제 1항에 있어서,
    상기 특정 판별 알고리즘 및 상기 특정 트래킹 알고리즘 각각은,
    상기 감지된 차량 외부 상태에 대응되도록 강화 학습이 수행되어 분류되고 정의되며,
    상기 감지된 차량 외부 상태에 대응되도록 강화 학습이 수행되어 정의된 임계값 및 데이터베이스를 알고리즘 실행에 이용하는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 시스템.
  5. 삭제
  6. 제 1항에 있어서,
    상기 환경 감지부가 상기 차량 외부상태가 우천 상황인 거로 감지한 경우,
    상기 선택부는, 상기 우천 상황에서 정의된 일정 수준이상의 신뢰도를 갖는 상기 특정 판별 알고리즘 및 상기 특정 트래킹 알고리즘을 선택하거나 제어하고,
    상기 보행자 판별부는, 상기 우천 상황에서의 보행자로 강화 학습 한 데이터베이스와 판별 임계값을 이용하여 상기 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하며,
    상기 보행자 위험도 판단부는, 상기 우천 상황에서 정의된 트래킹 모델과 판단 임계값을 이용하여 상기 특정 트래킹 알고리즘에 따라 상기 판별된 보행자에 대한 위험도를 판단하고,
    상기 보행자 보호부는, 상기 우천 상황에 근거하여, 상기 사운드 명령 신호, 상기 경적 명령 신호 및 상기 제동 명령 신호의 발생 시점, 발생 횟수 또는 발생 크기를 제어하는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 시스템.
  7. 제 1항에 있어서,
    상기 환경 감지부가 상기 차량 외부상태가 일정 온도 이하의 극저온 상황인 거로 감지한 경우,
    상기 선택부는, 상기 극저온 상황에서 정의된 일정 수준이상의 신뢰도를 갖는 상기 특정 판별 알고리즘 및 상기 특정 트래킹 알고리즘을 선택하거나 제어하고,
    상기 보행자 판별부는, 상기 극저온 상황에서의 보행자로 강화 학습 한 데이터베이스와 판별 임계값을 이용하여, 상기 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하며,
    상기 보행자 위험도 판단부는, 상기 극저온 상황에서 정의된 트래킹 모델과 판단 임계값을 이용하여, 상기 특정 트래킹 알고리즘에 따라 상기 판별된 보행자에 대한 위험도를 판단하고,
    상기 보행자 보호부는, 상기 극저온 상황에 근거하여, 상기 사운드 명령 신호, 상기 경적 명령 신호 및 상기 제동 명령 신호의 발생 시점, 발생 횟수 또는 발생 크기를 제어하는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 시스템.
  8. 제 1항에 있어서,
    상기 선택부는,
    레인지 센서를 통해 얻어진 보행자 거리 및 상기 감지된 차량 외부 상태에 근거하여, 거리에 따른 반응을 위한 최대 허용 시간을 결정하고,
    상기 결정된 최대 허용 시간에 따라, 상기 특정 판별 알고리즘 및 상기 특정 트래킹 알고리즘을 선택하거나 제어하는 것을 특징으로 하는 환경정보를 이용한 능 동 보행자 보호 시스템.
  9. 제 1항에 있어서,
    레인지 센서를 통해 위험 구간을 감지하는 위험 구간 감지부;
    상기 레인지 센서를 통해, 상기 위험 구간에서 보행자 후보군을 검출하는 보행자 후보군 검출부; 및
    상기 검출된 보행자 후보군의 위치에 따라 카메라에서 획득된 영상으로부터 관심영역의 영상만을 상기 입력 영상으로서 잘라내어 상기 보행자 판별부로 입력하는 입력 영상 생성부
    를 더 포함하는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 시스템.
  10. 하나 이상의 센서나 특정 장치를 통해 환경정보를 수신하여 차량 외부 상태를 감지하는 환경 감지 단계;
    보행자 판별을 위해 미리 정의된 판별 알고리즘 및 트래킹 알고리즘 중에서, 상기 감지된 차량 외부 상태에 근거하여, 특정 판별 알고리즘 및 특정 트래킹 알고리즘을 선택하거나 제어하는 선택 단계;
    상기 특정 판별 알고리즘에 따라 입력 영상을 분석하여 보행자를 판별하는 보행자 판별 단계;
    상기 특정 트래킹 알고리즘에 따라 상기 판별된 보행자에 대한 위험도를 판단하는 보행자 위험도 판단 단계; 및
    상기 판단된 위험도에 따라 운전자 경고, 보행자 경고 및 자동 제동을 제어하여 보행자 보호 기능을 수행하는 보행자 보호 단계를 포함하되,
    상기 보행자 보호 단계는, 상기 판단된 위험도와, 상기 판별된 보행자와의 거리에 따른 요구 제동 감속도 양에 따라, 운전자 경고 구간, 보행자 경고 구간 및 자동 제동 구간으로 나누고, 해당 구간에서 사운드 명령 신호, 경적 명령 신호 및 제동 명령 신호를 제어하여 발생시키는 것을 특징으로 하는 환경정보를 이용한 능동 보행자 보호 방법.
KR1020090115012A 2009-11-26 2009-11-26 환경정보를 이용한 능동 보행자 보호 방법 및 시스템 KR101302798B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090115012A KR101302798B1 (ko) 2009-11-26 2009-11-26 환경정보를 이용한 능동 보행자 보호 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115012A KR101302798B1 (ko) 2009-11-26 2009-11-26 환경정보를 이용한 능동 보행자 보호 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20110058279A KR20110058279A (ko) 2011-06-01
KR101302798B1 true KR101302798B1 (ko) 2013-09-02

Family

ID=44393802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115012A KR101302798B1 (ko) 2009-11-26 2009-11-26 환경정보를 이용한 능동 보행자 보호 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101302798B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10604070B2 (en) 2016-11-09 2020-03-31 Samsung Electronics Co., Ltd. Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377991B1 (ko) * 2012-10-23 2014-03-28 이도연 보행자의 안전을 고려한 자동차
KR101427032B1 (ko) * 2013-01-28 2014-08-05 주식회사 만도 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법
US10127812B2 (en) 2016-08-29 2018-11-13 Allstate Insurance Company Electrical data processing system for monitoring or affecting movement of a vehicle using a traffic device
US10515543B2 (en) 2016-08-29 2019-12-24 Allstate Insurance Company Electrical data processing system for determining status of traffic device and vehicle movement
US10417904B2 (en) 2016-08-29 2019-09-17 Allstate Insurance Company Electrical data processing system for determining a navigation route based on the location of a vehicle and generating a recommendation for a vehicle maneuver
DE102017204681A1 (de) 2017-03-21 2018-09-27 Robert Bosch Gmbh Vorrichtung zum Auslösen einer externen Schutzfunktion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163637A (ja) 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2007038954A (ja) 2005-08-05 2007-02-15 Toyota Motor Corp 車両の周囲警報装置
JP2007257338A (ja) 2006-03-23 2007-10-04 Toyota Central Res & Dev Lab Inc 潜在危険度推定装置
JP2009244986A (ja) 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc 警告報知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163637A (ja) 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2007038954A (ja) 2005-08-05 2007-02-15 Toyota Motor Corp 車両の周囲警報装置
JP2007257338A (ja) 2006-03-23 2007-10-04 Toyota Central Res & Dev Lab Inc 潜在危険度推定装置
JP2009244986A (ja) 2008-03-28 2009-10-22 Toyota Central R&D Labs Inc 警告報知装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10604070B2 (en) 2016-11-09 2020-03-31 Samsung Electronics Co., Ltd. Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach

Also Published As

Publication number Publication date
KR20110058279A (ko) 2011-06-01

Similar Documents

Publication Publication Date Title
KR101302798B1 (ko) 환경정보를 이용한 능동 보행자 보호 방법 및 시스템
CN109305165B (zh) 智能超声***、车辆后方碰撞警告装置及其控制方法
US10460467B2 (en) Object recognition processing apparatus, object recognition processing method, and autonomous driving system
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
KR101912453B1 (ko) 장애물 검출 및 충돌 경보 장치 및 방법
US8140226B2 (en) Security system and a method to derive a security signal
KR102044193B1 (ko) 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
EP2212160A1 (en) A system for classifying objects in the vicinity of a vehicle
KR20190012607A (ko) 차량의 후방 충돌 경고장치 및 그 제어방법
KR20220085198A (ko) 레이더 센서의 방해 검출 장치 및 방법과, 레이더 장치
EP3919338A1 (en) Autonomous driving control method and device
KR101449288B1 (ko) 레이더를 이용한 감지 시스템
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
US11914027B2 (en) Method and system for identifying hazard objects around a vehicle
KR20190019565A (ko) 지능형 초음파 시스템 및 그 제어 방법
US20170169704A1 (en) Method and device for triggering pedestrian protection means and/or pedestrian warning means
KR101411784B1 (ko) 사각지대 감지 방법 및 그 시스템
CN111886637B (zh) 信息处理装置、信息处理方法和计算机能读取的记录介质
JP6250120B1 (ja) 車線維持支援装置および車線維持支援方法
KR20200107487A (ko) 차량용 레이더의 차단 감지 보완 장치 및 방법
KR102643361B1 (ko) 차량 사고 회피 시스템의 적응적인 개입 결정 방법
KR100868406B1 (ko) 차량 경보 시스템의 동작방법
KR102685106B1 (ko) 후방충돌경고장치 및 그 장치의 구동방법
KR102004084B1 (ko) 차량용 방향지시등 제어 방법 및 장치
JP2023537987A (ja) 物体の長さを判定するための支援システムを動作させるための方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee