KR20130021990A - Pedestrian collision warning system and method of vehicle - Google Patents

Pedestrian collision warning system and method of vehicle Download PDF

Info

Publication number
KR20130021990A
KR20130021990A KR1020110084597A KR20110084597A KR20130021990A KR 20130021990 A KR20130021990 A KR 20130021990A KR 1020110084597 A KR1020110084597 A KR 1020110084597A KR 20110084597 A KR20110084597 A KR 20110084597A KR 20130021990 A KR20130021990 A KR 20130021990A
Authority
KR
South Korea
Prior art keywords
pedestrian
vehicle
module
alarm
lane
Prior art date
Application number
KR1020110084597A
Other languages
Korean (ko)
Inventor
변오성
강병준
이문도
정순욱
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020110084597A priority Critical patent/KR20130021990A/en
Publication of KR20130021990A publication Critical patent/KR20130021990A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

PURPOSE: A vehicular pedestrian collision alarm system and method are provided to indicate an alarm to be variably separated into at least one dangerous step according to the inside and the outside of the lane of a car or vehicle driving direction based on the lane, thereby providing the reliability of the alarm to a driver. CONSTITUTION: A vehicular pedestrian collision alarm system includes a camera(110), a video processor(120), a pedestrian position discriminator(130), a pedestrian alarm controller(140), an alarm and displayer(150). The camera is mounted on a vehicle. The video processor detects a lane and pedestrians by using videos acquired from the camera. The pedestrian position discriminator includes an area separating module(132) and a pedestrian recognizing position module(134). The area separating module separates an area into the danger steps of an alarm according to the position of the vehicle and the lane. The pedestrian recognizing position module recognizes the detected position of the pedestrians. The pedestrian alarm controller includes an areal pedestrian collision determining module(142) and a vehicle control organization module(144). The areal pedestrian collision determining module determines the collision alarm step of the pedestrians by using results from the pedestrian position discriminator. The vehicle control organization module is for a vehicle control and display device. The alarm and displayer displays a collision alarm to a driver according to the collision alarm step from the pedestrian alarm controller. [Reference numerals] (110) Camera; (120) Video processor; (122) Traffic lane detecting module; (124) Pedestrian detecting module; (130) Pedestrian position discriminator; (132) Area separating module; (134) Pedestrian position recognizing module; (140) Pedestrian alarm controller; (142) Areal pedestrian collision determining module; (144) Vehicle control organization module; (150) Alarm and displayer; (152) Alarm display module; (154) Brake control module

Description

차량의 보행자 충돌 경보 시스템 및 그 방법{Pedestrian collision warning system and method of vehicle}Pedestrian collision warning system and method of vehicle

본 발명은 차량의 보행자 충돌 경보 시스템 및 그 방법에 관한 것으로서, 더 구체적으로는 경보의 위험 단계를 나누어 출력함으로써 운전자의 신뢰도를 획득할 수 있는 차량의 보행자 충돌 경보 시스템 및 그 방법에 관한 것이다.The present invention relates to a pedestrian collision warning system and method of the vehicle, and more particularly, to a pedestrian collision warning system and method of the vehicle that can obtain the driver's reliability by dividing the risk level of the alarm.

차량의 보행자 충돌 경보 시스템은 센서를 이용하여 전방 물체를 감지하여 경보를 제공함으로써 안전 운전을 보조하는 장치이다. The pedestrian collision warning system of a vehicle is a device that assists safe driving by detecting an object in front of the vehicle using a sensor and providing an alarm.

이와 같은 차량의 보행자 충돌 경보 시스템의 종래 기술로는 한국 특허출원 10-2008-4865호의 차량의 보행자 충돌 경고 및 예방 제어 방법 등이 있다.Conventional technologies for such a pedestrian collision warning system of a vehicle include a pedestrian collision warning and preventive control method of a vehicle of Korean Patent Application No. 10-2008-4865.

종래 기술은 속도센서로부터의 속도 신호와 전방 감지 센서들로부터의 전방 물체에 대한 감지 신호를 입력받아, 전방 물체와의 충돌 속도, 전방 물체와의 충돌 위험 및 전방 물체의 유형을 계산한다. 또한 계산된 충돌 속도와 충돌 위험 및 전방 물체의 유형으로부터 각 물체들에 대한 위협을 계산하고, 계산된 위협과 TTC(Threat Control & Containment)로부터 반경을 계산한다. 그리고 계산된 반경 중 최소값을 가지는 물체를 가장 위험한 물체로 결정하고, 상기 결정된 가장 위험한 물체의 반경과 기 정의된 임계값을 비교하며, 그 비교 결과에 따라서 경보 및 제동 제어를 수행하는 것을 특징으로 하는 차량의 보행자 충돌 경고 및 예방 제어 방법이다.The prior art receives the speed signal from the speed sensor and the sensing signal for the front object from the front sensing sensors to calculate the speed of collision with the front object, the risk of collision with the front object, and the type of the front object. It also calculates the threat for each object from the calculated collision speed, collision risk, and type of forward object, and calculates the radius from the calculated threat and Threat Control & Containment (TTC). And determining the object having the minimum value among the calculated radius as the most dangerous object, comparing the determined radius of the most dangerous object with a predefined threshold value, and performing alarm and braking control according to the comparison result. Pedestrian collision warning and prevention control of the vehicle.

이와 같은 종래 기술의 방법에서는 계산된 반경 중 최소값을 가지는 물체를 가장 위험한 물체로 결정하거나, 검출된 물체가 일정 영역으로 움직이면 운전자에게 경보 및 제동 제어를 수행하여 차량의 보행자 충돌 경보를 제공한다. 즉, 영역 범위에 관계없이 검출되는 대상만을 가지고 모든 대상에 대해 경보를 함으로써 운전자가 경보에 둔감해지고 경보의 신뢰성을 잃을 수 있다는 단점이 있다.In the related art method, the object having the minimum value among the calculated radii is determined as the most dangerous object, or when the detected object moves to a certain area, an alarm and a braking control are performed to the driver to provide a pedestrian collision warning of the vehicle. That is, there is a disadvantage that the driver may be insensitive to the alarm and lose the reliability of the alarm by alerting all the objects with only the detected object regardless of the area range.

본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로서, 경보의 위험 단계를 나누어 출력함으로써 운전자의 신뢰도를 획득할 수 있는 차량의 보행자 충돌 경보 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.Disclosure of Invention The present invention has been made in the technical background as described above, and an object thereof is to provide a pedestrian collision warning system and a method of a vehicle capable of obtaining a driver's reliability by dividing and outputting a risk level of an alarm.

본 발명의 다른 목적은 보행자의 검출 영역에 따라 경보의 위험 단계를 다르게 표시할 수 있는 차량의 보행자 충돌 경보 시스템 및 그 방법을 제공하는 것이다.Another object of the present invention is to provide a pedestrian collision warning system and a method of a vehicle that can display the dangerous stage of the alarm differently according to the detection area of the pedestrian.

이와 같은 과제를 해결하기 위하여 본 발명에서는 자차 또는 차량 진행 차선을 기반으로 차량의 진행 방향의 차선 안쪽과 바깥쪽에 따라, 즉 검출된 영역에 따라 경보의 위험 단계를 나누어 표시함으로써 경보의 신뢰도를 향상시킨다.In order to solve the above problems, the present invention improves the reliability of the alarm by dividing the dangerous stages of the alarm according to the inside and the outside of the lane in the traveling direction based on the own vehicle or the vehicle progress lane, that is, the detected area. .

즉, 본 발명의 일면에 따른 차량의 보행자 충돌 경보 시스템은, 차량에 장착된 카메라와, 상기 카메라를 이용해 획득한 영상으로부터 차선과 보행자를 검출하는 영상 처리부와, 상기 차량의 위치 및 상기 차선에 따라 경보의 위험을 단계별로 나누기 위해 영역을 분할하는 영역 분할 모듈과 검출된 상기 보행자의 위치를 인지하는 보행자 인지 위치 모듈을 포함하는 보행자 위치 판별부와, 상기 보행자 위치 판별부의 판별 결과를 이용하여 보행자의 충돌 경보 단계를 판단하는 영역별 보행자 충돌 판정 모듈과 차량 제어 및 표시 장치를 위한 차량 제어 조직 모듈을 포함하는 보행자 경보 제어부와, 상기 보행자 경보 제어부에 의해 판단된 상기 충돌 경보 단계에 따라 운전자에게 충돌 경보를 표시하고 상기 차량을 제어하는 경보 및 표시부를 포함하여 이루어진다.That is, the pedestrian collision warning system of a vehicle according to an aspect of the present invention, the camera mounted on the vehicle, the image processing unit for detecting the lane and pedestrian from the image obtained by using the camera, the position of the vehicle and the lane Pedestrian position determination unit comprising a segmentation module for dividing the area to divide the risk of the alarm step by step and a pedestrian recognition position module for detecting the detected position of the pedestrian; Pedestrian alarm control unit including a pedestrian collision determination module for each area for determining the collision warning step and a vehicle control organization module for the vehicle control and display device, and a collision warning to the driver according to the collision warning step determined by the pedestrian alarm control unit Including alarms and indicators to display and control the vehicle Lure.

여기에서, 상기 영역별 보행자 충돌 판정 모듈은, 상기 차량 앞과 상기 차선 안쪽을 충돌 경보의 위험도가 가장 높은 3단계로 지정하고, 2단계로 상기 차량 앞과 상기 차량의 승객좌석 차선 바깥쪽, 1단계로 상기 차량 옆 상기 차선 앞과 상기 차선 바깥쪽, 0 단계로 상기 차량 옆과 상기 차선 바깥쪽으로 지정할 수 있다.Here, the area-specific pedestrian collision determination module, the front of the vehicle and the inside of the lane to designate the three stages of the highest risk of collision warning, and in the second step in front of the vehicle and the passenger seat lane of the vehicle, 1 In step 0, the front of the lane and the outside of the lane may be designated, and in step 0, the side of the vehicle and the outside of the lane may be designated.

상기 영역별 보행자 충돌 판정 모듈은, 상기 영역 분할 모듈의 영역 분할 결과와 상기 보행자 인지 위치 모듈에 의해 인지한 보행자 위치를 비교하여 상기 충돌 경보 단계를 판단한다.The area-specific pedestrian collision determination module determines the collision warning step by comparing an area division result of the area division module with a pedestrian position recognized by the pedestrian recognition location module.

한편, 상기 카메라는 적외선 이미지 센서 또는 3D 이미지 센서를 포함할 수 있다. Meanwhile, the camera may include an infrared image sensor or a 3D image sensor.

본 발명의 다른 면에 따른 차량의 보행자 충돌 경보 방법은, 차량에 장착된 카메라를 통하여 차량 주위의 영상을 획득하는 단계와, 획득된 상기 영상으로부터 차선과 상기 차량 주위의 보행자를 검출하는 단계와, 상기 차량의 위치 및 검출된 상기 차선을 기반으로 위험 영역을 분할하는 단계와, 분할된 상기 위험 영역을 기준으로 상기 보행자의 위치를 인지하는 단계와, 상기 위험 영역과 인지한 상기 보행자의 위치를 비교하여 위험 영역별 보행자 충돌을 판정하는 단계와, 상기 위험 영역별로 설정된 위험 단계에 따라 경보를 표시하고 차량을 제어하는 단계를 포함한다.According to another aspect of the present invention, there is provided a pedestrian collision warning method of a vehicle, the method comprising: obtaining an image around a vehicle through a camera mounted on the vehicle, detecting a lane and a pedestrian around the vehicle from the obtained image; Dividing a dangerous area based on the location of the vehicle and the detected lane; recognizing the location of the pedestrian based on the divided dangerous area; comparing the location of the dangerous area with the recognized pedestrian; And determining a pedestrian collision for each danger zone, and displaying an alarm and controlling the vehicle according to the danger level set for each danger zone.

본 발명에 따르면, 단순히 거리나 일정 반경에 대한 최소값을 가지는 물체에 대한 경보를 on-off로 판정하는 것이 아니라 자차 혹은 차량 진행 차선을 기반으로 차량의 진행 방향의 차선 안쪽과 바깥쪽에 따라 경보의 위험 단계를 가변적으로 1단계 이상으로 나누어서 표시함으로써 운전자로 하여금 경보의 신뢰도를 갖게 하여 운전자에게 경각심을 높일 수 있다. According to the present invention, instead of simply determining on-off of an alarm for an object having a minimum value for a distance or a certain radius, the danger of alarming along the inside and outside of the lane in the direction of travel of the vehicle based on the own vehicle or the vehicle progress lane By dividing the steps into one or more steps in a variable manner, the driver can have an alarm reliability, thereby increasing the awareness of the driver.

도 1a와 도 1b는 보행자 검출 영상의 예를 나타낸다.
도 2는 본 발명의 실시예에 따른 차량의 보행자 충돌 경보 시스템의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 보행자 충돌 경보 시스템의 동작을 나타내는 흐름도이다. 1A and 1B show examples of pedestrian detection images.
2 is a block diagram showing the configuration of a pedestrian collision warning system of a vehicle according to an embodiment of the present invention.
3 is a flowchart illustrating the operation of a pedestrian collision warning system according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 차량의 보행자 충돌 경보 시스템 및 그 방법에 대하여 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the vehicle pedestrian collision warning system and method according to an embodiment of the present invention.

본 발명의 실시예에 따른 차량의 보행자 충돌 경보 시스템에서는 자차 또는 차량 진행 차선을 기반으로 차량의 진행 방향의 차선 안쪽과 바깥쪽에 따라, 즉 검출된 영역에 따라 경보의 위험 단계를 나누어 표시함으로써 경보의 신뢰도를 향상시킨다.In the pedestrian collision warning system of a vehicle according to an embodiment of the present invention based on the own vehicle or the vehicle progress lane, the risk level of the alarm is divided and displayed according to the inside and the outside of the lane in the traveling direction of the vehicle, that is, the detected area. Improve reliability.

도 1a와 도 1b는 보행자 검출 영상의 예를 나타낸다. 도 1a는 차량의 전면에서 보행자가 검출되는 영상을 나타내며, 도 1b는 차량 측면에서 보행자가 검출되는 영상을 나타낸다. 이 경우 차량과 보행자 사이의 거리가 비슷하더라도 차량 전면에서 보행자가 검출되는 도 1a의 경우가 차량 측면에서 보행자가 검출되는 도 1b에 비해 충돌 위험이 높은 것으로 볼 수 있다. 따라서, 본 발명에서는 이와 같이 보행자의 검출 영역에 따라 경보의 위험 단계를 나누어 표시한다.1A and 1B show examples of pedestrian detection images. FIG. 1A illustrates an image of detecting a pedestrian from the front of the vehicle, and FIG. 1B illustrates an image of detecting a pedestrian from the side of the vehicle. In this case, even though the distance between the vehicle and the pedestrian is similar, the case of FIG. 1A in which the pedestrian is detected at the front of the vehicle may be considered to be higher than the collision risk of FIG. 1B in which the pedestrian is detected at the vehicle side. Accordingly, the present invention divides and displays the risk level of the alarm according to the detection area of the pedestrian.

도 2는 본 발명의 실시예에 따른 차량의 보행자 충돌 경보 시스템의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a pedestrian collision warning system of a vehicle according to an embodiment of the present invention.

도 2에 나타난 바와 같이, 본 발명의 실시예에 따른 차량의 보행자 충돌 경보 시스템(100)은 영상을 획득하기 위한 카메라(110), 차선 검출 모듈(122)과 보행자 검출 모듈(124)로 구성된 영상 처리부(120), 자차 위치 및 차선 기반에 따라 경보의 위험을 단계별로 나누기 위해 영역을 분할하는 영역 분할 모듈(132)과 보행자의 위치를 영상의 (x, y) 좌표 또는 레이다 등과 같은 다양한 거리 및 위치 측정 센서를 이용하여 인지하는 보행자 인지 위치 모듈(134)을 포함하는 보행자 위치 판별부(130), 보행자 위치 판별부(130)의 판별 결과를 이용하여 보행자의 충돌 경보 단계를 판단하는 영역별 보행자 충돌 판정 모듈(142)과 차량 제어 및 표시 장치를 위한 차량 제어 조직 모듈(144)을 포함하는 보행자 경보 제어부(140) 및 자동차에서 사용되는 하나 이상의 통신 버스를 이용하여 버저, 램프, 시트 벨트, 네비게이션, 클러스터 등에 경보 단계를 표시하고 제어하는 경보 표시 모듈(152)과 브레이크를 제어하는 브레이크 제어 모듈(154)을 포함하는 경보 및 표시부(150)를 포함한다.As shown in FIG. 2, the vehicle pedestrian collision warning system 100 according to an exemplary embodiment of the present invention includes an image including a camera 110, a lane detection module 122, and a pedestrian detection module 124 for acquiring an image. The processor 120, the region segmentation module 132, which divides an area to divide the risk of an alarm according to the own vehicle position and the lane base, and the pedestrian's position in various distances such as (x, y) coordinates or radar, etc. Pedestrian for each area to determine the pedestrian collision warning step using the result of the pedestrian position determination unit 130 and the pedestrian position determination unit 130 including the pedestrian recognition position module 134 to recognize using the position measurement sensor Using a pedestrian alert control unit 140 including a collision determination module 142 and a vehicle control organization module 144 for vehicle control and display devices and one or more communication buses used in automobiles And a W buzzer, lamp, seat belt, navigation, and control the alarm display indicating the alarm stage or the like cluster module 152 and alarm and a display 150 that includes a brake control module 154 for controlling the brake.

카메라(110)는 주간, 야간에 모두 사용 가능한 이미지 센서를 활용할 수 있으며, 적외선 이미지 센서와 3D 이미지 센서를 포함한다. The camera 110 may utilize an image sensor that can be used both at night and at night, and includes an infrared image sensor and a 3D image sensor.

영상 처리부(120)는 차량 주위의 차선 검출 및 보행자 검출 기능을 수행하며, 보행자 위치 판별부(130)는 영상 처리부(120)의 차선 검출 모듈(122)에서 검출 인식된 자차 및 차선의 영역으로 충돌 경보를 위한 단계별 영역을 구성하고, 보행자의 위치를 인지한다.The image processor 120 performs lane detection and pedestrian detection around the vehicle, and the pedestrian position determiner 130 collides with the area of the own vehicle and lane detected and detected by the lane detection module 122 of the image processor 120. Configure step-by-step areas for alerting and recognize the location of pedestrians.

보행자 경보 제어부(140)는 영역 분할 모듈(132)로부터 얻은 충돌 경보를 위한 단계별 영역 정보와 보행자 위치 인지 모듈(134)로부터 얻은 보행자의 위치를 비교하여 보행자 충돌 단계를 판정한다. The pedestrian warning control unit 140 determines the pedestrian collision step by comparing the step-by-step area information for the collision warning obtained from the area dividing module 132 with the position of the pedestrian obtained from the pedestrian position recognition module 134.

보행자 충돌 단계의 판정은 예를 들어, 보행자 및 차량의 충돌 경보의 데이터 신호를 3단계로 가정하여, 이는 자차 위치 및 차선 기반 영역 분할 모듈에서 영역을 4개 영역으로 분할하여 출력할 수 있다. 자차 앞과 차선 안쪽을 3단계 중 충돌 경보의 위험도가 가장 높은 단계로 3단계로 지정한다. 2단계로는 자차 앞과 승객좌석 차선 바깥쪽이고, 1단계로는 자차 옆 차선 앞과 차선 바깥쪽, 0 단계로는 자차 옆과 차선 바깥쪽으로 구성할 수 있으며, 이는 보행자 경보 제어부(140)에서 선택되어 출력한다. For example, the determination of the pedestrian collision phase assumes three levels of data signals of the collision warning of the pedestrian and the vehicle, and this may be output by dividing the area into four areas in the own vehicle location and lane-based area division module. The front of the vehicle and the inside of the lane are designated as the third level with the highest risk of collision warning. In the second step, the front of the vehicle and the outside of the passenger seat lane, the first step may be configured to the front of the lane and the outside of the lane, and the 0 step to the side of the vehicle and the outside of the lane, which is the pedestrian alarm control unit 140 Selected and printed.

또한 다른 예로 자차 및 차선 위치의 영역 조건을 활용하여 충돌 경보 단계를 비교 평가할 수도 있다. As another example, the collision warning level may be compared and evaluated using the area conditions of the own vehicle and the lane position.

이와 같이 판정된 보행자 충돌 단계는 경보 및 표시부(150)로 전달되어 버저, 램프, 시트 벨트, 네비게이션, 클러스터 등을 통하여 운전자에게 표시되며, 필요에 따라서는 브레이크 제어 모듈(154)을 통해 브레이크를 제어하여 충돌을 방지한다. 경보 표시 모듈의 램프 등의 제어 기능은 브레이크와 같은 차량의 제어 기능과 연동될 수 있다. The pedestrian collision stage thus determined is transmitted to the alarm and display unit 150 and displayed to the driver through a buzzer, a lamp, a seat belt, a navigation, a cluster, and the like, and the brake is controlled through the brake control module 154 as necessary. To avoid collisions. The control function such as the lamp of the alarm display module may be linked with the control function of the vehicle such as a brake.

이제 본 발명의 실시예에 따른 차량의 보행자 충돌 경보 시스템의 동작 방법을 도면을 참고로 하여 자세히 설명한다.Now, the operation method of the pedestrian collision warning system of a vehicle according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 3은 본 발명의 실시예에 따른 보행자 충돌 경보 시스템의 동작을 나타내는 흐름도이다. 3 is a flowchart illustrating the operation of a pedestrian collision warning system according to an embodiment of the present invention.

도 3에 나타난 바와 같이, 먼저 카메라(110)가 차량 주위의 영상을 획득한다(S310). As shown in FIG. 3, first, the camera 110 acquires an image around a vehicle (S310).

획득된 영상으로부터 차선을 검출하고(S312), 차량 주위의 보행자를 검출한다(S314).A lane is detected from the acquired image (S312), and a pedestrian around the vehicle is detected (S314).

차량 주위에 보행자가 존재하면(S316의 예), 자차 위치 및 차선을 기반으로 위험 영역을 분할한다(S318). 다음 분할된 위험 영역을 기준으로 보행자의 위치를 인지한다(S320).If there is a pedestrian around the vehicle (YES in S316), the dangerous area is divided based on the own vehicle position and the lane (S318). Next, the position of the pedestrian is recognized based on the divided danger area (S320).

S318 단계에서 분할된 위험 영역과 S320 단계에서 인지한 보행자의 위치를 비교하여 위험 영역별 보행자 충돌을 판정하여(S322), 위험 영역별로 설정된 위험 단계에 따라 경보를 표시하고(S324), 차량을 제어한다(S326).By comparing the danger zone divided in the step S318 and the position of the pedestrian recognized in step S320 to determine the pedestrian collision for each danger zone (S322), to display an alarm according to the danger level set for each danger zone (S324), control the vehicle (S326).

이와 같이, 단순히 거리나 일정 반경에 대한 최소값을 가지는 물체에 대한 경보를 on-off로 판정하는 것이 아니라 자차 혹은 차량 진행 차선을 기반으로 차량의 진행 방향의 차선 안쪽과 바깥쪽에 따라 경보의 위험 단계를 가변적으로 1단계 이상으로 나누어서 표시함으로써 운전자로 하여금 경보의 신뢰도를 갖게 하여 운전자에게 경각심을 높일 수 있다. Thus, instead of simply determining on-off of an alarm for an object with a minimum value for a distance or a certain radius, the danger level of the alarm is based on the inside and outside of the lane in the direction of travel of the vehicle based on the own vehicle or the vehicle progress lane. By dividing the display into one or more levels variably, the driver can have the reliability of the alarm, thereby increasing the awareness of the driver.

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다. While the invention has been described in terms of the preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Accordingly, the appended claims will include such modifications and variations as long as they fall within the spirit of the invention.

Claims (6)

차량에 장착된 카메라와,
상기 카메라를 이용해 획득한 영상으로부터 차선과 보행자를 검출하는 영상 처리부와,
상기 차량의 위치 및 상기 차선에 따라 경보의 위험을 단계별로 나누기 위해 영역을 분할하는 영역 분할 모듈과 검출된 상기 보행자의 위치를 인지하는 보행자 인지 위치 모듈을 포함하는 보행자 위치 판별부와,
상기 보행자 위치 판별부의 판별 결과를 이용하여 보행자의 충돌 경보 단계를 판단하는 영역별 보행자 충돌 판정 모듈과 차량 제어 및 표시 장치를 위한 차량 제어 조직 모듈을 포함하는 보행자 경보 제어부와,
상기 보행자 경보 제어부에 의해 판단된 상기 충돌 경보 단계에 따라 운전자에게 충돌 경보를 표시하고 상기 차량을 제어하는 경보 및 표시부를 포함하는 차량의 보행자 충돌 경보 시스템.The camera mounted on the vehicle,
An image processing unit for detecting a lane and a pedestrian from an image acquired using the camera;
A pedestrian position determination unit including an area division module for dividing an area for dividing the risk of an alarm according to the position of the vehicle and the lane in stages and a pedestrian recognition position module that recognizes the detected position of the pedestrian;
A pedestrian warning control unit including a pedestrian collision determination module for each area determining a pedestrian collision warning step by using the determination result of the pedestrian position determining unit and a vehicle control organization module for a vehicle control and display device;
And a warning and display unit for displaying a collision warning to a driver and controlling the vehicle according to the collision warning step determined by the pedestrian warning control unit. 제1항에 있어서, 상기 영역별 보행자 충돌 판정 모듈은,
상기 차량 앞과 상기 차선 안쪽을 충돌 경보의 위험도가 가장 높은 3단계로 지정하고, 2단계로 상기 차량 앞과 상기 차량의 승객좌석 차선 바깥쪽, 1단계로 상기 차량 옆 상기 차선 앞과 상기 차선 바깥쪽, 0 단계로 상기 차량 옆과 상기 차선 바깥쪽으로 지정하는 차량의 보행자 충돌 경보 시스템.The method of claim 1, wherein the area-specific pedestrian collision determination module,
Designate the front of the vehicle and the inside of the lane in three stages with the highest risk of collision warning, the second stage in front of the vehicle and the passenger seat lane outside the vehicle, and the first stage in front of the vehicle and the outside of the lane A pedestrian collision warning system for a vehicle, which designates to the side of the vehicle and to the outside of the lane in step 0. 제1항에 있어서, 상기 영역별 보행자 충돌 판정 모듈은,
상기 영역 분할 모듈의 영역 분할 결과와 상기 보행자 인지 위치 모듈에 의해 인지한 보행자 위치를 비교하여 상기 충돌 경보 단계를 판단하는 차량의 보행자 충돌 경보 시스템.The method of claim 1, wherein the area-specific pedestrian collision determination module,
And comparing the area division result of the area division module with a pedestrian position recognized by the pedestrian recognition location module to determine the collision warning step. 제1항에 있어서, 상기 카메라는,
적외선 이미지 센서 또는 3D 이미지 센서를 포함하는 차량의 보행자 충돌 경보 시스템.The method of claim 1, wherein the camera,
Pedestrian collision alarm system of a vehicle comprising an infrared image sensor or a 3D image sensor. 차량에 장착된 카메라를 통하여 차량 주위의 영상을 획득하는 단계와,
획득된 상기 영상으로부터 차선과 상기 차량 주위의 보행자를 검출하는 단계와,
상기 차량의 위치 및 검출된 상기 차선을 기반으로 위험 영역을 분할하는 단계와,
분할된 상기 위험 영역을 기준으로 상기 보행자의 위치를 인지하는 단계와,
상기 위험 영역과 인지한 상기 보행자의 위치를 비교하여 위험 영역별 보행자 충돌을 판정하는 단계와,
상기 위험 영역별로 설정된 위험 단계에 따라 경보를 표시하고 차량을 제어하는 단계를 포함하는 차량의 보행자 충돌 경보 방법.Acquiring an image around the vehicle through a camera mounted on the vehicle;
Detecting a lane and a pedestrian around the vehicle from the obtained image;
Dividing a dangerous area based on the position of the vehicle and the detected lane;
Recognizing the position of the pedestrian based on the divided danger zone;
Determining the pedestrian collision for each danger zone by comparing the location of the recognized pedestrian with the danger zone;
And displaying an alarm and controlling the vehicle according to a danger level set for each danger area. 제5항에 있어서, 상기 위험 영역을 분할하는 단계는,
상기 차량 앞과 상기 차선 안쪽을 충돌 경보의 위험도가 가장 높은 3단계로 지정하고, 2단계로 상기 차량 앞과 상기 차량의 승객좌석 차선 바깥쪽, 1단계로 상기 차량 옆 상기 차선 앞과 상기 차선 바깥쪽, 0 단계로 상기 차량 옆과 상기 차선 바깥쪽으로 지정하도록 분할하는 것인 차량의 보행자 충돌 경보 방법.The method of claim 5, wherein dividing the dangerous area comprises:
Designate the front of the vehicle and the inside of the lane in three stages with the highest risk of collision warning, the second stage in front of the vehicle and the passenger seat lane outside the vehicle, and the first stage in front of the vehicle and the outside of the lane The pedestrian collision warning method of the vehicle to divide the designation to the side of the vehicle and the outside of the lane in step 0.
KR1020110084597A 2011-08-24 2011-08-24 Pedestrian collision warning system and method of vehicle KR20130021990A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110084597A KR20130021990A (en) 2011-08-24 2011-08-24 Pedestrian collision warning system and method of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110084597A KR20130021990A (en) 2011-08-24 2011-08-24 Pedestrian collision warning system and method of vehicle

Publications (1)

Publication Number Publication Date
KR20130021990A true KR20130021990A (en) 2013-03-06

Family

ID=48174755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084597A KR20130021990A (en) 2011-08-24 2011-08-24 Pedestrian collision warning system and method of vehicle

Country Status (1)

Country Link
KR (1) KR20130021990A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101515482B1 (en) * 2013-12-13 2015-04-29 전자부품연구원 Driving assist device according as the risk of obstacles around the vehicle and method thereof
US9349043B2 (en) 2013-11-28 2016-05-24 Hyundai Mobis Co., Ltd. Apparatus and method for detecting pedestrians
WO2016163590A1 (en) * 2015-04-10 2016-10-13 (주)피엘케이 테크놀로지 Vehicle auxiliary device and method based on infrared image
KR20170050362A (en) * 2015-10-30 2017-05-11 엘지전자 주식회사 Driver Assistance Apparatus, Vehicle Having The Same and Vehicle Safety system
CN108263324A (en) * 2016-12-30 2018-07-10 现代自动车株式会社 Pedestrian detection and pedestrian impact preventing mean and method based on pose information
CN110194166A (en) * 2018-02-27 2019-09-03 本田技研工业株式会社 Vehicle control system, control method for vehicle and storage medium
CN112183370A (en) * 2020-09-29 2021-01-05 爱动超越人工智能科技（北京）有限责任公司 Fork truck anti-collision early warning system and method based on AI vision
WO2021049790A1 (en) * 2019-09-09 2021-03-18 주식회사 만도 Driver assistance device, vehicle having same, and control method therefor
CN112990120A (en) * 2021-04-25 2021-06-18 昆明理工大学 Cross-domain pedestrian re-identification method using camera style separation domain information
CN112977320A (en) * 2021-03-18 2021-06-18 中国第一汽车股份有限公司 Pedestrian protection method and pedestrian protection system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349043B2 (en) 2013-11-28 2016-05-24 Hyundai Mobis Co., Ltd. Apparatus and method for detecting pedestrians
KR101515482B1 (en) * 2013-12-13 2015-04-29 전자부품연구원 Driving assist device according as the risk of obstacles around the vehicle and method thereof
WO2016163590A1 (en) * 2015-04-10 2016-10-13 (주)피엘케이 테크놀로지 Vehicle auxiliary device and method based on infrared image
KR20170050362A (en) * 2015-10-30 2017-05-11 엘지전자 주식회사 Driver Assistance Apparatus, Vehicle Having The Same and Vehicle Safety system
US11167736B2 (en) 2016-12-30 2021-11-09 Hyundai Motor Company Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
CN108263324A (en) * 2016-12-30 2018-07-10 现代自动车株式会社 Pedestrian detection and pedestrian impact preventing mean and method based on pose information
CN110194166A (en) * 2018-02-27 2019-09-03 本田技研工业株式会社 Vehicle control system, control method for vehicle and storage medium
CN110194166B (en) * 2018-02-27 2022-06-14 本田技研工业株式会社 Vehicle control system, vehicle control method, and storage medium
WO2021049790A1 (en) * 2019-09-09 2021-03-18 주식회사 만도 Driver assistance device, vehicle having same, and control method therefor
CN112183370A (en) * 2020-09-29 2021-01-05 爱动超越人工智能科技（北京）有限责任公司 Fork truck anti-collision early warning system and method based on AI vision
CN112977320A (en) * 2021-03-18 2021-06-18 中国第一汽车股份有限公司 Pedestrian protection method and pedestrian protection system
CN112990120A (en) * 2021-04-25 2021-06-18 昆明理工大学 Cross-domain pedestrian re-identification method using camera style separation domain information
CN112990120B (en) * 2021-04-25 2022-09-16 昆明理工大学 Cross-domain pedestrian re-identification method using camera style separation domain information

Similar Documents

Publication Publication Date Title
KR20130021990A (en) Pedestrian collision warning system and method of vehicle
CN109532829B (en) Anti-collision control device and method thereof
EP3342661B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
KR101996419B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US8655579B2 (en) Driving assistance device
JP5345350B2 (en) Vehicle driving support device
JP4722777B2 (en) Obstacle recognition judgment device
KR101996417B1 (en) Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
KR101581188B1 (en) Apparatus of warning lane changes
KR20180078974A (en) Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
US20120101711A1 (en) Collision Warning Apparatus
EP3010004B1 (en) Vehicle alarm output apparatus
KR101428236B1 (en) vehicle housekeeping log system and method thereof
KR20160146239A (en) Adaptive cruise control system in a vehicle and method thereof
JP4415856B2 (en) Method for detecting the forward perimeter of a road vehicle by a perimeter sensing system
US20190244515A1 (en) Augmented reality dsrc data visualization
JP2008293099A (en) Driving support device for vehicle
CN107111955B (en) Operation control device
JP3872179B2 (en) Vehicle collision prevention device
JP4876772B2 (en) Interrupting vehicle determination device
JP2013120574A (en) On-vehicle pedestrian alarm device
JP2007241898A (en) Stopping vehicle classifying and detecting device and vehicle peripheral monitoring device
US20180204462A1 (en) Device and method for start assistance for a motor vehicle
AU2011312938B2 (en) Method and system for warning of objects in the vicinity of a motor vehicle
JP2014229101A (en) Vehicular display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application