KR102109114B1 - Apparatus and Method for Recognizing a Pedestrian - Google Patents

Apparatus and Method for Recognizing a Pedestrian Download PDF

Info

Publication number
KR102109114B1
KR102109114B1 KR1020140095729A KR20140095729A KR102109114B1 KR 102109114 B1 KR102109114 B1 KR 102109114B1 KR 1020140095729 A KR1020140095729 A KR 1020140095729A KR 20140095729 A KR20140095729 A KR 20140095729A KR 102109114 B1 KR102109114 B1 KR 102109114B1
Authority
KR
South Korea
Prior art keywords
pedestrian
candidate group
candidate
control module
image data
Prior art date
Application number
KR1020140095729A
Other languages
Korean (ko)
Other versions
KR20160013660A (en
Inventor
최은진
김진학
이완재
이강훈
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140095729A priority Critical patent/KR102109114B1/en
Publication of KR20160013660A publication Critical patent/KR20160013660A/en
Application granted granted Critical
Publication of KR102109114B1 publication Critical patent/KR102109114B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 일정영역의 원적외선 영상데이터를 획득하는 원적외선 카메라, 원적외선 영상데이터에서 보행자 후보군을 검출하고, 보행자 후보군에서 비보행자에 대한 후보군을 제거하며, 비보행자에 대한 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 제어모듈을 포함할 수 있고, 다른 실시 예로도 적용이 가능하다.The present invention detects a pedestrian candidate group from a far-infrared camera, far-infrared image data that acquires far-infrared image data in a certain area, removes a candidate group for non-pedestrians from a pedestrian candidate group, and detects a pedestrian from a pedestrian candidate group from which a candidate group for non-pedestrians is removed It may include a control module for performing, it may be applied to other embodiments.

Description

보행자 인식 장치 및 방법{Apparatus and Method for Recognizing a Pedestrian}Pedestrian Recognition Apparatus and Method for Recognizing a Pedestrian

본 발명의 다양한 실시 예는 보행자 인식 장치 및 방법에 관한 것으로서, 보다 구체적으로 야간 보행자에 대하여 적절한 처리 속도와 신뢰성 있는 인식이 가능한 보행자 인식 장치 및 방법에 관한 것이다. Various embodiments of the present invention relate to a pedestrian recognition device and method, and more particularly, to a pedestrian recognition device and method capable of appropriate processing speed and reliable recognition for a pedestrian at night.

차량 사고 중 사망사고의 대부분은 야간에 전방 보행자를 인식하지 못하여 발생하는 경우가 대부분이다. 특히, 야간 운전의 경우 운전자의 시야가 좁아져 전방 보행자의 존재 유무와 움직임을 예측하지 못하기 때문에 발생할 수 있다. 이러한 문제를 해결하기 위하여 다양한 센서 신호를 수집하고, 이를 기반으로 야간 전방 보행자 인식을 수행하는 방안이 제안된 바 있다. Most of the fatal accidents during vehicle accidents are caused by not recognizing pedestrians at night. In particular, in the case of night driving, it may occur because the driver's field of view is narrowed and the presence and movement of a pedestrian in the front cannot be predicted. In order to solve this problem, it has been proposed to collect various sensor signals and to perform pedestrian recognition at night.

예컨대, 종래 보행자 인식 기술은 보행자와 관련하여 사전에 획득된 DB영상을 기준으로 HOG(Histogram of Oriented Gradients)라는 윤곽선 특징을 추출한 후, 이를 이용하여 보행자인지 비보행자인지를 구분하는 강분류기 SVM(Support Vector Machine) classifier를 사용하는 방식이 있다. 그러나 강분류기를 적용하는 방식은 검출성능을 향상시킬 수는 있으나 다수의 특징들을 비교해야 하기 때문에 검출속도가 저하되는 문제가 발생되고, 이로 인해 필요한 시점에 적절한 정보 게공이 어려운 문제점이 있다. 이를 보완하기 위해 약분류기인 adaboost 기법을 적용할 수 있는데 이 방식을 사용할 경우 처리 속도는 개선될 수 있으나 검출 성능이 필요 이하로 저하되므로 적절한 보행자 인식이 어려운 문제점이 있다. 더욱이 약분류기 방식을 적용할 경우 보행자 인지 성능에 오류가 많아 실용적인 기능 제공이 어려운 실정이다. For example, the conventional pedestrian recognition technology extracts a contour feature called Histogram of Oriented Gradients (HOG) based on a previously acquired DB image related to a pedestrian, and then uses it to distinguish whether it is a pedestrian or a non-pedestrian SVM (Support) There is a way to use Vector Machine) classifier. However, although the method of applying a strong classifier can improve the detection performance, a problem in that the detection speed is lowered because a large number of features need to be compared, thereby making it difficult to provide appropriate information at the required time. To compensate for this, the adaboost technique, which is a weak classifier, can be applied. However, if this method is used, the processing speed may be improved, but since the detection performance is lower than necessary, proper pedestrian recognition is difficult. Moreover, when the weak classifier method is applied, it is difficult to provide practical functions because there are many errors in pedestrian perception performance.

상기와 같이 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예들은 보다 개선된 영상처리 프로세스 속도와 안정적인 보행자 인식이 가능한 보행자 인식 장치 및 방법을 제공하는 것이다. Various embodiments of the present invention for solving the conventional problems as described above is to provide an improved image processing process speed and a pedestrian recognition apparatus and method capable of stable pedestrian recognition.

본 발명의 일 실시 예에 따른 보행자 인식 장치는 일정영역의 원적외선 영상데이터를 획득하는 원적외선 카메라, 상기 원적외선 영상데이터에서 보행자 후보군을 검출하고, 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하며, 비보행자에 대한 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 제어모듈을 포함할 수 있다.Pedestrian recognition apparatus according to an embodiment of the present invention, a far-infrared camera for obtaining a far-infrared image data of a certain area, detects a candidate group of pedestrians from the far-infrared image data, removes the candidate group for non-pedestrians from the pedestrian candidate group, non-pedestrian It may include a control module for performing pedestrian detection in the pedestrian candidate group is removed candidate group for.

또한, 상기 제어모듈은 상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행할 수 있다. Also, the control module may detect the pedestrian candidate group based on temperature information and head information in the far infrared image data.

또한, 상기 제어모듈은 상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하고, 상기 영역의 밝기 값의 합의 차이를 산출하여 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 Haarlike방식을 적용할 수 있다. In addition, the control module may apply a Haarlike method of dividing the far infrared image data into at least one area and calculating a difference in the sum of the brightness values of the area to remove the candidate group for the non-pedestrian from the pedestrian candidate group.

또한, 상기 제어모듈은 상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과, 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식할 수 있다. In addition, the control module divides the area of the candidate candidate group for which the candidate group for the non-pedestrian is removed into a rectangular block that can be changed in size, and configures the 360-degree angle into 9 bins to express the angle, and the current pixel value and Adv_HOG method. Pedestrians may be recognized by applying at least one of the LBP methods to extract a feature of a histogram constructed by applying a patterned value obtained by patterning a change in neighboring pixel values for each block in which a size change is possible in the pedestrian candidate group area.

또한, 상기 제어모듈은 상기 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 최종 보행자를 인식할 수 있다. In addition, the control module may recognize the final pedestrian by applying a corner method that detects the number of corners in the area of the pedestrian candidate group recognized by applying at least one of the Adv_HOG method and the LBP method.

아울러, 본 발명에 따른 보행자 인식 방법은 일정영역의 원적외선 영상데이터를 획득하는 단계, 상기 원적외선 영상데이터에서 보행자 후보군을 검출하는 단계, 상기 검출된 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계, 상기 비보행자 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 단계를 포함할 수 있다. In addition, the pedestrian recognition method according to the present invention comprises the steps of obtaining far-infrared image data in a certain area, detecting a pedestrian candidate group from the far-infrared image data, removing candidate groups for non-pedestrians from the detected pedestrian candidate group, the And performing pedestrian detection in the pedestrian candidate group in which the non-pedestrian candidate group is removed.

또한, 상기 보행자 후보군을 검출하는 단계는 상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군을 검출하는 단계일 수 있다. In addition, the step of detecting the candidate candidate group may be a step of detecting the candidate candidate group based on temperature information and head information in the far infrared image data.

또한, 상기 비보행자에 대한 후보군을 제거하는 단계는 Haarlike 방식을 적용하여 상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하는 단계, 상기 영역의 밝기 값의 합의 차이를 산출하는 단계, 상기 산출 값을 기반으로 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계일 수 있다. In addition, the step of removing the candidate group for the non-pedestrian is to apply the Haarlike method to divide the far-infrared image data into at least one area, calculating a difference in sum of brightness values of the area, and based on the calculated value As a result, it may be a step of removing candidate groups for non-pedestrians from the pedestrian candidate groups.

또한, 상기 보행자 검출을 수행하는 단계 이후에 상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과, 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식하는 단계를 더 포함할 수 있다. In addition, after the step of performing the pedestrian detection, the area of the candidate candidate group for which the candidate group for the non-pedestrian is removed is divided into rectangular blocks capable of size change, and the 360-degree angle is composed of 9 bins to express the angle. , Applying at least one of the LBP method to extract the characteristics of the histogram configured by applying the patterned value patterning the change of the current pixel value and the neighboring pixel value to each block in which the size of the pedestrian candidate group can be changed. It may further include the step of recognizing.

또한, 상기 보행자를 인식하는 단계 이후에 상기 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 보행자를 최종 인식하는 단계를 더 포함할 수 있다. In addition, after the step of recognizing the pedestrian, further comprising the step of finally recognizing the pedestrian by applying a corner method for detecting the number of corners in the area of the recognized candidate group by applying at least one of the Adv_HOG method and the LBP method can do.

상술한 바와 같이 본 발명은 보다 개선된 영상처리 속도와 안정적인 보행자 특징 검출을 통하여 보행자 인식이 적절한 시점에 신뢰성 있게 검출될 수 있도록 지원한다. 이에 따라, 본 발명은 운전자 및 보행자의 안전을 도모할 수 있다.As described above, the present invention supports pedestrian recognition to be reliably detected at an appropriate time point through improved image processing speed and stable pedestrian feature detection. Accordingly, the present invention can promote the safety of drivers and pedestrians.

도 1은 본 발명의 실시 예에 따른 보행자 인식 장치의 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 보행자 인식 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 보행자 인식 장치 중 제어모듈 구성을 보다 상세히 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 보행자 인식 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 보행자 후보군 선정 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 보행자 특징 검출 중 Haarlike 방식을 설명하기 위한 도면이다.
도 7은 본 발명의 보행자 특징 검출 중 Adv_HOG 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 보행자 특징 검출 중 LBP 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 보행자 특징 검출 중 코너 검출 방식을 설명하기 위한 도면이다.
도 10은 본 발명의 보행자 인식 결과에 따라 경고 알림을 설명하기 위한 도면이다. 1 is a block diagram schematically showing the configuration of a pedestrian recognition device according to an embodiment of the present invention.
2 is a view for explaining the pedestrian recognition process of the present invention.
3 is a block diagram showing the configuration of a control module in a pedestrian recognition apparatus according to an embodiment of the present invention in more detail.
4 is a flowchart illustrating a pedestrian recognition method according to an embodiment of the present invention.
5 is a view for explaining a pedestrian candidate group selection method of the present invention.
6 is a view for explaining a Haarlike method of detecting pedestrian features of the present invention.
7 is a view for explaining the Adv_HOG method during the detection of pedestrian features of the present invention.
8 is a view for explaining the LBP method during the detection of pedestrian features of the present invention.
9 is a view for explaining a corner detection method during pedestrian feature detection of the present invention.
10 is a view for explaining a warning notification according to the pedestrian recognition result of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
Hereinafter, various embodiments of the present invention will be described in connection with the accompanying drawings. Various embodiments of the present invention may have various modifications and various embodiments, and specific embodiments are illustrated in the drawings and related detailed descriptions are described. However, this is not intended to limit the various embodiments of the present invention to specific embodiments, and should be understood to include all modifications and / or equivalents or substitutes included in the spirit and scope of the various embodiments of the present invention. In connection with the description of the drawings, similar reference numerals have been used for similar elements.

도 1은 본 발명의 실시 예에 따른 보행자 인식 장치의 구성을 개략적으로 나타낸 블록도이다. 도 2는 본 발명의 보행자 인식 과정을 설명하기 위한 도면이다. 1 is a block diagram schematically showing the configuration of a pedestrian recognition device according to an embodiment of the present invention. 2 is a view for explaining the pedestrian recognition process of the present invention.

도 1을 참조하면, 본 발명에 따른 보행자 인식 장치(100)는 원적외선 카메라(110), 정보출력장치(120) 및 제어모듈(130)의 구성을 포함할 수 있다. 보행자 인식 장치(100)가 차량인 경우 정보출력장치(120)는 AVN(Audio/Video/Navigation), 클러스터 등의 구성이 될 수 있다.Referring to FIG. 1, the pedestrian recognition device 100 according to the present invention may include a configuration of a far infrared camera 110, an information output device 120, and a control module 130. When the pedestrian recognition device 100 is a vehicle, the information output device 120 may be configured as an audio / video / navigation (AVN), cluster, or the like.

이와 같은 구성을 포함하는 보행자 인식 장치(100)는 원적외선 카메라(110)가 수집한 원적외선 영상 신호를 영상데이터로 변환하여 제어모듈(130)이 처리하되, 보행자 인식을 위하여 도 2에 도시된 바와 같은 과정을 포함할 수 있다. 보행자 인식 장치(100)는 영상 입력 과정, 관심 영역 설정 과정, 후보 추출 과정, 보행자 검출 과정, 보행자 추적 과정 및 결과 영상 출력 과정을 포함할 수 있다. The pedestrian recognition apparatus 100 including such a configuration converts the far infrared image signal collected by the far infrared camera 110 into image data and is processed by the control module 130, as shown in FIG. 2 for pedestrian recognition. Process. The pedestrian recognition apparatus 100 may include an image input process, a region of interest setting process, a candidate extraction process, a pedestrian detection process, a pedestrian tracking process, and a result image output process.

원적외선 카메라(110)는 보행자 인식 장치(100)의 영상 입력 과정을 지원하는 구성일 수 있다. 원적외선 카메라(110)는 제어모듈(130)의 제어에 따라, 일정 방향 예컨대, 차량의 전방 일정 각도 범위 이내의 주변 환경에 대한 원적외선 영상을 수집할 수 있다. 이를 위해, 원적외선 카메라(110)는 차량 지붕이나 차량 본넷의 일정 위치에 배치될 수 있다. 원적외선 카메라(110)는 실시간 또는 일정 주기 단위로 원적외선 영상데이터를 획득할 수 있다. 원적외선 카메라(110)가 수집한 원적외선 영상데이터를 제어모듈(130)에 전달될 수 있다. The far infrared camera 110 may be configured to support the image input process of the pedestrian recognition device 100. The far-infrared camera 110 may collect a far-infrared image of a surrounding environment within a predetermined direction, for example, a predetermined angle range in front of the vehicle, under the control of the control module 130. To this end, the far-infrared camera 110 may be disposed at a certain position of the vehicle roof or vehicle bonnet. The far-infrared camera 110 may acquire far-infrared image data in real time or in a periodic unit. The far infrared image data collected by the far infrared camera 110 may be transmitted to the control module 130.

정보출력장치(120)는 제어모듈(130)의 제어에 따라 보행자 인식 결과를 출력하는 장치일 수 있다. 이러한 정보출력장치(120)는 차량에 배치된 적어도 하나의 오디오 장치, 비디오 장치 중 적어도 하나를 포함할 수 있다. 또한, 정보출력장치(120)는 AVN 또는 클러스터 장치를 포함할 수 있다. 이에 따라, 보행자 인식 결과는 오디오 신호 및 텍스트나 이미지 또는 램프 점멸 등의 형태로 출력될 수 있다. 이를 위해, 정보출력장치(120)는 보행자 인식 결과에 따라 출력된 사전 정의된 안내 메시지 및 안내 패턴 정보를 포함할 수 있다. 상기 안내 메시지 및 안내 패턴 정보 저장을 위해 정보출력장치(120)는 메모리 장치를 더 포함할 수 있다. 예컨대, 정보출력장치(120)는 보행자 인식 결과에 따라 전방에 위치하는 보행자 수, 보행자와 자차 간의 거리, 보행자와 자차 간의 거리에 따른 경보 메시지 등을 출력할 수 있다. 보행자 수, 보행자와 자차 간의 거리, 경보 메시지 등은 앞서 언급한 바와 같이 사전 정의된 일정 형태의 안내음이나 안내 텍스트 또는 안내 이미지, 램프 패턴 등 다양한 형태로 출력될 수 있다. 추가로, 정보출력장치(120) 중 비디오 장치는 원적외선 영상데이터에서의 보행자 인식 결과를 그대로 보여줄 수도 있다. The information output device 120 may be a device that outputs a pedestrian recognition result under the control of the control module 130. The information output device 120 may include at least one of at least one audio device and a video device disposed in a vehicle. Also, the information output device 120 may include an AVN or a cluster device. Accordingly, the pedestrian recognition result may be output in the form of an audio signal and text or image or lamp flashing. To this end, the information output device 120 may include predefined guide message and guide pattern information output according to the pedestrian recognition result. The information output device 120 may further include a memory device to store the guide message and guide pattern information. For example, the information output device 120 may output the number of pedestrians located in front, the distance between the pedestrians and the host vehicle, and an alarm message according to the distance between the pedestrians and the host vehicle according to the pedestrian recognition result. As described above, the number of pedestrians, the distance between the pedestrians and the own vehicle, and an alarm message may be output in various forms, such as a predefined guide sound, guide text or guide image, and lamp pattern. In addition, the video device among the information output devices 120 may show the result of pedestrian recognition in the far infrared image data.

제어모듈(130)은 본 발명의 보행자 인식 기능 지원을 위한 장치 제어와, 신호 처리 및 데이터 처리와 전달 및 출력 등의 제어를 수행할 수 있다. 예컨대, 제어모듈(130)은 보행자 인식 모드 설정을 위한 입력 신호의 수신, 원적외선 카메라(110)의 활성화 및 원적외선 영상 수집 제어, 원적외선 영상데이터에서의 보행자 인식, 보행자 인식 결과의 출력을 제어할 수 있다. 이 과정에서 제어모듈(130)은 도 2에 도시된 바와 같이 영상 입력 과정, 관심 영역 설정 과정, 후보 추출 과정, 보행자 검출 과정, 보행자 추적 과정 및 결과 영상 출력 과정의 수행을 제어할 수 있다. 영상 입력 과정 수행을 위하여 제어모듈(130)은 원적외선 카메라(110)의 활성화를 제어하고, 원적외선 영상데이터를 실시간 또는 일정 주기로 획득할 수 있도록 제어할 수 있다. 관심 영역 설정 과정에서 제어모듈(130)은 획득된 원적외선 영상데이터에 사전 정의된 일정 영역을 관심 영역으로 설정하거나 또는 필터링 등을 수행하여 획득된 원적외선 영상데이터에서의 객체 검출을 개략적으로 수행하여 관심 영역을 설정할 수 있다. 관심 영역이 설정되면, 후보 추출 과정에서 제어모듈(130)은 관심 영역 내에서 보행자 인식을 위한 후보 영역을 선정할 수 있다. 후보 영역이 선정되면, 제어모듈(130)은 후보 영역들 중에 실제로 보행 중인 객체에 대한 검출을 보행자 검출 과정에서 수행할 수 있다. 이후 제어모듈(130)은 보행자 추적 과정에서 보행 중인 객체에 대한 추적을 수행하고, 그 결과를 결과 영상 과정에서 출력할 수 있도록 제어할 수 있다. 이를 위해 제어모듈(130)은 도 3에 도시된 바와 같은 구성을 포함할 수 있다. The control module 130 may perform device control for supporting the pedestrian recognition function of the present invention, signal processing, data processing, and control such as transmission and output. For example, the control module 130 may control the reception of an input signal for setting a pedestrian recognition mode, activation of the far infrared camera 110 and control of far infrared image collection, pedestrian recognition in far infrared image data, and output of a pedestrian recognition result. . In this process, the control module 130 may control the execution of an image input process, a region of interest setting process, a candidate extraction process, a pedestrian detection process, a pedestrian tracking process, and a result image output process, as shown in FIG. 2. In order to perform the image input process, the control module 130 may control the activation of the far infrared camera 110 and control the far infrared image data to be acquired in real time or at a predetermined cycle. In the process of setting a region of interest, the control module 130 sets a predefined region as the region of interest in the acquired far-infrared image data, or performs filtering or the like to roughly perform object detection in the far-infrared image data to obtain a region of interest You can set When the region of interest is set, in the candidate extraction process, the control module 130 may select a candidate region for pedestrian recognition within the region of interest. When a candidate area is selected, the control module 130 may perform detection of an object actually walking among the candidate areas in a pedestrian detection process. Thereafter, the control module 130 may control to track the object being walked in the pedestrian tracking process and output the result in the result image process. To this end, the control module 130 may include a configuration as shown in FIG. 3.

추가적으로, 보행자 인식 장치(100) 또는 이를 포함하는 차량은 보행자 인식 모드 설정 또는 모드 진입을 위하여 입력 장치를 포함할 수 있다. 입력 장치는 적어도 하나의 키 버튼이나 터치 키 등 다양한 입력 수단을 포함할 수 있다.
Additionally, the pedestrian recognition device 100 or a vehicle including the same may include an input device for setting a pedestrian recognition mode or entering a mode. The input device may include various input means such as at least one key button or touch key.

도 3은 본 발명의 실시 예에 따른 보행자 인식 장치 중 제어모듈 구성을 보다 상세히 나타낸 블록도이다. 도 3을 참조하면, 본 발명의 제어모듈(130)은 영상수집부(131), 후보추출부(132), 보행자인식부(133) 및 정보출력제어부(134)를 포함할 수 있다. 3 is a block diagram showing the configuration of a control module in a pedestrian recognition apparatus according to an embodiment of the present invention in more detail. Referring to FIG. 3, the control module 130 of the present invention may include an image collection unit 131, a candidate extraction unit 132, a pedestrian recognition unit 133, and an information output control unit 134.

도 1 및 도 3을 참조하면, 영상수집부(131)는 보행자 인식 모드 설정이 있거나 보행자 인식 기능 실행을 요청하는 입력 신호가 발생하면, 원적외선 카메라(110)의 활성화를 제어할 수 있다. 영상수집부(131)는 원적외선 카메라(110)가 획득되는 원적외선 영상데이터를 후보추출부(132)로 전달할 수 있다. Referring to FIGS. 1 and 3, the image collection unit 131 may control activation of the far infrared camera 110 when there is a pedestrian recognition mode setting or an input signal requesting the pedestrian recognition function is executed. The image collection unit 131 may transmit the far infrared image data obtained by the far infrared camera 110 to the candidate extraction unit 132.

후보추출부(132)는 원적외선 카메라(110)에서 수집된 원적외선 영상데이터에 대한 필터링과 객체 추출 과정을 수행하여 보행자 영역에 대한 후보 영역을 추출할 수 있다. 이를 위해, 후보추출부(132)는 원적외선 영상데이터에 대한 관심영역을 설정을 수행할 수 있다. 이때, 후보추출부(132)는 획득된 원적외선 영상데이터의 일정 범위 예컨대, 차량 진입 과정에서 실질적으로 사고 위험이 발생할 수 있는 영역으로서 사전 정의된 일정 영역을 관심 영역으로 설정할 수 있다. 후보추출부(132)는 획득된 원적외선 영상데이터에 대한 대략적인 필터링을 수행한 후, 일정 객체들이 배치된 영역을 관심 영역으로 설정할 수 있다. 후보추출부(132)는 설정된 관심 영역 내에서만 필터링을 수행하여 일정 객체들이 배치되어 있는지 확인할 수 있다. 그리고 후보추출부(132)는 일정 크기 이상의 객체들이 검출되면, 해당 객체들을 후보 영역들로 설정할 수 있다. 후보추출부(132)는 추출된 후보 영역들에 대한 정보를 보행자인식부(133)에 전달할 수 있다. The candidate extracting unit 132 may extract the candidate region for the pedestrian area by performing filtering and object extraction processes on the far infrared image data collected by the far infrared camera 110. To this end, the candidate extracting unit 132 may set a region of interest for far infrared image data. At this time, the candidate extracting unit 132 may set a predetermined range as a region of interest as a predetermined range of the acquired far infrared image data, for example, an area in which an accident risk may occur substantially in a vehicle entry process. The candidate extracting unit 132 may perform rough filtering on the acquired far infrared image data, and then set a region in which certain objects are disposed as a region of interest. The candidate extracting unit 132 may check whether certain objects are arranged by performing filtering only within the set region of interest. In addition, when objects having a predetermined size or more are detected, the candidate extracting unit 132 may set the objects as candidate areas. The candidate extracting unit 132 may transmit information about the extracted candidate areas to the pedestrian recognition unit 133.

보행자인식부(133)는 후보추출부(132)가 전달한 후보 영역들에 대한 보행자 검출을 수행할 수 있다. 이를 위해, 보행자인식부(133)는 사전 저장된 보행자 인식을 위한 데이터베이스에서 보행자 특징을 검출하고, 이 특징들과 현재 전달된 후보 영역들과의 비교를 수행할 수 있다. 보행자인식부(133)는 후보 영역들 중에서 보행자 특징을 포함하는 영역들을 보행자 영역으로 설정할 수 있다. 보행자 영역 설정 후에 보행자인식부(133)는 설정된 보행자 영역에 대한 추적을 수행할 수 있다. 보행자 추적 과정에서 보행자인식부(133)는 보행자와 자차와의 거리 등에 대한 정보를 산출하고 이를 정보출력제어부(134)에 전달할 수 있다. The pedestrian recognition unit 133 may perform pedestrian detection on candidate areas transmitted by the candidate extraction unit 132. To this end, the pedestrian recognition unit 133 may detect a pedestrian feature in a database for pre-stored pedestrian recognition, and perform comparison between these features and currently transmitted candidate areas. The pedestrian recognition unit 133 may set areas including pedestrian characteristics among candidate areas as a pedestrian area. After setting the pedestrian area, the pedestrian recognition unit 133 may track the set pedestrian area. In the pedestrian tracking process, the pedestrian recognition unit 133 may calculate information on the distance between the pedestrian and the host vehicle, and transmit the information to the information output control unit 134.

정보출력제어부(134)는 보행자인식부(133)에서 추적 중인 특정 보행자 영역들에 대한 정보 중 적어도 일부를 정보출력장치(120)를 통해 출력하도록 제어할 수 있다. 예컨대, 정보출력제어부(134)는 보행자 영역 중 자차와의 거리가 일정 거리 이내인 보행자 영역에 대한 경보 메시지를 정보출력장치(120)를 통하여 출력하도록 제어할 수 있다. 정보출력제어부(134)은 인식된 전체 보행자 영역에 대한 정보를 영상데이터 메시지 등으로 비디오 신호로서 정보출력장치(120)에 출력하도록 제어할 수 있다. The information output control unit 134 may control to output at least a part of information on specific pedestrian areas being tracked by the pedestrian recognition unit 133 through the information output device 120. For example, the information output control unit 134 may control to output an alarm message for the pedestrian area within a predetermined distance from the own vehicle among the pedestrian areas through the information output device 120. The information output control unit 134 may control to output information about the entire pedestrian area as a video signal to the information output device 120 as a video data message.

추가로, 보행자 인식 장치(100)를 포함하는 차량은 차속 제어 장치를 더 포함할 수 있다. 차량은 인식된 보행자와 자차와의 거리가 일정 거리 이내인 경우 차속을 자동으로 저감하도록 할 수 있다. 또한, 보행자 인식 장치(100)를 포함하는 차량은 정보출력장치(120)로서 보행자가 인식할 수 있는 경보음 출력이 가능한 경보음 출력 장치를 더 포함할 수 있다. 차량은 보행자와 자차와의 거리가 일정 거리 이내인 경우 자동으로 경보음을 출력할 수 있다. 한편, 보행자 인식 장치(100)는 타이머, 조도 센서, 온도 센서 중 적어도 하나를 더 포함할 수 있다. 그리고 조도 센서 및 온도 센서가 수집하는 조도 센싱정보 및 온도 센싱정보를 바탕으로 보행자 인식 장치(100)는 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 예컨대, 보행자 인식 장치(100)는 타이머에서 설정된 특정 시간이 도래한 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 보행자 인식 장치(100)는 차량 외부 환경이 일정 조도 이하인 경우 예컨대, 외부 환경이 밤이거나 차량이 터널 또는 주차장 등에서 운행 중인 경우에 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 보행자 인식 장치(100)는 차량 외부 온도가 일정 온도 이하인 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 이에 따라, 본 발명의 보행자 인식 기능은 야간 시간 설정이나 야간 환경 등의 검출에 따라 야간 보행자 인식을 위한 특화된 기능으로서 지원될 수도 있을 것이다.
Additionally, a vehicle including the pedestrian recognition device 100 may further include a vehicle speed control device. The vehicle may automatically reduce the vehicle speed when the recognized distance between the pedestrian and the host vehicle is within a certain distance. In addition, the vehicle including the pedestrian recognition device 100 may further include an alarm sound output device capable of outputting an alarm sound that can be recognized by a pedestrian as the information output device 120. The vehicle may automatically output an alarm sound when the distance between the pedestrian and the host vehicle is within a certain distance. Meanwhile, the pedestrian recognition device 100 may further include at least one of a timer, an illuminance sensor, and a temperature sensor. In addition, the pedestrian recognition apparatus 100 may control to automatically perform the pedestrian recognition mode based on the illumination sensing information and the temperature sensing information collected by the illumination sensor and the temperature sensor. For example, the pedestrian recognition apparatus 100 may control to automatically perform the pedestrian recognition mode when a specific time set in the timer arrives. The pedestrian recognition apparatus 100 may control to automatically perform the pedestrian recognition mode when the external environment of the vehicle is less than a certain illuminance, for example, when the external environment is night or when the vehicle is operating in a tunnel or a parking lot. The pedestrian recognition apparatus 100 may control to automatically perform the pedestrian recognition mode when the outside temperature of the vehicle is below a certain temperature. Accordingly, the pedestrian recognition function of the present invention may be supported as a specialized function for night pedestrian recognition according to detection of a night time setting or night environment.

도 4는 본 발명의 실시 예에 따른 보행자 인식 방법을 설명하기 위한 순서도이다. 도 5는 본 발명의 보행자 후보군 선정 방식을 설명하기 위한 도면이다. 도 6은 본 발명의 보행자 특징 검출 중 Haarlike 방식을 설명하기 위한 도면이다. 도 7은 본 발명의 보행자 특징 검출 중 Adv_HOG 방식을 설명하기 위한 도면이다. 도 8은 본 발명의 보행자 특징 검출 중 LBP 방식을 설명하기 위한 도면이다. 도 9는 본 발명의 보행자 특징 검출 중 코너 검출 방식을 설명하기 위한 도면이다. 도 10은 본 발명의 보행자 인식 결과에 따라 경고 알림을 설명하기 위한 도면이다.4 is a flowchart illustrating a pedestrian recognition method according to an embodiment of the present invention. 5 is a view for explaining a pedestrian candidate group selection method of the present invention. 6 is a view for explaining a Haarlike method of detecting pedestrian features of the present invention. 7 is a view for explaining the Adv_HOG method during the detection of pedestrian features of the present invention. 8 is a view for explaining the LBP method during the detection of pedestrian features of the present invention. 9 is a view for explaining a corner detection method during pedestrian feature detection of the present invention. 10 is a view for explaining a warning notification according to the pedestrian recognition result of the present invention.

먼저, 도 4를 참조하면, 본 발명의 보행자 인식 방법은 제어모듈(130)이 11단계에서 보행자 추적 모드 상태인지 여부를 확인할 수 있다. 11단계에서 제어모듈(130)은 보행자 추적 모드 상태가 아닌 경우 27단계로 진행하여 사용자 조작에 따른 해당 기능 수행을 지원할 수 있다. 예컨대, 제어모듈(130)은 보행자 인식 장치(100)에 포함된 정보출력장치(120)를 기반으로 사용자 조작에 따라 방송 서비스 출력 기능을 수행하거나 음악 재생 기능을 수행하도록 제어할 수 있다. First, referring to FIG. 4, in the pedestrian recognition method of the present invention, it may be determined whether the control module 130 is in a pedestrian tracking mode in step 11. In step 11, if the control module 130 is not in a pedestrian tracking mode, the control proceeds to step 27 to support the corresponding function according to user manipulation. For example, the control module 130 may control to perform a broadcast service output function or perform a music playback function according to a user manipulation based on the information output device 120 included in the pedestrian recognition device 100.

11단계는 앞서 언급한 바와 같이 본 발명의 보행자 인식 기능을 위한 설정을 확인하는 단계일 수 있다. 즉, 야간 운행 중에만 보행자 인식 모드가 실행되도록 설정된 경우, 보행자 인식 장치(100) 또는 이를 포함하는 차량은 타이머나 조도 센서, 온도 센서 등을 포함하고, 사전 설정된 시간이 도래하거나, 사전 정의된 일정 조도 이하의 상황, 사전 정의된 일정 온도 이하의 상황이 발생하면 보행자 인식 모드 진입으로 판단할 수 있다. Step 11 may be a step of confirming the setting for the pedestrian recognition function of the present invention as mentioned above. That is, when the pedestrian recognition mode is set to be executed only during night driving, the pedestrian recognition device 100 or a vehicle including the same includes a timer, an illuminance sensor, a temperature sensor, etc., and a predetermined time arrives or a predefined schedule When a situation below the illuminance or a predetermined temperature below occurs, it may be determined to enter the pedestrian recognition mode.

한편, 11단계에서 보행자 인식 모드 진입 설정이 있거나 이를 위한 입력 이벤트 발생이 있으면, 제어모듈(130)은 13단계에서 원적외선 영상데이터 수집을 제어할 수 있다. 이를 위해, 제어모듈(130)은 원적외선 카메라(110)의 활성화를 수행하고 실시간 또는 일정 주기로 동작하도록 제어할 수 있다. On the other hand, if there is a pedestrian recognition mode entry setting in step 11 or an input event occurs for this, the control module 130 may control the collection of far infrared image data in step 13. To this end, the control module 130 may perform the activation of the far-infrared camera 110 and control it to operate in real time or at regular intervals.

15단계에서 제어모듈(130)은 보행자 후보군 검출을 수행할 수 있다. 보행자 후보군 검출은 도 5에 도시된 바와 같이, 원적외선 영상데이터에서의 객체 온도 및 보행자의 머리 영역 기반으로 수행될 수 있다. 즉, 제어모듈(130)은 원적외선 영상데이터에서 보행자가 존재하는 온도 영역을 표현하는 영상 구축을 수행할 수 있다. 제어모듈(130)은 머리영역 기반 보행자 후보군 검출을 위하여, 수직 및 수평 필터를 적용하고, 그에 따른 결과로서 보행자의 머리영역 검출을 수행할 수 있다. 그리고 제어모듈(130)은 검출된 결과를 통해 지면까지의 거리를 예측하여 보행자의 키 예측을 수행할 수 있다. 제어모듈(130)은 보행자의 키를 통해 보행자의 어깨선을 추출하여 전체적인 보행자 후보군 검출을 수행할 수 있다. In step 15, the control module 130 may detect a candidate candidate group. Pedestrian candidate group detection may be performed based on the object temperature and the head region of the pedestrian in the far infrared image data, as illustrated in FIG. 5. That is, the control module 130 may perform an image construction expressing a temperature region where a pedestrian is present in far infrared image data. The control module 130 may apply a vertical and horizontal filter to detect a candidate group based on the head region, and perform head region detection of the pedestrian as a result. In addition, the control module 130 may predict the distance to the ground through the detected result and perform key prediction of the pedestrian. The control module 130 may extract the shoulder line of the pedestrian through the key of the pedestrian and perform overall pedestrian candidate group detection.

보행자 후보군 검출이 완료되면 제어모듈(130)은 17단계로 진행하여 원적외선 영상데이터에 존재하는 보행자를 인식할 수 있다. 제어모듈(130)은 15단계에서 추출된 보행자 후보군에서 비보행자 후보군을 검출하여, 검출된 비보행자 후보군을 제거할 수 있다. 이때, 제어모듈(130)은 도 6과 같이 Haarlike 방식을 보행자 후보군에 적용하여 빠른 속도로 후보군의 수를 줄일 수 있다. 제어모듈(130)은 Haarlike 방식을 보행자 후보군에 적용하여, 보행자 후보군을 포함하는 원본영상을 LBP(Local Binary Patterns)코드 영상으로 변환하고, 변환된 LBP코드 영상에서 강인한 특징을 갖는 영역을 추출할 수 있다. 이때, 강인한 특징은 Haarlike 방식을 적용하여 복수개의 영역으로 분할된 LBP코드 영상에서 밝기 값이 가장 큰 적어도 하나의 영역이 갖는 밝기 값을 의미할 수 있다. 제어모듈(130)은 Haarlike 방식에 적용하여 보행자 후보군에서 비보행자 후보군을 제거하는 동안 약분류기인 Adaboost를 통해 특징 중 특성이 높은 상위 특징들을 추출하여 보행자 검출에 사용할 수 있다. When detection of the pedestrian candidate group is completed, the control module 130 proceeds to step 17 to recognize a pedestrian existing in the far infrared image data. The control module 130 may detect the non-pedestrian candidate group from the pedestrian candidate group extracted in step 15 and remove the detected non-pedestrian candidate group. At this time, the control module 130 may reduce the number of candidate groups at a high speed by applying the Haarlike method to the candidate candidate groups as shown in FIG. 6. The control module 130 applies the Haarlike method to the candidate candidate group, converts the original image including the candidate candidate group into an LBP (Local Binary Patterns) code image, and extracts a region having robust characteristics from the converted LBP code image. have. In this case, the robust feature may mean a brightness value of at least one region having the largest brightness value in the LBP code image divided into a plurality of regions by applying the Haarlike method. The control module 130 may be applied to a Haarlike method to extract upper features with higher characteristics among the features through the weak classifier Adaboost while removing the non-pedestrian candidates from the pedestrian candidate group and use it for pedestrian detection.

제어모듈(130)은 Haarlike 방식을 통해 특징을 추출한 이후에 도 7의 Adv_HOG 방식 및 도 8의 LBP 코드 적용 방식 중 적어도 하나의 방식을 이용하여 보행자 후보군에서 보행자의 특징을 추출할 수 있다. 제어모듈(130)은 Adv_HOG 방식 및 LBP 방식을 적용하기 이전에 haarlike 방식을 적용하여 비보행자가 확실한 후보군을 먼저 제거함으로써 Haarlike 방식에 비해 검출속도 느린 Adv_HOG 및 LBP 방식 적용 시에 특징을 추출하고자 하는 후보군의 수를 감소시켜 검출능력 향상 및 속도 향상을 제공할 수 있다. 이때, 제어모듈(130)은 원거리에 위치하는 보행자의 특징을 추출하는 동안 전신으로 보행자를 구분할 수 있도록 하나의 Adaboost를 적용할 수 있다. 반대로, 제어모듈(130)은 근거리에 위치하는 보행자의 특징을 추출하는 동안 전신으로 보행자를 구분하고, 상반신으로 보행자를 구분하여 보다 구체적으로 보행자를 구분할 수 있도록 복수개의 Adaboost를 적용할 수 있다. After extracting the features through the Haarlike method, the control module 130 may extract the features of the pedestrian from the candidate candidate group using at least one of the Adv_HOG method of FIG. 7 and the LBP code application method of FIG. 8. The control module 130 applies a haarlike method before applying the Adv_HOG method and the LBP method to remove the candidate group with a certain number of non-pedestrians first, so that the candidate group to extract characteristics when applying the Adv_HOG and LBP method with a slower detection rate than the Haarlike method By reducing the number of, it is possible to provide an improvement in detection capability and an increase in speed. At this time, the control module 130 may apply a single adaboost to distinguish the pedestrian by the whole body while extracting the characteristics of the pedestrian located at a long distance. Conversely, the control module 130 may apply a plurality of Adaboost to classify pedestrians by the whole body while classifying pedestrians by the upper body while more specifically distinguishing the pedestrians by extracting the characteristics of the pedestrians located at a short distance.

HOG (Histogram of Gradients) 방식은 영상의 일정 block영역 내 윤곽선(Gradients) 각도에 따라 Histogram을 구성하여 크기를 정규화한 특징을 추출한다. 기존에는 16*16(w*h, 단위: pixels)Block 영역 내에서 gradients 값 추출하고 0~180도를 9개 bin으로 구성해서 각도 표현을 한다. 이에 반하여, 본 발명의 Adv_HOG (advanced Histogram of Gradients) 방식은 도 7에 도시된 바와 같이 정사각형(8*8) 외에도 block의 직사각형 및 크기 변화 유도를 지원하며, 원적외선 영상에 용이하게 변경 가능하도록 0~360도를 9개 bin으로 구성해서 각도 표현을 수행한다.The HOG (Histogram of Gradients) method extracts features that normalize the size by constructing a histogram according to the angles of gradients in a certain block region of the image. Conventionally, gradients are extracted within a block of 16 * 16 (w * h, units: pixels), and angles are expressed by constructing 0 to 180 degrees with 9 bins. On the other hand, the Adv_HOG (Advanced Histogram of Gradients) method of the present invention supports induction of rectangular and size changes of blocks in addition to a square (8 * 8) as shown in FIG. 7, and can be easily changed to far infrared images. It is composed of nine bins of 360 degrees to perform angular expression.

한편, 도 8에서 설명하는 LBP (Local Binary Patterns) 방식은 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 값을 산출하고 적용하는 방식으로, 패턴화한 값을 단순히 적용하는 것이 아니라 각 block 마다 히스토그램을 구성하여 특징을 정규화하여 추출하는 방식이다. 여기서, block의 크기는 Adv_HOG 방식에서와 동일하게 기존의 정사각형 고정형태의 크기가 아니라 가변적으로 정사각형, 직사각형 등 크기의 다양화를 적용하여, 본 발명은 보다 강인한 특징 추출을 수행할 수 있도록 지원한다.On the other hand, the LBP (Local Binary Patterns) method described in FIG. 8 is a method of calculating and applying a patterned value of a change in a current pixel value and a neighboring pixel value, and not simply applying the patterned value, but for each block. This is a method of normalizing and extracting features by constructing a histogram. Here, the size of the block is not the size of an existing square fixed form as in the Adv_HOG method, but a variety of sizes such as a square and a rectangle are variably applied, so that the present invention supports more robust feature extraction.

제어모듈(130)은 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 통해 추출된 보행자 후보군에서 도 9와 같이 코너 수를 검출하는 코너 방식을 적용할 수 있다. 코너 방식을 적용하면 보행자의 경우 윤곽선이 분명하기 때문에 머리와 몸의 다리 또는 손에 코너가 검출됨을 확인할 수 있다. 제어모듈(130)은 Haarlike 방식, Adv_HOG방식, LBP방식을 적용하여 검출된 보행자 후보군에 최종적으로 코너 방식을 적용하여 보행자를 최종적으로 인식할 수 있다. The control module 130 may apply a corner method for detecting the number of corners in the pedestrian candidate group extracted through at least one of the Adv_HOG method and the LBP method, as shown in FIG. 9. When the corner method is applied, it is possible to confirm that the corner is detected in the legs or hands of the head and body because the outline of the pedestrian is clear. The control module 130 may finally recognize the pedestrian by applying the corner method to the detected pedestrian candidate group by applying the Haarlike method, Adv_HOG method, and LBP method.

보행자의 인식이 완료되면 19단계에서 제어모듈(130)은 보행자의 추적을 수행할 수 있다. 보행자 추적에는 Kalman Filter를 적용할 수 있다. 이 과정에서 제어모듈(130)은 보행자 검출 결과를 통해 보행자의 위치, 속도, 특징 등의 파라미터를 적용하여 linear-kalman filter를 통해서 보행자의 움직임을 추적할 수 있다. 제어모듈(130)은 상술한 필터 적용을 통해 보행자의 움직임 예측을 수행하고, 그에 따른 미검출 또는 오검출 영역 제거를 수행할 수 있다. When recognition of the pedestrian is completed, in step 19, the control module 130 may perform tracking of the pedestrian. Kalman Filter can be applied to pedestrian tracking. In this process, the control module 130 may track the movement of the pedestrian through the linear-kalman filter by applying parameters such as the location, speed, and characteristics of the pedestrian through the result of the pedestrian detection. The control module 130 may perform pedestrian motion prediction through application of the above-described filter and remove undetected or erroneous detection areas accordingly.

21단계에서 제어모듈(130)은 정보 및 경보 출력 중 적어도 하나의 실행을 위한 설정이 있는지 여부를 확인할 수 있다. 이를 위해, 제어모듈(130)은 보행자를 검출한 영상을 이용하여 보행자와 자차 간의 거리를 예측할 수 있다. 이때, 제어모듈(130)은 원적외선 카메라(110)를 장착한 위치가 고정되어 있고, 사람의 키가 170cm라는 가정으로 보행자와 자차 간의 거리를 예측할 수 있다. 제어모듈(130)은 원적외선 영상데이터에서 보행자가 존재하는 영역이 어디인지를 이용하여 차량 전방의 어느 위치에 보행자가 서있는지 검출할 수 있다. In step 21, the control module 130 may check whether there is a setting for execution of at least one of information and alarm output. To this end, the control module 130 may predict the distance between the pedestrian and the host vehicle using the image of detecting the pedestrian. In this case, the control module 130 may predict the distance between the pedestrian and the host vehicle, assuming that the position where the far infrared camera 110 is mounted is fixed, and the height of the person is 170 cm. The control module 130 may detect where the pedestrian is standing in front of the vehicle by using where the pedestrian is located in the far infrared image data.

제어모듈(130)은 21단계에서 정보 및 경보 출력을 위한 설정이 있는 경우 23단계로 진행하여 사전 정의된 정보 및 경보 출력을 제어할 수 있다. 예컨대, 제어모듈(130)은 보행자가 근접하거나 차량 앞에 존재하는 경우 위험경고음 발생을 수행할 수 있다. 또는 제어모듈(130)은 보행자가 멀리 있거나 차량의 전방 우측 또는 좌측에 존재하는 경우 정보출력장치(120)의 비디오 장치를 통하여 영상데이터 내에 보행자 위치 표현을 수행할 수 있다. 이는 도 10과 같이 나타낼 수 있다. If there is a setting for information and alarm output in step 21, the control module 130 may proceed to step 23 to control predefined information and alarm output. For example, the control module 130 may generate a danger warning sound when a pedestrian is close or exists in front of a vehicle. Alternatively, the control module 130 may express the pedestrian position in the image data through the video device of the information output device 120 when the pedestrian is far away or exists in the front right or left side of the vehicle. This can be represented as in FIG. 10.

한편, 제어모듈(130)은 21단계에서 정보 및 경보 출력을 위한 설정이 없는 경우, 23단계를 스킵할 수 있다. On the other hand, if there is no setting for information and alarm output in step 21, the control module 130 may skip step 23.

다음으로, 제어모듈(130)은 25단계에서 보행자 인식 기능의 종료를 위한 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 제어모듈(130)은 보행자 인식 기능 종료를 위한 입력 신호 수신이 있거나, 앞서 언급한 바와 같이 사전 정의된 일정 시간이 도래하거나, 조도 센싱정보가 일정 조도 이하 또는 이상인 경우, 온도 센싱정보가 일정 온도 이하 또는 이상인 경우, 보행자 인식 기능 종료를 위한 이벤트 발생으로 결정할 수 있다. 한편, 제어모듈(130)은 25단계에서 보행자 인식 기능 종료를 위한 이력 이벤트 발생이 없으면, 13단계로 회귀하여 이하 과정을 재수행할 수 있다.
Next, the control module 130 may check whether there is an event for ending the pedestrian recognition function in step 25. For example, if the control module 130 has received an input signal for ending the pedestrian recognition function, or if a predetermined time has been reached as previously mentioned, or if the illumination sensing information is less than or equal to a certain illumination, the temperature sensing information is constant. When the temperature is lower or higher, it may be determined as an event for ending the pedestrian recognition function. Meanwhile, if there is no history event for terminating the pedestrian recognition function in step 25, the control module 130 may return to step 13 and perform the following process again.

이상에서 설명한 바와 같이 본 발명의 실시예에 따른 보행자 인식 장치 및 방법에 따르면 본 발명은 야간 등 운전자가 보행자를 인식하기 어려운 상황에서 능동적으로 보행자의 인식을 파악할 수 있도록 지원한다. 이 과정에서 본 발명은 보다 신속한 영상 처리와 신뢰성 높은 영상 인식을 통해 보행자 인식 기능에 대한 강건성을 제공할 수 있다. 추가로 본 발명은 보행자 인식 결과를 기반으로 차량 제어 또는 경보 제어를 수행함으로써 운전자 및 보행자에 대한 안전성 확보를 개선할 수 있다.As described above, according to a pedestrian recognition apparatus and method according to an embodiment of the present invention, the present invention supports the driver to actively recognize a pedestrian's recognition in situations in which it is difficult for a driver to recognize the pedestrian, such as at night. In this process, the present invention can provide robustness to the pedestrian recognition function through faster image processing and reliable image recognition. In addition, the present invention can improve the security of drivers and pedestrians by performing vehicle control or alarm control based on pedestrian recognition results.

그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.In addition, the embodiments of the present invention invented in the present specification and drawings are merely intended to easily describe the technical contents of the present invention and to provide specific examples to help understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all modified or modified forms derived based on the technical spirit of the present invention in addition to the embodiments invented herein.

100: 보행자 인식 장치 110: 원적외선 카메라
120: 정보출력장치 130: 제어모듈100: pedestrian recognition device 110: far infrared camera
120: information output device 130: control module

Claims (10)

일정영역의 원적외선 영상데이터를 획득하는 원적외선 카메라; 및
상기 원적외선 영상데이터에서 보행자 후보군을 검출하고, 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하며, 비보행자에 대한 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 제어모듈을 포함하되,
상기 제어모듈은,
Adv_HOG(advanced Histogram of Gradients) 방식과 LBP(Local Binary Patterns) 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 최종 보행자를 인식하는 보행자 인식 장치.A far-infrared camera that acquires far-infrared image data in a certain area; And
A control module for detecting a pedestrian candidate group from the far infrared image data, removing a candidate group for a non-pedestrian from the pedestrian candidate group, and performing pedestrian detection in a pedestrian candidate group from which the candidate group for the non-pedestrian is removed,
The control module,
A pedestrian recognition device that recognizes the final pedestrian by applying a corner method that detects the number of corners in the area of the pedestrian candidate group recognized by applying at least one of the Adv_HOG (Advanced Histogram of Gradients) method and the LBP (Local Binary Patterns) method. 제1항에 있어서,
상기 제어모듈은
상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하는 보행자 인식 장치. According to claim 1,
The control module
A pedestrian recognition device for detecting the candidate candidate group based on temperature information and head information from the far infrared image data. 제1항에 있어서,
상기 제어모듈은
상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하고, 상기 영역의 밝기 값의 합의 차이를 산출하여 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 Haarlike방식을 적용하는 보행자 인식 장치. According to claim 1,
The control module
A pedestrian recognition device that applies the Haarlike method of dividing the far infrared image data into at least one area and calculating a difference in the sum of the brightness values of the area to remove a candidate group for a non-pedestrian from the pedestrian candidate group. 제3항에 있어서,
상기 제어모듈은
상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과,
현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식하는 보행자 인식 장치.According to claim 3,
The control module
The Adv_HOG method of dividing the area of the candidate candidate group for which the candidate group for the non-pedestrian is removed into a rectangular block that can be changed in size and expressing the angle by constructing a 360 degree angle into 9 bins,
Pedestrians are recognized by applying at least one of the LBP methods to extract the characteristics of the histogram constructed by applying the patterned value patterning the change of the current pixel value and the neighboring pixel value for each block in which the size can be changed in the pedestrian candidate group area. Pedestrian recognition device. 삭제delete 일정영역의 원적외선 영상데이터를 획득하는 단계;
상기 원적외선 영상데이터에서 보행자 후보군을 검출하는 단계;
상기 검출된 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계;
상기 비보행자 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 단계; 및
Adv_HOG(advanced Histogram of Gradients) 방식과 LBP(Local Binary Patterns) 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 최종 보행자를 인식하는 단계
를 포함하는 보행자 인식 방법. Obtaining far-infrared image data in a certain area;
Detecting a candidate pedestrian group from the far infrared image data;
Removing candidate groups for non-pedestrians from the detected pedestrian candidate groups;
Performing pedestrian detection in a pedestrian candidate group in which the non-pedestrian candidate group is removed; And
Recognizing the final pedestrian by applying a corner method that detects the number of corners in the area of the recognized pedestrian candidate group by applying at least one of the Adv_HOG (Advanced Histogram of Gradients) method and the LBP (Local Binary Patterns) method
Pedestrian recognition method comprising a. 제6항에 있어서,
상기 보행자 후보군을 검출하는 단계는
상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군을 검출하는 단계인 보행자 인식 방법. The method of claim 6,
The step of detecting the pedestrian candidate group is
Pedestrian recognition method of detecting the candidate candidate group based on temperature information and head information in the far infrared image data. 제6항에 있어서,
상기 비보행자에 대한 후보군을 제거하는 단계는
Haarlike 방식을 적용하여 상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하는 단계;
상기 영역의 밝기 값의 합의 차이를 산출하는 단계;
상기 산출 값을 기반으로 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계인 보행자 인식 방법. The method of claim 6,
The step of removing candidates for the non-pedestrian is
Dividing the far infrared image data into at least one area by applying a Haarlike method;
Calculating a difference in sum of brightness values of the regions;
A step of removing a candidate group for a non-pedestrian from the pedestrian candidate group based on the calculated value. 제8항에 있어서,
상기 최종 보행자를 인식하는 단계는
상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과, 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식하는 단계
를 포함하는 보행자 인식 방법.The method of claim 8,
The step of recognizing the final pedestrian is
The Adv_HOG method of dividing the area of the pedestrian candidate group where the candidate group for the non-pedestrian is removed into a rectangular block capable of size change, and constructing an angle by constructing a 360-degree angle into 9 bins, and changes in the current pixel value and neighboring pixel value Recognizing a pedestrian by applying at least one of the LBP methods to extract a characteristic of a histogram constructed by applying a patterned patterned value to each block where the size can be changed in the pedestrian candidate group area.
Pedestrian recognition method comprising a. 삭제delete
KR1020140095729A 2014-07-28 2014-07-28 Apparatus and Method for Recognizing a Pedestrian KR102109114B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140095729A KR102109114B1 (en) 2014-07-28 2014-07-28 Apparatus and Method for Recognizing a Pedestrian

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140095729A KR102109114B1 (en) 2014-07-28 2014-07-28 Apparatus and Method for Recognizing a Pedestrian

Publications (2)

Publication Number Publication Date
KR20160013660A KR20160013660A (en) 2016-02-05
KR102109114B1 true KR102109114B1 (en) 2020-05-12

Family

ID=55353495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140095729A KR102109114B1 (en) 2014-07-28 2014-07-28 Apparatus and Method for Recognizing a Pedestrian

Country Status (1)

Country Link
KR (1) KR102109114B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001586B1 (en) * 2018-02-14 2019-07-18 연세대학교 산학협력단 Apparatus and method for detecting object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065756A (en) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd Driving assist system
JP2014006075A (en) * 2012-06-21 2014-01-16 Denso Corp Pedestrian detection device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299104B1 (en) * 2009-09-08 2013-08-28 주식회사 만도 Pedestrian detecting apparatus and the method of the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065756A (en) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd Driving assist system
JP2014006075A (en) * 2012-06-21 2014-01-16 Denso Corp Pedestrian detection device

Also Published As

Publication number Publication date
KR20160013660A (en) 2016-02-05

Similar Documents

Publication Publication Date Title
KR101543105B1 (en) Method And Device for Recognizing a Pedestrian and Vehicle supporting the same
KR102441085B1 (en) Apparatus and method for providing guidance information using crosswalk recognition result
KR101517181B1 (en) System and method for warning lane departure
JP4203512B2 (en) Vehicle periphery monitoring device
KR101605514B1 (en) Apparatus and method for recognizing lane
CN102997900A (en) Vehicle systems, devices, and methods for recognizing external worlds
US20150262365A1 (en) Image processing device and image processing method
JP5894201B2 (en) Boundary line recognition device
JP5760090B2 (en) Biological recognition device
KR101663574B1 (en) Method and system for detection of sudden pedestrian crossing for safe driving during night time
WO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
US9160986B2 (en) Device for monitoring surroundings of a vehicle
KR101687094B1 (en) Apparatus for recognizing traffic sign and method thereof
JP5083164B2 (en) Image processing apparatus and image processing method
KR20140104516A (en) Lane detection method and apparatus
JP2017215743A (en) Image processing device, and external world recognition device
KR102109114B1 (en) Apparatus and Method for Recognizing a Pedestrian
JP6087240B2 (en) Vehicle periphery monitoring device
JP5642785B2 (en) Vehicle periphery monitoring device
US20090129632A1 (en) Method of object detection
KR101299104B1 (en) Pedestrian detecting apparatus and the method of the same
JP2019114150A (en) Extravehicular environment recognition device
KR20140076043A (en) Device and method for detecting pedestrian candidate
JP6453571B2 (en) 3D object recognition device
JP6270604B2 (en) Object recognition device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant