KR20150011097A - Driver assistance system and method thereof - Google Patents
Driver assistance system and method thereof Download PDFInfo
- Publication number
- KR20150011097A KR20150011097A KR1020130085889A KR20130085889A KR20150011097A KR 20150011097 A KR20150011097 A KR 20150011097A KR 1020130085889 A KR1020130085889 A KR 1020130085889A KR 20130085889 A KR20130085889 A KR 20130085889A KR 20150011097 A KR20150011097 A KR 20150011097A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sky area
- display image
- value
- sky
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000009499 grossing Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 운전자 지원 시스템(Advanced Driver Assistant System)에 관한 것으로, 보다 상세하게는 차량의 야간 주행시 보행자를 인식하는 운전자 지원 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an advanced driver assistance system, and more particularly, to a driver assistance system that recognizes a pedestrian during a nighttime driving of a vehicle.
최근 차량용 운전자 지원 시스템에 대한 연구 개발이 활발히 진행되고 있다. 제한된 가시성 조건 및 제한된 구조적 클리어런스, 현혹 효과, 거의 보이지 않거나 전혀 보이지 않는 사람, 도로에 갑자기 나타나는 동물 또는 물체 등은 사고의 주된 원인이 된다. 운전자 지원 시스템은 인간의 지각력이 제한되는 경우에 운전자를 지원하여 사고의 위험을 줄일 수 있도록 한다.Recently, research and development of a driver assistance system for a vehicle has been actively conducted. Restricted visibility conditions and limited structural clearance, deceptive effects, almost invisible or invisible people, or animals or objects that suddenly appear on the road are the main causes of accidents. The driver assistance system helps drivers to reduce the risk of accidents when human perception is limited.
최근의 운전자 지원 시스템에서는 보행자를 사전에 인식하고 운전자에게 경보를 해주거나 차량을 제어하여 제동하는 등의 기능을 통해 보행자 사고를 미연에 방지한다. 특히 야간 주행시 운전자의 시야가 급격히 감소하기 때문에 보행자를 인지하지 못하는 경우가 종종 발생한다. 이를 위해 차량에 근적외선 카메라나 원적외선 카메라 등을 탑재하여 운전자가 야간주행시에도 시야를 확보할 수 있도록 야간 뷰(View)를 제공하는 방법 또는 야간 보행자를 인식하고 사전 경보하는 방법 등의 나이트 비젼(Night Vision) 시스템 연구가 활발히 진행되고 있다.In recent driver assistance systems, pedestrian accidents are prevented by recognizing pedestrians in advance, alerting the driver, or braking by controlling the vehicle. Especially, since the driver's vision decreases rapidly at night driving, pedestrians are often not recognized. In order to achieve this, a method of providing a night view so that a driver can obtain a view even in the case of driving at night by mounting a near infrared ray camera or a far infrared ray camera on the vehicle, or a night vision ) System research is actively underway.
본 발명은 원적외선 영상의 노이즈 개선을 통해 향상된 인식률의 영상을 운전자에게 디스플레이하는 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법을 제공한다.The present invention provides a driver assistance system and an operation method thereof for pedestrian recognition during nighttime driving, which displays an image of an improved recognition rate to a driver through noise improvement of a far infrared ray image.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 운전자 지원 시스템은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 영상 전처리부, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부 및 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함한다.According to an aspect of the present invention, there is provided an operator support system comprising: an image preprocessing unit for preprocessing a thermal image of a thermal image picked up by an infrared camera to generate a first display image; And a histogram equalizer for generating a second display image obtained by smoothing the intensity values of the land area among all the areas of the first display image.
상기 하늘 영역 처리부는 상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하고, 상기 이진화 영상의 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출한다.The sky area processing unit compares intensity values of pixels in the first display image with predetermined thresholds to generate a binarized image processed and performs a morphological operation of the binarized image to detect a boundary line of the sky area .
상기 하늘 영역 처리부는 상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출한다.Wherein the sky area processing unit determines that the minimum brightness value of the binarized image is the lowest value of the sky area of the image as a result of the morphology operation and outputs a line connecting the pixels having the minimum brightness value in the first display image, .
상기 히스토그램 이퀄라이저는 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 
상술한 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 단계, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하는 단계 및 상기 제1 디스플레이 영상 중 상기 하늘 영역을 제외한 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of operating a driver assistance system, comprising: generating a first display image by preprocessing a thermal image of a thermal image captured by an infrared camera; And smoothing the intensity values of the terrestrial area except for the sky area of the first display image to all areas evenly.
본 발명의 운전자 지원 시스템 및 그 동작방법에 따르면, 원적외선 영상의 포화 노이즈 현상을 제거함으로써 운전자에게 디스플레이하는 영상의 인식률을 향상시키고, 안전한 도로 주행을 보장한다.According to the driver assistance system and the operation method of the present invention, the saturation noise phenomenon of the far infrared ray image is eliminated, thereby improving the recognition rate of the image displayed to the driver and ensuring safe road running.
도 1은 원적외선 영상의 포화 노이즈 현상을 설명하기 위한 그림이다.
도 2는 본 발명의 일 실시예에 따른 운전자 지원 시스템의 블럭도이다.
도 3은 본 발명의 실시예에 따라 하늘 영역의 포함여부에 따른 포화 노이즈 현상을 설명하기 위한 그림 및 그래프이다.
도 4는 본 발명의 실시예에 따라 하늘영역 라인을 검출하는 과정을 설명하는 그림이다.
도 5는 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따라 포화 노이즈 현상을 제거하기 전후의 영상을 비교한 그림이다.1 is a diagram for explaining a saturation noise phenomenon of a far infrared ray image.
2 is a block diagram of a driver assistance system according to an embodiment of the present invention.
FIG. 3 is a diagram and a graph for explaining a saturation noise phenomenon depending on whether a sky region is included according to an embodiment of the present invention.
4 is a diagram illustrating a process of detecting a sky area line according to an embodiment of the present invention.
5 is a flowchart illustrating an operation method of a driver assistance system according to another embodiment of the present invention.
FIG. 6 is a diagram comparing images before and after eliminating the saturated noise phenomenon according to the embodiment of the present invention.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.It is to be understood that the specific structural or functional descriptions of embodiments of the present invention disclosed herein are only for the purpose of illustrating embodiments of the inventive concept, But may be embodied in many different forms and is not limited to the embodiments set forth herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Embodiments in accordance with the concepts of the present invention are capable of various modifications and may take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. It should be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms disclosed, but includes all modifications, equivalents, or alternatives falling within the spirit and scope of the invention.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings.
도 1은 원적외선 영상의 포화 노이즈 현상을 설명하기 위한 그림이다.1 is a diagram for explaining a saturation noise phenomenon of a far infrared ray image.
도 1을 참조하면, 좌측에 나타낸 영상은 원적외선 카메라 또는 근적외선 카메라에 의해 촬상된 열화상 영상이다. 좌측 영상과 같이 하늘이 흐린 경우 또는 겨울날씨인 경우 하늘 영역의 온도가 촬상이 제대로 안되면, 지표면과 지상의 물체 간에 온도 간극이 좁아져서 지상영역의 영상이 뿌옇게 보이는 포화 노이즈 현상이 나타난다. Referring to FIG. 1, the image shown on the left is a thermal image captured by a far-infrared camera or a near-infrared camera. If the sky is cloudy as in the left image or in the winter weather, if the temperature of the sky region is not properly captured, the temperature gap between the surface of the earth and the object on the ground becomes narrower and saturated noise phenomenon appears.
즉, 좌측 영상에서 하늘 영역을 포함하는 전체 영상의 온도에 따른 인텐시티(Intensity) 분포를 기준으로 보면, 온도를 센싱하여 촬상하는 원적외선 또는 근적외선 카메라의 특성상 영상이 하얗게 포화되는 현상이 나타난다. 이는 하늘영역의 온도가 원적외선로 센싱할 수 있는 온도 중 제일 낮은 온도 값으로 센싱됨으로써 영상으로 표현할 수 있는 온도의 깊이(Depth)가 넓어지게 되기 때문이다. 그 결과 하늘 영역과 비교하여 보행자나 건물의 온도는 상대적으로 하늘 온도와 대비하여 센싱되는 온도 깊이(Depth) 차이가 좁아져서 인텐시티 레벨 차이가 작은 하얗게 포화된 이미지로 생성된다.That is, when the intensity distribution according to the temperature of the entire image including the sky region in the left image is used as a reference, the phenomenon that the image is whitened due to the characteristic of the far-infrared or near-infrared camera that senses the temperature and captures the image appears. This is because the temperature of the sky region is sensed as the lowest temperature among the temperatures that can be sensed by the far-infrared rays, so that the depth of the temperature that can be expressed by the image is widened. As a result, compared to the sky area, the temperature of the pedestrian or the building is generated as a whitened saturated image with a smaller intensity level difference due to the narrower difference of the temperature depth compared with the sky temperature.
따라서 전체 영상에서 지상 영역만을 검출하여 온도 히스토그램 균등화를 통해서 온도 깊이의 인텐시티를 평활화(Equalize)하여 노이즈를 제거한 이미지를 생성해야 한다. Therefore, it is necessary to generate noise-free images by equalizing the intensity of the temperature depth by detecting only the ground region in the entire image and performing temperature histogram equalization.
도 2는 본 발명의 일 실시예에 따른 운전자 지원 시스템의 블럭도이다.2 is a block diagram of a driver assistance system according to an embodiment of the present invention.
도 2를 참조하면, 운전자 지원 시스템(100)은 영상 전처리부(10), 하늘 영역 처리부(20) 및 히스토그램 이퀄라이저(30)를 포함한다.Referring to FIG. 2, the
영상 전처리부(10)는 원적외선 카메라 또는 근적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 보정작업을 수행한다. The image preprocessing
하늘 영역 처리부(20)는 제1 디스플레이 영상 중 하늘 영역을 검출하여 하늘 영역과 지상 영역으로 분리한다. 예를 들어, 하늘 영역 검출 동작은 제1 디스플레이 영상을 위에서부터 아래로 수평방향으로 내려오면서 각 수평라인의 인텐시티 평균값을 계산한다. 각 수평라인 대비 상기 인텐시티 평균값 레벨 그래프의 모양이 직각 삼각형 라인을 따라서 올라가면 하늘 영역이 제1 디스플레이 영상에 포함되었다고 판단한다. 보다 자세한 설명은 도 3에서 설명하기로 한다.The sky
하늘 영역이 포함된 경우, 하늘 영역 처리부(20)는 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성한다. 즉, 하늘 영역 처리부(20)는 수학식 1과 같이 임계치보다 큰 인텐시티 값은 1로, 임계치보다 작은 인텐시티 값은 0으로 하여 이진화 영상을 생성한다.When the sky area is included, the sky
이때 Ix,y는 제1 디스플레이 영상 내 각 픽셀의 인텐시티 값, θ는 기설정된 임계치, Bx,y는 이진화 영상의 픽셀값이다. In this case, I x, y are intensity values of each pixel in the first display image, θ is a preset threshold value, and B x, y are pixel values of the binarized image.
하늘 영역 처리부(20)는 이진화 영상의 모폴로지 연산을 수행하고, 모폴로지 연산 결과 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단한다. 이때 모폴로지 연산은 제1 디스플레이 영상에서 하늘 영역의 모양, 즉 하늘 영역의 경계라인을 검출하기 위한 영상처리기법이다. 모폴로지 연산의 예로 침식 연산 및 팽창 연산이 있다. 하늘 영역 처리부(20)는 하늘 영역의 최소 밝기값들을 가진 픽셀들을 연결한 라인을 하늘의 경계 라인으로 검출한다.The sky
히스토그램 이퀄라이저(30)는 제1 디스플레이 영상의 인텐시티 값들이 특정 레벨 영역 안에 밀집해 있을 때, 수학식 2에 따라 밀집된 인텐시티 값을 균등하게 모든 영역으로 퍼지도록 한다. The
이때 ki는 i번째 정규화된 인텐시티 값, ni는 총 픽셀의 개수, H(i)는 i번째까지의 누적 히스토그램, gmax는 히스토그램 중 최대 밝기값이다.In this case, k i is the i-th normalized intensity value, n i is the total number of pixels, H (i) is the accumulated histogram up to the i-th, and g max is the maximum brightness value of the histogram.
즉, 하늘 영역을 제외한 나머지 지상 영역의 인텐시티 값은 도 1에 도시된 바와 같이 흰색 측의 인텐시티 값 주변에 밀집되어 있으므로 히스토그램 이퀄라이저(30)은 지상 영역의 인텐시티 값에 대한 평활화(또는 균등화)를 수행한다. 보다 자세한 설명은 도 6을 참조한다.That is, since the intensity values of the remaining land areas except for the sky area are concentrated around the white intensity value as shown in FIG. 1, the
도 3은 본 발명의 실시예에 따라 하늘 영역의 포함여부에 따른 포화 노이즈 현상을 설명하기 위한 그림 및 그래프이다. FIG. 3 is a diagram and a graph for explaining a saturation noise phenomenon depending on whether a sky region is included according to an embodiment of the present invention.
도 3을 참조하면, (a)와 (b)의 좌측 영상은 하늘 영역이 포함된 경우 및 포함되지 않은 경우 각각의 적외선 카메라로 촬상된 제1 디스플레이 영상이다. Referring to FIG. 3, the left image of (a) and (b) is a first display image captured by each infrared camera when the sky area is included or not.
하늘 영역 처리부는 촬상된 이미지의 수평라인 인텐시티 레벨의 그래프를 기준으로 하늘 영역 포함 여부를 검출한다.The sky area processing unit detects whether or not the sky area is included based on the graph of the horizontal line intensity level of the captured image.
(a)와 (b)의 가운데 그래프는 각 좌측 영상에 대해 위에서 아래 방향으로 내려오며 수평라인의 인텐시티 평균값을 측정한 그래프이다. 각각의 가운데 그래프를 살펴보면, (a)하늘 영역이 있는 경우 수평라인의 인텐시티 평균값들은 그래프 전체적으로 삼각형 모양을 그린다. 이와 대비하여, (b)하늘 영역을 포함하지 않은 경우 수평라인의 인텐시티 평균값들은 불규칙적인 형태의 인텐시티 레벨을 그린다. The graphs in (a) and (b) show the average intensity values of the horizontal lines coming down from the top of each left image. (A) When there is a sky area, the average intensity values of the horizontal line draw a triangle shape over the entire graph. In contrast, (b) when the sky area is not included, the intensity average values of the horizontal line draw an intensity level of irregular shape.
(a)와 (b)의 우측 그래프는 좌측 영상에서 설정된 레퍼런스 라인과 수평라인의 인텐시티 평균값들의 차이를 나타낸다. (a)하늘 영역이 포함된 경우 레퍼런스 라인을 중심으로 수평라인의 인텐시티 평균값들이 몰려있으나, (b)하늘 영역이 포함되지 않은 경우 레퍼런스 라인과 관계없이 수평라인의 인텐시티 평균값들이 분포한다. 즉, 하늘 영역 처리부는 레퍼런스 라인을 기준으로 인텐시티 평균값과의 차이를 확인하여 기설정된 임계치 이상이면 하늘 영역이 포함되어 있다고 판단하고, 상기 임계치 이하이면 하늘 영역이 포함되어 있지 않다고 판단한다. 예를 들어 도 3에 도시된 각각의 그래프는 (a)의 경우 16.9%, (b)의 경우 55.4%의 차이(difference)가 계산된다.The right graphs in (a) and (b) show the difference in average intensity values of the reference line and the horizontal line set in the left image. (a) When the sky area is included, the average intensity values of the horizontal line are concentrated around the reference line. (b) When the sky area is not included, the intensity average values of the horizontal line are distributed regardless of the reference line. That is, the sky area processing unit checks the difference from the intensity average value on the basis of the reference line, and determines that the sky area is included if it is greater than or equal to a preset threshold value. For example, in each graph shown in FIG. 3, a difference of 16.9% for (a) and 55.4% for (b) is calculated.
도 4는 본 발명의 실시예에 따라 하늘영역 라인을 검출하는 과정을 설명하는 그림이다.4 is a diagram illustrating a process of detecting a sky area line according to an embodiment of the present invention.
하늘 영역 처리부는 도 3과 같이 하늘 영역 포함여부를 검출한 후, 하늘 영역이 포함되어 있다고 판단한 경우, 도 4에 도시된 바와 같이 하늘 영역 라인을 검출할 수 있다. 즉, (a)제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 (b)이진화 영상을 생성한다. 즉, 하늘 영역 처리부(20)는 상기 수학식 1과 같이 임계치보다 큰 인텐시티 값은 1로, 임계치보다 작은 인텐시티 값은 0으로 하여 이진화 영상을 생성한다.As shown in FIG. 3, if the sky area processing unit determines that the sky area is included after detecting the sky area, the sky area processing unit can detect the sky area line as shown in FIG. That is, (a) a binarized image is generated by processing intensity values of respective pixels in the first display image with predetermined thresholds and processing (b). That is, the sky
하늘 영역 처리부(20)는 이진화 영상의 모폴로지 연산을 수행하고, 모폴로지 연산 결과 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단한다. 이때 모폴로지 연산은 제1 디스플레이 영상에서 하늘 영역의 모양, 즉 하늘 영역의 경계라인을 검출하기 위한 영상처리기법이다. 모폴로지 연산은 원시 이미지보다 이진화 영상을 기초로 할 경우 침식 또는 팽창 연산이 용이하다. 따라서 하늘 영역 처리부(20)는 이진화 영상을 기초로 모폴로지 연산을 하여 하늘 영역의 제일 낮은 값들을 연결한 라인을 하늘의 경계 라인으로 검출한다.The sky
히스토그램 이퀄라이저(30)는 하늘의 경계 라인 아래 영역의 픽셀들의 인텐시티 레벨에 대해 평활화(균등화)하여 이미지를 보정한다.The
도 5는 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법을 나타낸 흐름도이다.5 is a flowchart illustrating an operation method of a driver assistance system according to another embodiment of the present invention.
도 5를 참조하면, 운전자 지원 시스템의 동작방법은 먼저 원시 이미지가 적외선 카메라에 의해 촬상되면, 촬상된 원시 이미지에 대한 영상전처리 과정을 거친다(S10). Referring to FIG. 5, an operation method of a driver assistance system includes an image preprocessing process for a captured raw image when a raw image is first captured by an infrared camera (S10).
그리고, 운전자 지원 시스템은 영상전처리 후의 제1 디스플레이 영상에 대해 위에서 아래 방향으로 수평라인의 인텐시티 평균값을 계산한다(S20). 계산된 인텐시티 값들에 기초하여 하늘 영역의 포함 여부를 검출하고(S30), 제1 디스플레이 영상에 대해 영상 이진화 작업을 수행한다(S40). 운전자 지원 시스템은 이진화 영상으로부터 하늘 영역의 경계라인을 검출한다(S50). Then, the driver assistance system calculates an intensity average value of the horizontal line in the top-down direction with respect to the first display image after the image preprocessing (S20). The presence or absence of the sky area is detected based on the calculated intensity values (S30), and an image binarization operation is performed on the first display image (S40). The driver assistance system detects the boundary line of the sky area from the binarized image (S50).
이후, 하늘 영역의 경계라인보다 아래에 있는 영역, 즉 지상 영역에 대해서만 인텐시티 히스토그램을 균등화(평활화)(S60)한다. 히스토그램을 균등화한 제2 디스플레이 영상을 결과 이미지로 한다.Thereafter, the intensity histogram is equalized (smoothed) only in the area below the boundary line of the sky area, that is, in the terrestrial area (S60). And a second display image obtained by equalizing the histogram is regarded as a resultant image.
도 6은 본 발명의 실시예에 따라 포화 노이즈 현상을 제거하기 전후의 영상을 비교한 그림이다.FIG. 6 is a diagram comparing images before and after eliminating the saturated noise phenomenon according to the embodiment of the present invention.
도 6을 참조하면, 운전자 지원 시스템은 히스토그램 평활화(Equalize)를 통해 이미지를 보정한다. 즉, 히스토그램 이퀄라이저는 정규화된 누적 히스토그램을 사상함수로 하여 밝기 레벨을 0 내지 gmax(히스토그램의 최대 밝기값)까지 선형 증가하도록 매핑한다. Referring to FIG. 6, the driver assistance system corrects the image through histogram equalization. That is, the histogram equalizer maps the normalized cumulative histogram as a mapping function so that the brightness level linearly increases from 0 to g max (maximum brightness value of the histogram).
히스토그램 균등화(또는 평활화)는 인텐시티 레벨이 소정의 영역 내에 밀집해 있을 때 이를 균등하게 모든 영역으로 퍼지도록 수학식 2와 같은 연산을 하는 영상 처리 기법이다. The histogram equalization (or smoothing) is an image processing technique that performs an operation like Equation (2) so as to spread the intensity level evenly over all regions when the intensity level is concentrated within a predetermined region.
도 6에 도시한 바와 같이, 지상 영역에만 히스토그램 균등화를 수행하면 (a)제1 디스플레이 영상보다 보정된 (b)제2 디스플레이 영상에서의 보행자 라인이 더 선명해진다. 그 결과 더 좋은 화질의 영상을 얻을 수 있어 인식률 향상 및 시인성이 개선되는 장점이 있다.As shown in Fig. 6, if the histogram equalization is performed only on the terrestrial region, (a) the pedestrian line in the second display image corrected (b) is smoother than the first display image. As a result, images of better quality can be obtained, which improves recognition rate and visibility.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 운전자 지원 시스템
10 : 영상 전처리부
20 : 하늘 영역 처리부
30 : 히스토그램 이퀄라이저100: Driver assistance system
10: Image preprocessing section
20:
30: Histogram equalizer
Claims (9)
상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부; 및
상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함하는 운전자 지원 시스템.An image preprocessing unit for preprocessing a thermal image of a thermal image captured by an infrared camera to generate a first display image;
A sky area processing unit for detecting a sky area in the first display image and distinguishing the sky area from the ground area; And
And a histogram equalizer for generating a second display image obtained by smoothing intensity values of the terrestrial area among the first display images to all areas uniformly.
상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하고, 상기 이진화 영상의 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출하는 운전자 지원 시스템.The apparatus of claim 1, wherein the sky area processing unit
Generating a binarized image by processing an intensity value of each pixel in the first display image with a preset threshold value and performing a morphological operation of the binarized image to detect a boundary line of the sky area.
상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출하는 운전자 지원 시스템.3. The apparatus of claim 2, wherein the sky area processing unit
A driver interpretation unit that determines a minimum brightness value of the binarized image as a lowest value of the sky area of the image as a result of the morphology operation and detects a line connecting the pixels having the minimum brightness value in the first display image as the boundary line system.
상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
The intensity values of the ground region of the first display image
상기 제1 디스플레이 영상 중 하늘 영역을 검출하는 단계; 및
상기 제1 디스플레이 영상 중 상기 하늘 영역을 제외한 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화하는 단계를 포함하는 운전자 지원 시스템의 동작방법.Generating a first display image by preprocessing an original thermal image captured by an infrared camera;
Detecting a sky area in the first display image; And
And smoothing the intensity values of the terrestrial area except for the sky area of the first display image to all areas evenly.
상기 제1 디스플레이 영상의 위에서 아래 방향으로 내려오며 계산된 수평라인의 인텐시티 평균값에 기초하여 상기 하늘 영역의 포함여부를 판단하는 운전자 지원 시스템의 동작방법.6. The method of claim 5, wherein detecting
And determining whether to include the sky area based on an intensity average value of the calculated horizontal line descending downward from the first display image.
상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하는 단계; 및
상기 이진화 영상에 대한 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출하는 단계를 포함하는 운전자 지원 시스템의 동작방법.7. The method of claim 6, wherein detecting
Comparing the intensity value of each of the pixels in the first display image with a predetermined threshold to generate a processed binarized image; And
And detecting a boundary line of the sky area by performing a morphology operation on the binarized image.
상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 최소 인텐시티 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출하는 운전자 지원 시스템의 동작방법.8. The method of claim 7, wherein detecting the boundary line
A driver's assistant determining a minimum brightness value of the binarized image as a minimum intensity value of the sky area of the image as a result of the morphology operation and detecting a line connecting the pixels having the minimum brightness value in the first display image as the boundary line Method of operation of the system.
상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
The intensity values of the ground region of the first display image
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130085889A KR102078419B1 (en) | 2013-07-22 | 2013-07-22 | Driver assistance system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130085889A KR102078419B1 (en) | 2013-07-22 | 2013-07-22 | Driver assistance system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150011097A true KR20150011097A (en) | 2015-01-30 |
| KR102078419B1 KR102078419B1 (en) | 2020-02-17 |
Family
ID=52482560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130085889A KR102078419B1 (en) | 2013-07-22 | 2013-07-22 | Driver assistance system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102078419B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877683B1 (en) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | Face Recognition Apparatus and Method Using Learning |
| USD847317S1 (en) | 2017-03-10 | 2019-04-30 | Samsung Electronics Co., Ltd. | Air conditioner |
| USD847962S1 (en) | 2017-03-10 | 2019-05-07 | Samsung Electronics Co., Ltd. | Air conditioner grille |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040101772A (en) * | 2003-05-26 | 2004-12-03 | 삼성탈레스 주식회사 | Methode for processing of contrast in infrared thermal imaging system |
| JP2007189432A (en) * | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | Imaging apparatus for vehicle |
| JP2011153850A (en) * | 2010-01-26 | 2011-08-11 | Nec Corp | Infrared image pickup device and infrared image displaying method |
-
2013
- 2013-07-22 KR KR1020130085889A patent/KR102078419B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040101772A (en) * | 2003-05-26 | 2004-12-03 | 삼성탈레스 주식회사 | Methode for processing of contrast in infrared thermal imaging system |
| JP2007189432A (en) * | 2006-01-12 | 2007-07-26 | Nissan Motor Co Ltd | Imaging apparatus for vehicle |
| JP2011153850A (en) * | 2010-01-26 | 2011-08-11 | Nec Corp | Infrared image pickup device and infrared image displaying method |
Non-Patent Citations (1)
| Title |
|---|
| 이종규 외 3명,"적외선 이미지 기반 야간 보행자 인식", 한국컴퓨터정보학회 하계학술대회 논문집 제20권 제2호, pp.83-86, 11 July 2012(2012.07.11.) 1부.* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD847317S1 (en) | 2017-03-10 | 2019-04-30 | Samsung Electronics Co., Ltd. | Air conditioner |
| USD847962S1 (en) | 2017-03-10 | 2019-05-07 | Samsung Electronics Co., Ltd. | Air conditioner grille |
| USD896939S1 (en) | 2017-03-10 | 2020-09-22 | Samsung Electronics Co., Ltd. | Air conditioner |
| KR101877683B1 (en) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | Face Recognition Apparatus and Method Using Learning |
| WO2019035544A1 (en) * | 2017-08-18 | 2019-02-21 | 연세대학교 산학협력단 | Face recognition apparatus and method using learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102078419B1 (en) | 2020-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862290B (en) | Lane line detection method and system | |
| TWI607901B (en) | Image inpainting system area and method using the same | |
| KR101204556B1 (en) | Method for removing image noise and night-vision system using the same | |
| US7970178B2 (en) | Visibility range estimation method and system | |
| KR101717613B1 (en) | The moving vehicle detection system using an object tracking algorithm based on edge information, and method thereof | |
| CN104657735A (en) | Lane line detection method and system, as well as lane departure early warning method and system | |
| KR101546700B1 (en) | System and method for recognizing road pothole area using image | |
| US8599257B2 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
| US8983126B2 (en) | Method and system for detecting vehicle position by employing polarization image | |
| KR101498975B1 (en) | Lane Departure Warning System | |
| JP2011165050A (en) | White line recognition device | |
| US20120212615A1 (en) | Far-infrared pedestrian detection device | |
| JP2003051017A (en) | White line detector | |
| JP5983729B2 (en) | White line detection device, white line detection filter device, and white line detection method | |
| CN108284793A (en) | A kind of vehicle sub-controlling unit | |
| JP6432296B2 (en) | Device and method for detecting zebra crossings in images | |
| CN110520898B (en) | Image processing method for eliminating bright area | |
| Choi et al. | Fog detection for de-fogging of road driving images | |
| KR20150011097A (en) | Driver assistance system and method thereof | |
| CN109800641B (en) | Lane line detection method based on threshold value self-adaptive binarization and connected domain analysis | |
| Devane et al. | Lane detection techniques using image processing | |
| KR20150025714A (en) | Image recognition apparatus and method thereof | |
| JP4676978B2 (en) | Face detection device, face detection method, and face detection program | |
| JP2003076987A (en) | Preceding vehicle recognizing device | |
| KR20130070210A (en) | Method for removing noise of image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |