KR102078419B1 - 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법 - Google Patents

야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법 Download PDF

Info

Publication number
KR102078419B1
KR102078419B1 KR1020130085889A KR20130085889A KR102078419B1 KR 102078419 B1 KR102078419 B1 KR 102078419B1 KR 1020130085889 A KR1020130085889 A KR 1020130085889A KR 20130085889 A KR20130085889 A KR 20130085889A KR 102078419 B1 KR102078419 B1 KR 102078419B1
Authority
KR
South Korea
Prior art keywords
image
display image
sky
area
intensity
Prior art date
Application number
KR1020130085889A
Other languages
English (en)
Other versions
KR20150011097A (ko
Inventor
유동규
강병준
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130085889A priority Critical patent/KR102078419B1/ko
Publication of KR20150011097A publication Critical patent/KR20150011097A/ko
Application granted granted Critical
Publication of KR102078419B1 publication Critical patent/KR102078419B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

운전자 지원 시스템이 제공된다. 본 발명의 운전자 지원 시스템은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 영상 전처리부, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부 및 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함한다.

Description

야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법{DRIVER ASSISTANCE SYSTEM AND METHOD THEREOF}
본 발명은 운전자 지원 시스템(Advanced Driver Assistant System)에 관한 것으로, 보다 상세하게는 차량의 야간 주행시 보행자를 인식하는 운전자 지원 시스템에 관한 것이다.
최근 차량용 운전자 지원 시스템에 대한 연구 개발이 활발히 진행되고 있다. 제한된 가시성 조건 및 제한된 구조적 클리어런스, 현혹 효과, 거의 보이지 않거나 전혀 보이지 않는 사람, 도로에 갑자기 나타나는 동물 또는 물체 등은 사고의 주된 원인이 된다. 운전자 지원 시스템은 인간의 지각력이 제한되는 경우에 운전자를 지원하여 사고의 위험을 줄일 수 있도록 한다.
최근의 운전자 지원 시스템에서는 보행자를 사전에 인식하고 운전자에게 경보를 해주거나 차량을 제어하여 제동하는 등의 기능을 통해 보행자 사고를 미연에 방지한다. 특히 야간 주행시 운전자의 시야가 급격히 감소하기 때문에 보행자를 인지하지 못하는 경우가 종종 발생한다. 이를 위해 차량에 근적외선 카메라나 원적외선 카메라 등을 탑재하여 운전자가 야간주행시에도 시야를 확보할 수 있도록 야간 뷰(View)를 제공하는 방법 또는 야간 보행자를 인식하고 사전 경보하는 방법 등의 나이트 비젼(Night Vision) 시스템 연구가 활발히 진행되고 있다.
본 발명은 원적외선 영상의 노이즈 개선을 통해 향상된 인식률의 영상을 운전자에게 디스플레이하는 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법을 제공한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 운전자 지원 시스템은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 영상 전처리부, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부 및 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함한다.
상기 하늘 영역 처리부는 상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하고, 상기 이진화 영상의 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출한다.
상기 하늘 영역 처리부는 상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출한다.
상기 히스토그램 이퀄라이저는 상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
Figure 112013065662283-pat00001
에 따라 균등화하고, ki는 i번째 정규화된 인텐시티 값, ni는 총 픽셀의 개수, H(i)는 i번째까지의 누적 히스토그램, gmax는 히스토그램 중 최대 밝기값이다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법은 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 단계, 상기 제1 디스플레이 영상 중 하늘 영역을 검출하는 단계 및 상기 제1 디스플레이 영상 중 상기 하늘 영역을 제외한 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화하는 단계를 포함한다.
본 발명의 운전자 지원 시스템 및 그 동작방법에 따르면, 원적외선 영상의 포화 노이즈 현상을 제거함으로써 운전자에게 디스플레이하는 영상의 인식률을 향상시키고, 안전한 도로 주행을 보장한다.
도 1은 원적외선 영상의 포화 노이즈 현상을 설명하기 위한 그림이다.
도 2는 본 발명의 일 실시예에 따른 운전자 지원 시스템의 블럭도이다.
도 3은 본 발명의 실시예에 따라 하늘 영역의 포함여부에 따른 포화 노이즈 현상을 설명하기 위한 그림 및 그래프이다.
도 4는 본 발명의 실시예에 따라 하늘영역 라인을 검출하는 과정을 설명하는 그림이다.
도 5는 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따라 포화 노이즈 현상을 제거하기 전후의 영상을 비교한 그림이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 원적외선 영상의 포화 노이즈 현상을 설명하기 위한 그림이다.
도 1을 참조하면, 좌측에 나타낸 영상은 원적외선 카메라 또는 근적외선 카메라에 의해 촬상된 열화상 영상이다. 좌측 영상과 같이 하늘이 흐린 경우 또는 겨울날씨인 경우 하늘 영역의 온도가 촬상이 제대로 안되면, 지표면과 지상의 물체 간에 온도 간극이 좁아져서 지상영역의 영상이 뿌옇게 보이는 포화 노이즈 현상이 나타난다.
즉, 좌측 영상에서 하늘 영역을 포함하는 전체 영상의 온도에 따른 인텐시티(Intensity) 분포를 기준으로 보면, 온도를 센싱하여 촬상하는 원적외선 또는 근적외선 카메라의 특성상 영상이 하얗게 포화되는 현상이 나타난다. 이는 하늘영역의 온도가 원적외선로 센싱할 수 있는 온도 중 제일 낮은 온도 값으로 센싱됨으로써 영상으로 표현할 수 있는 온도의 깊이(Depth)가 넓어지게 되기 때문이다. 그 결과 하늘 영역과 비교하여 보행자나 건물의 온도는 상대적으로 하늘 온도와 대비하여 센싱되는 온도 깊이(Depth) 차이가 좁아져서 인텐시티 레벨 차이가 작은 하얗게 포화된 이미지로 생성된다.
따라서 전체 영상에서 지상 영역만을 검출하여 온도 히스토그램 균등화를 통해서 온도 깊이의 인텐시티를 평활화(Equalize)하여 노이즈를 제거한 이미지를 생성해야 한다.
도 2는 본 발명의 일 실시예에 따른 운전자 지원 시스템의 블럭도이다.
도 2를 참조하면, 운전자 지원 시스템(100)은 영상 전처리부(10), 하늘 영역 처리부(20) 및 히스토그램 이퀄라이저(30)를 포함한다.
영상 전처리부(10)는 원적외선 카메라 또는 근적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 보정작업을 수행한다.
하늘 영역 처리부(20)는 제1 디스플레이 영상 중 하늘 영역을 검출하여 하늘 영역과 지상 영역으로 분리한다. 예를 들어, 하늘 영역 검출 동작은 제1 디스플레이 영상을 위에서부터 아래로 수평방향으로 내려오면서 각 수평라인의 인텐시티 평균값을 계산한다. 각 수평라인 대비 상기 인텐시티 평균값 레벨 그래프의 모양이 직각 삼각형 라인을 따라서 올라가면 하늘 영역이 제1 디스플레이 영상에 포함되었다고 판단한다. 보다 자세한 설명은 도 3에서 설명하기로 한다.
하늘 영역이 포함된 경우, 하늘 영역 처리부(20)는 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성한다. 즉, 하늘 영역 처리부(20)는 수학식 1과 같이 임계치보다 큰 인텐시티 값은 1로, 임계치보다 작은 인텐시티 값은 0으로 하여 이진화 영상을 생성한다.
Figure 112013065662283-pat00002
이때 Ix,y는 제1 디스플레이 영상 내 각 픽셀의 인텐시티 값, θ는 기설정된 임계치, Bx,y는 이진화 영상의 픽셀값이다.
하늘 영역 처리부(20)는 이진화 영상의 모폴로지 연산을 수행하고, 모폴로지 연산 결과 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단한다. 이때 모폴로지 연산은 제1 디스플레이 영상에서 하늘 영역의 모양, 즉 하늘 영역의 경계라인을 검출하기 위한 영상처리기법이다. 모폴로지 연산의 예로 침식 연산 및 팽창 연산이 있다. 하늘 영역 처리부(20)는 하늘 영역의 최소 밝기값들을 가진 픽셀들을 연결한 라인을 하늘의 경계 라인으로 검출한다.
히스토그램 이퀄라이저(30)는 제1 디스플레이 영상의 인텐시티 값들이 특정 레벨 영역 안에 밀집해 있을 때, 수학식 2에 따라 밀집된 인텐시티 값을 균등하게 모든 영역으로 퍼지도록 한다.
Figure 112013065662283-pat00003
이때 ki는 i번째 정규화된 인텐시티 값, ni는 총 픽셀의 개수, H(i)는 i번째까지의 누적 히스토그램, gmax는 히스토그램 중 최대 밝기값이다.
즉, 하늘 영역을 제외한 나머지 지상 영역의 인텐시티 값은 도 1에 도시된 바와 같이 흰색 측의 인텐시티 값 주변에 밀집되어 있으므로 히스토그램 이퀄라이저(30)은 지상 영역의 인텐시티 값에 대한 평활화(또는 균등화)를 수행한다. 보다 자세한 설명은 도 6을 참조한다.
도 3은 본 발명의 실시예에 따라 하늘 영역의 포함여부에 따른 포화 노이즈 현상을 설명하기 위한 그림 및 그래프이다.
도 3을 참조하면, (a)와 (b)의 좌측 영상은 하늘 영역이 포함된 경우 및 포함되지 않은 경우 각각의 적외선 카메라로 촬상된 제1 디스플레이 영상이다.
하늘 영역 처리부는 촬상된 이미지의 수평라인 인텐시티 레벨의 그래프를 기준으로 하늘 영역 포함 여부를 검출한다.
(a)와 (b)의 가운데 그래프는 각 좌측 영상에 대해 위에서 아래 방향으로 내려오며 수평라인의 인텐시티 평균값을 측정한 그래프이다. 각각의 가운데 그래프를 살펴보면, (a)하늘 영역이 있는 경우 수평라인의 인텐시티 평균값들은 그래프 전체적으로 삼각형 모양을 그린다. 이와 대비하여, (b)하늘 영역을 포함하지 않은 경우 수평라인의 인텐시티 평균값들은 불규칙적인 형태의 인텐시티 레벨을 그린다.
(a)와 (b)의 우측 그래프는 좌측 영상에서 설정된 레퍼런스 라인과 수평라인의 인텐시티 평균값들의 차이를 나타낸다. (a)하늘 영역이 포함된 경우 레퍼런스 라인을 중심으로 수평라인의 인텐시티 평균값들이 몰려있으나, (b)하늘 영역이 포함되지 않은 경우 레퍼런스 라인과 관계없이 수평라인의 인텐시티 평균값들이 분포한다. 즉, 하늘 영역 처리부는 레퍼런스 라인을 기준으로 인텐시티 평균값과의 차이를 확인하여 기설정된 임계치 이상이면 하늘 영역이 포함되어 있다고 판단하고, 상기 임계치 이하이면 하늘 영역이 포함되어 있지 않다고 판단한다. 예를 들어 도 3에 도시된 각각의 그래프는 (a)의 경우 16.9%, (b)의 경우 55.4%의 차이(difference)가 계산된다.
도 4는 본 발명의 실시예에 따라 하늘영역 라인을 검출하는 과정을 설명하는 그림이다.
하늘 영역 처리부는 도 3과 같이 하늘 영역 포함여부를 검출한 후, 하늘 영역이 포함되어 있다고 판단한 경우, 도 4에 도시된 바와 같이 하늘 영역 라인을 검출할 수 있다. 즉, (a)제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 (b)이진화 영상을 생성한다. 즉, 하늘 영역 처리부(20)는 상기 수학식 1과 같이 임계치보다 큰 인텐시티 값은 1로, 임계치보다 작은 인텐시티 값은 0으로 하여 이진화 영상을 생성한다.
하늘 영역 처리부(20)는 이진화 영상의 모폴로지 연산을 수행하고, 모폴로지 연산 결과 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단한다. 이때 모폴로지 연산은 제1 디스플레이 영상에서 하늘 영역의 모양, 즉 하늘 영역의 경계라인을 검출하기 위한 영상처리기법이다. 모폴로지 연산은 원시 이미지보다 이진화 영상을 기초로 할 경우 침식 또는 팽창 연산이 용이하다. 따라서 하늘 영역 처리부(20)는 이진화 영상을 기초로 모폴로지 연산을 하여 하늘 영역의 제일 낮은 값들을 연결한 라인을 하늘의 경계 라인으로 검출한다.
히스토그램 이퀄라이저(30)는 하늘의 경계 라인 아래 영역의 픽셀들의 인텐시티 레벨에 대해 평활화(균등화)하여 이미지를 보정한다.
도 5는 본 발명의 다른 실시예에 따른 운전자 지원 시스템의 동작방법을 나타낸 흐름도이다.
도 5를 참조하면, 운전자 지원 시스템의 동작방법은 먼저 원시 이미지가 적외선 카메라에 의해 촬상되면, 촬상된 원시 이미지에 대한 영상전처리 과정을 거친다(S10).
그리고, 운전자 지원 시스템은 영상전처리 후의 제1 디스플레이 영상에 대해 위에서 아래 방향으로 수평라인의 인텐시티 평균값을 계산한다(S20). 계산된 인텐시티 값들에 기초하여 하늘 영역의 포함 여부를 검출하고(S30), 제1 디스플레이 영상에 대해 영상 이진화 작업을 수행한다(S40). 운전자 지원 시스템은 이진화 영상으로부터 하늘 영역의 경계라인을 검출한다(S50).
이후, 하늘 영역의 경계라인보다 아래에 있는 영역, 즉 지상 영역에 대해서만 인텐시티 히스토그램을 균등화(평활화)(S60)한다. 히스토그램을 균등화한 제2 디스플레이 영상을 결과 이미지로 한다.
도 6은 본 발명의 실시예에 따라 포화 노이즈 현상을 제거하기 전후의 영상을 비교한 그림이다.
도 6을 참조하면, 운전자 지원 시스템은 히스토그램 평활화(Equalize)를 통해 이미지를 보정한다. 즉, 히스토그램 이퀄라이저는 정규화된 누적 히스토그램을 사상함수로 하여 밝기 레벨을 0 내지 gmax(히스토그램의 최대 밝기값)까지 선형 증가하도록 매핑한다.
히스토그램 균등화(또는 평활화)는 인텐시티 레벨이 소정의 영역 내에 밀집해 있을 때 이를 균등하게 모든 영역으로 퍼지도록 수학식 2와 같은 연산을 하는 영상 처리 기법이다.
도 6에 도시한 바와 같이, 지상 영역에만 히스토그램 균등화를 수행하면 (a)제1 디스플레이 영상보다 보정된 (b)제2 디스플레이 영상에서의 보행자 라인이 더 선명해진다. 그 결과 더 좋은 화질의 영상을 얻을 수 있어 인식률 향상 및 시인성이 개선되는 장점이 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 운전자 지원 시스템
10 : 영상 전처리부
20 : 하늘 영역 처리부
30 : 히스토그램 이퀄라이저

Claims (9)

  1. 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 영상 전처리부;
    상기 제1 디스플레이 영상 중 하늘 영역을 검출하여 지상 영역과 구별하는 하늘 영역 처리부; 및
    상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화한 제2 디스플레이 영상을 생성하는 히스토그램 이퀄라이저를 포함하며,
    상기 히스토그램 이퀄라이저는
    상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
    Figure 112019098391554-pat00012
    에 따라 균등화하고, ki는 i번째 정규화된 인텐시티 값, ni는 총 픽셀의 개수, H(i)는 i번째까지의 누적 히스토그램, gmax는 히스토그램 중 최대 밝기값인 운전자 지원 시스템.
  2. 제1항에 있어서, 상기 하늘 영역 처리부는
    상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하고, 상기 이진화 영상의 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출하는 운전자 지원 시스템.
  3. 제2항에 있어서, 상기 하늘 영역 처리부는
    상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 제일 낮은 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출하는 운전자 지원 시스템.
  4. 삭제
  5. 적외선 카메라가 촬상한 열화상 원시 영상을 전처리하여 제1 디스플레이 영상으로 생성하는 단계;
    상기 제1 디스플레이 영상 중 하늘 영역을 검출하는 단계; 및
    상기 제1 디스플레이 영상 중 상기 하늘 영역을 제외한 지상 영역의 인텐시티 값들을 균등하게 모든 영역으로 평활화하는 단계를 포함하며,
    상기 평활화하는 단계는
    상기 제1 디스플레이 영상 중 상기 지상 영역의 인텐시티 값들을
    Figure 112019098391554-pat00013
    에 따라 균등화하고, ki는 i번째 정규화된 인텐시티 값, ni는 총 픽셀의 개수, H(i)는 i번째까지의 누적 히스토그램, gmax는 히스토그램 중 최대 밝기값인 운전자 지원 시스템의 동작방법.
  6. 제5항에 있어서, 상기 검출하는 단계는
    상기 제1 디스플레이 영상의 위에서 아래 방향으로 내려오며 계산된 수평라인의 인텐시티 평균값에 기초하여 상기 하늘 영역의 포함여부를 판단하는 운전자 지원 시스템의 동작방법.
  7. 제6항에 있어서, 상기 검출하는 단계는
    상기 제1 디스플레이 영상 내 픽셀들 각각의 인텐시티 값을 기설정된 임계치와 비교하여 프로세싱한 이진화 영상을 생성하는 단계; 및
    상기 이진화 영상에 대한 모폴로지 연산을 수행하여 상기 하늘 영역의 경계라인을 검출하는 단계를 포함하는 운전자 지원 시스템의 동작방법.
  8. 제7항에 있어서, 상기 경계라인을 검출하는 단계는
    상기 모폴로지 연산 결과 상기 이진화 영상의 최소 밝기값을 영상의 하늘영역의 최소 인텐시티 값으로 판단하고, 상기 제1 디스플레이 영상에서 상기 최소 밝기값을 가지는 픽셀들을 연결한 라인을 상기 경계라인으로 검출하는 운전자 지원 시스템의 동작방법.
  9. 삭제
KR1020130085889A 2013-07-22 2013-07-22 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법 KR102078419B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130085889A KR102078419B1 (ko) 2013-07-22 2013-07-22 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130085889A KR102078419B1 (ko) 2013-07-22 2013-07-22 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20150011097A KR20150011097A (ko) 2015-01-30
KR102078419B1 true KR102078419B1 (ko) 2020-02-17

Family

ID=52482560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130085889A KR102078419B1 (ko) 2013-07-22 2013-07-22 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR102078419B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD847962S1 (en) 2017-03-10 2019-05-07 Samsung Electronics Co., Ltd. Air conditioner grille
USD847317S1 (en) 2017-03-10 2019-04-30 Samsung Electronics Co., Ltd. Air conditioner
KR101877683B1 (ko) * 2017-08-18 2018-07-12 연세대학교 산학협력단 학습을 이용한 얼굴 인식 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189432A (ja) 2006-01-12 2007-07-26 Nissan Motor Co Ltd 車両用撮像装置
JP2011153850A (ja) * 2010-01-26 2011-08-11 Nec Corp 赤外線撮像装置及び赤外線画像の表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522203B1 (ko) * 2003-05-26 2005-10-18 삼성탈레스 주식회사 적외선 열상 장비에서 대조비 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189432A (ja) 2006-01-12 2007-07-26 Nissan Motor Co Ltd 車両用撮像装置
JP2011153850A (ja) * 2010-01-26 2011-08-11 Nec Corp 赤外線撮像装置及び赤外線画像の表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이종규 외 3명,"적외선 이미지 기반 야간 보행자 인식", 한국컴퓨터정보학회 하계학술대회 논문집 제20권 제2호, pp.83-86, 11 July 2012(2012.07.11.) 1부.*

Also Published As

Publication number Publication date
KR20150011097A (ko) 2015-01-30

Similar Documents

Publication Publication Date Title
KR101472615B1 (ko) 차선이탈 경보 시스템 및 방법
JP5016073B2 (ja) 白線認識装置
CN105303524B (zh) 图像去雾设备和方法
KR101204556B1 (ko) 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템
JP5792376B2 (ja) 車両および車両用のカメラ装置を動作させる方法
KR101546700B1 (ko) 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법
JP6158779B2 (ja) 画像処理装置
KR101498975B1 (ko) 차선 이탈 경보 시스템
US8983126B2 (en) Method and system for detecting vehicle position by employing polarization image
KR100901353B1 (ko) 영상 처리 장치 및 그 방법
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
JP5401257B2 (ja) 遠赤外線歩行者検知装置
CN104657735A (zh) 车道线检测方法、***、车道偏离预警方法及***
JP2014215877A (ja) 物体検出装置
JP5760090B2 (ja) 生体認識装置
KR102078419B1 (ko) 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법
US20180181819A1 (en) Demarcation line recognition device
JP6432296B2 (ja) 画像中のゼブラクロッシングの検出装置及び方法
KR102066290B1 (ko) 차량의 영상인식장치 및 그 방법
KR101522757B1 (ko) 영상의 노이즈 제거 방법
KR101744409B1 (ko) 저조도 환경에서 카메라 기반 수위 검출 방법 및 장치
JP2007189432A (ja) 車両用撮像装置
KR101463513B1 (ko) 전방 차량 거리 추정 방법 및 장치
KR102188163B1 (ko) 저조도 영상의 전처리 시스템 및 그 방법
JP5035139B2 (ja) 眼画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant