KR20100018734A - 영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치 - Google Patents

영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치 Download PDF

Info

Publication number
KR20100018734A
KR20100018734A KR1020080077372A KR20080077372A KR20100018734A KR 20100018734 A KR20100018734 A KR 20100018734A KR 1020080077372 A KR1020080077372 A KR 1020080077372A KR 20080077372 A KR20080077372 A KR 20080077372A KR 20100018734 A KR20100018734 A KR 20100018734A
Authority
KR
South Korea
Prior art keywords
risk factor
candidate
image processing
image
blind spot
Prior art date
Application number
KR1020080077372A
Other languages
English (en)
Inventor
이민호
반상우
정성문
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020080077372A priority Critical patent/KR20100018734A/ko
Publication of KR20100018734A publication Critical patent/KR20100018734A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 방법에 관한 것으로, 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계; 상기 전처리 단계에서 구해진 영상에서 특징이 두드러진 돌출점들을 추출하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및 특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 카메라로부터 촬영된 차량의 사각지대 영상에서 운전자에게 위험한 위험요소를 정확하게 판별해 낼 수 있다는 장점이 있다.
사각지대, 영상, 영상처리

Description

영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및 장치{Method And Apparatus for Discriminating Dangerous Object in Dead Zone by Using Image Processing}
본 발명은 영상처리기술을 이용한 차량 측방의 위험요소 자동 검출 방법 및 장치에 관한 것이다. 더욱 상세하게는, 카메라 등 영상촬영장치로부터 차량 측방의 영상을 입력받으면 입력받은 영상을 처리하여 차량 측방에서 인식된 물체가 위험요소인지 여부를 판별하고 그 위험요소를 검출하는 영상처리기술을 이용한 측방 위험요소 검출 방법 및 장치에 관한 것이다.
차량에는 운전자가 차량의 측방과 후방 상황을 인지할 수 있도록 사이드 미러와 백 미러가 장착되어 있다. 그러나, 사이드 미러나 백 미러를 통해 확인할 수 없는 사각지대가 존재하므로, 운전자가 차선을 변경하는 경우 등에 위험이 따르게 되며, 특히 초보 운전자의 경우에는 차선 변경에 위험부담을 느끼게 된다.
이러한 문제를 해소하기 위해, 카메라를 이용하여 차량의 사각지대의 상황을 운전자에게 디스플레이해주는 기술(실용신안출원 제2006-22548호), 초음파 등을 이용하여 차량 측방의 장애물을 감지하고 그 장애물까지의 거리를 측정하여 장애물과 의 거리가 가까운 경우 이를 운전자에게 경고하는 기술(특허등록 제600479호, 제98332호) 등 많은 발명이 제안되었다.
그러나, 이러한 종래 기술들은 단지 사각지대의 상황을 운전자에게 디스플레이해주거나 또는 인접한 위치에 장애물이 있음을 경고해 주는 정도의 기술이어서, 운전자에게 사각지대의 위험요소에 대한 정확한 정보를 제공하기에는 한계가 있다.
한편, 영상처리기술을 이용하여 측방 장애물을 검출하는 기술(특허등록 제757596호)도 제안되었다. 이 종래기술은 기존 초음파를 통해 장애물까지의 거리를 판별하는 것이 아니라 영상처리기술을 이용하여 장애물을 감지하고 그 장애물까지의 거리를 산출함으로써 인접한 장애물에 대한 정보를 운전자에게 제공하는 기술이다.
그러나 이 기술 또한, 차량 측방에 인접한 장애물이 있는지를 확인하는 정도의 기술일 뿐, 그 장애물이 위험요소인지 여부를 판별하지는 못한다는 문제가 있으므로 운전자에게 정확한 정보를 제공하지는 못한다.
따라서 본 발명은 카메라 등 영상촬영장치로부터 차량 측방의 영상을 입력받으면 입력받은 영상을 처리하여 차량 측방에서 인식된 물체가 위험요소인지 여부를 판별하고 그 위험요소를 검출하는 영상처리기술을 이용한 측방 위험요소 검출 방법 및 장치를 제공함을 목적으로 한다.
이러한 목적을 달성하기 위해 본 발명은, 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 방법에 있어서, 입력되는 영상을 배경에 비해 위험요소 가 부각되도록 영상처리하는 전처리 단계; 상기 전처리 단계에서 구해진 영상에서 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및 특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법을 제공한다.
또 다른 목적을 위해 본 발명은, 영상처리 기술을 이용하여 사각지대 위험요소를 검출하는 방법에 있어서, 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계; 상기 전처리 단계에서 구해진 영상의 밝기값의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 분리 단계; 상기 관심영역에서 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및 특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법을 제공한다.
또 다른 목적을 위해 본 발명은, 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 장치에 있어서, 영상촬영장치로 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 출력하는 전처리부; 상기 전처리부에서 영상처리된 영상으로부터 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 추출하는 후보 결정부; 및 상기 위험요소 후보에 특징점/특징벡터 추출 알고리즘을 적용하여 상기 위험요소 후보가 위험요소인지 여부를 판별하는 위험요소 검출부를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치를 제공한다.
또 다른 목적을 위해 본 발명은, 상기 전처리부에서 영상처리된 영상의 밝기값의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 추출부를 포함하고, 상기 후보 결정부는 상기 관심영역 추출부에서 추출된 상기 관심영역으로부터만 상기 위험요소 후보를 추출하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치를 제공한다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명에 따른 영상처리 기술을 이용한 사각지대 위험요소 검출 장치의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처리 기술을 이용한 사각지대 검출 장치는 카메라(110), 전처리부(120), 후보 결정부(140) 및 위험요소 검출부(150)를 포함하며, 관심영역 추출부(130)를 더 포함할 수 있다.
카메라(110)는 차량의 사이드 미러 등의 위치에 장착되어, 차량의 사각지대를 촬영한 영상을 일정 시간 간격으로 전처리부(120)로 출력한다.
전처리부(120)는 카메라(110)로부터 출력된 영상에서 배경에 비해 위험요소가 부각되도록 영상처리를 수행한다.
카메라로부터 촬영되는 영상은 배경과 위험요소 등의 객체로 구분된다. 따라서 위험요소를 효과적으로 검출하기 위해서는 객체와 배경이 보다 분명히 구별되도록 하기 위한 영상처리가 필요한바, 전처리부(120)는 객체가 배경에 비해 부각될 수 있도록 영상처리를 수행한다.
위험요소는 배경에 비해 밝거나 어두운 명암값을 가지므로, 본 발명의 실시예에서는 모폴로지(Morphology) 기법을 기반으로 한 탑-햇(Top-Hat) 기법 및 바틈-햇(Bottom-Hat) 기법을 사용하여 전처리부(120)를 구현하였다.
탑-햇 기법은 원래 영상과 열림(Opening) 연산을 통해 변환시킨 영상 간의 차를 이용해 변환하는 기법이고(
Figure 112008056712193-PAT00001
), 바틈-햇 기법은 닫힘(Opening) 연산을 통해 변환시킨 영상과 원래 영상 간의 차를 이용하여 변환시킨 기법(
Figure 112008056712193-PAT00002
)으로, 이 두 기법을 이용하여 변환된 영상들을 합성시키면 밝고 어두운 명암값을 가지는 위험요소들의 특징이 잘 부각되도록 할 수 있다.
또한, 전처리부(120)는 모폴로지 기법을 이용하여 변환된 영상에 가우시안 커널(Gaussian Kernel) 함수를 적용함으로써, 진행방향이 고려된 위험요소의 특징이 보다 명확히 부각되도록 할 수도 있다.
도 2는 본 발명에 적용된 가우시안 커널 함수의 예를 보여주고 있는데, 붉은색 부분은 특징강화가 크게 일어나는 부분이고 푸른색 부분은 특징강화가 작게 나타나는 부분이며, 기울어진 정도를 나타내는 θ와 기울어진 모양은 위험요소의 진행방향과 관련이 있다.
따라서, 탑-햇 기법과 바틈-햇 기법을 이용하여 변환된 영상에 위험요소의 진행방향이 고려된 가우시안 커널 함수를 적용하여 도 2와 같은 확률 분포를 얻고, 위험요소가 나타날 확률이 높은 공간(도 2에서 붉은색 부분)에 높은 가중치를 부여함으로써 위험요소의 특징을 좀 더 부각시킬 수 있다.
다시 도 1을 참조하면, 관심영역 추출부(130)는 전처리부(120)에서 처리된 영상의 밝기의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, "관심영역"이라 함)을 분리/추출한다.
사각지대에 있는 장애물 중 운전자에게 위험한 요소는 옆 차선을 주행하는 차량 등 움직이는 물체이고, 카메라(110)로부터 입력된 영상에서 위험요소가 나타나게 되면 영상의 밝기에 변화가 생긴다. 따라서 영상의 밝기의 변화를 통해 위험요소가 포함된 영역을 결정할 수가 있다.
이를 위해 관심영역 추출부(130)는 전처리부(120)에서 처리된 영상을 n개의 블럭으로 분할하고, 각 블럭마다 시간에 따른 영상의 밝기 변화율을 계산하고 이 밝기 변화율을 이용하여 위험요소가 포함된 블럭을 추출함으로써, 전체 영상에서 관심영역을 분리하도록 구현된다. 이 때, 밝기값의 시간변화율로 단순히 밝기값의 시간에 대한 기울기가 아닌 밝기값의 히스토그램 변화량을 사용함으로써 보다 정확 하게 위험요소가 포함된 관심영역을 추출해 낼 수 있게 된다.
도 3은 본 발명에 따른 관심영역 추출부의 구현예를 설명하기 위한 도면이다.
전처리부(120)를 통과한 영상들이 입력되면, 관심영역 추출부(130)는 영상 프레임마다 n개의 블럭으로 분할하고 각 블럭별로 밝기값을 변수로 하고 픽셀의 수를 도수로 하는 히스토그램을 산출한다. 그리고 산출된 히스토그램을 양자화(Quantization)한 후, 각 블럭별로 연속된 프레임 간의 차이를 평균하여 각 블럭별로 밝기값의 변화량을 계산한다. 이후 밝기값이 특정 임계값(Threshold)을 초과하는 블럭만을 추출함으로써 관심영역을 분리하게 된다.
한편, 블럭 사이의 경계 부분에서 발생하는 블록킹 현상(Blocking Artifacts)을 제거하기 위해, 영상을 분할할 때 이웃하는 블럭들이 경계 부분에서 일정 부분 서로 겹치도록 할 수도 있다.
다시 도 1을 참조하면, 후보 결정부(140)는 관심영역 추출부(130)에서 추출된 관심영역으로부터 특징이 두드러진 돌출점(Salient Point)들을 추출하고 돌출점들의 동적 정보를 분석하여 위험요소 후보들을 추출한다.
후보 결정부(140)가 돌출점을 추출하는 과정의 예를 도 4를 참조하여 설명하면, 먼저, 카메라로부터 입력된 영상에 소벨(Sobel) 알고리즘 등을 적용하여 관심영역의 윤곽선 정보를 생성하고(E), 이 윤곽선 정보를 중심-주변 차이(Center-Surround Difference) 및 정규화(Normalization) 처리를 하여 윤곽 특징맵(
Figure 112008056712193-PAT00003
)을 생성한다.
중심-주변 차이는 아래의 수학식과 같이 DoG(Difference of Gaussian) 함수로부터 구할 수 있다.
Figure 112008056712193-PAT00004
여기서, D는 DoG 함수를, G는 가우시안 커널함수, I는 원래 영상을 의미하며, L은 G와 I가 컨벌루션된 영상을 의미한다.
가우시안 커널함수를 원래 영상과 컨벌루션하면 커널함수의 분산(σ)에 따라 블러링(Blurring)된 정도가 다른 영상이 얻어진다. 즉, 분산이 작으면 블러링된 정도가 작은 영상이 구해지고 분산이 크면 블러링된 정도가 큰 영상이 구해진다.
따라서 분산이 작은 가우시안 커널함수와 분산이 큰 가우시안 커널함수를 원래 영상과 컨벌루션하고 그 차이를 구한 후 이를 정규화하면 특징이 강한 픽셀들이 부각된 윤곽 특징맵을 생성할 수 있다.
이렇게 생성된 윤곽 특징맵과 전처리단계에서 처리된 영상(IT)을 합성하면 돌출맵(SM: Salient Map)을 생성할 수 있고, 돌출맵의 돌출점들로부터 배경과 구별되는 특정 물체를 찾을 수 있게 된다.
그러나 돌출맵은 단지 배경에 비해 특징이 두드러진 영역을 찾아는 것이므 로 돌출맵의 돌출점들이 위험요소라고 단정할 수는 없다.
따라서, 본 발명에서는, 위험요소가 움직이는 물체라는 점을 고려하여, 돌출점들의 동적 정보를 이용하여 위험요소 후보를 추출하게 된다.
도 5와 도 6은 돌출점들의 동적 정보를 이용하여 위험요소 후보를 추출하는 방법을 설명하기 위한 도면인데, 도 5는 돌출점들을 그룹핑하는 과정을 나타내는 도면이고, 도 6은 위험요소 후보를 검출하는 과정을 나타내는 도면이다.
위험요소가 영상에 나타날 경우, 대부분의 돌출점들은 위험요소에 생성되는데, 위험요소는 갑작스러운 사라짐이나 나타남과 같은 큰 위치 변화를 가지지 않는다. 따라서 위험요소에 생성된 돌출점들은 연속된 프레임에서 그 위치가 갑작스럽게 변하지 않는다.
본 발명은 이러한 점을 감안하여 돌출점들의 동적 정보를 이용하여 위험요소 후보를 추출한다.
먼저 도 5를 참조하면, 돌출맵에서 특징이 두드러진 순으로 소정 갯수의 돌출점들을 추출하고, 돌출점 간의 거리를 구한 후 그 거리가 특정 임계값보다 작은 돌출점들을 하나의 그룹으로 그룹핑하고 나머지 돌출점들은 배경에서 생성된 것으로 판단하여 위험요소 후보에서 제외한다. 또한, 그룹 내의 돌출점들의 갯수가 일정값 이하인 경우에도 마찬가지로 위험요소 후보에서 제외한다. 도 5는, 돌출점들의 거리를 이용하여 그룹 1과 그룹 2를 생성하는 과정과, 그룹 2를 그룹 내 돌출점들의 갯수가 적어 위험요소 후보에서 제외하는 과정을 보여주고 있다. 다만, 이에 한정되는 것은 아니며 그룹핑된 모든 그룹을 위험요소 후보로 하는 것도 가능하다.
이렇게 돌출점들의 그룹핑이 완료되면, 그 그룹 중 대표 돌출점을 결정하는데, 이는 그룹 중 중심에 있는 돌출점을 대표 돌출점으로 하거나 또는 각 돌출점들의 위치의 평균값을 대표 돌출점으로 결정할 수 있다.
대표 돌출점들이 결정되면, 대표 돌출점들의 프레임별 위치 변화를 분석하여 위험요소 후보인지 여부를 결정하게 된다. 도 6을 참조하면, 연속된 각각의 프레임에서 윗쪽에 위치한 대표 돌출점은 위치 변화가 크지 않으므로 동일한 그룹으로 판단하고 이 그룹을 위험요소 후보로 결정하게 된다. 그러나, 각 프레임에서 아랫쪽에 위치한 대표 돌출점은 나타났다가 사라짐을 반복하므로, 즉, 위치 변화가 크므로 위험요소 후보에서 제외된다.
이렇게 후보 결정부(140)에서 돌출점들의 동적 정보를 이용하여 위험요소 후보를 결정하면, 위험요소 검출부(150)에서는 영상의 특징점 또는 특징벡터를 추출하는 알고리즘을 사용하여 위험요소 후보가 실제 위험요소인지 여부를 판별하는데, 본 발명의 실시예에서는 특징점/특징벡터를 추출하는 알고리즘으로 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하였다.
도 7은 SIFT 알고리즘을 적용하였을 때 배경의 방향성 윤곽정보와 위험요소의 방향성 윤곽정보를 비교한 도면이다.
도 7에 도시된 바와 같이, 위험요소가 가지는 방향성 윤곽정보는 배경이 가지는 방향성 윤곽정보와는 차이가 있다. 따라서 SIFT 알고리즘을 적용하여 후보 결정부에서 결정된 위험요소 후보의 방향성 윤곽 정보를 분석하면 위험요소 후보가 실제 위험요소인지 여부를 판별할 수 있게 된다.
단, 본 발명의 실시예에서는 특징점이나 특징벡터를 추출하기 위한 알고리즘으로 SIFT 알고리즘을 사용하였으나, 이에 한정되는 것은 아니며, Corner나 Contour Detector 등과 같이 영상으로부터 특징점이나 특징벡터를 추출하여 객체의 특징을 파악할 수 있다면 어떠한 알고리즘도 사용할 수 있을 것이다.
이하, 본 발명에 따른 위험요소 검출 장치에 의한 위험 요소 추출 방법을 설명하면, 본 발명에 따른 위험 요소 추출 방법은 카메라로부터 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계, 전처리 단계에서 구해진 영상을 소정 갯수의 블럭으로 분할하고 각 블럭별 밝기값의 시간변화율을 분석하여 각 블럭 중 위험요소가 포함된 블럭(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 분리 단계, 관심영역에서 특징이 두드러진 돌출점들을 추출하고 추출된 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계 및 특징점/특징벡터 추출 알고리즘을 적용하여 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계로 이루어진다.
전처리 단계, 관심영역 분리 단계, 후보 결정 단계 및 위험요소 검출 단계에 대한 구체적인 설명은 각각 전처리부, 관심영역 추출부, 후보 결정부 및 위험요소 검출부에서 전술한 내용과 동일하므로 더 이상의 설명을 생략한다.
아래의 표는 본 발명의 실시예에 따른 실험결과를 나타낸 것이다.
Figure 112008056712193-PAT00005
영상에 위험요소가 포함된 경우에, 위험요소가 존재한다고 판별하는 경우를 "positive true"로, 존재하지 않는다고 판별하는 경우를 "positive false"로 표시하였다.
또한, 영상에 위험요소가 포함되지 않은 경우에, 위험요소가 존재하지 않는다고 판별하는 경우를 "negative true", 존재한다고 판별하는 경우를 "negative false"로 표시하였다.
이 결과로부터, 본 발명을 적용하는 경우 위험요소 판별의 정확성이 80% 이상이 됨을 확인할 수 있다.
이상에서 설명한 실시예에서는, 카메라로부터 출력된 영상에서 관심영역을 추출하고 이 관심영역을 대상으로 위험요소 후보를 결정하는 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 즉, 관심영역을 별도로 추출하지 않고, 카메라로부터 출력된 영상 전체를 이용하여 위험요소 후보를 결정하도록 구현할 수도 있다. 다만, 영상에서 위험요소가 포함된 영역만을 분리하여 관심영역만을 대상으로 위험요소 후보를 추출하도록 구현하는 것이, 불필요한 연산량을 줄일 수 있다는 점에서, 더 좋은 구현예가 될 것이다.
이상의 본 발명의 실시예에 따르면, 카메라로부터 촬영된 사각지대 영상으로부터 위험요소를 정확하게 판별할 수 있다는 효과가 있다. 또한, 그 영상에서 위험요소가 포함된 영역만을 분리하여 연산을 수행하도록 구현하는 경우, 위험요소가 포함되지 않은 영역에 대해서 연산을 하지 않아도 되므로 프로세서의 불필요한 연산량을 줄일 수 있다는 장점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명에 따른 영상처리 기술을 이용한 사각지대 위험요소 검출 장치의 개략적인 구성을 나타내는 도면,
도 2는 본 발명에 적용된 가우시안 커널 함수의 예를 보여주는 도면,
도 3은 본 발명에 따른 관심영역 추출부의 구현예를 설명하기 위한 도면,
도 4는 본 발명에 따른 후보 결정부(140)가 돌출점을 추출하는 과정의 예를 설명하기 위한 도면,
도 5는 돌출점들을 그룹핑하는 과정을 나타내는 도면,
도 6은 위험요소 후보를 검출하는 과정을 나타내는 도면,
도 7은 SIFT 알고리즘을 적용하였을 때 배경의 방향성 윤곽정보와 위험요소의 방향성 윤곽정보를 비교한 도면이다.

Claims (18)

  1. 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 방법에 있어서,
    입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계;
    상기 전처리 단계에서 구해진 영상에서 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및
    특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  2. 제 1 항에 있어서,
    상기 후보 결정 단계에서, 상기 돌출점들을 추출하는 방법은,
    (a) 상기 전처리 단계에서 구해진 영상의 윤곽선 정보를 생성하는 단계;
    (b) 상기 윤곽선 정보를 중심-주변 차이(CSD: Center-Surround Difference) 및 정규화(Normalization) 처리를 하여 윤곽 특징맵을 생성하는 단계; 및
    (c) 상기 전처리 단계에서 구해진 영상에 상기 윤곽 특징맵을 적용하여 상기 돌출점들을 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  3. 제 1 항에 있어서,
    상기 후보 결정 단계는,
    (d) 특징이 두드러진 순으로 소정 갯수의 상기 돌출점들을 추출하는 단계;
    (e) 상기 (d) 단계에서 추출된 상기 돌출점들 간의 거리 정보를 이용하여 상기 돌출점들을 그룹핑(Grouping)하는 단계; 및
    (f) 그룹핑된 상기 돌출점들 중 대표 돌출점을 추출하고 상기 대표 돌출점의 동적 변화를 분석하여 상기 위험요소 후보를 결정하는 단계
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  4. 영상처리 기술을 이용하여 사각지대 위험요소를 검출하는 방법에 있어서,
    입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계;
    상기 전처리 단계에서 구해진 영상의 밝기값의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 분리 단계;
    상기 관심영역에서 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및
    특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  5. 제 4 항에 있어서, 상기 관심영역 분리 단계는,
    상기 전처리 단계에서 구해진 영상을 소정 갯수의 블럭으로 분할하고, 각 블럭별 밝기값의 시간 변화율을 분석하여 상기 각 블럭 중 위험요소가 포함된 블럭을 추출함으로써 상기 관심영역을 분리하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  6. 제 4 항에 있어서,
    상기 후보 결정 단계에서, 상기 돌출점들을 추출하는 방법은,
    (a) 상기 관심영역의 윤곽선 정보를 생성하는 단계;
    (b) 상기 윤곽선 정보를 중심-주변 차이(CSD: Center-Surround Difference) 및 정규화(Normalization) 처리를 하여 윤곽 특징맵을 생성하는 단계; 및
    (c) 상기 관심영역에 상기 윤곽 특징맵을 적용하여 상기 돌출점들을 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  7. 제 4 항에 있어서,
    상기 후보 결정 단계는,
    (d) 특징이 두드러진 순으로 소정 갯수의 상기 돌출점들을 추출하는 단계;
    (e) 상기 (d) 단계에서 추출된 상기 돌출점들 간의 거리 정보를 이용하여 상기 돌출점들을 그룹핑(Grouping)하는 단계; 및
    (f) 그룹핑된 상기 돌출점들 중 대표 돌출점을 추출하고 상기 대표 돌출점의 동적 변화를 분석하여 상기 위험요소 후보를 결정하는 단계
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  8. 제 1 항 또는 제 4 항에 있어서,
    상기 위험요소 검출 단계에서,
    상기 특징점/특징벡터 추출 알고리즘으로 SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 상기 위험요소 후보의 방향성 윤곽정보를 분석함으로써 상기 위험요소 후보가 상기 위험요소인지를 판별하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법.
  9. 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 장치에 있어서,
    영상촬영장치로 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 출력하는 전처리부;
    상기 전처리부에서 영상처리된 영상으로부터 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 추출하는 후보 결정부; 및
    상기 위험요소 후보에 특징점/특징벡터 추출 알고리즘을 적용하여 상기 위험요소 후보가 위험요소인지 여부를 판별하는 위험요소 검출부
    를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  10. 제 9 항에 있어서,
    상기 장치는,
    상기 전처리부에서 영상처리된 영상의 밝기값의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 추출부를 포함하고,
    상기 후보 결정부는 상기 관심영역 추출부에서 추출된 상기 관심영역으로부터만 상기 위험요소 후보를 추출하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  11. 제 10 항에 있어서, 상기 관심영역 추출부는,
    상기 전처리부에서 영상처리된 영상을 소정 갯수의 블럭으로 분할하고, 각 블럭별로 밝기값의 시간변화율을 분석하여 상기 각 블럭 중 위험요소가 포함된 블럭을 추출하는 방식으로 상기 관심영역을 분리하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  12. 제 11 항에 있어서,
    상기 밝기값의 시간변화율은 밝기값의 히스토그램 변화량인 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  13. 제 11 항에 있어서,
    상기 관심영역 추출부는, 서로 이웃하는 블럭들끼리 서로 겹치도록 상기 전처리부에서 처리된 영상을 분할하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  14. 제 10 항에 있어서,
    상기 후보 결정부는, 상기 관심영역의 윤곽선 정보를 생성하고 상기 윤곽선 정보를 중심-주변 차이(CSD: Center-Surround Difference) 및 정규화(Normalization) 처리를 하여 윤곽 특징맵을 생성한 후, 상기 관심영역에 윤곽 특징맵을 적용하여 상기 돌출점들을 추출하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  15. 제 10 항에 있어서,
    상기 후보 결정부는,
    특징이 두드러진 순으로 소정 갯수의 상기 돌출점들을 추출하고 상기 돌출점 간의 거리 정보를 이용하여 상기 돌출점들을 그룹핑(Grouping)한 후, 그룹핑된 상기 돌출점들 중 대표 돌출점을 추출하고 상기 대표 돌출점의 동적 변화를 분석하여 상기 위험요소 후보를 결정하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  16. 제 9 항에 있어서,
    상기 전처리부는, 탑-햇(Top-Hat) 기법 및 바틈-햇(Bottom-Hat) 기법을 이용하여 영상처리를 수행하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  17. 제 16 항에 있어서,
    상기 전처리부는, 상기 탑-햇 기법 및 상기 바틈-햇 기법으로 영상처리된 영상에 가우시안 커널(Gaussian Kernel) 함수를 적용하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
  18. 제 9 항에 있어서,
    상기 위험요소 검출부는, 상기 특징점/특징벡터 추출 알고리즘으로 상기 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 상기 위험요소 후보의 방향성 윤곽정보를 분석함으로써 상기 위험요소 후보가 상기 위험요소인지를 판별하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치.
KR1020080077372A 2008-08-07 2008-08-07 영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치 KR20100018734A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080077372A KR20100018734A (ko) 2008-08-07 2008-08-07 영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080077372A KR20100018734A (ko) 2008-08-07 2008-08-07 영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치

Publications (1)

Publication Number Publication Date
KR20100018734A true KR20100018734A (ko) 2010-02-18

Family

ID=42089300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080077372A KR20100018734A (ko) 2008-08-07 2008-08-07 영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치

Country Status (1)

Country Link
KR (1) KR20100018734A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
WO2016035931A1 (ko) * 2014-09-04 2016-03-10 주식회사 토비스 차량의 운전 사각 모니터링 장치 및 그 방법
KR20230040286A (ko) 2021-09-15 2023-03-22 주식회사 핀텔 영상정보의 비트스트림정보에 기반하여 물체 유기이벤트를 감지하는 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
WO2016035931A1 (ko) * 2014-09-04 2016-03-10 주식회사 토비스 차량의 운전 사각 모니터링 장치 및 그 방법
KR20230040286A (ko) 2021-09-15 2023-03-22 주식회사 핀텔 영상정보의 비트스트림정보에 기반하여 물체 유기이벤트를 감지하는 방법 및 시스템
KR20230040285A (ko) 2021-09-15 2023-03-22 주식회사 핀텔 영상정보의 비트스트림정보에 기반하여 객체영역을 검출하는 방법 및 시스템
KR20230040287A (ko) 2021-09-15 2023-03-22 주식회사 핀텔 영상정보의 비트스트림정보에 기반하여 객체의 낙상이벤트를 감지하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
KR101569411B1 (ko) 보행자 인식 장치 및 그 방법
US20170032676A1 (en) System for detecting pedestrians by fusing color and depth information
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US8649608B2 (en) Feature value extracting device, object identification device, and feature value extracting method
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
EP2573708B1 (en) Method and System for Detecting Vehicle Position by Employing Polarization Image
CN107886034B (zh) 行车提醒方法、装置及车辆
US10521659B2 (en) Image processing device, image processing method, and image processing program
US9552528B1 (en) Method and apparatus for image binarization
KR20110001425A (ko) 에이치에스아이 색정보의 통계적 모델을 이용한 차선 분류방법
EP3432264A1 (en) Image processing device, image pickup device, mobile-body apparatus control system, image processing method, and program
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
WO2016059643A1 (en) System and method for pedestrian detection
CN101369312B (zh) 检测图像中交叉口的方法和设备
Devane et al. Lane detection techniques using image processing
KR101523765B1 (ko) 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
KR20100018734A (ko) 영상처리 기술을 이용한 사각지대 위험요소 검출 방법 및장치
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
Chen et al. Salient video cube guided nighttime vehicle braking event detection
Jeong et al. Fast fog detection for de-fogging of road driving images
Anagnostopoulos et al. Using sliding concentric windows for license plate segmentation and processing
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法
CN114529715A (zh) 一种基于边缘提取的图像识别方法及***
JP6364189B2 (ja) 歩行者検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application