KR101823541B1 - 횡단보도 검출 장치 및 횡단보도 검출 방법 - Google Patents

횡단보도 검출 장치 및 횡단보도 검출 방법 Download PDF

Info

Publication number
KR101823541B1
KR101823541B1 KR1020170039380A KR20170039380A KR101823541B1 KR 101823541 B1 KR101823541 B1 KR 101823541B1 KR 1020170039380 A KR1020170039380 A KR 1020170039380A KR 20170039380 A KR20170039380 A KR 20170039380A KR 101823541 B1 KR101823541 B1 KR 101823541B1
Authority
KR
South Korea
Prior art keywords
crosswalk
axis
image
bird
detecting
Prior art date
Application number
KR1020170039380A
Other languages
English (en)
Inventor
박순용
이근모
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020170039380A priority Critical patent/KR101823541B1/ko
Application granted granted Critical
Publication of KR101823541B1 publication Critical patent/KR101823541B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • G06K9/38—
    • G06K9/4647—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

횡단보도 검출 방법이 개시된다. 횡단보도 검출 방법은 차량의 전방을 촬영하여 생성된 영상에서 차선을 검출하는 단계, 검출된 차선을 이용하여 조감도(bird-eye view) 영상을 생성하는 단계, 조감도 영상을 이진화 영상으로 변환하고, 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성하는 단계 및 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 검출된 y축 좌표값에 기초하여 횡단보도를 검출하는 단계를 포함한다.

Description

횡단보도 검출 장치 및 횡단보도 검출 방법{APPARATUS AND METHOD FOR DETECTING CROSS ROAD}
본 발명은 횡단보도 검출 장치 및 횡단보도 검출 방법에 관한 것으로, 보다 상세하게는 조감도 영상을 이용하여 횡단보도를 검출하는 횡단보도 검출 장치 및 횡단보도 검출 방법에 관한 것이다.
자율주행 자동차에는 ADAS(Advanced Driver Assistant Systems)라는 핵심기술이 적용된다. ADAS 기능 중에서 보행자 교통사고를 예방하는 PPS(Pedestrian Protection System)는 자율 주행 자동차에 매우 중요한 기능이다. 보행자 교통사고를 예방하기 위해서는 보행자가 도로를 횡단할 때 사용하는 횡단보도를 검출하여 운전자에게 경고를 주는 시스템이 필요하다.
종래의 횡단보도 검출 방법들은 횡단보도 블록간의 거리, 레이저 스캐닝, 푸리에 변환 등을 이용하여 횡단보도를 검출하였다. 다만, 종래의 횡단보도 검출 방법들은 횡단보도 블록이 노후화되거나 이미지 전처리 과정에서 횡단보도 영상에 잡음이 있는 경우, 횡단보도를 정확히 검출하지 못하는 문제가 있었다.
본 발명의 목적은 x축 히스토그램을 이용하여 조감도 영상에서 횡단보도를 정확히 검출할 수 있는 횡단보도 검출 장치 및 횡단보도 검출 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 횡단보도 검출 방법은, 차량의 전방을 촬영하여 생성된 영상에서 차선을 검출하는 단계, 상기 검출된 차선을 이용하여 조감도(bird-eye view) 영상을 생성하는 단계, 상기 조감도 영상을 이진화 영상으로 변환하고, 상기 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성하는 단계 및 상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 상기 검출된 y축 좌표값에 기초하여 횡단보도를 검출하는 단계를 포함한다.
여기서, 상기 횡단보도를 검출하는 단계는, 상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 기초하여 횡단보도 후보영역을 설정하는 단계, 상기 횡단보도 후보영역 내에 검출 윈도우를 설정하고, 상기 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 상기 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단하는 단계 및 상기 횡단보도 후보영역이 실제 횡단보도로 판단되면, 상기 횡단보도 후보영역을 횡단보도로 검출하는 단계를 포함할 수 있다.
여기서, 상기 특징 벡터는, 상기 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 상기 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 상기 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함할 수 있다.
또한, 상기 조감도 영상을 생성하는 단계는, 상기 검출된 차선과 상기 생성된 영상의 x축과 평행한 2개의 직선이 교차하는 교차점을 검출하고, 상기 교차점을 호모그래피(Homography) 변환하여 조감도 영상을 생성할 수 있다.
또한, 상기 x축 히스토그램을 생성하는 단계는, 상기 조감도 영상에 2D 필터를 적용한 후 오츠 이진화 방법(Otsu Threshold)을 이용하여 상기 조감도 영상을 이진화 영상으로 변환할 수 있다.
한편, 본 발명의 일 실시 예에 따른 횡단보도 검출 장치는, 차량의 전방을 촬영하여 영상을 생성하는 촬영부, 상기 생성된 영상에서 차선을 검출하고, 검출된 차선을 이용하여 조감도(bird-eye view) 영상을 생성하는 조감도 영상 생성부, 상기 조감도 영상을 이진화 영상으로 변환하고, 상기 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성하는 x축 히스토그램 생성부 및 상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 상기 검출된 y축 좌표값에 기초하여 횡단보도를 검출하는 횡단보도 검출부를 포함한다.
여기서, 상기 횡단보도 검출부는, 상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 기초하여 횡단보도 후보영역을 설정하고, 상기 횡단보도 후보영역 내에 검출 윈도우를 설정하고, 상기 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 상기 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단하며, 상기 횡단보도 후보영역이 실제 횡단보도로 판단되면, 상기 횡단보도 후보영역을 횡단보도로 검출할 수 있다.
여기서, 상기 특징 벡터는, 상기 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 상기 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 상기 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함할 수 있다.
또한, 상기 조감도 영상 생성부는, 상기 검출된 차선과 상기 생성된 영상의 x축과 평행한 2개의 직선이 교차하는 교차점을 검출하고, 상기 교차점을 호모그래피(Homography) 변환하여 조감도 영상을 생성할 수 있다.
또한, 상기 x축 히스토그램 생성부는, 상기 조감도 영상에 2D 필터를 적용한 후 오츠 이진화 방법(Otsu Threshold)을 이용하여 상기 조감도 영상을 이진화 영상으로 변환할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 조감도 영상에서 x축 히스토그램을 생성하여 횡단보도를 검출함으로써, 횡단보도가 노후화된 경우에도 영상에서 횡단보도를 정확히 검출할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 횡단보도 검출 장치를 나타내는 블럭도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 조감도 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 조감도 영상 및 이진화 영상을 나타내는 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시 예에 따른 횡단보도 후보 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 횡단보도를 판단하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 횡단보도 검출 결과를 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 횡단보도 검출 방법을 나타내는 흐름도이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 횡단보도 검출 장치를 나타내는 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 횡단보도 검출 장치(100)는 촬영부(110), 조감도 영상 생성부(120), x축 히스토그램 생성부(130) 및 횡단보도 검출부(140)를 포함한다.
촬영부(110)는 차량의 전방을 촬영하여 영상을 생성한다. 촬영부(110)는 블랙박스 또는 차량의 전면에 설치되는 별도의 카메라 장치 등으로 구현될 수 있다.
조감도 영상 생성부(120)는 촬영부(110)에서 생성된 영상에서 차선을 검출하고, 검출된 차선을 이용하여 조감도(bird-eye view) 영상을 생성할 수 있다. 구체적으로, 조감도 영상 생성부(120)는 촬영부(110)에서 생성된 영상에서 차선을 검출하고, x축과 평행한 두 직선이 차선과 교차하는 4개의 교차점을 추출한 후, 추출된 4개의 교차점에 대해 호모그래피(Homography) 변환을 이용하여 조감도 영상을 생성할 수 있다.
x축 히스토그램 생성부(130)는 조감도 영상 생성부(120)에서 생성된 조감도 영상을 이진화 영상으로 변환한다. 구체적으로, 횡단보도 폭의 2배 크기의 윈도우를 생성하고, 생성된 윈도우 내부에 대해 오츠 이진화(Otsu Threshold) 방법을 이용하여 이진화 영상을 생성할 수 있다. 이후, x축 히스토그램 생성부(130)는 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성할 수 있다. 이 경우, x축 히스토그램 생성부(130)는 x축 히스토그램에 대하여 저역 통과 필터(low pass filter)를 적용하여, 횡단보도의 시작점과 끝점을 정확히 판단할 수 있는 x축 히스토그램을 생성할 수 있다.
횡단보도 검출부(140)는 x축 히스토그램 생성부(130)에서 생성된 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 검출된 y축 좌표값에 기초하여 횡단보도를 검출할 수 있다. 일 예로, 횡단보도 검출부(140)는 임계값을 120 픽셀로 설정하여, x축 히스토그램에서 120 픽셀을 초과하는 y축 좌표값을 검출하고, 검출된 y축 좌표값을 횡단보도 영역으로 검출할 수 있다. 또한, x축 히스토그램에서 120 픽셀을 초과하는 영역은 횡단보도 이외에 정지선이나 다른 도로 마킹 영역을 포함할 수 있으므로, x축 히스토그램에서 120 픽셀을 초과하는 영역 중 연속되는 y축 좌표값의 길이가 50 픽셀을 초과하는 경우에만 검출된 y축 좌표값을 횡단보도 영역으로 검출할 수 있다. 다만, 횡단보도는 상단부와 하단부로 분할되어 형성되므로, 횡단보도 영역으로 검출된 영역들 간의 사이 길이가 30 픽셀 미만인 경우, 해당 횡단보도 영역들을 병합하여 하나의 횡단보도 영역으로 설정할 수 있다.
또한, 횡단보도 검출부(140)는 x축 히스토그램 생성부(130)에서 생성된 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 기초하여 횡단보도 후보영역을 설정하고, 설정된 횡단보도 후보영역 내에 검출 윈도우를 설정하여 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단할 수 있다. 여기서, 검출 윈도우는 생성된 횡단보도 영역보다 작게 설정될 수 있으며, 일 예로, 검출 윈도우는 폭 250 픽셀, 높이 50 픽셀로 설정될 수 있다. 검출 윈도우는 횡단보도 영역이 시작되는 y축 좌표값부터 횡단보도 영역이 끝나는 y축 좌표값까지 이동할 수 있다. 일 예로, 검출 윈도우는 2 픽셀씩 위로 이동할 수 있다. 횡단보도 검출부(140)는 검출 윈도우가 이동할 때마다 검출 윈도우에 포함된 영역에 특징 벡터를 적용할 수 있다. 여기서, 특징 벡터는 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함할 수 있다.
횡단보도 검출부(140)는 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단하여, 횡단보도 후보영역이 실제 횡단보도로 판단되면, 횡단보도 후보영역을 횡단보도로 검출할 수 있다. 이에 따라, 횡단보도가 노후화되어 있거나 촬영된 영상에 잡음이 포함된 경우에도 영상에서 횡단보도를 정확히 검출할 수 있다.
이하 도 2a 및 도 2b를 참조하여 조감도 영상을 생성하는 방법을 구체적으로 설명한다. 일 예로, 촬영부(110)는 차량의 전방을 촬영하여 도 2a와 같은 영상을 생성할 수 있다. 이 경우, 조감도 영상 생성부(120)는 생성된 영상에서 L1, L2와 같이 차선을 검출할 수 있다. 조감도 영상 생성부(120)는 생성된 영상에서 x축과 평행한 2개의 직선 l1, l2와 차선 L1, L2가 교차하는 4개의 교차점 c1, c2, c3, c4를 추출하고, 추출된 4개의 교차점 c1, c2, c3, c4에 대해 호모그래피 변환을 이용하여 도 3과 같은 조감도 영상을 생성할 수 있다.
x축 히스토그램 생성부(130)는 생성된 조감도 영상을 도 4와 같은 이진화 영상으로 변환할 수 있다. 일 예로, x축 히스토그램 생성부(130)는 횡단보도 폭의 2배, 높이는 15 픽셀인 2D 필터를 생성하여 영역별 이진화를 수행할 수 있다. 이 경우, 이진화 방법은 오츠 이진화(Otsu Threshold) 방법을 이용할 수 있다.
이후, x축 히스토그램 생성부(130)는 도 5a와 같이, 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성할 수 있다. 즉, 횡단보도 영역은 x축 방향으로 흰색 픽셀의 출현 빈도가 높으므로, x축 히스토그램 상에서 임계값 이상의 크기를 갖게 되어, 횡단보도 검출부(140)는 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 해당하는 영역을 횡단보도 영역으로 검출할 수 있다. 이 경우, 횡단보도 검출부(140)는 횡단보도 후보 영역 사이의 길이 di를 측정하여, 기설정된 값보다 작은 경우, 두 횡단보도 후보 영역을 병합할 수 있다. 일 예로, 기설정된 값은 30 픽셀이 될 수 있으며, 횡단보도 검출부(140)는 횡단보도 후보 영역 사이의 길이 di가 30 픽셀보다 작은 경우, 횡단보도 후보 영역들을 병합하여 하나의 횡단보도 후보 영역으로 설정할 수 있다. 이에 따라, 상단 및 하단으로 분리된 횡단보도를 하나의 횡단보도 영역으로 설정할 수 있으므로, 횡단보도 검출 프로세스를 보다 빨리 수행할 수 있다. 또한, 횡단보도 검출부(140)는 x축 히스토그램 상에서 기설정된 값을 초과하는 y축 좌표값에 해당하는 영역을 모두 횡단보도 영역으로 검출하는 경우, 정지선이나 다른 도로 마킹 영역들이 횡단보도 영역으로 검출될 수 있으므로, x축 히스토그램 상에서 기설정된 값을 초과하는 y축 좌표값들의 연속된 길이 ri가 특정값을 초과하는 경우에만 해당 영역을 횡단보도 영역으로 검출할 수 있다. 여기서, 특정값은 50 픽셀이 될 수 있으나, 이에 한정되는 것은 아니며 다양한 값으로 설정될 수 있다. 결과적으로, 횡단보도 검출부(140)는 도 5c와 같이, 정지선이나 도로 마킹 영역들을 제외한 횡단보도만을 포함한 영역을 횡단보도 후보 영역으로 검출할 수 있다.
또한, 횡단보도 검출부(140)는 도 6과 같이, 검출 윈도우를 생성하고 생성된 검출 윈도우에 포함된 영역에 대해 특징 벡터를 적용하여 횡단보도 후보 영역이 실제 횡단보도인지 여부를 판단할 수 있다. 여기서, 검출 윈도우는 횡단보도 후보 영역보다 작게 설정될 수 있으며, 일 예로, 검출 윈도우는 폭 250 픽셀, 높이 50 픽셀 크기의 직사각형 형태로 설정될 수 있다. 검출 윈도우는 횡단보도 후보 영역의 시작점에서 y축 방향으로 이동하면서 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 실제 횡단보도 여부를 판단할 수 있다. 여기서, 특징 벡터는 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함할 수 있다. 특징 벡터가 XOR 연산 결과 누적값의 경우, 검출 윈도우에 포함된 영역을 상단부 영역 및 하단부 영역으로 분할하여, 상단부 영역과 하단부 영역을 XOR 연산한 결과 누적값에 대한 벡터일 수 있다. 또한, 특징 벡터는 검출 윈도우에 포함된 영역의 각 윤곽선에 대한 기울기값에 대한 누적 히스토그램을 포함할 수 있다.
횡단보도 검출부(140)는 횡단보도 후보영역에서 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단할 수 있으며, 실제 횡단보도로 판단되는 경우 해당 횡단보도 후보영역을 횡단보도로 검출할 수 있다. 이에 따라, 횡단보도 검출부(140)는 횡단보도가 노후화되거나 촬영된 영상에 노이즈가 포함되는 경우에도 영상에서 정확히 횡단보도를 검출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 횡단보도 검출 방법을 나타내는 흐름도이다.
우선, 차량의 전방을 촬영하여 생성된 영상에서 차선을 검출한다(S810). 이어서, 검출된 차선을 이용하여 조감도 영상을 생성한다(S820). 구체적으로, 생성된 영상에서 차선을 검출하고, x축과 평행한 두 직선이 차선과 교차하는 4개의 교차점을 추출한 후, 추출된 4개의 교차점에 대해 호모그래피 변환을 이용하여 조감도 영상을 생성할 수 있다.
이어서, 조감도 영상을 이진화 영상으로 변환하고, 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성한다(S830). 구체적으로, 횡단보도 폭보다 큰 윈도우를 생성하고, 윈도우 내부 영역에 대해 오츠 이진화 방법을 인용하여 이진화 영상을 생성할 수 있다. 이후, 이진화 영상에서 x축 히스토그램을 생성할 수 있으며, 이 경우, x축 히스토그램에 대하여 저역 통과 필터를 적용하여 횡단보도의 시작점과 끝점을 정확히 판단할 수 있는 x축 히스토그램을 생성할 수 있다.
이어서, x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 검출된 y축 좌표값에 기초하여 횡단보도를 검출한다(S840). 일 예로, x축 히스토그램에서 120 픽셀을 초과하는 y축 좌표값을 검출하고, 검출된 y축 좌표값에 대응되는 영역을 횡단보도 영역으로 검출할 수 있다.
또한, S240단계는, x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 기초하여 횡단보도 후보영역을 설정하고, 설정된 횡단보도 후보영역 내에 검출 윈도우를 설정하여 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단할 수 있다. 구체적으로, 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 횡단보도 후보영역이 실제 횡단보고인지 여부를 판단하며, 여기서, 특징 벡터는 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 횡단보도 검출 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 컴퓨터 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 컴퓨터에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속할 수 있음을 이해하여야 한다. 예를 들어, 본 발명의 실시 예에 도시된 각 구성 요소는 분산되어 실시될 수도 있으며, 반대로 여러 개로 분산된 구성 요소들은 결합되어 실시될 수 있다. 따라서, 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
100: 횡단보도 검출 장치 110: 촬영부
120: 조감도 영상 생성부 130: x축 히스토그램 생성부
140: 횡단보도 검출부

Claims (11)

  1. 차량의 전방을 촬영하여 생성된 영상에서 차선을 검출하는 단계;
    상기 검출된 차선을 이용하여 조감도(bird-eye view) 영상을 생성하는 단계;
    상기 조감도 영상을 이진화 영상으로 변환하고, 상기 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성하는 단계; 및
    상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 상기 검출된 y축 좌표값에 기초하여 횡단보도를 검출하는 단계;를 포함하고,
    상기 x축은 상기 이진화 영상의 수평 방향이고, 상기 y축은 상기 이진화 영상의 수직 방향이며,
    상기 x축 히스토그램은, 상기 이진화 영상의 수직 방향 각 좌표값에 대한 수평 방향의 모든 좌표값의 픽셀값을 더한 값이고,
    상기 횡단보도를 검출하는 단계는,
    상기 x축 히스토그램에서 기설정된 값을 초과하는 값을 갖는 y축 좌표값 중 연속된 y축 좌표값의 길이가 기설정된 거리보다 큰 경우, 상기 연속된 y축 좌표값에 대응되는 상기 이진화 영상의 수평 방향 영역을 상기 횡단보도로 검출하는 횡단보도 검출 방법.
  2. 제1항에 있어서,
    상기 횡단보도를 검출하는 단계는,
    상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 기초하여 횡단보도 후보영역을 설정하는 단계;
    상기 횡단보도 후보영역 내에 검출 윈도우를 설정하고, 상기 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 상기 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단하는 단계; 및
    상기 횡단보도 후보영역이 실제 횡단보도로 판단되면, 상기 횡단보도 후보영역을 횡단보도로 검출하는 단계;를 포함하는 횡단보도 검출 방법.
  3. 제2항에 있어서,
    상기 특징 벡터는,
    상기 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 상기 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 상기 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함하는 횡단보도 검출 방법.
  4. 제1항에 있어서,
    상기 조감도 영상을 생성하는 단계는,
    상기 검출된 차선과 상기 생성된 영상의 x축과 평행한 2개의 직선이 교차하는 교차점을 검출하고, 상기 교차점을 호모그래피(Homography) 변환하여 조감도 영상을 생성하는 횡단보도 검출 방법.
  5. 제1항에 있어서,
    상기 x축 히스토그램을 생성하는 단계는,
    상기 조감도 영상에 2D 필터를 적용한 후 오츠 이진화 방법(Otsu Threshold)을 이용하여 상기 조감도 영상을 이진화 영상으로 변환하는 횡단보도 검출 방법.
  6. 차량의 전방을 촬영하여 영상을 생성하는 촬영부;
    상기 생성된 영상에서 차선을 검출하고, 검출된 차선을 이용하여 조감도(bird-eye view) 영상을 생성하는 조감도 영상 생성부;
    상기 조감도 영상을 이진화 영상으로 변환하고, 상기 이진화 영상에서 x축으로 픽셀값을 누적시킨 x축 히스토그램을 생성하는 x축 히스토그램 생성부; 및
    상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값을 검출하고, 상기 검출된 y축 좌표값에 기초하여 횡단보도를 검출하는 횡단보도 검출부;를 포함하고,
    상기 x축은 상기 이진화 영상의 수평 방향이고, 상기 y축은 상기 이진화 영상의 수직 방향이며,
    상기 x축 히스토그램은, 상기 이진화 영상의 수직 방향 각 좌표값에 대한 수평 방향의 모든 좌표값의 픽셀값을 더한 값이고,
    상기 횡단보도 검출부는,
    상기 x축 히스토그램에서 기설정된 값을 초과하는 값을 갖는 y축 좌표값 중 연속된 y축 좌표값의 길이가 기설정된 거리보다 큰 경우, 상기 연속된 y축 좌표값에 대응되는 상기 이진화 영상의 수평 방향 영역을 상기 횡단보도로 검출하는 횡단보도 검출 장치.
  7. 제6항에 있어서,
    상기 횡단보도 검출부는,
    상기 x축 히스토그램에서 기설정된 값을 초과하는 y축 좌표값에 기초하여 횡단보도 후보영역을 설정하고, 상기 횡단보도 후보영역 내에 검출 윈도우를 설정하고, 상기 검출 윈도우에 포함된 영역에 특징 벡터를 적용하여 상기 횡단보도 후보영역이 실제 횡단보도인지 여부를 판단하며, 상기 횡단보도 후보영역이 실제 횡단보도로 판단되면, 상기 횡단보도 후보영역을 횡단보도로 검출하는 횡단보도 검출 장치.
  8. 제7항에 있어서,
    상기 특징 벡터는,
    상기 검출 윈도우에 포함된 영역의 흰색 픽셀 비율, 상기 검출 윈도우에 포함된 영역에서 검은색 픽셀에 대한 흰색 픽셀 비율 및 상기 검출 윈도우에 포함된 영역의 XOR 연산 결과 누적값 중 적어도 하나를 포함하는 횡단보도 검출 장치.
  9. 제6항에 있어서,
    상기 조감도 영상 생성부는,
    상기 검출된 차선과 상기 생성된 영상의 x축과 평행한 2개의 직선이 교차하는 교차점을 검출하고, 상기 교차점을 호모그래피(Homography) 변환하여 조감도 영상을 생성하는 횡단보도 검출 장치.
  10. 제6항에 있어서,
    상기 x축 히스토그램 생성부는,
    상기 조감도 영상에 2D 필터를 적용한 후 오츠 이진화 방법(Otsu Threshold)을 이용하여 상기 조감도 영상을 이진화 영상으로 변환하는 횡단보도 검출 장치.

  11. 제1항 내지 제5항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.

KR1020170039380A 2017-03-28 2017-03-28 횡단보도 검출 장치 및 횡단보도 검출 방법 KR101823541B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039380A KR101823541B1 (ko) 2017-03-28 2017-03-28 횡단보도 검출 장치 및 횡단보도 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039380A KR101823541B1 (ko) 2017-03-28 2017-03-28 횡단보도 검출 장치 및 횡단보도 검출 방법

Publications (1)

Publication Number Publication Date
KR101823541B1 true KR101823541B1 (ko) 2018-01-31

Family

ID=61082921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039380A KR101823541B1 (ko) 2017-03-28 2017-03-28 횡단보도 검출 장치 및 횡단보도 검출 방법

Country Status (1)

Country Link
KR (1) KR101823541B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210991A (ja) * 2012-03-02 2013-10-10 Nissan Motor Co Ltd 横断歩道検出装置および横断歩道検出方法
JP5983729B2 (ja) * 2012-03-05 2016-09-06 日産自動車株式会社 白線検出装置、白線検出フィルタ装置及び白線検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210991A (ja) * 2012-03-02 2013-10-10 Nissan Motor Co Ltd 横断歩道検出装置および横断歩道検出方法
JP5983729B2 (ja) * 2012-03-05 2016-09-06 日産自動車株式会社 白線検出装置、白線検出フィルタ装置及び白線検出方法

Similar Documents

Publication Publication Date Title
Anand et al. Crack-pot: Autonomous road crack and pothole detection
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
Du et al. Vision-based approach towards lane line detection and vehicle localization
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
JP4568637B2 (ja) 道路認識装置
JP6226368B2 (ja) 車両監視装置、および車両監視方法
US20180129883A1 (en) Detection method and apparatus of a status of a parking lot and electronic equipment
WO2005029441A1 (ja) 路面走行レーン検出装置
JP5401257B2 (ja) 遠赤外線歩行者検知装置
WO2010047226A1 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP4940177B2 (ja) 交通流計測装置
KR101178508B1 (ko) 차량 충돌 경보 시스템 및 방법
WO2011039977A1 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
Noh et al. Vision-based overhead front point recognition of vehicles for traffic safety analysis
KR101501851B1 (ko) 최적화된 누적 셀에서의 허프 변환을 이용한 차선 검출 장치 및 방법
CN104517099A (zh) 滤波装置和环境识别***
KR101823541B1 (ko) 횡단보도 검출 장치 및 횡단보도 검출 방법
KR101208647B1 (ko) 도로상의 장애 물체 검출 방법 및 장치
Suh et al. Traffic safety evaluation based on vision and signal timing data
KR20090083184A (ko) 영상을 이용한 전후방 차량 검출 방법
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
KR102156488B1 (ko) 차량 번호판의 검출 방법
JP2019012496A (ja) 検出プログラム、方法、及び装置
CN113591554A (zh) 压线检测方法以及违章检测方法
JP2006343148A (ja) 画像センサとレーザーによる衝突回避システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant