KR101352662B1 - 차선 인식을 이용한 패싱 차량 검출 장치 및 방법 - Google Patents
차선 인식을 이용한 패싱 차량 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR101352662B1 KR101352662B1 KR1020120156418A KR20120156418A KR101352662B1 KR 101352662 B1 KR101352662 B1 KR 101352662B1 KR 1020120156418 A KR1020120156418 A KR 1020120156418A KR 20120156418 A KR20120156418 A KR 20120156418A KR 101352662 B1 KR101352662 B1 KR 101352662B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- passing vehicle
- detecting
- detected
- module
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
차선 인식을 이용한 패싱 차량 검출 장치 및 방법이 개시된다. 차선 인식을 이용한 패싱 차량 검출 장치는 입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 자차선 검출부와, 검출된 자차선의 너비를 이용하여 입력된 영상에서 주변 차선을 검출하는 주변차선 검출부와, 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 패싱 차량 검출부를 포함하여 구성된다. 따라서, 차량 인식 정확도를 높일 수 있다.
Description
본 발명은 패싱 차량 검출에 관한 것으로, 더욱 상세하게는 주변 차선을 인식하여 패싱 차량을 검출할 수 있는 차선 인식을 이용한 패싱 차량 검출 장치 및 방법에 관한 것이다.
최근 자동차 산업에서 다양한 센서와 카메라를 이용한 지능형 자동차 시스템이 중요한 이슈로 부각되고 있다. 지능형 자동차는 운전 중 발생할 수 있는 위험을 빠르게 감지하여 사람에게 알려주거나 스스로 능동적으로 제어를 하는 시스템을 말한다. 이러한 지능형 자동차에는 레이더 센서나 초음파 센서를 이용하여 차량 주변의 상황을 파악하는 방법이 있고 영상을 이용하여 차량 주변의 상황을 파악하는 방법이 있다.
최근에는 이 두 가지 방법을 조합하여 성능을 향상시킨 방법들이 많이 연구되고 있고, 지능형 자동차 시스템에서 카메라가 사용되는 부분은 크게 전방 추돌 경보 시스템(FCWS)과 차선 이탈 경보 시스템(LDWS), 상향등 보조 시스템(HBA)등이 있다.
일반적인 전방 추돌 경보 시스템의 경우 차량과 동일한 차선에 위치하는 전방 차량을 찾는 것이 가장 중요한 문제이지만 사고가 발생하는 상황을 보면 전방에 위치한 차량뿐만 아니라 다양한 위치에 존재하는 차량 및 장애물들을 실시간으로 찾아서 추적하는 것이 중요하다.
그러나, 이제까지 제안된 대부분의 전방 추돌 경보 시스템의 경우에 차량의 후면 모습을 주로 이용하여 차량을 인식하며, 특히 차량의 후면이 모두 카메라에 보여야 인식되는 문제가 있다. 따라서, 갑자기 끼어드는 차량을 빠르게 인식하지 못하는 경우가 발생한다. 도 1에 도시된 바와 같이 차량이 카메라의 화면에 걸쳐 있을 경우 차량의 후면이 완전히 보이지 않기 때문에 차량을 인식할 수 없는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 주변 차선 정보를 이용하여 패싱 차량을 정확하게 검출할 수 있는 차선 인식을 이용한 패싱 차량 검출 장치를 제공하는 데 있다.
삭제
상기한 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치는, 차선 인식을 이용한 패싱 차량 검출 장치로서, 입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 자차선 검출부와, 상기 검출된 자차선의 너비를 이용하여 상기 입력된 영상에서 주변 차선을 검출하는 주변차선 검출부와, 상기 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 패싱 차량 검출부를 포함하여 구성된다.
또한, 상기 자차선 검출부는, 상기 입력된 영상에서 현재의 차선의 도로 영역을 포함하는 확인영역을 설정하는 확인영역 설정모듈과, 상기 설정된 확인영역에서 도로표시의 존재를 확인하는 도로표시 확인모듈과, 상기 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 상기 계산된 차이값에 근거하여 관심영역을 설정하는 관심영역 설정모듈과, 상기 설정된 관심영역을 기초로 차선표시를 추출하여 상기 차선을 자차선으로 인식하는 자차선 검출모듈을 포함할 수 있다.
여기서, 상기 관심영역 설정모듈은, 차선 정보를 예측하는 예측 필터를 이용하여 상기 차선 예측 결과를 산출하고, 상기 산출된 차선 예측 결과와 상기 이전 차선 정보의 상기 차이값을 연산하여 상기 관심영역을 설정할 수 있다.
여기서, 상기 차선 예측 결과 및 상기 이전 차선 정보는, 차선에 대한 각도(Angle) 및 오프셋(Offset) 값에 대한 정보를 포함할 수 있다.
여기서, 상기 이전 차선 정보는, 상기 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보일 수 있다.
여기서, 상기 입력된 영상이 이진화(Binarization)된 이진화 영상인 경우, 상기 도로표시 확인모듈은 상기 이진화 영상의 좌표값에 근거하여 상기 도로표시의 존재를 확인할 수 있다.
또한, 상기 주변차선 검출부는, 상기 검출된 자차선의 너비를 이용하여 상기 주변차선의 관심영역을 설정하는 주변차선 관심영역 설정모듈과, 상기 설정된 주변차선의 관심영역에서 차선표시를 추출하여 상기 차선을 주변차선으로 검출하는 주변차선 검출모듈을 포함할 수 있다.
또한, 상기 패싱 차량 검출부는, 상기 검출된 주변 차선에서 패싱 차량의 관심영역을 설정하는 패싱 차량 관심영역 설정모듈과, 상기 설정된 패싱 차량의 관심영역에서 수직 에지 성분을 추출하는 수직 에지 추출모듈과, 상기 추출된 수직 에지 성분을 이용하여 패싱 차량 후보를 검출하는 패싱 차량 후보 검출모듈과, 상기 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출하는 패싱 차량 검출모듈을 포함할 수 있다.
여기서, 상기 패싱 차량 검출모듈은, 상기 검출된 패싱 차량 후보의 옆면 영상에 대한 서포트 벡터 머신을 수행하여 패싱 차량을 검출할 수 있다.
상기한 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법은, 차선 인식을 이용한 패싱 차량 검출 방법으로서, 입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 단계와, 상기 검출된 자차선의 너비를 이용하여 상기 입력된 영상에서 주변 차선을 검출하는 단계와, 상기 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 단계를 포함하여 구성된다.
또한, 상기 입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 단계는, 상기 입력된 영상에서 현재의 차선의 도로 영역을 포함하는 확인영역을 설정하는 단계와, 상기 설정된 확인영역에서 도로표시의 존재를 확인하는 단계와, 상기 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 상기 계산된 차이값에 근거하여 관심영역을 설정하는 단계와, 상기 설정된 관심영역을 기초로 차선표시를 추출하여 상기 차선을 자차선으로 인식하는 단계를 포함할 수 있다.
또한, 상기 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 상기 계산된 차이값에 근거하여 관심영역을 설정하는 단계는, 차선 정보를 예측하는 예측 필터를 이용하여 상기 차선 예측 결과를 산출하고, 상기 산출된 차선 예측 결과와 상기 이전 차선 정보의 상기 차이값을 연산하여 상기 관심영역을 설정할 수 있다.
여기서, 상기 차선 예측 결과 및 상기 이전 차선 정보는, 차선에 대한 각도(Angle) 및 오프셋(Offset) 값에 대한 정보를 포함할 수 있다.
여기서, 상기 이전 차선 정보는, 상기 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보일 수 있다.
여기서, 상기 입력된 영상이 이진화(Binarization)된 이진화 영상인 경우, 상기 설정된 확인영역에서 도로표시의 존재를 확인하는 단계는, 상기 이진화 영상의 좌표값에 근거하여 상기 도로표시의 존재를 확인할 수 있다.
또한, 상기 검출된 자차선의 너비를 이용하여 상기 입력된 영상에서 주변 차선을 검출하는 단계는, 상기 검출된 자차선의 너비를 이용하여 상기 주변차선의 관심영역을 설정하는 단계와, 상기 설정된 주변차선의 관심영역에서 차선표시를 추출하여 상기 차선을 주변차선으로 검출하는 단계를 포함할 수 있다.
또한, 상기 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 단계는, 상기 검출된 주변 차선에서 패싱 차량의 관심영역을 설정하는 단계와, 상기 설정된 패싱 차량의 관심영역에서 수직 에지 성분을 추출하는 단계와, 상기 추출된 수직 에지 성분을 이용하여 패싱 차량 후보를 검출하는 단계와, 상기 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출하는 단계를 포함할 수 있다.
또한, 상기 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출하는 단계는, 상기 검출된 패싱 차량 후보의 옆면 영상에 대한 서포트 벡터 머신을 수행하여 패싱 차량을 검출할 수 있다.
상기와 같은 본 발명에 따른 차선 인식을 이용한 패싱 차량 검출 장치 및 방법에 따르면, 패싱 차량을 인식하기 위하여 주변 차선 정보를 이용함으로 차량 인식 정확도를 높일 수 있고, 오인식을 줄임으로써 패싱 차량의 인식률을 향상시킬 수 있으므로, 차량 가까이에 끼어드는 위험한 컷인(Cut in) 차량을 빠르게 인식하여, 전방 카메라의 단점인 가까운 컷인 차량을 감지할 수 있는 장점이 있다.
도 1은 차량 전방에 설치된 카메라에 의해 촬영된 영상으로 패싱 차량이 카메라의 화면에 걸쳐 있는 일 실시예를 나타내는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 자차선 검출부에서 자차선을 검출한 영상을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 주변 차선 검출부에서 주변 차선의 관심영역을 설정한 영상을 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 주변 차선 검출부에서 주변 차선을 검출한 영상을 나타내는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 수직 에지 성분과 패싱 차량 후보를 검출한 영상을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 패싱 차량을 검출한 영상을 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 패싱 차량을 검출한 다른 영상을 나타내는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 자차선을 검출하는 방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 주변 차선을 검출하는 방법을 나타내는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 패싱 차량을 검출하는 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 자차선 검출부에서 자차선을 검출한 영상을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 주변 차선 검출부에서 주변 차선의 관심영역을 설정한 영상을 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 주변 차선 검출부에서 주변 차선을 검출한 영상을 나타내는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 수직 에지 성분과 패싱 차량 후보를 검출한 영상을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 패싱 차량을 검출한 영상을 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 패싱 차량을 검출한 다른 영상을 나타내는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 자차선을 검출하는 방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 주변 차선을 검출하는 방법을 나타내는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 패싱 차량을 검출하는 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
삭제
삭제
삭제
삭제
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 구성을 나타내는 블록도, 도 3은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 자차선 검출부에서 자차선을 검출한 영상을 나타내는 예시도, 도 4는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 주변 차선 검출부에서 주변 차선의 관심영역을 설정한 영상을 나타내는 예시도, 도 5는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 주변 차선 검출부에서 주변 차선을 검출한 영상을 나타내는 예시도, 도 6은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 수직 에지 성분과 패싱 차량 후보를 검출한 영상을 나타내는 예시도, 도 7은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 패싱 차량을 검출한 영상을 나타내는 예시도, 도 8은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 장치의 패싱 차량 검출부에서 패싱 차량을 검출한 다른 영상을 나타내는 예시도이다.
도 2 내지 도 8을 참조하면, 차선 인식을 이용한 패싱 차량 검출 장치(100)는 차선 인식을 이용한 패싱 차량 검출 장치로서, 자차선 검출부(110), 주변차선 검출부(120) 및 패싱 차량 검출부(130)를 포함한다.
자차선 검출부(110)는 입력된 영상에서 차선 표시를 추출하여 자차선을 검출할 수 있고, 확인영역 설정모듈(111), 도로표시 확인모듈(112), 관심영역 설정모듈(113) 및 자차선 검출모듈(114)을 포함할 수 있다.
확인영역 설정모듈(111)은 입력된 영상에서 현재의 차선의 도로 영역을 포함하는 확인영역을 설정할 수 있고, 도로표시 확인모듈(112)은 설정된 확인영역에서 도로표시의 존재를 확인할 수 있으며, 관심영역 설정모듈(113)은 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 계산된 차이값에 근거하여 관심영역을 설정할 수 있다.
자차선 검출모듈(114)은 관심영역 설정모듈(113)에서 설정된 관심영역을 기초로 차선 트래킹(Lane Tracking)을 이용하여 차선표시를 추출하여 차선을 자차선으로 인식할 수 있다. 따라서, 자차선 검출부(110)는 도 3에 도시된 바와 같은 자차선을 검출할 수 있다.
자차선 검출모듈(114)은 관심영역 설정모듈(113)에서 설정된 관심영역을 기초로 차선 트래킹(Lane Tracking)을 이용하여 차선표시를 추출하여 차선을 자차선으로 인식할 수 있다. 따라서, 자차선 검출부(110)는 도 3에 도시된 바와 같은 자차선을 검출할 수 있다.
여기서, 차선 트래킹은 칼만 필터(Kalman Filter) 등과 같은 예측 필터를 이용할 수 있다.
한편, 자차선 검출부(110)는 차선 표시(Lane Marking)를 추출함으로써 차선(Lane)을 인식한다. 그러나, 차선 표시를 추출하는 과정에서 도로표시(예, 우회전 표시)도 함께 추출될 수 있고, 이로 인하여 차선 인식에 필요한 차선표시를 추출하는 데 오류가 발생될 수 있다. 도로표시는 차선표시와 마찬가지로 도로 위에 표시가 되어 있으며 차선표시와 같은 색 정보를 포함하고 있기 때문에 차선표시를 추출하는 과정에서 도로표시(예, 우회전 표시)도 함께 추출된다.
상술한 오류를 유발하는 도로표시를 제거하기 위해, 자차선 검출부(110)의 확인영역 설정모듈(111)은 현재의 자차선의 도로영역을 모두 포함할 수 있는 확인영역을 설정할 수 있고, 이는 현재의 자차선의 도로영역에서 도로표시를 찾기 위해 설정한다. 현재의 자차선의 도로영역이 모두 포함되는 확인영역을 설정하기 위해서는 차선이 영상의 중간지점에 걸쳐 있을 때 양쪽 차선의 영역을 포함하는 경우 영상에서 자차선의 도로영역이 항상 포함될 수 있다.
한편, 카메라로부터 입력된 영상은 이진화(Binarization)된 이진화 영상일 수 있으며, 이 경우, 도로표시 확인모듈(112)은 이진화 영상의 좌표값에 근거하여 도로표시의 존재를 확인할 수 있다. 이러한 이진화 영상에 근거하여 도로표시의 존재 유무를 확인하는 알고리즘을 수식으로 아래에서 예시적으로 설명한다.
여기서,
상기 수학식 1에서, U가 1이면 도로표시가 존재하는 것이고, U가 0이면 도로표시가 존재하지 않는 경우이다. 여기서, (x,y)는 이진화 영상의 좌표값이고 B(x,y)는 이진화 영상을 의미한다.
또한, C1과 C2는 도로표시의 존재 여부를 판단하는 기준이 되는 임의의 상수로서, 도로표시의 존재 여부 판단의 정밀도에 따라 크거나 작게 설정할 수 있다.
상술한 관심영역(ROI: Region of Interest)은 차선을 인식하는 범위로서, 범위가 최소화되고 차선의 형상을 나타낼 수 있도록 설정되어야 한다. 즉, 관심영역은 가급적 차선만을 포함하고, 차선 인식에 방해가 되는 물체나 표시(예, 도로 표시) 등은 제외되어 설정되는 것이 바람직하다.
상술한 관심영역 설정모듈(113)은 차선 트래킹(Lane Tracking)을 이용하여 관심영역을 설정할 수 있는데, 차선 정보를 예측하는 예측 필터를 이용하여 차선 예측 결과를 산출하고, 산출된 차선 예측 결과와 이전 차선 정보의 차이값을 연산하여 관심영역을 설정함으로써, 관심영역에는 확인영역 내에서 존재하던 도로표시가 제거될 수 있다. 여기서, 이전 차선 정보는 현재 추출되는 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보를 의미할 수 있다. 여기서, 예측 필터는 칼만 필터(Kalman Filter)를 포함할 수 있고, 상기 차선 예측 결과 및 이전 차선 정보는 차선에 대한 각도(Angle) 및 오프셋(Offset) 값 등에 대한 정보를 포함할 수 있다.
또한, 자차선 검출부(110)는 EDF(Edge Distribution Function), 스티어러블 필터링(Steerable Filtering), 허프변환(Hough Transform), 내부 픽셀 디텍션(Inner Pixel Detection), 내부 픽셀 피팅(Inner Pixel Fitting) 등의 기능을 수행할 수 있다.
주변차선 검출부(120)는 검출된 자차선의 너비를 이용하여 입력된 영상에서 주변 차선을 검출할 수 있고, 주변차선 관심영역 설정모듈(121) 및 주변차선 검출모듈(122)를 포함할 수 있다.
주변차선 관심영역 설정모듈(121)은 검출된 자차선의 너비를 이용하여 주변차선의 관심영역을 설정할 수 있다. 차선의 너비는 차선마다 유사하므로, 자차선의 너비만큼 이격된 영역에 주변 차선이 있을 가능성이 높다. 따라서, 주변차선 관심영역 설정모듈(121)은 자차선으로부터 자차선의 너비만큼 이격된 영역에 도 4에 도시된 바와 같은 관심영역을 설정할 수 있다.
주변차선 검출모듈(122)은 설정된 주변차선의 관심영역에서 차선표시를 추출하여 차선을 주변차선으로 검출할 수 있으며, 이는 상술한 자차선 검출부에서 수행되는 방법과 동일한 방법으로 검출되므로, 중복되는 내용은 생략한다. 따라서, 주변차선 검출모듈(122)은 도 5에 도시된 바와 같은 주변차선을 검출할 수 있다.
패싱 차량 검출부(130)는 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출할 수 있고, 패싱 차량 관심영역 설정모듈(131), 수직 에지 추출모듈(132), 패싱 차량 후보 검출모듈(133) 및 패싱 차량 검출모듈(134)를 포함할 수 있다.
패싱 차량 관심영역 설정모듈(131)은 검출된 주변 차선에서 패싱 차량의 관심영역을 설정할 수 있다.
수직 에지 추출모듈(132)은 설정된 패싱 차량의 관심영역에서 수직 에지 성분을 추출할 수 있다. 여기서, 패싱 차량의 관심영역에서 수직 에지 성분은 도 6에 도시된 바와 같은 영상으로 나타낼 수 있다.
패싱 차량 후보 검출모듈(133)은 추출된 수직 에지 성분을 이용하여 패싱 차량 후보를 검출할 수 있다. 여기서, 주변 차선이 검출되지 않는 경우에는 가드레일 등에 의해서 생성되는 패싱 차량 후보를 제거할 수 있다.
패싱 차량 검출모듈(134)은 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출할 수 있다. 여기서, 패싱 차량 검출모듈(134)은 검출된 패싱 차량 후보의 옆면 영상에 대한 서포트 벡터 머신을 수행하여 패싱 차량을 검출할 수 있다.
따라서, 패싱 차량 검출부(130)는 도 7 및 도 8에 도시된 바와 같이 패싱 차량을 검출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법을 나타내는 흐름도, 도 10은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 자차선을 검출하는 방법을 나타내는 흐름도, 도 11은 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 주변 차선을 검출하는 방법을 나타내는 흐름도, 도 12는 본 발명의 일 실시예에 따른 차선 인식을 이용한 패싱 차량 검출 방법에서 패싱 차량을 검출하는 방법을 나타내는 흐름도이다.
도 9 내지 도 12를 참조하면, 차선 인식을 이용한 패싱 차량 검출 방법은 차선 인식을 이용한 패싱 차량 검출 방법으로서, 입력된 영상에서 차선 표시를 추출하여 자차선을 검출하고(S100), 검출된 자차선의 너비를 이용하여 입력된 영상에서 주변 차선을 검출하며(S200), 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출한다(S300).
구체적으로, 단계 S100은 입력된 영상에서 현재의 차선의 도로 영역을 포함하는 확인영역을 설정하고(S110), 설정된 확인영역에서 도로표시의 존재를 확인하고(S120), 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 계산된 차이값에 기초하여 관심영역을 설정할 수 있고(S130), 설정된 관심영역을 기초로 차선표시를 추출하여 차선을 자차선으로 인식할 수 있다(S140).
여기서, 단계 S120은 입력된 영상이 이진화(Binarization)된 이진화 영상인 경우, 이진화 영상의 좌표값에 근거하여 도로표시의 존재를 확인할 수 있다.
또한, 단계 S130은 차선 정보를 예측하는 예측 필터를 이용하여 차선 예측 결과를 산출하고, 산출된 차선 예측 결과와 이전 차선 정보의 상기 차이값을 연산하여 관심영역을 설정할 수 있다. 여기서, 차선 예측 결과 및 상기 이전 차선 정보는 차선에 대한 각도(Angle) 및 오프셋(Offset) 값에 대한 정보를 포함할 수 있고, 이전 차선 정보는 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보일 수 있다.
다음으로, 단계 S200은 검출된 자차선의 너비를 이용하여 주변차선의 관심영역을 설정하고(S210), 설정된 주변차선의 관심영역에서 차선표시를 추출하여 차선을 주변차선으로 검출할 수 있다(S220).
다음으로, 단계 S300은 검출된 주변 차선에서 패싱 차량의 관심영역을 설정하고(S310), 설정된 패싱 차량의 관심영역에서 수직 에지 성분을 추출하며(S320), 추출된 수직 에지 성분을 이용하여 패싱 차량 후보를 검출하고(S330), 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출할 수 있다(S340).
여기서, 단계 S340은 검출된 패싱 차량 후보의 옆면 영상에 대한 서포트 벡터 머신을 수행하여 패싱 차량을 검출할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 차선 인식을 이용한 패싱 차량 검출 장치
110: 자차선 검출부 111: 확인영역 설정모듈
112: 도로표시 확인모듈 113: 관심영역 설정모듈
114: 자차선 검출모듈 120: 주변차선 검출부
121: 주변차선 관심영역 설정모듈 122: 주변차선 검출모듈
130: 패싱 차량 검출부 131: 패싱 차량 관심영역 설정모듈
132: 수직 에지 추출모듈 133: 패싱 차량 후보 검출모듈
134: 패싱 차량 거출모듈
110: 자차선 검출부 111: 확인영역 설정모듈
112: 도로표시 확인모듈 113: 관심영역 설정모듈
114: 자차선 검출모듈 120: 주변차선 검출부
121: 주변차선 관심영역 설정모듈 122: 주변차선 검출모듈
130: 패싱 차량 검출부 131: 패싱 차량 관심영역 설정모듈
132: 수직 에지 추출모듈 133: 패싱 차량 후보 검출모듈
134: 패싱 차량 거출모듈
Claims (18)
- 차선 인식을 이용한 패싱 차량 검출 장치로서,
입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 자차선 검출부;
상기 검출된 자차선의 너비를 이용하여 상기 입력된 영상에서 주변 차선을 검출하는 주변차선 검출부; 및
상기 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 패싱 차량 검출부를 포함하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제1항에 있어서,
상기 자차선 검출부는,
상기 입력된 영상에서 현재의 차선의 도로 영역을 포함하는 확인영역을 설정하는 확인영역 설정모듈;
상기 설정된 확인영역에서 도로표시의 존재를 확인하는 도로표시 확인모듈;
상기 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 상기 계산된 차이값에 근거하여 관심영역을 설정하는 관심영역 설정모듈; 및
상기 설정된 관심영역을 기초로 차선표시를 추출하여 상기 차선을 자차선으로 인식하는 자차선 검출모듈을 포함하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제2항에 있어서,
상기 관심영역 설정모듈은,
차선 정보를 예측하는 예측 필터를 이용하여 상기 차선 예측 결과를 산출하고, 상기 산출된 차선 예측 결과와 상기 이전 차선 정보의 상기 차이값을 연산하여 상기 관심영역을 설정하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제2항에 있어서,
상기 차선 예측 결과 및 상기 이전 차선 정보는,
차선에 대한 각도(Angle) 및 오프셋(Offset) 값에 대한 정보를 포함하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제2항에 있어서,
상기 이전 차선 정보는,
상기 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보인, 차선 인식을 이용한 패싱 차량 검출 장치. - 제2항에 있어서,
상기 입력된 영상이 이진화(Binarization)된 이진화 영상인 경우, 상기 도로표시 확인모듈은 상기 이진화 영상의 좌표값에 근거하여 상기 도로표시의 존재를 확인하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제1항에 있어서,
상기 주변차선 검출부는,
상기 검출된 자차선의 너비를 이용하여 상기 주변차선의 관심영역을 설정하는 주변차선 관심영역 설정모듈; 및
상기 설정된 주변차선의 관심영역에서 차선표시를 추출하여 상기 차선을 주변차선으로 검출하는 주변차선 검출모듈을 포함하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제1항에 있어서,
상기 패싱 차량 검출부는,
상기 검출된 주변 차선에서 패싱 차량의 관심영역을 설정하는 패싱 차량 관심영역 설정모듈;
상기 설정된 패싱 차량의 관심영역에서 수직 에지 성분을 추출하는 수직 에지 추출모듈;
상기 추출된 수직 에지 성분을 이용하여 패싱 차량 후보를 검출하는 패싱 차량 후보 검출모듈; 및
상기 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출하는 패싱 차량 검출모듈을 포함하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 제8항에 있어서,
상기 패싱 차량 검출모듈은,
상기 검출된 패싱 차량 후보의 옆면 영상에 대한 서포트 벡터 머신을 수행하여 패싱 차량을 검출하는, 차선 인식을 이용한 패싱 차량 검출 장치. - 차선 인식을 이용한 패싱 차량 검출 방법으로서,
입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 단계;
상기 검출된 자차선의 너비를 이용하여 상기 입력된 영상에서 주변 차선을 검출하는 단계; 및
상기 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 단계를 포함하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제10항에 있어서,
상기 입력된 영상에서 차선 표시를 추출하여 자차선을 검출하는 단계는,
상기 입력된 영상에서 현재의 차선의 도로 영역을 포함하는 확인영역을 설정하는 단계;
상기 설정된 확인영역에서 도로표시의 존재를 확인하는 단계;
상기 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 상기 계산된 차이값에 기초하여 관심영역을 설정하는 단계; 및
상기 설정된 관심영역을 기초로 차선표시를 추출하여 상기 차선을 자차선으로 인식하는 단계를 포함하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제11항에 있어서,
상기 도로표시가 존재하면, 차선 예측 결과와 이전 차선 정보의 차이값을 계산하고, 상기 계산된 차이값에 근거하여 관심영역을 설정하는 단계는,
차선 정보를 예측하는 예측 필터를 이용하여 상기 차선 예측 결과를 산출하고, 상기 산출된 차선 예측 결과와 상기 이전 차선 정보의 상기 차이값을 연산하여 상기 관심영역을 설정하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제11항에 있어서,
상기 차선 예측 결과 및 상기 이전 차선 정보는,
차선에 대한 각도(Angle) 및 오프셋(Offset) 값에 대한 정보를 포함하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제11항에 있어서,
상기 이전 차선 정보는,
상기 차선표시 이전의 차선표시를 추출할 때 얻어진 차선 정보인, 차선 인식을 이용한 패싱 차량 검출 방법. - 제11항에 있어서,
상기 입력된 영상이 이진화(Binarization)된 이진화 영상인 경우, 상기 설정된 확인영역에서 도로표시의 존재를 확인하는 단계는, 상기 이진화 영상의 좌표값에 근거하여 상기 도로표시의 존재를 확인하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제10항에 있어서,
상기 검출된 자차선의 너비를 이용하여 상기 입력된 영상에서 주변 차선을 검출하는 단계는,
상기 검출된 자차선의 너비를 이용하여 상기 주변차선의 관심영역을 설정하는 단계; 및
상기 설정된 주변차선의 관심영역에서 차선표시를 추출하여 상기 차선을 주변차선으로 검출하는 단계를 포함하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제10항에 있어서,
상기 검출된 주변 차선에서 수직 에지 성분을 추출하고, 추출된 수직 에지 성분을 이용하여 패싱 차량을 검출하는 단계는,
상기 검출된 주변 차선에서 패싱 차량의 관심영역을 설정하는 단계;
상기 설정된 패싱 차량의 관심영역에서 수직 에지 성분을 추출하는 단계;
상기 추출된 수직 에지 성분을 이용하여 패싱 차량 후보를 검출하는 단계; 및
상기 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출하는 단계를 포함하는, 차선 인식을 이용한 패싱 차량 검출 방법. - 제17항에 있어서,
상기 검출된 패싱 차량 후보에 대한 서포트 벡터 머신(Support Vector Machine; SVM)을 수행하여 패싱 차량을 검출하는 단계는,
상기 검출된 패싱 차량 후보의 옆면 영상에 대한 서포트 벡터 머신을 수행하여 패싱 차량을 검출하는, 차선 인식을 이용한 패싱 차량 검출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120156418A KR101352662B1 (ko) | 2012-12-28 | 2012-12-28 | 차선 인식을 이용한 패싱 차량 검출 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120156418A KR101352662B1 (ko) | 2012-12-28 | 2012-12-28 | 차선 인식을 이용한 패싱 차량 검출 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101352662B1 true KR101352662B1 (ko) | 2014-01-17 |
Family
ID=50145846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120156418A KR101352662B1 (ko) | 2012-12-28 | 2012-12-28 | 차선 인식을 이용한 패싱 차량 검출 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101352662B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170089330A (ko) * | 2016-01-26 | 2017-08-03 | 주식회사 만도 | 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110123042A (ko) * | 2010-05-06 | 2011-11-14 | 한국산업기술대학교산학협력단 | 지능형 교통 시스템의 교통정보를 산출하기 위한 장치 및 그 방법 |
| KR20120066220A (ko) * | 2010-12-14 | 2012-06-22 | 주식회사 이미지넥스트 | 차량 주변 물체 검출 시스템 및 방법 |
| KR20120098292A (ko) * | 2011-02-28 | 2012-09-05 | 주식회사 와이즈오토모티브 | 차선 검출 방법 |
| KR20120116204A (ko) * | 2011-04-12 | 2012-10-22 | 현대자동차주식회사 | 선행차량을 이용한 차선 인식 장치 및 그 방법 |
-
2012
- 2012-12-28 KR KR1020120156418A patent/KR101352662B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110123042A (ko) * | 2010-05-06 | 2011-11-14 | 한국산업기술대학교산학협력단 | 지능형 교통 시스템의 교통정보를 산출하기 위한 장치 및 그 방법 |
| KR20120066220A (ko) * | 2010-12-14 | 2012-06-22 | 주식회사 이미지넥스트 | 차량 주변 물체 검출 시스템 및 방법 |
| KR20120098292A (ko) * | 2011-02-28 | 2012-09-05 | 주식회사 와이즈오토모티브 | 차선 검출 방법 |
| KR20120116204A (ko) * | 2011-04-12 | 2012-10-22 | 현대자동차주식회사 | 선행차량을 이용한 차선 인식 장치 및 그 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170089330A (ko) * | 2016-01-26 | 2017-08-03 | 주식회사 만도 | 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템 |
| KR102501234B1 (ko) * | 2016-01-26 | 2023-02-21 | 주식회사 에이치엘클레무브 | 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106485233B (zh) | 可行驶区域检测方法、装置和电子设备 | |
| US9047518B2 (en) | Method for the detection and tracking of lane markings | |
| JP4775391B2 (ja) | 障害物検出装置 | |
| EP3258214B1 (en) | Object detection device | |
| JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
| EP2963634B1 (en) | Stereo camera device | |
| EP3705371A1 (en) | Obstacle detecting device | |
| JP2008123462A (ja) | 物体検知装置 | |
| JP5894201B2 (ja) | 境界線認識装置 | |
| JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
| KR20160087273A (ko) | 차량 안전 주행 장치 | |
| EP3282389A1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| US20160188984A1 (en) | Lane partition line recognition apparatus | |
| EP3690802A1 (en) | Vehicle exterior recognition device | |
| KR101687094B1 (ko) | 교통 표지판 인식 장치 및 교통 표지판 인식 방법 | |
| JP5997962B2 (ja) | 車載レーンマーカ認識装置 | |
| JP4762830B2 (ja) | 周辺監視システム | |
| JP2011103058A (ja) | 誤認識防止装置 | |
| US11100340B2 (en) | Line detector for vehicle and method for detecting line for vehicle | |
| KR101352662B1 (ko) | 차선 인식을 이용한 패싱 차량 검출 장치 및 방법 | |
| KR101595317B1 (ko) | 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템 | |
| KR20130006752A (ko) | 차선 인식 장치 및 그 방법 | |
| KR20150138898A (ko) | 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법 | |
| EP3287948A1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| JP2014067320A (ja) | ステレオカメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161222 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171222 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181226 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20191219 Year of fee payment: 7 |