KR101716973B1 - Apparatus and method for detecting vehicle on road using stereo image - Google Patents
Apparatus and method for detecting vehicle on road using stereo image Download PDFInfo
- Publication number
- KR101716973B1 KR101716973B1 KR1020150163731A KR20150163731A KR101716973B1 KR 101716973 B1 KR101716973 B1 KR 101716973B1 KR 1020150163731 A KR1020150163731 A KR 1020150163731A KR 20150163731 A KR20150163731 A KR 20150163731A KR 101716973 B1 KR101716973 B1 KR 101716973B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- vehicle
- unit
- obstacle
- search area
- Prior art date
Links
Images
Classifications
-
- G06K9/00825—
-
- G06K9/00798—
-
- G06K2209/23—
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 두 개의 카메라로부터 획득된 좌/우 영상을 기반으로 획득한 시차맵(Disparity)맵을 근거로 도로상에 존재하는 차량을 검출하는 장치 및 방법에 관한 것이다.The present invention relates to a vehicle detection apparatus and method on a stereo image-based road, and more particularly, to a vehicle detection apparatus and method on a road based on a stereo image based on a disparity map obtained based on left / right images obtained from two cameras And more particularly, to an apparatus and method for detecting a vehicle.
스테레오 비전은 3차원 정보를 제공할 수 있어, 차량과 같은 장애물과 배경의 구분이 용이하여 스테레오 영상을 이용하면 장애물(예컨대, 차량일 수 있음) 검출 성능을 향상시킬 수 있다. Stereo vision can provide three-dimensional information, and it is easy to distinguish the background from an obstacle such as a vehicle, so that the performance of detecting an obstacle (for example, a vehicle) can be improved by using a stereo image.
뿐만 아니라, 스테레오 영상을 이용하면 장애물(예컨대, 차량)과의 거리, 장애물(예컨대, 차량)의 속도 등도 비교적 정밀하게 추출할 수 있다. In addition, by using a stereo image, the distance to an obstacle (e.g., a vehicle), the speed of an obstacle (e.g., a vehicle), and the like can be extracted relatively accurately.
그러나, 종래의 스테레오 비전을 이용한 장애물 검출 방법은 스테레오 영상의 시차맵(Disparity Map)의 해상도, 스테레오 매칭 에러 또는 영상 노이즈 등으로 인해 장애물을 정밀하게 검출하지 못할 수 있다.However, the conventional obstacle detection method using stereo vision may not accurately detect an obstacle due to a resolution of a disparity map of a stereo image, a stereo matching error, or an image noise.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 도로상의 차량(장애물)을 보다 정확하게 검출할 수 있도록 하는 장치 및 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for more accurately detecting a vehicle (obstacle) on the road.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 스테레오 영상 기반 도로상의 차량 검출 장치는, 스테레오 영상을 기반으로 생성된 시차맵으로부터 하나 이상의 직선을 추출하는 차선 검출부; 상기 하나 이상의 직선을 근거로 유효 탐색 영역을 설정하는 유효 탐색 영역 설정부; 상기 유효 탐색 영역의 정보에 대한 값을 가로 방향 및 세로 방향으로 누적한 히스토그램 정보를 생성하는 히스토그램 생성부; 상기 히스토그램 정보를 기반으로 장애물 영역으로 추정되는 영역의 경계를 획득하는 장애물 영역 추정부; 상기 유효 탐색 영역 설정부에서 설정한 유효 탐색 영역에 대해 조감도 이미지를 생성하는 조감도 생성부; 상기 조감도 이미지에서 유효 탐색 영역에 존재하는 차량 영역을 식별해 내는 차량 영역 식별부; 상기 차량 영역 식별부에서 차량 영역을 식별해 냄에 따라 차량 식별 결과를 포함한 조감도 이미지를 다시 시차맵으로 역변환하는 역변환부; 및 상기 역변환부에서의 시차맵을, 상기 장애물 영역 추정부에서 획득한 장애물 영역 및 상기 차량 영역 식별부에서 식별해 낸 차량 영역과 비교하여 중복되는 장애물을 차량으로 식별해 내는 차량 검출부;를 포함한다.In order to achieve the above object, according to a preferred embodiment of the present invention, a vehicle detection apparatus on a stereo-image-based road includes: a lane detection unit for extracting one or more straight lines from a parallax map generated based on a stereo image; An effective search area setting unit for setting an effective search area based on the at least one straight line; A histogram generation unit for generating histogram information in which values of information of the valid search area are accumulated in a horizontal direction and a vertical direction; An obstacle area estimating unit for acquiring a boundary of an area estimated to be an obstacle area based on the histogram information; A bird's-eye view generating unit for generating a bird's-eye view image for the effective search area set by the valid search area setting unit; A vehicle area identification unit for identifying a vehicle area present in the valid search area in the bird's-eye image; An inverse transformation unit for inversely converting the bird's-eye image including the vehicle identification result back to the parallax map as the vehicle area identification unit identifies the vehicle area; And a vehicle detection unit that compares the parallax map in the inverse transform unit with the obstacle area obtained in the obstacle area estimating unit and the vehicle area identified in the vehicle area identifying unit to identify the overlapped obstacle as a vehicle .
상기 유효 탐색 영역 설정부는, 상기 차선 검출부에서 추출된 하나 이상의 직선이 한 곳으로 모이는 지점을 소실점으로 판단할 수 있고, 상기 소실점을 통과하는 직선중에서 양 끝에 해당하는 직선을 경계로 하는 유효 탐색 영역을 설정할 수 있다.The valid search area setting unit may determine a point where one or more straight lines extracted from the lane detecting unit converge to a vanishing point and determine a valid search area having a straight line corresponding to both ends of a straight line passing through the vanishing point as a boundary Can be set.
상기 히스토그램 생성부는, 장애물의 수직 위치를 추정하기 위해 상기 유효 탐색 영역에 대한 시차맵의 밝기 값을 가로 방향으로 누적시킨 히스토그램 정보를 구할 수 있고, 장애물의 수평 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 세로 방향으로 누적시킨 히스토그램 정보를 구할 수 있다.The histogram generator may obtain histogram information in which the brightness values of the parallax map for the valid search area are accumulated in the horizontal direction in order to estimate the vertical position of the obstacle. In order to estimate the horizontal position of the obstacle, Histogram information obtained by accumulating brightness values of the parallax map in the vertical direction can be obtained.
그리고, 본 발명의 바람직한 실시양태에 따른 스테레오 영상 기반 도로상의 차량 검출 방법은, 차선 검출부가, 스테레오 영상을 기반으로 생성된 시차맵으로부터 하나 이상의 직선을 추출하는 단계; 유효 탐색 영역 설정부가, 상기 하나 이상의 직선을 근거로 유효 탐색 영역을 설정하는 단계; 히스토그램 생성부가, 상기 유효 탐색 영역의 정보에 대한 값을 가로 방향 및 세로 방향으로 누적한 히스토그램 정보를 생성하는 단계; 장애물 영역 추정부가, 상기 히스토그램 정보를 기반으로 장애물 영역으로 추정되는 영역의 경계를 획득하는 단계; 조감도 생성부가, 상기 유효 탐색 영역에 대해 조감도 이미지를 생성하는 단계; 차량 영역 식별부가, 상기 조감도 이미지에서 유효 탐색 영역에 존재하는 차량 영역을 식별해 내는 단계; 역변환부가, 상기 차량 영역을 식별해 내는 단계에서 차량 영역을 식별해 냄에 따라 차량 식별 결과를 포함한 조감도 이미지를 다시 시차맵으로 역변환하는 단계; 및 차량 검출부가, 상기 역변환하여 얻은 시차맵을, 상기 장애물 영역으로 추정되는 영역의 경계를 회득하는 단계에서 획득한 장애물 영역 및 상기 차량 영역을 식별해 내는 단계에서 식별해 낸 차량 영역과 비교하여 중복되는 장애물을 차량으로 식별해 내는 단계;를 포함한다.In addition, a method of detecting a vehicle on a stereo image-based road according to a preferred embodiment of the present invention includes the steps of: extracting one or more straight lines from a parallax map generated based on a stereo image; Setting an effective search area setting unit to set an effective search area based on the at least one straight line; Generating histogram information by accumulating values of information of the valid search area in the horizontal direction and the vertical direction; An obstacle region estimating unit, obtaining a boundary of an area estimated as an obstacle region based on the histogram information; Generating a bird's-eye image for the effective search area; Identifying a vehicle area present in the valid search area in the bird's-eye image; Inverting the bird's-eye image including the vehicle identification result back to the parallax map as the inverse transform unit identifies the vehicle area at the step of identifying the vehicle area; And the vehicle detection unit compares the obtained parallax map with the vehicle area identified in the step of identifying the obstacle area and the vehicle area acquired in the step of acquiring the boundary of the area estimated as the obstacle area, And identifying the obstacle as a vehicle.
이러한 구성의 본 발명에 따르면, 스테레오 영상을 기반으로 획득한 시차맵으로부터 장애물(예컨대, 차량)이 포함될 가능성이 높은 유효 탐색 영역을 설정하고, 유효 탐색 영역의 정보를 근거로 장애물 영역으로 추정되는 영역의 경계를 획득한 후에, 유효 탐색 영역에 대해 조감도 이미지를 생성하여 해당 영역에 존재하는 사각형상의 차량 영역을 검출하고, 장애물 영역 및 차량 영역과 중복되는 장애물을 차량으로 식별할 수 있으므로, 도로상의 차량(장애물)을 보다 정확하게 검출할 수 있게 된다.According to the present invention having such a configuration, an effective search area that is highly likely to include an obstacle (e.g., a vehicle) from a parallax map acquired based on a stereo image is set, and a region estimated as an obstacle area based on information of the valid search area A bird's eye view image is generated for the valid search area to detect a vehicle area on a quadrangle existing in the corresponding area and an obstacle overlapping the obstacle area and the vehicle area can be identified as a vehicle, (Obstacle) can be detected more accurately.
도 1은 본 발명의 실시예에 따른 스테레오 영상 기반 도로상의 차량 검출 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 스테레오 영상 기반 도로상의 차량 검출 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 11은 도 2의 흐름도 설명에 채용되는 도면들이다.1 is a block diagram of a vehicle detection apparatus on a stereo image-based road according to an embodiment of the present invention.
2 is a flowchart illustrating a vehicle detection method on a stereo image-based road according to an embodiment of the present invention.
Figs. 3 to 11 are views employed in the description of the flowchart of Fig.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 본 발명의 실시예에 따른 스테레오 영상 기반 도로상의 차량 검출 장치의 구성도이다.1 is a block diagram of a vehicle detection apparatus on a stereo image-based road according to an embodiment of the present invention.
본 발명의 실시예에 따른 스테레오 영상 기반 도로상의 차량 검출 장치는, 제 1 카메라(10), 제 2 카메라(12), 매칭부(14), 시차맵 생성부(16), 차선 검출부(18), 유효 탐색 영역 설정부(20), 히스토그램 생성부(22), 장애물 영역 추정부(24), 조감도 생성부(26), 차량 영역 식별부(28), 역변환부(30), 및 차량 검출부(32)를 포함한다.A vehicle detection apparatus on a stereo image-based road according to an embodiment of the present invention includes a
제 1 카메라(10) 및 제 2 카메라(12)는 차량의 전방 또는 차량의 전방 유리창 부근에 설치되어 해당 차량의 전방의 영상을 촬영한다. The
제 1 카메라(10)와 제 2 카메라(12)는 나란히 좌우로 설치될 수 있다. 그에 따라, 예를 들어 제 1 카메라(10)를 좌측 카메라라고 할 수 있고, 제 2 카메라(12)를 우측 카메라라고 할 수 있다.The
매칭부(14)는 제 1 카메라(10)와 제 2 카메라(12)로부터 획득한 좌/우 영상을 기반으로 스테레오 매칭을 수행한다.The matching
시차맵 생성부(16)는 매칭부(14)에서의 스테레오 매칭을 근거로 시차맵을 생성한다.The parallax
차선 검출부(18)는 시차맵 생성부(16)의 시차맵으로부터 장애물(예컨대, 차량)이 포함될 가능성이 높은 도로 영역을 식별하기 위해 하나 이상의 차선(예컨대, 직선 성분)을 추출한다.The
유효 탐색 영역 설정부(20)는 차선 검출부(18)에서 추출된 하나 이상의 차선이 한 곳으로 모이는 지점을 소실점으로 판단하고, 해당 소실점을 통과하는 차선중에서 양 끝에 해당하는 차선(즉, 직선)을 경계로 하는 유효 탐색 영역을 설정한다. 여기서, 유효 탐색 영역은 장애물(예컨대, 차량)이 포함될 가능성이 높은 영역을 의미한다.The valid search
히스토그램 생성부(22)는 유효 탐색 영역 설정부(20)에서 설정된 유효 탐색 영역의 정보에 대한 값을 가로 방향 및 세로 방향으로 누적한 히스토그램 정보를 생성한다.The
보다 상세하게는, 히스토그램 생성부(22)는 장애물(예컨대, 차량)의 수직 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 가로 방향으로 누적시킨 히스토그램 정보를 구할 수 있다.More specifically, the
그리고, 히스토그램 생성부(22)는 장애물(예컨대, 차량)의 수평 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 세로 방향으로 누적시킨 히스토그램 정보를 구할 수 있다.In order to estimate the horizontal position of the obstacle (e.g., a vehicle), the
본 발명에서는 히스토그램 생성부(22)가 가로 및 세로 방향 중에서 어느 한 방향만으로 누적시킨 히스토그램 정보를 생성하는 것이 아니라, 가로 및 세로 방향의 각각으로 누적한 히스토그램 정보를 생성하므로, 후술할 장애물 영역 추정부(24)에서는 장애물 영역으로 추정되는 영역의 경계를 보다 정확하게 획득할 수 있게 된다.In the present invention, the
장애물 영역 추정부(24)는 히스토그램 생성부(22)에서 생성한 히스토그램 정보를 기반으로 장애물 영역(즉, 차량이라고 해석할 수 있는 영역)으로 추정되는 영역의 경계를 획득한다.The obstacle
조감도 생성부(26)는 유효 탐색 영역 설정부(20)에서 설정한 유효 탐색 영역에 대해 조감도(Top-View) 이미지를 생성한다. 조감도 이미지를 보면 유효 탐색 영역내의 장애물이 차량인지 아닌지를 정확히 알 수 있다.The bird's-eye
차량 영역 식별부(28)는 조감도 생성부(26)에서 생성한 조감도 이미지에서 유효 탐색 영역에 존재하는 사각형의 형상을 갖는 차량 영역을 식별해 낸다.The vehicle
역변환부(30)는 차량 영역 식별부(28)에서 차량 영역을 식별해 냄에 따라 조감도 이미지를 다시 시차맵이 되도록 변환한다. 즉, 역변환부(30)는 차량 식별 결과를 포함한 조감도 이미지를 시차맵이 되도록 역변환한다.The
차량 검출부(32)는 역변환부(30)의 결과인 시차맵을, 장애물 영역 추정부(24)에서 획득한 장애물 영역 및 차량 영역 식별부(28)에서 식별해 낸 차량 영역과 비교하여 중복되는 장애물을 차량으로 식별해 낸다.The
본 발명에서, 차량 검출부(32)는 역변환부(30)의 결과인 시차맵을, 장애물 영역 추정부(24)에서 획득한 장애물 영역 및 차량 영역 식별부(28)에서 식별해 낸 차량 영역 중에서 어느 하나와 비교하는 것이 아니라, 2개의 영역(즉, 장애물 영역 및 차량 영역)과 비교하여 중복되는 장애물을 차량으로 식별하므로, 차량 식별을 보다 정확하게 할 수 있다.In the present invention, the
도 2는 본 발명의 실시예에 따른 스테레오 영상 기반 도로상의 차량 검출 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 11은 도 2의 흐름도 설명에 채용되는 도면들이다.FIG. 2 is a flowchart for explaining a vehicle detection method on a stereo image-based road according to an embodiment of the present invention, and FIGS. 3 to 11 are views employed in the description of the flowchart of FIG.
먼저, 차량(도 3에서, 1)에 설치된 제 1 카메라(10)와 제 2 카메라(12)로 촬영하여 획득한 차량 전방의 좌/우 영상(도 3에서, 2,3)을 기반으로 스테레오 매칭하여 얻은 시차맵(도 3에서, 4)으로부터 장애물(예컨대, 차량)이 포함될 가능성이 높은 영역을 유효 탐색 영역으로 설정한다(S10). 여기서, 유효 탐색 영역 설정까지의 동작은 제 1 카메라(10), 제 2 카메라(12), 매칭부(14), 시차맵 생성부(16), 차선 검출부(18), 및 유효 탐색 영역 설정부(20)를 통해 행해진다.First, based on the left / right images (2, 3 in Fig. 3) of the front of the vehicle captured and acquired by the
이하에서, 상기 단계 S10을 보다 구체적으로 설명한다. 특정 사물을 스테레오 카메라(10, 12)를 통해 획득한 영상은 기하학적인 원리에 의해 각 카메라(10, 12)에서 획득한 이미지(2, 3)에서 서로 다른 좌표에 형성된다. 이러한 동일 물체의 정보를 가진 두 이미지(2, 3)에서 동일한 정보를 가지는 픽셀들의 카메라 원점과의 거리의 차이를 변위(disparity)라고 한다. 이러한 변위는 카메라와 물체가 멀어질수록 큰 차이를 갖게 된다. 다시 말해서, 카메라와 물체 사이의 거리인 "깊이" 정보를 획득하기 위해서는 좌/우 두 이미지(도 3에서 2, 3)에서 동일한 물체를 찾는 과정(즉, 스테레오 매칭) 즉, 어느 한쪽 이미지에서 나타난 물체가 동일한 시점에 획득된 다른 카메라에서 획득한 이미지에서 어느 위치에 있는 물체에 해당하는지 파악하는 과정이 필요하다. 이러한 스테레오 매칭은 매칭부(14)에서 수행한다.Hereinafter, step S10 will be described in more detail. The images obtained through the
한편, 스테레오 이미지가 두 대의 동일한 평면상에 위치한 카메라(10, 12)에 의해 동시에 촬영된 이미지라면, 좌/우 이미지(2, 3) 중에 하나를 기준 이미지로 정하고, 다른 하나를 대상 이미지로 정하여, 기준 이미지 내의 특정 픽셀에 해당하는 실제 사물의 특징점에 대해 대상 이미지 내에서는 어떤 픽셀이 나타내는지를 파악해야 한다. 이를 위해, 일반적으로 기준 이미지의 특정 픽셀을 중심으로 일정 크기의 윈도우(window)를 설정하며, 대상 이미지에 대해서 높은 유사도를 갖는 위치를 찾게 되면 해당 픽셀이 기준 이미지의 특정 픽셀에 해당하는 대응 픽셀로 판단할 수 있으며, 이 두 픽셀 값의 거리 차이가 변위라고 할 수 있다.On the other hand, if the stereo image is an image simultaneously photographed by two
이와 같이 스테레오 카메라(10, 12)의 촬영 이미지에 나타난 각 사물의 시차값을 획득하고, 획득된 시차값, 두 카메라 간의 거리(base line) 및 카메라 초점 거리(focal length)를 이용하여 거리 정보를 추출하고, 이 정보를 0에서 2255사이의 값(Gray Value)으로 표현함으로써 시차맵(4)을 생성할 수 있다. 시차맵(4)은 시차맵 생성부(16)에서 생성한다.In this manner, the parallax values of each object shown in the captured images of the
시차맵(4)으로부터 장애물이 포함될 가능성이 높은 도로 영역을 식별하기 위해 복수 개의 직선 성분(즉, 차선 성분)을 추출하여 직선 성분이 한 곳으로 모이는 지점을 소실점(도 4에서, 5)으로 판단한다. 이후, 해당 소실점(5)을 통과하는 직선 중 양 끝에 해당하는 직선을 경계로 하는 유효 탐색 영역(도 5에서, 6)을 설정한다. 여기서, 직선 성분 추출은 차선 검출부(18)에서 수행하고, 소실점(5) 판단 및 유효 탐색 영역(6) 설정은 유효 탐색 영역 설정부(20)에서 수행한다.A plurality of straight line components (i.e., lane line components) are extracted from the parallax map 4 in order to identify a road area likely to include an obstacle, and a point at which straight line components converge is judged as a vanishing point (5 in Fig. 4) do. Thereafter, an effective search area (6 in Fig. 5) is set with a straight line corresponding to both ends of a straight line passing through the vanishing
그리고, 상술한 단계 S10 이후에, 장애물(예컨대, 차량)이 포함될 가능성이 높은 유효 탐색 영역의 정보에 대한 값을 세로와 가로 방향으로 누적한 히스토그램 정보를 기반으로 장애물 영역으로 추정되는 영역의 경계를 획득한다(S20). 여기서, 단계 S20의 동작은 히스토그램 생성부(22) 및 장애물 영역 추정부(24)에서 행해진다. After step S10 described above, the boundary of the region estimated to be the obstacle region based on the histogram information accumulated in the vertical and horizontal directions for the value of the information of the effective search region likely to include the obstacle (e.g., vehicle) (S20). Here, the operation of step S20 is performed by the
이하에서, 상기 단계 S20을 보다 구체적으로 설명한다. 히스토그램 생성부(22)는 장애물(예컨대, 차량)의 수직 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 가로 방향으로 누적시킨 히스토그램 정보(도 6 참조)를 구한다. 그리고, 히스토그램 생성부(22)는 장애물(예컨대, 차량)의 수평 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 세로 방향으로 누적시킨 히스토그램 정보(도 8 참조)를 구한다.Hereinafter, step S20 will be described in more detail. The
그 후, 장애물 영역 추정부(24)는 히스토그램 생성부(22)에서 생성한 히스토그램 정보를 기반으로 장애물 영역(즉, 차량이라고 해석할 수 있는 영역)으로 추정되는 영역의 경계(도 7, 도 9 참조)를 획득한다.Thereafter, the obstacle
그리고, 상술한 단계 S20 이후에, 유효 탐색 영역에 대해 시차맵을 근거로 조감도 이미지를 생성하여 해당 영역내의 사각 형상을 갖는 차량 영역을 검출한다(S30). 즉, 장애물이 포함될 가능성이 높은 유효 탐색 영역에 대해 조감도(Top-View) 이미지를 생성하여 해당 영역 내에 존재하는 사각형의 형상을 갖는 차량 영역을 검출한다. 여기서, 단계 S30의 동작은 조감도 생성부(26) 및 차량 영역 식별부(28)에서 행해진다.After step S20 described above, a bird's eye view image is generated based on the parallax map with respect to the effective search area, and a vehicle area having a rectangular shape within the corresponding area is detected (S30). That is, a top-view image is generated for an effective search area likely to include an obstacle, and a vehicle area having a shape of a rectangle existing in the corresponding area is detected. Here, the operation of step S30 is performed in the bird's-eye
이하에서, 상기 단계 S30을 보다 구체적으로 설명한다. 장애물이 포함될 가능성이 높은 유효 탐색 영역에 대한 조감도 이미지를 생성하기 위해서는 Perspective 투영이 사용된다. Perspective 투영이란 카메라를 기준으로 이미지가 투영되는 면을 변화시기는 과정으로 조감도 이미지로 변환된 좌표(x’, y’)는 시차맵에서의 특정 좌표(x, y)와 투영행렬의 곱으로 하기의 식 1과 같이 나타낼 수 있다. Hereinafter, the step S30 will be described in more detail. Perspective projection is used to create a bird's-eye image for an effective search area that is likely to contain obstacles. Perspective projection is a process of changing the plane on which the image is projected with respect to the camera. The coordinates (x ', y') converted into the bird's-eye image are obtained by multiplying the specific coordinates (x, y) (1) View the MathML source
(식 1)(Equation 1)
상기의 식 1은 아래와 같은 식 2로 정리될 수 있다.Equation (1) can be summarized as Equation (2) below.
(식 2)(Equation 2)
그리고, 식 2는 식 3으로 정리되고, 식 3은 식 4로 정리될 수 있다.
(식 3)(Equation 3)
(식 4)(Equation 4)
(여기서, N은 포인트 개수를 의미한다. 포인트(Point) 1, 포인트 2, 포인트 3, 포인트 4는 두 개의 차선의 양쪽 끝점을 의미한다) (Here, N means the number of points. Point 1,
정리된 위의 식 4를 참조하면 시차맵에서의 좌표(x,y) 4개와 그에 대응하는 조감도 이미지에서의 좌표(x', y') 4개를 알면 Perspective 투영 행렬의 8개의 변수(a, b, ..., h)를 구할 수 있다. 그리고 투영행렬이 구해지면 도 10과 같은 조감도 이미지로 변환할 수 있다.(X, y) in the parallax map and four coordinates (x ', y') in the bird's-eye image corresponding to the coordinates (x, y) b, ..., h). When the projection matrix is obtained, the image can be converted into the bird's-eye image shown in FIG.
조감도 이미지로부터 일반적인 차량의 형태인 사각형 형태의 영역을 차량 영역으로 식별하면 되는데, 도 10에서 보는 바와 같이 시차맵의 이미지에서 적은 수의 화소로 나타나는 카메라로부터 멀리 떨어진 장애물에 대한 조감도 이미지는 실제 장애물의 형태와는 달리 카메라로부터 멀리 떨어진 부분이 더 크게 보이게 된다. 이는 시차맵에 포함되어 있지 않은 영역을 주위 픽셀값을 참조하여 가상으로 생성되는 부분이기 때문에 불필요한 영역을 제거해야 한다. 10, a bird's-eye image of an obstacle far from the camera, which is represented by a small number of pixels in an image of a parallax map, is a real obstacle Unlike the shape, the part far from the camera becomes bigger. This is because the region that is not included in the time difference map is a portion that is virtually generated by referring to surrounding pixel values, and therefore, an unnecessary region must be removed.
그리고, 상술한 단계 S30 이후에, 조감도 이미지를 다시 시차맵으로 변환한다(S40). 즉, 역변환부(30)는 상기 단계 S30에서 차량 영역이 검출되면 차량 식별 결과를 포함한 조감도 이미지를 다시 시차맵으로 변환한다. 다시 말해서, 조감도 이미지를 생성하기 위해 구한 투영 행렬(식 1 참조)의 역행렬을 이용하여 조감도 이미지(차량 식별 결과를 포함)를 시차맵으로 변환할 수 있다.Then, after the above-described step S30, the bird's-eye view image is converted into the parallax map again (S40). That is, when the vehicle area is detected in step S30, the
그리고, 상술한 단계 S40 이후에, 도 11에서와 같이 차량 검출부(32)는 역변환부(30)의 결과인 시차맵(즉, 도 11에서 중앙의 도면 참조)을, 장애물 영역 추정부(24)에서 획득한 장애물 영역(즉, 도 11에서 중앙의 도면의 상측 및 우측에 위치한 도면 참조) 및 차량 영역 식별부(28)에서 식별해 낸 차량 영역(즉, 도 11에서 중앙의 도면의 하측에 위치한 도면 참조)과 비교하여 중복되는 장애물(도 11에서, 7)을 차량으로 식별해 낸다(S50). 여기서, 차량 검출부(32)는 역변환부(30)의 결과인 시차맵을, 장애물 영역 또는 차량 영역과 비교하는 것이 아니라, 2개의 영역(즉, 장애물 영역 및 차량 영역) 모두와 비교하여 중복되는 장애물을 차량으로 식별하므로 차량 식별을 보다 정확하게 할 수 있다.11, the
상술한 바와 같은 본 발명의 실시예에 의해, 도로상의 차량을 보다 정확하게 검출할 수 있게 된다.According to the embodiment of the present invention as described above, the vehicle on the road can be detected more accurately.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. While specific terms have been employed herein, they are used for the purpose of describing the invention only and are not used to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
10 : 제 1 카메라 12 : 제 2 카메라
14 : 매칭부 16 : 시차맵 생성부
18 : 차선 검출부 20 : 유효 탐색 영역 설정부
22 : 히스토그램 생성부 24 : 장애물 영역 추정부
26 : 조감도 생성부 28 : 차량 영역 식별부
30 : 역변환부 32 : 차량 검출부10: first camera 12: second camera
14: matching unit 16:
18: lane detection unit 20: valid search area setting unit
22: histogram generator 24: obstacle area estimator
26: bird's-eye view generating unit 28: vehicle area identifying unit
30: inverting section 32: vehicle detecting section
Claims (6)
상기 하나 이상의 직선을 근거로 유효 탐색 영역을 설정하는 유효 탐색 영역 설정부;
상기 유효 탐색 영역의 정보에 대한 값을 가로 방향 및 세로 방향으로 누적한 히스토그램 정보를 생성하는 히스토그램 생성부;
상기 히스토그램 정보를 기반으로 장애물 영역으로 추정되는 영역의 경계를 획득하는 장애물 영역 추정부;
상기 유효 탐색 영역 설정부에서 설정한 유효 탐색 영역에 대해 조감도 이미지를 생성하는 조감도 생성부;
상기 조감도 이미지에서 유효 탐색 영역에 존재하는 차량 영역을 식별해 내는 차량 영역 식별부;
상기 차량 영역 식별부에서 차량 영역을 식별해 냄에 따라 차량 식별 결과를 포함한 조감도 이미지를 다시 시차맵으로 역변환하는 역변환부; 및
상기 역변환부에서의 시차맵을, 상기 장애물 영역 추정부에서 획득한 장애물 영역 및 상기 차량 영역 식별부에서 식별해 낸 차량 영역과 비교하여 중복되는 장애물을 차량으로 식별해 내는 차량 검출부;를 포함하는 것을 특징으로 하는 스테레오 영상 기반 도로상의 차량 검출 장치.A lane detection unit that extracts one or more straight lines from a parallax map generated based on a stereo image;
An effective search area setting unit for setting an effective search area based on the at least one straight line;
A histogram generation unit for generating histogram information in which values of information of the valid search area are accumulated in a horizontal direction and a vertical direction;
An obstacle area estimating unit for acquiring a boundary of an area estimated to be an obstacle area based on the histogram information;
A bird's-eye view generating unit for generating a bird's-eye view image for the effective search area set by the valid search area setting unit;
A vehicle area identification unit for identifying a vehicle area present in the valid search area in the bird's-eye image;
An inverse transformation unit for inversely converting the bird's-eye image including the vehicle identification result back to the parallax map as the vehicle area identification unit identifies the vehicle area; And
And a vehicle detection unit for comparing the parallax map in the inverse transform unit with the obstacle area obtained by the obstacle area estimating unit and the vehicle area identified by the vehicle area identifying unit to identify the overlapped obstacle as a vehicle Wherein the vehicle detection device is a stereo image-based road detection device.
상기 유효 탐색 영역 설정부는,
상기 차선 검출부에서 추출된 하나 이상의 직선이 한 곳으로 모이는 지점을 소실점으로 판단하고, 상기 소실점을 통과하는 직선중에서 양 끝에 해당하는 직선을 경계로 하는 유효 탐색 영역을 설정하는 것을 특징으로 하는 스테레오 영상 기반 도로상의 차량 검출 장치.The method according to claim 1,
Wherein the effective search area setting unit comprises:
Wherein the lane detecting unit determines a point at which one or more straight lines extracted from the lane detecting unit converges to a vanishing point and sets a valid search area having a straight line corresponding to both ends of a straight line passing through the vanishing point as a boundary. A vehicle detection device on the road.
상기 히스토그램 생성부는,
장애물의 수직 위치를 추정하기 위해 상기 유효 탐색 영역에 대한 시차맵의 밝기 값을 가로 방향으로 누적시킨 히스토그램 정보를 구하고,
장애물의 수평 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 세로 방향으로 누적시킨 히스토그램 정보를 구하는 것을 특징으로 하는 스테레오 영상 기반 도로상의 차량 검출 장치.The method according to claim 1,
Wherein the histogram generator comprises:
Histogram information obtained by accumulating brightness values of a parallax map for the effective search area in the horizontal direction is obtained in order to estimate the vertical position of the obstacle,
Wherein the histogram information obtained by accumulating brightness values of the parallax map in the vertical direction with respect to the effective search area is obtained in order to estimate the horizontal position of the obstacle.
유효 탐색 영역 설정부가, 상기 하나 이상의 직선을 근거로 유효 탐색 영역을 설정하는 단계;
히스토그램 생성부가, 상기 유효 탐색 영역의 정보에 대한 값을 가로 방향 및 세로 방향으로 누적한 히스토그램 정보를 생성하는 단계;
장애물 영역 추정부가, 상기 히스토그램 정보를 기반으로 장애물 영역으로 추정되는 영역의 경계를 획득하는 단계;
조감도 생성부가, 상기 유효 탐색 영역에 대해 조감도 이미지를 생성하는 단계;
차량 영역 식별부가, 상기 조감도 이미지에서 유효 탐색 영역에 존재하는 차량 영역을 식별해 내는 단계;
역변환부가, 상기 차량 영역을 식별해 내는 단계에서 차량 영역을 식별해 냄에 따라 차량 식별 결과를 포함한 조감도 이미지를 다시 시차맵으로 역변환하는 단계; 및
차량 검출부가, 상기 역변환하여 얻은 시차맵을, 상기 장애물 영역으로 추정되는 영역의 경계를 회득하는 단계에서 획득한 장애물 영역 및 상기 차량 영역을 식별해 내는 단계에서 식별해 낸 차량 영역과 비교하여 중복되는 장애물을 차량으로 식별해 내는 단계;를 포함하는 것을 특징으로 하는 스테레오 영상 기반 도로상의 차량 검출 방법.The lane detecting unit extracting one or more straight lines from the parallax map generated based on the stereo image;
Setting an effective search area setting unit to set an effective search area based on the at least one straight line;
Generating histogram information by accumulating values of information of the valid search area in the horizontal direction and the vertical direction;
An obstacle region estimating unit, obtaining a boundary of an area estimated as an obstacle region based on the histogram information;
Generating a bird's-eye image for the effective search area;
Identifying a vehicle area present in the valid search area in the bird's-eye image;
Inverting the bird's-eye image including the vehicle identification result back to the parallax map as the inverse transform unit identifies the vehicle area at the step of identifying the vehicle area; And
The vehicle detection unit compares the obtained parallax map with the obstacle area acquired in the step of acquiring the boundary of the area estimated as the obstacle area and the vehicle area identified in the step of identifying the vehicle area, And identifying the obstacle as a vehicle. ≪ Desc / Clms Page number 24 >
상기 유효 탐색 영역을 설정하는 단계는,
상기 직선을 추출하는 단계에서 추출된 하나 이상의 직선이 한 곳으로 모이는 지점을 소실점으로 판단하고, 상기 소실점을 통과하는 직선중에서 양 끝에 해당하는 직선을 경계로 하는 유효 탐색 영역을 설정하는 것을 특징으로 하는 스테레오 영상 기반 도로상의 차량 검출 방법.The method of claim 4,
Wherein the step of setting the valid search area comprises:
Determining a point at which one or more straight lines extracted at the step of extracting the straight line converge to one point and setting an effective search area having a straight line corresponding to both ends of the straight line passing through the vanishing point as a boundary, A method of vehicle detection on a stereo image based road.
상기 히스토그램 정보를 생성하는 단계는,
장애물의 수직 위치를 추정하기 위해 상기 유효 탐색 영역에 대한 시차맵의 밝기 값을 가로 방향으로 누적시킨 히스토그램 정보를 구하고,
장애물의 수평 위치를 추정하기 위해 유효 탐색 영역에 대한 시차맵의 밝기 값을 세로 방향으로 누적시킨 히스토그램 정보를 구하는 것을 특징으로 하는 스테레오 영상 기반 도로상의 차량 검출 방법.The method of claim 4,
Wherein the step of generating the histogram information comprises:
Histogram information obtained by accumulating brightness values of a parallax map for the effective search area in the horizontal direction is obtained in order to estimate the vertical position of the obstacle,
Wherein the histogram information is obtained by accumulating brightness values of the parallax map in the vertical direction with respect to the valid search area in order to estimate the horizontal position of the obstacle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150163731A KR101716973B1 (en) | 2015-11-23 | 2015-11-23 | Apparatus and method for detecting vehicle on road using stereo image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150163731A KR101716973B1 (en) | 2015-11-23 | 2015-11-23 | Apparatus and method for detecting vehicle on road using stereo image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101716973B1 true KR101716973B1 (en) | 2017-03-15 |
Family
ID=58403089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150163731A KR101716973B1 (en) | 2015-11-23 | 2015-11-23 | Apparatus and method for detecting vehicle on road using stereo image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101716973B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334090A (en) * | 2018-02-12 | 2018-07-27 | 弗徕威智能机器人科技（上海）有限公司 | A kind of setting method of virtual obstacles |
| CN108376406A (en) * | 2018-01-09 | 2018-08-07 | 公安部上海消防研究所 | A kind of Dynamic Recurrent modeling and fusion tracking method for channel blockage differentiation |
| KR102003387B1 (en) | 2018-10-11 | 2019-07-24 | 한국과학기술원 | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program |
| CN111443704A (en) * | 2019-12-19 | 2020-07-24 | 苏州智加科技有限公司 | Obstacle positioning method and device for automatic driving system |
| WO2020173188A1 (en) * | 2019-02-26 | 2020-09-03 | 文远知行有限公司 | Method and device for locating obstacle in semantic map, computer apparatus, and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1173514A (en) * | 1997-08-29 | 1999-03-16 | Nissan Motor Co Ltd | Recognition device for vehicle |
| KR20120016461A (en) * | 2010-08-16 | 2012-02-24 | 주식회사 이미지넥스트 | Pavement marking recogniton system and method |
| KR101402089B1 (en) | 2012-11-14 | 2014-06-02 | 재단법인대구경북과학기술원 | Apparatus and Method for Obstacle Detection |
| KR101432113B1 (en) | 2013-01-28 | 2014-08-21 | 경북대학교 산학협력단 | Apparatus and method for detecting vehicle |
| KR20150124355A (en) * | 2014-04-28 | 2015-11-05 | 한양대학교 산학협력단 | Precise positioning of the vehicle for detecting a road surface display method and system |
-
2015
- 2015-11-23 KR KR1020150163731A patent/KR101716973B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1173514A (en) * | 1997-08-29 | 1999-03-16 | Nissan Motor Co Ltd | Recognition device for vehicle |
| KR20120016461A (en) * | 2010-08-16 | 2012-02-24 | 주식회사 이미지넥스트 | Pavement marking recogniton system and method |
| KR101402089B1 (en) | 2012-11-14 | 2014-06-02 | 재단법인대구경북과학기술원 | Apparatus and Method for Obstacle Detection |
| KR101432113B1 (en) | 2013-01-28 | 2014-08-21 | 경북대학교 산학협력단 | Apparatus and method for detecting vehicle |
| KR20150124355A (en) * | 2014-04-28 | 2015-11-05 | 한양대학교 산학협력단 | Precise positioning of the vehicle for detecting a road surface display method and system |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376406A (en) * | 2018-01-09 | 2018-08-07 | 公安部上海消防研究所 | A kind of Dynamic Recurrent modeling and fusion tracking method for channel blockage differentiation |
| CN108334090A (en) * | 2018-02-12 | 2018-07-27 | 弗徕威智能机器人科技（上海）有限公司 | A kind of setting method of virtual obstacles |
| KR102003387B1 (en) | 2018-10-11 | 2019-07-24 | 한국과학기술원 | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program |
| WO2020173188A1 (en) * | 2019-02-26 | 2020-09-03 | 文远知行有限公司 | Method and device for locating obstacle in semantic map, computer apparatus, and storage medium |
| US12025451B2 (en) | 2019-02-26 | 2024-07-02 | Weride Corp | Method and device for locating obstacle in semantic map, computer apparatus, and storage medium |
| CN111443704A (en) * | 2019-12-19 | 2020-07-24 | 苏州智加科技有限公司 | Obstacle positioning method and device for automatic driving system |
| CN111443704B (en) * | 2019-12-19 | 2021-07-06 | 苏州智加科技有限公司 | Obstacle positioning method and device for automatic driving system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101716973B1 (en) | Apparatus and method for detecting vehicle on road using stereo image | |
| US8867790B2 (en) | Object detection device, object detection method, and program | |
| EP2476996B1 (en) | Parallax calculation method and parallax calculation device | |
| JP3868876B2 (en) | Obstacle detection apparatus and method | |
| JP6179639B2 (en) | Road boundary detection method and detection apparatus | |
| US9715632B2 (en) | Intersection recognizing apparatus and computer-readable storage medium | |
| JP2012159469A (en) | Vehicle image recognition device | |
| JP6617150B2 (en) | Object detection method and object detection apparatus | |
| JP5548212B2 (en) | Crosswalk sign detection method and crosswalk sign detection device | |
| KR20130067842A (en) | Image based object information detecting method and apparatus | |
| JP2005156199A (en) | Vehicle detection method and vehicle detector | |
| JP4696925B2 (en) | Image processing device | |
| JP2012159470A (en) | Vehicle image recognition device | |
| JP2010020404A (en) | Image processor and method thereof | |
| KR101371875B1 (en) | A vehicle detection and distance measurement system and method between the vehicles using stereo vision | |
| KR101999354B1 (en) | Using Curve Line Curvature Information | |
| JP6677141B2 (en) | Parking frame recognition device | |
| JP7293100B2 (en) | camera system | |
| KR20150042417A (en) | Lane Detection Method and System Using Photography Part | |
| JP5579297B2 (en) | Parallax calculation method and parallax calculation device | |
| KR101437431B1 (en) | Method and apparatus for vehicle cognition using Symmetric Edge Histogram algorithm | |
| JP2018078479A (en) | Parking frame recognition device | |
| KR101906999B1 (en) | Apparatus and method for calculating distance between vehicle and object of adjacent lane | |
| JP2018041396A (en) | Object recognition device, object recognition method, and object recognition program | |
| Pan | Automotive top-view image generation using orthogonally diverging fisheye cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200309 Year of fee payment: 4 |