KR101289386B1

KR101289386B1 - Obstacle detection and division method using stereo vision and apparatus for performing the same

Info

Publication number: KR101289386B1
Application number: KR1020110117821A
Authority: KR
Inventors: 이충희; 임영철; 권순; 김종환; 박지호
Original assignee: 재단법인대구경북과학기술원
Priority date: 2011-11-11
Filing date: 2011-11-11
Publication date: 2013-07-29
Also published as: KR20130052405A

Abstract

시차맵의 값이 낮은 부분에서도 양호한 검출 성능을 나타낼 수 있고 검출된 장애물체를 영역별로 정교하게 분리할 수 있는 스테레오 비전 기반의 장애물체 검출 방법 및 장치로서, 스테레오 비전 기반으로 좌·우 영상을 입력받아 시차맵을 생성하는 단계와, 상기 시차맵에 히스토그램 평활화 과정을 실행하는 단계와, 상기 히스토그램 평활화가 실행된 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 도로 정보를 추출하는 단계와, 상기 히스토그램 평활화가 실행된 시차맵과 상기 추출된 도로 정보를 이용하여 컬럼 검출을 실행함으로써, 장애물체의 영역을 검출한다. 또한, 상기 컬럼 검출에 의해 장애물체의 영역이 검출된 시차맵에 대해 카메라 정보를 이용하여 조감도 맵핑을 실행함으로써, 시차맵을 조감도로 변환하는 단계와, 상기 조감도에서의 각 행에 대해 최대치 구간을 검출하여 행별 클러스터링을 실행함으로써, 장애물체 영역을 개별적으로 분리하는 단계와, 상기 클러스터링된 조감도에 대해, 역조감도 맵핑을 실행하여 시차맵으로 변환하는 단계와, 상기 역조감도 맵핑에 의해 취득된 시차맵으로부터의 시차값을 이용하여, 장애물체의 정보를 추출한다.Stereo vision-based obstacle detection method and device that can show good detection performance even in low parallax maps and can precisely separate the detected obstacles by area, and inputs left and right images based on stereo vision. Generating a parallax map, performing a histogram smoothing process on the parallax map, converting the parallax map on which the histogram smoothing is performed, into a V-parallax map, and extracting road information from the V-lag map And detecting the area of the obstacle by performing column detection using the parallax map on which the histogram smoothing is performed and the extracted road information. The method further includes converting the parallax map into a bird's eye view by performing a bird's eye view mapping using camera information on a parallax map in which an obstacle area is detected by the column detection, and converting a maximum value section to each row in the bird's eye view. Detecting and executing the row-by-row clustering to separately separate the obstacle region, and performing a reverse bird's eye mapping on the clustered bird's eye view to convert the parallax map into a parallax map, and a parallax map obtained by the reverse bird's-eye mapping By using the parallax value from the information of the obstacle body is extracted.

Description

스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치{Obstacle detection and division method using stereo vision and apparatus for performing the same}Obstacle detection and division method using stereo vision and apparatus for performing the same}

본 발명은 장애물체를 검출하고 분리하는 방법 및 장치에 관한 것으로서, 특히 스테레오 비전 시스템을 이용하여 3차원 정보인 시차맵(depth map)을 획득하고 이를 기반으로 장애물체를 검출하고 또한 분리하는 것에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for detecting and separating obstacles, and more particularly, to obtaining a three-dimensional information (depth map) using a stereo vision system and to detecting and separating obstacles based thereon. will be.

영상을 이용하여 도로 상의 차량 등을 검출하는 방법이 많이 연구되고 있다. 장애물체의 검출을 위해 모노 영상 혹은 스테레오 영상이 사용될 수 있는데, 모노 영상을 이용하여 장애물체를 검출하는 경우에는 장애물체와 배경의 분리도가 낮아서 검출 성능이 떨어지기 때문에, 스테레오 영상을 이용한 검출 방법을 많이 사용한다. Many methods of detecting vehicles on the road using images have been studied. A mono image or a stereo image may be used to detect an obstacle. When an obstacle is detected using a mono image, the detection performance is lowered because the separation between the obstacle and the background is low. Use a lot.

스테레오 영상을 이용하는 경우에는 3차원 정보를 얻을 수 있기 때문에, 검출 성능을 높일 수 있다. 예를 들어, 스테레오 비전 시스템을 이용하여 3차원 정보인 시차맵을 구하고, 이를 이용하여 장애물체를 검출하면, 장애물체 주변의 배경 패턴이나 그림자 등으로 인해 검출 성능이 떨어지는 문제를 줄일 수 있다. In the case of using a stereo image, since three-dimensional information can be obtained, detection performance can be improved. For example, when a parallax map, which is three-dimensional information, is obtained using a stereo vision system, and an obstacle is detected using the stereo vision system, a problem of deterioration in detection performance due to a background pattern or a shadow around the obstacle may be reduced.

시차맵은 3차원 정보로서 2차원 정보에 거리 정보가 더 포함된 것이다. 이러한 시차맵을 이용하는 종래의 차량 검출 장치 및 방법의 일례로서 아래의 특허문헌 1을 들 수 있다. The parallax map is three-dimensional information, and the distance information is further included in the two-dimensional information. The following patent document 1 is mentioned as an example of the conventional vehicle detection apparatus and method using such a parallax map.

그러나 시차맵을 사용하는 종래의 장애물체 검출 방법은 시차맵의 해상도, 에러, 노이즈 등으로 인해 검출 성능을 떨어뜨리는 여러 가지 문제점을 나타내고 있다. 이에 대해 도 1을 참조하여 설명한다. 도 1a에 도로 환경에서 스테레오 비전 시스템을 사용하여 시차맵을 생성한 결과를 나타내었으며, 2대의 차량과 중앙 분리대가 존재하고 있다.However, the conventional obstacle detection method using the parallax map exhibits various problems that decrease the detection performance due to the resolution, error, noise, and the like of the parallax map. This will be described with reference to FIG. 1. 1A shows a result of generating a parallax map using a stereo vision system in a road environment, and two vehicles and a center separator exist.

종래의 검출 방법에 의하면, 도 1b에 나타낸 바와 같이, 시차맵의 값이 낮은 부분(시차맵에서 어두운 부분)에서 미검출이 일어날 수가 있다. 시차맵의 값은 실제 거리값에 반비례하므로, 원거리의 장애물체를 검출하기 위해서는 시차맵의 값이 낮은 부분에서도 검출이 이루어져야 한다. 그러나 시차맵의 값이 낮은 부분에서는 여러 가지 노이즈 성분도 함께 처리되기 때문에 검출 성능이 떨어져서 미검출이 되는 문제가 생길 수 있다. According to the conventional detection method, as illustrated in FIG. 1B, undetection may occur in a portion where the value of the parallax map is low (dark portion in the parallax map). Since the value of the parallax map is inversely proportional to the actual distance value, in order to detect a long distance obstacle, the detection should be performed even at a portion where the value of the parallax map is low. However, in the part where the value of the parallax map is low, various noise components are also processed together, which may cause a problem that the detection performance is not detected and thus is not detected.

또한, 종래의 검출 방법에 의하면, 도 1c에 나타낸 바와 같이, 검출은 이루어지지만 인접한 장애물체를 동일한 장애물체로 잘못 검출할 수 있다. 즉, 종래의 검출 방법에서는 시차맵 전체를 기준으로 검출을 실행하기 때문에, 정교한 장애물체 검출하기 곤란하다는 문제가 있다. In addition, according to the conventional detection method, as shown in Fig. 1C, although detection is performed, adjacent obstacles can be erroneously detected as the same obstacles. That is, in the conventional detection method, since detection is performed on the basis of the entire parallax map, there is a problem that it is difficult to detect a fine obstacle.

특허문헌 1: 한국공개특허 제2011-0058262호Patent Document 1: Korean Patent Publication No. 2011-0058262

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 시차맵의 값이 낮은 부분에서도 양호한 검출 성능을 나타낼 수 있는 스테레오 비전 기반의 장애물체 검출 방법 및 장치를 제공하는 것을 그 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object thereof is to provide a stereo vision-based obstacle detection method and apparatus capable of exhibiting good detection performance even at a low portion of a parallax map.

또한, 검출된 장애물체를 영역별로 정교하게 분리함으로써 더욱 정확하게 장애물체를 구분할 수 있는 스테레오 비전 기반의 장애물체 검출 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.
In addition, another object of the present invention is to provide a method and apparatus for detecting obstacles based on stereo vision, which can more accurately classify obstacles by precisely separating the detected obstacles by region.

상기한 과제를 해결하기 위하여, 본 발명에 따른 스테레오 비전 기반의 영상으로부터 장애물체를 검출하는 방법은, 스테레오 비전 기반으로 좌·우 영상을 입력받아 시차맵을 생성하는 단계와, 상기 시차맵에 히스토그램 평활화 과정을 실행하는 단계와, 상기 히스토그램 평활화가 실행된 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 도로 정보를 추출하는 단계와, 상기 히스토그램 평활화가 실행된 시차맵과 상기 추출된 도로 정보를 이용하여 컬럼 검출을 실행함으로써, 장애물체의 영역을 검출하는 단계를 포함한다.In order to solve the above problems, a method for detecting an obstacle from a stereo vision-based image according to the present invention, generating a parallax map by receiving a left and right image based on the stereo vision, and a histogram on the parallax map Performing a smoothing process, converting the parallax map on which the histogram smoothing is performed to a V-parallax map, extracting road information from the V-parallax map, and a parallax map on which the histogram smoothing is performed and the extraction Detecting the area of the obstacle by performing column detection using the collected road information.

또한, 상기 장애물체 검출 방법은, 상기 컬럼 검출에 의해 장애물체의 영역이 검출된 시차맵에 대해 카메라 정보를 이용하여 조감도 맵핑을 실행함으로써, 시차맵을 조감도로 변환하는 단계와, 상기 조감도에서의 각 행에 대해 최대치 구간을 검출하여 행별 클러스터링을 실행함으로써, 장애물체 영역을 개별적으로 분리하는 단계와, 상기 클러스터링된 조감도에 대해, 역조감도 맵핑을 실행하여 시차맵으로 변환하는 단계를 더 포함할 수 있다.The obstacle detection method may further include converting the parallax map into a bird's eye view by performing a bird's-eye view mapping using camera information on a parallax map in which an area of the obstacle is detected by the column detection. The method may further include separately separating the obstacle regions by detecting the maximum interval for each row and performing row-by-row clustering, and converting the clustered bird's-eye into a parallax map by performing an inverse bird's-eye mapping on the clustered bird's-eye view. have.

또한, 상기 장애물체 검출 방법은, 상기 단계들을 통해 검출 및 분리된 장애물체 영역을 상기 히스토그램 평활화 처리 전의 시차맵에 표시하여, 장애물체의 정보를 추출하는 단계를 더 포함할 수 있다.The obstacle detecting method may further include extracting information on the obstacle by displaying the obstacle area detected and separated through the steps on a parallax map before the histogram smoothing process.

상기한 장애물체 검출 방법을 실행하는 장애물체 검출 장치는, 좌우 2대의 카메라로 이루어져서 외부로부터 영상을 획득하는 스테레오 카메라부와, 상기 스테레오 카메라부에 의해 획득된 영상에 대해 상기 장애물체 검출 방법을 수행하여 장애물체를 검출하는 영상 처리부와, 상기 영상 처리부에 의한 검출 결과를 표시하는 모니터링부를 포함한다.
The obstacle detecting apparatus for implementing the obstacle detecting method includes a stereo camera unit configured to acquire images from outside by using two left and right cameras, and the obstacle detecting method for the image obtained by the stereo camera unit. And an image processing unit for detecting an obstacle and a monitoring unit displaying a detection result by the image processing unit.

본 발명에 따른 스테레오 비전 기반의 장애물체 검출 방법 및 장치는 다음과 같은 유리한 효과를 나타낸다.Stereo vision-based obstacle detection method and apparatus according to the present invention has the following advantageous effects.

먼저, 히스토그램 평활화를 통하여 시차값이 낮은 부분에 대해서도 용이하게 처리할 수 있으므로 원거리 검출 성능이 향상된다.First, since the histogram smoothing can be easily processed even for a portion having a low parallax value, the remote detection performance is improved.

또한, V-시차맵 상에서 도로 정보가 곡선일 경우에도 도로 정보를 확실하게 검출할 수 있다.Further, even when the road information is curved on the V-parallax map, the road information can be reliably detected.

또한, 시차맵 기반의 조감도 맵핑을 사용함으로써, 정교한 장애물체 분리를 할 수 있으며, 조감도 맵핑 시에 시차맵과 조감도간의 변환관계 정보를 별도로 생성하여 이를 역조감도 맵핑에 사용함으로써, 장애물체의 분리 성능을 더 향상시킬 수 있다.In addition, by using the disparity map-based bird's-eye view mapping, sophisticated obstacle objects can be separated, and when the bird's-eye map is generated, the transformation relation information between the disparity map and the bird's-eye view is separately generated and used for inverse bird's-eye mapping, thereby separating the obstacles. Can be further improved.

이와 같이, 장애물체의 검출 성능을 향상시킬 수 있는 본 발명의 검출 방법은 로봇, 자동차, 의료 분야 등에 적용할 경우 우수한 효과를 나타낼 수 있다.
As described above, the detection method of the present invention capable of improving the detection performance of an obstacle may have an excellent effect when applied to a robot, automobile, medical field, or the like.

도 1a는 종래의 장애물체 검출 방법에 의한 시차맵을 나타내는 도면.
도 1b는 도 1a의 시차맵에서 미검출이 발생한 검출 결과를 나타내는 도면.
도 1c는 도 1a의 시차맵에서 인접 장애물체를 잘못 검출한 검출 결과를 나타내는 도면.
도 2는 본 발명의 실시예에 따른 장애물체 검출 방법의 흐름도를 나타내는 도면.
도 3a는 본 발명의 실시예에 따른 장애물체 검출 방법에 의한 시차맵을 나타내는 도면.
도 3b는 도 3a에 나타낸 시차맵에 대한 V-시차맵을 나타내는 도면.
도 4a는 본 발명의 실시예에 따른 장애 물체 검출 방법에 의한 히스토그램 평활화 과정을 실행한 시차맵을 나타내는 도면.
도 4b는 도 4a에 나타낸 시차맵에 대한 V-시차맵을 나타내는 도면.
도 5는 도 4b의 시차맵에 허프 변환을 적용한 것을 나타내는 도면.
도 6은 본 발명의 실시예에 따른 장애물체 검출 방법에 의한 도로 정보 검출 과정을 나타내는 도면.
도 7은 본 발명의 실시예에 따른 장애물체 검출 방법에 의한 컬럼 검출 과정을 나타내는 도면.
도 8은 본 발명의 실시예에 따른 장애물체 검출 방법에 의한 장애물체 분리 과정을 나타내는 도면.
도 9는 본 발명의 실시예에 따른 장애물체 검출 방법을 실행하는 장치의 블록도를 나타내는 도면.1A is a diagram illustrating a parallax map by a conventional obstacle detection method.
FIG. 1B is a diagram showing a detection result in which undetected has occurred in the parallax map of FIG. 1A; FIG.
FIG. 1C is a diagram illustrating a detection result of incorrectly detecting an adjacent obstacle in the parallax map of FIG. 1A; FIG.
2 is a flowchart illustrating a method for detecting an obstacle according to an embodiment of the present invention.
3A is a diagram illustrating a parallax map by an obstacle detecting method according to an exemplary embodiment of the present invention.
FIG. 3B is a view showing a V-disparity map with respect to the parallax map shown in FIG. 3A. FIG.
4A is a diagram illustrating a parallax map that is performed by a histogram smoothing process by a method for detecting an obstacle according to an embodiment of the present invention.
4B is a view showing a V-parallax map with respect to the parallax map shown in FIG. 4A.
FIG. 5 is a diagram illustrating Huff transformation applied to the parallax map of FIG. 4B. FIG.
6 is a view showing a road information detection process by the obstacle detection method according to an embodiment of the present invention.
7 is a view showing a column detection process by the obstacle detection method according to an embodiment of the present invention.
8 is a view showing an obstacle separating process by the obstacle detecting method according to an embodiment of the present invention.
9 is a block diagram of an apparatus for executing an obstacle detecting method according to an embodiment of the present invention.

이하, 첨부한 도면을 참고하여 본 발명의 바람직한 실시예에 대해 설명한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

본 실시예에서는 소정의 간격을 두고 설치된 2대의 카메라를 이용하여 도로를 촬영하여 획득된 영상 정보로부터 차량을 검출한다. 본 실시예에서는 도로와 차량을 영상의 대상으로서 사용하였으나, 본 발명은 이에 한정되는 것은 아니며, 이와 다른 배경이나 물체를 포함하는 영상을 사용할 수도 있다. In the present embodiment, a vehicle is detected from image information obtained by photographing a road using two cameras installed at predetermined intervals. In the present embodiment, the road and the vehicle are used as the object of the image, but the present invention is not limited thereto, and an image including another background or an object may be used.

도 2에 본 발명의 실시예에 따른 장애물체 검출 방법의 흐름도로 나타내었다. 도 2에 나타낸 바와 같이, 본 발명의 장애물체 검출 방법은 장애물체 검출 단계(100)와 장애물체 분리 단계(200)로 이루어진다.2 is a flow chart of the obstacle detection method according to an embodiment of the present invention. As shown in FIG. 2, the obstacle detecting method of the present invention includes an obstacle detecting step 100 and an obstacle separating step 200.

장애물체 검출 단계(100)에서는 스테레오 비전 기반으로 좌·우 영상을 입력받아 시차맵을 생성한다(단계 110).In the obstacle detection step 100, a parallax map is generated by receiving a left and right image based on stereo vision (step 110).

시차맵은 거리 정보를 밝기 값으로 표현한 것으로서 가까운 곳은 밝은 값으로 먼 곳은 어두운 값으로 나타낸다. 이러한 시차맵은 공지된 여러 가지 방법으로 형성할 수 있다. 도로에 차량 1 및 2와 중앙분리대가 있는 영상으로부터 형성한 시차맵을 도 3a에 나타내었다.A parallax map expresses distance information as a brightness value, where a near point is a bright value and a far point is a dark value. Such a parallax map can be formed by various known methods. A parallax map formed from an image of vehicles 1 and 2 and a median on the road is shown in FIG. 3A.

다음으로, 상기 시차맵에 히스토그램 평활화 과정을 실행한다(단계 120).Next, a histogram smoothing process is performed on the parallax map (step 120).

히스토그램 평활화 과정은 영상에서 어두운 부분과 밝은 부분의 정보를 이용하여 전체적인 영상의 명암도를 높이는 것이다. 이와 같이 시차맵에 히스토그램 평활화 과정을 적용하면, 시차맵의 값이 낮은 부분(원거리)의 명암도를 높일 수 있으므로, 원거리의 장애물체를 더욱 용이하게 검출할 수 있다. 도 4a에 히스토그램 평활화 과정을 실행한 시차맵을 나타내었다.The histogram smoothing process uses the information of the dark and light parts of the image to increase the overall contrast of the image. When the histogram smoothing process is applied to the parallax map as described above, the contrast of the low (distance) portion of the parallax map can be increased, so that the obstacles at the far distance can be detected more easily. 4A shows a parallax map in which a histogram smoothing process is performed.

다음으로, 상기 히스토그램 평활화 과정을 거친 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 도로 정보를 추출한다(단계 130).Next, the parallax map which has undergone the histogram smoothing process is converted into a V-disparity map, and road information is extracted from the V-disparity map (step 130).

도 4b에 시차맵으로부터 변환한 V-시차맵을 나타내었다. 상기 V-시차맵 상에서는 도로와 장애물체의 구분이 용이하기 때문에 V-시차맵만으로 장애물체를 검출할 수도 있다. 그러나 장애물체의 수가 많을 경우에는 V-시차맵만으로는 양호한 검출이 이루어지지 않는다. 따라서 본 실시예에서는 V-시차맵으로부터 도로 정보만을 추출하고, 이후 설명하는 컬럼 검출 과정을 통해 장애물체를 검출한다.4B shows a V-disparity map converted from a disparity map. Since the road and the obstacle can be easily distinguished on the V-parallax map, the obstacle can be detected using only the V-parallax map. However, when the number of obstacles is large, good detection is not achieved only by the V-parallel map. Therefore, in the present embodiment, only road information is extracted from the V-parallax map, and obstacles are detected through the column detection process described later.

본 발명에서와 같이, 히스토그램 평활화 과정을 거친 시차맵을 V-시차맵으로 변환시키면, 영상의 명암비가 증대하여 원거리의 장애물체도 쉽게 검출할 수 있다.이를 비교 설명하기 위해, 도 3a에 나타낸 히스토그램 평활화 과정 전의 시차맵에 대한 V-시차맵을 도 3b에 나타내었다.As in the present invention, when the parallax map undergoes a histogram smoothing process is converted into a V-parallax map, the contrast ratio of the image is increased, so that even obstacles in the distance can be easily detected. For comparison, the histogram shown in FIG. The V-disparity map for the disparity map before the smoothing process is shown in FIG. 3B.

히스토그램 평활화 처리가 되지 않은 V-시차맵(도 3b)에서는, 도로가 대각의 직선으로 표시되고 각종 장애물체는 수직선의 형태로 표시되는데, 원거리의 장애물체는 시차값이 작아서 처리하기가 곤란하다는 것을 알 수 있다. 반면, 히스토그램 평활화 처리된 V-시차맵(도 4b)에서는, 영상의 명암비의 증대로 인해 장애물체들의 시차값이 증가하여 처리하기가 용이하다는 것을 알 수 있다.In the V-parallel map (FIG. 3b) without the histogram smoothing process, roads are displayed as diagonal straight lines, and various obstacles are displayed in the form of vertical lines. Able to know. On the other hand, in the histogram smoothed V-parallax map (FIG. 4B), it can be seen that the parallax value of the obstacles increases due to an increase in the contrast ratio of the image, making it easy to process.

그러나 히스토그램 평활화 과정은 비선형 함수이기 때문에, 히스토그램 평활화 과정을 거친 V-시차맵 상에서 도로 정보를 추출하기 위하여, 단순히 직선을 검출하는 허프 변환 등을 사용하는 것은 한계가 있다. 즉, 히스토그램 평활화에 의한 비선형 과정으로 인하여, 도 5에 나타낸 바와 같이, 상기 V-시차맵 상에서 도로 정보는 곡선으로 나타난다. 이와 같이 곡선으로 표현되어 있는 V-시차맵 상에서 기존의 허프 변환 등을 이용하여 직선을 검출(검은 색)하는 것만으로는 도로 정보를 정확하게 추출하기 곤란하다.However, since the histogram smoothing process is a nonlinear function, in order to extract road information on the V-disparity map which has undergone the histogram smoothing process, it is limited to use a Hough transform that simply detects a straight line. That is, due to the nonlinear process by histogram smoothing, as shown in FIG. 5, the road information is shown as a curve on the V-parallax map. As described above, it is difficult to accurately extract road information only by detecting a straight line (black color) using a conventional Hough transform or the like on a V-parallel map represented by a curve.

따라서 본 발명의 실시예에서는 V-시차맵 상에서의 각 열에 대한 최대치의 변화량을 계산하여 도로 정보를 추출하며, 이를 도 6에 개략적으로 나타내었다. Therefore, in the embodiment of the present invention, the road information is extracted by calculating the amount of change of the maximum value for each column on the V-parallel map, which is schematically shown in FIG. 6.

도 6에 나타낸 바와 같이, V-시차맵 상에서의 각 열 대해(수평 방향) 각각의 최대치를 취득한다. 각각의 열에 대해서 최대치를 갖는 부분은 대부분 도로 영역에 해당하며 부분적으로 장애물체 영역도 포함될 수 있다. 다음으로, 인접하는 최대치간의 변화량을 계산하고 변화량이 소정의 기준값보다 클 경우, 이 위치를 특이점으로 판정하여 제거한다. 예를 들어, 도 6의 “3. 특이점 제거” 부분에서, A점 위치와 B점 위치간의 변화량을 비교하여 기준값보다 크면 B점을 제거하고, 다시 A점 위치와 C점 위치간의 변화량을 비교하여 기준값보다 크면 C점을 제거한다. 이와 같은 과정을 거쳐 변화량이 큰 최대치를 갖는 특이점이 제거된 도로 정보를 취득한다. 마지막으로, 상기 특이점이 제거된 위치에 대해 보간을 실행하여 최종의 도로 정보를 추출한다.As shown in Fig. 6, the maximum value of each column (horizontal direction) on the V-parallel map is obtained. The portion having the maximum value for each row corresponds to the road area most of the time, and may also include an obstacle area in part. Next, the amount of change between adjacent maximum values is calculated, and when the amount of change is larger than a predetermined reference value, this position is determined as a singular point and eliminated. For example, “3. Remove the singular point ”, compare the amount of change between the point A and the point B and remove the point B if it is larger than the reference value, and compare the amount of change between the point A and the point C and remove the point C if it is larger than the reference value. Through this process, road information from which the singularity having the largest change amount is removed is obtained. Finally, the final road information is extracted by performing interpolation for the position where the singularity is removed.

이어서, 상기 히스토그램 평활화가 실행된 시차맵과 상기 추출된 도로 정보를 이용하여 컬럼 검출을 실행한다(단계 140).Subsequently, column detection is performed using the disparity map on which the histogram smoothing is performed and the extracted road information (step 140).

도 7에 이러한 컬럼 검출 과정을 개략적으로 나타내었다. 도 7에 나타낸 바와 같이, 도로 정보와 시차맵 상의 임의의 한 열의 값을 V-시차맵 상에 표시하여, 상기 시차맵의 값이 상기 도로 정보의 값보다 높은 구간을 장애물체 영역으로 판정한다. 이와 같이 판정하는 이유는 모든 장애물체가 도로 위에 존재하기 때문이다. 상기 시차맵 상의 모든 열에 대해 상기 판정 과정을 반복한다, 즉, 시차맵 상의 모든 열과 도로 정보를 각각 비교하여, 비교 결과에 따라 도로 정보보다 높은 구간을 모두 표시하면 정확한 장애물체 영역을 검출할 수 있다.Figure 7 schematically shows this column detection process. As shown in Fig. 7, the value of any one row on the road information and the disparity map is displayed on the V-disparity map to determine a section in which the value of the disparity map is higher than the value of the road information as the obstacle area. The reason for this determination is that all obstacles exist on the road. The determination process is repeated for all columns on the parallax map, that is, when all the columns on the parallax map and the road information are compared, and all sections higher than the road information are displayed according to the comparison result, an accurate obstacle area can be detected. .

이상 설명한 바와 같이, 시차맵 생성 단계(110), 히스토그램 활성화 단계(120), V-시차맵 변환 및 도로 정보 추출 단계(130), 컬럼 검출 단계(140)로 구성되는 장애물체 영역 검출(100)을 실행함으로써, 장애물체를 검출할 수 있다. 그러나 이러한 검출 과정만으로는 다수의 장애물체를 하나의 장애물체로 잘못 검출할 가능성이 여전히 남아있다. 따라서 본 발명의 실시예에 따른 검출 방법은 상기 장애물체 영역을 정교하게 분리하여 더욱 양호한 검출 성능을 얻을 수 있도록 장애물체 분리 단계를 더 포함한다.As described above, the obstacle area detection 100 includes a parallax map generation step 110, a histogram activation step 120, a V-parallax map conversion and road information extraction step 130, and a column detection step 140. By performing the above, the obstacle can be detected. However, this detection process alone still leaves the possibility of erroneously detecting multiple obstacles as one obstacle. Therefore, the detection method according to the embodiment of the present invention further includes an obstacle body separating step to obtain a better detection performance by finely separating the obstacle body region.

도 8에 본 발명의 실시예에 따른 장애물체 분리 과정을 나타내었다.8 shows an obstacle separating process according to the embodiment of the present invention.

먼저, 상기 컬럼 검출에 의해 장애물체의 영역이 검출된 시차맵에 대해 카메라 정보를 이용하여 조감도 맵핑을 실행하여, 시차맵을 조감도로 변환한다(단계 210). 여기서 카메라 정보는 2대의 카메라간의 간격, 도로면에서 카메라까지의 높이, 카메라와 지면의 각도, 초점 거리 등이 될 수 있다.First, the bird's-eye mapping is performed using the camera information on the parallax map where the area of the obstacle is detected by the column detection, and the parallax map is converted to the bird's-eye view (step 210). The camera information may be a distance between two cameras, a height from a road surface to a camera, an angle between the camera and the ground, a focal length, and the like.

시차맵 기반의 조감도 맵핑은 장애물체를 좌우 위치(수평 위치)와 전후 위치(거리)를 기준으로 표현하기 때문에, 장애물체의 위치를 명확하게 알 수 있다. 즉, 인접한 장애물체도 거리별로 표현이 가능하기 때문에 조감도 상에서는 정교한 장애물체 분리가 가능하다. The bird's-eye view mapping based on the parallax map expresses the obstacles based on the left and right positions (horizontal position) and the front and rear positions (distance), so that the position of the obstacles can be clearly understood. That is, since the adjacent obstacles can be expressed by distance, the detailed obstacles can be separated on the bird's eye view.

도 8을 참조하여 설명하면, 컬럼 검출에 의해 중앙분리대와 차량 1이 하나의 장애물체로 검출되고, 차량 2는 단독으로 검출되었다고 가정하고, 이에 대해 조감도 맵핑을 실행한다. 도 8에 나타낸 바와 같이, 조감도에서는 중앙분리대와 차량 1도 분리됨을 알 수 있다. Referring to FIG. 8, it is assumed that the median separator and the vehicle 1 are detected as one obstacle body by the column detection, and the vehicle 2 is detected alone, and the bird's eye view mapping is performed. As shown in FIG. 8, it can be seen that the central separator and the vehicle 1 are also separated in the bird's eye view.

상기 조감도 맵핑은 완벽한 가역 과정이 아니기 때문에, 조감도에서 시차맵으로 다시 변환하는 역조감도 맵핑을 위해서, 시차맵과 조감도간의 영상에서의 위치 관계를 나타내는 변환관계 정보를 함께 생성하는 것이 바람직하다. 이러한 변환관계 정보가 없어도 역조감도 맵핑을 수행할 수는 있으나, 과정이 복잡하고 에러가 발생할 가능성이 많다. 그러므로 조감도 맵핑 과정에서 변환관계 정보를 생성하고 이를 역조감도 맵핑에 사용하는 것이 효율적이라고 할 수 있다. Since the bird's-eye view mapping is not a perfect reversible process, it is preferable to simultaneously generate the transformation relationship information indicating the positional relationship in the image between the parallax map and the bird's-eye view in order to convert the bird's-eye from the bird's-eye to the parallax map again. Although the reverse bird's-eye mapping can be performed without such conversion relationship information, the process is complicated and an error is likely to occur. Therefore, it can be said that it is efficient to generate transform relationship information in the bird's-eye view mapping process and use it for inverse bird's-eye view mapping.

다음으로, 상기 조감도에서의 각 행에 대해 최대치 구간을 검출하여 행별 클러스터링을 실행함으로써, 장애물체 영역을 개별적으로 분리한다(단계 220).Next, the obstacle area is separated individually by detecting the maximum value section for each row in the bird's eye view and performing clustering for each row (step 220).

즉, 행별 클러스터링을 위해, 조감도 상에서 각 행별(수평 방향)로 최대치 구간을 검출한다. 조감도 상에서 각 행의 값은 일반적으로 일정한 분포를 가지므로, 그 분포의 최대치를 검출하고, 최대치를 포함하는 일정한 구간을 계산한다. 이에 따라 검출된 구간은 개별적인 장애물체 영역을 나타낸다.That is, for row-by-row clustering, the maximum value section is detected in each row (horizontal direction) on the bird's eye view. In the bird's eye view, since the values of each row generally have a constant distribution, the maximum value of the distribution is detected and a constant section including the maximum value is calculated. The detected section thus represents an individual obstacle body region.

다음으로, 상기 클러스터링된 조감도에 대해, 역조감도 맵핑을 실행하여 시차맵으로 변환한다(단계 230).Next, an inverse bird's-eye mapping is performed on the clustered bird's-eye view to convert to a parallax map (step 230).

이때 검출된 구간별로 상기 변환관계 정보를 이용하여 역조감도 맵핑을 실행하는 것이 바람직하다.In this case, it is preferable to perform inverse bird's-eye mapping using the transformation relationship information for each detected section.

상기 단계들을 통해 검출 및 분리된 장애물체 영역을 상기 히스토그램 평활화 처리 전의 시차맵에 표시하고, 그 영역의 시차값을 이용하여 장애물체의 정보를 추출한다(단계 240).The obstacle body region detected and separated through the above steps is displayed on the parallax map before the histogram smoothing process, and information on the obstacle body is extracted using the parallax value of the region (step 240).

즉, 최종적으로 장애물체 검출 및 분리 과정에서 검출된 장애물체 영역과 원래의 시차맵을 이용하여, 장애물체 영역뿐만 아니라, 시차값을 이용한 거리, 속도 등과 같은 장애물체에 대한 다양한 정보를 추출한다.That is, by using the obstacle region and the original parallax map finally detected in the obstacle detection and separation process, a variety of information about the obstacles such as distance, speed, etc. using the parallax value is extracted.

상기한 본 발명의 실시예에 따른 장애물체 검출 방법은 스테레오 비전 기반의 장애물체 검출 장치로서 실현될 수 있다. 도 9에 본 발명의 실시예에 따른 장애물체 검출 장치의 기능 블록도를 나타내었다.The obstacle detection method according to the embodiment of the present invention described above may be realized as an obstacle detection apparatus based on stereo vision. 9 is a functional block diagram of the obstacle detecting apparatus according to the embodiment of the present invention.

도 9에 나타낸 바와 같이, 본 발명의 장애물체 검출 장치는 스테레오 카메라부(100), 영상 처리부(200) 및 모니터링부(300)로 구성된다.As shown in FIG. 9, the obstacle detecting apparatus of the present invention includes a stereo camera unit 100, an image processing unit 200, and a monitoring unit 300.

먼저, 스테레오 카메라부(100)는 좌우 2대의 카메라로 이루어져서 외부로부터의 영상을 획득한다. 상기 스테레오 카메라부(100)는 액티브 셔터 방식으로 영상을 획득하는 액티브 방식으로 구성되거나, 혹은 편광 필터를 이용하여 좌우 영상을 분리하여 영상을 획득하는 패시브 방식으로 구성될 수 있다.First, the stereo camera unit 100 is composed of two left and right cameras to obtain an image from the outside. The stereo camera unit 100 may be configured as an active method for acquiring an image by an active shutter method, or may be configured as a passive method for acquiring an image by separating left and right images using a polarization filter.

다음으로, 영상 처리부(200)는 상기 스테레오 카메라부(100)에 의해 획득된 영상에 대해 상기 설명한 장애물체 검출 방법을 수행하여 장애물체를 검출 및 분리한다. Next, the image processor 200 detects and isolates the obstacle by performing the obstacle detection method described above with respect to the image acquired by the stereo camera unit 100.

다음으로, 모니터링부(300)는 상기 영상 처리부(200)에 의한 검출 결과를 표시한다.Next, the monitoring unit 300 displays the detection result by the image processing unit 200.

또한, 상기 장애물체 검출 장치가 차량에 탑재되어 사용되는 경우에는, 상기 영상 처리부(200)에 의해 검출된 결과를 차량의 제어 장치로 송신하여 실시간으로 차량 운행에 활용되도록 할 수 있다. In addition, when the obstacle detecting device is mounted and used in a vehicle, the result detected by the image processing unit 200 may be transmitted to the control device of the vehicle to be used for driving the vehicle in real time.

이상 설명한 바와 같이, 본 발명의 실시예에 따른 장애물체 검출 방법에 의하면, 히스토그램 평활화를 통해 시차값이 낮은 부분을 처리하고, V-시차맵 상에서 도로 정보가 곡선인 경우의 도로 정보를 검출하고, 검출된 도로 정보를 이용하여 컬럼 검출을 실행하며, 장애물체 분리를 위해 조감도 맵핑을 실행한다. 이를 통해, 종래의 검출 방법보다 우수한 검출 성능을 나타낼 수 있다. As described above, according to the obstacle detecting method according to the embodiment of the present invention, the portion of the low disparity value is processed through histogram smoothing, the road information when the road information is curved on the V-disparity map, Column detection is performed using the detected road information, and a bird's eye view mapping is performed to remove the obstacles. Through this, it is possible to exhibit better detection performance than the conventional detection method.

본 발명은 상기한 바람직한 실시예와 첨부한 도면을 참조하여 설명되었지만, 본 발명의 사상 및 범위 내에서 상이한 실시예를 구성할 수도 있다. 따라서 본 발명의 범위는 첨부된 청구범위에 의해 정해지며, 본 명세서에 기재된 특정 실시예에 의해 한정되지 않는 것으로 해석되어야 한다.
While the present invention has been described with reference to the preferred embodiments described above and the accompanying drawings, it is to be understood that the invention may be embodied in different forms without departing from the spirit or scope of the invention. Accordingly, the scope of the present invention is defined by the appended claims, and is not to be construed as limited to the specific embodiments described herein.

100: 스테레오 카메라부
200: 영상 처리부
300: 모니터링부100: stereo camera unit
200:
300: monitoring unit

Claims

스테레오 비전 기반의 영상으로부터 장애물체를 검출하는 방법에 있어서,
스테레오 비전 기반으로 좌·우 영상을 입력받아 시차맵을 생성하는 단계와,
상기 시차맵에 히스토그램 평활화 과정을 실행하는 단계와,
상기 히스토그램 평활화가 실행된 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 도로 정보를 추출하는 단계와,
상기 히스토그램 평활화가 실행된 시차맵과 상기 추출된 도로 정보를 이용하여 컬럼 검출을 실행함으로써, 장애물체의 영역을 검출하는 단계와,
상기 컬럼 검출에 의해 장애물체의 영역이 검출된 시차맵에 대해 카메라 정보를 이용하여 조감도 맵핑을 실행함으로써, 시차맵을 조감도로 변환하는 단계와,
상기 조감도에서의 각 행에 대해 최대치 구간을 검출하여 행별 클러스터링을 실행함으로써, 장애물체 영역을 개별적으로 분리하는 단계와,
상기 클러스터링된 조감도에 대해, 역조감도 맵핑을 실행하여 시차맵으로 변환하는 단계와,
상기 단계들을 통해 검출 및 분리된 장애물체 영역을 상기 히스토그램 평활화 처리 전의 시차맵에 표시하여, 장애물체의 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 장애물체 검출 방법.
In the method for detecting an obstacle from a stereo vision-based image,
Generating a parallax map by receiving left and right images based on stereo vision;
Performing a histogram smoothing process on the parallax map;
Converting the parallax map on which the histogram smoothing is performed into a V-parallax map, and extracting road information from the V-lag map;
Detecting a region of an obstacle by performing column detection using the parallax map on which the histogram smoothing is performed and the extracted road information;
Converting the parallax map into a bird's-eye view by performing a bird's-eye view mapping using camera information on the parallax map in which the area of the obstacle is detected by the column detection;
Separating the obstacle area separately by detecting the maximum value section for each row in the bird's eye view and performing clustering for each row;
Converting the clustered bird's eye view into a parallax map by performing an inverse bird's eye mapping;
And displaying the obstacle body region detected and separated through the steps on a parallax map before the histogram smoothing process, and extracting information of the obstacle body.

삭제delete

제1항에 있어서,
상기 V-시차맵으로부터 도로 정보를 추출하는 단계는
상기 V-시차맵 상에서의 각 열 대해 각각의 최대치를 취득하고,
상기 최대치간의 변화량을 계산하여, 변화량이 소정의 기준값보다 큰 최대치의 위치를 특이점으로 판단하여 제거하고,
상기 특이점이 제거된 위치에 보간을 실행하는 것을 특징으로 하는 장애물체 검출 방법.
The method of claim 1,
Extracting road information from the V-lag map
Obtain a respective maximum for each column on the V-parallax map,
The amount of change between the maximum values is calculated, and the position of the maximum value where the amount of change is larger than a predetermined reference value is determined as a singular point and removed.
An obstacle detection method characterized in that interpolation is performed at a position from which the singularity is removed.

제1항에 있어서,
상기 컬럼 검출을 실행함으로써 장애물체의 영역을 검출하는 단계는
상기 추출된 도로 정보와 시차맵 상의 한 열의 값을 상기 V-시차맵 상에서 비교하여, 상기 시차맵의 값이 상기 도로 정보의 값보다 높은 구간을 장애물체 영역으로 판정하고,
상기 시차맵 상의 모든 열에 대해 상기 판정 과정을 실행하고, 판정 결과에 따라 상기 도로 정보의 값보다 높은 구간을 모두 표시하여 장애물체 영역을 검출하는 것을 특징으로 하는 장애물체 검출 방법.
The method of claim 1,
Detecting the area of the obstacle by performing the column detection
Comparing the extracted road information with a column value on the parallax map on the V-disparity map, it is determined that a section where the value of the parallax map is higher than the value of the road information is an obstacle area.
The obstacle detection method characterized in that for performing the determination process for all the columns on the parallax map, the obstacle area is detected by displaying all sections higher than the value of the road information according to the determination result.

제1항에 있어서,
상기 시차맵을 조감도로 변환하는 단계는
조감도에서 시차맵으로의 역조감도 맵핑을 위해, 시차맵과 조감도간의 영상 위치 관계를 나타내는 변환관계 정보를 생성하는 것을 특징으로 하는 장애물체 검출 방법.
The method of claim 1,
Converting the parallax map into a bird's eye view
And a transformation relationship information indicating an image position relationship between the disparity map and the bird's eye view for mapping the bird's eye view to the parallax map.

제6항에 있어서,
상기 역조감도 맵핑을 실행하여 시차맵으로 변환하는 단계는
상기 생성된 상기 변환관계 정보에 따라 역조감도 맵핑을 실행하는 것을 특징으로 하는 장애물체 검출 방법.
The method according to claim 6,
Converting the parallax map into a parallax map
And an inverse bird's-eye mapping according to the generated transformation relationship information.

제1항 및 제4항 내지 제7항 중 어느 한 항에 기재된 장애물체 검출 방법을 실행하는 장치에 있어서,
상기 장치는
좌우 2대의 카메라로 이루어져서 외부로부터 영상을 획득하는 스테레오 카메라부와,
상기 스테레오 카메라부에 의해 획득된 영상에 대해 상기 장애물체 검출 방법을 수행하여 장애물체를 검출하는 영상 처리부와,
상기 영상 처리부에 의한 검출 결과를 표시하는 모니터링부를 포함하는 것을 특징으로 하는 장애물체 검출 장치.
An apparatus for executing the obstacle detection method according to any one of claims 1 and 4 to 7,
The device
Stereo camera unit for obtaining images from the outside by consisting of two left and right cameras,
An image processor configured to detect the obstacle by performing the obstacle detection method on the image acquired by the stereo camera unit;
Obstacle detection device comprising a monitoring unit for displaying the detection result by the image processing unit.

제8항에 있어서,
상기 장치는 차량에 탑재되어 상기 영상 처리부에 의해 검출된 결과를 차량이 제어 장치로 송신하는 것을 특징으로 하는 장애물체 검출 장치.
9. The method of claim 8,
And the apparatus is mounted on a vehicle and the vehicle transmits a result detected by the image processing unit to a control apparatus.

제8항에 있어서,
상기 스테레오 카메라부는 액티브 셔터 방식으로 영상을 획득하거나, 혹은 편광 필터를 이용하여 좌우 영상을 분리하여 영상을 획득하는 것을 특징으로 하는 장애물체 검출 장치.
9. The method of claim 8,
The stereo camera unit may acquire an image by an active shutter method, or obtain an image by separating the left and right images by using a polarization filter.