KR20100018734A - Method and apparatus for discriminating dangerous object in dead zone by using image processing - Google Patents
Method and apparatus for discriminating dangerous object in dead zone by using image processing Download PDFInfo
- Publication number
- KR20100018734A KR20100018734A KR1020080077372A KR20080077372A KR20100018734A KR 20100018734 A KR20100018734 A KR 20100018734A KR 1020080077372 A KR1020080077372 A KR 1020080077372A KR 20080077372 A KR20080077372 A KR 20080077372A KR 20100018734 A KR20100018734 A KR 20100018734A
- Authority
- KR
- South Korea
- Prior art keywords
- risk factor
- candidate
- image processing
- image
- blind spot
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상처리기술을 이용한 차량 측방의 위험요소 자동 검출 방법 및 장치에 관한 것이다. 더욱 상세하게는, 카메라 등 영상촬영장치로부터 차량 측방의 영상을 입력받으면 입력받은 영상을 처리하여 차량 측방에서 인식된 물체가 위험요소인지 여부를 판별하고 그 위험요소를 검출하는 영상처리기술을 이용한 측방 위험요소 검출 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for automatically detecting a risk factor on the side of a vehicle using image processing technology. More specifically, when an image of the side of the vehicle is received from an image photographing apparatus such as a camera, the side of the vehicle is processed using an image processing technology to determine whether the object recognized from the side of the vehicle is a hazard and detect the hazard. Hazard detection method and apparatus.
차량에는 운전자가 차량의 측방과 후방 상황을 인지할 수 있도록 사이드 미러와 백 미러가 장착되어 있다. 그러나, 사이드 미러나 백 미러를 통해 확인할 수 없는 사각지대가 존재하므로, 운전자가 차선을 변경하는 경우 등에 위험이 따르게 되며, 특히 초보 운전자의 경우에는 차선 변경에 위험부담을 느끼게 된다.The vehicle is equipped with side mirrors and rearview mirrors so that the driver can recognize the side and rear of the vehicle. However, since there are blind spots that cannot be identified through the side mirror or the rearview mirror, there is a risk when the driver changes lanes, and especially a novice driver feels the danger of changing the lane.
이러한 문제를 해소하기 위해, 카메라를 이용하여 차량의 사각지대의 상황을 운전자에게 디스플레이해주는 기술(실용신안출원 제2006-22548호), 초음파 등을 이용하여 차량 측방의 장애물을 감지하고 그 장애물까지의 거리를 측정하여 장애물과 의 거리가 가까운 경우 이를 운전자에게 경고하는 기술(특허등록 제600479호, 제98332호) 등 많은 발명이 제안되었다.To solve this problem, a technology that displays the situation of the blind spot of the vehicle to the driver using a camera (Utility Model Application No. 2006-22548), an ultrasonic wave, etc. is used to detect an obstacle on the side of the vehicle and Many inventions have been proposed, such as a technique (patent registration No. 600479, 98332) that warns the driver when the distance is close to the obstacle by measuring the distance.
그러나, 이러한 종래 기술들은 단지 사각지대의 상황을 운전자에게 디스플레이해주거나 또는 인접한 위치에 장애물이 있음을 경고해 주는 정도의 기술이어서, 운전자에게 사각지대의 위험요소에 대한 정확한 정보를 제공하기에는 한계가 있다.However, these prior arts are merely a technique of displaying the situation of the blind spot to the driver or of warning that there is an obstacle in an adjacent position, and thus there is a limit to providing the driver with accurate information about the danger of the blind spot. .
한편, 영상처리기술을 이용하여 측방 장애물을 검출하는 기술(특허등록 제757596호)도 제안되었다. 이 종래기술은 기존 초음파를 통해 장애물까지의 거리를 판별하는 것이 아니라 영상처리기술을 이용하여 장애물을 감지하고 그 장애물까지의 거리를 산출함으로써 인접한 장애물에 대한 정보를 운전자에게 제공하는 기술이다.On the other hand, a technique (patent registration No. 757596) for detecting a side obstacle using an image processing technique has also been proposed. This conventional technology is a technology for providing a driver with information about an adjacent obstacle by detecting an obstacle and calculating a distance to the obstacle by using an image processing technology, rather than determining the distance to the obstacle through the existing ultrasound.
그러나 이 기술 또한, 차량 측방에 인접한 장애물이 있는지를 확인하는 정도의 기술일 뿐, 그 장애물이 위험요소인지 여부를 판별하지는 못한다는 문제가 있으므로 운전자에게 정확한 정보를 제공하지는 못한다.However, this technique is also a technique for checking whether there is an obstacle adjacent to the side of the vehicle, and does not provide accurate information to the driver because there is a problem that it cannot determine whether the obstacle is a hazard.
따라서 본 발명은 카메라 등 영상촬영장치로부터 차량 측방의 영상을 입력받으면 입력받은 영상을 처리하여 차량 측방에서 인식된 물체가 위험요소인지 여부를 판별하고 그 위험요소를 검출하는 영상처리기술을 이용한 측방 위험요소 검출 방법 및 장치를 제공함을 목적으로 한다.Therefore, in the present invention, when an image of the side of the vehicle is received from an image photographing device such as a camera, the received image is processed to determine whether the object recognized from the side of the vehicle is a hazard, and a side hazard using an image processing technology for detecting the hazard. An object of the present invention is to provide a method and apparatus for detecting an element.
이러한 목적을 달성하기 위해 본 발명은, 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 방법에 있어서, 입력되는 영상을 배경에 비해 위험요소 가 부각되도록 영상처리하는 전처리 단계; 상기 전처리 단계에서 구해진 영상에서 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및 특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법을 제공한다.In order to achieve the above object, the present invention provides a method for detecting a hazard of blind spots using an image processing technique, the method comprising: pre-processing an input image so that a hazard is highlighted compared to a background; A candidate determination step of generating prominent salient points in the image obtained in the preprocessing step and analyzing the dynamic information of the salient points to determine a risk factor candidate; And a risk factor detection step of determining whether the risk factor candidate is a risk factor using a feature point / feature vector extraction algorithm.
또 다른 목적을 위해 본 발명은, 영상처리 기술을 이용하여 사각지대 위험요소를 검출하는 방법에 있어서, 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계; 상기 전처리 단계에서 구해진 영상의 밝기값의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 분리 단계; 상기 관심영역에서 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계; 및 특징점/특징벡터 추출 알고리즘을 이용하여 상기 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 방법을 제공한다.According to another aspect of the present invention, there is provided a method for detecting a blind spot risk factor using an image processing technique, the preprocessing step of processing an input image such that a risk factor is highlighted relative to a background; A region of interest separation step of separating / extracting only an area including a risk factor (hereinafter referred to as an 'region of interest') by analyzing a time change rate of brightness values of the image obtained in the preprocessing step; A candidate determination step of generating a prominent salient points in the region of interest and analyzing the dynamic information of the salient points to determine a risk factor candidate; And a risk factor detection step of determining whether the risk factor candidate is a risk factor using a feature point / feature vector extraction algorithm.
또 다른 목적을 위해 본 발명은, 영상처리 기술을 이용하여 사각지대의 위험요소를 검출하는 장치에 있어서, 영상촬영장치로 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 출력하는 전처리부; 상기 전처리부에서 영상처리된 영상으로부터 특징이 두드러진 돌출점들을 생성하고 상기 돌출점들의 동적 정보를 분석하여 위험요소 후보를 추출하는 후보 결정부; 및 상기 위험요소 후보에 특징점/특징벡터 추출 알고리즘을 적용하여 상기 위험요소 후보가 위험요소인지 여부를 판별하는 위험요소 검출부를 포함하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치를 제공한다.In another aspect, the present invention, in the device for detecting the risk factor of blind spots using an image processing technology, the pre-processing unit for outputting the image input to the image photographing device to image the risk factor to be highlighted compared to the background ; A candidate determiner which generates salient points with prominent features from the image processed by the preprocessor, and extracts a risk factor candidate by analyzing dynamic information of the salient points; And a risk factor detection unit for determining whether the risk factor candidate is a risk factor by applying a feature point / feature vector extraction algorithm to the risk factor candidate. do.
또 다른 목적을 위해 본 발명은, 상기 전처리부에서 영상처리된 영상의 밝기값의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 추출부를 포함하고, 상기 후보 결정부는 상기 관심영역 추출부에서 추출된 상기 관심영역으로부터만 상기 위험요소 후보를 추출하는 것을 특징으로 하는 영상처리 기술을 이용한 사각지대 위험요소 검출 장치를 제공한다. For another object of the present invention, the region of interest extraction that separates / extracts only the region containing the risk factor (hereinafter referred to as 'interest region') by analyzing the temporal change rate of the brightness value of the image processed by the preprocessor. And the candidate determiner extracts the risk factor candidate only from the ROI extracted by the ROI extractor.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function is obvious to those skilled in the art or may obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명에 따른 영상처리 기술을 이용한 사각지대 위험요소 검출 장치의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of a blind spot risk factor detection apparatus using an image processing technology according to the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처리 기술을 이용한 사각지대 검출 장치는 카메라(110), 전처리부(120), 후보 결정부(140) 및 위험요소 검출부(150)를 포함하며, 관심영역 추출부(130)를 더 포함할 수 있다.As shown in FIG. 1, the blind spot detection apparatus using an image processing technique according to an exemplary embodiment of the present invention may include a
카메라(110)는 차량의 사이드 미러 등의 위치에 장착되어, 차량의 사각지대를 촬영한 영상을 일정 시간 간격으로 전처리부(120)로 출력한다. The
전처리부(120)는 카메라(110)로부터 출력된 영상에서 배경에 비해 위험요소가 부각되도록 영상처리를 수행한다.The
카메라로부터 촬영되는 영상은 배경과 위험요소 등의 객체로 구분된다. 따라서 위험요소를 효과적으로 검출하기 위해서는 객체와 배경이 보다 분명히 구별되도록 하기 위한 영상처리가 필요한바, 전처리부(120)는 객체가 배경에 비해 부각될 수 있도록 영상처리를 수행한다.The images taken from the camera are divided into objects such as background and risk factors. Therefore, in order to effectively detect the risk factor, image processing is required to make the object and the background more clearly distinguished, and the
위험요소는 배경에 비해 밝거나 어두운 명암값을 가지므로, 본 발명의 실시예에서는 모폴로지(Morphology) 기법을 기반으로 한 탑-햇(Top-Hat) 기법 및 바틈-햇(Bottom-Hat) 기법을 사용하여 전처리부(120)를 구현하였다.Since the risk factor has a lighter or darker contrast value than the background, the embodiment of the present invention uses the Top-Hat technique and the Bottom-Hat technique based on the Morphology technique. Using the preprocessing
탑-햇 기법은 원래 영상과 열림(Opening) 연산을 통해 변환시킨 영상 간의 차를 이용해 변환하는 기법이고(
또한, 전처리부(120)는 모폴로지 기법을 이용하여 변환된 영상에 가우시안 커널(Gaussian Kernel) 함수를 적용함으로써, 진행방향이 고려된 위험요소의 특징이 보다 명확히 부각되도록 할 수도 있다.In addition, the
도 2는 본 발명에 적용된 가우시안 커널 함수의 예를 보여주고 있는데, 붉은색 부분은 특징강화가 크게 일어나는 부분이고 푸른색 부분은 특징강화가 작게 나타나는 부분이며, 기울어진 정도를 나타내는 θ와 기울어진 모양은 위험요소의 진행방향과 관련이 있다.Figure 2 shows an example of the Gaussian kernel function applied to the present invention, the red portion is a portion where the feature enhancement is large and the blue portion is a portion where the feature enhancement is small, the inclination θ and the inclined shape Is related to the direction of risk.
따라서, 탑-햇 기법과 바틈-햇 기법을 이용하여 변환된 영상에 위험요소의 진행방향이 고려된 가우시안 커널 함수를 적용하여 도 2와 같은 확률 분포를 얻고, 위험요소가 나타날 확률이 높은 공간(도 2에서 붉은색 부분)에 높은 가중치를 부여함으로써 위험요소의 특징을 좀 더 부각시킬 수 있다.Therefore, by applying the Gaussian kernel function that considers the progression of the risk factor to the transformed image using the top-hat technique and the short-hat technique, the probability distribution is obtained as shown in FIG. In FIG. 2, the weight of the red part may be emphasized to further highlight the characteristics of the risk factor.
다시 도 1을 참조하면, 관심영역 추출부(130)는 전처리부(120)에서 처리된 영상의 밝기의 시간변화율을 분석하여 위험요소가 포함된 영역(이하, "관심영역"이라 함)을 분리/추출한다. Referring back to FIG. 1, the region of
사각지대에 있는 장애물 중 운전자에게 위험한 요소는 옆 차선을 주행하는 차량 등 움직이는 물체이고, 카메라(110)로부터 입력된 영상에서 위험요소가 나타나게 되면 영상의 밝기에 변화가 생긴다. 따라서 영상의 밝기의 변화를 통해 위험요소가 포함된 영역을 결정할 수가 있다.Among the obstacles in the blind spot, a dangerous factor to the driver is a moving object such as a vehicle traveling in a side lane, and when a hazard appears in an image input from the
이를 위해 관심영역 추출부(130)는 전처리부(120)에서 처리된 영상을 n개의 블럭으로 분할하고, 각 블럭마다 시간에 따른 영상의 밝기 변화율을 계산하고 이 밝기 변화율을 이용하여 위험요소가 포함된 블럭을 추출함으로써, 전체 영상에서 관심영역을 분리하도록 구현된다. 이 때, 밝기값의 시간변화율로 단순히 밝기값의 시간에 대한 기울기가 아닌 밝기값의 히스토그램 변화량을 사용함으로써 보다 정확 하게 위험요소가 포함된 관심영역을 추출해 낼 수 있게 된다.To this end, the
도 3은 본 발명에 따른 관심영역 추출부의 구현예를 설명하기 위한 도면이다.3 is a view for explaining an embodiment of the ROI extractor according to the present invention.
전처리부(120)를 통과한 영상들이 입력되면, 관심영역 추출부(130)는 영상 프레임마다 n개의 블럭으로 분할하고 각 블럭별로 밝기값을 변수로 하고 픽셀의 수를 도수로 하는 히스토그램을 산출한다. 그리고 산출된 히스토그램을 양자화(Quantization)한 후, 각 블럭별로 연속된 프레임 간의 차이를 평균하여 각 블럭별로 밝기값의 변화량을 계산한다. 이후 밝기값이 특정 임계값(Threshold)을 초과하는 블럭만을 추출함으로써 관심영역을 분리하게 된다.When the images passing through the
한편, 블럭 사이의 경계 부분에서 발생하는 블록킹 현상(Blocking Artifacts)을 제거하기 위해, 영상을 분할할 때 이웃하는 블럭들이 경계 부분에서 일정 부분 서로 겹치도록 할 수도 있다.Meanwhile, in order to remove blocking artifacts occurring at boundary portions between blocks, neighboring blocks may overlap some portions at the boundary portions when the image is divided.
다시 도 1을 참조하면, 후보 결정부(140)는 관심영역 추출부(130)에서 추출된 관심영역으로부터 특징이 두드러진 돌출점(Salient Point)들을 추출하고 돌출점들의 동적 정보를 분석하여 위험요소 후보들을 추출한다.Referring back to FIG. 1, the candidate determiner 140 extracts salient points having distinctive features from the ROI extracted by the
후보 결정부(140)가 돌출점을 추출하는 과정의 예를 도 4를 참조하여 설명하면, 먼저, 카메라로부터 입력된 영상에 소벨(Sobel) 알고리즘 등을 적용하여 관심영역의 윤곽선 정보를 생성하고(E), 이 윤곽선 정보를 중심-주변 차이(Center-Surround Difference) 및 정규화(Normalization) 처리를 하여 윤곽 특징맵(
중심-주변 차이는 아래의 수학식과 같이 DoG(Difference of Gaussian) 함수로부터 구할 수 있다.The center-periphery difference can be obtained from a difference of Gaussian (DoG) function as in the following equation.
여기서, D는 DoG 함수를, G는 가우시안 커널함수, I는 원래 영상을 의미하며, L은 G와 I가 컨벌루션된 영상을 의미한다.Here, D denotes a DoG function, G denotes a Gaussian kernel function, I denotes an original image, and L denotes an image in which G and I are convolved.
가우시안 커널함수를 원래 영상과 컨벌루션하면 커널함수의 분산(σ)에 따라 블러링(Blurring)된 정도가 다른 영상이 얻어진다. 즉, 분산이 작으면 블러링된 정도가 작은 영상이 구해지고 분산이 크면 블러링된 정도가 큰 영상이 구해진다.When the Gaussian kernel function is convolved with the original image, an image having a different degree of blurring is obtained according to the variance σ of the kernel function. That is, if the variance is small, an image with a small blur is obtained, and if the variance is large, an image with a large blur is obtained.
따라서 분산이 작은 가우시안 커널함수와 분산이 큰 가우시안 커널함수를 원래 영상과 컨벌루션하고 그 차이를 구한 후 이를 정규화하면 특징이 강한 픽셀들이 부각된 윤곽 특징맵을 생성할 수 있다.Therefore, if the Gaussian kernel function with small variance and the Gaussian kernel function with large variance are convolved with the original image, and the difference is normalized, normalization of the difference can produce a contour feature map in which strong pixels are highlighted.
이렇게 생성된 윤곽 특징맵과 전처리단계에서 처리된 영상(IT)을 합성하면 돌출맵(SM: Salient Map)을 생성할 수 있고, 돌출맵의 돌출점들로부터 배경과 구별되는 특정 물체를 찾을 수 있게 된다.By synthesizing the contour feature map generated in this way and the image I T processed in the preprocessing step, a salient map (SM) can be generated and a specific object distinguished from the background can be found from the protrusion points of the protrusion map. Will be.
그러나 돌출맵은 단지 배경에 비해 특징이 두드러진 영역을 찾아는 것이므 로 돌출맵의 돌출점들이 위험요소라고 단정할 수는 없다. However, it is not possible to assume that the protrusion points of the protrusion map are dangerous because the protrusion map only finds the areas that are more prominent than the background.
따라서, 본 발명에서는, 위험요소가 움직이는 물체라는 점을 고려하여, 돌출점들의 동적 정보를 이용하여 위험요소 후보를 추출하게 된다.Therefore, in the present invention, considering the fact that the hazard is a moving object, the hazard candidate is extracted using the dynamic information of the protrusion points.
도 5와 도 6은 돌출점들의 동적 정보를 이용하여 위험요소 후보를 추출하는 방법을 설명하기 위한 도면인데, 도 5는 돌출점들을 그룹핑하는 과정을 나타내는 도면이고, 도 6은 위험요소 후보를 검출하는 과정을 나타내는 도면이다.5 and 6 are diagrams for explaining a method of extracting a risk factor candidate using dynamic information of protrusion points, FIG. 5 is a diagram illustrating a process of grouping protrusion points, and FIG. It is a figure which shows the process to perform.
위험요소가 영상에 나타날 경우, 대부분의 돌출점들은 위험요소에 생성되는데, 위험요소는 갑작스러운 사라짐이나 나타남과 같은 큰 위치 변화를 가지지 않는다. 따라서 위험요소에 생성된 돌출점들은 연속된 프레임에서 그 위치가 갑작스럽게 변하지 않는다.When a hazard appears on the image, most of the protrusion points are created on the hazard, which does not have a large position change such as sudden disappearance or appearance. Thus, the protruding points created on the hazard do not suddenly change their position in successive frames.
본 발명은 이러한 점을 감안하여 돌출점들의 동적 정보를 이용하여 위험요소 후보를 추출한다.In view of this, the present invention extracts the risk factor candidate using the dynamic information of the protrusion points.
먼저 도 5를 참조하면, 돌출맵에서 특징이 두드러진 순으로 소정 갯수의 돌출점들을 추출하고, 돌출점 간의 거리를 구한 후 그 거리가 특정 임계값보다 작은 돌출점들을 하나의 그룹으로 그룹핑하고 나머지 돌출점들은 배경에서 생성된 것으로 판단하여 위험요소 후보에서 제외한다. 또한, 그룹 내의 돌출점들의 갯수가 일정값 이하인 경우에도 마찬가지로 위험요소 후보에서 제외한다. 도 5는, 돌출점들의 거리를 이용하여 그룹 1과 그룹 2를 생성하는 과정과, 그룹 2를 그룹 내 돌출점들의 갯수가 적어 위험요소 후보에서 제외하는 과정을 보여주고 있다. 다만, 이에 한정되는 것은 아니며 그룹핑된 모든 그룹을 위험요소 후보로 하는 것도 가능하다.First, referring to FIG. 5, a predetermined number of protrusion points are extracted from the protrusion map in the order of prominence, and the distance between the protrusion points is obtained. Then, the protrusion points smaller than a specific threshold are grouped into one group, and the remaining protrusions are grouped. Points are considered to be generated in the background and are excluded from the risk candidate. Also, if the number of protruding points in the group is less than or equal to a certain value, the risk factor is excluded. FIG. 5 illustrates a process of generating
이렇게 돌출점들의 그룹핑이 완료되면, 그 그룹 중 대표 돌출점을 결정하는데, 이는 그룹 중 중심에 있는 돌출점을 대표 돌출점으로 하거나 또는 각 돌출점들의 위치의 평균값을 대표 돌출점으로 결정할 수 있다.When the grouping of the protrusion points is completed, the representative protrusion point of the group is determined, which may be the representative protrusion point of the protrusion point in the center of the group or the average value of the position of each protrusion point.
대표 돌출점들이 결정되면, 대표 돌출점들의 프레임별 위치 변화를 분석하여 위험요소 후보인지 여부를 결정하게 된다. 도 6을 참조하면, 연속된 각각의 프레임에서 윗쪽에 위치한 대표 돌출점은 위치 변화가 크지 않으므로 동일한 그룹으로 판단하고 이 그룹을 위험요소 후보로 결정하게 된다. 그러나, 각 프레임에서 아랫쪽에 위치한 대표 돌출점은 나타났다가 사라짐을 반복하므로, 즉, 위치 변화가 크므로 위험요소 후보에서 제외된다. Once the representative protrusion points are determined, the positional change of the representative protrusion points by frame is analyzed to determine whether the risk points are candidate candidates. Referring to FIG. 6, the representative protrusion points located above each successive frame are determined to be the same group because the position change is not large, and the group is determined as a risk candidate. However, the representative protruding point located at the bottom of each frame repeatedly appears and disappears, that is, it is excluded from the risk candidate because the position change is large.
이렇게 후보 결정부(140)에서 돌출점들의 동적 정보를 이용하여 위험요소 후보를 결정하면, 위험요소 검출부(150)에서는 영상의 특징점 또는 특징벡터를 추출하는 알고리즘을 사용하여 위험요소 후보가 실제 위험요소인지 여부를 판별하는데, 본 발명의 실시예에서는 특징점/특징벡터를 추출하는 알고리즘으로 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하였다.When the
도 7은 SIFT 알고리즘을 적용하였을 때 배경의 방향성 윤곽정보와 위험요소의 방향성 윤곽정보를 비교한 도면이다.7 is a diagram comparing directional contour information of a background with directional contour information of a risk factor when the SIFT algorithm is applied.
도 7에 도시된 바와 같이, 위험요소가 가지는 방향성 윤곽정보는 배경이 가지는 방향성 윤곽정보와는 차이가 있다. 따라서 SIFT 알고리즘을 적용하여 후보 결정부에서 결정된 위험요소 후보의 방향성 윤곽 정보를 분석하면 위험요소 후보가 실제 위험요소인지 여부를 판별할 수 있게 된다.As shown in FIG. 7, the directional contour information of the risk factor is different from the directional contour information of the background. Therefore, by analyzing the directional contour information of the risk factor candidate determined by the candidate decision unit by applying the SIFT algorithm, it is possible to determine whether the risk candidate is an actual risk factor.
단, 본 발명의 실시예에서는 특징점이나 특징벡터를 추출하기 위한 알고리즘으로 SIFT 알고리즘을 사용하였으나, 이에 한정되는 것은 아니며, Corner나 Contour Detector 등과 같이 영상으로부터 특징점이나 특징벡터를 추출하여 객체의 특징을 파악할 수 있다면 어떠한 알고리즘도 사용할 수 있을 것이다. However, in the embodiment of the present invention, the SIFT algorithm is used as an algorithm for extracting the feature point or the feature vector. However, the present invention is not limited thereto, and the feature of the object may be identified by extracting the feature point or the feature vector from the image, such as a corner or a contour detector. If you can, you can use any algorithm.
이하, 본 발명에 따른 위험요소 검출 장치에 의한 위험 요소 추출 방법을 설명하면, 본 발명에 따른 위험 요소 추출 방법은 카메라로부터 입력되는 영상을 배경에 비해 위험요소가 부각되도록 영상처리하는 전처리 단계, 전처리 단계에서 구해진 영상을 소정 갯수의 블럭으로 분할하고 각 블럭별 밝기값의 시간변화율을 분석하여 각 블럭 중 위험요소가 포함된 블럭(이하, '관심영역'이라 함)만을 분리/추출하는 관심영역 분리 단계, 관심영역에서 특징이 두드러진 돌출점들을 추출하고 추출된 돌출점들의 동적 정보를 분석하여 위험요소 후보를 결정하는 후보 결정 단계 및 특징점/특징벡터 추출 알고리즘을 적용하여 위험요소 후보가 위험요소인지를 판별하는 위험요소 검출 단계로 이루어진다.Hereinafter, a method of extracting a risk factor by a risk factor detection apparatus according to the present invention, the risk factor extraction method according to the present invention is a pre-processing step, pre-processing the image input from the camera to highlight the risk factor compared to the background Splitting the image obtained in the step into a predetermined number of blocks and analyzing the temporal rate of change of the brightness value of each block to separate / extract only the blocks containing risks (hereinafter referred to as 'regions of interest') of each block. Steps are determined by extracting the prominent feature points from the region of interest and analyzing the dynamic information of the extracted protruding points to determine the candidate for risk factors, and applying the feature point / feature vector extraction algorithm to determine whether the risk candidates are risk factors. The risk factor detection step is performed.
전처리 단계, 관심영역 분리 단계, 후보 결정 단계 및 위험요소 검출 단계에 대한 구체적인 설명은 각각 전처리부, 관심영역 추출부, 후보 결정부 및 위험요소 검출부에서 전술한 내용과 동일하므로 더 이상의 설명을 생략한다.Detailed descriptions of the preprocessing step, the ROI separation step, the candidate determination step, and the risk factor detection step are the same as those described above in the preprocessing part, the ROI extraction part, the candidate decision part, and the risk factor detection part, respectively, and thus, further descriptions thereof will be omitted. .
아래의 표는 본 발명의 실시예에 따른 실험결과를 나타낸 것이다.The table below shows the experimental results according to the embodiment of the present invention.
영상에 위험요소가 포함된 경우에, 위험요소가 존재한다고 판별하는 경우를 "positive true"로, 존재하지 않는다고 판별하는 경우를 "positive false"로 표시하였다.In the case where the risk factor is included in the image, the case in which the risk factor is determined is represented as "positive true", and the case in which it is determined that there is no risk factor is represented as "positive false".
또한, 영상에 위험요소가 포함되지 않은 경우에, 위험요소가 존재하지 않는다고 판별하는 경우를 "negative true", 존재한다고 판별하는 경우를 "negative false"로 표시하였다. In addition, when a risk factor is not included in the image, a case in which it is determined that there is no risk factor is represented as "negative true", and a case in which the risk factor is determined as "negative false".
이 결과로부터, 본 발명을 적용하는 경우 위험요소 판별의 정확성이 80% 이상이 됨을 확인할 수 있다.From this result, it can be confirmed that the accuracy of the risk factor determination is 80% or more when applying the present invention.
이상에서 설명한 실시예에서는, 카메라로부터 출력된 영상에서 관심영역을 추출하고 이 관심영역을 대상으로 위험요소 후보를 결정하는 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 즉, 관심영역을 별도로 추출하지 않고, 카메라로부터 출력된 영상 전체를 이용하여 위험요소 후보를 결정하도록 구현할 수도 있다. 다만, 영상에서 위험요소가 포함된 영역만을 분리하여 관심영역만을 대상으로 위험요소 후보를 추출하도록 구현하는 것이, 불필요한 연산량을 줄일 수 있다는 점에서, 더 좋은 구현예가 될 것이다.In the above-described embodiment, the extraction of the ROI from the image output from the camera and the determination of the risk factor candidate for the ROI have been described as an example, but is not limited thereto. That is, the risk candidate may be determined using the entire image output from the camera without extracting the ROI. However, the implementation of extracting the risk factor candidate from only the ROI by separating only the region including the risk factor from the image may be a better implementation in that unnecessary computation amount may be reduced.
이상의 본 발명의 실시예에 따르면, 카메라로부터 촬영된 사각지대 영상으로부터 위험요소를 정확하게 판별할 수 있다는 효과가 있다. 또한, 그 영상에서 위험요소가 포함된 영역만을 분리하여 연산을 수행하도록 구현하는 경우, 위험요소가 포함되지 않은 영역에 대해서 연산을 하지 않아도 되므로 프로세서의 불필요한 연산량을 줄일 수 있다는 장점이 있다.According to the embodiment of the present invention, there is an effect that can accurately determine the risk factor from the blind spot image taken from the camera. In addition, in the case of implementing the operation by separating only the region containing the risk factor from the image, there is an advantage that unnecessary computation amount of the processor may be reduced since the operation does not need to be performed on the region not including the risk factor.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
도 1은 본 발명에 따른 영상처리 기술을 이용한 사각지대 위험요소 검출 장치의 개략적인 구성을 나타내는 도면,1 is a view showing a schematic configuration of a blind spot risk factor detection apparatus using an image processing technology according to the present invention,
도 2는 본 발명에 적용된 가우시안 커널 함수의 예를 보여주는 도면,2 is a diagram showing an example of a Gaussian kernel function applied to the present invention;
도 3은 본 발명에 따른 관심영역 추출부의 구현예를 설명하기 위한 도면,3 is a view for explaining an embodiment of a region of interest extraction unit according to the present invention;
도 4는 본 발명에 따른 후보 결정부(140)가 돌출점을 추출하는 과정의 예를 설명하기 위한 도면,4 is a view for explaining an example of the process of extracting the protrusion point by the
도 5는 돌출점들을 그룹핑하는 과정을 나타내는 도면, 5 is a diagram illustrating a process of grouping protrusion points;
도 6은 위험요소 후보를 검출하는 과정을 나타내는 도면,6 is a diagram illustrating a process of detecting a risk factor candidate;
도 7은 SIFT 알고리즘을 적용하였을 때 배경의 방향성 윤곽정보와 위험요소의 방향성 윤곽정보를 비교한 도면이다.7 is a diagram comparing directional contour information of a background with directional contour information of a risk factor when the SIFT algorithm is applied.
Claims (18)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080077372A KR20100018734A (en) | 2008-08-07 | 2008-08-07 | Method and apparatus for discriminating dangerous object in dead zone by using image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080077372A KR20100018734A (en) | 2008-08-07 | 2008-08-07 | Method and apparatus for discriminating dangerous object in dead zone by using image processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20100018734A true KR20100018734A (en) | 2010-02-18 |
Family
ID=42089300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080077372A KR20100018734A (en) | 2008-08-07 | 2008-08-07 | Method and apparatus for discriminating dangerous object in dead zone by using image processing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20100018734A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101361663B1 (en) * | 2012-03-21 | 2014-02-12 | 주식회사 코아로직 | Image processing apparatus and metnod of vehicle |
| WO2016035931A1 (en) * | 2014-09-04 | 2016-03-10 | 주식회사 토비스 | Device for monitoring driving blind spot of vehicle and method therefor |
| KR20230040287A (en) | 2021-09-15 | 2023-03-22 | 주식회사 핀텔 | Method and system for detecting an object falling based on bitstream information of image information |
-
2008
- 2008-08-07 KR KR1020080077372A patent/KR20100018734A/en not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101361663B1 (en) * | 2012-03-21 | 2014-02-12 | 주식회사 코아로직 | Image processing apparatus and metnod of vehicle |
| WO2016035931A1 (en) * | 2014-09-04 | 2016-03-10 | 주식회사 토비스 | Device for monitoring driving blind spot of vehicle and method therefor |
| KR20230040287A (en) | 2021-09-15 | 2023-03-22 | 주식회사 핀텔 | Method and system for detecting an object falling based on bitstream information of image information |
| KR20230040286A (en) | 2021-09-15 | 2023-03-22 | 주식회사 핀텔 | Method and system for detecting an object throwing based on bitstream information of image information |
| KR20230040285A (en) | 2021-09-15 | 2023-03-22 | 주식회사 핀텔 | Method and system for detecting an object region based on bitstream information of image information |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| KR101569411B1 (en) | Pedestrian realization apparatus and method | |
| US20170032676A1 (en) | System for detecting pedestrians by fusing color and depth information | |
| KR101392850B1 (en) | Method and system for lane departure warning based on image recognition | |
| US8649608B2 (en) | Feature value extracting device, object identification device, and feature value extracting method | |
| JP2017531883A (en) | Method and system for extracting main subject of image | |
| EP2573708B1 (en) | Method and System for Detecting Vehicle Position by Employing Polarization Image | |
| KR101176693B1 (en) | Method and System for Detecting Lane by Using Distance Sensor | |
| CN107886034B (en) | Driving reminding method and device and vehicle | |
| US10521659B2 (en) | Image processing device, image processing method, and image processing program | |
| US9552528B1 (en) | Method and apparatus for image binarization | |
| Musoromy et al. | Edge detection comparison for license plate detection | |
| KR20110001425A (en) | Lane classification method using statistical model of hsi color information | |
| EP3432264A1 (en) | Image processing device, image pickup device, mobile-body apparatus control system, image processing method, and program | |
| KR101737430B1 (en) | A method of detecting objects in the image with moving background | |
| WO2016059643A1 (en) | System and method for pedestrian detection | |
| CN101369312B (en) | Method and equipment for detecting intersection in image | |
| Devane et al. | Lane detection techniques using image processing | |
| KR101523765B1 (en) | Enhanced Method for Detecting Iris from Smartphone Images in Real-Time | |
| KR20100018734A (en) | Method and apparatus for discriminating dangerous object in dead zone by using image processing | |
| Chen et al. | Salient video cube guided nighttime vehicle braking event detection | |
| Jeong et al. | Fast fog detection for de-fogging of road driving images | |
| CN110321828B (en) | Front vehicle detection method based on binocular camera and vehicle bottom shadow | |
| CN114529715A (en) | Image identification method and system based on edge extraction | |
| JP6364189B2 (en) | Pedestrian detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |