KR102619326B1 - Apparatus and Method for Detecting Vehicle using Image Pyramid - Google Patents
Apparatus and Method for Detecting Vehicle using Image Pyramid Download PDFInfo
- Publication number
- KR102619326B1 KR102619326B1 KR1020160162641A KR20160162641A KR102619326B1 KR 102619326 B1 KR102619326 B1 KR 102619326B1 KR 1020160162641 A KR1020160162641 A KR 1020160162641A KR 20160162641 A KR20160162641 A KR 20160162641A KR 102619326 B1 KR102619326 B1 KR 102619326B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- interest
- region
- distance information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012706 support-vector machine Methods 0.000 claims abstract description 20
- 239000003814 drug Substances 0.000 claims description 13
- 229940079593 drug Drugs 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 3
- 238000004904 shortening Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000013145 classification model Methods 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 차량 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 거리 정보 및 이미지 피라미드를 사용하여 보다 정밀하게 차량을 인식하는 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치는 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부, 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지 피라미드를 이용한 차량 인식 장치 및 방법은 차량 인식 알고리즘을 돌려야 하는 관심영역을 줄임으로써 차량을 인식하는데 걸리는 수행 시간을 크게 단축할 수 있는 효과가 있다. The present invention relates to a vehicle recognition device and method, and more specifically, to a device and method for more precise vehicle recognition using distance information and image pyramids.
A vehicle recognition device for recognizing a vehicle in a front image according to an embodiment of the present invention includes an image acquisition unit that acquires an image of the front of a parking vehicle (hereinafter referred to as the original image), and an image acquisition unit that acquires the original image x times at a constant ratio. An image pyramid generator that generates an image pyramid containing a reduced A region of interest creation unit that creates a region of interest in the image pyramid to confirm whether the object is a vehicle based on the obtained distance information, a weak classification unit that checks the possibility of a vehicle existing within the region of interest, and the weak classification unit. If the possibility of a vehicle's existence is confirmed, strong classification may be included to determine whether to confirm it as a vehicle by applying SVM (Support Vector Machine).
The vehicle recognition device and method using an image pyramid according to an embodiment of the present invention has the effect of significantly shortening the execution time required to recognize a vehicle by reducing the area of interest in which the vehicle recognition algorithm must run.
Description
본 발명은 차량 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 거리정보 및 이미지 피라미드를 사용하여 보다 정밀하게 차량을 인식하는 장치 및 방법에 관한 것이다.The present invention relates to a vehicle recognition device and method, and more specifically, to a device and method for more precise vehicle recognition using distance information and image pyramids.
전방 충돌 경고 시스템(Forward Collision Warning)은 전방의 이동 차량을 감지하여 충돌 위험이 있는 경우 운전자에게 경고하는 시스템이다. 이러한 전방 충돌 경고 시스템은 일반적으로 카메라를 통해 전방의 영상을 획득하고 획득한 영상에서 전방에 있는 물체들을 인식하고, 그 중에서 차량 고유의 특징을 가지는 물체를 선별함으로써 차량을 인식하게 된다. Forward Collision Warning is a system that detects moving vehicles in front and warns the driver if there is a risk of collision. This forward collision warning system generally acquires images of the front through a camera, recognizes objects in front from the acquired images, and recognizes the vehicle by selecting objects with vehicle-specific characteristics among them.
전방 충돌 경고 시스템이 좀 더 정밀하게 동작할 수 있도록 하기 위하여 최근에는 라이더(Lidar) 센서나 레이더(Radar)를 이용하여 측정한 거리 정보를 카메라에 적용함으로써 정확성을 높이고자 하고 있다. In order to enable the forward collision warning system to operate more precisely, recent efforts have been made to increase accuracy by applying distance information measured using a Lidar sensor or radar to a camera.
그런데 카메라를 이용한 물체 인식을 위해서는 상기한 것처럼 차량을 인식하기 위한 이미지 처리 알고리즘이 수행되어야 한다. 그런데 이러한 이미지 처리 알고리즘은 화면이 크다면 시간이 오래 걸려 가능한 시간 내에 차량을 인식하지 못할 수 있다. 이를 해결하고자 차량이 있을만한 관심영역(Region of Interest; ROI)을 설정하고 관심영역 내에서만 이미지 처리 알고리즘을 돌림으로써 차량은 인식하는데 드는 수행시간을 줄이려는 노력이 진행되고 있다. However, in order to recognize an object using a camera, an image processing algorithm for recognizing a vehicle must be performed as described above. However, this image processing algorithm takes a long time if the screen is large, so it may not be able to recognize the vehicle within the possible time. To solve this problem, efforts are being made to reduce the execution time required to recognize a vehicle by setting a Region of Interest (ROI) where a vehicle may be located and running an image processing algorithm only within the region of interest.
본 발명은, 거리정보 및 이미지 피라미드를 이용하여 관심 영역을 줄임으로써 차량을 인식하는 데 필요한 시간을 단축하는 방법 및 장치를 제시하는 것을 기술적 과제로 한다.The technical task of the present invention is to propose a method and device for shortening the time required to recognize a vehicle by reducing the area of interest using distance information and image pyramid.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 장치는 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부, 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류를 포함할 수 있다. 이에 더하여, 차량 인식 장치는 차량 인식의 신뢰성을 강화하기 위하여 인식된 차량에 대하여 연속적인 이미지상에서의 추적을 수행하고, 일시적으로 소실된 차량의 트랙(track)을 유지할 수 있는 차량 추적부를 더 포함할 수 있다.A vehicle recognition device for recognizing a vehicle in a front image according to an embodiment of the present invention to achieve the above-described object includes an image acquisition unit that acquires an image of the front of the parking lot (hereinafter referred to as the original image), the An image pyramid generator that generates an image pyramid containing x-level images (x is all natural numbers greater than or equal to 1 and less than n), which is reduced by x times the original image at a constant ratio. Horizontal/vertical distance information to the object in front. A distance information acquisition unit that acquires a distance information, a region of interest generation unit that creates a region of interest in the image pyramid to check whether the object is a vehicle based on the obtained distance information, and a weak classification that checks the possibility of a vehicle existing within the region of interest. If the possibility of the vehicle's existence is confirmed in the weak classification section, it may include a strong classification that determines whether to confirm it as a vehicle by applying SVM (Support Vector Machine). In addition, in order to enhance the reliability of vehicle recognition, the vehicle recognition device may further include a vehicle tracking unit capable of tracking the recognized vehicle on continuous images and maintaining a track of a temporarily lost vehicle. You can.
여기서 상기 약분류부는 차량이 포함되어 있는 특정 크기의 템플릿 이미지와 차량이 포함되어 있지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하고, 상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인할 수 있다. 좀 더 상세히 설명하면, 상기 약분류부는 MCT(Modified Census Transform) 방식을 이용하여 상기 차량이 포함되어 있는 템플릿 이미지 및 상기 차량이 포함되어 있지 않은 템플릿 이미지에서의 각 픽셀에서의 특징값을 추출하고, 양 템플릿 이미지의 각 픽셀에서의 특징값을 비교하여 특징값에 차이가 나는 픽셀의 위치를 특징점으로 생성할 수 있다.Here, the weak classification unit compares and analyzes a template image of a specific size that includes a vehicle and a template image of the same specific size that does not include a vehicle, and generates a feature point in the template image size that can determine that a vehicle is present, Based on the feature points, the possibility of a vehicle existing in the area of interest can be confirmed. In more detail, the weak classification unit extracts the feature value of each pixel in the template image containing the vehicle and the template image not containing the vehicle using the MCT (Modified Census Transform) method, By comparing the feature values at each pixel of both template images, the location of the pixel where the feature values differ can be created as a feature point.
그리고 상기 관심영역 생성부는 상기 거리정보 획득부에서 획득한 물체까지의 종방향 거리 정보를 바탕으로 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 단계 이미지를 복수 개 선정하고, 상기 선정된 단계 이미지 각각에서 상기 거리정보 획득부에 획득한 상기 물체의 위치를 중심으로 좌/우로 일정 크기를 가지는 영역을 관심영역으로 생성할 수 있다. 그리고 상기 관심영역 생성부는 수학식And the region of interest generator generates a step image in the image pyramid in which the object in the original image is determined to be reduced to the size of a vehicle in the template image based on the longitudinal distance information to the object acquired by the distance information acquisition unit. A plurality of images may be selected, and an area of a certain size to the left and right centered on the position of the object acquired by the distance information acquisition unit may be created as a region of interest in each of the selected stage images. And the region of interest generator uses the equation
I1 = floor(log(Ts x Z /(1.5fc))/log S)I1 = floor(log(Ts x Z /(1.5fc))/log S)
I2 = floor(log(Ts x Z /(2.5fc))/log S) + 1I2 = floor(log(Ts x Z /(2.5fc))/log S) + 1
(여기서 Ts는 템플릿 이미지의 길이, Z는 상기 거리정보 획득부에서 획득한 종방향 거리, fc는 초점 거리(focal length), S는 상기 이미지 피라미드 내의 단계 이미지 간의 축소 비율, floor(a)는 a보다 작은 정수를 나타내는 함수)을 사용하여 I1 내지 I2 단계 이미지를 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 단계 이미지로 선정할 수 있다.(Where Ts is the length of the template image, Z is the longitudinal distance obtained from the distance information acquisition unit, fc is the focal length, S is the reduction ratio between step images in the image pyramid, and floor(a) is a A function representing a smaller integer) can be used to select images of levels I1 to I2 in the image pyramid in which the object in the original image is determined to be reduced to the size of a vehicle in the template image.
그리고 상기 약분류부는 상기 관심영역 생성부에서 생성한 관심영역을 연쇄 윈도우 스캔 방식-상기 관심영역의 꼭지점 중의 하나에서 시작하여 전 관심영역을 비교할 수 있도록 1픽셀씩 왼쪽/오른쪽 또는 위/아래로 움직여가며 비교하는 방식-으로 상기 템플릿 이미지 크기에서의 특징점과 비교하여 차량일 가능성을 확인할 수 있다.And the weak classification unit moves the region of interest created by the region of interest generation unit by a chain window scan method - starting from one of the vertices of the region of interest and moving it left/right or up/down by 1 pixel so that the entire region of interest can be compared. The possibility of it being a vehicle can be confirmed by comparing it with the feature points in the template image size using a step-by-step comparison method.
그리고 상기 강분류부는 차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하여 놓고, 상기 약분류부에 의하여 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정할 수 있다. And the strong classification unit classifies the vehicle into three models - sedan/SUV model, bus/truck model, and other specific vehicle models - based on the vehicle's geometric characteristics expressed in vehicle width vs. height, and learns for each model. SV (Support Vertor) is set in advance, and when the possibility of the presence of a vehicle is confirmed by the weak classification unit, a horizontal/vertical edge mask is applied to calculate the size and angle of the edge to calculate the feature point. , the existence of the vehicle can be confirmed by obtaining the dot product between the feature point calculated for each model and the SV.
상기 작업을 하기 위한 템플릿 이미지의 크기는 28x28 픽셀일 수 있고, 상기 이미지 피라미드가 포함하는 단계 이미지는 20개(n=20)일 수 있고, 상기 일정한 비율은 0.845일 수 있다.The size of the template image for performing the above task may be 28x28 pixels, the number of step images included in the image pyramid may be 20 (n=20), and the constant ratio may be 0.845.
전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전방 이미지(image)에서 차량을 인식하기 위한 차량 인식 방법은 주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득 단계, 상기 원본이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계, 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득 단계, 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성 단계, 상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류 단계; 및 상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류 단계를 포함할 수 있다.A vehicle recognition method for recognizing a vehicle in a front image according to an embodiment of the present invention to achieve the above-described object includes an image acquisition step of acquiring an image in front of a parking lot (hereinafter referred to as an original image), An image pyramid creation step that generates an image pyramid containing x-level images (x is all natural numbers greater than or equal to 1 and less than n) by reducing the original image x times at a constant ratio. Horizontal/vertical distance information to the object in front. A distance information acquisition step to obtain a distance information, a region of interest creation step to create a region of interest in the image pyramid to confirm whether the object is a vehicle based on the obtained distance information, and a weak classification to confirm the possibility of a vehicle existing within the region of interest. step; And when the possibility of the vehicle's existence is confirmed in the weak classification unit, it may include a strong classification step of determining whether to confirm it as a vehicle by applying SVM (Support Vector Machine).
여기서 상기 약분류 단계는 동일한 크기의 차량이 포함되어 있는 템플릿 이미지와 차량이 포함되어 있지 않은 템플릿 이미지를 비교분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하는 단계 및 상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인하는 단계를 포함할 수 있고, 상기 강분류 단계는 차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하는 단계 및 상기 약분류부에 의하여 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정하는 단계를 포함할 수 있다.Here, the weak classification step is a step of comparing and analyzing a template image containing a vehicle of the same size and a template image not containing a vehicle to generate a feature point in the template image size that can determine that a vehicle is present, and the feature point Based on this, it may include a step of confirming the possibility of the presence of a vehicle in the area of interest, and the strong classification step divides the vehicle into three models - sedan/SUV model, bus based on the geometric characteristics of the vehicle indicated by vehicle width vs. height. /Truck model, other specific vehicle model-classification, pre-setting SV (Support Vertor) through learning for each model, and when the possibility of the vehicle's existence is confirmed by the weak classification unit, horizontal/vertical It may include calculating feature points by applying an edge mask to calculate the size and angle of the edge, and determining the existence of the vehicle by calculating an inner product between the feature points calculated for each model and the SV.
본 발명의 일 실시 예에 따른 이미지 피라미드를 이용한 차량 인식 장치 및 방법은 차량 인식 알고리즘을 돌려야 하는 관심영역을 줄임으로써 차량을 인식하는데 걸리는 수행 시간을 크게 단축할 수 있는 효과가 있다.The vehicle recognition device and method using an image pyramid according to an embodiment of the present invention has the effect of significantly shortening the execution time required to recognize a vehicle by reducing the area of interest in which the vehicle recognition algorithm must run.
도 1은 본 발명의 일 실시 예에 따른 전방의 차량을 검출하기 위한 차량 인식 장치의 블록도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예로서 이미지 피라미드를 생성한 결과를 도시한 도면이다.
도 3은 [수학식 1]을 사용하여 거리 및 차폭에 따른 원본 이미지(210) 상에서의 차폭의 크기를 도시한 도면이다.
도 4는 관심영역 생성부(140)에서 이미지 피라미드 내에 관심 영역을 설정하는 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 특정 크기의 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출하는 것을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 약분류부(150)의 연쇄 윈도우 스캔 방식을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차량인식장치에 의한 전방 차량 검출 방법을 도시한 흐름도이다.Figure 1 is a block diagram of a vehicle recognition device for detecting a vehicle ahead according to an embodiment of the present invention.
Figure 2 is a diagram showing the result of generating an image pyramid as an embodiment of the present invention.
Figure 3 is a diagram showing the size of the vehicle width on the
FIG. 4 is a diagram illustrating an example of setting a region of interest within an image pyramid in the region of
Figure 5 is a diagram illustrating extracting features when a vehicle is present in a template image of a specific size according to an embodiment of the present invention.
Figure 6 is a diagram illustrating a chain window scanning method of the
Figure 7 is a flowchart showing a method of detecting a vehicle ahead by a vehicle recognition device according to an embodiment of the present invention.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts that are not relevant to the description are omitted, and identical or similar components are assigned the same reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" with another element in between. . Additionally, when a part "includes" a certain component, this means that it may further include other components, rather than excluding other components, unless specifically stated to the contrary.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a part is referred to as being “on” another part, it may be directly on top of the other part or it may be accompanied by another part in between. In contrast, when a part is said to be "directly above" another part, it does not entail any other parts in between.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.Terms such as first, second, and third are used to describe, but are not limited to, various parts, components, regions, layers, and/or sections. These terms are used only to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, the first part, component, region, layer or section described below may be referred to as the second part, component, region, layer or section without departing from the scope of the present invention.
여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is only intended to refer to specific embodiments and is not intended to limit the invention. As used herein, singular forms include plural forms unless phrases clearly indicate the contrary. As used in the specification, the meaning of "comprising" refers to specifying a particular characteristic, area, integer, step, operation, element and/or ingredient, and the presence or presence of another characteristic, area, integer, step, operation, element and/or ingredient. This does not exclude addition.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating relative space, such as “below” and “above,” can be used to more easily describe the relationship of one part shown in the drawing to another part. These terms are intended to include other meanings or operations of the device in use along with the meaning intended in the drawings. For example, if the device in the drawing is turned over, some parts described as being “below” other parts will be described as being “above” other parts. Accordingly, the exemplary term “down” includes both upward and downward directions. The device can be rotated 90° or at other angles, and terms indicating relative space are interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical and scientific terms used herein have the same meaning as those generally understood by those skilled in the art in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries are further interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 일 실시 예에 따른 전방의 차량을 검출하기 위한 차량 인식 장치의 블록도를 도시한 도면이다.Figure 1 is a block diagram of a vehicle recognition device for detecting a vehicle ahead according to an embodiment of the present invention.
도 1은 카메라 또는 이미지 센서를 이용하여 전방을 촬영한 이미지로부터 차량을 검출하기 위한 차량 인식 장치로서, 주차량에 구비되어 카메라 또는 이미지 센서로 영상 이미지를 획득하는 이미지 획득부(110), 획득한 이미지를 일정한 비율로 계속 줄인 복수 개의 이미지를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부(120), 레이더 또는 기타 거리 측정 장치를 이용하여 전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부(130), 획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부(140), 생성된 관심영역 내의 상기 물체가 차량일 가능성을 확인하는 약분류부(150), 및 약분류부(150)를 통과한 차량일 가능성이 있는 물체에 대하여 SVM(Support Vector Machine)을 적용하여 차량 관련 3가지 모델 중의 하나에 속하는지 분류하고, 3가지 모델 중의 하나에 해당하면 차량으로 확정하는 강분류부(160)를 포함하고, 이에 더하여 차량 인식의 신뢰성을 강화하기 위하여 인식된 타차량에 대하여 연속적인 이미지상에서의 추적을 수행하고, 일시적으로 소실된 타차량의 트랙을 유지할 수 있는 차량추적부(170)를 더 포함할 수 있다.1 is a vehicle recognition device for detecting a vehicle from an image captured in front using a camera or an image sensor, including an
카메라로 획득한 영상 이미지상에서 차량을 인지하기 위하여서는 이미지를 분석하여 차량이 이미지상에 가지는 독특한 특성이 있는지 파악하여야만 한다. 그런데 차량은 위치하는 거리에 따라서 이미지상에서 서로 다른 크기로 보일 수 있어, 다양한 크기의 차량에 대하여 차량만의 독특한 특성을 찾는 것이 쉬운 일이 아니다. 그래서 본 발명에서는 이미지상에서 다양한 크기로 보이는 차량을 템플릿(template) 이미지 크기의 차량이 되도록 전체 이미지를 축소하고, 템플릿 이미지를 분석하여 차량에 의해서 나타나는 이미지 특성과 일치하면 차량으로 인식하는 방법을 사용함으로써 이미지상에 존재하는 다양한 크기의 차량을 쉽게 인식할 수 있도록 할 수 있다. 즉, 특정 크기(일 예로 28x28 픽셀)의 템플릿 이미지에 차량이 포함되어 있는 경우와 차량이 포함되어 있지 않은 경우를 비교하는 선행학습을 통하여 템플릿 이미지에 차량이 포함되어 있는 경우의 이미지 특성을 파악하고, 이를 바탕으로 차량을 인식하도록 할 수 있다.In order to recognize a vehicle in a video image acquired with a camera, the image must be analyzed to determine whether the vehicle has unique characteristics in the image. However, vehicles may appear to be of different sizes in the image depending on the distance they are located, so it is not easy to find unique characteristics of vehicles of various sizes. Therefore, in the present invention, a method is used to reduce the entire image so that vehicles that appear in various sizes in the image become vehicles of the template image size, analyze the template image, and recognize it as a vehicle if it matches the image characteristics shown by the vehicle. You can easily recognize vehicles of various sizes that exist in the image. That is, through prior learning that compares the case where a vehicle is included in a template image of a specific size (for example, 28x28 pixels) with the case where the vehicle is not included, the image characteristics when the template image includes a vehicle are identified. , Based on this, vehicles can be recognized.
전방의 차량 인식을 위하여 이미지 획득부(110)는 카메라나 이미지 센서를 이용하여 차량이 존재할 수 있는 전방에 대한 이미지를 계속하여 획득할 수 있다. To recognize a vehicle ahead, the
그리고 이미지 피라미드 생성부(120)는 이미지 획득부(110)에서 획득한 이미지를 바탕으로 복수 개의 단계 이미지를 포함하는 이미지 피라미드를 생성할 수 있다. 즉, 3m에서 120m까지의 다양한 거리에 있는 차량을 인식하기 위하여 입력 영상 이미지의 원래 크기인 (일 예로서 1280x800 픽셀(pixel))에서 시작하여 일정비율(일 예로 0.845배)로 줄이면서 복수 개의 이미지(일 예로서 20개)를 생성할 수 있다.Additionally, the
도 2는 본 발명의 일 실시 예로서 이미지 피라미드를 생성한 결과를 도시한 도면이다.Figure 2 is a diagram showing the result of generating an image pyramid as an embodiment of the present invention.
도 2를 참조하면, 원본 이미지(210)에 대하여 계속 일정 비율로 줄이면서 복수 개의 이미지(210 내지 270)를 생성할 수 있다. 이러한 복수 개의 이미지(210 내지 270) 내에서의 차량의 크기 변화를 좀 더 상세히 알아보면, 전술한 바처럼 본원 발명은 특정 크기의 템플릿 이미지를 분석하여 차량의 특성이 있는지 파악함으로써 차량을 인식할 수 있도록 하였기 때문에 원본 이미지상에 있는 차량을 특정 크기의 템플릿 이미지에 포함될 수 있도록 만들어 주는 것이 중요하다. Referring to FIG. 2, a plurality of
본원 발명에서 이하 설명에서 템플릿 이미지의 크기를 28x28 픽셀로 상정하여 설명할 것이나, 이는 고정된 값은 아니며 상황에 따라 변경될 수 있다. 템플릿 이미지의 크기를 28x28 픽셀로 상정하면 원본 이미지(210) 상에서 너무 멀리 있어 28x28 픽셀보다 작은 크기의 차량은 인식이 불가할 수 있다. 즉, 템플릿 크기에 따라 어느 거리까지의 차량을 인식할 수 있는 지가 결정될 수 있다. In the following description, the present invention will be described assuming that the size of the template image is 28x28 pixels, but this is not a fixed value and may change depending on the situation. If the size of the template image is assumed to be 28x28 pixels, vehicles smaller than 28x28 pixels may not be recognized because they are too far from the
그리고 원본 이미지(210) 상에서 보이는 차량의 차폭이 템플릿 이미지의 크기 내에 포함될 수 있다면, 이러한 차량은 원본 이미지(210)에서 차량의 존재 여부를 파악하여야 한다. 만약 원본 이미지(210) 상에서 차량의 차폭이 33(=28x1.185) 픽셀 정도의 크기로 보인다면 이러한 차량을 인식하기 위하여는 원본 이미지(210)를 1회 축소한 이미지(220)에서 차량의 존재 여부를 파악하여야 한다. 원본 이미지(210)를 1회 축소한다면 원본 이미지(210)에 있던 차량의 차폭이 33 픽셀에서 28 픽셀 정도로 줄어들어 선행학습한 차량 특성이 1회 축소한 이미지(220)에 존재할 수 있다. 만약 원본 이미지(210) 상에서 차량의 차폭이 700(<28x1.18519) 픽셀 정도라면 원본 이미지(210)를 19회 축소한 이미지(270)에서 차량의 존재 여부를 파악하여야 한다. 즉, 원본 이미지(210) 상에서의 차량의 크기에 따라 차량이 존재하는 특징을 파악할 수 있는 관심영역이 될 수 있는 이미지 피라미드의 단계가 틀릴 수 있다.And, if the width of the vehicle visible on the
즉, 이미지 피라미드 생성부(120)는 원본 이미지(210) 상에 존재하는 차량 이미지의 크기에 따라 관심영역이 틀릴 수 있기 때문에 미리 원본 이미지(210)를 축소시킨 복수 개의 이미지를 포함하는 이미지 피라미드를 생성하여 차량인식장치의 다른 부분에서 사용하도록 할 수 있다. 특히, 원본 이미지(210) 상에 복수 개의 차량이 존재하는 경우에도 각 차량에 대하여 별도의 이미지 피라미드를 만들 필요없이 이미지 피라미드 생성부(120)에서 생성한 이미지 피라미드를 원본 이미지(210) 상에 존재하는 복수 개의 차량을 인식하는데 사용할 수 있다.That is, the
관심영역 생성부(140)는 거리정보 획득부(130)에서 획득한 종방향 거리를 바탕으로 이미지 피라미드에 관심영역을 생성할 수 있다.The region of
거리정보 획득부(130)는 레이더 또는 기타 거리 측정 장치를 이용하여 물체에 대한 종/횡방향 거리 정보를 획득할 수 있다. 그리고 핀홀(pin-hole) 모델을 사용하는 다음 [수학식 1]을 이용하여 거리정보 획득부(130)에서 획득한 거리 정보를 바탕으로 상기 거리에 있을 수 있는 차량의 차폭 정보를 획득할 수 있다.The distance
여기서, fc는 초점거리(focal length)로 단위를 픽셀로 할 수 있고, 일반적으로 1350의 값을 가질 수 있다. Wv는 차폭을 나타내는 것으로 대략 1.5m에서 2.5m의 크기를 가지고, Z는 거리정보 획득부(130)에서 획득한 물체까지의 종방향 거리이고, W는 m 단위를 픽셀단위로 변환한 영상 좌표계에서의 차폭의 정보를 나타낸다. 즉, W는 원본 이미지(210)상에서 보이는 차폭의 크기를 나타낼 수 있다.Here, fc is the focal length, the unit of which may be pixels, and generally has a value of 1350. Wv represents the vehicle width and has a size of approximately 1.5 m to 2.5 m, Z is the longitudinal distance to the object acquired by the distance
도 3은 [수학식 1]을 사용하여 거리 및 차폭에 따른 원본 이미지(210)상에서의 차폭의 크기를 도시한 도면이다. 도 3을 참조하면 거리가 가까울수록 원본 이미지(210)에서 나타나는 차폭의 크기는 커짐을 알 수 있다. 일 실시 예로서 차폭이 2.5m 이고, 종방향 거리가 5m인 경우, 원본 이미지(210)에서 차량의 차폭은 675 픽셀 정도로 나타남을 알 수 있다.Figure 3 is a diagram showing the size of the vehicle width on the
이제 원본 이미지(210) 상에서 차폭이 W로 나타나는 차량을 템플릿 이미지의 크기로 줄이기 위해서는 몇 단계의 축소가 진행되어야 하는 지를 파악하여야 한다. 레이저 정보를 이용하여 획득할 수 있는 것은 물체까지의 종/횡방향 거리이지 그 거리에 존재할 수 있는 차량의 차폭에 대하여는 알 수 없다. 그러므로 원본 이미지(210)에 나타나는 차폭의 정확한 값도 알 수 없다. 다만, 원래 차량의 차폭이 1.5m 내지 2.5m임을 감안하여 종방향 거리에 따라서 원본 이미지(210)에 나타나는 차폭의 범위를 다음 [수학식 2]를 이용하여 구할 수 있다. Now, in order to reduce the vehicle whose width appears as W in the
일 예로서 거리정보 획득부(130)에서 획득한 거리(Z)가 50m이고, fc가 1350인 경우 원본 이미지(210)에 나타나는 차폭의 범위는 상기 [수학식 2]에 의하여 40 픽셀 내지 68 픽셀일 수 있다.As an example, if the distance (Z) acquired by the distance
차폭이 상기 범위(Wmin ~ Wmax)에 있는 경우 몇 단계의 축소를 거쳐야 특정 크기의 템플릿 이미지 내에 차량이 포함될 수 있는지는 다음 [수학식 3]을 이용하여 구할 수 있다.If the vehicle width is within the above range (Wmin ~ Wmax), how many levels of reduction must be passed before the vehicle can be included in the template image of a specific size can be found using the following [Equation 3].
여기서 Ts 는 템플릿 이미지의 크기로 단위는 픽셀이고, S는 이미지 피라미드 내의 각 단계 이미지 간의 크기 변화율을 나타내는 스케일로서 본 발명의 일 실시 예에서는 0.845일 수 있고, I는 구하고자 하는 축소 횟수를 나타낼 수 있다.Here, Ts is the size of the template image and the unit is pixels, S is a scale representing the size change rate between images at each stage in the image pyramid, which may be 0.845 in one embodiment of the present invention, and I may represent the number of reductions to be obtained. there is.
그러면 [수학식 2] 및 [수학식 3]을 이용하여 I의 범위를 다음 [수학식 4]에서 구할 수 있다.Then, using [Equation 2] and [Equation 3], the range of I can be obtained from [Equation 4].
여기서 floor(a)는 a보다 작은 정수를 나타내는 함수이다. 일 예로서 Z가 50m로 나타난 경우, I1은 2, I2는 6이 되어 2단계에서 6단계의 이미지 축소를 통하여 차량을 특정 크기의 템플릿 이미지 내에 포함되도록 할 수 있다. 이렇게 구해진 축소 범위 (I1~I2)는 이미지 피라미드의 단계별 인덱스와 대응될 수 있다. 일 예로서 원본 이미지(210)를 이미지 피라미드 상의 0단계로 하고 1번 축소한 이미지(220)를 이미지 피라미드 상의 1단계, 2번 축소한 이미지(230)를 이미지 피라미드 상의 2단계, 10번 축소한 이미지(260)를 이미지 피라미드 상의 10단계, 19번 축소한 이미지(270)를 이미지 피라미드 상의 19단계로 두면 상기 구한 I1, I2를 이용하여 이미지 피라미드 상의 I1 단계에서 I2 단계까지의 이미지를 템플릿 이미지와 비교하여 차량의 특징이 존재하면 차량이 상기 거리정보 획득부(130)에서 획득한 거리에 존재함을 인식할 수 있다. 이때 이미지 피라미드 상의 각 단계는 템플릿 이미지의 크기(28x28 픽셀일 수 있다)보다 훨씬 클 수 있기 때문에 전 영역을 전부 비교하는 것은 시간이 걸리는 작업일 수 있다. 그래서 관심영역 생성부(140)는 거리정보 획득부(130)에서 획득한 거리 정보를 바탕으로 물체가 존재할 것으로 표시된 픽셀을 중심으로 좌우로 실제 거리 3m에 해당하는 영역을 관심영역으로 설정하고 관심영역 내에서만 비교를 수행하여 차량의 존재 여부를 인식함으로써 인식 시간을 더욱 줄일 수 있다.Here, floor(a) is a function that represents an integer smaller than a. As an example, if Z is shown as 50m, I1 becomes 2 and I2 becomes 6, so that the vehicle can be included in the template image of a specific size through image reduction in steps 2 to 6. The reduction range (I1~I2) obtained in this way can correspond to the step-by-step index of the image pyramid. As an example, the
도 4는 관심영역 생성부(140)에서 이미지 피라미드 내에 관심 영역을 설정하는 일 예를 도시한 도면이다. FIG. 4 is a diagram illustrating an example of setting a region of interest within an image pyramid in the region of
도 4를 참조하면, 카메라 또는 이미지 센서로 촬상된 이미지 내에 거리정보 획득부(130)에 의해 검출된 물체가 있는 것으로 판단되는 위치(310, 320, 330)가 표시될 수 있다. 즉, 거리정보 획득부(130)는 레이더의 반사 정보를 이용하거나 다른 거리 측정 방법을 사용하여 전방에 있는 물체의 거리 정보를 제공할 수 있다. 이 경우 전방에 있는 물체는 차량뿐만 아니라 가로수, 교통 표지판일 수 있다. 이처럼 거리정보 획득부(130)가 보내온 거리 정보는 이미지상의 특정 픽셀로 변환될 수 있고, 도 4의 예에서는 중간에 + 가 있는 원(310, 320, 330)으로 나타낼 수 있다.Referring to FIG. 4 ,
특히 거리정보 획득부(130)에 의해 물체가 있는 것으로 인식된 위치(330)에 대하여 좀 더 집중해서 살펴보면 거리정보 획득부(130)는 상기 위치(330)까지의 종방향 거리가 50m 임을 알려줄 수 있다. 그러면 차량이 존재한다면 차량의 크기가 선행학습한 특정 크기의 템플릿 이미지 내에 포함될 수 있도록 하는 이미지 피라미드 내의 이미지는 상기 계산한 것처럼 이미지 피라미드의 2단계에서 6단계에 해당하는 이미지가 될 수 있다. 즉, 도 2 또는 도 4에서 2번 축소한 이미지(230), 3번 축소한 이미지(240), 4번 축소한 이미지(250), 5번 축소한 이미지(360), 및 6번 축소한 이미지(370)가 될 수 있다. 거리정보 획득부(130)에 의한 위치(330) 표시 또한 축소되면서도 축소된 이미지상에서의 차량이 존재할 수 있는 위치를 표시할 수 있다. In particular, if we look more closely at the
그리고 각 단계의 이미지에 대하여 거리정보 획득부(130)에 의한 위치(330)표시를 중심으로 좌, 우로 실제 거리 3m 정도에 해당하는 영역을 관심영역(231, 241, 251, 361, 371)으로 설정할 수 있다. 그리고 상기 관심영역 내에서 선행학습한 차량의 특징이 있는 지를 파악함으로써 차량을 인식할 수 있다.And for each stage of the image, the area corresponding to the actual distance of about 3 m to the left and right centered on the
약분류부(150)와 강분류부(160)는 생성된 관심영역 내에서 차량이 있는 지를 인식할 수 있다. The
약분류부(150)는 관심영역 내에서 차량이 될 수 있는 후보 물체를 생성하기 위하여 전술한 바처럼 선행학습을 통하여 차량을 포함하고 있는 특정 크기의 템플릿 이미지와 차량을 포함하고 있지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출할 수 있다. In order to generate a candidate object that can be a vehicle within the region of interest, the
도 5는 본 발명의 일 실시 예에 따른 특정 크기의 템플릿 이미지 내에 차량이 있는 경우의 특징을 추출하는 것을 도시한 도면이다.Figure 5 is a diagram illustrating extracting features when a vehicle is present in a template image of a specific size according to an embodiment of the present invention.
도 5를 참조하면 차량을 포함하는 템플릿 이미지(510)에 대하여 MCT(Modified Census Transform)을 사용하여 차량의 특징을 파악할 수 있다. MCT에 의한 차량의 특징 파악은 밝기 변화에 매우 둔감하여, 전체적인 이미지의 밝기가 변하더라도 추출되는 특징의 차이가 거의 없는 방식이다. MCT 방식(520)에 의하면 각 픽셀에 대하여 9비트로 이미지의 특징을 표현할 수 있다. MCT 방식(520)은 자신의 픽셀과 주변의 8개의 픽셀의 밝기 정도를 나타내는 값의 평균(도 5의 예에서는 (85+99+21+86+13+12+57+54+54)/9=53.4)을 기준으로 하여 평균보다 크다면 1의 값을 가지고 평균보다 작다면 0의 값을 가지도록 한다. 즉, 도 5의 예에서는 '111001011'의 특징값이 추출될 수 있다. 즉, 전술한 방법으로 각 픽셀에 대하여 9비트의 특징값이 추출될 수 있고, 이 각 픽셀에 대한 9비트의 특징값을 이용하여 템플릿 이미지(530)를 표현할 수 있다. 그리고 차량이 포함되어 있는 템플릿 이미지에 대하여 MCT 방식을 이용하여 추출한 각 픽셀에서의 특징값과, 차량이 포함되어 있지 않은 템플릿 이미지에 대하여 MCT 방식을 이용하여 추출한 각 픽셀에서의 특징값을 비교하여 차량이 포함되어 있는 경우의 이미지의 특징을 파악할 수 있다. Referring to FIG. 5, the characteristics of the vehicle can be identified using MCT (Modified Census Transform) for the template image 510 including the vehicle. Identifying vehicle characteristics using MCT is very insensitive to changes in brightness, so there is little difference in the extracted features even if the brightness of the overall image changes. According to the MCT method 520, image characteristics can be expressed with 9 bits for each pixel. The MCT method 520 is the average of the value representing the brightness level of its own pixel and eight surrounding pixels (in the example of FIG. 5, (85+99+21+86+13+12+57+54+54)/9 =53.4), if it is greater than the average, it will have a value of 1, and if it is smaller than the average, it will have a value of 0. That is, in the example of FIG. 5, the feature value of '111001011' can be extracted. That is, 9-bit feature values can be extracted for each pixel using the above-described method, and the template image 530 can be expressed using the 9-bit feature values for each pixel. Then, the feature values of each pixel extracted using the MCT method for the template image containing the vehicle are compared with the feature values of each pixel extracted using the MCT method for the template image not containing the vehicle. If this is included, the characteristics of the image can be identified.
전술한 방식을 사용하여 차량이 포함되어 있는 템플릿 이미지의 특징을 바탕으로 거리정보 획득부(130)가 지정한 위치에서의 차량의 존재 가능성을 파악할 수 있다. Using the above-described method, the possibility of the vehicle existing at a location designated by the distance
약분류부(150)는 상기 추출된 차량이 포함되어 있는 템플릿 이미지의 특징을 바탕으로 관심영역에 대하여 연쇄 윈도우 스캔(Cascaded Scan-Window)방식을 사용하여 차량의 존재 가능성을 파악할 수 있다.The
도 6은 본 발명의 일 실시 예에 따른 약분류부(150)의 연쇄 윈도우 스캔 방식을 도시한 도면이다.Figure 6 is a diagram illustrating a chain window scanning method of the
도 6을 참조하면, 관심영역(231)은 일 예로서 40x40 픽셀로 표시될 수 있다. 그러면 왼쪽 제일 위부터 시작하여 템플릿 이미지의 크기(본 발명의 일 실시 예에서 28x28 픽셀)에 맞추어서 MCT 변환을 수행하고 선행학습을 통하여 추출한 차량을 포함하고 있는 경우의 특징값들과 비교할 수 있다. 일반적으로 약분류부(150)는 15단계까지의 비교를 수행할 수 있는 데, 각 단계에서는 특정 픽셀에서의 MCT 값에 대한 비교일 수 있다. 또는 그룹으로 묶여진 몇 개의 픽셀에서의 MCT 값에 대한 비교일 수 있다. 도 6의 예에서 제일 처음에 비교되는 영역(610)에서는 차량이 없기에 차량을 나타낼 수 있는 특징점이 없어 약분류부(150)에 의한 초기 단계 비교에서 바로 없음이 나타날 수 있다. 차량이 없다고 나타나면 왼쪽으로 1픽셀 이동하여 동일한 비교 작업을 수행한다. 왼쪽의 마지막 이미지 영역(620)에 대하여 비교하여 차량을 발견할 수 없으면 아래쪽을 1픽셀 이동하여 비교 작업을 수행할 수 있다. 즉 도 6의 (b) 또는 (c)에 나타나 있는 순서대로 관심영역의 이미지의 특성과 차량을 포함하고 있는 템플릿 이미지 특성을 비교하여 차량의 특징을 가지고 있는 지를 파악할 수 있다. 도 6의 예에서는 관심영역 중 비교하는 영역(630)이 차량을 포함하고 있는 템플릿 이미지의 특성과 유사하거나 일치하면 차량이 존재하는 것으로 가정할 수 있다.Referring to FIG. 6, the region of
만약 이미지 피라미드의 2단계 이미지에서 차량의 특징점을 발견하였다면 0단계 내지 1단계, 및 3단계 내지 19단계의 이미지에서는 차량의 특징점을 발견할 수 없게 된다. 왜냐하면, 0단계 내지 1단계에서는 이미지상에서 보이는 차량의 차폭의 크기가 템플릿 이미지에서 보이는 차폭보다 커서 유사한 특징점을 발견할 수 없고, 3단계 내지 19단계에서는 이미지에서 보이는 차량의 차폭의 크기가 템플릿 이미지에서 보이는 차폭보다 작기 때문에 유사한 특징점을 발견할 수 없다. If a feature point of the vehicle is found in the 2nd level image of the image pyramid, the feature point of the vehicle cannot be found in the images of steps 0 to 1 and steps 3 to 19. This is because, in steps 0 to 1, the size of the vehicle width shown in the image is larger than the vehicle width shown in the template image, so similar feature points cannot be found, and in steps 3 to 19, the size of the vehicle width shown in the image is larger than the vehicle width shown in the template image. Because it is smaller than the visible vehicle width, similar features cannot be found.
그러므로 이미지 피라미드의 2단계 내지 6단계의 이미지에 관심영역이 설정되어 있다면, 약분류부(150)는 상기한 방법으로 2단계의 이미지에 차량을 인식할 수 없었다면 3단계의 이미지에 대하여 동일한 방법으로 차량의 존재를 파악하게 된다. 만약 약분류부(150)가 이미지 피라미드의 특정 단계 이미지에서 차량을 인식하였다면 이미지 피라미드의 이후 단계 이미지에 대하여는 더는 비교할 필요가 없다. 만약 관심영역으로 설정된 모든 단계(전술한 예에서는 2단계 내지 6단계)의 이미지에서 차량의 특징점을 발견할 수 없다면 그 위치에는 차량이 없는 것으로 판단할 수 있다.Therefore, if a region of interest is set in the images of steps 2 to 6 of the image pyramid, if the
강분류부(160)는 약분류부(150)에서 차량으로 인식될 수 있는 것으로 선정된 물체에 대하여 최종적으로 차량인지를 판단할 수 있다.The
강분류부(160)는 판단을 위하여 먼저 SVM(Support Vector Machine)을 이용한 학습을 통하여 차량과 비차량을 가장 잘 분류할 수 있는 SV(Support Vector)를 생성한다. SVM은 기계 학습 분야 중 하나로 패턴 인식, 자료 분석을 위한 모델로 사용되는데, 주로 분류와 회귀분석을 위해 사용될 수 있는 도구이다. 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만들 수 있다. 즉 본 발명에서는 SVM을 이용하여 차량과 비차량을 분류할 수 있는 분류 모델을 만들 수 있다. 특히 본 발명에서 강분류부(160)는 차량의 기하학적 특징 즉, 차폭대 높이의 비율이 유사한 차량을 묶어서 하나의 차량으로 모델링하고 분류 모델을 만들 수 있다. 이에 따라 강분류부(160)는 차량을 세단(Sedan)/SUV, 버스/트럭, 기타 특이 차량의 3가지 모델로 나누고 각각의 모델에 대하여 학습을 통하여 SV를 생성할 수 있다. 이때 차폭대 높이의 비율은 세단/SUV의 경우 1:1일 수 있고, 버스/트럭의 경우 1:1.5일 수 있고, 기타 특이 차량의 경우 1:2일 수 있다.For judgment, the
전술한 약분류부(150)에 의하여 차량이 존재할 것으로 판단되면 강분류부(160)는 차량이 존재할 것으로 판단된 위치에 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산할 수 있다. 입력 이미지를 셀로 분류한 후 각 셀에 대한 히스토그램을 계산하여 특징점을 계산한다. 그리고 계산된 특징점과 상기 생성한 3가지 모델에 대한 SV간의 내적을 이용하여 실제 차량 여부를 판단할 수 있다. 3가지 모델 중 하나의 모델이라도 만족하면 차량으로 판단할 수 있다.If it is determined that a vehicle exists by the
이처럼 약분류부(150)와 강분류부(160)를 이용하여 전방을 촬영한 이미지에서 차량을 인식할 수 있다.In this way, a vehicle can be recognized from an image taken from the front using the
차량추적부(170)는 칼만필터(Kalman Filter)를 이용하여 약분류부(150)와 강분류부(160)를 이용하여 이미지 내에서 인식한 차량 중에서 연속적으로 나타나는 차량만을 추적(Tracking)하여 노이즈를 제거하고, 일시적으로 소실된 차량의 트랙(track)을 유지하여 차량의 신뢰성을 강화할 수 있다.The
도 7은 본 발명의 일 실시 예에 따른 차량인식장치에 의한 전방 차량 검출 방법을 도시한 흐름도이다.Figure 7 is a flowchart showing a method of detecting a vehicle ahead by a vehicle recognition device according to an embodiment of the present invention.
도 7을 참조하면, 차량인식장치가 전방의 차량 검출을 위하여 먼저 카메라 또는 이미지 센서를 이용하여 차량 전방의 이미지를 획득(S710)할 수 있다. 획득한 이미지에는 거리에 따라 다양한 크기를 가지는 복수 개의 차량이 존재할 수 있기 때문에 획득한 이미지에 존재하는 다양한 크기의 차량을 인식하기 위하여 이미지 피라미드를 생성(S720)할 수 있다. 다음 거리정보 획득부(130)는 레이더 또는 기타 장치를 이용하여 차량이 있을 수 있는 위치에 대한 거리 정보를 획득(S730)하고, 거리 정보를 바탕으로 생성한 이미지 피라미드에 관심영역을 생성(S740)할 수 있다. 그리고 관심영역 내에서 약분류부(150)에 의해 차량의 가능성이 있는 후보 물체를 생성하는 약분류(S750)를 수행하고, 강분류부(160)에 의해 후보물체들을 좀 더 상세히 분석하여 차량의 가능성이 큰 물체를 분류하는 강분류(S760)를 수행하고, 차량추적부(170)에 의해 차량의 가능성이 큰 물체에 대한 추적(S770)을 진행하여 차량임을 확정할 수 있다.Referring to FIG. 7, the vehicle recognition device may first acquire an image of the front of the vehicle using a camera or image sensor to detect the vehicle in front (S710). Since a plurality of vehicles having various sizes depending on the distance may exist in the acquired image, an image pyramid can be created (S720) to recognize vehicles of various sizes present in the acquired image. Next, the distance
이하 각 단계에 대하여 좀 더 자세히 설명한다.Below, each step is described in more detail.
차량인식장치는 주기적으로 카메라 또는 이미지 센서를 이용하여 차량 전방의 이미지를 획득(S710)할 수 있다. The vehicle recognition device may periodically acquire an image of the front of the vehicle using a camera or image sensor (S710).
이미지 피라미드 생성부(120)는 획득한 이미지를 바탕으로 이미지 피라미드를 생성(S720)할 수 있다. 이미지 피라미드는 획득한 원본 이미지(210)에 대하여 계속 일정 비율로 줄이면서 생성한 복수 개의 이미지(210 내지 270)를 포함할 수 있다. 즉, 이미지 피라미드는 원본 이미지(210)를 포함할 수 있고, 원본 이미지(210)를 가로, 세로 각각 일정 비율로 줄인 1단계 이미지(220), 1단계 이미지를 다시 가로, 세로 각각 일정 비율로 줄인 2단계 이미지(230)를 포함할 수 있다. 단계가 증가하면서 단계별로 가로, 세로 각각 일정 비율로 줄이면서 이미지를 생성할 수 있고, 이렇게 생성된 이미지들은 이미지 피라미드에 포함될 수 있다. The
관심영역 생성부(140)는 거리정보 획득부(130)에서 획득한 종방향 거리를 바탕으로 이미지 피라미드 내의 특정 단계의 이미지에 관심영역을 생성(S740)할 수 있다. 관심영역 생성부(140)는 전술한 [수학식 1] 내지 [수학식 4]를 이용하여 원본 이미지(210) 상의 차량이 템플릿 이미지상의 차량 크기 정도로 축소될 수 있는 이미지 피라미드 내의 특정 단계의 이미지들을 선정할 수 있다. 전술한 예에 따르면 전방 물체까지의 종방향 거리가 50m인 경우 이미지 피라미드 내의 제2단계 내지 제6단계의 이미지에 템플릿 이미지상의 차량 크기와 유사한 크기의 차량이 존재할 수 있다. 관심영역 생성부(140)는 거리 정보를 바탕으로 이미지 피라미드 내에서 차량이 인식될 수 있는 이미지들은 선정하고, 선정된 이미지 내의 거리정보 획득부(130)에서 획득한 위치를 중심으로 좌/우로 일정 크기(가령 3m)를 가지는 영역을 관심영역으로 생성(S740)할 수 있다. 전술한 예를 따르면 제2 단계 이미지 내지 제6 단계 이미지의 5개의 이미지에 관심영역이 설정될 수 있다.The region of
약분류부(150)는 관심영역 생성부(140)에서 생성한 관심영역 내에 차량으로 인식될 수 있는 후보 물체를 생성하는 약분류(S750)를 수행한다. 약분류는 차량의 특징점이 관심영역 내에 있는 지를 파악하는 것일 수 있다. 이를 위하여 약분류부(150)는 차량의 특징점에 대한 정보를 미리 가지고 있을 수 있다.The
차량의 특징점은 차량을 포함하는 특정 크기의 템플릿 이미지와 차량을 포함하지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 획득할 수 있다. 분석에 사용되는 도구로 밝기 변화 둔감하여, 밝기가 다른 경우에도 동일 또는 유사한 특징을 제공할 수 있는 MCT(Modified Census Transform) 방식을 사용할 수 있다. 여기서 템플릿 이미지의 크기는 28x28 픽셀일 수 있다. 차량이 포함되어 있는 템플릿 이미지에 MCT를 적용하여 각 픽셀에서의 특징값을 추출하고, 차량이 없는 템플릿 이미지에 MCT를 적용하여 각 픽셀에서의 특징값을 추출하여 양자 간에 특징값에 차이가 나는 픽셀의 위치를 특징점으로 잡을 수 있다.Characteristic points of a vehicle can be obtained by comparing and analyzing a template image of a specific size that includes the vehicle and a template image of the same specific size that does not include the vehicle. As a tool used for analysis, the MCT (Modified Census Transform) method can be used, which is insensitive to changes in brightness and can provide the same or similar characteristics even when brightness is different. Here, the size of the template image may be 28x28 pixels. MCT is applied to a template image containing a vehicle to extract the feature value from each pixel, and MCT is applied to a template image without a vehicle to extract the feature value from each pixel. Pixels with different feature values between the two The location of can be set as a feature point.
약분류부(150)는 상기 특징점을 바탕으로 연쇄 윈도우 스캔(Cascaded Scan-Window)방식을 사용하여 관심영역 내에 차량의 존재 가능성을 확인할 수 있는 약분류(S750)를 수행할 수 있다. 연쇄 윈도우 스캔 방식은 관심영역의 꼭지점 중의 하나에서 시작하여 전 관심영역을 비교할 수 있도록 1 픽셀씩 왼쪽/오른쪽 또는 위/아래로 움직이면서 미리 저장해 놓은 템플릿 이미지에 의한 차량의 특징점과 비교할 수 있다. 즉, 관심영역 내의 한 꼭지점에서 템플릿 이미지의 크기와 동일한 영역을 설정하고 차량이 특징점들이 동일 또는 거의 유사하게 존재하는지 비교한다. 존재하지 아니하면 설정된 영역을 1 픽셀 왼쪽/오른쪽 또는 위쪽/아래쪽으로 이동하고 다시 차량이 특징점들이 존재하는지 비교한다. 계속 1 픽셀 왼쪽/오른쪽 또는 위쪽/아래쪽으로 이동하면서 차량이 특징점을 찾기 위한 비교 작업을 수행한다. 미리 저장된 특징점과 동일 또한 유사한 영역을 찾게 되면 차량이 존재할 가능성이 클 것으로 판단하고, 차량이 존재할 가능성이 큰 위치에 대하여는 강분류(S760)를 수행할 수 있다. 일단 동일 또는 유사한 특징점을 가지는 영역을 찾으면 남은 영역에서 차량의 존재를 확인하기 위한 비교는 불필요하다.The
강분류부(160)는 약분류부(150)로부터 차량이 존재할 것으로 판단되는 위치를 받으면 SVM(Support Vector Machine) 방식을 사용하여 차량의 존재 여부를 확정할 수 있다. 이를 위하여 강분류부(160)는 미리 SVM을 위한 SV(Support Vector)를 생성해 놓아야 한다. 본 발명에서는 차량의 기하학적 특징 즉, 차폭 대 높이의 비율이 유사한 차량을 묶어서 하나의 차량으로 모델링하고 이에 대하여 SV를 생성할 수 있다. 즉, 강분류부(160)는 차량을 세단(Sedan)/SUV, 버스/트럭, 기타 특이 차량의 3가지 모델로 나누고 각각의 모델에 대하여 학습을 통하여 SV를 생성하고, 이 정보를 미리 저장하여 놓을 수 있다. 이때 차폭대 높이의 비율은 세단/SUV의 경우 1:1일 수 있고, 버스/트럭의 경우 1:1.5일 수 있고, 기타 특이 차량의 겨우 1:2일 수 있다.When the
이후 강분류부(160)는 약분류부(150)에 의하여 차량이 존재할 것으로 판단된 위치에서 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산할 수 있다 강분류부(160)는 입력 이미지를 셀로 분류한 후 각 셀에 대한 히스토그램을 계산하여 특징점을 계산하고 계산된 특징점과 상기 생성한 3가지 모델에 대한 SV간의 내적을 이용하여 실제 차량 여부를 판단하는 강분류(S760)를 수행할 수 있다. 3가지 모델 중 하나의 모델이라도 만족하면 차량으로 확정할 수 있다. Thereafter, the
이후 칼만필터(Kalman Filter)를 이용하여 강분류부(160)를 통과한 이미지 중 연속적으로 나타나는 차량만을 추적(Tracking)(S770)하여 노이즈를 제거하고, 일시적으로 소실된 차량의 트랙(track)을 유지하여 차량의 신뢰성을 강화할 수 있다.Afterwards, noise is removed by tracking (S770) only continuously appearing vehicles among the images that have passed through the
전술한 것처럼 본 발명은 이미지 피라미드를 사용하여 차량의 인식을 보다 쉽고 빠르게 하기 위한 장치 및 방법을 제시한 것으로 특히 레이더 또는 기타 거리 측정 장치에 의하여 복수 개의 물체가 인식된 경우에 복수 개의 물체에 대하여 별도의 관심영역을 설정하고, 물체별 관심영역에 대하여 약분류 및 강분류를 수행하여 차량으로 인식될 수 있는지 판단함으로써 이미지상에 복수의 차량을 인식하는 데 있어서 더욱 효율적으로 사용될 수 있을 것이다.As described above, the present invention proposes a device and method for easier and faster vehicle recognition using an image pyramid. In particular, when multiple objects are recognized by a radar or other distance measuring device, separate recognition of multiple objects is provided. It can be used more efficiently in recognizing multiple vehicles in an image by setting a region of interest and performing weak classification and strong classification on the region of interest for each object to determine whether it can be recognized as a vehicle.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains should understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features, and that the embodiments described above are illustrative in all respects and not restrictive. Just do it. The scope of the present invention is indicated by the claims described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
110: 이미지 획득부
120: 이미지 피라미드 생성부
130: 거리정보 획득부
140: 관심영역 생성부
150: 약분류부
160: 강분류부
170: 차량 추적부110: Image acquisition unit
120: Image pyramid generation unit
130: Distance information acquisition unit
140: Region of interest creation unit
150: Drug classification section
160: Strong classification department
170: Vehicle tracking unit
Claims (13)
주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득부;
상기 원본 이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성부;
전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득부;
획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성부;
상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류부; 및
상기 약분류부에 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류부; 를 포함하고,
상기 약분류부는,
차량이 포함되어 있는 특정 크기의 템플릿 이미지와 차량이 포함되어 있지 않은 동일한 특정 크기의 템플릿 이미지를 비교 분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하고, 상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인하는,
차량 인식 장치.A vehicle recognition device for recognizing a vehicle in a front image, comprising:
An image acquisition unit that acquires an image of the front of the parking lot (hereinafter referred to as the original image);
an image pyramid generator that generates an image pyramid including x-level images (x is any natural number greater than or equal to 1 and less than n) obtained by reducing the original image x times at a constant ratio;
A distance information acquisition unit that acquires lateral/vertical distance information to an object in front;
a region of interest generator that creates a region of interest in the image pyramid to determine whether the object is a vehicle based on the obtained distance information;
a drug classification unit that checks the possibility of the presence of a vehicle in the area of interest; and
a strong classification unit that determines whether to confirm the vehicle as a vehicle by applying SVM (Support Vector Machine) when the possibility of the vehicle's existence is confirmed in the weak classification unit; Including,
The drug classification department,
By comparing and analyzing a template image of a specific size that includes a vehicle and a template image of the same specific size that does not include a vehicle, feature points in the template image size that can be judged to contain a vehicle are generated, and based on the feature points, Confirming the possibility of the presence of a vehicle in the area of interest,
Vehicle recognition device.
차량 인식의 신뢰성을 강화하기 위하여 인식된 차량에 대하여 연속적인 이미지상에서의 추적을 수행하고, 일시적으로 소실된 차량의 트랙(track)을 유지할 수 있는 차량 추적부; 를 더 포함하는,
차량 인식 장치.According to claim 1,
a vehicle tracking unit capable of tracking a recognized vehicle on continuous images to enhance the reliability of vehicle recognition and maintaining a track of a temporarily lost vehicle; Containing more,
Vehicle recognition device.
MCT(Modified Census Transform) 방식을 이용하여 상기 차량이 포함되어 있는 템플릿 이미지 및 상기 차량이 포함되어 있지 않은 템플릿 이미지에서의 각 픽셀에서의 특징값을 추출하고, 양 템플릿 이미지의 각 픽셀에서의 특징값을 비교하여 특징값에 차이가 나는 픽셀의 위치를 특징점으로 생성하는,
차량 인식 장치.The method of claim 1, wherein the drug classification unit,
Using the MCT (Modified Census Transform) method, feature values at each pixel in the template image containing the vehicle and the template image not including the vehicle are extracted, and feature values at each pixel in both template images are extracted. By comparing, the positions of pixels with differences in feature values are generated as feature points.
Vehicle recognition device.
상기 거리정보 획득부에서 획득한 물체까지의 종방향 거리 정보를 바탕으로 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 특정 단계 이미지를 하나 이상 선정하고, 상기 선정된 특정 단계 이미지 각각에서 상기 거리정보 획득부에 획득한 상기 물체의 위치를 중심으로 좌/우로 일정 크기를 가지는 영역을 관심영역으로 생성하는,
차량 인식 장치. The method of claim 1, wherein the region of interest generator:
Based on the longitudinal distance information to the object acquired by the distance information acquisition unit, select one or more images at a specific level in the image pyramid in which the object in the original image is determined to be reduced to the size of a vehicle in the template image, In each of the selected specific stage images, an area of a certain size to the left and right centered on the position of the object acquired by the distance information acquisition unit is created as a region of interest,
Vehicle recognition device.
수학식
I1 = floor(log(Ts x Z /(1.5fc))/log S)
I2 = floor(log(Ts x Z /(2.5fc))/log S) + 1
(여기서 Ts는 템플릿 이미지의 길이, Z는 상기 거리정보 획득부에서 획득한 종방향 거리, fc는 초점 거리(focal length), S는 상기 이미지 피라미드 내의 단계 이미지 간의 축소 비율, floor(a)는 a보다 작은 정수를 나타내는 함수)을 사용하여 I1 내지 I2 단계 이미지를 상기 원본 이미지에 있는 상기 물체가 상기 템플릿 이미지 내의 차량 크기 정도로 축소될 것으로 판단되는 이미지 피라미드 내의 단계 이미지로 선정하는,
차량 인식 장치. The method of claim 5, wherein the region of interest generator,
math equation
I1 = floor(log(Ts x Z /(1.5fc))/log S)
I2 = floor(log(Ts x Z /(2.5fc))/log S) + 1
(Where Ts is the length of the template image, Z is the longitudinal distance obtained from the distance information acquisition unit, fc is the focal length, S is the reduction ratio between step images in the image pyramid, and floor(a) is a A function representing a smaller integer) is used to select stage I1 to I2 images as stage images in the image pyramid in which the object in the original image is determined to be reduced to the size of a vehicle in the template image.
Vehicle recognition device.
상기 관심영역 생성부에서 생성한 관심영역을 연쇄 윈도우 스캔 방식-상기 관심영역의 꼭지점 중의 하나에서 시작하여 전 관심영역을 비교할 수 있도록 1픽셀씩 왼쪽/오른쪽 또는 위/아래로 움직여가며 비교하는 방식-으로 상기 템플릿 이미지 크기에서의 특징점과 비교하여 차량일 가능성을 확인하는,
차량 인식 장치. The method of claim 5, wherein the drug classification unit,
The region of interest created in the region of interest generation unit is scanned in a chain window - a method of comparing the region of interest by moving left/right or up/down at a time of 1 pixel to compare the entire region of interest, starting from one of the vertices of the region of interest. To check the possibility of it being a vehicle by comparing it with the feature points in the template image size,
Vehicle recognition device.
차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하여 놓고,
상기 약분류부에 의하여 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정하는,
차량 인식 장치. The method of claim 1, wherein the strong classification unit,
Based on the vehicle's geometric characteristics expressed in vehicle width vs. height, vehicles are classified into three models - sedan/SUV model, bus/truck model, and other unique vehicle models, and SV (Support Vertor) is generated through learning for each model. Set in advance,
When the possibility of the presence of a vehicle is confirmed by the weak classification unit, a horizontal/vertical edge mask is applied to calculate the size and angle of the edge to calculate a feature point, and the difference between the feature point calculated for each model and the SV is calculated. Determining the existence of a vehicle by finding the inner product,
Vehicle recognition device.
상기 템플릿 이미지의 크기는 28x28 픽셀인,
차량 인식 장치. According to any one of claims 1 and 4 to 6,
The size of the template image is 28x28 pixels,
Vehicle recognition device.
상기 이미지 피라미드가 포함하는 단계 이미지는 20개(n=20)이고,
상기 일정한 비율은 0.845인,
차량 인식 장치.According to any one of claims 1, 2, and 4 to 8,
The image pyramid includes 20 step images (n=20),
The constant ratio is 0.845,
Vehicle recognition device.
주차량 전방의 이미지(이하 원본 이미지라 칭함)를 획득하는 이미지 획득 단계;
상기 원본 이미지를 일정한 비율로 x번 줄인 x 단계 이미지(x는 1보다 크거나 같고 n보다 작은 모든 자연수)를 포함하는 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계;
전방의 물체까지의 횡/종방향 거리 정보를 획득하는 거리정보 획득 단계;
획득한 거리정보를 바탕으로 상기 물체가 차량인지를 확인하기 위하여 이미지 피라미드에 관심영역을 생성하는 관심영역 생성 단계;
상기 관심영역 내에 차량의 존재 가능성을 확인하는 약분류 단계; 및
상기 약분류 단계에서 차량의 존재 가능성이 확인된 경우 SVM(Support Vector Machine)을 적용하여 차량으로 확정할지를 판단하는 강분류 단계; 를 포함하고,
상기 약분류 단계는,
동일한 크기의 차량이 포함되어 있는 템플릿 이미지와 차량이 포함되어 있지 않은 템플릿 이미지를 비교분석하여 차량이 있을 것으로 판단할 수 있는 템플릿 이미지 크기에서의 특징점을 생성하는 단계; 및
상기 특징점을 바탕으로 상기 관심영역에 차량의 존재 가능성을 확인하는 단계; 를 포함하는,
차량 인식 방법A vehicle recognition method in a vehicle recognition device for recognizing a vehicle in a front image, comprising:
An image acquisition step of acquiring an image of the front of the parking lot (hereinafter referred to as the original image);
An image pyramid generating step of generating an image pyramid including x-level images (x is any natural number greater than or equal to 1 and less than n) obtained by reducing the original image x times at a constant ratio;
A distance information acquisition step of acquiring lateral/vertical distance information to an object in front;
A region of interest creation step of creating a region of interest in the image pyramid to determine whether the object is a vehicle based on the obtained distance information;
A classification step of confirming the possibility of a vehicle existing within the area of interest; and
A strong classification step of determining whether to confirm the vehicle as a vehicle by applying SVM (Support Vector Machine) when the possibility of the vehicle's existence is confirmed in the weak classification step; Including,
The drug classification step is,
Comparatively analyzing a template image containing a vehicle of the same size and a template image not containing a vehicle to generate a feature point in the template image size that can be determined to contain a vehicle; and
Confirming the possibility of a vehicle existing in the area of interest based on the feature points; Including,
Vehicle recognition method
차폭 대 높이로 나타나는 차량의 기하학적 특징을 바탕으로 차량을 3가지 모델-세단/SUV 모델, 버스/트럭 모델, 기타 특이 차량 모델-로 분류하고, 각각의 모델에 대하여 학습을 통하여 SV(Support Vertor)를 미리 설정하는 단계; 및
상기 약분류 단계에서 차량의 존재 가능성이 확인된 경우, 수평/수직 에지 마스크(edge mask)를 적용하여 에지의 크기와 각도를 계산하여 특징점을 계산하고, 모델별로 계산된 상기 특징점과 상기 SV 간의 내적을 구하여 차량의 존재를 확정하는 단계; 를 포함하는,
차량 인식 방법.The method of claim 11, wherein the strong classification step,
Based on the vehicle's geometric characteristics expressed in vehicle width vs. height, vehicles are classified into three models - sedan/SUV model, bus/truck model, and other unique vehicle models, and SV (Support Vertor) is generated through learning for each model. presetting; and
If the possibility of the presence of a vehicle is confirmed in the weak classification step, the feature point is calculated by calculating the size and angle of the edge by applying a horizontal/vertical edge mask, and the inner product between the feature point calculated for each model and the SV Confirming the existence of the vehicle by obtaining ; Including,
Vehicle recognition method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160162641A KR102619326B1 (en) | 2016-12-01 | 2016-12-01 | Apparatus and Method for Detecting Vehicle using Image Pyramid |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160162641A KR102619326B1 (en) | 2016-12-01 | 2016-12-01 | Apparatus and Method for Detecting Vehicle using Image Pyramid |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180062683A KR20180062683A (en) | 2018-06-11 |
| KR102619326B1 true KR102619326B1 (en) | 2024-01-02 |
Family
ID=62601043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160162641A KR102619326B1 (en) | 2016-12-01 | 2016-12-01 | Apparatus and Method for Detecting Vehicle using Image Pyramid |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102619326B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102204015B1 (en) * | 2019-10-24 | 2021-01-18 | (주) 선일일렉콤 | Lifting gate based on image and vehicle control method through the same |
| CN111832655B (en) * | 2020-07-16 | 2022-10-14 | 四川大学 | Multi-scale three-dimensional target detection method based on characteristic pyramid network |
| KR102583655B1 (en) * | 2021-06-28 | 2023-10-05 | 주식회사 에프에스솔루션 | Method for detecting moving objects, device and program using the same |
| CN115082902B (en) * | 2022-07-22 | 2022-11-11 | 松立控股集团股份有限公司 | Vehicle target detection method based on laser radar point cloud |
| CN116894841B (en) * | 2023-09-08 | 2023-11-28 | 山东天鼎舟工业科技有限公司 | Visual detection method for quality of alloy shell of gearbox |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130266177A1 (en) * | 2012-04-06 | 2013-10-10 | Stmicroelectronics (Grenoble 2) Sas | Method and Device for Detecting an Object in an Image |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100964905B1 (en) | 2008-07-25 | 2010-06-23 | 주식회사 포스코 | Fork-arm of shroud for continuous casting |
| KR101473991B1 (en) * | 2013-05-30 | 2014-12-24 | 주식회사 에스원 | Method and apparatus for detecting face |
| KR101759270B1 (en) * | 2014-02-13 | 2017-07-19 | 한국전자통신연구원 | Apparatus and method for detecting vehicle candidate |
| KR101703515B1 (en) * | 2015-05-19 | 2017-02-07 | 국방과학연구소 | Apparatus and method for target tracking of image |
| KR102371587B1 (en) * | 2015-05-22 | 2022-03-07 | 현대자동차주식회사 | Apparatus and method for providing guidance information using crosswalk recognition result |
-
2016
- 2016-12-01 KR KR1020160162641A patent/KR102619326B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130266177A1 (en) * | 2012-04-06 | 2013-10-10 | Stmicroelectronics (Grenoble 2) Sas | Method and Device for Detecting an Object in an Image |
Non-Patent Citations (4)
| Title |
|---|
| 한국 공개특허공보 제10-2014-0140953호(2014.12.10.) 1부.* |
| 한국 공개특허공보 제10-2015-0095379호(2015.08.21.) 1부.* |
| 한국 공개특허공보 제10-2016-0136145호(2016.11.29.) 1부.* |
| 한국 공개특허공보 제10-2016-0137247호(2016.11.30.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180062683A (en) | 2018-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102619326B1 (en) | Apparatus and Method for Detecting Vehicle using Image Pyramid | |
| Rezaei et al. | Robust vehicle detection and distance estimation under challenging lighting conditions | |
| US20150235092A1 (en) | Parts based object tracking method and apparatus | |
| De Paula et al. | Automatic detection and classification of road lane markings using onboard vehicular cameras | |
| US9047518B2 (en) | Method for the detection and tracking of lane markings | |
| JP6650657B2 (en) | Method and system for tracking moving objects in video using fingerprints | |
| JP6583527B2 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and program | |
| EP3422289A1 (en) | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program | |
| CN107729843B (en) | Low-floor tramcar pedestrian identification method based on radar and visual information fusion | |
| EP3410416A1 (en) | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program | |
| JP2014071902A5 (en) | ||
| CN109313699B (en) | Apparatus and method for object recognition of an input image of a vehicle | |
| JP6826023B2 (en) | Target identification device, program and method for identifying a target from a point cloud | |
| JP4674179B2 (en) | Shadow recognition method and shadow boundary extraction method | |
| Maldonado-Bascon et al. | Traffic sign recognition system for inventory purposes | |
| CN104424478A (en) | Apparatus and method for recognizing obstacle using laser scanner | |
| CN108573244B (en) | Vehicle detection method, device and system | |
| Gluhaković et al. | Vehicle detection in the autonomous vehicle environment for potential collision warning | |
| JP2009163682A (en) | Image discrimination device and program | |
| JP2007033931A (en) | Road recognition system for map generation using satellite image or the like | |
| Khaliluzzaman et al. | Zebra-crossing detection based on geometric feature and vertical vanishing point | |
| US8116524B2 (en) | Method of object detection | |
| KR20090083184A (en) | Method for dectecting front and rear vehicle by using image | |
| Sasaki et al. | Development of inter-vehicle distance measurement system using camera-equipped portable device | |
| Saffarini et al. | Survey of road anomalies detection methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |