KR101134857B1

KR101134857B1 - Apparatus and method for detecting a navigation vehicle in day and night according to luminous state

Info

Publication number: KR101134857B1
Application number: KR1020060063647A
Authority: KR
Inventors: 김광수; 오세영; 김삼용; 김진원; 박상철
Original assignee: 포항공과대학교 산학협력단; 삼성전자주식회사
Priority date: 2006-07-06
Filing date: 2006-07-06
Publication date: 2012-04-13
Also published as: KR20080004833A

Abstract

본 발명은 차량 주위를 비추는 카메라를 이용하여 조도 상태에 따라 주행 차량을 검출한 후 추적할 수 있도록 하는 차량 검출 기능을 구현한다. 이를 위해 본 발명은 조도 상태가 주간상태인지 야간상태인지 새벽이나 우천시, 터널내부 등과 같은 중간상태에 해당하는지를 판단하고, 조도 상태에 적합한 차량 검출 방법을 이용하여 차량을 검출한다. 상세하게는 조도 상태가 주간상태일 경우에는 차량의 특징점과 그림자를 이용하여 차량을 검출하고, 야간상태일 경우에는 광원의 분류를 통해 차량을 검출하고, 중간상태일 경우에는 이전상태에 따른 방법을 적용하여 차량을 검출한다. 이렇게 함으로써, 주야간을 포함하는 다양한 조도환경에서 카메라를 이용한 차량 검출 방법을 사용할 수 있기 때문에 특정한 환경에서만 적용가능했던 한계를 극복할 수 있으며, 관련 시스템의 개발을 기대할 수 있게 된다. The present invention implements a vehicle detection function that can detect and track a driving vehicle according to the illumination condition using a camera that is projected around the vehicle. To this end, the present invention determines whether the illuminance state is a daytime state, a night state, an intermediate state such as dawn or rainy weather, the inside of a tunnel, and detects a vehicle using a vehicle detection method suitable for the illuminance state. In detail, when the illumination condition is in the daytime state, the vehicle is detected by using the feature points and the shadow of the vehicle.In the case of the night state, the vehicle is detected by the classification of the light source. Apply to detect the vehicle. In this way, since the vehicle detection method using the camera can be used in various illumination environments including day and night, it is possible to overcome the limitation that was applicable only in a specific environment and to develop a related system.

차량 검출, 주간, 야간, 조도 Vehicle Detection, Day, Night, Illumination

Description

주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법 및 장치{APPARATUS AND METHOD FOR DETECTING A NAVIGATION VEHICLE IN DAY AND NIGHT ACCORDING TO LUMINOUS STATE}TECHNICAL FIELD AND DEVICE FOR DETECTING DAY AND NIGHT LIGHTING CARS IN ACCORDING TO LIGHT CONDITIONS {APPARATUS AND METHOD FOR DETECTING A NAVIGATION VEHICLE IN DAY AND NIGHT ACCORDING TO LUMINOUS STATE}

도 1은 본 발명의 실시 예에 따른 차량 검출 장치의 내부블록구성도,1 is an internal block diagram of a vehicle detection apparatus according to an embodiment of the present invention;

도 2는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출을 수행하기 위한 제어흐름도, 2 is a control flowchart for performing vehicle detection according to an illuminance state according to an embodiment of the present invention;

도 3은 본 발명의 실시 예에 따라 조도 지수를 산출하는 과정을 보여주는 예시도,3 is an exemplary view showing a process of calculating a roughness index according to an embodiment of the present invention;

도 4는 본 발명의 실시 예에 따라 주간 상태에서의 차량 검출 과정을 설명하기 위한 도면,4 is a view for explaining a vehicle detection process in a daytime state according to an embodiment of the present invention;

도 6는 본 발명의 실시 예에 따라 1차 차량 후보 영역을 설정하는 과정을 보여주는 화면예시도, 6 is an exemplary screen illustrating a process of setting a primary vehicle candidate region according to an embodiment of the present invention;

도 6은 본 발명의 실시 예에 따라 2차 차량 후보 영역을 설정하는 과정을 보여주는 화면예시도,6 is an exemplary screen illustrating a process of setting a secondary vehicle candidate region according to an embodiment of the present invention;

도 7은 본 발명의 실시 예에 따라 야간 상태에서의 차량 검출 과정을 설명하기 위한 도면,7 is a view for explaining a vehicle detection process in a night state according to an embodiment of the present invention;

도 8은 본 발명의 실시 예에 따른 광원 추출 과정을 설명하기 위한 예시도,8 is an exemplary view for explaining a light source extraction process according to an embodiment of the present invention;

도 9는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출 예시도.9 is a diagram illustrating a vehicle detection according to an illuminance state according to an embodiment of the present invention.

본 발명은 차량 검출 방법 및 장치에 관한 것으로, 특히 카메라를 이용하여 주야간에 주행하는 차량을 검출하는 방법 및 장치에 관한 것이다. The present invention relates to a vehicle detection method and apparatus, and more particularly, to a method and apparatus for detecting a vehicle traveling day and night using a camera.

차량 운행 시 운전자의 부주의나 시계의 불량 등으로 앞에서 주행하는 차량을 추돌하는 경우가 빈번하게 발생하고 있다. 즉, 장거리 운전 시, 우천 시, 야간 운전 시 시계 불량 및 운전자의 집중력 부족 등으로 인한 차선 이탈과 주행 차량과의 추돌에 의한 교통사고가 끊임없이 발생하고 있다. 상기와 같은 추돌을 방지하기 위하여 차량 검출을 통해 차량간 위치와 속도를 파악하여 차량간 충돌경보, 충돌회피, 순항제어와 같은 정보를 제공할 수 있는 운전자 보조시스템이 제공되고 있다. Frequently, a vehicle collides with a vehicle driving in front of a driver due to carelessness of a driver or a poor watch. That is, traffic accidents due to lane departure and collision with driving vehicles due to poor visibility and lack of driver's concentration in long distance driving, rainy weather, and night driving are constantly occurring. In order to prevent such a collision, a driver assistance system that can provide information such as collision warning, collision avoidance, and cruise control between vehicles by grasping the position and speed between vehicles through vehicle detection is provided.

통상적으로 전방의 차량을 검출하는 방법에는 레이더, 카메라 등을 사용한 방법이 있으며, 사각지대 또는 후방주차 시 장애물 또는 차량을 검출하는 방법에는 초음파 센서를 이용한 방법이 있다. In general, there is a method of detecting a vehicle in front of the vehicle using a radar, a camera, and the like, and a method of detecting an obstacle or a vehicle in a blind spot or rear parking is a method using an ultrasonic sensor.

그 중에서도 최근에는 카메라를 이용한 차량 검출 방법은 카메라 모듈의 가격 하락과 영상 처리 성능의 향상으로 인해 카메라를 이용한 차량 검출 방법이 운전자 보조 시스템에 확대 응용되고 있는 실정이다. 이러한 방법은 양질의 영상확보가 가능한 주간에는 주로 그림자, 에지, 도로색깔, 대칭성, 차량형태 모델 등 차량 에 대한 선행지식을 특징점으로 사용하여 차량을 검출한다. Among them, in recent years, a vehicle detection method using a camera has been widely applied to a driver assistance system due to a decrease in the price of a camera module and an improvement in image processing performance. This method detects the vehicle using the prior knowledge of the vehicle as a feature point mainly during the day when the image can be obtained with high quality, such as shadow, edge, road color, symmetry and vehicle type model.

한편, 야간에는 낮은 조도에서도 동작하는 저조도 카메라를 사용하고 자동차의 전조등, 미등, 브레이크등이나 다른 광원에 반사되어 밝아진 차체 등의 밝은 영역을 특징점으로 사용하여 차량을 검출한다. On the other hand, the vehicle is detected by using a low-light camera that operates at low light at night, and uses a bright area such as a vehicle body that is reflected and brightened by the headlights, taillights, brake lights, or other light sources of the vehicle.

그런데 상기의 방법은 각각 주간과 야간 상태로 구분되어 사용되며, 조도변화를 고려하지 않은 특정 환경에만 적용 가능한 방법으로 실제 주행중에 비가 오는 환경, 터널 내부, 주간, 야간, 새벽이나 석양녘 등과 같은 다양한 조도 환경에 적용하기에는 한계가 있다. However, the above methods are divided into daytime and nighttime conditions, respectively, and are applicable only to specific environments without considering the change in illumination. In addition, various illuminance such as rainy environment, tunnel interior, daytime, nighttime, dawn or sunset, etc. There is a limit to the application to the environment.

상기한 바와 같이 기존의 카메라를 이용한 차량 검출 방법은 주간과 야간 상태 각각을 위한 검출 기술로만 사용되고 있다. 따라서, 비가 오는 환경 등 다양한 환경이 있을지라도 어느 하나의 검출 방법만이 사용될 뿐이었다. 게다가 단순히 주간 차량 검출 방법 및 야간 차량 검출 방법을 결합하여 상기 환경에 적용하게 되면, 더 많은 오류를 발생시키기 때문에 대표적인 환경에서 차량의 특징점을 정의하고 이를 검출하여 차량으로 검증할 수 있도록 하는 기술과 각 기술을 다양한 환경에 맞게 적용시킬 수 있는 기술이 요구된다. As described above, the vehicle detection method using a conventional camera is used only as a detection technology for each of the day and night conditions. Therefore, even if there are various environments such as a rainy environment, only one detection method was used. In addition, if the combination of the daytime vehicle detection method and the nighttime vehicle detection method is applied to the above environment, more errors are generated. Therefore, the technology and the technology for defining and detecting the feature points of the vehicle in the representative environment and verifying it with the vehicle There is a need for a technology that can be applied to various environments.

따라서, 본 발명은 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법 및 장치를 제공한다. Accordingly, the present invention provides a method and apparatus for detecting day and night driving vehicles according to the illumination condition using a camera mounted on the vehicle.

상술한 바를 달성하기 위한 본 발명은 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법에 있어서, 상기 카메라를 통해 입력되는 영상으로부터 조도 지수를 산출하는 과정과, 상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하는 과정과, 판단 결과 상기 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 과정과, 상기 이전 상태가 상기 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하는 과정을 포함함을 특징으로 한다.
또한, 본 발명은 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법에 있어서, 상기 카메라를 통해 입력되는 영상으로부터 조도 지수를 산출하는 과정과, 상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하는 과정과, 판단 결과 상기 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 과정과, 상기 이전 상태가 야간 상태일 경우 상기 영상에서 광원들을 묶어서 상기 광원들의 크기별로 분류하는 과정과, 상기 영상에서 상기 분류된 광원들을 근거로 차량 후보를 검출하는 과정임을 특징으로 한다.According to an aspect of the present invention, there is provided a method of detecting day and night driving vehicles according to an illumination condition using a camera mounted on a vehicle, the method comprising: calculating an illumination index from an image input through the camera; Determining whether the calculated illuminance index is included in one of a range of a predetermined illuminance index divided into a pre-set day state, a night state, and an intermediate state; and as a result of the determination, the previous state in the image And detecting a vehicle candidate using a shadow area generated on the vehicle and the road in the image when the previous state is the daytime state.
In addition, the present invention is a method for detecting the day and night driving vehicles according to the illumination conditions using a camera mounted on the vehicle, the process of calculating the illumination index from the image input through the camera, and the calculated illuminance Determining whether the index is included in one of a range of illuminance indexes divided into a preset day state, a night state, and an intermediate state; and when the determination corresponds to the intermediate state, the vehicle corresponding to the previous state in the image. Detecting the vehicle, classifying the light sources in the image by the size of the light sources when the previous state is the night state, and detecting a vehicle candidate based on the classified light sources in the image. do.

또한 본 발명에 따른 자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치는, 상기 카메라를 통해 영상을 수신하는 영상수신부와, 상기 영상수신부로부터 상기 영상을 제공받아 상기 영상에서 배경 부분을 설정하고, 설정된 배경 부분의 평균명암도를 측정하여 조도 지수를 산출하는 조도인식부와, 상기 조도인식부로부터 제공되는 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하여 하나의 상태를 결정하는 조정자부와, 상기 결정된 상태에 대응하는 차량 검출을 수행하며, 상기 결정된 상태가 상기 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 차량위치 검출부를 포함함을 특징으로 한다.In addition, the apparatus for detecting day and night driving vehicles according to the illumination conditions using a camera mounted on the magnetic vehicle according to the present invention, the image receiving unit for receiving the image through the camera, and receives the image from the image receiving unit The illuminance recognition unit configured to set a background part in the image, and calculate an illuminance index by measuring an average contrast of the set background part, and the illuminance index provided from the illuminance recognition unit is divided into a preset day state, night state, and intermediate state. An adjuster unit determining one of the ranges of the determined illuminance index ranges to determine one state, and detecting a vehicle corresponding to the determined state, and the image when the determined state corresponds to the intermediate state And a vehicle position detector for detecting a vehicle corresponding to the previous state at The.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면의 참조와 함께 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the same elements in the figures are represented by the same numerals wherever possible. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

상기한 바와 같은 기능이 구현된 차량 검출 장치의 기능을 도 1을 참조하여 설명한다. 도 1은 본 발명의 실시 예에 따른 차량 검출 장치의 내부블록구성도이다. A function of the vehicle detection apparatus in which the above function is implemented will be described with reference to FIG. 1. 1 is an internal block diagram of a vehicle detection apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 차량 검출 장치는 영상 수신부(101), 조도 인식부(102), 조정자부(103) 및 차량위치 검출부(104)를 포함하여 구성된다. Referring to FIG. 1, the vehicle detecting apparatus according to the present invention includes an image receiving unit 101, an illuminance recognizing unit 102, an adjuster unit 103, and a vehicle position detecting unit 104.

먼저, 영상수신부(101)는 차량에 장착된 카메라를 말하며, 그 카메라에 의해 촬영된 영상을 입력받아 조도인식부(102)에 전달한다. 그러면 조도인식부(102)는 영상에서 배경 부분을 분리하여 분리된 배경 부분의 평균명암도를 측정하고, 측정된 평균명암도를 조도 지수로 변환하여 산출한다. 이어, 조도인식부(102)는 산출된 조도 지수를 검출방법의 조정을 위한 조정자부(103)에 전달한다. 이에 따라 조정자부(103)는 산출된 조도 지수가 주간, 야간, 중간 상태 중 어느 하나에 해당하는지를 판단하여 하나의 상태를 결정한다. 즉, 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하여 하나의 상태를 결정하게 된다. First, the image receiving unit 101 refers to a camera mounted on a vehicle, and receives an image photographed by the camera and transmits it to the illuminance recognition unit 102. Then, the illumination recognition unit 102 separates the background portion from the image, measures the average contrast of the separated background portion, and converts the measured average contrast into an illuminance index to calculate it. Then, the illuminance recognition unit 102 transmits the calculated illuminance index to the adjuster unit 103 for adjusting the detection method. Accordingly, the adjuster unit 103 determines one state by determining whether the calculated illuminance index corresponds to one of daytime, nighttime, and intermediate state. That is, one state is determined by determining whether the calculated illuminance index is included in any one of a range of illuminance indexes divided into a preset day state, night state, and intermediate state.

만일 어느 하나의 상태가 결정되면 이를 차량위치 검출부(104)에 전달한다. 이에 따라 차량위치 검출부(104)에서는 결정된 상태에 대응하는 차량 검출 방법 예컨대, 주간 차량 검출 방법 또는 야간 차량 검출 방법 중 어느 하나를 선택적으로 이용하여 차량 검출을 수행한다. If either state is determined, it is transmitted to the vehicle position detector 104. Accordingly, the vehicle position detector 104 selectively detects the vehicle using any one of a vehicle detection method corresponding to the determined state, for example, a daytime vehicle detection method or a nighttime vehicle detection method.

상기한 바와 같은 구성을 가지는 차량 검출 장치에서 조도 상태에 따라 선택적으로 차량 검출 방법을 변경하여 적용하는 과정을 도 2 및 도 3을 참조하여 설명한다. 도 2는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출을 수행하기 위한 제어흐름도이고, 도 3은 본 발명의 실시 예에 따라 조도 지수를 산출하는 과정을 보여주는 예시도이다.A process of selectively changing and detecting the vehicle detection method according to the illuminance state in the vehicle detection apparatus having the above-described configuration will be described with reference to FIGS. 2 and 3. 2 is a control flowchart for detecting a vehicle according to an illuminance state according to an embodiment of the present invention, and FIG. 3 is an exemplary diagram illustrating a process of calculating an illuminance index according to an embodiment of the present invention.

도 2를 참조하면, 차량 검출 장치는 200단계에서 카메라를 이용하여 영상을 획득하고, 205단계에서 획득한 영상으로부터 현재 조도 지수를 산출한다. 이때, 조도 지수를 산출하는 과정을 상세히 설명하기 위해 도 3을 참조한다. 도 3(a)는 주간 주행 차량을 촬영한 화면예시도이고, 도 3(b)는 야간 주행 차량을 촬영한 화면예시도이다. 먼저, 조도 지수를 산출하기 위해서는 영상을 차량이 주행하는 도로부분과 배경부분으로 구분해야 하는데, 전체 영상에 대한 움직임을 계산하여 움직임 이 있는 영역을 움직이는 차량이 있는 영역으로 간주하고, 움직임이 없는 영역을 배경으로 분리할 수 있다. 이때, 영상에서 움직임이 있는 영역과 움직임이 없는 영역을 분리하는 방법에는 여러 가지 방법이 있을 수 있는데, 본 발명에서는 도 3(a)의 도면부호 10에 의해 지시되는 바와 같이 영상의 상단 부분에 일정 크기를 가지는 블록을 설정한 후, 이를 배경 부분이라고 가정하여 조도 지수를 산출한다. 이와 마찬가지로 차량 검출 장치는 도 3(b)에서도 도면부호 20에 의해 지시되는 블록에 대한 조도 지수를 산출할 수 있다. Referring to FIG. 2, the apparatus for detecting a vehicle acquires an image by using a camera in operation 200 and calculates a current illuminance index from the image obtained in operation 205. In this case, reference is made to FIG. 3 to describe in detail the process of calculating the roughness index. 3 (a) is a screen example of photographing a daytime running vehicle, and FIG. 3 (b) is a screen example of photographing a nighttime driving vehicle. First, in order to calculate the illuminance index, the image must be divided into a road part and a background part in which the vehicle travels. The motion is calculated for the entire image and the motion area is regarded as the area where the moving vehicle is located, and the area without motion is calculated. Can be separated into the background. At this time, there can be a variety of methods for separating the moving region and the non-moving region in the image, in the present invention, as indicated by reference numeral 10 of FIG. After setting a block having a size, the illuminance index is calculated assuming that it is a background portion. Similarly, the vehicle detecting apparatus can calculate an illuminance index for the block indicated by 20 in FIG. 3 (b).

이와 같은 배경 부분에 대한 조도 지수는 하기 수학식 1을 통해 산출된다. The roughness index for this background portion is calculated through Equation 1 below.

상기 수학식 1에서,

는 배경 부분의 평균 명암값이며,

는 조도 지수이다. 상기 수학식 1을 통해서는 영상으로부터 배경 부분의 명암의 평균값

이 [0.255]까지의 자연수로 표현되는 조도 지수

를 얻을 수 있다. 이러한 조도 지수는 초당 10개의 영상을 획득하는 장치에서는 10개 영상 획득 시마다 갱신된다. 이와 같이 조도 지수는 영상에서 배경 부분으로 설정된 영역의 평균명암값으로부터 산출되는 것이며, 매 영상이 획득될 때마다 갱신되게 된다. In Equation 1,

Is the average contrast value of the background part,

Is the roughness index. Through Equation 1, the average value of the contrast of the background part from the image

Illuminance index expressed in natural numbers up to [0.255]

Can be obtained. The illuminance index is updated every time 10 images are acquired in a device that acquires 10 images per second. As such, the illuminance index is calculated from the average contrast value of the region set as the background portion of the image, and is updated each time the image is acquired.

상기 수학식 1을 통해 조도 지수가 산출되면, 차량 검출 장치는 210단계에서 조도 지수에 대응하는 조도 상태를 판단한다. 즉, 상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단한다. 본 발명에서는 조도 상태는 크게 주간 상태, 야간 상태, 중간 상태로 구분되며, 중간 상태는 주야간의 특징점이 동시에 나타나거나 주야간이 전환되는 상태로 새벽이나 석양녘, 터널내부, 우천 시 등이 이에 해당한다. 이와 같이 상태전환을 위한 조도지수의 범위에 따라 상태를 구분해보면 표 1과 같이 나타낼 수 있다. When the illuminance index is calculated through Equation 1, the vehicle detecting apparatus determines an illuminance state corresponding to the illuminance index in step 210. That is, it is determined whether the calculated illuminance index is included in one of a range of illuminance indexes divided into a preset day state, night state, and intermediate state. In the present invention, the illuminance state is largely divided into a day state, a night state, and an intermediate state, and the middle state corresponds to a state where day and night feature points appear at the same time or a day or night is switched to dawn or sunset, inside a tunnel, or rainy weather. Thus, the state can be classified as shown in Table 1 according to the range of the illumination index for state transition.

[표 1][Table 1]

야간상태

:[0, 70]Night state

: [0, 70]

중간상태

:[71, 180]Intermediate

: [71, 180]

주간상태

:[181, 255]Daytime

: [181, 255]

본 발명에서는 조도 상태를 상기 표 1과 같은 조도 지수의 범위에 따라 구분하였으나, 카메라의 성능에 따라 임의적으로 조절 가능함은 물론이며, 중간영역이 새벽이나 석양녘과 같이 주야간이 겹치는 영역을 포함할 수 있도록 조도지수의 범위를 설정할 수 있다. In the present invention, the illuminance state is divided according to the range of the illuminance index as shown in Table 1, but can be arbitrarily adjusted according to the performance of the camera, so that the middle region can include the region where day and night overlap, such as dawn or sunset. You can set the range of the roughness index.

이어, 차량 검출 장치는 상기 표 1에 근거하여 산출된 조도 지수에 대응하는 조도 상태를 판단하여 215단계에서 현재 조도 상태가 주간 상태, 야간 상태, 중간 상태 중 어느 상태에 해당하는지를 판단한다. 만일 주간 상태일 경우에는 차량 검출 장치는 도 4의 400단계로 진행한다. 한편, 차량 검출 장치는 주간 상태로 판단 되는 경우 도 4의 제어 흐름의 400단계로 진행하는데, 도 2 및 도 4에서 215단계 또는 220단계가 도 5의 400단계에 연결되어 있음을 나타내기 위해 심볼 B를 사용하였으며, 도 2의 200단계가 도 4의 420단계와 연결되어 있음을 나타내기 위해서는 심볼 A를 사용하였다. 한편, 도 4에서는 주간 상태에서의 차량 검출 방법을 설명하고 있는데, 그 차량 검출 방법을 개략적으로 설명하면 다음과 같다.Subsequently, the vehicle detecting apparatus determines an illuminance state corresponding to the illuminance index calculated based on Table 1, and determines whether the current illuminance state corresponds to a day state, a night state, or an intermediate state in step 215. If the vehicle is in the daytime state, the vehicle detecting apparatus proceeds to step 400 of FIG. 4. On the other hand, the vehicle detection apparatus proceeds to step 400 of the control flow of FIG. 4 when it is determined that the daytime state, the symbol 215 or 220 in Figures 2 and 4 to indicate that the step 400 is connected to 400 of FIG. B was used, and symbol A was used to indicate that step 200 of FIG. 2 is connected to step 420 of FIG. 4. Meanwhile, FIG. 4 illustrates a vehicle detection method in a daytime state, and the vehicle detection method is briefly described as follows.

먼저, 주간 상태에서의 차량 검출은 영상에서 주간에서의 차량 특징점과 차량과 도로 사이에서 나타나는 그림자를 이용해서 차량 후보를 추출한 후, 차량의 좌우 에지정보, 대칭성, 차량의 너비를 이용하여 차량 후보를 검증하고, 검증된 차량 후보가 위치한 관심영역을 중심으로 다음 차례의 영상에서 이전과 비슷한 영역을 추적함으로써 이루어진다. 한편, 이러한 차량 검출 동작은 차량위치 검출부에 의해 이루어지게 되며, 도 4에 대한 보다 상세한 설명은 하기에서 후술하기로 한다. First, the vehicle detection in the daytime state is extracted from the vehicle candidate using the vehicle feature points in the daytime and the shadow between the vehicle and the road, and then the vehicle candidate is determined using the left and right edge information, the symmetry, and the width of the vehicle. By verifying and tracking a region similar to the previous one in the next image around the region of interest in which the verified vehicle candidate is located. On the other hand, such a vehicle detection operation is made by the vehicle position detection unit, a more detailed description of Figure 4 will be described later.

이와 달리 조도 상태가 야간 상태일 경우에는 차량 검출 장치는 도 7의 700단계로 진행한다. 여기서, 도 2의 215단계 또는 220단계가 도 7의 700단계에 연결되어 있음을 나타내기 위해 심볼 C를 사용하였으며, 도 2의 200단계가 도 7의 730단계와 연결되어 있음을 나타내기 위해서는 심볼 A를 사용하였다. 야간 상태일 경우의 차량 검출 과정을 설명하기 위한 도면인 도 7에 대한 설명도 하기에서 후술하기로 한다. 한편, 도 7에서는 야간 상태에서의 차량 검출 방법을 설명하고 있는데, 그 차량 검출 방법을 개략적으로 설명하면 다음과 같다. 야간 상태에서의 차량 검출은 영상에서 전조등이나 미등에 의해 밝혀지는 광원 영역을 추출하고, 그 추출된 광원의 크기를 이용하여 차량 후보를 검증하여 추적함으로써 이루어진다. In contrast, when the illuminance state is a night state, the vehicle detecting apparatus proceeds to step 700 of FIG. 7. Here, symbol C is used to indicate that step 215 or 220 of FIG. 2 is connected to step 700 of FIG. 7, and symbol 200 to indicate that step 200 of FIG. 2 is connected to step 730 of FIG. 7. A was used. A description of FIG. 7, which is a view for explaining a vehicle detection process in a night state, will be described later. Meanwhile, FIG. 7 illustrates a vehicle detection method in a night state. The vehicle detection method is schematically described as follows. Vehicle detection in the night state is performed by extracting a light source region illuminated by a headlight or a taillight from an image, and verifying and tracking a vehicle candidate using the extracted light source size.

한편, 조도 상태가 중간 상태일 경우에는 차량 검출 장치는 220단계로 진행하여 이전 상태가 주간 상태였는지를 판단하여 주간 상태였을 경우에는 도 4의 400단계로 진행하여 주간 주행 차량을 검출하는 동작을 수행한다. 이때, 초기의 조도 상태는 디폴트(default)로 주간 상태가 설정될 수 있으며, 최초에 조도 상태가 중간 상태로 판단되는 경우에는 바로 주간 상태로 간주되어 220단계는 도 4의 400단계로 이어질 수 있다. On the other hand, when the illuminance state is an intermediate state, the vehicle detecting apparatus proceeds to step 220 to determine whether the previous state is a day state. In the case of the day state, the vehicle detection device proceeds to step 400 of FIG. do. In this case, the initial illuminance state may be set to a daytime state as a default. When the illuminance state is initially determined to be an intermediate state, the initial illuminance state may be regarded as a daytime state immediately, and step 220 may proceed to step 400 of FIG. 4. .

상기한 바와 같은 과정을 거쳐 조도 상태가 주간 상태에 해당할 경우에는 주간 상태에서의 차량 검출 방법을 적용하다가 중간 상태가 되더라도 이전에 주간 상태에서의 차량 검출 방법으로 차량이 추적되고 있으므로 그대로 주간상태에서의 차량 검출 방법이 적용되게 된다. 이때, 차량을 제외한 배경 부분에 대해서는 주간 상태와 야간 상태에서의 차량 검출 방법이 매영상마다 번갈아가면서 적용될 수 있다. 이와 마찬가지로 조도 상태가 야간 상태이다가 중간 상태가 되더라도 일단 추적되는 차량에 대해서는 야간 상태에서의 차량 검출 방법이 계속 적용되다가 배경 부분의 조도 상태가 주간 상태로 바뀌게 되면 비로소 주간 상태에서의 차량 검출 방법이 적용될 수 있게 된다. 이와 같이 본 발명에 따른 차량 검출 장치는 조도 상태에 따라 선택적으로 주간 또는 야간 상태에서의 차량 검출 방법을 병행하여 차량을 추적한다. When the illuminance state is a daytime state through the above process, even if the vehicle detection method in the daytime state is applied, but the vehicle is being tracked by the vehicle detection method in the daytime state before the intermediate state, Vehicle detection method is applied. In this case, the vehicle detection method in the day state and the night state may be alternately applied to every image for the background portion excluding the vehicle. Similarly, even when the illuminance is in the midnight state, the vehicle detection method in the night state continues to be applied to the vehicle to be tracked once the vehicle is detected in the daytime state when the illuminance state of the background portion is changed to the daytime state. It can be applied. As described above, the vehicle detecting apparatus according to the present invention selectively tracks the vehicle in parallel with the vehicle detecting method in the day or night state according to the illumination condition.

이하, 조도 지수에 의해 나누어진 상태가 주간 상태인 경우 본 발명의 실시 예에 따라 그 주간 상태에서의 차량 검출 과정을 도 4를 참조하여 설명한다. 하기 에서는 이해를 돕기 위해 도 5 및 도 6을 예시하여 설명한다. Hereinafter, when the state divided by the illuminance index is a daytime state, a vehicle detection process in the daytime state according to an embodiment of the present invention will be described with reference to FIG. 4. In the following it will be described with reference to Figures 5 and 6 to facilitate understanding.

도 4를 참조하면, 차량 검출 장치는 400단계에서 영상에서 차량 후보를 추출하고, 410단계에서 추출된 차량 후보를 검증하고, 420단계에서 최종 차량을 검출하는 동작을 수행한다. Referring to FIG. 4, the vehicle detection apparatus extracts a vehicle candidate from an image in operation 400, verifies a vehicle candidate extracted in operation 410, and detects a final vehicle in operation 420.

우선, 400단계를 구체적으로 설명하면, 차량과 도로 상에 생기는 그림자 영역 검출을 효과적으로 하기 위해 차량 검출 장치는 전체 영상(502)에서 배경 부분을 제거하고 움직임이 있는 영역 즉, 관심영역(501)안에서 배경 부분을 제거하고 관심영역(501)안에서 히스토그램 평준화를 통해 비교적 어두운 명암을 갖고 있는 포장도로와 그림자영역의 명암차를 크게 하여 도 5(a)와 같은 정규화된 영상(502)과 도 5(b)와 같은 이진화 영상(503)을 생성한다. 이때, 이진화 영상에서는 도로 부분이 제거되게 된다. First, step 400 is described in detail, in order to effectively detect the shadow area generated on the vehicle and the road, the vehicle detecting apparatus removes the background part from the entire image 502 and moves the motion area, that is, in the region of interest 501. The normalized image 502 of FIG. 5 (a) and FIG. 5 (b) as shown in FIG. 5 (a) are enlarged by removing the background part and increasing the contrast difference between the pavement and the shadow area having relatively dark contrast through histogram equalization in the region of interest 501. To generate a binarized image 503. At this time, the road part is removed from the binarized image.

그리고나서 차량 검출 장치는 도 5(c)의 도면부호 505에 의해 지시되는 화살표 방향으로 즉, 영상의 하단에서 상단방향으로 일정한 두께를 갖는 윈도우(window)(304)로 스캐닝(Scaning)하여 그림자 영역을 검색한다. 이 윈도우는 영상에서 그림자가 어느 부분에 있는지를 서치(search)하는 역할을 하며, 원근에 따라 윈도우 사이즈가 달라진다. 이때, 차량 검출 장치는 관심영역(501) 전체에 대한 스캐닝을 하기 위해 윈도우를 하단에서 상단방향으로 이동시키면서 도면부호 506에 의해 지시되는 화살표 방향으로도 이동시킨다. 이와 같이 아래에서 위로 이동시키면서 동시에 좌에서 우로 윈도우를 이동시켜 관심영역(501)에 대해 모두 스캐닝함으로써 차량 검출 장치는 명암이 크게 감소하면서도 일정 이하의 어두운 명암을 갖 는 영역을 도 5(c)에서와 같이 그림자영역(507)으로 검출하여 그 그림자 영역(507)을 차량 후보 영역으로 설정한다. 이와 같이 그림자 영역을 이용해서는 1차적인 차량 후보 영역이 설정된다. Then, the vehicle detecting apparatus scans the shadow area by scanning with a window 304 having a constant thickness in the direction of the arrow indicated by reference numeral 505 of FIG. 5C, that is, from the bottom to the top of the image. Search for. This window is used to search where the shadow is in the image, and the window size varies depending on the perspective. At this time, the vehicle detection apparatus also moves the window from the lower side to the upper direction in order to scan the entire region of interest 501 and also moves in the direction indicated by the arrow 506. By moving the window from left to right while moving from bottom to top as described above, the vehicle detecting apparatus scans the area of interest 501, and the vehicle detecting apparatus greatly reduces the contrast, but the region having the dark contrast of less than or equal to FIG. 5 (c). As described above, the shadow area 507 is detected and the shadow area 507 is set as the vehicle candidate area. In this way, the primary vehicle candidate region is set using the shadow region.

그리고나서 보다 정밀한 차량 후보 영역을 설정하기 위해 2차적으로 차량 후보 영역을 설정하는 동작을 수행한다. 이를 도 6를 참조하여 설명하면, 도 6에서는 1차로 설정된 차량 후보 영역들을 평면상의 실제 좌표로 변환한 후, 그 평면상에서 가상 차선 밖의 무리지어진 차량 후보 영역들은 제거하여 2차 차량 후보 영역을 설정하는 과정을 보여준다.Then, in order to set a more precise vehicle candidate region, an operation of setting a vehicle candidate region secondary is performed. Referring to FIG. 6, in FIG. 6, after converting the vehicle candidate regions set as primary to actual coordinates on a plane, the secondary vehicle candidate regions are set by removing the crowded vehicle candidate regions outside the virtual lane on the plane. Show the process.

도 6에 도시된 바와 같이 차량 후보 영역들은 원근감을 제거하여 평면상에 적어도 하나 이상의 점들로 무리지어 보여지는데, 차량 후보 영역들은 가상 차선(603)에 의해 여러 무리(601, 602)로 구분된다. 이 무리들(601, 602) 중 가상 차선(603)의 관심영역 밖에 위치한 무리(602)는 제거되며, 나머지 무리(601)가 2차 차량 후보 영역으로 설정된다. 이와 같이 도 6에서는 영상에서 추출된 차량 후보 영역들을 평면상의 실제 좌표로 변환하여 처리한 결과를 예시하고 있다. 여기서, 상기 좌표 변환은 하기 수학식 2를 통해 이루어진다. As shown in FIG. 6, the vehicle candidate regions are grouped into at least one or more points on a plane by removing perspective, and the vehicle candidate regions are divided into groups 601 and 602 by the virtual lane 603. Among the groups 601 and 602, the group 602 located outside the region of interest of the virtual lane 603 is removed, and the remaining group 601 is set as the secondary vehicle candidate region. As described above, FIG. 6 illustrates a result of processing the vehicle candidate regions extracted from the image by converting them into actual coordinates on a plane. Here, the coordinate transformation is performed through the following equation (2).

상기 수학식 2는 영상좌표와 실제 좌표 사이의 변환을 나타내는 3×3행렬로서, 영상에서 나타나는 원근효과를 없애서 영상좌표(r _i ,c _i )를 평면상의 3차원 실제좌표(x _i , y _i )로 변환한다.Equation (2) is a 3x3 matrix representing a transformation between image coordinates and actual coordinates, and the image coordinates ( r _i , c _i ) are three-dimensional actual coordinates ( x _i , y _i on a plane) by removing the perspective effect in the image. To).

상기한 바와 같은 과정을 통해 1차로 추출된 차량 후보 영역에서 다시 수학식 1을 통해 1차 추출된 차량 후보 영역들 중에서 다시 유효하지 않은 차량 후보 영역들은 제거하여 2차로 차량 후보 영역을 생성하게 된다. In the vehicle candidate region extracted first through the above process, invalid vehicle candidate regions are again removed from the vehicle candidate regions extracted first through Equation 1 to generate the vehicle candidate region secondarily.

이하, 2차 차량 후보 영역에 대한 검증 과정을 설명하기로 한다. 차량 후보 영역에 대한 검증은 차량이 있다고 간주한 영역에 실제로 차량이 위치하는지를 판단하기 위함이다. 예를 들어, 2차 차량 후보 영역을 얻었더라도 차량이 아닌 장애물 등이 검출되는 경우도 있을 수 있기 때문에 그 차량 후보 영역에 대한 검증을 수행해야 하는 것이다. Hereinafter, a verification process for the secondary vehicle candidate region will be described. The verification of the vehicle candidate area is to determine whether the vehicle is actually located in the area where the vehicle is considered to be. For example, even if a secondary vehicle candidate region is obtained, an obstacle, etc., which is not a vehicle may be detected. Therefore, verification of the vehicle candidate region should be performed.

2차 차량 후보 영역은 차량의 사전지식으로 적용되는 대칭성과 좌우 수직에지 성분, 차량의 폭에 의해 검증된다. 2차 차량후보의 종방향 위치는 그림자 영역에 의해 설정되므로 비교적 정확하나 횡방향 위치는 부정확하기 때문에 하기 수학식 3과 같은 에지의 대칭성을 통해서 대칭성이 우수한 영역으로 재설정된다. The secondary vehicle candidate region is verified by the symmetry, left and right vertical edge components, and the width of the vehicle, which are applied prior to the vehicle. Since the longitudinal position of the secondary vehicle candidate is set by the shadow region, it is relatively accurate, but since the lateral position is incorrect, it is reset to the region having excellent symmetry through the symmetry of the edge as shown in Equation 3 below.

상기 수학식 3에서, s는 에지의 각도가 같거나 부호가 반대인 에지의 개수이 며 n은 에지의 전체 개수이다. 이와 같이 수학식 3을 통해 얻어지는 에지 성분을 근거로 차량 검출 장치는 어느 위치에 차량이 위치하는지를 판단할 수 있다. 예를 들어, 에지 성분이 가운데 있을 경우에는 차량의 위치도 가운데에 있다고 판단할 수 있게 된다. 이와 같이 좌우 에지의 히스토그램과 실제 차폭 정보를 이용하여 차량 후보 영역을 다시 검증함으로써 영상에서의 최종 차량 위치가 출력되게 된다. 이러한 과정을 거쳐 검출된 차량은 차량 추적을 통해 연속된 영상에서 안정적으로 검출된다. 검출된 차량은 실시간 차량 모형으로 설정하여 신뢰도를 통해서 매프레임마다 갱신되며, 이러한 추적을 위해서 통상의 방법인 루카스-카나데 방법을 이용할 수 있다. 만일 높은 신뢰도를 갖는 차량의 추적에 실패할 경우에는 신뢰도에 의해 설정된 한계값을 낮춤으로써 차량을 복원할 수도 있다. In Equation 3, s is the number of edges having the same angle or opposite sign, and n is the total number of edges. As such, the vehicle detecting apparatus may determine which position the vehicle is located on the basis of the edge component obtained through Equation 3. For example, when the edge component is in the center, it can be determined that the position of the vehicle is also in the center. As described above, the vehicle candidate region is re-verified using the histogram of the left and right edges and the actual vehicle width information, thereby outputting the final vehicle position in the image. The vehicle detected through this process is stably detected in the continuous image through the vehicle tracking. The detected vehicle is set as a real-time vehicle model and updated every frame through reliability, and a conventional Lucas-Kanade method can be used for such tracking. If the tracking of the vehicle having high reliability fails, the vehicle may be restored by lowering the threshold set by the reliability.

이하, 야간 상태에서의 차량 검출 과정을 도 7을 참조하여 설명한다. 이에 대한 이해를 돕기 위해 광원을 추출하는 과정을 보인 도 8을 참조하여 설명한다. 도 8은 본 발명의 실시 예에 따른 광원 추출 과정을 설명하기 위한 예시도이다.Hereinafter, the vehicle detection process in the night state will be described with reference to FIG. 7. In order to help understand this, a process of extracting a light source will be described with reference to FIG. 8. 8 is an exemplary view for explaining a light source extraction process according to an embodiment of the present invention.

도 7의 차량 검출 동작은 차량 검출 장치의 구성부인 차량위치 검출부에서 이루어지며, 이하 도 7에서는 설명의 편의를 위해 차량 검출 장치로 칭한다. 도 7을 참조하면, 차량 검출 장치는 700단계에서 야간 상태의 영상에서 전조등, 미등, 브레이크 등과 같은 광원을 각각 묶는다. 광원은 영상에서 250 이상의 높은 명암도를 가지므로 차량 검출 장치는 이를 이용하여 영상을 이진화한다. 이때, 도 8(a)에서와 같이 번지는 광원, 작은 헤드라이트등이 나타내는 영상에서 광원들을 묶을 경우 도 8(b)의 녹색 부분에 의해 표시되는 바와 같이 표시될 수 있다. The vehicle detecting operation of FIG. 7 is performed by the vehicle position detecting unit, which is a component of the vehicle detecting apparatus, and hereinafter referred to as a vehicle detecting apparatus for convenience of description. Referring to FIG. 7, in operation 700, the vehicle detection apparatus bundles light sources such as headlights, taillights, and brakes in the night image. Since the light source has a high contrast of 250 or more in the image, the vehicle detection apparatus uses the same to binarize the image. In this case, when the light sources are bundled in an image represented by a light source, a small headlight, or the like, as shown in FIG. 8 (a), the light sources may be displayed as indicated by the green portion of FIG. 8 (b).

그리고나서 차량 검출 장치는 710단계로 진행하여 각 묶음의 광원들을 보고 번지는 광원인지 미등같은 작은 광원인지 등 광원의 크기를 대(大), 중(中), 소(小)로 각 광원의 묶음을 분류한다. 각 광원은 미등, 브레이크 등과 같이 광원의 왜곡없이 나타나는 경우, 주변광원이 차량에 반사되어 나타나는 경우, 전조등이 크게 왜곡되어 보이는 경우 등에 의해 각각 소, 중, 대의 크기를 가질 수 있다. 따라서, 차량 검출 장치는 이러한 광원 분류를 통해 광원의 크기가 미리 정해진 크기 이상으로 큰 광원일 경우에는 도 8(c)의 도면부호 800에 의해 지시되는 바와 같이 하나의 차량에 해당하는 광원으로 간주하고, 도 8(c)의 도면부호 810에 의해 지시되는 바와 같이 작은 미등들은 합쳐서 하나의 차량으로 간주한다. 이때, 각 광원의 크기를 분류하는 임계값은 해당 광원의 무게중심에서의 실제 광원의 크기 대 예상 차량의 크기의 비에 의해 설정될 수 있다. 즉, 해당 광원의 무게중심점에서의 광원의 크기 대 차량의 크기에 비에 의해 묶어진 광원들이 대(大), 중(中), 소(小)로 분류되게 된다. 만일 광원이 대로 분류되는 경우 차량 검출 장치는 광원의 잡음 부분 예컨대, 일그러진 부분을 제거하여 차량 후보를 검출하고 소로 분류되는 광원은 주변 광원과 합친다. Then, the vehicle detecting apparatus proceeds to step 710 to determine the size of the light source, whether large or medium, small or small, such as whether it is a light source that spreads through a bundle of light sources or a small light source such as a taillight. Classify Each light source may have small, medium, or large sizes when the light source is displayed without distortion of the light source, such as a taillight or a brake, when the ambient light source is reflected by the vehicle, and when the headlight is greatly distorted. Accordingly, the vehicle detecting apparatus regards a light source corresponding to one vehicle as indicated by reference numeral 800 of FIG. 8C when the size of the light source is larger than the predetermined size through the light source classification. , As indicated by reference numeral 810 in FIG. 8 (c), the small taillights are collectively regarded as one vehicle. In this case, the threshold for classifying the size of each light source may be set by a ratio of the size of the actual light source to the size of the expected vehicle at the center of gravity of the corresponding light source. That is, light sources bound by the ratio of the size of the light source to the size of the vehicle at the center of gravity of the light source are classified into large, medium, and small. If the light sources are classified as they are, the vehicle detection device detects the vehicle candidate by removing the noise portion of the light source, for example, the distorted portion, and the light source classified into the small is combined with the ambient light source.

이와 같이 분류된 광원을 근거로 차량 검출 장치는 720단계에서 차량 후보를 추출한다. 즉, 광원의 크기에 의해 차량 후보 영역을 생성한다. 그리고나서 차량 검출 장치는 730단계에서 차량 추출의 안정성을 위해 다음 차례의 영상에서도 이전에 설정된 관심 영역안에서 광원을 재추출함으로써 광원을 추적한다. Based on the light sources classified as above, the vehicle detection apparatus extracts a vehicle candidate in operation 720. That is, the vehicle candidate region is generated by the size of the light source. In operation 730, the vehicle detecting apparatus tracks the light source by re-extracting the light source in the region of interest previously set in the next image for the stability of vehicle extraction.

한편, 중간 상태에서의 차량 검출 방법을 설명하기 위해 도 9를 참조한다. 도 9는 본 발명의 실시 예에 따라 조도 상태에 따른 차량 검출 예시도이다. 도 9(a)는 주간 주행 차량에 관한 예시도로, 터널 입구에서는 주간 상태에 있으므로 차량 검출 장치는 차량에 대해 주간 상태에서의 차량 검출 방법을 적용한다. 이어, 도 9(b)에서와 같이 차량이 터널에 진입할 때에는 조도 지수가 중간 상태에 해당할 수 있는데, 조도 지수가 중간 상태로 바뀌게 되더라도 차량 검출 장치는 차량에 대해서는 주간 상태에서의 차량 검출 방법을 계속 적용하여 검출한다. 이때, 도 9(b)에서 차량을 제외한 나머지 영역에 대해서는 주간 차량 검출 방법과 야간 차량 검출 방법을 매영상마다 번갈아 적용한다. Meanwhile, reference will be made to FIG. 9 to describe a vehicle detection method in an intermediate state. 9 is a diagram illustrating a vehicle detection according to an illuminance state according to an embodiment of the present invention. 9A illustrates an example of a daytime running vehicle. Since the vehicle is in a daytime state at a tunnel entrance, the vehicle detecting apparatus applies a vehicle detection method in a daytime state to a vehicle. Subsequently, when the vehicle enters the tunnel as shown in FIG. 9 (b), the illuminance index may correspond to an intermediate state. Even when the illuminance index changes to an intermediate state, the vehicle detecting apparatus detects the vehicle in a daytime state with respect to the vehicle. Continue to apply to detect. In this case, the daytime vehicle detection method and the nighttime vehicle detection method are alternately applied to each image in the remaining regions except for the vehicle in FIG. 9 (b).

한편, 도 9(c) 추적하고 있던 차량 대신 새로운 차량이 검출되는 상황을 설명하기 위한 예시도로, 차량 검출 장치는 터널 안에서 이미 차량을 야간 차량 검출 방법을 이용하여 추적하고 있는 상태이므로 새로운 차량이 검출되더라도 야간 차량 검출 방법을 그대로 이용하여 새로운 차량을 추적하게 된다. On the other hand, Figure 9 (c) is an exemplary view for explaining a situation where a new vehicle is detected instead of the vehicle being tracked, since the vehicle detection device is already tracking the vehicle in the tunnel using a night vehicle detection method, the new vehicle is detected. Even if the night vehicle detection method is used as it is to track a new vehicle.

상기한 바와 같이 본 발명에 따르면, 주간과 야간을 포함하는 다양한 조도 환경에서 적용할 수 있는 차량 검출 방법을 제시함으로써 카메라를 이용한 차량 검출 방법이 특정한 환경에서만 적용가능했던 한계를 극복하여 관련 시스템의 개발을 도모할 수 있게 된다. As described above, according to the present invention, by providing a vehicle detection method that can be applied in various illumination environments including daytime and nighttime, the vehicle detection method using a camera overcomes the limitation that was applicable only in a specific environment to develop related systems. It becomes possible to plan.

Claims

자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법에 있어서, In the method for detecting the day and night driving vehicle according to the illumination condition using a camera mounted on his vehicle,

상기 카메라를 통해 입력되는 영상으로부터 조도 지수를 산출하는 과정과,Calculating an illuminance index from an image input through the camera;

상기 산출된 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하는 과정과,Determining whether the calculated illuminance index is included in one of a range of illuminance indexes divided into a preset day state, night state, and intermediate state;

판단 결과 상기 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하는 과정과,When the determination result corresponds to the intermediate state, detecting the vehicle corresponding to the previous state from the image;

상기 이전 상태가 상기 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하는 과정을 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.And detecting a vehicle candidate by using a shadow area generated on the vehicle and the road in the image when the previous state is the daytime state.

제 1항에 있어서, The method of claim 1,

상기 이전 상태가 없을 경우 상기 주간 상태에 해당한다고 간주하여 상기 영상에서 상기 주간 상태에 대응하는 차량 검출을 수행하는 과정을 더 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.And detecting the vehicle corresponding to the daytime state in the image, considering the daytime state if the previous state does not exist. .

제 1항에 있어서,The method of claim 1,

상기 이전 상태가 상기 주간 상태일 경우 상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 과정을 더 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.If the previous state is the daytime state, detecting the final vehicle by verifying the vehicle candidate by applying prior knowledge of the left and right edge components and the vehicle width to the detected vehicle candidate. Method for detecting the day and night driving vehicle according to the illumination conditions.

제 1항에 있어서,The method of claim 1,

상기 이전 상태가 상기 주간 상태일 경우 상기 영상에서 검출된 차량 후보에 대해서는 상기 주간 상태에 대응하는 차량 검출을 수행하는 과정과, Performing vehicle detection corresponding to the daytime state with respect to the vehicle candidate detected in the image when the previous state is the daytime state;

상기 영상의 배경 부분에 대해서는 상기 주간 상태 및 상기 야간 상태에 대응하는 차량 검출 수행을 매영상마다 번갈아가면서 수행하는 과정을 더 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.The background portion of the image further includes the step of alternately performing the vehicle detection corresponding to the daytime state and the night state every image, the method for detecting the day and night driving vehicles according to the illumination conditions .

상기 이전 상태가 상기 야간 상태일 경우 상기 영상에서 광원들을 묶어서 상기 광원들의 크기별로 분류하는 과정과,When the previous state is the night state, classifying light sources in the image and classifying the light sources according to sizes of the light sources;

상기 영상에서 상기 분류된 광원들을 근거로 차량 후보를 검출하는 과정임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.And detecting a day and night driving vehicle according to an illumination condition, wherein the vehicle candidate is detected based on the classified light sources in the image.

제 5항에 있어서, 상기 분류된 광원들을 근거로 차량 후보를 검출하는 과정은,The method of claim 5, wherein the detecting of the vehicle candidate based on the classified light sources comprises:

상기 광원들을 해당 광원의 무게중심점에서의 광원의 크기 대 차량의 크기에 비에 의해 대(大), 중(中), 소(小) 중 어느 하나의 크기로 분류하는 과정과, Classifying the light sources into one of large, medium, and small by the ratio of the size of the light source at the center of gravity of the light source to the size of the vehicle;

상기 영상에서 상기 대(大)로 분류되는 광원의 잡음 부분을 제거하여 차량 후보를 검출하는 과정과, Detecting a candidate for a vehicle by removing a noise portion of a light source classified as a large part of the image;

상기 영상에서 상기 소(小)로 분류되는 광원은 주변 광원과 다시 묶어서 차량 후보를 검출하는 과정임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.The light source classified as the small in the image is a process of detecting the vehicle candidates by re-binding with the ambient light source according to the illumination conditions.

제1항 또는 제 5항에 있어서, 상기 조도 지수는The method according to claim 1 or 5, wherein the roughness index is

상기 영상에서 배경 부분으로 설정된 영역의 평균명암값으로부터 산출되는 것이며, 매영상이 획득될 때마다 갱신되는 것임을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법.It is calculated from the average contrast value of the area set as the background portion in the image, the method for detecting the day and night driving vehicles according to the illumination conditions, characterized in that each image is updated.

자기 차량에 장착된 카메라를 이용하여 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치에 있어서, In the device for detecting the day and night driving vehicle according to the illumination condition using a camera mounted on his vehicle,

상기 카메라를 통해 영상을 수신하는 영상수신부와,An image receiver for receiving an image through the camera;

상기 영상수신부로부터 상기 영상을 제공받아 상기 영상에서 배경 부분을 설정하고, 설정된 배경 부분의 평균명암도를 측정하여 조도 지수를 산출하는 조도인식부와,An illuminance recognition unit configured to receive the image from the image receiving unit, set a background portion in the image, and calculate an illuminance index by measuring an average contrast of the set background portion;

상기 조도인식부로부터 제공되는 조도 지수가 미리 설정된 주간 상태, 야간 상태, 중간 상태로 구분된 조도 지수 범위 중 어느 하나의 범위에 포함되는지를 판단하여 하나의 상태를 결정하는 조정자부와,An adjuster unit for determining one state by determining whether the illuminance index provided from the illuminance recognition unit is included in one of a range of illuminance indexes divided into a preset day state, night state, and intermediate state;

상기 결정된 상태에 대응하는 차량 검출을 수행하며, 상기 결정된 상태가 상기 중간 상태에 해당하는 경우 상기 영상에서 이전 상태에 대응하는 차량 검출을 수행하고, 상기 이전 상태가 상기 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하는 차량위치 검출부를 포함함을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.Detects a vehicle corresponding to the determined state, detects a vehicle corresponding to a previous state in the image when the determined state corresponds to the intermediate state, and detects a vehicle in the image when the previous state is the day state And a vehicle position detector for detecting a candidate for a vehicle using a shadow area generated on the road and the road according to the illumination conditions.

삭제delete

제 8항에 있어서, 상기 차량위치 검출부는,The method of claim 8, wherein the vehicle position detection unit,

상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.Apparatus for detecting day and night driving vehicles according to the illumination conditions characterized in that the vehicle candidates are detected by applying the detected vehicle candidates prior knowledge of left and right edge components and vehicle widths to verify the vehicle candidates. .

상기 이전 상태가 없을 경우 상기 주간 상태로 간주하여 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하고, 상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.In the absence of the previous state, the vehicle candidate is detected by using the shadow area generated on the vehicle and the road in the image by considering the daytime state, and the detected vehicle candidate is preset for the left and right edge components and the vehicle width of the vehicle. And detecting the final vehicle by applying knowledge to detect the final vehicle according to the illumination conditions.

제 8항에 있어서, 상기 차량위치 검출부는The method of claim 8, wherein the vehicle position detection unit

상기 결정된 상태가 상기 주간 상태일 경우 상기 영상에서 차량과 도로 상에 생기는 그림자 영역을 이용하여 차량 후보를 검출하고, 상기 검출된 차량 후보를 차량에 대한 좌우 에지성분 및 차량폭에 대한 사전지식을 적용해서 상기 차량 후보를 검증하여 최종 차량을 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.When the determined state is the daytime state, the vehicle candidate is detected by using the shadow area generated on the vehicle and the road in the image, and the detected vehicle candidate is applied with prior knowledge about left and right edge components and the vehicle width of the vehicle candidate. And detecting the final vehicle by verifying the vehicle candidate, according to the illumination conditions.

상기 결정된 상태가 상기 야간 상태일 경우 상기 영상에서 광원들을 묶어서 상기 광원들의 크기별로 분류하고, 상기 영상에서 상기 분류된 광원들을 근거로 차량 후보를 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.When the determined state is the night state, the light sources are grouped according to the size of the light sources by grouping the light sources in the image, and the vehicle candidates are detected based on the classified light sources in the image. The device according to the detection.

제 13항에 있어서, 상기 차량위치 검출부는The method of claim 13, wherein the vehicle position detection unit

상기 광원들을 해당 광원의 무게중심점에서의 광원의 크기 대 차량의 크기에 비에 의해 대(大), 중(中), 소(小) 중 어느 하나의 크기로 분류하고, 상기 영상에서 상기 대(大)로 분류되는 광원의 잡음 부분을 제거하여 차량 후보를 검출하고, 상기 영상에서 상기 소(小)로 분류되는 광원은 주변 광원과 다시 묶어서 차량 후보를 검출하는 것을 특징으로 하는 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 장치.The light sources are classified into one of large, medium, and small sizes according to the ratio of the size of the light source at the center of gravity of the light source to the size of the vehicle. Vehicle candidates are detected by removing a noise portion of a light source classified as a large and a light source classified as a small in the image is again grouped with an ambient light source to detect a vehicle candidate. To detect the light according to the illumination condition.