KR101190789B1 - Apparatus and method for measurementing distance of vehicle - Google Patents

Apparatus and method for measurementing distance of vehicle Download PDF

Info

Publication number
KR101190789B1
KR101190789B1 KR1020100138797A KR20100138797A KR101190789B1 KR 101190789 B1 KR101190789 B1 KR 101190789B1 KR 1020100138797 A KR1020100138797 A KR 1020100138797A KR 20100138797 A KR20100138797 A KR 20100138797A KR 101190789 B1 KR101190789 B1 KR 101190789B1
Authority
KR
South Korea
Prior art keywords
image
distance
pixel
vehicle
information
Prior art date
Application number
KR1020100138797A
Other languages
Korean (ko)
Other versions
KR20120076999A (en
Inventor
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020100138797A priority Critical patent/KR101190789B1/en
Publication of KR20120076999A publication Critical patent/KR20120076999A/en
Application granted granted Critical
Publication of KR101190789B1 publication Critical patent/KR101190789B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 차량으로부터 주변 물체까지의 거리를 측정하는 차량의 거리 측정 장치 및 방법을 제공하는 것을 목적으로 한다. 이를 위해 차량에 설치되어 상기 차량의 주행 방향 또는 역방향의 이미지를 촬영하는 하나의 카메라; 상기 카메라가 촬영한 현재 이미지와 일정 시간 전에 촬영한 과거 이미지를 이미지 프로세싱하여 현재 이미지와 과거 이미지에서 유사한 특성을 갖는 임의의 픽셀중 변위가 발생한 현재의 픽셀과 과거의 픽셀을 검출하고, 상기 검출된 픽셀을 현재 이미지상에서 매칭시켜 두 픽셀 간의 이동 변위를 검출하여 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 제공받아 상기 검출된 이동 변위에 대응하는 이동 거리를 산출하며, 상기 산출된 이동 거리와 상기 현재 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 현재 픽셀까지의 거리를 산출하는 제어부; 및 상기 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부로 제공하는 운행 정보 검출부를 포함한다. 따라서 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 차량으로부터 주변 물체까지의 거리를 측정하여 제공할 수 있는 장점이 있다.An object of the present invention is to provide a distance measuring apparatus and method of a vehicle for measuring the distance from the vehicle to the surrounding objects using the past image and the current image photographing the driving direction or the reverse direction of the vehicle through a camera. To this end, a camera installed in the vehicle for taking an image of the driving direction or the reverse direction of the vehicle; Image processing of the current image photographed by the camera and a past image photographed a certain time ago to detect a current pixel and a past pixel in which a displacement has occurred among any pixels having similar characteristics in the current image and the past image, and the detected Matching the pixels on the current image to detect the movement displacement between the two pixels to receive the driving information including steering angle information, distance information and speed information from the vehicle to calculate the movement distance corresponding to the detected movement displacement, the calculated movement A controller configured to calculate a distance from the reference point pixel to the current pixel based on a distance and triangle information of a reference point pixel preset on the current image with the detected pixel; And a driving information detector for detecting driving information including steering angle information, distance information, and speed information from the vehicle and providing the driving information to the controller. Therefore, there is an advantage in that the distance from the vehicle to the surrounding objects can be measured and provided by using the image of the past and the current image photographing the driving direction or the reverse direction of the vehicle through the camera.

Description

차량의 거리 측정 장치 및 방법 {APPARATUS AND METHOD FOR MEASUREMENTING DISTANCE OF VEHICLE} Vehicle measuring device and method {APPARATUS AND METHOD FOR MEASUREMENTING DISTANCE OF VEHICLE}

본 발명은 차량의 거리 측정 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 사각지대를 포함한 차량으로부터 주변 물체까지의 거리를 측정하는 차량의 거리 측정 장치 및 방법에 관한 것이다.
The present invention relates to a distance measuring apparatus and method of a vehicle, and more particularly, from a vehicle including a blind spot to a surrounding object using a past image and a current image photographing a driving direction or a reverse direction of the vehicle through a camera. An apparatus and method for measuring a distance of a vehicle are provided.

일반적으로 자동차의 사고를 사전에 예방하기 위하여 개발되는 충돌 방지 장치들은 대부분 빛을 이용한 비접촉방식으로 전방 물체 또는 후방 물체와의 거리를 인식함으로써, 차량과 물체와의 거리가 안전거리 이하로 인식되면 운전자에게 경보음을 출력하거나 제동 장치를 동작시켜 차량의 사고를 예방한다.In general, collision avoidance devices developed to prevent accidents in cars are mostly non-contact using light to recognize the distance between the front and rear objects, so that when the distance between the vehicle and the object is less than the safety distance, the driver Alarm sound or brake system is activated to prevent vehicle accident.

이러한 비접촉방식을 이용한 거리 인식 수단은 주로 레이저 광이나 초음파 신호 등을 이용하여 후방에 배치된 물체까지의 거리 또는 후방에서 접근하는 차량까지의 거리 정보를 측정한다.The distance recognition means using the non-contact method mainly measures the distance to an object disposed in the rear or the distance to the vehicle approaching from the rear using a laser light or an ultrasonic signal.

그러나 이러한 비접촉방식의 거리 인식 수단은 주로 차량의 전방 또는 후방의 범퍼에 위치하고 있어서 거리 인식 수단이 물체를 지나치거나 사각지대에 물체가 위치하는 경우 해당 물체까지의 거리 정보 또는 차량까지의 거리 정보를 측정할 수 없는 문제점이 있다.However, such a non-contact distance recognition means is mainly located on the bumper in front or rear of the vehicle, so if the distance recognition means passes the object or the object is located in a blind spot, the distance information to the object or the distance information to the vehicle is measured. There is a problem that cannot be done.

한편, 최근에는 주차를 보조하기 위한 주차 보조 장치들이 차량에 장착되어 보급되고 있으며, 이러한 주차 보조 장치들은 차량이 이동하는 동안 목표 트랙과 차량의 현재 위치 사이의 관계를 실시간으로 감시하여 차량을 목표 위치로 자동유도한다.Recently, parking aids for assisting parking are being installed and distributed in a vehicle, and these parking aids monitor the relationship between the target track and the current position of the vehicle in real time while the vehicle is moving to target the vehicle. Automatic induction.

일반적으로 현재의 차량 위치 추정은 스티어링 휠의 조향 각도를 검출하는 각도 센서와 바퀴의 회전을 검출하는 휠 센서와 속도 센서 등에 의해 검출된 조향각과 이동 거리를 기초로 한다.In general, current vehicle position estimation is based on a steering angle and a movement distance detected by an angle sensor detecting a steering angle of a steering wheel, a wheel sensor detecting a rotation of a wheel, a speed sensor, and the like.

그러나, 조향각이 목표 조향각에 따라 정밀하게 제어되는 경우에도 추정되는 차량의 위치와 실제 차량의 위치 사이에 차이가 존재하고, 이러한 차이로 인하여 차량이 엉뚱한 곳으로 유도되어 추돌 등의 사고가 발생하게 된다. However, even when the steering angle is precisely controlled according to the target steering angle, there is a difference between the estimated position of the vehicle and the actual position of the vehicle, and the difference causes the vehicle to be led to the wrong place and an accident such as a collision occurs. .

또한, 미끄러운 노면에서는 차량이 주행중이거나 또는 차량을 주차하는 중에 노면과 차량의 바퀴 사이에 슬립이 발생하여 추정에 의한 이동 거리와 실제 이동 거리에 차이가 발생하게 되어 장애물의 감지가 곤란하고 차량의 위치 추정이 어려운 문제점이 있다.
In addition, on slippery road surfaces, slippage occurs between the road surface and the wheels of the vehicle while the vehicle is driving or parking the vehicle, resulting in a difference between the estimated moving distance and the actual moving distance. There is a problem that is difficult to estimate.

이러한 문제점을 해결하기 위하여, 본 발명은 카메라를 통해 차량의 주행방향 이미지 또는 역방향 이미지를 촬영한 과거의 이미지와 현재의 이미지를 이용하여 사각지대를 포함한 차량으로부터 주변 물체까지의 거리를 측정하는 차량의 거리 측정 장치 및 방법을 제공하는 것을 목적으로 한다.
In order to solve this problem, the present invention is to measure the distance from the vehicle including the blind spot to the surrounding object by using the past image and the current image of the driving direction image or reverse image of the vehicle through the camera It is an object to provide a distance measuring device and method.

상기한 목적을 달성하기 위하여 본 발명은 차량의 거리 측정 장치로서,In order to achieve the above object, the present invention provides a vehicle distance measuring apparatus,

차량에 설치되어 이미지를 촬영하는 하나의 카메라; 상기 카메라가 임의의 시점에서 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 이미지 프로세싱하여 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 검출하고, 상기 검출된 픽셀을 매칭시켜 두 픽셀 간의 이동 변위를 검출하여 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 제공받아 상기 검출된 이동 변위에 대응하는 이동 거리를 산출하며, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 제어부; 및 상기 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부로 제공하는 운행 정보 검출부를 포함한다.One camera installed in the vehicle to take an image; The camera image-processes the second image photographed at an arbitrary time point and the first image photographed before a predetermined time, and performs the processing of the pixels of the first image and the pixels of the second image having a displacement among any pixels having similar characteristics. Detect the movement displacement between the two pixels by matching the detected pixels, and receive driving information including steering angle information, distance information, and speed information from the vehicle to calculate a movement distance corresponding to the detected movement displacement; A controller configured to calculate a distance from the reference point pixel to the second image pixel based on the calculated moving distance and triangle information that the reference point pixel preset on the second image forms the detected pixel; And a driving information detector for detecting driving information including steering angle information, distance information, and speed information from the vehicle and providing the driving information to the controller.

또한, 본 발명에 따른 상기 제어부는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면, 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 것을 특징으로 한다.In addition, the control unit according to the present invention, if the second image pixel is located in a blind spot not visible beyond the shooting range of the camera after a predetermined time, the second image pixel by estimating the movement displacement between the first and second image pixels It is characterized by providing the estimated distance to provide.

또한, 본 발명에 따른 상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 한다.In addition, the estimated distance to the second image pixel according to the present invention is calculated based on the relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.

또한, 본 발명은 차량의 거리 측정 장치로서,In addition, the present invention is a vehicle distance measuring device,

차량에 설치되어 이미지를 촬영하는 복수의 카메라; 및 상기 카메라가 임의의 시점에 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 검출하고, 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 제어부를 포함한다.A plurality of cameras installed in the vehicle to take an image; And performing image processing using stereo vision, respectively, on the second image photographed by the camera at an arbitrary time point and the first image photographed before a predetermined time, and random pixels having similar characteristics in the first and second images. Detects a displacement between the pixel of the first image and the second image pixel in which the displacement occurs, and if the second image pixel is located in a blind spot out of the camera's shooting range, the displacement of the displacement between the first and second image pixels And a controller for estimating a and calculating and providing an estimated distance to the second image pixel.

또한, 본 발명에 따른 상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 한다.In addition, the estimated distance to the second image pixel according to the present invention is calculated based on the relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.

또한, 본 발명에 따른 상기 카메라는 룸미러, 전조등, 라디에이터 그릴, 차량의 실내측 전/후방, 차량의 좌/우측 차체의 측면, 사이드 미러, 후미등, 트렁크 덮개 및 리어 스포일러 중 적어도 어느 하나에 설치되는 것을 특징으로 한다.In addition, the camera according to the present invention is installed on at least one of a room mirror, a headlight, a radiator grill, a front / rear of a vehicle interior, a side of a vehicle body, a side mirror, a rear light, a trunk cover, and a rear spoiler. It is characterized by.

또한, 본 발명은 차량의 거리 측정 방법으로서,In addition, the present invention is a distance measuring method of the vehicle,

a) 제어부가 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계; b) 상기 제어부가 상기 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계; c) 상기 제어부가 상기 카메라가 촬영한 제 1 및 제 2 이미지를 이미지 프로세싱하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 각각 검출하고, 상기 검출된 픽셀을 매칭 시켜 두 픽셀 간의 이동 변위를 검출하는 단계; d) 상기 제어부가 운행 정보 검출부를 통해 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하는 단계; 및 e) 상기 제어부가 상기 c) 단계에서 검출한 이동 변위에 대응하는 이동 거리를 상기 d) 단계에서 검출한 운행 정보에 근거하여 산출하고, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 단계를 포함한다.a) detecting, by the control unit, first image information photographed before a predetermined time by the camera; b) detecting, by the control unit, second image information captured by the camera at any point in time; c) the control unit performs image processing on the first and second images photographed by the camera so that any one of the pixels having a displacement among the pixels having similar characteristics in the first and second images has occurred; Respectively detecting and detecting the shift displacement between the two pixels by matching the detected pixels; d) detecting, by the controller, driving information including steering angle information, distance information, and speed information from the vehicle through the driving information detection unit; And e) calculating a moving distance corresponding to the moving displacement detected by the controller in step c) based on the driving information detected in step d), and setting a preset reference point on the calculated moving distance and the second image. Calculating a distance from the reference point pixel to the second image pixel based on the triangle information that the pixel makes with the detected pixel.

또한, 본 발명에 따른 상기 e) 단계는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하는 경우 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 단계를 더 포함하는 것을 특징으로 한다.Also, the step e) according to the present invention may estimate the displacement of the displacement between the first image pixel and the second image pixel when the second image pixel is located in the invisible blind spot outside the photographing range of the camera. And calculating and providing an expected distance to the second image pixel.

또한, 본 발명은 과거 이미지와 현재 이미지를 이용한 거리 측정 방법으로서,In addition, the present invention is a distance measuring method using the past image and the current image,

i) 제어부가 복수의 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계; ii) 상기 제어부가 상기 복수의 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계; iii) 상기 제어부는 상기 카메라가 촬영한 제 1 및 제 2 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀까지의 거리와 두 픽셀 간의 이동 변위를 검출하는 단계; 및 iv) 상기 제어부가 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하는 단계를 포함한다.i) detecting, by the control unit, first image information captured by the plurality of cameras before a predetermined time; ii) detecting, by the control unit, second image information captured by the plurality of cameras at an arbitrary time point; iii) the controller performs image processing using stereo vision on the first and second images photographed by the camera, respectively, to determine the displacement of the first image in which the displacement occurs in any pixel having similar characteristics in the first and second images. Detecting a distance between the pixel and the pixel of the second image and a displacement of movement between the two pixels; And iv) the controller estimates a displacement between the first image pixel and the second image pixel when the second image pixel is located in a blind spot not visible outside the photographing range of the camera, and estimates a distance to the second image pixel. Comprising the step of calculating.

또한, 본 발명에 따른 상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 한다.
In addition, the estimated distance to the second image pixel according to the present invention is calculated based on the relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.

본 발명은 카메라를 통해 차량의 주행방향 또는 역방향을 촬영한 과거의 이미지와 현재의 이미지를 이용하여 사각지대를 포함한 차량으로부터 주변 물체까지의 거리를 측정하여 제공할 수 있는 장점이 있다.The present invention has an advantage of providing a distance from a vehicle including a blind spot to a surrounding object by using a past image and a current image photographing a driving direction or a reverse direction of the vehicle through a camera.

또한, 본 발명은 차량의 차체에 가려져 운전자의 시야 확보가 어려운 차량의 전방, 후방 및 측면의 사각 지대에 위치한 물체까지의 거리 정보를 운전자에게 제공할 수 있는 장점이 있다.
In addition, the present invention has the advantage that it is possible to provide the driver with the distance information to the object located in the blind spots of the front, rear and side of the vehicle that is obscured by the vehicle body of the vehicle is difficult to secure the driver's view.

도 1 은 본 발명에 따른 차량의 거리 측정 장치의 일 실시예를 나타낸 블록도.
도 2 는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 예시도.
도 3 은 도 1에 따른 차량의 거리 측정 장치의 과거 이미지와 현재 이미지를 이용한 이미지 프로세싱을 나타낸 예시도.
도 4 는 도 3에 따른 이미지 프로세싱 결과를 통해 물체까지의 거리 측정을 나타낸 예시도.
도 5 는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도.
도 6 은 본 발명에 따른 차량의 거리 측정 장치의 다른 실시예를 나타낸 블록도.
도 7 은 도 6에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도.1 is a block diagram showing an embodiment of an apparatus for measuring a distance of a vehicle according to the present invention;
2 is an exemplary view showing an operation process of the apparatus for measuring a distance of the vehicle according to FIG. 1;
3 is an exemplary view illustrating image processing using a past image and a current image of a distance measuring apparatus of a vehicle according to FIG. 1.
4 is an exemplary view showing a distance measurement to an object through the image processing result according to FIG.
5 is a flowchart illustrating an operation process of the apparatus for measuring a distance of the vehicle according to FIG. 1.
6 is a block diagram showing another embodiment of a distance measuring apparatus for a vehicle according to the present invention;
7 is a flowchart illustrating an operation process of a vehicle distance measuring apparatus according to FIG. 6.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 거리 측정 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the vehicle distance measuring apparatus and method according to the present invention.

도 1은 본 발명에 따른 차량의 거리 측정 장치의 일 실시예를 나타낸 블록도이고, 도 2는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 예시도이며, 도 3은 도 1에 따른 차량의 거리 측정 장치의 과거 이미지와 현재 이미지를 이용한 이미지 프로세싱을 나타낸 예시도이고, 도 4는 도 3에 따른 이미지 프로세싱 결과를 통해 물체까지의 거리 측정을 나타낸 예시도이며, 도 5는 도 1에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도이다.
1 is a block diagram showing an embodiment of a distance measuring apparatus of a vehicle according to the present invention, FIG. 2 is an exemplary view showing an operation process of the distance measuring apparatus of a vehicle according to FIG. 1, and FIG. 4 is an exemplary diagram illustrating image processing using a past image and a current image of a vehicle distance measuring apparatus. FIG. 4 is an exemplary diagram illustrating a distance measurement to an object through the image processing result of FIG. 3, and FIG. 5 is illustrated in FIG. 1. It is a flowchart showing the operation of the vehicle distance measuring apparatus according to the.

(제 1 실시예)(Embodiment 1)

도 1 내지 도 5에 나타낸 바와 같이, 본 발명의 제 1 실시예 따른 차량의 거리 측정 장치(100)는 카메라(110)와, 제어부(120)와, 운행 정보 검출부(130)를 포함하여 구성된다.1 to 5, the vehicle distance measuring apparatus 100 according to the first embodiment of the present invention includes a camera 110, a controller 120, and a driving information detector 130. .

상기 카메라(110)는 차량(200)에 설치되어 이미지를 촬영하여 출력하는 구성으로서, 주행중인 차량의 전방 또는 후방의 주변 영상을 촬영하고, 더욱 상세하게는 차량이 주행하는 방향의 영상 이미지 또는 상기 주행 방향의 역방향을 촬영한 영상 이미지를 출력한다.The camera 110 is installed in the vehicle 200 and configured to photograph and output an image. The camera 110 photographs a peripheral image of a front or rear side of a driving vehicle, and more specifically, an image image of the driving direction of the vehicle or the image. Outputs a video image of the reverse direction of travel.

또한, 상기 카메라(110)는 차량의 실내에 설치된 룸미러(또는 룸미러의 전측면), 전조등 조립체의 내부, 라디에이터 그릴, 차량의 실내측 전/후방, 차량의 좌/우측 차체의 측면(예를 들면 좌/우측의 휀더), 차량의 양쪽 사이드 미러, 후미등, 트렁크 덮개 및 리어 스포일러 중 적어도 어느 하나에 설치되어 차량의 주행방향 또는 역방향의 주행 이미지를 촬영하여 제공한다.In addition, the camera 110 is a room mirror (or front side of the room mirror) installed in the interior of the vehicle, the interior of the headlight assembly, the radiator grille, the front / rear of the interior of the vehicle, the side of the left and right of the vehicle body (eg For example, the left and right fenders), both side mirrors of the vehicle, the rear lights, the trunk cover, and the rear spoiler are installed in the driving direction or the reverse driving image of the vehicle.

또한, 상기 카메라(110)는 CMOS 타입의 영상 센서, CCD 타입의 영상 센서 또는 제 3 타입의 영상 센서 중 어느 것을 사용해도 무방하다.In addition, the camera 110 may use any one of a CMOS type image sensor, a CCD type image sensor, and a third type image sensor.

상기 제어부(120)는 카메라(110)가 촬영한 현재 시점의 주행방향 이미지(또는 역방향 이미지)와 일정 시간 이전 과거에 촬영한 주행방향 이미지(또는 역방향 이미지)를 검출한다.The controller 120 detects a driving direction image (or reverse image) of the current time point photographed by the camera 110 and a driving direction image (or reverse image) photographed in the past before a predetermined time.

예를 들면, 도 2와 같이 차량(200)이 전진하는 경우 상기 제어부(120)는 일정 시간 이전인 과거 시점의 위치에서 차량(200')에 설치된 카메라(110')를 통해 촬영한 과거의 후방 영역(B) 이미지(제 1 이미지)를 검출하여 메모리(미도시) 등의 저장수단에 저장하고, 이후 전진을 계속하여 일정 거리를 이동한 임의의 시점(이하, 설명의 편의를 위해 현재 시점이라 함)의 위치에서 차량(200)에 설치된 카메라(110)를 통해 촬영한 현재의 후방 영역(A) 이미지(제 2 이미지)를 검출한다.For example, when the vehicle 200 moves forward as shown in FIG. 2, the controller 120 photographs the rear of the past photographed by the camera 110 ′ installed in the vehicle 200 ′ at a past point in time. Any point of time where the area B image (first image) is detected and stored in a storage means such as a memory (not shown), and then moved forward a certain distance (hereinafter referred to as the present point of view for convenience of description). The current rear region A image (second image) captured by the camera 110 installed in the vehicle 200 is detected at the position of FIG.

또한, 상기 제어부(120)는 카메라(110)가 촬영한 현재 시점의 제 2 이미지와 일정 시간 이전 과거 시점에 촬영한 제 1 이미지를 미리 저장된 이미지 프로세싱 프로그램을 통해 제 1 이미지와 제 2 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 물체의 픽셀을 찾아서 변위가 발생한 임의의 픽셀을 각각 검출한다.In addition, the controller 120 is similar to the first image and the second image captured by the camera 110 and the first image photographed at a past point in time before the predetermined time in the first image and the second image through a pre-stored image processing program. Pixels of an object having characteristics (e.g., brightness of pixels, presence or absence of edges, etc.) are searched to detect each pixel in which displacement has occurred.

상기 이미지 프로세싱은 관심 있는 두 개의 이미지를 비교하여 벡터로 정의된 화소들의 이동 변위와 각도 변위 등을 통해 유사도를 검출하여 물체를 인식하거나, 물체의 경계선 또는 윤곽선 등의 에지나 물체의 윤곽에 근사하는 선분, 곡선 등을 구하여 이용하기도 하고, 이미지 내에 존재하는 모서리점, 불변인 점, 또는 회전변환이나 크기 변화 등에 대하여 불변인 특징점을 이용한 인식을 수행할 수도 있으며, 이미지에 포함된 물체의 특징점을 추출하여 인식을 수행할 수도 있다.The image processing compares two images of interest to detect similarity through movement displacement and angular displacement of pixels defined as a vector, and recognizes an object or approximates an edge or an outline of an object, such as a boundary line or an outline of an object. It can be used to obtain line segments, curves, and the like.It can also recognize edge points, invariant points, or invariant feature points, such as rotation transformations or size changes, and extract feature points of objects in an image. Recognition may be performed.

상기 제어부(120)는 상기 제 2 이미지에서 검출된 제 2 이미지의 픽셀 위치와 제 1 이미지에서 검출한 제 1 이미지의 픽셀 위치 간의 이동 변위(벡터)를 검출하고, 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 두 픽셀의 이동 변위에 대응하는 이동 거리를 산출한다.The controller 120 detects a movement displacement (vector) between the pixel position of the second image detected in the second image and the pixel position of the first image detected in the first image, and detects an ECU, a TCU, and a wheel sensor of the vehicle. Alternatively, driving information including steering angle information, distance information, and speed information of a vehicle provided from a steering angle sensor is detected to calculate a moving distance corresponding to the movement displacement of the two pixels.

즉 상기 제어부(120)는 제 2 이미지상에 제 2 이미지의 픽셀 위치와 제 1 이미지의 픽셀 위치가 표시되도록 하고, 두 픽셀 간의 차이 값은 차량이 이동한 거리를 이용하여 두 픽셀 간의 이동 거리로 설정되도록 한다.That is, the controller 120 displays the pixel position of the second image and the pixel position of the first image on the second image, and the difference value between the two pixels is a moving distance between two pixels using the distance traveled by the vehicle. To be set.

또한, 상기 제어부(120)는 제 2 이미지상에 미리 설정된 기준점 픽셀과 제 2 이미지의 픽셀 및 제 1 이미지의 픽셀까지의 변위를 검출하며, 상기 기준점 픽셀과 제 1 이미지의 픽셀 및 제 2 이미지의 픽셀이 이루는 삼각형 정보 즉 상기 제 1 이미지의 픽셀과 제 2 이미지의 픽셀 간의 이동 변위를 기준변으로 하고, 상기 기준점 픽셀이 제 1 및 제 2 이미지의 픽셀과 각각 이루는 변위를 다른 두 변으로 하며, 이들이 이루는 각을 각각 산출하여 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출한다.In addition, the control unit 120 detects a displacement of a reference point pixel, a pixel of the second image, and a pixel of the first image, which are preset on the second image, and the pixel of the reference point pixel and the first image and the second image. The triangle information formed by the pixels, that is, the displacement displacement between the pixels of the first image and the pixels of the second image is referred to as reference sides, and the displacements of the reference point pixels with the pixels of the first and second images are respectively defined as two other sides. Each of these angles is calculated to calculate the distance from the reference point pixel to the second image pixel.

이를 더욱 상세하게 설명하면, 도 3(a)와 같이 촬영된 제 1 이미지와 도 3(b)와 같이 촬영된 제 2 이미지를 이미지 프로세싱 프로그램에서 소정의 이미지 처리과정을 수행하여 유사한 특성을 갖는 임의의 픽셀 중에서 변위가 발생한 제 1 이미지의 픽셀 정보(300)와 제 2 이미지의 픽셀 정보(300')를 각각 추출한다.In more detail, the first image photographed as shown in FIG. 3 (a) and the second image photographed as shown in FIG. The pixel information 300 of the first image and the pixel information 300 ′ of the second image having a displacement are extracted from pixels of.

이렇게 추출한 제 1 이미지의 픽셀 정보(300) 중에서 선택한 임의의 제 1 이미지 픽셀(P1)과, 제 2 이미지의 픽셀 정보(300') 중에서 선택한 임의의 제 2 이미지 픽셀(P2)을 제 2 이미지상에 각각 배치하고, 두 픽셀(P1, P2)간의 차이 값을 산출하여 상기 두 이미지 사이에 경과한 시간 동안 차량이 이동한 거리를 입력받아 두 픽셀(P1, P2) 간의 차이에 대한 이동 거리(d1)로 설정한다.The first image pixel P1 selected from the pixel information 300 of the extracted first image and the second image pixel P2 selected from the pixel information 300 'of the second image may be displayed on the second image. The distances between the two pixels P1 and P2 are calculated by calculating the difference value between the two pixels P1 and P2 and receiving the distance traveled by the vehicle during the elapsed time between the two images. Set to).

또한, 제 2 이미지상에서 미리 설정된 임의의 기준점 픽셀(P0)로부터 제 1 이미지의 픽셀(P1)과 제 2 이미지의 픽셀(P2)이 이루는 삼각형에서 상기 두 픽셀(P1, P2) 사이의 이동 거리(d1)를 기준 값으로 설정하면, 상기 기준점 픽셀(P0)과 두 픽셀(P1, P2)이 이루는 사잇각(θ)을 이용하거나 또는 상기 기준점 픽셀(P0)과 두 픽셀(P1, P2)이 각각 이루는 변의 길이(d2, d3)를 이용한 삼각 측량법을 통해 제 2 이미지의 픽셀(P2)까지의 거리(d2)를 계산할 수 있다.Also, the moving distance between the two pixels P1 and P2 in a triangle formed by the pixel P1 of the first image and the pixel P2 of the second image from an arbitrary reference point pixel P0 preset on the second image. When d1) is set as the reference value, the reference angle pixel θ formed by the reference point pixel P0 and the two pixels P1 and P2 is used, or the reference point pixel P0 and the two pixels P1 and P2 respectively form a reference value. The distance d2 to the pixel P2 of the second image may be calculated by triangulation using the lengths d2 and d3 of the sides.

따라서 차량이 전방으로 주행중이고 물체가 정지해 있는 경우 물체는 차량으로부터 멀어지게 되고, 차량으로부터 제 2 이미지 픽셀(P2)까지의 거리는 커지게 된다.Therefore, when the vehicle is driving forward and the object is stationary, the object moves away from the vehicle, and the distance from the vehicle to the second image pixel P2 becomes large.

한편, 상기 제어부(120)는 산출되는 제 2 이미지 픽셀까지의 거리가 시간이 경과함에 따라 순차적으로 작아져서 제 2 이미지 픽셀까지의 거리가 미리 설정된 사각지대 판단용 기준 값에 도달하였는지 여부를 판단하고, 그 결과 상기 사각지대 판단용 기준 값에 도달하면 상기 제 1 이미지 픽셀과 제 2 이미지 픽셀의 이동 변위를 추정하여 상기 추정된 이동 변위에 따라 일정 시간 경과 후에 보이지 않는 사각지대에 위치한 물체까지의 거리 값을 산출하여 제공한다.On the other hand, the controller 120 determines whether or not the distance to the second image pixel calculated gradually decreases with time so that the distance to the second image pixel reaches a preset blind spot determination reference value. As a result, when the blind spot determination reference value is reached, the displacement of the first image pixel and the second image pixel is estimated, and the distance to the object located in the invisible blind spot after a predetermined time has elapsed according to the estimated movement displacement. Calculate and provide a value.

즉 차량이 전진을 하거나 또는 후진을 하는 경우 차량으로 접근하는 물체까지의 거리는 점점 작아지게 되고, 어느 순간에는 카메라의 촬영 범위를 벗어난 사각지대에 물체가 위치하게 된다.That is, when the vehicle moves forward or reverses, the distance to the object approaching the vehicle becomes smaller, and at some point, the object is located in a blind spot outside the camera's shooting range.

이러한 경우 카메라의 촬영 범위에서는 벗어나 있지만 차량 주변의 사각지대에는 물체가 존재하므로 상기 제어부(120)는 제 1 이미지의 픽셀과 제 2 이미지 픽셀의 이동 변위를 추정하고, 운행 정보 검출부(130')를 통해 검출한 차량의 속도와 상기 이동 변위로부터 검출한 제 2 이미지 픽셀의 상대 속도 등에 기초하여 차량의 사각지대에 위치한 물체까지의 예상 거리를 산출한다.In this case, since the object exists in the blind spot around the vehicle, although the camera is out of the photographing range, the controller 120 estimates the movement displacement of the pixel of the first image and the second image pixel, and controls the driving information detector 130 '. The estimated distance to the object located in the blind spot of the vehicle is calculated based on the detected speed of the vehicle and the relative speed of the second image pixel detected from the movement displacement.

또한, 상기 제어부(120)는 산출된 상기 사각지대에 위치한 물체까지의 거리에 기초하여 상기 물체의 예상 위치와 거리를 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력하는 것도 가능하다.In addition, the control unit 120 displays the estimated position and distance of the object based on the virtual vehicle on a preset background screen based on the calculated distance to the object located in the blind spot (not shown). It is also possible to output via.

상기 운행 정보 검출부(130)는 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부(120)로 제공한다.
The driving information detector 130 detects and provides the driving information including steering angle information, distance information, and speed information of the vehicle provided from the ECU, the TCU, the wheel sensor, or the steering angle sensor of the vehicle, to the controller 120.

다음은 본 발명에 따른 차량의 거리 측정 장치의 동작 과정을 상세하게 설명한다.Next, the operation process of the apparatus for measuring a distance of a vehicle according to the present invention will be described in detail.

제어부(120)가 카메라(110)에서 일정 시간 이전 과거에 차량의 주행방향 이미지 또는 역방향의 이미지를 촬영한 제 1 이미지를 검출(S100)한다.The controller 120 detects a first image in which the camera 110 photographs the driving direction image or the reverse image of the vehicle in the past a predetermined time ago (S100).

상기 S100 단계에서 검출하는 제 1 이미지는 현재 시점으로부터 일정 시간 이전의 과거 이미지로서, 상기 카메라(110)가 촬영한 이미지를 저장하는 메모리(미도시) 등의 저장수단으로부터 검출한다.The first image detected in step S100 is a past image before a certain time from a current time point, and is detected from a storage means such as a memory (not shown) that stores the image photographed by the camera 110.

상기 S100 단계의 이미지 검출이 완료되면, 상기 제어부(120)가 현재 시점에서 상기 카메라(110)가 촬영한 제 2 이미지 정보를 검출(S110)한다.When the image detection of the step S100 is completed, the control unit 120 detects the second image information captured by the camera 110 at the present time (S110).

과거의 이미지인 제 1 이미지와 현재의 이미지인 제 2 이미지의 검출이 완료되면, 상기 제어부(120)는 상기 검출된 제 1 및 제 2 이미지를 미리 저장된 이미지 프로세싱 프로그램을 통해 이미지 프로세싱 과정을 수행하고, 상기 제 1 및 제 2 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 물체의 픽셀 중에서 변위가 발생한 임의의 픽셀을 각각 검출하여 상기 제 2 이미지에서 상기 검출된 현재의 픽셀과 과거의 픽셀 간의 이동 변위를 검출(S120)한다.When the detection of the first image of the past image and the second image of the current image is completed, the controller 120 performs an image processing process on the detected first and second images through a pre-stored image processing program. Detecting any pixel in which the displacement occurs among pixels of an object having similar characteristics (eg, brightness of pixels, presence or absence of an edge, etc.) in the first and second images, respectively, and detecting the detected current in the second image. The movement displacement between the pixel and the past pixel is detected (S120).

즉 상기 S120 단계에서 상기 제어부(120)는 제 2 이미지에서 검출된 제 2 이미지의 픽셀 위치와 제 1 이미지에서 검출한 제 1 이미지의 픽셀 위치 간의 이동 변위(벡터)를 검출하고, 제 2 이미지상에 상기 제 2 이미지의 픽셀 위치와 제 1 이미지의 픽셀 위치가 표시되도록 한다.That is, in step S120, the controller 120 detects a displacement (vector) between the pixel position of the second image detected in the second image and the pixel position of the first image detected in the first image, and the second image image. The pixel position of the second image and the pixel position of the first image are displayed at.

상기 S120 단계를 수행한 후 상기 제어부(120)는 운행 정보 검출부(130)를 통해 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출(S130)한다.After performing the step S120, the control unit 120 includes the steering angle information, the distance information and the speed information of the vehicle provided from the ECU, the TCU, the wheel sensor, or the steering angle sensor of the vehicle through the driving information detector 130. Information is detected (S130).

상기 제어부(120)는 상기 S130 단계에서 검출한 운행 정보로부터 일정 시간 동안 차량이 이동한 거리를 산출하고, 상기 산출된 차량의 이동 거리를 상기 S120 단계에서 검출한 제 1 이미지의 픽셀과 제 2 이미지 픽셀 간의 이동 변위에 대응시켜 제 2 이미지상에서 물체가 이동한 거리를 결정하며, 상기 제 2 이미지상에 미리 설정된 기준점 픽셀과 상기 제 1 및 제 2 이미지의 픽셀이 이루는 삼각형 정보에서 상기 결정된 제 1 및 제 2 이미지 픽셀 간의 이동 거리에 기초하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출(S140)한다.The control unit 120 calculates the distance traveled by the vehicle for a predetermined time from the driving information detected in step S130, and the pixel and the second image of the first image detected by the calculated moving distance of the vehicle in step S120. Determining a distance traveled by the object on the second image in response to the displacement between the pixels, wherein the determined first and second values are determined from triangular information formed by a reference point pixel preset on the second image and pixels of the first and second images. The distance from the reference point pixel to the second image pixel is calculated based on the moving distance between the second image pixels (S140).

또한, 상기 제어부(120)는 상기 S140 단계에서 산출된 제 2 이미지 픽셀까지의 거리가 시간이 경과함에 따라 순차적으로 작아져서 차량으로 접근하는 경우, 미리 설정된 사각지대 접근 판단용 기준값에 도달하는지 여부를 판단(S150)한다.In addition, the controller 120 determines whether the predetermined blind spot approach determination reference value is reached when the distance to the second image pixel calculated in step S140 gradually approaches and approaches the vehicle as time passes. The determination is made (S150).

상기 S150 단계에서 제 2 이미지 픽셀까지의 거리가 점차 작아져 사각지대 접근 판단용 기준 값(예를 들면, '0')에 도달하면, 상기 제어부(120)는 제 1 및 제 2 이미지 픽셀 간의 이동 변위로부터 시간에 따른 제 2 이미지 픽셀의 예상 이동 변위를 추정하고, 상기 S130 단계에서 검출한 차량의 속도 정보와 상기 제 2 이미지 픽셀의 이동 변위로부터 검출한 상대 속도에 기초하여 제 2 이미지 픽셀의 이동 변위를 추정하며 그 추정된 이동 변위에 따른 예상 위치와 상기 예상 위치까지의 거리를 산출(S160)한다.When the distance to the second image pixel is gradually reduced in step S150 to reach the blind spot approach determination reference value (eg, '0'), the controller 120 moves between the first and second image pixels. Estimating an expected movement displacement of the second image pixel over time from the displacement, and moving the second image pixel based on the velocity information of the vehicle detected in step S130 and the relative velocity detected from the movement displacement of the second image pixel. The displacement is estimated and the distance between the estimated position and the estimated position according to the estimated moving displacement is calculated (S160).

상기 제어부(120)는 상기 S160 단계에서 산출된 제 2 이미지 픽셀의 예상 위치 및 거리가 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력(S170)되도록 한다.The control unit 120 outputs the display unit (not shown) through the display means (not shown) so that the estimated position and distance of the second image pixel calculated in the operation S160 are displayed on the preset background screen centered on the virtual vehicle. .

한편, 상기 S150 단계에서 제 2 이미지 픽셀까지의 거리가 사각지대 접근 판단용 기준값에 도달하지 않으면 검출된 현재 위치와 거리가 출력(S170)되도록 한다.Meanwhile, if the distance to the second image pixel does not reach the blind spot approach determination reference value in step S150, the detected current position and distance are output (S170).

따라서 하나의 카메라를 이용하여 촬영한 두 개의 이미지를 통해 차량 주변의 물체까지의 거리를 산출할 수 있게 되고, 또한 카메라의 촬영 범위에서 벗어나 사각지대에 위치한 물체까지의 거리도 산출할 수 있게 된다.
Therefore, it is possible to calculate the distance to the object around the vehicle through the two images taken using one camera, and also to calculate the distance to the object located in the blind spot away from the shooting range of the camera.

(제 2 실시예)(Second Embodiment)

도 6은 본 발명에 따른 차량의 거리 측정 장치의 다른 실시예를 나타낸 블록도이고, 도 7은 도 6에 따른 차량의 거리 측정 장치의 동작 과정을 나타낸 흐름도이다.6 is a block diagram showing another embodiment of the apparatus for measuring the distance of the vehicle according to the present invention, and FIG. 7 is a flowchart illustrating an operation process of the apparatus for measuring the distance of the vehicle according to FIG. 6.

도 6에 나타낸 바와 같이, 본 발명의 제 2 실시예 따른 차량의 거리 측정 장치(100')는 카메라 1(110')과, 카메라 2(100")와, 제어부(120')와, 운행 정보 검출부(130')를 포함하여 구성된다.As shown in FIG. 6, the vehicle distance measuring apparatus 100 ′ according to the second embodiment of the present invention includes a camera 1 110 ′, a camera 2 100 ″, a controller 120 ′, and driving information. It is configured to include a detector 130 '.

상기 카메라 1(110') 및 카메라 2(110")는 차량의 전조등 또는 후미등에 한 쌍으로 설치되어 차량의 주행방향 또는 주행방향의 역방향 이미지를 촬영한다.The camera 1 110 ′ and the camera 2 110 ″ are installed in a pair of headlights or taillights of the vehicle to capture a reverse direction image of the driving direction or the driving direction of the vehicle.

상기 카메라 1 및 2(110' 및 110")는 카메라의 렌즈 축이 서로 평행하게 대칭으로 설치된다.The cameras 1 and 2 (110 'and 110 ") are symmetrically installed in parallel with the lens axis of the camera.

상기 카메라 1 및 2(110' 및 110")는 CMOS 타입의 영상 센서, CCD 타입의 영상 센서 또는 제 3 타입의 영상 센서 중 어느 것을 사용해도 무방하다.The cameras 1 and 2 110 ′ and 110 ″ may use any one of a CMOS type image sensor, a CCD type image sensor, and a third type image sensor.

상기 제어부(120')는 미리 설치된 스테레오 비전 프로그램과 이미지 프로세싱 프로그램을 통해 상기 카메라 1 및 2(110' 및 110")가 촬영한 과거 영상인 제 1 이미지와 상기 카메라 1 및 2(110' 및 110")가 촬영한 현재 시점의 영상인 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중에서 변위가 발생한 픽셀을 검출하고, 각 픽셀까지의 거리를 산출한다.The control unit 120 'is a first image and a camera 1 and 2 (110' and 110) which are past images captured by the cameras 1 and 2 (110 'and 110 ") through a pre-installed stereo vision program and an image processing program. In the second image, which is an image of the current view point taken by "

상기 스테레오 비전 프로그램은 차량의 전조등 또는 후미등의 좌측 및 우측에 각각 설치된 카메라 1 및 2(110' 및 110")를 통해 좌측 및 우측의 이미지가 입력되면 좌측 및 우측 이미지에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 이미지 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 이미지의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며, 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 이미지의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여 스테레오 이미지 정보를 획득함으로써 이러한 스테레오 이미지를 통해 물체의 거리, 모양, 방향 등의 정보를 검출하게 된다.The stereo vision program is configured to display brightness and epipolar lines for the left and right images when the left and right images are inputted through cameras 1 and 2 (110 'and 110 ") installed at the left and right sides of the headlight or taillight of the vehicle, respectively. Performs preprocessing on stereo image inputs that match epipolar lines, and performs stereo matching to generate pixel-to-pixel disparity of left and right images determined to be the same object, and noise in the result of these binocular differences After removing the components, post-processing such as projection, segmentation, filtering, etc. of the distance information of the stereo image is performed to acquire stereo image information. Information such as direction and direction is detected.

상기 스테레오 비전 프로그램은 하나의 실시예로서, 공지의 다양한 스테레오 비전 프로그램을 사용할 수도 있다.The stereo vision program may use various known stereo vision programs as an embodiment.

또한, 상기 제어부(120')는 산출되는 제 2 이미지 픽셀까지의 거리가 시간이 경과함에 따라 순차적으로 작아져서 제 2 이미지 픽셀까지의 거리가 미리 설정된 사각지대 판단용 기준 값에 도달하였는지 여부를 판단하고, 그 결과 상기 사각지대 판단용 기준 값에 도달하면 상기 제 1 및 제 2 이미지 픽셀 사이의 이동 변위를 추정하여 상기 추정된 이동 변위에 따라 일정 시간 경과 후에 보이지 않는 사각지대에 위치한 물체까지의 거리 값을 산출하여 제공한다.In addition, the controller 120 ′ determines whether or not the calculated distance to the second image pixel gradually decreases with time so that the distance to the second image pixel reaches a preset blind spot determination reference value. As a result, when the blind spot determination reference value is reached, the displacement between the first and second image pixels is estimated and the distance to the object located in the invisible blind spot after a predetermined time has elapsed according to the estimated displacement. Calculate and provide a value.

또한, 상기 제어부(120')는 제 1 및 제 2 이미지 픽셀 사이의 이동 변위를 추정하고, 운행 정보 검출부(130')를 통해 검출한 차량의 속도와 상기 이동 변위로부터 검출한 제 2 이미지 픽셀의 상대 속도 등에 기초하여 차량의 사각지대에 위치한 물체까지의 예상 거리를 산출한다.In addition, the controller 120 ′ estimates the displacement of the movement between the first and second image pixels, and determines the speed of the vehicle detected by the driving information detector 130 ′ and the second image pixel detected from the movement displacement. The estimated distance to the object located in the blind spot of the vehicle is calculated based on the relative speed and the like.

또한, 상기 제어부(120')는 산출된 상기 사각지대에 위치한 물체까지의 거리에 기초하여 상기 물체의 예상 위치와 거리를 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력되도록 한다.In addition, the control unit 120 ′ is configured to display the estimated position and distance of the object based on the virtual vehicle on a preset background screen based on the calculated distance to the object located in the blind spot (not shown). To be printed via).

또한, 상기 제어부(120')는 상기 스테레오 비전을 통한 물체까지의 거리를 산출하면, 상기 산출된 제 1 이미지 픽셀과 제 2 이미지 픽셀의 거리 차로부터 이동 거리를 산출하고, 상기 산출된 이동 거리를 운행 정보 검출부(130')에서 제공하는 이동 거리와 대비되도록 하여 보정 값으로 사용될 수 있도록 한다.In addition, when the controller 120 ′ calculates the distance to the object through the stereo vision, the controller 120 ′ calculates a movement distance from the calculated distance difference between the first image pixel and the second image pixel, and calculates the calculated movement distance. By contrast with the moving distance provided by the driving information detector 130 'can be used as a correction value.

즉 차량이 주행중이거나 또는 주차하는 중에 노면과 차량의 바퀴 사이에 슬립이 발생하면 휠 센서 등에 의해 추출된 이동 거리를 상기 제어부(120')가 산출한 이동 거리와 대비하여 보정되도록 한다.That is, when a slip occurs between the road surface and the wheel of the vehicle while the vehicle is driving or parking, the movement distance extracted by the wheel sensor or the like is corrected in comparison with the movement distance calculated by the controller 120 '.

상기 운행 정보 검출부(130')는 차량의 ECU, TCU, 휠 센서 또는 스티어링 각도 센서 등으로부터 제공되는 차량의 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부(120')로 제공한다.
The driving information detector 130 ′ detects driving information including steering angle information, distance information, and speed information of the vehicle provided from a vehicle ECU, a TCU, a wheel sensor, or a steering angle sensor, and provides the same to the controller 120 ′. do.

다음은 제 2 실시예에 따른 차량의 거리 측정 장치의 동작 과정을 상세하게 설명한다.Next, an operation process of the apparatus for measuring a distance of the vehicle according to the second embodiment will be described in detail.

제어부(120')가 카메라 1(110')과 카메라 2(110")를 통해 일정 시간 이전 과거에 차량의 주행방향 이미지 또는 역방향의 이미지를 촬영한 제 1 이미지를 검출(S200)한다.The controller 120 ′ detects a first image in which the driving direction image or the reverse image of the vehicle has been photographed in the past through the camera 1 110 ′ and the camera 2 110 ″ (S200).

상기 S200 단계에서 검출하는 제 1 이미지는 현재 시점으로부터 일정 시간 이전의 과거 이미지로서, 상기 카메라 1 및 2(110' 및 110")가 촬영한 이미지를 저장하는 메모리(미도시) 등의 저장수단으로부터 검출한다.The first image detected in step S200 is a past image before a certain time from a current time point, and is stored from a storage means such as a memory (not shown) for storing images captured by the cameras 1 and 2 (110 ′ and 110 ″). Detect.

상기 S200 단계의 이미지 검출이 완료되면, 상기 제어부(120')가 임의의 시점(현재 시점)에서 상기 카메라 1 및 2(110' 및 110")가 촬영한 제 2 이미지 정보를 검출(S210)한다.When the image detection of the step S200 is completed, the controller 120 'detects the second image information captured by the cameras 1 and 2 110' and 110 "at an arbitrary time point (current time point) (S210). .

상기 제어부(120')는 미리 설치된 스테레오 비전 프로그램과 이미지 프로세싱 프로그램을 통해 상기 카메라 1 및 2(110' 및 110")가 촬영한 과거 이미지인 제 1 이미지와 상기 카메라 1 및 2(110' 및 110")가 촬영한 현재 이미지인 제 2 이미지에서 유사한 특성(예를 들면, 픽셀의 밝기, 에지의 유무 등)을 갖는 임의의 픽셀 중에서 변위가 발생한 픽셀을 검출하고, 상기 제 1 이미지상에서 변위가 발생한 픽셀(제 1 이미지 픽셀)까지의 거리와 제 2 이미지상에서 변위가 발생한 픽셀(제 2 이미지 픽셀)까지의 거리를 산출(S220, S230)한다.The controller 120 ′ may include a first image and a camera 1 and 2 110 ′ and 110 that are past images captured by the cameras 1 and 2 110 ′ and 110 ″ through a pre-installed stereo vision program and an image processing program. Detects the displaced pixel from any pixel having similar characteristics (e.g., brightness of the pixel, presence or absence of an edge, etc.) in the second image which is the current image photographed by " The distances to the pixels (the first image pixels) and the distances to the pixels (the second image pixels) where the displacement occurs on the second image are calculated (S220 and S230).

상기 제어부(120')는 제 2 이미지상에서 변위가 발생한 제 2 이미지 픽셀까지의 거리를 미리 설정된 사각지대 판단용 기준 값과 대비하여 상기 기준값에 도달하였는지 여부를 판단(S240)한다.The controller 120 ′ determines whether the reference value is reached by comparing the distance from the second image pixel having a displacement on the second image to a preset blind spot determination reference value (S240).

상기 S240 단계의 판단 결과, 상기 제 2 이미지 픽셀까지의 거리가 상기 사각지대 판단용 기준 값에 도달하였으면 상기 제어부(120')는 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위 정보를 검출하고, 상기 검출된 이동 변위로부터 시간에 따른 제 2 이미지 픽셀의 예상 이동 변위를 추정하며, 운행 정보 검출부(130')로부터 검출한 차량의 속도 정보와 상기 제 2 이미지 픽셀에 대한 이동 변위로부터 검출한 제 2 이미지 픽셀의 상대 속도에 기초하여 제 2 이미지 픽셀의 예상 이동 변위에 따른 예상 위치와 그 예상 위치까지의 거리를 산출(S250)한다.As a result of the determination in step S240, when the distance to the second image pixel reaches the blind spot determination reference value, the controller 120 ′ detects movement displacement information between the first image pixel and the second image pixel. An estimated movement displacement of the second image pixel over time from the detected movement displacement, and a second movement detected from the speed information of the vehicle detected by the driving information detector 130 'and the movement displacement with respect to the second image pixel. Based on the relative speeds of the image pixels, an estimated position according to the expected movement displacement of the second image pixel and a distance to the estimated position are calculated (S250).

상기 제어부(120')는 상기 S250 단계에서 산출된 제 2 이미지 픽셀의 예상 위치 및 거리가 미리 설정된 배경 화면상에 가상의 차량을 중심으로 표시되도록 디스플레이수단(미도시)을 통해 출력(S260)되도록 한다.The control unit 120 ′ is outputted through display means (not shown) such that the estimated position and distance of the second image pixel calculated in step S250 are displayed based on the virtual vehicle on a preset background screen. do.

한편, 상기 S240 단계에서 제 2 이미지 픽셀까지의 거리가 사각지대 접근 판단용 기준값에 도달하지 않았으면 검출된 현재의 위치와 거리가 출력(S170)되도록 한다.Meanwhile, if the distance to the second image pixel does not reach the blind spot approach determination reference value in step S240, the detected current position and distance are output (S170).

따라서 복수의 카메라를 이용하여 촬영한 과거 이미지인 제 1 이미지와 임의의 시점에서 촬영한 제 2 이미지를 통해 차량 주변의 물체까지의 거리를 산출할 수 있게 되고, 또한 카메라의 촬영 범위에서 벗어나 사각지대에 위치한 물체까지의 거리도 산출할 수 있게 된다.
Therefore, the distance to the object around the vehicle can be calculated using the first image, which is a past image photographed using a plurality of cameras, and the second image, which is photographed at an arbitrary point of view, and is also outside the shooting range of the camera. It can also calculate the distance to the object located at.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It can be understood that

100 : 거리 측정 장치 110 : 카메라
110' : 카메라 1 110" : 카메라 2
120 : 제어부 130 : 운행 정보 검출부
200 : 현재 위치의 차량 200' : 과거 위치의 차량
300 : 과거의 픽셀 300' : 현재의 픽셀100: distance measuring device 110: camera
110 ': Camera 1 110 ": Camera 2
120: control unit 130: driving information detection unit
200: vehicle in current position 200 ': vehicle in past position
300: past pixel 300 ': current pixel

Claims (9)

차량의 거리 측정 장치로서,
차량에 설치되어 이미지를 촬영하는 하나의 카메라;
상기 카메라가 임의의 시점에서 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 이미지 프로세싱하여 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 검출하고, 상기 검출된 픽셀을 매칭시켜 두 픽셀 간의 이동 변위를 검출하여 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 제공받아 상기 검출된 이동 변위에 대응하는 이동 거리를 산출하며, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 제어부; 및
상기 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하여 상기 제어부로 제공하는 운행 정보 검출부를 포함하는 차량의 거리 측정 장치.As a distance measuring device of a vehicle,
One camera installed in the vehicle to take an image;
The camera image-processes the second image photographed at an arbitrary time point and the first image photographed before a predetermined time, and performs the processing of the pixels of the first image and the pixels of the second image having a displacement among any pixels having similar characteristics. Detect the movement displacement between the two pixels by matching the detected pixels, and receive driving information including steering angle information, distance information, and speed information from the vehicle to calculate a movement distance corresponding to the detected movement displacement; A controller configured to calculate a distance from the reference point pixel to the second image pixel based on the calculated moving distance and triangle information that the reference point pixel preset on the second image forms the detected pixel; And
And a driving information detector for detecting driving information including steering angle information, distance information, and speed information from the vehicle and providing the driving information to the controller. 제 1 항에 있어서,
상기 제어부는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면, 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 것을 특징으로 하는 차량의 거리 측정 장치.The method of claim 1,
The controller calculates an estimated distance to the second image pixel by estimating the displacement of the movement between the first and second image pixels when the second image pixel is located in the invisible blind spot outside the photographing range of the camera after a predetermined time. Distance measuring device of a vehicle, characterized in that provided by. 제 2 항에 있어서,
상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 하는 차량의 거리 측정 장치.The method of claim 2,
And an expected distance to the second image pixel is calculated based on the speed of the vehicle and the relative speed of the second image pixel estimated by the movement displacement. 차량의 거리 측정 장치로서,
차량에 설치되어 이미지를 촬영하는 복수의 카메라; 및
상기 카메라가 임의의 시점에 촬영한 제 2 이미지와 미리 설정된 일정 시간 전에 촬영한 제 1 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 검출하고, 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 및 제 2 이미지 픽셀 간의 이동 변위를 추정하여 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 제어부를 포함하는 차량의 거리 측정 장치.As a distance measuring device of a vehicle,
A plurality of cameras installed in the vehicle to take an image; And
Among the pixels having similar characteristics in the first and second images by performing image processing using stereo vision, respectively, on the second image photographed at an arbitrary time point and the first image photographed before a predetermined time. When the displacement is detected between the pixel of the first image and the second image pixel in which the displacement occurs, and the second image pixel is located in an invisible blind spot outside the photographing range of the camera, the displacement of the displacement between the first and second image pixels is determined. And a controller which estimates and calculates and provides an estimated distance to the second image pixel. 제 4 항에 있어서,
상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 하는 차량의 거리 측정 장치.The method of claim 4, wherein
And an expected distance to the second image pixel is calculated based on the speed of the vehicle and the relative speed of the second image pixel estimated by the movement displacement. 차량의 거리 측정 방법으로서,
a) 제어부가 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계;
b) 상기 제어부가 상기 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계;
c) 상기 제어부가 상기 카메라가 촬영한 제 1 및 제 2 이미지를 이미지 프로세싱하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀을 각각 검출하고, 상기 검출된 픽셀을 매칭 시켜 두 픽셀 간의 이동 변위를 검출하는 단계;
d) 상기 제어부가 운행 정보 검출부를 통해 차량으로부터 조향각 정보, 거리 정보 및 속도 정보를 포함한 운행 정보를 검출하는 단계; 및
e) 상기 제어부가 상기 c) 단계에서 검출한 이동 변위에 대응하는 이동 거리를 상기 d) 단계에서 검출한 운행 정보에 근거하여 산출하고, 상기 산출된 이동 거리와 상기 제 2 이미지상에서 미리 설정된 기준점 픽셀이 상기 검출된 픽셀과 이루는 삼각형 정보에 근거하여 상기 기준점 픽셀로부터 제 2 이미지 픽셀까지의 거리를 산출하는 단계를 포함하는 차량의 거리 측정 방법.As a distance measuring method of a vehicle,
a) detecting, by the control unit, first image information photographed before a predetermined time by the camera;
b) detecting, by the control unit, second image information captured by the camera at any point in time;
c) the control unit performs image processing on the first and second images photographed by the camera so that any one of the pixels having a displacement among the pixels having similar characteristics in the first and second images has occurred; Respectively detecting and detecting the shift displacement between the two pixels by matching the detected pixels;
d) detecting, by the controller, driving information including steering angle information, distance information, and speed information from the vehicle through the driving information detection unit; And
e) the control unit calculates a movement distance corresponding to the movement displacement detected in step c) based on the driving information detected in step d), and sets a reference point pixel preset on the calculated movement distance and the second image. And calculating a distance from the reference point pixel to the second image pixel based on the triangle information formed with the detected pixel. 제 6 항에 있어서,
상기 e) 단계는 일정 시간 경과 후에 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하는 경우 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하여 제공하는 단계를 더 포함하는 것을 특징으로 하는 차량의 거리 측정 방법.The method according to claim 6,
In the step e), if the second image pixel is located in the invisible blind spot outside the photographing range of the camera after a predetermined time elapses, the step e) estimates a shift of displacement between the first image pixel and the second image pixel to the second image pixel. Comprising a step of calculating the estimated distance of the vehicle further comprises the step of providing. 과거 이미지와 현재 이미지를 이용한 거리 측정 방법으로서,
i) 제어부가 복수의 카메라에서 일정 시간 이전에 촬영한 제 1 이미지 정보를 검출하는 단계;
ii) 상기 제어부가 상기 복수의 카메라에서 임의의 시점에 촬영한 제 2 이미지 정보를 검출하는 단계;
iii) 상기 제어부는 상기 카메라가 촬영한 제 1 및 제 2 이미지를 각각 스테레오 비전을 이용한 이미지 프로세싱을 수행하여 상기 제 1 및 제 2 이미지에서 유사한 특성을 갖는 임의의 픽셀 중 변위가 발생한 제 1 이미지의 픽셀과 제 2 이미지의 픽셀까지의 거리와 두 픽셀 간의 이동 변위를 검출하는 단계; 및
iv) 상기 제어부가 상기 제 2 이미지 픽셀이 카메라의 촬영 범위를 벗어나 보이지 않는 사각지대에 위치하면 상기 제 1 이미지 픽셀과 제 2 이미지 픽셀 간의 이동 변위를 추정하여 상기 제 2 이미지 픽셀까지의 예상 거리를 산출하는 단계를 포함하는 차량의 거리 측정 방법.Distance measuring method using past image and present image,
i) detecting, by the control unit, first image information captured by the plurality of cameras before a predetermined time;
ii) detecting, by the control unit, second image information captured by the plurality of cameras at an arbitrary time point;
iii) the controller performs image processing using stereo vision on the first and second images photographed by the camera, respectively, to determine the displacement of the first image in which the displacement occurs in any pixel having similar characteristics in the first and second images. Detecting a distance between the pixel and the pixel of the second image and a displacement of movement between the two pixels; And
iv) when the second image pixel is located in a blind spot not visible outside the photographing range of the camera, the controller estimates a displacement between the first image pixel and the second image pixel to determine an expected distance to the second image pixel. Distance measuring method of a vehicle comprising the step of calculating. 제 6 항 내지 제 8 항 중의 어느 한 항에 있어서,
상기 제 2 이미지 픽셀까지의 예상거리는 상기 차량의 속도와 상기 이동 변위에 의해 추정되는 제 2 이미지 픽셀의 상대 속도에 근거하여 산출하는 것을 특징으로 하는 차량의 거리 측정 방법.The method according to any one of claims 6 to 8,
And an expected distance to the second image pixel is calculated based on a relative speed of the second image pixel estimated by the speed of the vehicle and the movement displacement.
KR1020100138797A 2010-12-30 2010-12-30 Apparatus and method for measurementing distance of vehicle KR101190789B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100138797A KR101190789B1 (en) 2010-12-30 2010-12-30 Apparatus and method for measurementing distance of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100138797A KR101190789B1 (en) 2010-12-30 2010-12-30 Apparatus and method for measurementing distance of vehicle

Publications (2)

Publication Number Publication Date
KR20120076999A KR20120076999A (en) 2012-07-10
KR101190789B1 true KR101190789B1 (en) 2012-10-11

Family

ID=46710558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100138797A KR101190789B1 (en) 2010-12-30 2010-12-30 Apparatus and method for measurementing distance of vehicle

Country Status (1)

Country Link
KR (1) KR101190789B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101400635B1 (en) 2013-11-28 2014-05-29 박종현 System of laser displacement sensor
KR101916779B1 (en) 2017-06-29 2018-11-09 현대오트론 주식회사 Apparatus and method for measuring distance of obstacle based on single rear view camera

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160291154A1 (en) * 2015-04-01 2016-10-06 Vayavision, Ltd. Apparatus for acquiring 3-dimensional maps of a scene
KR102184418B1 (en) * 2019-02-21 2020-12-01 주식회사 와이즈오토모티브 Apparatus and method for detecting blind spot
CN111091077B (en) * 2019-12-03 2022-11-11 华中科技大学 Vehicle speed detection method based on image correlation and template matching

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1038561A (en) 1996-07-22 1998-02-13 Fujitsu Ltd Device for measuring distance to front car
JP2002022411A (en) 2000-07-11 2002-01-23 Kanomax Japan Inc Apparatus and method of measuring displacement
KR100916291B1 (en) 2008-06-16 2009-09-10 주식회사신도리코 Apparatus and method for detecting approaching vehicle and outside mirror

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1038561A (en) 1996-07-22 1998-02-13 Fujitsu Ltd Device for measuring distance to front car
JP2002022411A (en) 2000-07-11 2002-01-23 Kanomax Japan Inc Apparatus and method of measuring displacement
KR100916291B1 (en) 2008-06-16 2009-09-10 주식회사신도리코 Apparatus and method for detecting approaching vehicle and outside mirror

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101400635B1 (en) 2013-11-28 2014-05-29 박종현 System of laser displacement sensor
KR101916779B1 (en) 2017-06-29 2018-11-09 현대오트론 주식회사 Apparatus and method for measuring distance of obstacle based on single rear view camera

Also Published As

Publication number Publication date
KR20120076999A (en) 2012-07-10

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
CN109219546B (en) Parking assistance device and parking assistance method
KR101243108B1 (en) Apparatus and method for displaying rear image of vehicle
JP4763250B2 (en) Object detection device
JP5421072B2 (en) Approaching object detection system
US10000210B2 (en) Lane recognition apparatus
EP2093129B1 (en) Parking assist apparatus and method
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
WO2017090410A1 (en) Stereo camera device
TWI401175B (en) Dual vision front vehicle safety warning device and method thereof
EP2578464A1 (en) Video-based warning system for a vehicle
US20160320477A1 (en) Method for detecting a mark made on a ground, driver assistance device and motor vehicle
US20100045448A1 (en) Obstacle detection apparatus
KR101097063B1 (en) Apparatus and method for displaying blind spot
US20090052742A1 (en) Image processing apparatus and method thereof
KR101190789B1 (en) Apparatus and method for measurementing distance of vehicle
KR20060021922A (en) Two camera based obstacle detection method and device
JP6778620B2 (en) Road marking device, road marking system, and road marking method
WO2011016257A1 (en) Distance calculation device for vehicle
JP4798576B2 (en) Attachment detection device
KR20130065268A (en) Apparatus and method for displaying blind spot
JP5717416B2 (en) Driving support control device
JP2007286873A (en) On-vehicle surrounding vehicle detector
WO2020036039A1 (en) Stereo camera device
JP6429101B2 (en) Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151005

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 7