KR101747167B1 - Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image - Google Patents
Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image Download PDFInfo
- Publication number
- KR101747167B1 KR101747167B1 KR1020150025268A KR20150025268A KR101747167B1 KR 101747167 B1 KR101747167 B1 KR 101747167B1 KR 1020150025268 A KR1020150025268 A KR 1020150025268A KR 20150025268 A KR20150025268 A KR 20150025268A KR 101747167 B1 KR101747167 B1 KR 101747167B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- parallax
- camera
- rate
- autonomous
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000001514 detection method Methods 0.000 title abstract description 4
- 238000013459 approach Methods 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 11
- 239000002131 composite material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002207 retinal effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치에 관한 것으로서, 좌측 카메라 및 우측 카메라에서 들어오는 영상의 돌출시차를 이용하여 자율주행시스템 전방에서 다가오는 물체를 파악함으로써 물체와 자율주행시스템 간의 충돌을 미연에 방지할 수 있는 입체영상의 돌출 시차 변화율 이용한 물체 접근 감지 장치에 관한 것이다. 이를 위해 차량에 구비된 카메라가 촬영하는 영상으로부터 관심영역을 설정하는 단계, 좌측 카메라로부터 좌측 이미지 및 우측 카메라로부터 우측 이미지를 획득하는 단계, 관심 영역내에 존재하는 물체의 좌측 이미지 및 우측 이미지를 돌출시차(negative disparity)가 나타나도록 이미지 합성하는 단계, 돌출시차에 기초하여 물체와 자율주행시스템의 떨어진 거리에 따라 각각 물체의 돌출 시차값을 계산하고, 돌출 시차값을 기초로 시차 변화율을 계산하는 단계, 자율주행시스템의 현재 속도와 시차 변화율을 기초로 자율주행시스템과 물체의 상대속도를 계산하는 단계, 및 상대속도에 기초하여 자율주행시스템과 물체의 충돌 가능성 유무를 판단하는 단계를 포함하는 것을 특징으로 하는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치가 개시된다.The present invention relates to an object proximity sensing apparatus using a rate of change of the projected parallax of a stereoscopic image, wherein an object approaching in front of the autonomous travel system is grasped by using the projected parallax of the image coming from the left camera and the right camera, And more particularly, to an object proximity sensing apparatus using a rate of change of the projected disparity of a stereoscopic image. A step of acquiring a right image from a left camera and a right camera from a left camera, a step of acquiring a left image and a right image of an object existing in the ROI, calculating a projected parallax value of the object according to a distance between the object and the autonomous navigation system based on the projected parallax and calculating a rate of change in parallax based on the projected parallax value, Calculating a relative speed between the autonomous running system and the object based on the current speed and the time difference change rate of the autonomous running system and determining whether there is a possibility of collision of the object with the autonomous running system based on the relative speed, Object approach detection device using the rate of change of protrusion difference of stereoscopic image It is.
Description
본 발명은 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법에 관한 것으로서, 보다 상세하게는 좌측 카메라 및 우측 카메라에서 들어오는 영상을 합성할 경우 두 영상 간에 발생되는 돌출 시차의 변화율을 이용하여 관측자 전방으로 접근하는 물체를 감지하여 관측자와 물체(장애물)와의 충돌을 미연에 방지할 수 있는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법에 관한 것이다.More particularly, the present invention relates to an apparatus and method for detecting an object proximity using a rate of change in the projected parallax of a stereoscopic image, and more particularly, And more particularly, to an apparatus and method for sensing an object proximity using a rate of change of the projected time difference of a stereoscopic image that can prevent a collision between an observer and an object (obstacle) by detecting an object approaching the forward direction.
최근 차량이나 로봇 등의 자율주행에 관한 관심이 높게 대두되고 있다. 자율주행에 있어서 다른 부분도 중요하지만 특히 자율주행시스템 스스로 앞에 있는 물체를 감지하고 이를 피해 주행할 수 있도록 하는 것이 자율주행시 가장 우선순위가 높은 관심 분야이기도 하다. 이러한 이유는 자율주행시스템의 안전주행과 직결되기 때문이다. 물체를 감지하기 위해서는 물체와 자율주행시스템 간의 거리를 파악하여 물체가 자율주행시스템으로부터 멀어지는지 또는 가까워지는지를 파악하여야 한다.Recently, there has been a strong interest in autonomous driving of vehicles and robots. Other aspects of autonomous driving are also important, but the autonomous driving system is an area of high priority for autonomous driving so that it can detect objects in front of the autonomous driving system and travel on it. This is because the autonomous driving system is directly linked to safe driving. In order to detect an object, the distance between the object and the autonomous navigation system should be grasped to determine whether the object is moving away from the autonomous navigation system.
따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 입체영상을 형성하기 위하여 좌우 카메라에서 촬영되는 두 영상의 합성 시 발생되는 돌출 시차 변화율을 이용하여 자율주행시스템에 물체가 접근하는 것을 감지하는 발명을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an autonomous navigation system in which objects approach an autonomous navigation system The present invention has been made in view of the above problems.
그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
전술한 본 발명의 목적은, 자율주행시스템에 구비된 카메라가 촬영하는 영상으로부터 관심영역을 설정하는 단계, 좌측 카메라로부터 좌측 이미지 및 우측 카메라로부터 우측 이미지를 획득하는 단계, 관심 영역내에 존재하는 물체에 대하여 좌측 카메라로 촬영된 좌측 이미지 및 우측 카메라로 촬영된 우측 이미지를 합성하여 돌출시차(negative disparity)를 계산하는 단계, 실시간으로 좌우 영상을 획득하여 이에 기반한 돌출 시차의 변화율을 계산하는 단계, 자율주행시스템의 현재속도와 돌출 시차의 변화율과의 비교로 상대속도를 계산하는 단계, 및 상대속도에 기초하여 자율주행시스템과 물체의 충돌 가능성 유무를 판단하는 단계를 포함하는 것을 특징으로 하는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 방법을 제공함으로써 달성될 수 있다.The object of the present invention is to provide a method and apparatus for setting an ROI from an image captured by a camera provided in an autonomous navigation system, obtaining a left image from a left camera and a right image from a right camera, Calculating a negative disparity by synthesizing a left image photographed by a left camera and a right image photographed by a right camera, calculating a rate of change of the protrusion parallax based on the obtained right and left images in real time, Calculating a relative speed based on a comparison between a current speed of the system and a rate of change of the projected parallax and determining whether there is a possibility of collision of the object with the autonomous driving system based on the relative speed, Can be achieved by providing an object approach detection method using a time difference change rate have.
또한, 돌출시차는 좌측 및 우측 카메라의 설정방식으로 평행방식 또는 교차방식을 통해 획득하고, 평행방식 또는 교차방식은 돌출시차가 나타나도록 좌측 카메라 및 우측 카메라의 광축을 설정하는 것을 특징으로 한다.Further, the protrusion parallax is obtained through a parallel method or an intersection method using the setting method of the left and right cameras, and the optical axes of the left camera and the right camera are set so that the protrusion parallax appears in the parallel method or the intersection method.
또한, 이미지 합성하는 단계는, 관심영역내에 존재하는 복수의 물체를 각각 분리하여 각 물체마다 좌측 이미지 및 우측 이미지를 합성하거나, 또는, 관심영역내에 존재하는 복수의 물체를 분리하지 않고 좌측 이미지 및 우측 이미지를 합성하는 것을 특징으로 한다.In addition, the image synthesizing step may be a step of synthesizing the left image and the right image for each object by separating a plurality of objects existing in the area of interest, or by combining the left image and the right image And the image is synthesized.
또한, 이미지 합성하는 단계는 좌측 카메라에서 촬영된 좌측 이미지와 우측 카메라에서 촬영된 우측 이미지를 교차 합성하는 것으로, 평행방식으로 촬영된 좌우 이미지는 동일 평면상에서 가로축으로 불일치를 갖도록 합성하고, 교차방식으로 촬영된 좌우 이미지는 좌측 및 우측 카메라의 광축이 교차하는 점을 중심으로 합성하는 것을 특징으로 한다.In addition, in the image synthesizing step, the left image photographed by the left camera and the right image photographed by the right camera are cross-combined, and the left and right images photographed in parallel are synthesized so as to have inconsistency on the horizontal plane on the same plane, And the captured left and right images are synthesized around a point where the optical axes of the left and right cameras cross each other.
또한, 평행방식에서의 돌출 시차는, 좌측 이미지 및 우측 이미지에 포함된 물체의 각 특징점을 기준으로 이미지 합성시 불일치된 가로 픽셀의 차이값이고, 교차방식에서의 돌출 시차는 좌측 및 우측 카메라의 광축 앞에서 촬영된 경우 생성되는 것을 특징으로 한다.The protrusion parallax in the parallel method is a difference value of the mismatched horizontal pixels in the image synthesis based on the respective feature points of the objects included in the left image and the right image and the protrusion parallax in the crossing method is the optical axis of the left and right cameras And is generated when it is photographed before.
또한, 돌출 시차값은, 물체가 관측자에게 접근하는 경우에는 커지고, 멀어지는 경우에는 작아지며, 물체가 관측자에게 접근하는 속도가 빨라지는 경우에는 시차 변화율 값이 점점 증가하는 것을 특징으로 한다.In addition, the protrusion parallax value increases when the object approaches the observer, decreases when the object approaches, and gradually increases when the object approaches the observer.
한편, 본 발명의 목적은 자율주행시스템에 구비되어 전방의 영상을 촬영하는 좌측 카메라 및 우측 카메라로부터 영상을 입력받는 영상 입력부, 기 설정된 관심영역 내에 존재하는 물체의 좌측 이미지 및 우측 이미지를 돌출시차가 나타나도록 합성하는 영상 합성부, 돌출시차에 기초하여 물체와 자율주행시스템의 떨어진 거리에 따라 각각 물체의 돌출 시차값을 계산하고, 돌출 시차값을 기초로 시차 변화율을 계산하며, 자율주행시스템의 현재 속도와 시차 변화율을 기초로 자율주행시스템과 물체의 상대속도를 계산하는 계산부, 및 상대속도에 기초하여 자율주행시스템과 물체의 충돌 가능성 유무를 판단하는 충돌 감지부를 포함하는 것을 특징으로 하는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치를 제공함으로써 달성될 수 있다.It is another object of the present invention to provide an autonomous navigation system which is provided with an autonomous navigation system and includes a left camera for capturing a forward image and an image input unit for receiving an image from a right camera, A protruding parallax value of the object is calculated according to the distance between the object and the autonomous driving system based on the protruding parallax, the time difference change rate is calculated based on the protruding parallax value, A calculation unit for calculating a relative speed between an autonomous vehicle traveling system and an object on the basis of a speed and a time difference change rate, and a collision sensing unit for determining whether or not an object can collide with the autonomous vehicle traveling system based on the relative speed. The object proximity sensing device using the rate of change of the protruding time difference of the object.
전술한 바와 같은 본 발명에 의하면 입체영상의 시차 변화율을 이용하여 자율주행시스템과 물체간의 충돌을 방지하는 효과가 있다.According to the present invention as described above, there is an effect of preventing a collision between an autonomous traveling system and an object by using a rate of change in the parallax of the stereoscopic image.
또한, 본 발명에 의하면 자율주행을 구현함에 있어서 비교적 간단하고 저렴하게 물체 접근 감지를 구현할 수 있는 효과가 있다.In addition, according to the present invention, it is possible to implement object approach detection relatively easily and inexpensively in realizing autonomous travel.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 평행방식을 도시한 도면이고,
도 2는 본 발명의 일실시예에 따른 교차방식을 도시한 도면이고,
도 3은 도 1에 있어서의 제1 위치에 있는 장애물의 좌우측 이미지 및 합성 이미지를 도시한 도면이고,
도 4는 도 1에 있어서의 제2 위치에 있는 장애물의 좌우측 이미지 및 합성 이미지를 도시한 도면이고,
도 5는 도 1에 있어서의 제3 위치에 있는 장애물의 좌우측 이미지 및 합성 이미지를 도시한 도면이고,
도 6은 본 발명의 일실시예에 따른 교차방식에서의 disparity를 계산하기 위한 도면이고,
도 7은 본 발명의 일실시예에 따른 자율주행시스템의 차량충돌 경고알림장치의 구성도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are incorporated in and constitute a part of the specification, illustrate preferred embodiments of the invention and, together with the description, serve to further the understanding of the technical idea of the invention, It should not be construed as limited.
1 is a view illustrating a parallel method according to an embodiment of the present invention,
FIG. 2 is a diagram illustrating a crossing method according to an embodiment of the present invention,
Fig. 3 is a diagram showing left and right images and composite images of the obstacle in the first position in Fig. 1,
Fig. 4 is a diagram showing left and right images and composite images of the obstacle in the second position in Fig. 1,
Fig. 5 is a diagram showing left and right images and composite images of the obstacle in the third position in Fig. 1,
6 is a diagram for calculating disparity in a crossing method according to an embodiment of the present invention,
FIG. 7 is a block diagram of a vehicle collision warning notifying device in an autonomous driving system according to an embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings. In addition, the embodiment described below does not unduly limit the content of the present invention described in the claims, and the entire structure described in this embodiment is not necessarily essential as the solution means of the present invention.
본 발명의 일실시예에 따른 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법은 좌측 및 우측 카메라를 이용하여 돌출시차 값을 산출하고, 돌출시차 값을 이용하여 각 물체마다 시차 변화율을 계산함으로써 자율주행시스템 전방에서 다가오는 장애물을 인지하여 운전자에게 경고를 발할 수 있는 발명이다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 입체영상의 돌출시차를 이용한 차량 충돌감지 장치 및 방법에 대해 자세히 설명하기로 한다. 다만 본 발명에서 설명되는 자율주행시스템은 차량 또는 로봇 등 자율주행이 가능한 장치 또는 시스템으로서 이하에서는 차량을 기준으로 설명하며, 또한 본 발명에서 설명되는 물체는 자율주행시스템이 자율주행을 하기 위해 인식해야하거나 회피해야하는 대상체로서 일반적으로 장애물일 수 있다.An apparatus and method for detecting an object approach using a rate of change of the projected time difference of a three-dimensional image according to an embodiment of the present invention calculates a projected time difference value using a left and a right camera and calculates a time difference change rate for each object using the projected time difference value Thereby allowing the driver to recognize the obstacle approaching from the front of the autonomous drive system. Hereinafter, an apparatus and method for detecting a vehicle collision using a protrusion parallax of a stereoscopic image according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, the autonomous travel system described in the present invention is an apparatus or system capable of autonomous travel such as a vehicle or a robot, and will be described below with reference to a vehicle. In addition, the object described in the present invention must be recognized by an autonomous- Or as an object to be avoided.
(영상 획득 방식)(Image acquisition method)
먼저, 좌측 카메라 및 우측 카메라를 이용하여 영상을 획득하는 입체영상 획득 방식을 설명하기 전에 본 발명은 돌출시차를 이용하는 발명이므로 양안 시차에 대해 간략히 설명하기로 한다. 일반적으로 사람의 눈은 왼쪽 눈과 오른쪽 눈 모두를 이용함으로써 사물을 입체감 있게 지각한다. 이때, 시방향과 대응점은 거리와 깊이 지각의 기본요소이다. 망막 대응점은 입체시에 대한 제로 지점이라 할 수 있고, 깊이에 대한 지각은 비망막 대응점의 자극 차이로 인해 발생한다. 하나의 물체 상이 두 눈에서 망막 대응점 자극이 되지 않을 때를 비대응(disparate)된다고 말한다. 만약 한 눈으로만 본다면 이런 상은 서로 다른 시방향에 놓여 있는 것처럼 보인다. 두 눈에서 상 사이의 대응점과 관계된 위치 차이를 양안 시차(binocular disparity)라 한다.First, before describing a stereoscopic image acquisition method for acquiring an image using a left camera and a right camera, the present invention is an invention using a protrusion disparity, so that a binocular disparity will be briefly described. In general, the human eye perceives objects in three dimensions by using both the left eye and the right eye. At this time, the direction and corresponding point are the basic elements of distance and depth perception. The retinal correspondence point can be said to be the zero point for stereopsis, and the perception for the depth is caused by the difference of stimulus at the non-retinal correspondence point. It is said that when one object image does not stimulate the retinal correspondence point in both eyes, it is disparate. If you look only at one eye, these awards appear to be in different directions. The binocular disparity is the positional difference between the two eyes and their corresponding points.
양안 시차는 두 눈이 수렴하는 지점인 주시점에 대해 교차성 또는 비교차성으로 분류되는데 왼쪽 영상에서 한 대상의 수평 위치가 오른쪽 영상에서 대응되는 대상의 수평 위치보다 오른쪽에 있을 때의 시차를 교차성 시차라 하고, 이 때 대상이 화면보다 돌출되어 있는 듯이 보인다. 반대로 왼쪽 영상에서 한 대상의 수평 위치가 오른쪽 영상에서 대응되는 대상의 수평 위치보다 왼쪽에 있을 때의 시차를 비교차성 시차라 하여 이 경우 대상이 화면보다 안으로 들어간 듯이 인식된다.The binocular disparity is classified into the crossing or the comparison difference with respect to the main view which is the point where the two eyes converge. The crossing when the horizontal position of one object is on the right side of the horizontal position of the corresponding object on the right image, It is called time difference, and the object appears to be protruding from the screen at this time. On the contrary, when the horizontal position of one object on the left image is on the left of the horizontal position of the corresponding object on the right image, the difference is referred to as a difference in time difference.
한편, 카메라의 경우에는 주시각의 구성 방식에 따라 일반적으로 평행방식과 교차방식(폭주방식)으로 나뉘어질 수 있다. 다만, 이러한 방식이외에 직교방식 및 수평이동방식 등 다양한 구성이 더 있을 수 있으나 본 발명의 기술적 사상의 범위 내에서 필요에 따라 모두 채택될 수 있다. On the other hand, in the case of a camera, generally, it can be divided into a parallel method and an intersection method (congestion method) depending on the configuration method of the main time. However, in addition to this method, there may be various other configurations such as an orthogonal method and a horizontal movement method, but all of them can be adopted as needed within the technical idea of the present invention.
평행방식은 좌측 및 우측 카메라의 중심축 간 거리(IOD, Interocular & Interaxial Distance)를 일정 간격으로 하고 양 카메라의 광축을 평행하게 하여 피사체를 촬영하는 방식이다. 교차방식은 좌측 및 우측 카메라의 광축을 교차시켜 피사체를 촬영하는 방식이다. 따라서 광축을 회전하여 피사체에 주시점을 맞추는 방식이다. 피사체를 볼 때 폭주가 발생하여 시선이 모이는 것처럼 사람의 시선에 가장 가까운 촬영방법이다. In the parallel method, the object is photographed with the distance between the center axes of the left and right cameras (IOD, Interocular & Interaxial Distance) at regular intervals and the optical axes of both cameras being parallel. In the crossing method, the object is photographed by crossing the optical axes of the left and right cameras. Accordingly, the optical axis is rotated to match the main viewpoint to the subject. It is the closest shooting method to a person's gaze, as when the subject is seen, congestion occurs and the eye is gathered.
일반적으로 원거리 영상을 입체로 촬영할 때는 좌측 및 우측 카메라를 평행으로 놓고 촬영하는데(평행방식), 이때는 이미지가 겹치는 지점이 발생하지 않고 소실점에 의해 영상 내에서 가장 먼 부분이 0점(소실점)이 된다. 따라서 촬영된 두 영상을 약간 좌우로 평행하게 이동시켜 불일치하게 겹치게 하면서 합성한다. 이렇게 되면 돌출시차(negative disparity)와 깊이감 시차(positive disparity)가 발생하여 입체감을 갖게 된다. Generally, when photographing a long distance image in a three-dimensional manner, the left and right cameras are placed in parallel (parallel method). In this case, the point at which the image is overlapped does not occur and the farthest portion in the image is zero point (vanishing point) due to the vanishing point . Therefore, the two captured images are shifted slightly in the left and right direction to synthesize them while overlapping each other. In this case, negative disparity and positive disparity occur, resulting in a stereoscopic effect.
한편, 근거리 영상을 입체로 촬영할 때는 좌측 및 우측 카메라를 물체를 향하여 찍기 때문에(교차방식) 이미지가 겹치는 지점이 발생하여 원하는 0 점(컨버전스 포인터)을 지정할 수 있다. 이때 컨버전스 포인터를 중심으로 negative 시차가 발생하는 부분은 입체영상이 튀어나오는 효과가 있고, positive 시차가 발생하는 부분은 입체영상이 들어가는 효과가 있다. 이때 컨버전스 포인터는(Convergence Point)는 두 카메라의 광축이 만나는 교차점 또는 0점이라고 불리며, 3D 입체영상에서는 왼쪽 영상과 오른쪽 영상의 이미지에서 두 이미지상의 시차가 없는 영역을 말한다. On the other hand, when photographing a close-range image in three dimensions, since the left and right cameras are directed toward the object (crossing method), there occurs a point where the images overlap, and the desired zero point (convergence pointer) can be designated. In this case, a portion where a negative parallax occurs around the convergence pointer has an effect of ejecting a stereoscopic image, and a portion where a positive parallax occurs has an effect of entering a stereoscopic image. In this case, the convergence pointer (Convergence Point) is an intersection point or zero point where the optical axes of the two cameras meet, and in the 3D stereoscopic image, there is no parallax between the two images in the left and right image.
평행방식 및 교차방식에 대해 도 1 및 도 2를 참고하여 설명한다. 도 1에는 본 발명의 일실시예에 따른 평행방식이 도시되어 있다. 차량(10)은 일정 속도로 장애물을 향하여 이동한다. 이때 장애물은 위치가 고정된 장애물일 수도 있고 일정한 속도를 가지는 장애물일 수도 있다. 도로상에서 차량(10)이 일정속도로 이동하는 경우 움직이는 장애물은 차량(10) 전방에서 일정 속도로 진행하는 다른 차량일 수 있고, 고정 장애물은 도로상에 떨어진 낙석이나 기타 차량이 더 이상 진행할 수 없는 장애물일 수 있다. 이때, 본 발명의 일실시예에서는 차량의 전면에 좌측 및 우측 카메라가 설치된 경우를 예시하고 있으나 이는 일실시예에 불과하며 차량의 후측에 설치되어 차량의 후측 방향으로 영상을 촬영할 수도 있다.The parallel method and the crossing method will be described with reference to Figs. 1 and 2. Fig. FIG. 1 illustrates a parallel scheme according to an embodiment of the present invention. The vehicle 10 moves toward the obstacle at a constant speed. The obstacle may be a fixed obstacle or a fixed speed obstacle. When the vehicle 10 moves on the road at a constant speed, the moving obstacle may be another vehicle traveling at a constant speed in front of the vehicle 10, and the fixed obstacle may be a rockfall falling on the road or other vehicles It may be an obstacle. In this case, in the embodiment of the present invention, the left and right cameras are installed on the front of the vehicle. However, the present invention is not limited thereto.
도 1에 도시된 바와 같이 평행방식은 양 카메라의 광축이 평행하도록 하여 장애물을 촬영한다. 제1 위치의 장애물(20a)은 최초 차량(10)과 가장 멀리 떨어져 있으며, 제2 위치의 장애물(20b) 및 제3 위치의 장애물(20c)이 순차적으로 차량(10)과 가까워진다. 장애물(20a,20b,20c)은 본 발명의 일실시예를 설명함에 있어 움직이지 않는 장애물로 가정한다. 좌측 및 우측 카메라로 입력되는 장애물의 영상은 차량(10)과 거리가 가까워질수록 즉, 제1 위치의 장애물(20a) 보다 제3 위치의 장애물(20c)의 영상이 점점 더 커질 것이다.As shown in FIG. 1, in the parallel method, the optical axes of both cameras are parallel to photograph an obstacle. The
도 2에 도시된 바와 같이 교차방식은 컨버전스 포인터를 기준으로 제1 위치에 있는 장애물(20a)은 깊이감 시차(양의 시차, d1)를 가지고, 제2 위치 및 제3의 위치에 있는 장애물(20b,20c)은 돌출시차(음의 시차, d2,dn)를 가진다. 일반적으로 양의 시차값은 + 값을 가지고, 음의 시차값은 - 값을 가진다. 양의 시차(positive disparity)는 깊이감을 주며 음의 시차(negative disparity)는 돌출감을 준다. 본 발명에서는 돌출시차(음의 시차)를 이용하여 차량 전면에 장애물이 다가오는 것을 사용자에게 경고하여 준다. 따라서 양의 시차를 가지는 영역에서는 안전영역(40)으로 설정될 수 있으며, 음의 시차를 가지는 영역에서는 경고영역(50)으로 설정될 수 있다. 다만, 이러한 안정영역(40) 및 경고영역(50)의 설정은 컨버전스 포인터(p)를 기점으로 설정되기는 하나 차량(10)과 장애물의 상대적인 속도, 떨어진 거리, 적용 환경 등 다양한 요소를 고려하여 설정될 수 있다. As shown in FIG. 2, the intersection method has an
상술한 도 1 및 도 2에 도시된 바와 같은 평행방식 및 교차방식은 차량(10)과 장애물이 가까워질수록 음의 시차(돌출시차, negative disparity) 값이 점점 증가한다. 이하에서는 이러한 음의 시차값을 사용하여 차량 전면에 접근하는 장애물을 감지하고 장애물과 차량의 떨어진 거리가 일정 거리 이내인 경우 사용자에게 경고를 발하는 것을 설명하기로 한다.In the parallel system and the intersection system as shown in FIGS. 1 and 2, the negative parallax (negative disparity) value gradually increases as the vehicle 10 and the obstacle approach each other. Hereinafter, a description will be given of the use of such a negative parallax value to detect an obstacle approaching the front of the vehicle and issue a warning to the user when the distance between the obstacle and the vehicle is within a certain distance.
(관심영역 설정, 좌측 카메라 및 우측 카메라 설정)(Area of interest, left camera and right camera setting)
차량(10)에는 좌측 카메라(100) 및 우측 카메라(200)가 탑재되며 좌측 카메라(100) 및 우측 카메라(200)는 차량 전방의 영상을 실시간으로 획득한다. 좌측 카메라(100) 및 우측 카메라(200)는 차량과 충돌이 예상되는 차량 전방의 관심영역의 영상을 실시간으로 획득한다. 이러한 관심영역은 제어부(390)에 의해 사용 환경에 따라 서로 다르게 설정될 수 있다. 관심영역을 설정하지 않고 좌측 카메라 및 우측 카메라로부터 획득되는 차량 전방의 전체 화면을 이미지 프로세싱하여 negative disparity 값을 계산하는 경우에는 시간 지연이 발생되는 문제점이 있다. 즉, 좌측 및 우측 카메라에서 획득되는 모든 영상의 돌출감을 판단하기 위해 이미지 프로세싱을 하기 위해서는 시간 지연이 발생한다. 지연 시간을 최소화하기 위해 좌측 카메라 및 우측 카메라로 촬영하는 영상의 부분을 제한하고 관심영역을 설정하여 관심영역 내에 있는 장애물에 대해 좌측 카메라의 이미지와 우측 카메라의 이미지를 서로 합성한다. 따라서 차량과 충돌이 예상되는 차량 전방의 부분 영역(관심영역)을 설정하고, 부분 영역 내에 있는 장애물(또는 물체)에 대해 좌측 카메라의 이미지와 우측 카메라의 이미지를 서로 합성하여 negative disparity 값을 산출한다. The
한편, 차량 전방의 장애물을 추출하기 위해 관심영역을 설정하고, 또한 좌측 카메라 및 우측 카메라를 설정한다. 평행방식 또는 교차방식에서 좌측 및 우측 카메라의 중심축 간 거리를 기 설정된 범위로 조정하고, 교차방식에서는 컨버전스 포인터를 사용환경에 맞춘다. 이때 본 발명에서는 돌출시차를 이용하기 때문에 양 카메라의 중심축 간 거리 및 컨버전스 포인터는 사용되는 환경에 따라 적응적으로 변경될 수 있으며, 돌출시차를 가장 잘 획득할 수 있는 설정값으로 변경될 수 있다.On the other hand, an area of interest is set to extract an obstacle in front of the vehicle, and a left camera and a right camera are set. The distance between the center axes of the left and right cameras is adjusted to a predetermined range in the parallel method or the intersection method, and the convergence pointer is adjusted to the use environment in the intersection method. In the present invention, since the protrusion parallax is used, the distance between the center axes of both cameras and the convergence pointer can be adaptively changed according to the environment in which they are used, and can be changed to a set value that can best obtain the protrusion parallax .
(좌측 및 우측 카메라의 영상 획득)(Image acquisition of left and right camera)
영상 입력부(310)는 차량 전면에 설치된 좌측 카메라(100) 및 우측 카메라(200)로부터 입력되는 영상을 실시간으로 입력받는다. 제어부(390)는 실시간으로 입력된 좌측 카메라 및 우측 카메라의 영상 중 관심영역 내의 영상을 추출한다. 즉, 제어부(390)는 관심영역 밖의 영상은 모두 크롭(crop)한다. 제어부(390)는 관심영역 내의 영상을 추출시 저장부(380)에 실시간으로 저장된 영상을 불러와서 처리하거나 또는 영상 입력부(310)로부터 들어오는 영상을 직접 바로 실시간으로 처리할 수도 있다.The image input unit 310 receives images input from the
(좌측 및 우측 카메라의 이미지 합성)(Image synthesis of left and right camera)
영상 합성부(320)는 제어부(390)로부터 관심영역 내의 영상을 입력받는다. 이때 관심영역 내의 영상은 크롭된 좌측 카메라의 이미지와 우측 카메라의 이미지가 될 수 있다. 이하에서는 필요한 경우를 제외하고 도 1의 평행방식을 이용하여 설명하기로 한다.The image combining unit 320 receives the image in the region of interest from the control unit 390. At this time, the image in the region of interest may be the image of the left camera that is cropped and the image of the right camera. Hereinafter, the parallel method of FIG. 1 will be described except when necessary.
도 3은 도 1에 있어서의 제1 위치에 있는 장애물(20a)의 이미지를 도시한 도면이다. 제1 위치에 있는 장애물(20a)은 차량(10)과 가장 멀리 떨어진 거리에 있는 장애물이다. 평행방식으로 촬영했을 때 제1 위치에 있는 장애물(20a)을 좌측 카메라(100)가 촬영한 좌측 카메라 이미지(21)와 우측 카메라(200)가 촬영한 우측 카메라 이미지(22)가 도시되어 있다. 본 발명의 설명의 편의를 위해 좌측 카메라가 촬영한 장애물(20a)의 이미지는 실선으로 도시한 원이고, 우측 카메라가 촬영한 장애물(20a)의 이미지는 점선으로 도시한 원이다. 실제 이미지 프로세싱시에는 관심영역에 들어온 장애물을 피쳐링하기 위해 다양한 알고리즘이 추가 될 수 있다. Fig. 3 is a diagram showing an image of the
영상 합성부(320)는 제어부(390)로부터 좌측 카메라의 이미지(21)와 우측 카메라의 이미지(22)를 입력받아 합성 이미지(230)를 획득한다. 도 3의 합성 이미지(23)를 살펴보면 좌측 카메라로부터 획득된 실선 원이 우측 카메라로부터 획득된 점선 원보다 우측으로 약간 불일치되게 합성된다. 이러한 좌측 및 우측 이미지의 불일치로 인해 음의 시차(d1, negative disparity)가 발생된다. 도 3의 음의 시차(d1)는 실선 원의 특징점(우측 중앙부분)에서 점선 원의 특징점(우측 중앙부분)까지의 거리가 된다. 즉, 도 3의 이미지가 특정 픽셀을 가진 이미지라고 가정하면 음의 시차(d1)는 각 특징점간의 가로 픽셀값이 된다. 이러한 음의 시차는 도 4 및 도 5에 도시된 바와 같이 차량(10)과 장애물간에 거리가 점점 가까워질수록 커지게 된다. 장애물의 특징점은 장애물의 형태에 따라 다양하게 설정할 수 있을 것이다.The image synthesizer 320 receives the
한편, 좌측 및 우측 카메라의 영상의 불일치를 과도하게 겹치게 하면 negative disparity 가 커져 피사체의 돌출이 커진다. 이렇게 되면 물체가 갖는 고유한 입체감을 잃게 된다. 따라서 물체의 입체감을 자연스럽게 유지하도록 두 카메라의 간격이나, 좌측 및 우측 영상의 이미지를 불일치하게 겹치도록 조절한다. On the other hand, if the mismatch of the images of the left and right cameras is excessively overlapped, the negative disparity becomes large and the protrusion of the subject becomes large. This loses the inherent 3D sensation of the object. Therefore, the interval between the two cameras or the images of the left and right images are adjusted so as to be overlapped unequally so as to naturally maintain the stereoscopic effect of the object.
도 4는 도 1에 있어서의 제2 위치에 있는 장애물(20b)의 이미지를 도시한 도면이다. 도 3과 마찬가지로 영상 합성부(320)는 좌측 카메라의 이미지(21)와 우측 카메라의 이미지(22)를 합성하여 합성 이미지(23)를 만든다. 이때, 도 3에 비해 장애물의 위치가 좀 더 가까이 차량(10)으로 접근하였기 때문에 도 3의 장애물에 비해 좀 더 이미지가 커지게 된다. 영상 합성부(320)에 의해 합성된 이미지는 도 4에 도시된 바와 같이 음의 시차(d2)가 생긴다. 이때, 도 3의 음의 시차와 비교해볼 때 도 4의 음의 시차가 더 커짐을 알 수 있다. 이러한 현상은 도 5에 도시된 음의 시차(d3)도 도 4에 비해 더 커짐을 예측할 수 있다. 따라서 평행방식에서 카메라가 장착된 차량으로 점점 더 장애물이 다가올수록 음의 시차값이 커짐을 알 수 있다. 본 발명에서는 이러한 장애물과 차량간의 거리에 따른 음의 시차값의 차이를 이용한다.Fig. 4 is a diagram showing an image of the
한편, 영상 합성부(320)에 의해 영상 합성시에는 다음과 같은 2가지 실시예가 있을 수 있다. 일실시예로서 장애물을 분리하지 않고 좌측 카메라의 이미지와 우측 카메라의 이미지를 서로 합성하는 방법이다. 즉, 관심영역 내에 장애물이 복수로 존재하는 경우 좌측 카메라의 이미지와 우측 카메라의 이미지를 서로 합성하여 하나의 합성 이미지를 만든다. 이렇게 하는 경우에는 처리속도의 부담을 경감할 수 있다. 다른 실시예로는 관심영역 내에 존재하는 각 장애물을 서로 분리하고 각 장애물마다 좌측 및 우측 영상을 합성한다. 이렇게 하면 관심영역 내에 위치하는 장애물의 개수에 상응하는 합성 이미지가 만들어진다. 이러한 경우에는 이미지 처리속도의 부담을 증가시킬 수 있으나 좀 더 정확한 음의 시차를 획득할 수 있다.Meanwhile, there are two embodiments of the image synthesis by the image synthesis unit 320 as follows. In one embodiment, the image of the left camera and the image of the right camera are combined with each other without separating the obstacles. That is, when there are a plurality of obstacles in the ROI, a composite image is formed by combining the images of the left camera and the images of the right camera. In this case, the burden of the processing speed can be reduced. In another embodiment, the obstacles existing in the ROI are separated from each other, and the left and right images are synthesized for each obstacle. This produces a composite image corresponding to the number of obstacles located within the area of interest. In this case, it is possible to increase the burden of image processing speed, but it is possible to obtain a more accurate negative parallax.
또한, 영상 합성부(320)에 의해 영상 합성시, 좌측 카메라의 영상과 우측 카메라의 영상에서 차량과 장애물의 충돌이 가능한 영역으로 한정하여 합성한다. 또한, 합성된 영상에서 모든 장애물들에 대한 돌출시차를 계산하고, 차량의 움직임에 따라 이들 모든 돌출시차의 변화율을 분석한다.In addition, when the image synthesizing unit 320 synthesizes the image, the region of the left camera and the image of the right camera are limited to the region where the collision between the vehicle and the obstacle is possible. Also, the protrusion parallax is calculated for all obstacles in the synthesized image, and the rate of change of all the protrusion parallaxes is analyzed according to the motion of the vehicle.
(시차 변화율 계산 방법) ( Method of calculating the time difference change rate)
평행방식에서는 좌측 카메라 이미지 및 우측 카메라 이미지의 각 특징점간 거리가 음의 시차값이 된다. 따라서 시차값 계산부(330)는 각 특징점간 가로 방향의 픽셀값을 산출하여 이를 음의 시차값으로 산출한다.In the parallel method, the distance between each feature point of the left camera image and the right camera image is a negative parallax value. Therefore, the parallax value calculation unit 330 calculates pixel values in the horizontal direction between the respective minutiae points and calculates them as negative parallax values.
교차방식에서 컨버전스 포인트보다 앞에 있는 장애물에 대한 음의 시차값은 도 6 에 도시된 바와 같이 구할 수 있다. 자세히 설명하면 좌측 카메라의 위치는 (0,0,0)이고 우측 카메라의 위치는 (Tx,0,0)이다. 그리고 장애물의 이미지 좌표는 (x,y,z)이다. The negative parallax value for the obstacle ahead of the convergence point in the crossing method can be obtained as shown in FIG. More specifically, the position of the left camera is (0,0,0) and the position of the right camera is (Tx, 0,0). And the image coordinates of the obstacle are (x, y, z).
좌측 카메라의 좌표점(xl,yl)은 다음과 같이 구할 수 있다. The coordinate point (x l , y l ) of the left camera can be obtained as follows.
우측 카메라의 좌표점(xr,yr)은 다음과 같이 구할 수 있다.The coordinate point (x r , y r ) of the right camera can be obtained as follows.
양안 시차는 다음과 같이 구할 수 있다.The binocular disparity can be obtained as follows.
이러한 수학식을 활용하여 교차방식에서는 시차값 계산부(330)가 음의 시차값을 산출한다. 다만, z는 영상의 깊이값으로서 이러한 깊이값을 구하는 여러가지 방법은 종래의 다양한 방식에 의해 구할 수 있다.In this case, the parallax value calculation unit 330 calculates a negative parallax value. However, z is a depth value of an image, and various methods for obtaining such a depth value can be obtained by various conventional methods.
상술한 평행방식 또는 교차방식에서 구한 시차값은 장애물과 차량간의 거리가 가까워질수록 negative disparity 값이 점점 커진다. 한편, 시차값 계산부(330)는 각 장애물의 각 거리마다 구한 음의 시차값을 계산하여 저장부(380)에 저장한다. 즉, 시차값 계산부(330)는 도 1에서 제1 위치의 장애물(20a), 제2 위치의 장애물(20b), 제3 위치의 장애물(20c)에 대한 각각의 음의 시차값을 계산하여 저장한다. The parallax value obtained from the parallel method or the crossing method described above increases as the distance between the obstacle and the vehicle gets closer to the negative disparity value. On the other hand, the parallax value calculation unit 330 calculates the negative parallax values obtained for each distance of each obstacle, and stores the calculated parallax values in the storage unit 380. That is, the parallax value calculation unit 330 calculates the respective negative parallax values for the
시차 변화율 계산부(340)는 저장부(380) 또는 시차값 계산부(330)로부터 장애물의 각 거리별 시차값을 입력받아 각 장애물마다 시차 변화율을 계산한다. 시차 변화율 계산부(340)에서 계산되는 시차 변화율은 차량(10) 및 장애물의 상대속도에 따라 달라질 수 있다.The parallax change rate calculation unit 340 receives the parallax values for each distance of the obstacle from the storage unit 380 or the parallax value calculation unit 330 and calculates the parallax change rate for each obstacle. The parallax change rate calculated by the parallax change rate calculation unit 340 may vary according to the relative speed of the vehicle 10 and the obstacle.
(차량 충돌 경보 알림)(Vehicle collision alarm notification)
본 발명의 일실시예에서는 계산된 시차값이 증가하면 차량에 장애물이 접근하는 것으로 인식하게 된다. 차량에 장애물이 접근하는 것을 운전자에게 알려주기 위해 차량 속도 계산부(350)는 CAN 통신을 통해 차량의 현재 속도를 획득한다. 차량의 현재 속도는 차량 내부에 장착된 속도계 등을 통해 알 수 있다. 충돌 감지부(360)는 현재 차량의 속도와 시차 변화율 계산부(340)에서 계산된 시차 변화율을 입력받아 차량과 장애물간의 상대속도를 산출하고, 상대속도에 기초하여 충돌 가능성 유무를 판단한다.In an embodiment of the present invention, when the calculated time difference increases, the obstacle approaches the vehicle. In order to inform the driver that an obstacle approaches the vehicle, the vehicle speed calculation unit 350 acquires the current speed of the vehicle via the CAN communication. The current speed of the vehicle can be known through a speedometer mounted inside the vehicle. The collision sensing unit 360 calculates the relative speed between the vehicle and the obstacle based on the current speed of the vehicle and the parallax change rate calculated by the parallax change rate calculator 340, and determines the possibility of collision based on the relative speed.
충돌 경보 알림부(370)는 충돌 감지부(360)의 신호를 기초로 운전자에게 전방에 장애물이 있고, 장애물과 차량 충돌 가능성이 있음을 알린다. 이러한 충돌 경보 알림부(370)는 네비게이션 장치 또는 블랙박스 장치에 구현될 수 있으며, 별도의 장치가 따로 구비될 수도 있다. 일예로서 네비게이션 장치에 구현되는 경우에는 전방에 충돌 가능성이 있는 장애물이 있음을 화면에 디스플레이하고 경고 알림음을 울릴 수 있다.Based on the signal from the collision sensing unit 360, the collision alarm notifying unit 370 informs the driver that there is an obstacle ahead and that there is a possibility of collision of the obstacle and the vehicle. The crash alarm notifying unit 370 may be implemented in a navigation device or a black box device, or may be provided separately. As an example, when the navigation device is implemented in a navigation device, it is possible to display on the screen that there is an obstacle having a possibility of collision ahead and to sound a warning beep.
다만, 상술한 영상 입력부(310) 내지 제어부(390)를 구비한 차량 충돌 알림장치(300)는 본 발명의 설명의 편의를 위하여 그 기능을 분리하여 설명하였을 뿐 필요에 따라 그 기능이 통합되어 구현되거나 또는 차량에 기 구비된 장치에 포함되어 기능을 수행할 수도 있다.However, the vehicle
이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다.Although the present invention has been described with reference to the embodiment thereof, the present invention is not limited thereto, and various modifications and applications are possible. In other words, those skilled in the art can easily understand that many variations are possible without departing from the gist of the present invention.
10 : 차량
20a : 제1 위치 장애물
20b : 제2 위치 장애물
20c : 제3 위치 장애물
21 : 좌측 카메라 이미지
22 : 우측 카메라 이미지
23 : 합성 이미지
40 : 안전영역
50 : 경고영역
100 : 좌측 카메라
200 : 우측 카메라
300 : 차량충돌 알림장치
310 : 영상 입력부
320 : 영상 합성부
330 : 시차값 계산부
340 : 시차 변화율 계산부
350 : 차량 속도 계산부
360 : 충돌 감지부
370 : 충돌 경보 알림부
380 : 저장부
390 : 제어부10: Vehicle
20a: 1st position obstacle
20b: second position obstacle
20c: third position obstacle
21: Left camera image
22: Right camera image
23: Composite image
40: Safety zone
50: warning area
100: Left camera
200: Right camera
300: Vehicle crash notification device
310:
320:
330:
340: time difference change rate calculation unit
350: vehicle speed calculation unit
360:
370: crash alarm notification unit
380:
390:
Claims (7)
좌측 카메라로부터 좌측 이미지 및 우측 카메라로부터 우측 이미지를 획득하는 단계,
상기 관심 영역내에 존재하는 물체의 좌측 이미지 및 우측 이미지를 돌출시차(negative disparity)가 나타나도록 이미지 합성하는 단계,
상기 돌출시차에 기초하여 상기 물체와 상기 자율주행시스템의 떨어진 거리에 따라 각각 상기 물체의 돌출 시차값을 계산하고, 상기 돌출 시차값을 기초로 시차 변화율을 계산하는 단계,
상기 자율주행시스템의 현재 속도와 상기 시차 변화율을 기초로 자율주행시스템과 물체의 상대속도를 계산하는 단계, 및
상기 상대속도에 기초하여 상기 자율주행시스템과 상기 물체의 충돌 가능성 유무를 판단하는 단계를 포함하며,
상기 돌출시차는 평행방식 또는 교차방식을 통해 획득하고,
상기 평행방식 또는 상기 교차방식은 상기 돌출시차가 나타나도록 상기 좌측 카메라 및 우측 카메라의 광축을 설정하며,
상기 이미지 합성하는 단계는 좌측 카메라에서 촬영된 좌측 이미지와 우측 카메라에서 촬영된 우측 이미지를 교차 합성하는 것으로,
평행방식으로 촬영된 좌측 및 우측 이미지는 동일 평면상에서 가로축으로 불일치를 갖도록 합성하거나, 또한,
교차방식으로 촬영된 좌측 및 우측 이미지는 좌우 카메라의 광축이 교차하는 점을 중심으로 합성하며,
평행방식에서의 돌출 시차는 좌측 이미지 및 우측 이미지에 포함된 물체의 각 특징점을 기준으로 이미지 합성시 불일치된 가로 픽셀의 차이값이고, 또한,
교차방식에서의 돌출 시차는 좌측 및 우측 카메라의 광축 앞에서 촬영된 경우 생성되는 것을 특징으로 하는 특징으로 하는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 방법.
Setting a region of interest from an image captured by a camera provided in an autonomous navigation system,
Obtaining a left image from the left camera and a right image from the right camera,
A step of image compositing such that a left side image and a right side image of an object existing in the ROI appear as a negative disparity,
Calculating a projected parallax value of the object in accordance with the distance between the object and the autonomous travel system based on the projected parallax and calculating a time difference change rate based on the projected parallax value,
Calculating a relative speed between the autonomous mobile system and the object based on the current speed of the autonomous mobile system and the rate of change of the parallax, and
And determining whether there is a possibility of collision between the autonomous mobile system and the object based on the relative speed,
The projecting parallax is obtained through a parallel method or an intersection method,
Wherein the parallel method or the intersection method sets the optical axes of the left camera and the right camera such that the projecting parallax is displayed,
The image synthesizing step is a step of synthesizing the left image photographed by the left camera and the right image photographed by the right camera,
The left and right images photographed in a parallel manner are synthesized so as to have inconsistencies on the horizontal plane on the same plane,
The left and right images taken in the crossing manner are synthesized around the intersection point of the optical axes of the left and right cameras,
The protrusion parallax in the parallel method is the difference value of the mismatched horizontal pixels in the image synthesis based on the respective feature points of the objects included in the left image and the right image,
Wherein the projected parallax in the crossing method is generated when the image is taken in front of the optical axis of the left and right cameras.
상기 이미지 합성하는 단계는,
상기 관심영역내에 존재하는 복수의 물체를 각각 분리하여 각 물체마다 상기 좌측 이미지 및 상기 우측 이미지를 합성하거나,
또는, 상기 관심영역내에 존재하는 복수의 물체를 분리하지 않고 상기 좌측 이미지 및 상기 우측 이미지를 합성하는 것을 특징으로 하는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 방법.
The method according to claim 1,
Wherein the image synthesizing step comprises:
A left image and a right image are synthesized for each object by separating a plurality of objects existing in the ROI,
Or the left image and the right image are synthesized without separating a plurality of objects existing in the region of interest, wherein the left image and the right image are synthesized.
상기 돌출 시차값은,
상기 물체가 상기 자율주행시스템으로 접근하는 경우에는 커지고, 멀어지는 경우에는 작아지며, 상기 물체가 상기 자율주행시스템으로 접근하는 속도가 빨라지는 경우에는 상기 시차 변화율 값이 점점 증가하는 것을 특징으로 하는 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 방법.
The method according to claim 1,
The protruding time difference value
Wherein when the object approaches the autonomous traveling system, it becomes larger, and when the object moves away from the autonomous traveling system, it becomes smaller, and when the speed of approaching the object to the autonomous traveling system increases, the value of the parallax change rate gradually increases. A method for detecting an approach of an object using the rate of change of the projected time difference.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150025268A KR101747167B1 (en) | 2015-02-23 | 2015-02-23 | Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150025268A KR101747167B1 (en) | 2015-02-23 | 2015-02-23 | Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160103230A KR20160103230A (en) | 2016-09-01 |
| KR101747167B1 true KR101747167B1 (en) | 2017-06-15 |
Family
ID=56942440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150025268A KR101747167B1 (en) | 2015-02-23 | 2015-02-23 | Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101747167B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024019234A1 (en) * | 2022-07-21 | 2024-01-25 | 엘지전자 주식회사 | Obstacle recognition method and driving robot |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010146494A (en) * | 2008-12-22 | 2010-07-01 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3596339B2 (en) | 1999-03-15 | 2004-12-02 | 日産自動車株式会社 | Inter-vehicle distance measurement device |
| JP5311033B2 (en) | 2009-03-12 | 2013-10-09 | 凸版印刷株式会社 | Method for estimating thickness of target object |
| KR101242087B1 (en) | 2010-11-22 | 2013-03-11 | 엘지이노텍 주식회사 | The Alarming System of Vehicle And Method There of |
| KR20130125777A (en) | 2010-12-08 | 2013-11-19 | 톰슨 라이센싱 | Method and system for 3d display with adaptive disparity |
-
2015
- 2015-02-23 KR KR1020150025268A patent/KR101747167B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010146494A (en) * | 2008-12-22 | 2010-07-01 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160103230A (en) | 2016-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3362982B1 (en) | Systems and methods for producing an image visualization | |
| EP2914002B1 (en) | Virtual see-through instrument cluster with live video | |
| KR102034189B1 (en) | Method and device for visualizing the surroundings of a vehicle | |
| KR20190028667A (en) | Image generating apparatus, image generating method, and program | |
| EP2743889A2 (en) | Stereoscopic camera object detection system and method of aligning the same | |
| CN109263637B (en) | Collision prediction method and device | |
| JPH1139596A (en) | Outside monitoring device | |
| GB2556910A (en) | Virtual reality display | |
| JP6548900B2 (en) | Image generation apparatus, image generation method and program | |
| KR101600862B1 (en) | stereo vision system using a plurality of uav | |
| JP2007064804A (en) | Obstacle detecting device for vehicle | |
| EP2894601A1 (en) | Method for analyzing related images, image processing system, vehicle comprising such system and computer program product | |
| JP2013168063A (en) | Image processing device, image display system, and image processing method | |
| US20170061689A1 (en) | System for improving operator visibility of machine surroundings | |
| US20130021446A1 (en) | System and method for enhanced sense of depth video | |
| US20190241070A1 (en) | Display control device and display control method | |
| CN105793909B (en) | The method and apparatus for generating warning for two images acquired by video camera by vehicle-periphery | |
| JP2015179063A (en) | Parallax value derivation device, apparatus control system, moving body, robot, parallax value derivation method and program | |
| EP3761262B1 (en) | Image processing device and image processing method | |
| CN109951697B (en) | Method and apparatus for controlling stereoscopic 3D image in vehicle | |
| CN112052716A (en) | Identification device, identification method, and storage medium | |
| JP5299101B2 (en) | Peripheral display device | |
| JP6394940B2 (en) | Vehicle display system | |
| US20220314886A1 (en) | Display control device, display control method, moving body, and storage medium | |
| KR101747167B1 (en) | Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |