KR102132242B1 - Stereo Camera Rectification System - Google Patents

Stereo Camera Rectification System Download PDF

Info

Publication number
KR102132242B1
KR102132242B1 KR1020130132741A KR20130132741A KR102132242B1 KR 102132242 B1 KR102132242 B1 KR 102132242B1 KR 1020130132741 A KR1020130132741 A KR 1020130132741A KR 20130132741 A KR20130132741 A KR 20130132741A KR 102132242 B1 KR102132242 B1 KR 102132242B1
Authority
KR
South Korea
Prior art keywords
camera
image
distance
stereo
stereo camera
Prior art date
Application number
KR1020130132741A
Other languages
Korean (ko)
Other versions
KR20150051388A (en
Inventor
김주영
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130132741A priority Critical patent/KR102132242B1/en
Publication of KR20150051388A publication Critical patent/KR20150051388A/en
Application granted granted Critical
Publication of KR102132242B1 publication Critical patent/KR102132242B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 스테레오 카메라 보정 시스템은, 좌측카메라와 우측카메라를 통해 좌측이미지와 우측이미지를 입력받는 스테레오 카메라; 상기 스테레오 카메라로부터 상기 좌측 이미지와 우측 이미지를 각각 전송받아 디스패리티 맵을 생성하는 스테레오 매칭 모듈; 보정 파라메터를 저장한 PROM; 차량 전방의 물체와의 거리를 측정하는 RADAR 센서; 및 상기 디스패리티 맵과 PROM에 저장된 보정 파라메터를 통해 스테레오 이미지의 왜곡을 보정하는 CPU를 포함할 수 있다.The stereo camera correction system of the present invention includes a stereo camera that receives a left image and a right image through a left camera and a right camera; A stereo matching module that receives the left image and the right image from the stereo camera, and generates a disparity map; PROM storing correction parameters; A RADAR sensor that measures a distance from an object in front of the vehicle; And a CPU that corrects distortion of a stereo image through the disparity map and correction parameters stored in the PROM.

Description

스테레오 카메라 보정 시스템{Stereo Camera Rectification System}Stereo Camera Rectification System

본 발명은 스테레오 카메라 보정 시스템에 관한 것으로, 더 구체적으로는 스테레오 카메라를 구성하는 두 개의 카메라의 오차를 보정할 수 있는 스테레오 카메라 보정 시스템에 관한 것이다.
The present invention relates to a stereo camera correction system, and more particularly, to a stereo camera correction system capable of correcting errors of two cameras constituting a stereo camera.

최근, 차량의 안전성, 편리성 및 지능화를 위하여 카메라를 이용하여 도로, 차량, 보행자 등을 검출하는 연구가 진행되고 있다. 이와 같은 차량용 비전 기술은, 차선 이탈 경고와 같이 간단한 정보를 제공하는 시스템에서부터 조명, 날씨, 배경 등과 같은 복잡한 환경에서도 차량, 보행자, 교통 표지판등 다양한 객체를 인지하는 시스템으로 발전되고 있다. 특히, 스테레오 카메라를 이용한 비전 기술은 3차원 정보를 제공할 수 있으므로, 객체의 검출 및 위치 정보에 대한 신뢰성이 높아서 많이 연구되고 있다.
Recently, research has been conducted to detect roads, vehicles, and pedestrians using cameras for safety, convenience, and intelligence of vehicles. Such a vehicle vision technology has been developed from a system that provides simple information such as a lane departure warning to a system that recognizes various objects such as vehicles, pedestrians, and traffic signs in complex environments such as lighting, weather, and background. In particular, since the vision technology using a stereo camera can provide 3D information, it is highly researched because of the high reliability of object detection and location information.

이와 같은 스테레오 카메라 시스템은 일반적으로 차량에 설치된 두 개 이상의 카메라를 통해 차량 주변의 영상을 입력받아 이를 합성하여 운전자에게 디스플레이해 줌으로써, 차량 주변 상황을 시각적으로 인식할 수 있게 하여 운전자에게 매우 유용할 수 있다.
Such a stereo camera system can be very useful to the driver by visually recognizing the situation around the vehicle by inputting images around the vehicle through two or more cameras installed in the vehicle and synthesizing them and displaying them to the driver. have.

그러나, 이와 같은 스테레오 카메라 시스템은, 다수의 카메라를 차량에 설치하는 중에 카메라들이 설치되는 설치 위치 및 설치 각도의 차이로 인해 영상 처리 시점을 보정하여야 하여야 하며, 이와 같은 영상 보정을 위한 파라메터를 추출해야만 하였다.
However, in the case of such a stereo camera system, it is necessary to correct an image processing time point due to a difference between an installation position and an installation angle where the cameras are installed while installing a plurality of cameras in a vehicle, and extract parameters for such image correction. Did.

한국공개특허공보 제10-2013-0025005호(출원일 : 2011.08.30)Korean Patent Publication No. 10-2013-0025005 (Application date: 2011.08.30)

본 발명은 두 개의 카메라로 이루어진 스테레오 카메라에 있어서 조립 공차에 따른 카메라의 광축 변화를 인지하고 이에 대응하여 이미지를 보정할 수 있는 보정 파라메터를 추출할 수 있는 스테레오 카메라 보정 시스템을 제공하는 것을 목적으로 한다.
An object of the present invention is to provide a stereo camera correction system capable of extracting a correction parameter capable of recognizing a change in the optical axis of a camera according to an assembly tolerance in a stereo camera composed of two cameras and correcting an image in response thereto. .

본 발명의 스테레오 카메라 보정 시스템은, 좌측카메라와 우측카메라를 통해 좌측이미지와 우측이미지를 입력받는 스테레오 카메라; 상기 스테레오 카메라로부터 상기 좌측 이미지와 우측 이미지를 각각 전송받아 디스패리티 맵을 생성하는 스테레오 매칭 모듈; 보정 파라메터를 저장한 PROM; 차량 전방의 물체와의 거리를 측정하는 RADAR 센서; 및 상기 디스패리티 맵과 PROM에 저장된 보정 파라메터를 통해 스테레오 이미지의 왜곡을 보정하는 CPU를 포함할 수 있다.
Stereo camera correction system of the present invention, a stereo camera receiving the left image and the right image through the left camera and the right camera; A stereo matching module that receives the left image and the right image from the stereo camera and generates a disparity map; PROM storing correction parameters; A RADAR sensor that measures a distance from an object in front of the vehicle; And a CPU that corrects distortion of a stereo image through the disparity map and correction parameters stored in the PROM.

여기서, 상기 스테레오 카메라의 상기 좌측 및 우측카메라는 XYZ축 월드좌표계에 설치되며, 상기 Y축 방향으로의 평행이동 및 회전에 대한 보정 파라메터와 상기 X축 방향으로의 평행이동 및 회전에 대한 보정 파라메터가 산출될 수 있다.
Here, the left and right cameras of the stereo camera are installed in the world coordinate system of the XYZ axis, and there are correction parameters for parallel movement and rotation in the Y-axis direction and correction parameters for parallel movement and rotation in the X-axis direction. Can be calculated.

또한, 상기 CPU는 상기 좌측이미지와 우측이미지의 라인 스캐닝을 통한 특징점을 추출하여 상기 좌측 또는 우측카메라의 Y축 방향의 오차를 보정하는 보정 파라메터를 산출할 수 있다.
In addition, the CPU may calculate a correction parameter that corrects an error in the Y-axis direction of the left or right camera by extracting feature points through line scanning of the left and right images.

또한, 상기 CPU는 상기 디스패리티 맵을 통해 상기 차량 전방의 물체와의 거리를 산출한 산출거리와 상기 RADAR 센서를 통해 상기 물체와의 거리를 측정한 측정거리를 비교하여 상기 좌측 또는 우측카메라의 X축 방향의 오차를 보정하는 보정 파라메터를 산출할 수 있다.
In addition, the CPU compares the calculated distance at which the distance to the object in front of the vehicle is calculated through the disparity map with the measured distance at which the distance to the object is measured through the RADAR sensor, and the X of the left or right camera is compared. It is possible to calculate correction parameters that correct errors in the axial direction.

또한, 상기 산출거리는 동일 물체가 상기 좌측카메라의 이미지센서에 입력되는 위치(xl)와 우측카메라의 이미지센서에 입력되는 위치(xr), 상기 좌측카메라의 광축 중심과 우측카메라의 광축 중심 사이의 거리(T), 그리고 렌즈의 초점거리(f)를 이용하여 산출될 수 있다.
Further, the calculated distance is between the position (x l ) where the same object is input to the image sensor of the left camera and the position (x r ) that is input to the image sensor of the right camera, between the center of the optical axis of the left camera and the center of the optical axis of the right camera. It can be calculated using the distance (T), and the focal length (f) of the lens.

본 발명의 스테레오 카메라 보정시스템에 따르면 좌측 또는 우측 카메라의 광축 변화에 대응하는 보정 파라메터를 더욱 정밀하게 산출하여 이미지를 보정할 수 있다.
According to the stereo camera correction system of the present invention, it is possible to correct an image by more accurately calculating correction parameters corresponding to changes in the optical axis of the left or right camera.

도 1은 본 발명의 스테레오 카메라 보정 시스템의 개략도;
도 2는 월드 좌표계에 설치된 스테레오 카메라의 개략도;
도 3은 스테레오 카메라를 통해 수집된 이미지의 개략도;
도 4는 디스패리티를 이용하여 산출된 산출거리를 나타내는 개략도; 및
도 5는 RADAR 센서를 통해 측정된 측정거리와 도 4의 산출거리를 비교하는 것을 나타내는 개략도;이다.1 is a schematic diagram of a stereo camera calibration system of the present invention;
2 is a schematic diagram of a stereo camera installed in a world coordinate system;
3 is a schematic diagram of an image collected through a stereo camera;
4 is a schematic diagram showing a calculated distance calculated using disparity; And
5 is a schematic diagram showing a comparison of the measured distance measured by the RADAR sensor and the calculated distance of FIG. 4.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the person having the scope of the invention, and the present invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 공지된 구조 및 공지된 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.Thus, in some embodiments, well-known process steps, known structures, and known techniques are not specifically described in order to avoid obscuring the present invention.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다" 및/또는 "포함하는"은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, “comprises” and/or “comprising” is used in a sense that does not exclude the presence or addition of one or more other components, steps and/or actions other than the stated components, steps and/or actions. do. And, “and/or” includes each and every combination of one or more of the items mentioned.

또한, 본 명세서에서 기술된 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.In addition, the embodiments described herein will be described with reference to perspective views, cross-sectional views, side views and/or schematic views, which are ideal exemplary views of the present invention. Therefore, the shape of the exemplary diagram may be modified by manufacturing technology and/or tolerance. Accordingly, the embodiments of the present invention are not limited to the specific shapes shown, but also include changes in shapes generated according to the manufacturing process. In addition, in each drawing shown in the present invention, each component may be illustrated to be slightly enlarged or reduced in consideration of convenience of description.

이하, 첨부한 도면을 참조로 본 발명의 실시예에 따른 스테레오 카메라 보정 시스템에 대해 상세하게 설명하도록 한다.
Hereinafter, a stereo camera correction system according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1에 도시한 바와 같이, 본 발명의 바람직한 실시예에 따른 스테레오 카메라 보정 시스템(100)은 스테레오 카메라(110)로부터 좌측 이미지와 우측 이미지를 각각 전송받아 디스패리티 맵을 생성하여 Depth 이미지를 CPU(150)로 전송하는 스테레오 매칭 모듈(120), 보정 파라메터를 저장한 PROM(130), 차량 전방의 물체와의 거리정보를 측정하는 RADAR 센서(140) 및 Depth 이미지와 거리정보 및 PROM에 저장된 보정 파라메터를 통해 스테레오 이미지의 왜곡을 보정하는 CPU(150)를 포함할 수 있다.
As shown in FIG. 1, the stereo camera correction system 100 according to a preferred embodiment of the present invention receives the left image and the right image from the stereo camera 110, respectively, and generates a disparity map to generate a depth image CPU ( 150), the stereo matching module 120, the PROM 130 storing the correction parameters, the RADAR sensor 140 measuring the distance information to the object in front of the vehicle, and the depth image and the distance information and the correction parameters stored in the PROM It may include a CPU 150 for correcting the distortion of the stereo image through.

스테레오 카메라(110)는 좌측카메라(111)와 우측카메라(112)를 통해 차량 전방의 좌측 이미지와 우측 이미지를 획득하고 이를 스테레오 매칭 모듈(120)로 전송하며, 스테레오 매칭 모듈(120)은 좌측 및 우측 이미지를 통해 디스패리티 맵을 생성하고 Depth 이미지를 CPU(150)로 전송할 수 있다.
The stereo camera 110 acquires the left and right images in front of the vehicle through the left camera 111 and the right camera 112 and transmits them to the stereo matching module 120, and the stereo matching module 120 A disparity map may be generated through the right image and the depth image may be transmitted to the CPU 150.

CPU(150)는 PROM(130)에 미리 저장된 보정 파라메터와 RADAR 센서로부터 측정된 대상물의 거리, Depth 이미지 등을 통해 스테레오 카메라(110)로부터 획득된 이미지의 보정을 실시할 수 있다.
The CPU 150 may correct the image acquired from the stereo camera 110 through a correction parameter stored in the PROM 130 in advance, a distance of an object measured from the RADAR sensor, a depth image, and the like.

이때, 두 개의 이미지의 라인 스캔을 통해 좌측 또는 우측카메라(111,112)의 Y축 방향으로의 이동이나 회전에 대한 보정이 실시될 수 있고, 디스패리티 맵의 양안시차(디스패리티)를 이용해 산출된 이미지의 특정 대상물까지의 거리와 RADAR 센서(140)를 통해 측정된 동일 특정 대상물까지의 거리를 비교하여 좌측 또는 우측카메라(111,112)의 X축 방향으로의 이동이나 회전에 대한 보정 파라메터를 산출하고 이를 통해 이미지의 보정이 실시될 수 있다.
At this time, correction of movement or rotation of the left or right cameras 111 and 112 in the Y-axis direction through line scan of two images may be performed, and an image calculated using binocular disparity (disparity) of the disparity map Comparing the distance to the specific object and the distance to the same specific object measured by the RADAR sensor 140 calculates the correction parameters for movement or rotation of the left or right cameras 111 and 112 in the X-axis direction. Correction of the image can be performed.

상술한 구성을 갖는 스테레오 카메라 보정 시스템(100)은 이하 도 2 내지 5를 통해 더 구체적으로 설명하기로 한다.
The stereo camera correction system 100 having the above-described configuration will be described in more detail with reference to FIGS. 2 to 5 below.

도 1 및 도 2에 도시한 바와 같이, 스테레오 카메라(110)는 차량의 전방에 설치되는 좌측카메라(111)와 우측카메라(112)를 포함하며, 좌측 및 우측카메라(112)는 XYZ축의 월드 좌표계의 원점에 위치하는 것으로 가정할 수 있다. 좌측 및 우측카메라(111,112)의 광축은 Z축 좌표계로 지정될 수 있다.
1 and 2, the stereo camera 110 includes a left camera 111 and a right camera 112 installed in front of the vehicle, and the left and right cameras 112 are world coordinate systems of the XYZ axis. It can be assumed to be located at the origin of. The optical axes of the left and right cameras 111 and 112 may be designated as a Z-axis coordinate system.

이와 같은 스테레오 카메라(110)는 차량에 설치할 시 X축, Y축 및 Z축에서 조립공차가 발생할 수 있으며, 좌측카메라(111) 또는 우측카메라(112)가 Y축 방향으로 상하 이동되어 설치되는 경우, X축을 중심으로 회전되어 설치되는 경우, X축 방향으로 평행 이동되어 설치되는 경우, Y축을 중심으로 회전되어 설치되는 경우가 발생할 수 있다.
When the stereo camera 110 is installed in a vehicle, assembly tolerances may occur in the X-axis, Y-axis, and Z-axis, and when the left camera 111 or the right camera 112 is moved up and down in the Y-axis direction and installed. , When rotated around the X-axis, installed parallel to the X-axis direction, may be rotated around the Y-axis to be installed.

도 2에 도시한 바와 같이, 좌측 또는 우측카메라(111,112)가 Y축을 중심으로 상하 이동되어 설치되는 경우에는 도 3a와 같이 영상이 입력될 수 있고, X축을 중심으로 상하 회전되어 설치되는 경우는 도 3b와 같이 영상이 입력될 수 있다.
As shown in FIG. 2, when the left or right cameras 111 and 112 are installed by moving up and down around the Y axis, an image may be input as shown in FIG. 3A, and when installed by rotating up and down around the X axis. An image may be input as shown in 3b.

이와 같은 경우, 이미지를 보정하기 위한 파라메터는 좌/우 영상으로부터 추출된 특징점을 비교하여 보정 파라메터가 추출될 수 있다. 구체적으로는 좌측 영상과 우측 영상의 복수 라인에서 특징점을 추출하고 좌측 영상과 우측 영상의 동일 특징점 사이의 상하 이동 편차 또는 상하 회전 각도를 추출함에 의해 좌측 영상에 대한 우측 영상의 상하 평행이동 또는 상하 회전각도에 대한 보정 파라메터를 추출할 수 있다.
In this case, the parameter for correcting the image may be extracted by comparing feature points extracted from the left/right images. Specifically, by extracting a feature point from a plurality of lines of the left image and the right image and extracting a vertical movement deviation or a vertical rotation angle between the same feature point of the left image and the right image, vertical translation or vertical rotation of the right image with respect to the left image is extracted. Correction parameters for angles can be extracted.

즉, 좌측 및 우측카메라(111,112)가 Y축 방향으로 평행이동하거나 회전되는 경우의 파라메터는 좌측 및 우측 영상의 라인 스캔을 통해 용이하게 추출되어 PROM(130)에 저장될 수 있다.
That is, the parameters when the left and right cameras 111 and 112 are moved or rotated in the Y-axis direction can be easily extracted through the line scan of the left and right images and stored in the PROM 130.

한편, 도 5에 도시한 바와 같이, 좌측 또는 우측카메라(111,112)가 X축에 대해 평행하게 회전되는 경우에는 도 3c와 같이 좌측 영상에 대해 우측 영상이 회전되어 입력될 수 있다. 이와 같은 경우는 좌측 영상과 우측 영상의 특징점 추출 및 비교를 통해 회전에 대한 보정 파라메터를 설정하기 극히 어려울 수 있다.
Meanwhile, as illustrated in FIG. 5, when the left or right cameras 111 and 112 are rotated parallel to the X axis, the right image may be rotated and input with respect to the left image as shown in FIG. 3C. In this case, it may be extremely difficult to set a correction parameter for rotation by extracting and comparing feature points of the left image and the right image.

이와 같은 경우, 즉 스테레오 카메라(110)의 광축이 좌우로 이동되거나 회전된 경우 보정 파라메터를 설정하기 위해, 차량 전방의 장애물과의 거리를 측정하는 방법과 차량 전방 장애물과의 거리를 감지하는 RADAR 센서를 통해 측정된 거리를 비교함으로써, 보정 파라메터를 추출할 수 있다.
In this case, that is, in order to set a correction parameter when the optical axis of the stereo camera 110 is moved to the left or right, a method of measuring the distance to the obstacle in front of the vehicle and a RADAR sensor to detect the distance to the obstacle in front of the vehicle By comparing the distances measured through, correction parameters can be extracted.

도 4에 도시한 바와 같이, 스테레오 카메라(110)의 좌측카메라(111)와 우측카메라(112)에 있어서, 동일 대상물이 좌측카메라(111)의 이미지센서(111a)에 입력되는 위치(xl)와 우측카메라(112)의 이미지센서(112a)에 입력되는 위치(xr), 좌측카메라(111)의 광축 중심과 우측카메라(112)의 광축 중심 사이의 거리(T), 그리고 렌즈(미도시)의 초점거리(f)를 이용하여 스테레오 카메라(110)와 대상물까지의 거리(Z)를 산출할 수 있다.
As shown in FIG. 4, in the left camera 111 and the right camera 112 of the stereo camera 110, the same object is input to the image sensor 111a of the left camera 111 (x l ). And a position (x r ) input to the image sensor 112a of the right camera 112, a distance T between the center of the optical axis of the left camera 111 and the center of the optical axis of the right camera 112, and a lens (not shown) ), the distance Z between the stereo camera 110 and the object can be calculated using the focal length f.

도 5에 도시한 바와 같이, 본 실시예에서는 스테레오 카메라(110)의 디스패리티(disparity; d=xl-xr)를 이용하여 산출된 특정 대상물까지의 산출거리와 RADAR 센서를 통해 측정된 동일 대상물까지의 측정거리를 비교하여 좌측 또는 우측카메라(111,112)의 X축 방향으로의 회전 또는 평행이동을 감지할 수 있다.
As shown in FIG. 5, in this embodiment, the calculated distance to a specific object calculated using the disparity (d=x l -x r ) of the stereo camera 110 and the same measured through the RADAR sensor By comparing the measurement distance to the object, it is possible to detect rotation or parallel movement of the left or right cameras 111 and 112 in the X-axis direction.

좌측카메라(111)와 우측카메라(112)가 정확하게 조립된 경우, 디스패리티를 이용해 산출된 산출거리와 RADAR 센서를 통해 측정된 측정거리의 오차는 매우 작게 나타나나, 광축이 X축 방향으로 평행이동하거나 회전된 경우 산출거리와 측정거리 사이에 오차가 발생하게 된다.
When the left camera 111 and the right camera 112 are correctly assembled, the error between the calculated distance calculated using disparity and the measured distance measured by the RADAR sensor appears very small, but the optical axis moves parallel to the X axis direction. Or, if it is rotated, an error occurs between the calculated distance and the measured distance.

이와 같은 오차를 이용하여 좌측 또는 우측카메라(112)의 보정 파라메터를 산출할 수 있으며, 이와 같이 산출된 보정 파라메터는 PROM에 저장되어 이미지의 합성시 반영될 수 있다.
The correction parameter of the left or right camera 112 may be calculated using the error, and the calculated correction parameter may be stored in the PROM and reflected when the image is synthesized.

이상, 본 발명의 바람직한 실시예들을 참조로 본 발명의 스테레오 카메라 보정 시스템에 대하여 설명하였지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
In the above, the stereo camera correction system of the present invention has been described with reference to preferred embodiments of the present invention, but a person having ordinary knowledge in the technical field to which the present invention pertains may change the present invention without changing its technical spirit or essential features. It will be understood that it may be implemented in a specific form. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the scope of the claims, which will be described later, rather than the detailed description, and all the modified or modified forms derived from the meaning and scope of the claims and their equivalent concepts are included in the scope of the present invention. Should be interpreted.

100 : 스테레오 카메라 보정 시스템
110 : 스테레오 카메라
111 : 좌측 카메라
112 : 우측 카메라
111a, 112a : 이미지 센서
120 : 스테레오 매칭 모듈
130 : PROM
140 : RADAR 센서
150 : CPU100: stereo camera calibration system
110: stereo camera
111: left camera
112: right camera
111a, 112a: Image sensor
120: stereo matching module
130: PROM
140: RADAR sensor
150: CPU

Claims (5)

좌측카메라와 우측카메라를 통해 좌측이미지와 우측이미지를 입력받는 스테레오 카메라;
상기 스테레오 카메라로부터 상기 좌측 이미지와 우측 이미지를 각각 전송받아 디스패리티 맵을 생성하는 스테레오 매칭 모듈;
보정 파라메터를 저장한 PROM;
차량 전방의 물체와의 거리를 측정하는 RADAR 센서; 및
상기 디스패리티 맵과 PROM에 저장된 보정 파라메터를 통해 스테레오 이미지의 왜곡을 보정하는 CPU를 포함하고,
상기 스테레오 카메라의 상기 좌측 및 우측카메라는 XYZ축 월드좌표계에 설치되며, Y축 방향으로의 평행이동 및 회전에 대한 보정 파라메터와 X축 방향으로의 평행이동 및 회전에 대한 보정 파라메터가 산출되며,
상기 CPU는 상기 좌측이미지와 우측이미지의 라인 스캐닝을 통한 특징점을 추출하여, 좌측이미지 또는 우측이미지의 상하 평행이동 또는 상하 회전각도에 대한 보정 파라메터를 추출하는 것을 특징으로 하는 스테레오 카메라 보정 시스템.
A stereo camera receiving left and right images through the left and right cameras;
A stereo matching module that receives the left image and the right image from the stereo camera and generates a disparity map;
PROM storing correction parameters;
A RADAR sensor that measures a distance from an object in front of the vehicle; And
And a CPU for correcting distortion of a stereo image through the disparity map and correction parameters stored in the PROM,
The left and right cameras of the stereo camera are installed in the world coordinate system of the XYZ axis, and the correction parameters for parallel movement and rotation in the Y-axis direction and the correction parameters for parallel movement and rotation in the X-axis direction are calculated,
The CPU extracts a feature point through line scanning of the left image and the right image, and extracts a correction parameter for vertical movement or vertical rotation of the left image or right image.
삭제delete 청구항 1에 있어서,
상기 CPU는 상기 좌측 또는 우측카메라의 Y축 방향의 오차를 보정하는 보정 파라메터를 산출하는 것을 특징으로 하는 스테레오 카메라 보정 시스템.
The method according to claim 1,
And the CPU calculates a correction parameter that corrects an error in the Y-axis direction of the left or right camera.
청구항 3에 있어서,
상기 CPU는 상기 디스패리티 맵을 통해 상기 차량 전방의 물체와의 거리를 산출한 산출거리와 상기 RADAR 센서를 통해 상기 물체와의 거리를 측정한 측정거리를 비교하여 상기 좌측 또는 우측카메라의 X축 방향의 오차를 보정하는 보정 파라메터를 산출하는 것을 특징으로 하는 스테레오 카메라 보정 시스템.
The method according to claim 3,
The CPU compares the calculated distance at which the distance to the object in front of the vehicle is calculated through the disparity map with the measured distance at which the distance to the object is measured through the RADAR sensor, and the X-axis direction of the left or right camera Stereo camera correction system, characterized in that for calculating a correction parameter to correct the error.
청구항 4에 있어서,
상기 산출거리는 동일 물체가 상기 좌측카메라의 이미지센서에 입력되는 위치(xl)와 우측카메라의 이미지센서에 입력되는 위치(xr), 상기 좌측카메라의 광축 중심과 우측카메라의 광축 중심 사이의 거리(T), 그리고 렌즈의 초점거리(f)를 이용하여 산출되는 것을 특징으로 하는 스테레오 카메라 보정 시스템.
The method according to claim 4,
The calculated distance is the position between the same object input to the image sensor of the left camera (x l ) and the position input to the image sensor of the right camera (x r ), the distance between the center of the optical axis of the left camera and the center of the optical axis of the right camera (T), and a stereo camera correction system, characterized in that calculated using the focal length (f) of the lens.
KR1020130132741A 2013-11-04 2013-11-04 Stereo Camera Rectification System KR102132242B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130132741A KR102132242B1 (en) 2013-11-04 2013-11-04 Stereo Camera Rectification System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130132741A KR102132242B1 (en) 2013-11-04 2013-11-04 Stereo Camera Rectification System

Publications (2)

Publication Number Publication Date
KR20150051388A KR20150051388A (en) 2015-05-13
KR102132242B1 true KR102132242B1 (en) 2020-07-10

Family

ID=53388879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130132741A KR102132242B1 (en) 2013-11-04 2013-11-04 Stereo Camera Rectification System

Country Status (1)

Country Link
KR (1) KR102132242B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822895B1 (en) 2016-04-07 2018-01-29 엘지전자 주식회사 Driver assistance apparatus and Vehicle
KR101766149B1 (en) 2016-07-05 2017-08-07 현대자동차주식회사 Apparatus and Method for Stereo Matching which needs small Computation
KR20200030305A (en) 2018-09-12 2020-03-20 삼성전자주식회사 Learning data generation method for image processing, image processing method, and apparatus thereof
KR20200132468A (en) 2019-05-17 2020-11-25 삼성전자주식회사 Advanced driver assist device and method of detecting object in the same
US11457196B2 (en) 2019-08-28 2022-09-27 Snap Inc. Effects for 3D data in a messaging system
US11488359B2 (en) 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
WO2021042134A1 (en) * 2019-08-28 2021-03-04 Snap Inc. Generating 3d data in a messaging system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101752690B1 (en) * 2010-12-15 2017-07-03 한국전자통신연구원 Apparatus and method for correcting disparity map
KR101272257B1 (en) 2011-08-30 2013-06-19 에스엘 주식회사 Apparatus and method for compensating around image of vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method

Also Published As

Publication number Publication date
KR20150051388A (en) 2015-05-13

Similar Documents

Publication Publication Date Title
KR102132242B1 (en) Stereo Camera Rectification System
JP6825569B2 (en) Signal processor, signal processing method, and program
US10341633B2 (en) Systems and methods for correcting erroneous depth information
US9386302B2 (en) Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
JP5588812B2 (en) Image processing apparatus and imaging apparatus using the same
US10909395B2 (en) Object detection apparatus
WO2017057042A1 (en) Signal processing device, signal processing method, program, and object detection system
JP6019646B2 (en) Misalignment detection apparatus, vehicle, and misalignment detection method
US20150279017A1 (en) Stereo image processing device for vehicle
CN106289159B (en) Vehicle distance measurement method and device based on distance measurement compensation
CN105445721A (en) Combined calibrating method of laser radar and camera based on V-shaped calibrating object having characteristic protrusion
KR102117313B1 (en) Gradient estimation device, gradient estimation method, computer program, and controlling system
JP6597792B2 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method and program
WO2017104574A1 (en) Image processing device, object recognition device, apparatus control system, image processing method and program
KR102569437B1 (en) Apparatus and method tracking object based on 3 dimension images
KR20140137577A (en) Apparatus and method for providing vehicle of circumference environment information
US9373175B2 (en) Apparatus for estimating of vehicle movement using stereo matching
JP2016200557A (en) Calibration device, distance measurement apparatus and calibration method
JP6543935B2 (en) PARALLEL VALUE DERIVING DEVICE, DEVICE CONTROL SYSTEM, MOBILE OBJECT, ROBOT, PARALLEL VALUE DERIVING METHOD, AND PROGRAM
Nedevschi Online cross-calibration of camera and lidar
JPWO2017099199A1 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method and program
JP2019128350A (en) Image processing method, image processing device, on-vehicle device, moving body and system
JP2010066595A (en) Environment map generating device and environment map generating method
Azam et al. Data fusion of lidar and thermal camera for autonomous driving
CN107924570A (en) Method for the vision system and control vision system of motor vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right