KR102477480B1 - Apparatus for calibrating for around view camera and method thereof - Google Patents
Apparatus for calibrating for around view camera and method thereof Download PDFInfo
- Publication number
- KR102477480B1 KR102477480B1 KR1020180032133A KR20180032133A KR102477480B1 KR 102477480 B1 KR102477480 B1 KR 102477480B1 KR 1020180032133 A KR1020180032133 A KR 1020180032133A KR 20180032133 A KR20180032133 A KR 20180032133A KR 102477480 B1 KR102477480 B1 KR 102477480B1
- Authority
- KR
- South Korea
- Prior art keywords
- corner points
- calibration
- input
- unit
- corner
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H04N5/23238—
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
어라운드뷰 모니터 시스템의 카메라 캘리브레이션 장치 및 그 방법이 제공된다. 본 발명의 실시예에 따른 어라운드뷰 모니터 시스템의 카메라 캘리브레이션 장치는 어라운드뷰 카메라로부터 N×N 체크보드 이미지를 입력받고, 체크보드에서 코너포인트를 검출하는 코너포인트 검출부; 체크보드에서 임의의 수의 코너포인트를 이용하여 캘리브레이션하는 캘리브레이션부; 캘리브레이션의 결과에 따른 전체 재투영 에러를 연산하는 에러 연산부; 및 현재 연산된 전체 재투영 에러와 이전에 연산된 전체 재투영 에러를 비교하여, 현재 연산된 전체 재투영 에러가 이전에 연산된 전체 재투영 에러보다 크거나 같은 경우, 현재 코너포인트의 수를 최적 수로 하여 캘리브레이션 파라미터를 결정하는 결정부;를 포함한다. An apparatus and method for calibrating a camera of an around-view monitor system are provided. An apparatus for calibrating a camera of an around-view monitor system according to an embodiment of the present invention includes: a corner point detection unit receiving N×N checkerboard images from an around-view camera and detecting corner points on the checkerboard; a calibration unit for calibrating using a random number of corner points in the checker board; an error calculation unit that calculates a total reprojection error according to a calibration result; and comparing the currently computed total reprojection error with the previously computed total reprojection error, and if the currently computed total reprojection error is greater than or equal to the previously computed total reprojection error, the current number of corner points is optimally calculated. and a determination unit for determining a calibration parameter based on a number.
Description
본 발명은 어라운드뷰 모니터 시스템에 관한 것으로, 특히, 코너포인트 검출 및 캘리브레이션을 위한 코너포인트의 최적 수의 결정을 자동으로 수행하는 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법에 관한 것이다. The present invention relates to an around-view monitor system, and more particularly, to a calibration apparatus and method for an around-view camera that automatically detects corner points and determines the optimum number of corner points for calibration.
최근 차량은 전방 카메라, 후방 카메라, 사이드 뷰 카메라의 사용이 확산되어 왔다. 이들 카메라는 종종 운전자를 돕기 위해 사용되며 차량의 안정성을 개선할 수 있다.Recently, the use of a front camera, a rear camera, and a side view camera has been spread in vehicles. These cameras are often used to assist drivers and can improve vehicle stability.
이러한 카메라가 전형적인 후방 및 사이드뷰 미러에 의해 제공할 수 없는 뷰를 제공하는 것으로 알려져 있지만, 이들 카메라 역시 사각지대를 갖는다. 사각 지대에 더하여, 이러한 카메라에 의해 제공되는 뷰는 종종 차량과 다른 객체 사이의 공간이 실제보다 크다고 운전자에게 제공한다는 측면에서 이러한 카메라는 위험할 수 있다. Although these cameras are known to provide views that cannot be provided by typical rear and side view mirrors, they also have blind spots. In addition to blind spots, these cameras can be dangerous in that the view provided by these cameras often gives the driver that the space between the vehicle and other objects is larger than it actually is.
이에 따라 차량과 다른 객체의 위치 관계를 정확하게 제공하기 위해 어라운드뷰 카메라의 캘리브레이션을 수행한다. Accordingly, the around-view camera is calibrated to accurately provide a positional relationship between the vehicle and other objects.
그러나 종래의 어라운드뷰 카메라의 캘리브레이션은 모든 카메라의 캘리브레이션을 수행하기 위해 체크보드 패턴에서 코너포인트를 수동으로 마킹해야 한다. 이는 정확도는 높을 수 있지만, 사용자의 개입에 의한 에러의 경향이 매우 크고, 체크보드 패턴의 크기에 따라 입력횟수가 기하급수적으로 증가하여 많은 시간이 소요된다. 따라서 전체 캘리브레이션의 절차가 복합하고 많은 시간이 소요되는 실정이다. However, the calibration of conventional around-view cameras requires manual marking of corner points in a checkerboard pattern in order to perform calibration of all cameras. Although this may have high accuracy, the error tendency due to user intervention is very high, and the number of inputs increases exponentially according to the size of the checkerboard pattern, so it takes a lot of time. Therefore, the entire calibration process is complicated and takes a lot of time.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 캘리브레이션을 위한 패턴을 자동을 검출하고, 최적화되어 더 간단한 패턴을 사용하여 절차가 간단하여 소요 시간을 단축할 수 있는 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법을 제공하고자 한다.In order to solve the problems of the prior art as described above, an embodiment of the present invention automatically detects a pattern for calibration and uses an optimized and simpler pattern to simplify the process and reduce the required time. It is intended to provide a camera calibration device and method.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 어라운드뷰 카메라로부터 N×N 체크보드 이미지를 입력받고, 상기 체크보드에서 코너포인트를 검출하는 코너포인트 검출부; 상기 체크보드에서 임의의 수의 코너포인트를 이용하여 캘리브레이션하는 캘리브레이션부; 상기 캘리브레이션의 결과에 따른 전체 재투영 에러를 연산하는 에러 연산부; 및 현재 연산된 전체 재투영 에러와 이전에 연산된 전체 재투영 에러를 비교하여, 상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 크거나 같은 경우, 상기 현재 코너포인트의 수를 최적 수로 하여 캘리브레이션 파라미터를 결정하는 결정부;를 포함하는 어라운드뷰 카메라의 캘리브레이션 장치가 제공된다. According to one aspect of the present invention for solving the above problems, a corner point detection unit receiving an N×N checkerboard image from an around-view camera and detecting a corner point on the checkerboard; a calibration unit for calibrating using an arbitrary number of corner points in the checkboard; an error calculation unit that calculates a total reprojection error according to a result of the calibration; and comparing a currently computed total reprojection error with a previously computed total reprojection error, if the currently computed total reprojection error is greater than or equal to the previously computed total reprojection error, of the current corner point. An apparatus for calibrating an around-view camera including a determining unit determining a calibration parameter by using the number as an optimal number is provided.
일 실시예에서, 상기 결정부는 상기 코너포인트의 수를 증가시키면서 상기 캘리브레이션 및 상기 재투영 에러 연산을 재수행도록 상기 캘리브레이션부 및 상기 연산부을 제어하고, 상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 작은 경우, 상기 현재 코너포인트의 수가 상기 체크보드에서 검출된 코너포인트의 수보다 크거나 같으면 상기 체크보드에서 검출된 코너포인트의 수를 상기 최적 수로 결정할 수 있다.In one embodiment, the determination unit controls the calibration unit and the operation unit to re-perform the calibration and the reprojection error calculation while increasing the number of corner points, and the currently calculated total reprojection error is the previously calculated If the current number of corner points is greater than or equal to the number of corner points detected in the checkerboard, the number of corner points detected in the checkerboard may be determined as the optimum number.
일 실시예에서, 상기 캘리브레이션부는 상기 체크보드의 코너포인트를 실좌표계로 투영한 후 다시 이미지 좌표계로 투영할 수 있다.In one embodiment, the calibration unit may project the corner points of the checkerboard into a real coordinate system and then project them into an image coordinate system.
일 실시예에서, 상기 에러 연산부는 상기 체크보드의 상기 코너포인트를 실좌표계로 투영한 위치와 다시 이미지 좌표계로 투영한 위치의 차이를 연산할 수 있다.In one embodiment, the error calculation unit may calculate a difference between a position where the corner point of the checkerboard is projected in a real coordinate system and a position where it is projected again in an image coordinate system.
일 실시예에서, 상기 코너포인트 검출부는 상기 입력된 이미지에서 상기 코너포인트를 추출하는 추출부; 및 상기 입력된 이미지에서 모든 코너포인트를 추출하였는지의 여부를 입력부를 통하여 입력받고, 상기 모든 코너포인트를 추출하지 않은 경우, 상기 입력된 이미지 상에 추출되지 않은 코너포인트를 상기 입력부의 입력에 따라 마킹하는 마킹부를 포함할 수 있다.In an embodiment, the corner point detection unit may include an extraction unit extracting the corner point from the input image; and whether all corner points have been extracted from the input image is input through the input unit, and if all corner points are not extracted, corner points that have not been extracted on the input image are marked according to the input of the input unit. It may include a marking unit to.
일 실시예에서, 상기 코너포인트 검출부는 상기 모든 코너포인트에 대하여 코너포인트의 방향이 부적합한지의 여부를 상기 입력부를 통하여 입력받고, 상기 코너포인트의 방향이 부적합한 경우, 상기 입력부의 입력에 따라 상기 코너포인트를 회전하는 보정부를 더 포함할 수 있다.In one embodiment, the corner point detection unit receives whether or not the direction of the corner point is inappropriate for all the corner points through the input unit, and if the direction of the corner point is inappropriate, the corner point is detected according to the input of the input unit. A correction unit for rotating the point may be further included.
본 발명의 다른 측면에 따르면, 입력된 N×N 체크보드 이미지에서 코너포인트를 검출하는 단계; 상기 체크보드에서 임의의 수의 코너포인트를 이용하여 캘리브레이션하는 단계; 상기 캘리브레이션의 결과에 따른 전체 재투영 에러를 연산하는 단계; 현재 연산된 전체 재투영 에러와 이전에 연산된 전체 재투영 에러를 비교하는 단계; 및 상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 크거나 같은 경우, 현재 코너포인트의 수를 최적 수로 하여 캘리브레이션 파라미터를 결정하는 단계;를 포함하는 어라운드뷰 카메라의 캘리브레이션 방법이 제공된다. According to another aspect of the present invention, detecting a corner point in the input N × N checkerboard image; Calibrating using an arbitrary number of corner points on the checkboard; calculating a total reprojection error according to a result of the calibration; comparing a currently computed total reprojection error with a previously computed total reprojection error; and if the currently calculated total reprojection error is greater than or equal to the previously calculated total reprojection error, determining a calibration parameter using the current number of corner points as an optimal number. is provided.
일 실시예에서, 상기 어라운드뷰 카메라의 캘리브레이션 방법은 상기 코너포인트의 수를 증가시키면서 상기 캘리브레이션하는 단계 내지 상기 비교하는 단계를 재수행하는 단계;를 더 포함하고, 상기 파라미터를 결정하는 단계는 상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 작은 경우, 상기 현재 코너포인트의 수가 상기 체크보드에서 검출된 코너포인트의 수보다 크거나 같으면 상기 체크보드에서 검출된 코너포인트의 수를 상기 최적 수로 결정할 수 있다.In one embodiment, the method for calibrating the around-view camera further includes re-performing the calibrating step to the comparing step while increasing the number of corner points, wherein the determining of the parameters is based on the current calculation If the total reprojection error calculated is less than the total reprojection error calculated previously, the number of corner points detected in the checkerboard is calculated if the current number of corner points is greater than or equal to the number of corner points detected in the checkerboard. It can be determined by the above optimal number.
일 실시예에서, 상기 캘리브레이션하는 단계는 상기 체크보드의 코너포인트를 실좌표계로 투영한 후 다시 이미지 좌표계로 투영할 수 있다.In one embodiment, in the calibrating step, the corner points of the checkerboard may be projected to a real coordinate system and then projected to an image coordinate system.
일 실시예에서, 상기 연산하는 단계는 상기 체크보드의 상기 코너포인트를 실좌표계로 투영한 위치와 다시 이미지 좌표계로 투영한 위치의 차이를 연산할 수 있다.In one embodiment, the calculating step may calculate a difference between a position where the corner point of the checkerboard is projected in a real coordinate system and a position where it is projected again in an image coordinate system.
일 실시예에서, 상기 검출하는 단계는 상기 입력된 이미지에서 상기 코너포인트를 추출하는 단계; 상기 입력된 이미지에서 모든 코너포인트를 추출하였는지의 여부를 입력부를 통하여 입력받는 단계; 및 상기 모든 코너포인트를 추출하지 않은 경우, 상기 입력된 이미지 상에 추출되지 않은 코너포인트를 상기 입력부의 입력에 따라 마킹하는 단계;를 포함할 수 있다.In one embodiment, the detecting may include extracting the corner point from the input image; receiving an input through an input unit whether or not all corner points have been extracted from the input image; and if all of the corner points are not extracted, marking the corner points that are not extracted on the input image according to the input of the input unit.
일 실시예에서, 상기 검출하는 단계는 상기 모든 코너포인트에 대하여 코너포인트의 방향이 부적합한지의 여부를 상기 입력부를 통하여 입력받는 단계; 및 상기 코너포인트의 방향이 부적합한 경우, 상기 입력부의 입력에 따라 상기 코너포인트를 회전하는 단계;를 더 포함할 수 있다.In an embodiment, the detecting may include receiving an input through the input unit whether or not directions of corner points are inappropriate with respect to all the corner points; and rotating the corner point according to an input of the input unit when the direction of the corner point is inappropriate.
본 발명의 일 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법은 캘리브레이션시 최적화되어 더 간단한 패턴을 사용함으로써 캘리브레이션 절차를 단순화하여 소요 시간을 단축할 수 있다. An apparatus and method for calibrating an around-view camera according to an embodiment of the present invention is optimized for calibration and uses a simpler pattern, thereby simplifying a calibration procedure and reducing required time.
또한 본 발명은 체크보드 이미지에서 코너포인트를 자동으로 추출함으로써 사용자의 개입을 최소화할 수 있으므로 코너포인트 마킹에 따른 소요시간을 단축할 수 있다.In addition, since the present invention can minimize the user's intervention by automatically extracting corner points from the checkerboard image, the time required for marking the corner points can be shortened.
또한 본 발명은 코너포인트의 추출 결과를 확인하여 누락된 부분을 수동으로 마킹함으로써 이미지의 화질이 나쁜 경우에도 모든 코너포인트를 정확하게 추출할 수 있다.In addition, the present invention can accurately extract all corner points even when the image quality is poor by checking the corner point extraction result and manually marking the missing portion.
도 1은 어라운드뷰 모니터링 시스템을 구비한 차량의 평면도,
도 2는 캘리브레이션시 어라운드뷰 카메라로 입력되는 이미지의 일례를 나타낸 사진,
도 3은 본 발명의 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 장치를 나타낸 블록도,
도 4는 본 발명의 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 방법을 나타낸 순서도,
도 5는 전방카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면,
도 6은 우측카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면,
도 7은 후방카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면,
도 8은 좌측카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면,
도 9는 코너포인트의 수에 따른 재투영 에러의 결과를 나타낸 도면, 그리고,
도 10은 도 4에서 코너포인트를 검출하는 과정을 나타낸 순서도이다. 1 is a plan view of a vehicle equipped with an around-view monitoring system;
2 is a photograph showing an example of an image input to an around-view camera during calibration;
3 is a block diagram showing a calibration device for an around-view camera according to an embodiment of the present invention;
4 is a flowchart illustrating a calibration method of an around-view camera according to an embodiment of the present invention;
5 is a diagram showing corner points detected in an image input from a front camera;
6 is a diagram showing corner points detected in an image input from a right camera;
7 is a diagram showing corner points detected in an image input from a rear camera;
8 is a diagram showing corner points detected in an image input from a left camera;
9 is a diagram showing the results of reprojection errors according to the number of corner points, and
10 is a flowchart illustrating a process of detecting corner points in FIG. 4 .
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. This invention may be embodied in many different forms and is not limited to the embodiments set forth herein. In order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.
이하에서는 도면을 참조하여 본 발명의 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 장치를 보다 상세히 설명하도록 한다. 도 1은 어라운드뷰 모니터링 시스템을 구비한 차량의 평면도이고, 도 2는 캘리브레이션시 어라운드뷰 카메라로 입력되는 이미지의 일례를 나타낸 사진이다. Hereinafter, an apparatus for calibrating an around-view camera according to an embodiment of the present invention will be described in more detail with reference to the drawings. 1 is a plan view of a vehicle equipped with an around-view monitoring system, and FIG. 2 is a photograph showing an example of an image input to an around-view camera during calibration.
도 1을 참조하면, 어라운드뷰 모니터링 시스템을 구비한 차량(10)은 어안 렌즈를 갖는 복 수개의 카메라(12a~12d)를 포함하는 어라운드뷰 카메라가 구비될 수 있다.Referring to FIG. 1 , a
이때, 전방카메라(12a)는 전방범퍼와 같은 차량(10)의 전방에 구비되고, 우측카메라(12b)는 우측 사이드 미러와 같은 차량(10)의 우측방에 구비되며, 후방카메라(12c)는 후방범퍼와 같은 차량(10)의 후방에 구비되고, 좌측카메라(12d)는 좌측 사이드 미러와 같은 차량(10)의 좌측방에 구비될 수 있다.At this time, the
여기서, 어라운드뷰 카메라(12)는 각 방향에 대하여 하나씩 구비되는 것으로 도시되고 설명되었으나 이에 한정되지 않고, 복수의 카메라를 포함할 수 있다. 특히, 우측카메라(12b) 및 좌측카메라(12c)는 설치 위치에 따라 그 시계가 제한적이므로 복수의 위치에 설치되는 복수 개의 카메라를 포함할 수 있다.Here, the around
또한 상기 어라운드뷰 모니터링 시스템은 조감도를 맞추기 위한 밝기 제어 로직을 포함할 수 있다. 또한 상기 어라운드뷰 모니터링 시스템은 차량(10)의 기어 위치에 기반하여 뷰를 변경하는 주차 가이드를 포함할 수 있다. Also, the around-view monitoring system may include a brightness control logic to match a bird's eye view. Also, the around view monitoring system may include a parking guide that changes the view based on the gear position of the
이때, 어라운드뷰 모니터링 시스템은 운전자가 주차 공간 주변의 라인 및 인접한 객체들에 대한 차량(10)의 위치를 시각적으로 확인하도록 지원할 수 있다.In this case, the around-view monitoring system may support the driver to visually check the position of the
이에 의해, 운전자가 차량(10) 위에서 바라본 가상 조감도를 통하여 차량(10)의 주변을 더 잘 이해함으로써 주차 공간 안으로 더 용이하게 주차하도록 지원할 수 있다.This can assist the driver to more easily park into a parking space by better understanding the surroundings of the
이와 같은 어라운드뷰 모니터링 시스템의 캘리브레이션 장치는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 포함할 수 있는 캘리브레이션 로직을 통하여 수행될 수 있다.The calibration device of the around-view monitoring system may be performed through calibration logic that may include software, hardware, firmware, or a combination thereof.
이러한 캘리브레이션 장치는 적어도 부분적으로 차량(10)을 둘러싸는 평면에 마커들의 세트를 위치시킨 상태에서 카메라의 캘리브레이션을 수행한다. This calibration device performs calibration of the camera while positioning a set of markers in a plane at least partially surrounding the
여기서, 평면은 어라운드뷰 모니터링 시스템의 카메라의 시계일 수 있다. 즉, 차량(10)을 둘러싸는 평면은 도 1에 도시된 바와 같이, 전방카메라(12a)의 시계에 대응하는 전방 영역(F), 우측카메라(12b)의 시계에 대응하는 우측 영역(R), 후방카메라(12c)의 시계에 대응하는 후방 영역(B), 및 좌측카메라(12d)의 시계에 대응하는 좌측 영역(L)을 포함할 수 있다.Here, the plane may be a field of view of a camera of an around-view monitoring system. That is, as shown in FIG. 1, the plane surrounding the
이때, 캘리브레이션을 위해 어안 카메라와 같은 어라운드뷰 카메라(12a~12d)를 이용하여 획득된 입력 이미지는 도 2에 도시된 바와 같이, 체크보드가 양측에 나타날 수 있다. 즉, 하나의 이미지는 양측에 배치된 2개의 체크보드를 포함할 수 있다. At this time, as shown in FIG. 2 , checkboards may appear on both sides of input images acquired using the around-
한편, 카메라의 캘리브레이션은 내적 카메라 캘리브레이션과 외적 카메라 캘리브레이션을 포함할 수 있다. Meanwhile, camera calibration may include internal camera calibration and external camera calibration.
여기서, 내적 카메라 캘리브레이션은 핀홀 카메라의 5개의 내부 파라미터를 연산하는데 사용되는 것으로, 카메라 이미지의 센터 좌표, x 및 y 방향의 초점거리, 왜곡 파라미터(카메라 축 사이의 각도)를 획득할 수 있다. Here, the internal camera calibration is used to calculate the five internal parameters of the pinhole camera, and can obtain the center coordinates of the camera image, the focal length in the x and y directions, and the distortion parameter (the angle between the camera axes).
외적 카메라 캘리브레이션은 3D-카메라 좌표계로부터 2D-픽셀 좌표계로의 포인트 변환을 위해 사용되는 것으로, 회전 매트릭스(rotation matrix) 및 평행이동 벡터(translation vector)를 포함하는 외적 캘리브레이션 매트릭스를 획득할 수 있다. 이러한 외적 캘리브레이션 매트릭스에 의해, 카메라와 객체 사이의 방향(orientation)을 획득하고, 그로부터 이미지를 획득할 수 있다.The extrinsic camera calibration is used for point conversion from a 3D-camera coordinate system to a 2D-pixel coordinate system, and an extrinsic calibration matrix including a rotation matrix and a translation vector can be obtained. By means of this extrinsic calibration matrix, an orientation between the camera and the object may be obtained, and an image may be obtained from the orientation.
이때, 내적 카메라 캘리브레이션은 사전에 결정되기 때문에 본 발명의 캘리브레이션 장치는 외적 카메라 캘리브레이션에 관한 것이다. At this time, since the internal camera calibration is determined in advance, the calibration apparatus of the present invention relates to external camera calibration.
상기 외적 카메라 캘리브레이션은 다음을 고려하여 패턴 내의 코너포인트에 대한 최적 수를 결정한다. The external camera calibration determines the optimal number of corner points in the pattern by considering:
1) 평면 호모그래피 매트릭스(homography matrix) H는 9개의 엔티티를 가지만, 스케일 정도까지 정의된다. 1) The planar homography matrix H has 9 entities, but is defined to the degree of scale.
2) 2D 투영 변환(projective transformation)의 자유도 수는 8이다. 2) The number of degrees of freedom for 2D projective transformation is 8.
3) 각 대응하는 2D 포인트 또는 라인은 평면 호모그래피 매트릭스 H 상에서 2개의 제약(constraint)을 발생시킨다.3) Each corresponding 2D point or line generates two constraints on the planar homography matrix H.
4) 4개의 포인트 또는 4개의 라인들의 유사성(correspondence)은 평면 호모그래피 매트릭스 H를 연산하기에 충분하다. 4) The correspondence of 4 points or 4 lines is sufficient to compute the planar homography matrix H.
5) 6 자유도를 갖는 평면 아핀 편환(affine transformation)에 대하여, 단지 3개의 대응 포인트 또는 라인들만이 요구된다. 5) For a planar affine transformation with 6 degrees of freedom, only 3 correspondence points or lines are required.
6) 평면 호모그래피 매트릭스 H를 연산하는데 필요한 체크보드 코너포인트의 최소 수의 제한을 5로 설정한다. 6) Set the limit of the minimum number of checkerboard corner points required to calculate the planar homography matrix H to 5.
그러나 체크보드의 코너포인트의 수가 고정되는 것으로 어라운드뷰 카메라(12) 및 사용되는 체크보드 패턴에 따라 적합하지 않을 수 있다. However, since the number of corner points of the checkerboard is fixed, it may not be suitable depending on the
따라서 본 발명은 캘리브레이션시 최적의 코너포인트의 수를 자동으로 결정함으로써 더 간단한 패턴으로 캘리브레이션을 수행할 수 있다.Accordingly, the present invention can perform calibration with a simpler pattern by automatically determining the optimal number of corner points during calibration.
도 3은 본 발명의 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 장치를 나타낸 블록도이다. 3 is a block diagram illustrating an apparatus for calibrating an around-view camera according to an embodiment of the present invention.
어라운드뷰 카메라의 캘리브레이션 장치(100)는 코너포인트 검출부(110) 및 파라미터 결정부(120)를 포함한다. The around-view
여기서, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 체크보드와 같은 마커들의 세트에 대하여 어라운드뷰 카메라(12)의 복수의 외적 파라미터들을 결정할 수 있다. 이때, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 마커들의 세트를 위치시키는 것과, 어라운드뷰 카메라(12) 모두에 대한 외적 파라미터를 결정하는 것을 반복할 수 있다.Here, the around-view
코너포인트 검출부(110)는 어라운드뷰 카메라(12)로부터 N×N 체크보드 이미지를 입력받고, 상기 체크보드에서 코너포인트를 검출할 수 있다. 이러한 코너포인트 검출부(110)는 추출부(112), 마킹부(114) 및 보정부(116)를 포함할 수 있다.The
추출부(112)는 어라운드뷰 카메라(12)로부터 입력된 이미지에서 코너포인트를 자동으로 추출할 수 있다. 여기서, 이미지에서 코너포인트를 추출하는 방안은 특별히 한정되지 않으며, 다양한 이미지 처리가 가능하므로 구체적인 설명은 생략한다. The
이때, 어안 또는 전방향(omnidirectional) 카메라와 같은 어라운드뷰 카메라(12)를 이용하여 획득된 이미지는 화질이 나쁘거나 희미한 영역(blur)이 존재하거나 심한 왜곡을 가질 수 있다. At this time, an image obtained using the around-
이를 보완하기 위해 본 발명은 자동으로 검출된 코너포인트를 시각적으로 검사하여 누락된 코너포인트를 수동으로 마킹할 수 있다. To compensate for this, the present invention can visually inspect the automatically detected corner points and manually mark the missing corner points.
보다 구체적으로, 마킹부(114)는 입력된 이미지에서 모든 코너포인트를 추출하였는지의 여부를 미도시의 입력부를 통하여 입력받을 수 있다. 이때, 추출부(112)에 의한 코너포인트의 자동 추출과정에서 누락된 코너포인트는 사용자에 의해 육안으로 확인될 수 있다.More specifically, the marking unit 114 may receive input through an input unit (not shown) whether all corner points have been extracted from the input image. In this case, corner points that are omitted in the process of automatically extracting corner points by the
또한 마킹부(114)는 입력된 이미지 상에 추출되지 않은 코너포인트를 상기 입력부의 입력에 따라 수동으로 마킹을 수행할 수 있다. 즉, 마킹부(114)는 코너포인트의 자동 추출과정에서 누락된 코너포인트를 사용자에 의해 상기 입력부를 통하여 수동으로 마킹할 수 있다.Also, the marking unit 114 may manually mark corner points that are not extracted on the input image according to the input of the input unit. That is, the marking unit 114 may manually mark corner points that are omitted in the process of automatically extracting corner points by a user through the input unit.
보정부(116)는 추출부(112) 및 마킹부(114)에 의해 추출 또는 마킹된 모든 코너포인트에 대하여 코너포인트의 방향이 적합한지의 여부를 상기 입력부를 통하여 입력받을 수 있다. 이때, 보정부(116)는 사용자가 육안으로 모든 코너포인트의 방향의 적합 여부를 판단한 결과를 상기 입력부를 통하여 입력받을 수 있다. The correction unit 116 may receive input through the input unit whether or not the direction of the corner points is suitable for all the corner points extracted or marked by the
또한 보정부(116)는 코너포인트의 방향이 적합하지 않은 경우, 상기 입력부의 입력에 따라 코너포인트를 회전시킬 수 있다. 이때, 보정부(116)는 사용자에 의해 상기 입력부를 통하여 코너포인트의 회전을 입력받을 수 있다.In addition, the correction unit 116 may rotate the corner point according to the input of the input unit when the direction of the corner point is not suitable. At this time, the correction unit 116 may receive rotation of the corner point from the user through the input unit.
이에 의해 카메라들 사이의 대응을 확립하기 위해 수동으로 코너포인트의 방향을 교정할 수 있다.This allows manually correcting the orientation of corner points to establish correspondence between cameras.
파라미터 결정부(120)는 코너포인트 검출부(110)에 의해 검출된 체크보드의 코너포인트를 기초로 캘리브레이션을 위한 최적의 코너포인트의 수를 결정할 수 있다. 이러한 파라미터 결정부(120)는 캘리브레이션부(122), 에러 연산부(124), 및 결정부(126)를 포함할 수 있다.The
캘리브레이션부(122)는 체크보드에서 임의의 수의 코너포인트를 이용하여 캘리브레이션할 수 있다. 여기서, 캘리브레이션을 위한 코너포인트의 임의의 수(M)는 사전에 설정될 수 있다. 바람직하게는 상기 임의의 수(M)는 체크보드에 포함된 코너포인트의 총수(N)보다 작일 수 있다. The
이때, 캘리브레이션부(122)는 어라운드뷰 카메라(12)로부터 입력된 이미지로부터 조감도를 구성할 수 있다. 일례로, 캘리브레이션부(122)는 M×M개의 코너포인트를 실좌표계로 투영한 후 다시 호모그래피 매트릭스에 의해 이미지 좌표계로 투영할 수 있다.In this case, the
에러 연산부(124)는 캘리브레이션부(122)에 의한 캘리브레이션의 결과에 따른 전체 재투영 에러(TRPE; Total Re-Projection Error)를 연산할 수 있다. 여기서, 전체 재투영 에러(TRPE)는 캘리브레이션 전후의 절대적 차이일 수 있다. The
일례로, 에러 연산부(124)는 체크보드의 M×M 코너포인트를 실좌표계로 투영한 위치와 다시 이미지 좌표계로 투영한 위치의 차이를 전체 재투영 에러(TRPE)로서 연산할 수 있다. 이때, 에러 연산부(124)는 어라운드뷰 카메라(12)의 개별 카메라에 대하여 전체 재투영 에러(TRPE)를 연산할 수 있다.For example, the
결정부(126)는 캘리브레이션 동안 코너포인트의 최적 수를 결정하기 위해 코너포인트의 수(M)를 증가시키면서 캘리브레이션 및 재투영 에러 연산을 재수행도록 캘리브레이션부(122) 및 에러 연산부(124)를 제어할 수 있다. 즉, 결정부(126)는 전체 재투영 에러(TRPE)가 더 이상 감소하지 않거나 코너포인트의 수(M)가 더 이상 남아 있지 않을 때까지 캘리브레이션을 반복 수행할 수 있다.The
보다 구체적으로, 결정부(126)는 현재 연산된 전체 재투영 에러(TRPEM)와 이전에 연산된 전체 재투영 에러(TRPEM - 1)를 비교할 수 있다. 여기서, 코너포인트의 수(M)가 최초로 설정된 경우, 이 과정은 생략될 수 있다. More specifically, the
이때, 결정부(126)는 현재 연산된 전체 재투영 에러(TRPEM)가 이전에 연산된 전체 재투영 에러(TRPEM - 1)보다 크거나 같은 경우, 현재 코너포인트의 수(M)를 최적 수로 하여 캘리브레이션 파라미터를 결정할 수 있다.At this time, the
이에 의해, 체크보드의 코너포인트의 수를 최적하여 더 간단한 패턴으로 캘리브레이션 절차를 단순할 수 있다.Accordingly, the calibration procedure can be simplified with a simpler pattern by optimizing the number of corner points of the checkerboard.
또한, 결정부(126)는 현재 연산된 전체 재투영 에러(TRPEM)가 이전에 연산된 전체 재투영 에러(TRPEM - 1)보다 작은 경우, 현재 코너포인트의 수(M)가 체크보드에서 검출된 코너포인트의 총수(N)보다 크거나 같으면 체크보드에서 검출된 코너포인트의 총수(N)를 상기 최적 수로 결정하여 외적 카메라 캘리브레이션 파라미터를 결정할 수 있다.In addition, the
이와 같은 구성에 의해, 본 발명의 일 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 장치(100)는 캘리브레이션 절차를 단순화하여 소요 시간을 단축할 수 있고, 코너포인트 마킹에 따른 소요시간을 단축할 수 있으며, 이미지의 화질이 나쁜 경우에도 모든 코너포인트를 정확하게 추출할 수 있다.With this configuration, the
이하, 도 4 내지 도 10을 참조하여 본 발명의 어라운드뷰 카메라의 캘리브레이션 방법을 설명한다. 도 4는 본 발명의 실시예에 따른 어라운드뷰 카메라의 캘리브레이션 방법을 나타낸 순서도이다. Hereinafter, a method for calibrating an around-view camera according to the present invention will be described with reference to FIGS. 4 to 10 . 4 is a flowchart illustrating a calibration method of an around-view camera according to an embodiment of the present invention.
어라운드뷰 카메라의 캘리브레이션 방법(200)은 코너포인트를 자동 검출하는 단계(S201 및 S202), 임의의 수의 코너포인트를 이용하여 캘리브레이션하는 단계(S203 및 S204), 전체 재투영 에러를 연산하는 단계(S205), 코너포인트의 수를 증가시키면서 캘리브레이션을 재수행하는 단계(S206 내지 S208), 및 파라미터를 결정하는 단계(S209)를 포함한다. The
보다 상세히 설명하면, 도 4에 도시된 바와 같이, 먼저, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 어라운드뷰 카메라(12)로부터 입력된 N×N 체크보드 이미지에서 코너포인트를 자동 검출한다(단계 S201).More specifically, as shown in FIG. 4, first, the
이때, 전방카메라(12a), 우측카메라(12b), 후방카메라(12c) 및 좌측카메라(12d)로부터 입력된 이미지에 포함된 각각의 체크보드에 대하여 코너포인트를 검출할 수 있다. 이에 대해서는 도 10을 참조하여 더 상세히 설명한다. At this time, corner points may be detected for each checker board included in images input from the
도 5는 전방카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면이고, 도 6은 우측카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면이며, 도 7은 후방카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면이고, 도 8은 좌측카메라로부터 입력된 이미지에서 검출된 코너포인트를 나타내는 도면이다. 5 is a diagram showing corner points detected in an image input from a front camera, FIG. 6 is a diagram showing corner points detected in an image input from a right camera, and FIG. 7 is a diagram showing corner points detected in an image input from a rear camera. It is a diagram showing corner points, and FIG. 8 is a diagram showing corner points detected in an image input from a left camera.
도 5 내지 도 8에서 체크보드는 총 5×5 코너포인트를 포함한다. 여기서, 체크보드의 일측에 표시된 화살표 방향으로 코너포인트에 대한 숫자가 표시된다. 넘버링 순서는 기준 코너포인트(1)로부터 화살표 방향으로 이루어진다. 또한 넘버링 순서는 화살표의 수직 방향으로 이루어진다. 5 to 8, the checkerboard includes a total of 5×5 corner points. Here, the number for the corner point is displayed in the direction of the arrow indicated on one side of the checkerboard. The numbering order is from the reference corner point (1) in the direction of the arrow. Also, the numbering order is in the vertical direction of the arrows.
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 검출된 코너포인트를 저장부(미도시)에 저장한다(단계 S202). 여기서 검출된 코너포인트는 체크보드 이미지에 마킹된 상태일 수 있다. Next, the around-view
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 코너포인트의 임의의 수(M)를 설정한다(단계 S203). 이때, 임의의 수(M)는 어라운드뷰 카메라(12)로부터 입력되는 이미지에 포함된 체크보드에 포함된 코너포인트의 총수(N)에 따라 적절히 설정할 수 있다. 여기서, 임의의 수(M)는 체크보드에서 일측 방향에 대한 코너포인트의 수일 수 있다. 일례로 체크보드에 5×5 코너포인트가 포함되며, M은 3으로 설정할 수 있다.Next, the around-view
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 체크보드에서 M×M개의 코너포인트를 이용하여 캘리브레이션한다(단계 S204). 즉, 캘리브레이션의 최적 수를 도출하기 위해 체크보드에 포함된 코너포인트의 총수(N)보다 작은 임의의 수(M)의 코너포인트를 대상으로 캘리브레이션할 수 있다. Next, the around-view
이때, 캘리브레이션은 어라운드뷰 카메라(12) 각각으로부터 입력된 이미지로부터 조감도를 구성할 수 있다. 일례로, 3×3개의 코너포인트를 실좌표계로 투영한 후 다시 호모그래피 매트릭스에 의해 이미지 좌표계로 투영할 수 있다.In this case, the calibration may configure a bird's eye view from images input from each of the
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 캘리브레이션 결과에 따른 전체 재투영 에러(TRPE)를 연산한다(단계 S205). 여기서, 전체 재투영 에러(TRPE)는 캘리브레이션 전후의 절대적 차이일 수 있다. Next, the
일례로, 체크보드의 3×3 코너포인트를 실좌표계로 투영한 위치와 다시 이미지 좌표계로 투영한 위치의 차이를 전체 재투영 에러(TRPE)로서 연산할 수 있다.For example, the difference between the projected position of the 3x3 corner point of the checkerboard in the real coordinate system and the projected position in the image coordinate system can be calculated as the total reprojection error (TRPE).
이와 같이 캘리브레이션에 의해 전체 품질에 영향을 주는 에러 요인은 렌즈 왜곡, 요(yaw) 에러, 센서 틸트, 피치 에러, 베이스라인 에러, 및 초점거리 에러를 포함할 수 있다.As such, error factors affecting overall quality by calibration may include lens distortion, yaw error, sensor tilt, pitch error, baseline error, and focal length error.
이때, 어라운드뷰 카메라(12)의 개별 카메라에 대하여 전체 재투영 에러(TRPE)를 연산할 수 있다.At this time, a total reprojection error (TRPE) for each camera of the around-
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 현재 연산된 전체 재투영 에러(TRPEM)와 이전에 연산된 전체 재투영 에러(TRPEM - 1)를 비교한다(단계 S206). 여기서, 최초의 비교인 경우, 즉, 이전의 전체 재투영 에러(TRPEM - 1)가 이전에 연산되지 않은 경우, 본 단계는 생략할 수 있다.Next, the
단계 S206의 비교결과, 현재 연산된 전체 재투영 에러(TRPEM)가 이전에 연산된 전체 재투영 에러(TRPEM - 1)보다 작은 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 코너포인트의 수(M)를 증가시킨다(단계 S207). 즉, 코너포인트의 최적 수를 결정하기 위해 캘리브레이션을 반복하도록 M을 1씩 증가시킬 수 있다. As a result of comparison in step S206, if the currently calculated total reprojection error (TRPE M ) is smaller than the previously calculated total reprojection error (TRPE M - 1 ), the
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 현재 코너포인트의 수(M)와 체크보드에 포함된 모든 코너포인트의 총수(N)를 비교하여(단계 S208), 코너포인트의 수(M)가 체크보드에 포함된 모든 코너포인트의 총수(N)보다 작으면, 단계 S204로 복귀하여 단계 S204 내지 단계 S207의 단계를 반복적으로 수행한다. Next, the
즉, 현재 연산된 전체 재투영 에러(TRPEM)가 이전에 연산된 전체 재투영 에러(TRPEM-1)보다 작고, 체크보드에서 아직 더 많은 코너포인트가 남은 경우, 코너포인트가 남지 않을 때까지 또는 전체 재투영 에러(TRPEM)가 더 이상 감소하지 않을 때까지 캘리브레이션 및 전체 재투영 에러(TRPE)의 연산을 반복 수행할 수 있다.That is, if the currently computed total reprojection error (TRPE M ) is less than the previously computed total reprojection error (TRPE M-1 ), and there are still more corner points remaining on the checkerboard, until no corner points remain. Alternatively, calibration and calculation of the total reprojection error TRPE may be repeatedly performed until the total reprojection error TRPE M does not decrease any more.
일례로, M=3인 경우, 캘리브레이션 및 전체 재투영 에러(TRPE)의 연산은 먼저, 3×3 코너포인트를 이용하여 수행하고, 다음으로 4×4 코너포인트를 이용하여 수행하며, 체크보드의 모든 코너포인트인 N×N 코너포인트까지 수행할 수 있다.As an example, when M = 3, the calculation of calibration and total reprojection error (TRPE) is first performed using 3 × 3 corner points, and then using 4 × 4 corner points, and All corner points, up to N×N corner points, can be performed.
단계 S208의 비교결과, 현재 코너포인트의 수(M)가 체크보드에서 검출된 코너포인트의 총수(N)보다 크거나 같으면, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 체크보드에서 검출된 코너포인트의 총수(N)를 최적 수로 하여 외적 카메라 캘리브레이션 파라미터를 결정한다(단계 S209). As a result of comparison in step S208, if the current number of corner points (M) is greater than or equal to the total number of corner points (N) detected on the checkerboard, the
다시 단계 S206의 비교결과, 현재 연산된 전체 재투영 에러(TRPEM)가 이전에 연산된 전체 재투영 에러(TRPEM - 1)보다 크거나 같은 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 단계 S209로 복귀하여 현재의 코너포인트의 수(M)를 최적 수로 하여 외적 카메라 캘리브레이션 파라미터를 결정한다. Again, as a result of the comparison in step S206, if the currently calculated total reprojection error (TRPE M ) is greater than or equal to the previously calculated total reprojection error (TRPE M - 1 ), the
이에 의해, 체크보드의 코너포인트의 수를 최적하여 더 간단한 패턴으로 캘리브레이션 절차를 단순할 수 있다.Accordingly, the calibration procedure can be simplified with a simpler pattern by optimizing the number of corner points of the checkerboard.
도 9는 코너포인트의 수에 따른 재투영 에러의 결과를 나타낸 도면이다. 9 is a diagram showing results of reprojection errors according to the number of corner points.
도 9에서, 캘리브레이션에 이용되는 코너포인트의 수에 따른 재투영 에러의 분포를 도시하다. 여기서, "○"는 이미지로부터 검출된 코너포인트의 위치를 나타내고, "*"는 재투영 후 코너포인트의 위치를 나타낸다. 9 shows the distribution of reprojection errors according to the number of corner points used for calibration. Here, "○" represents the position of the corner point detected from the image, and "*" represents the position of the corner point after re-projection.
3×3 코너포인트를 이용한 경우, 검출된 코너포인트의 위치와 재투영 후의 코너포인트의 위치가 상당한 오차를 갖는 것으로 나타났다. In the case of using 3×3 corner points, it was found that the location of the detected corner point and the location of the corner point after re-projection had a significant error.
4×4 코너포인트를 이용한 경우와 5×5 코너포인트를 이용한 경우, 검출된 코너포인트의 위치와 재투영 후의 코너포인트의 위치가 거의 오차가 없는 것으로 나타났다. 이때, 코너포인트의 수를 최소 수인 4로 설정하는 것이 바람직할 수 있다.In the case of using the 4×4 corner point and the case of using the 5×5 corner point, there was almost no error between the location of the detected corner point and the location of the corner point after reprojection. At this time, it may be desirable to set the number of corner points to 4, which is the minimum number.
도 10은 도 4에서 코너포인트를 검출하는 과정을 나타낸 순서도이다. 10 is a flowchart illustrating a process of detecting corner points in FIG. 4 .
코너포인트 검출 방법(300)은 코너포인트를 자동으로 추출하는 단계(단계 S301 내지 S303), 수동 마킹하는 단계(S304 내지 S306), 및 코너포인트를 보정하는 단계(단계 S307 내지 309)를 포함한다. The corner
보다 상세히 설명하면, 도 10에 도시된 바와 같이, 먼저, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 어라운드뷰 카메라(12)에 의해 획득된 체크보드를 입력받는다(단계 S301). 이때, 어라운드뷰 카메라(12) 각각으로부터 입력된 이미지가 순차적으로 입력될 수 있다.More specifically, as shown in FIG. 10 , first, the around-view
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 입력된 이미지에 코너포인트에 대한 마크가 있는지를 판단하여(단계 S302) 마크가 있는 경우, 단계 S301로 복귀하여 다음 이미지를 입력받는다. 이때, 마크의 여부는 이미지에서 코너포인트에 대한 검출 또는 마킹이 완료되었는지를 판단할 수 있다.Next, the
단계 S302의 판단결과, 입력된 이미지에 코너포인트에 대한 마크가 없다고 판단한 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 입력된 이미지에서 상기 코너포인트를 자동으로 추출한다(단계 S303). 이미지에서 코너포인트를 추출하는 방안은 특별히 한정되지 않으며, 다양한 이미지 처리가 가능하므로 구체적인 설명은 생략한다. As a result of the determination in step S302, when it is determined that there is no mark for the corner point in the input image, the
여기서, 체크보드의 크기가 증가함에 따라 검출하거나 마킹해야 할 코너포인트의 수가 기하급수적으로 증가한다. 따라서 본 발명은 수동에 작업에 의해 사람의 개입을 배제하거나 최소화하기 위해 체크보드 이미지로부터 코너포인트를 자동으로 검출할 수 있다. Here, as the size of the checker board increases, the number of corner points to be detected or marked increases exponentially. Accordingly, the present invention can automatically detect corner points from the checkerboard image in order to exclude or minimize human intervention by manual work.
다음으로, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 입력된 이미지에서 모든 코너포인트를 추출하였는지의 여부를 입력부를 통하여 입력받는다(단계 S304). 즉, 사용자는 육안으로 모든 코너포인트를 추출하였는지의 여부를 판단하고, 그 판단결과를 어라운드뷰 카메라의 캘리브레이션 장치(100)로 입력할 수 있다.Next, the around-view
여기서, 어안 또는 전방향(omnidirectional) 카메라를 이용하여 획득된 이미지는 종종 품질이 나쁠 수 있다. 일례로, 이미지 화질이 나쁘거나 이미지에 희미한 영역(blur)이 존재하거나 이미지가 심한 왜곡을 가질 수 있다. Here, an image obtained using a fisheye or omnidirectional camera may often be of poor quality. For example, the image quality may be poor, a blur may exist in the image, or the image may have severe distortion.
이를 보완하기 위해 본 발명은 자동으로 검출된 코너포인트를 시각적으로 검사하여 누락된 코너포인트를 수동으로 마킹할 수 있다. To compensate for this, the present invention can visually inspect the automatically detected corner points and manually mark the missing corner points.
단계 S304의 판단결과, 입력된 이미지에서 모든 코너포인트를 추출하지 않았다고 판단한 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 입력된 이미지 상에 추출되지 않은 코너포인트를 상기 입력부의 입력에 따라 마킹한다(단계 S305). 즉, 사용자는 코너포인트의 자동 추출과정에서 누락된 코너포인트를 상기 입력부를 통하여 수동으로 마킹할 수 있다.As a result of the determination in step S304, when it is determined that all corner points have not been extracted from the input image, the
다음으로, 모든 코너포인트가 마킹되었는지의 여부를 판단하여(단계 S306), 입력된 이미지에 모든 코너포인트가 마킹되지 않은 경우, 단계 S305로 진행하여 지속적으로 수동 마킹을 수행할 수 있다. 이때, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 사용자에 의해 수동 마킹을 입력받을 수 있다. Next, it is determined whether all corner points are marked (step S306), and if all corner points are not marked in the input image, the process proceeds to step S305 to continuously perform manual marking. At this time, the
단계 S306의 판단결과, 입력된 이미지에 모든 코너포인트가 마킹되었다고 판단한 경우, 또는 단계 S304의 판단결과, 입력된 이미지에서 모든 코너포인트를 추출하였다고 판단한 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 입력된 이미지의 모든 코너포인트에 대하여 코너포인트의 방향이 적합한지의 여부를 상기 입력부를 통하여 입력받는다(단계 S307). 즉, 사용자는 육안으로 모든 코너포인트의 방향의 적합 여부를 판단하고, 그 판단결과를 어라운드뷰 카메라의 캘리브레이션 장치(100)로 입력할 수 있다.As a result of the determination in step S306, when it is determined that all corner points are marked in the input image, or as a result of determination in step S304, it is determined that all corner points are extracted from the input image, the
단계 S307의 판단결과, 코너포인트의 방향이 적합하지 않다고 판단한 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 상기 입력부의 입력에 따라 검출된 코너포인트를 회전시킨다(단계 S308). 이때, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 사용자에 의해 코너포인트의 회전을 입력받을 수 있다. As a result of the determination in step S307, when it is determined that the direction of the corner point is not suitable, the
이와 같이, 본 발명은 카메라들 사이의 대응을 확립하기 위해 수동으로 코너포인트의 방향을 교정할 수 있다.As such, the present invention can manually correct the orientation of corner points to establish correspondence between cameras.
단계 S307의 판단결과, 코너포인트의 방향이 적합하다고 판단한 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 입력된 모든 이미지에 대하여 처리가 완료되었는지를 판단하여(단계 S309), 모든 이미지에 대한 처리가 완료되었으면, 코너포인트의 자동 검출을 종료한다. As a result of the determination in step S307, when it is determined that the direction of the corner point is appropriate, the
단계 S309의 판단결과 입력된 모든 이미지에 대한 처리가 완료되지 않았다고 판단한 경우, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 단계 S301로 복귀하여 다음 이미지를 입력받는다. 이때, 어라운드뷰 카메라의 캘리브레이션 장치(100)는 단계 S303 내지 단계 S308을 입력된 모든 이미지에 대하여 반복 수행할 수 있다.As a result of the determination in step S309, when it is determined that processing of all input images has not been completed, the
이와 같은 방법에 의해 본 발명은 캘리브레이션 절차를 단순화하여 소요 시간을 단축할 수 있고, 코너포인트 마킹에 따른 소요시간을 단축할 수 있으며, 이미지의 화질이 나쁜 경우에도 모든 코너포인트를 정확하게 추출할 수 있다.With this method, the present invention can simplify the calibration procedure, shorten the time required, shorten the time required for corner point marking, and accurately extract all corner points even when the image quality is poor. .
상기와 같은 방법들은 도 3에 도시된 바와 같은 어라운드뷰 카메라의 캘리브레이션 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. The methods described above may be implemented by the
이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다. At this time, the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored, and includes, for example, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, magnetic tape, It may be a floppy disk, a hard disk, an optical data storage device, and the like.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.Although one embodiment of the present invention has been described above, the spirit of the present invention is not limited to the embodiments presented herein, and those skilled in the art who understand the spirit of the present invention may add elements within the scope of the same spirit. However, it will be possible to easily suggest other embodiments by means of changes, deletions, additions, etc., but this will also be said to fall within the scope of the present invention.
100 : 어라운드뷰 카메라의 캘리브레이션 장치
110 : 코너포인트 검출부 112 : 추출부
114 : 마킹부 116 : 보정부
120 : 파라미터 결정부 122 : 캘리브레이션부
124 ; 에러 연산부 126 : 결정부100: Calibration device for around view camera
110: corner point detection unit 112: extraction unit
114: marking unit 116: correction unit
120: parameter determination unit 122: calibration unit
124; Error calculation unit 126: decision unit
Claims (12)
상기 체크보드에서 임의의 수의 코너포인트를 이용하여 캘리브레이션하는 캘리브레이션부;
상기 캘리브레이션의 결과에 따른 전체 재투영 에러를 연산하는 에러 연산부; 및
현재 연산된 전체 재투영 에러와 이전에 연산된 전체 재투영 에러를 비교하여, 상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 크거나 같은 경우, 상기 현재 코너포인트의 수를 최적 수로 하여 캘리브레이션 파라미터를 결정하는 결정부를 포함하고,
상기 결정부는
상기 코너포인트의 수를 증가시키면서 상기 캘리브레이션 및 상기 재투영 에러 연산을 재수행도록 상기 캘리브레이션부 및 상기 연산부을 제어하는
어라운드뷰 카메라의 캘리브레이션 장치.a corner point detection unit receiving N×N checkerboard images from the around-view camera and detecting corner points on the checkboard;
a calibration unit for calibrating using an arbitrary number of corner points in the checkboard;
an error calculation unit that calculates a total reprojection error according to a result of the calibration; and
Comparing the currently computed total reprojection error with the previously computed total reprojection error, if the currently computed total reprojection error is greater than or equal to the previously computed total reprojection error, the number of the current corner points And a determination unit for determining a calibration parameter by using the optimal number of
The decision section
Controlling the calibration unit and the operation unit to re-perform the calibration and the reprojection error operation while increasing the number of corner points.
A calibration device for around-view cameras.
상기 결정부는
상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 작은 경우, 상기 현재 코너포인트의 수가 상기 체크보드에서 검출된 코너포인트의 수보다 크거나 같으면 상기 체크보드에서 검출된 코너포인트의 수를 상기 최적 수로 결정하는 어라운드뷰 카메라의 캘리브레이션 장치.According to claim 1,
The decision section
If the currently calculated total reprojection error is less than the previously calculated total reprojection error, if the current number of corner points is greater than or equal to the number of corner points detected in the checkerboard, the corner points detected in the checkerboard An apparatus for calibrating an around-view camera that determines the number of as the optimal number.
상기 캘리브레이션부는 상기 체크보드의 코너포인트를 실좌표계로 투영한 후 다시 이미지 좌표계로 투영하는 어라운드뷰 카메라의 캘리브레이션 장치.According to claim 1,
The calibration unit of the around-view camera calibration device for projecting the corner points of the checkerboard into real coordinates and then projecting them back into image coordinates.
상기 에러 연산부는 상기 체크보드의 상기 코너포인트를 실좌표계로 투영한 위치와 다시 이미지 좌표계로 투영한 위치의 차이를 연산하는 어라운드뷰 카메라의 캘리브레이션 장치.According to claim 1,
The error calculation unit calculates a difference between a position where the corner point of the checkerboard is projected in a real coordinate system and a position where it is projected back in an image coordinate system.
상기 코너포인트 검출부는,
상기 입력된 이미지에서 상기 코너포인트를 추출하는 추출부; 및
상기 입력된 이미지에서 모든 코너포인트를 추출하였는지의 여부를 입력부를 통하여 입력받고, 상기 모든 코너포인트를 추출하지 않은 경우, 상기 입력된 이미지 상에 추출되지 않은 코너포인트를 상기 입력부의 입력에 따라 마킹하는 마킹부를 포함하는 어라운드뷰 카메라의 캘리브레이션 장치.According to claim 1,
The corner point detection unit,
an extraction unit extracting the corner points from the input image; and
Receiving an input through an input unit whether all corner points have been extracted from the input image, and if all corner points are not extracted, marking corner points that are not extracted on the input image according to the input of the input unit A calibration device for an around-view camera including a marking unit.
상기 코너포인트 검출부는 상기 모든 코너포인트에 대하여 코너포인트의 방향이 부적합한지의 여부를 상기 입력부를 통하여 입력받고, 상기 코너포인트의 방향이 부적합한 경우, 상기 입력부의 입력에 따라 상기 코너포인트를 회전하는 보정부를 더 포함하는 어라운드뷰 카메라의 캘리브레이션 장치.According to claim 5,
The corner point detecting unit receives an input as to whether the direction of the corner point is inappropriate for all the corner points through the input unit, and if the direction of the corner point is inappropriate, corrects rotation of the corner point according to the input of the input unit. An apparatus for calibrating an around-view camera further comprising a unit.
상기 체크보드에서 임의의 수의 코너포인트를 이용하여 캘리브레이션하는 단계;
상기 캘리브레이션의 결과에 따른 전체 재투영 에러를 연산하는 단계;
현재 연산된 전체 재투영 에러와 이전에 연산된 전체 재투영 에러를 비교하는 단계;
상기 코너포인트의 수를 증가시키면서 상기 캘리브레이션하는 단계 내지 상기 비교하는 단계를 재수행하는 단계; 및
상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 크거나 같은 경우, 현재 코너포인트의 수를 최적 수로 하여 캘리브레이션 파라미터를 결정하는 단계;
를 포함하는 어라운드뷰 카메라의 캘리브레이션 방법.Detecting corner points in the input N×N checkerboard image;
Calibrating using an arbitrary number of corner points on the checkboard;
calculating a total reprojection error according to a result of the calibration;
comparing a currently computed total reprojection error with a previously computed total reprojection error;
re-performing the calibrating step to the comparing step while increasing the number of corner points; and
determining a calibration parameter by taking the current number of corner points as an optimum number when the currently calculated total reprojection error is greater than or equal to the previously calculated total reprojection error;
Calibration method of an around-view camera comprising a.
상기 파라미터를 결정하는 단계는 상기 현재 연산된 전체 재투영 에러가 상기 이전에 연산된 전체 재투영 에러보다 작은 경우, 상기 현재 코너포인트의 수가 상기 체크보드에서 검출된 코너포인트의 수보다 크거나 같으면 상기 체크보드에서 검출된 코너포인트의 수를 상기 최적 수로 결정하는 어라운드뷰 카메라의 캘리브레이션 방법.According to claim 7,
The step of determining the parameter may include: if the currently calculated total reprojection error is less than the previously calculated total reprojection error, and if the number of the current corner points is greater than or equal to the number of corner points detected in the checkerboard, A method for calibrating an around-view camera for determining the number of corner points detected in a checkerboard as the optimal number.
상기 캘리브레이션하는 단계는 상기 체크보드의 코너포인트를 실좌표계로 투영한 후 다시 이미지 좌표계로 투영하는 어라운드뷰 카메라의 캘리브레이션 방법.According to claim 7,
The calibrating step is a method for calibrating an around view camera in which the corner points of the checkerboard are projected in real coordinates and then projected again in image coordinates.
상기 연산하는 단계는 상기 체크보드의 상기 코너포인트를 실좌표계로 투영한 위치와 다시 이미지 좌표계로 투영한 위치의 차이를 연산하는 어라운드뷰 카메라의 캘리브레이션 방법.According to claim 7,
The calculating step calculates a difference between a projected position of the corner point of the checkerboard in real coordinates and a projected position in image coordinates again.
상기 검출하는 단계는
상기 입력된 이미지에서 상기 코너포인트를 추출하는 단계;
상기 입력된 이미지에서 모든 코너포인트를 추출하였는지의 여부를 입력부를 통하여 입력받는 단계; 및
상기 모든 코너포인트를 추출하지 않은 경우, 상기 입력된 이미지 상에 추출되지 않은 코너포인트를 상기 입력부의 입력에 따라 마킹하는 단계;를 포함하는 어라운드뷰 카메라의 캘리브레이션 방법.According to claim 7,
The step of detecting
extracting the corner points from the input image;
receiving an input through an input unit whether or not all corner points have been extracted from the input image; and
and if all of the corner points are not extracted, marking the corner points that are not extracted on the input image according to the input of the input unit.
상기 검출하는 단계는,
상기 모든 코너포인트에 대하여 코너포인트의 방향이 부적합한지의 여부를 상기 입력부를 통하여 입력받는 단계; 및
상기 코너포인트의 방향이 부적합한 경우, 상기 입력부의 입력에 따라 상기 코너포인트를 회전하는 단계;를 더 포함하는 어라운드뷰 카메라의 캘리브레이션 방법.According to claim 11,
In the detection step,
receiving, through the input unit, whether or not directions of corner points are inappropriate for all of the corner points; and
The method of calibrating an around-view camera, further comprising rotating the corner point according to an input of the input unit when the direction of the corner point is inappropriate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180032133A KR102477480B1 (en) | 2018-03-20 | 2018-03-20 | Apparatus for calibrating for around view camera and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180032133A KR102477480B1 (en) | 2018-03-20 | 2018-03-20 | Apparatus for calibrating for around view camera and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190110311A KR20190110311A (en) | 2019-09-30 |
KR102477480B1 true KR102477480B1 (en) | 2022-12-14 |
Family
ID=68098326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180032133A KR102477480B1 (en) | 2018-03-20 | 2018-03-20 | Apparatus for calibrating for around view camera and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102477480B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739106B (en) * | 2020-08-12 | 2020-12-25 | 成都极米科技股份有限公司 | Corner point coding method, calibration method, device, electronic equipment and storage medium |
CN113808221B (en) * | 2021-09-26 | 2023-09-01 | 杭州环峻科技有限公司 | Calibration method and calibration system for panoramic girdle camera |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
WO2015029934A1 (en) * | 2013-08-30 | 2015-03-05 | クラリオン株式会社 | Camera calibration device, camera calibration system, and camera calibration method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101249791B1 (en) * | 2011-05-23 | 2013-04-03 | 아진산업(주) | Image generating method for around view of vehicle |
KR20160123411A (en) | 2015-04-15 | 2016-10-26 | 주식회사 만도 | Camera apparatus for vehicle, calibration system and method thereof |
-
2018
- 2018-03-20 KR KR1020180032133A patent/KR102477480B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008187564A (en) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method, and vehicle |
WO2015029934A1 (en) * | 2013-08-30 | 2015-03-05 | クラリオン株式会社 | Camera calibration device, camera calibration system, and camera calibration method |
Also Published As
Publication number | Publication date |
---|---|
KR20190110311A (en) | 2019-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107784672B (en) | Method and device for acquiring external parameters of vehicle-mounted camera | |
US8872920B2 (en) | Camera calibration apparatus | |
US8605156B2 (en) | Calibration target detection apparatus, calibration target detecting method for detecting calibration target, and program for calibration target detection apparatus | |
EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
KR101249791B1 (en) | Image generating method for around view of vehicle | |
JP4803450B2 (en) | On-vehicle camera calibration device and vehicle production method using the device | |
US20080129894A1 (en) | Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same | |
KR20140071330A (en) | Method and apparatus for calibrating an imaging device | |
CN110660105B (en) | Calibration parameter optimization method and device for panoramic looking-around system | |
JP2008193188A (en) | Camera calibration device and method, and vehicle | |
US20130314533A1 (en) | Data deriving apparatus | |
KR101705558B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
TW201443827A (en) | Camera image calibrating system and method of calibrating camera image | |
KR102477480B1 (en) | Apparatus for calibrating for around view camera and method thereof | |
KR101926258B1 (en) | Method of automatic calibration of AVM system | |
CN111243034A (en) | Panoramic auxiliary parking calibration method, device, equipment and storage medium | |
CN107643049B (en) | System and method for detecting vehicle position on wagon balance based on monocular structured light | |
JP7308227B2 (en) | Image processing device, image processing method, and program | |
US11284052B2 (en) | Method for automatically restoring a calibrated state of a projection system | |
CN113114975B (en) | Image splicing method and device, electronic equipment and storage medium | |
KR101697229B1 (en) | Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof | |
KR20200063898A (en) | Multi-camera calibration method for generating around view monitoring | |
TWI424259B (en) | Camera calibration method | |
CN116051652A (en) | Parameter calibration method, electronic equipment and storage medium | |
CN116030139A (en) | Camera detection method and device, electronic equipment and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |