KR102295987B1

KR102295987B1 - Calibration method and apparatus of stereo camera module, computer readable storage medium

Info

Publication number: KR102295987B1
Application number: KR1020170092767A
Authority: KR
Inventors: 알렉산더 겟뜨만; 김덕수; 정성영
Original assignee: 삼성전자주식회사
Priority date: 2017-03-10
Filing date: 2017-07-21
Publication date: 2021-09-01
Also published as: KR20180103657A

Abstract

본 발명의 실시예에 따른 스테레오 카메라 모듈의 캘리브레이션 방법은, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계; 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계; 상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계; 캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및 상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함할 수 있다.A method of calibrating a stereo camera module according to an embodiment of the present invention includes: generating a calibration chart for calibration of a stereo camera module including at least two cameras; acquiring a chart distance indicating a distance between the calibration chart and the stereo camera module, a chart period indicating a distance between circles on the calibration chart, and baseline information indicating a distance between midpoints of the two cameras; capturing an image of the calibration chart by the stereo camera module; searching for a corresponding point in at least one pair of captured images; and estimating a commutation parameter based on the at least one pair of images, the chart distance, the chart period, and the baseline information.

Description

스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체 {CALIBRATION METHOD AND APPARATUS OF STEREO CAMERA MODULE, COMPUTER READABLE STORAGE MEDIUM}Calibration method and apparatus for stereo camera module, and computer-readable storage medium {CALIBRATION METHOD AND APPARATUS OF STEREO CAMERA MODULE, COMPUTER READABLE STORAGE MEDIUM}

본 출원은 스테레오 카메라 모듈의 캘리브레이션 방법, 장치 및 컴퓨터 판독 가능한 저장매체에 관한 것이다.The present application relates to a calibration method of a stereo camera module, an apparatus, and a computer-readable storage medium.

모바일 이미징에서 두 개 이상의 집적된 카메라를 갖는 스테레오 카메라 모듈이 널리 활용되고 있다. 스테레오 카메라 모듈은 단일 카메라와 비교하여 개선된 사용자 경험 및 이점을 제공할 수 있다.Stereo camera modules with two or more integrated cameras are widely used in mobile imaging. A stereo camera module can provide an improved user experience and benefits compared to a single camera.

스테레오 카메라 모듈은 서로 다른 카메라의 조합을 사용할 수 있다. 동일한 카메라들을 갖는 스테레오 카메라 모듈은 대칭이라 하고, 서로 상이한 렌즈 또는 센서 등을 갖는 스테레오 카메라 모듈은 비대칭이라 한다. 비대칭 스테레오 카메라 모듈은 다음과 같은 이점이 있어 널리 사용되고 있다. 예를 들어, 고해상도 및 저해상도 카메라를 포함하는 모듈은 최소의 에너지 소비 및 계산 자원으로 장면 깊이를 생성하는 데 사용할 수 있다. 흑백 및 컬러 카메라를 포함하는 모듈은 야간 촬영의 화질을 향상시키기 위해 사용할 수 있다. 상이한 FOV(Fields of Views)를 갖는 카메라를 포함하는 모듈은 모듈 높이를 희생하지 않고 광학 줌을 에뮬레이트하기 위해 사용할 수 있다.The stereo camera module may use a combination of different cameras. A stereo camera module having the same cameras is said to be symmetric, and a stereo camera module having different lenses or sensors is said to be asymmetric. The asymmetric stereo camera module has the following advantages and is widely used. For example, a module containing high-resolution and low-resolution cameras can be used to create scene depth with minimal energy consumption and computational resources. A module containing black and white and color cameras can be used to improve the quality of night shots. Modules containing cameras with different Fields of Views (FOVs) can be used to emulate optical zoom without sacrificing module height.

이와 같은 스테레오 카메라 모듈의 이점은 좌측 및 우측 이미지가 정확하게 정렬된 경우에만 얻을 수 있다. 스테레오 비전에서 적절하게 정렬된 이미지들은 정류(rectify)된 것으로 본다. 그러나 다양한 물리적 제약으로 인해 모듈에서 필요한 카메라 정렬 정도를 달성하는 것은 불가능하다. 다른 방법으로, 이미지 왜곡(warp)을 사용하는 가상 정렬이 있으며, 이미지 정렬을 위해 이미지를 왜곡하는 과정을 정류라고 한다. 정류 왜곡(rectification warp)을 정의하는 파라미터는 스테레오 캘리브레이션을 사용하여 얻을 수 있다.The advantages of such a stereo camera module can only be obtained when the left and right images are correctly aligned. In stereo vision, properly aligned images are considered rectified. However, it is impossible to achieve the required degree of camera alignment in the module due to various physical constraints. Alternatively, there is virtual alignment using image warp, and the process of distorting the image to align the image is called rectification. The parameters defining the rectification warp can be obtained using stereo calibration.

캘리브레이션의 목표는 각 카메라의 내재적 파라미터(예를 들어, 초점 길이, 스큐 계수, 주요 점 위치 및 광학 왜곡)뿐만 아니라 외인성(두 카메라의 상대적 배향)을 추정하는 것이다. The goal of calibration is to estimate each camera's intrinsic parameters (eg focal length, skew coefficients, principal point positions, and optical distortion) as well as extrinsic (relative orientation of the two cameras).

고해상도 스테레오 카메라 및 작업량이 방대한 경우에 종래의 캘리브레이션 방법은 정확성과 수치 안정성이 부족하거나, 절차가 복잡하고 오랜 시간이 소요되므로 만족스러운 성능을 보여주지 못한다.In the case of a high-resolution stereo camera and a large amount of work, the conventional calibration method lacks accuracy and numerical stability, or because the procedure is complex and takes a long time, it does not show satisfactory performance.

본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 방대한 작업량 및 자동화된 환경에서도 적합한 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체를 제공하는 데 있다.One of the problems to be achieved by the technical idea of the present invention is to provide a method and apparatus for calibrating a stereo camera module suitable even in a vast amount of work and an automated environment, and a computer-readable storage medium.

본 발명의 실시예에 따른 스테레오 카메라 모듈의 캘리브레이션 방법은, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계; 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계; 상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계; 캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및 상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함할 수 있다.
A method of calibrating a stereo camera module according to an embodiment of the present invention includes: generating a calibration chart for calibration of a stereo camera module including at least two cameras; acquiring a chart distance indicating a distance between the calibration chart and the stereo camera module, a chart period indicating a distance between circles on the calibration chart, and baseline information indicating a distance between midpoints of the two cameras; capturing an image of the calibration chart by the stereo camera module; searching for a corresponding point in at least one pair of captured images; and estimating a commutation parameter based on the at least one pair of images, the chart distance, the chart period, and the baseline information.

본 발명의 실시예에 따른 스테레오 카메라 모듈의 캘리브레이션 장치는, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈에 의해 캘리브레이션 차트를 캡쳐한 이미지와, 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 기초로 정류 파라미터를 추정하는 프로세서; 및 상기 프로세서에 의해 추정된 정류 파라미터를 출력하는 출력부를 포함할 수 있다.
In the apparatus for calibrating a stereo camera module according to an embodiment of the present invention, an image captured by a calibration chart by a stereo camera module including at least two cameras, and a chart distance indicating a distance between the calibration chart and the stereo camera module , a processor for estimating a commutation parameter based on a chart period indicating a distance between circles on the calibration chart, and baseline information indicating a distance between midpoints of the two cameras; and an output unit for outputting the rectification parameter estimated by the processor.

본 발명의 실시예에 따른 컴퓨터 판독 가능한 저장매체는, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계; 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계; 상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계; 캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및 상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법을 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록될 수 있다.A computer-readable storage medium according to an embodiment of the present invention comprises the steps of: generating a calibration chart for calibration of a stereo camera module including at least two cameras; acquiring a chart distance indicating a distance between the calibration chart and the stereo camera module, a chart period indicating a distance between circles on the calibration chart, and baseline information indicating a distance between midpoints of the two cameras; capturing an image of the calibration chart by the stereo camera module; searching for a corresponding point in at least one pair of captured images; and estimating a commutation parameter based on the at least one pair of images and the chart distance, the chart period, and the baseline information. have.

본 발명의 일 실시예에 따르면, 방대한 작업량 및 자동화된 환경에서도 적합한 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체를 제공할 수 있다.
According to an embodiment of the present invention, it is possible to provide a method and apparatus for calibrating a stereo camera module suitable for a large amount of work and an automated environment, and a computer-readable storage medium.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.Various and advantageous advantages and effects of the present invention are not limited to the above, and will be more easily understood in the course of describing specific embodiments of the present invention.

도 1은 본 발명의 일 실시예에 따른 스테레오 캘리브레이션을 위한 캘리브레이션 차트의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라 모듈 및 이의 기준선을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 차트와 스테레오 카메라 모듈의 상대적인 배향 및 차트 거리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 원을 인덱싱하는 일 예를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 원의 3차원 위치를 복원하는 일 예를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치의 구성도이다.1 is a schematic diagram of a calibration chart for stereo calibration according to an embodiment of the present invention.
2 is a view for explaining a stereo camera module and a reference line thereof according to an embodiment of the present invention.
3 is a view for explaining the relative orientation and chart distance of a calibration chart and a stereo camera module according to an embodiment of the present invention.
4 is a flowchart of a calibration method according to an embodiment of the present invention.
5 is a diagram illustrating an example of indexing a circle according to an embodiment of the present invention.
6 is a diagram illustrating an example of restoring a three-dimensional position of a circle according to an embodiment of the present invention.
7 is a block diagram of a calibration apparatus according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

우선, 본 발명의 실시예를 설명하기에 앞서 종래 기술에 따른 스테레오 캘리브레이션을 간단히 설명한다.First, before describing an embodiment of the present invention, stereo calibration according to the prior art will be briefly described.

스테레오 캘리브레이션의 안정성 및 단순성을 개선하기 위한 다양한 시도가 이루어졌다. 예를 들어, 일반적인 카메라 조작 동안 캡쳐된 이미지를 분석함으로써 정열불량이 추정될 때 수행되는 온라인 캘리브레이션, 특정 차트를 캡쳐함으로써 공장 환경에서 수행될 수 있는 오프라인 캘리브레이션 등을 포함한다.Various attempts have been made to improve the stability and simplicity of stereo calibration. Examples include online calibration performed when misalignment is estimated by analyzing images captured during general camera operation, offline calibration that can be performed in a factory environment by capturing a specific chart, and the like.

종래 기술에서는 오프라인 캘리브레이션을 위해 원 그리드 차트를 사용한다. 원은 서로 상이한 색상(예를 들어, 빨간색 및 검은색)을 가지며, 이는 차트에서 각각의 원을 고유하게 식별하는데 사용된다. 이 방법에서는, 상응하는 카메라가 원의 색상을 구별할 수 있고 동일한 센서와 광학 특성을 가지는 경우에만 정류 파라미터가 추정될 수 있다.The prior art uses a circle grid chart for offline calibration. The circles have different colors (eg red and black), which are used to uniquely identify each circle on the chart. In this way, the commutation parameters can only be estimated if the corresponding camera can distinguish the color of the circle and has the same sensor and optical properties.

이러한 종래 기술에 따르면 캘리브레이션 과정이 크게 단순화되지만 제한 요소가 된다. 예를 들어, 하나의 카메라가 컬러이고 다른 카메라가 흑백인 스테레오 카메라 모듈은 이 방법으로 캘리브레이션을 수행할 수 없다.
Although this prior art greatly simplifies the calibration process, it becomes a limiting factor. For example, a stereo camera module with one camera in color and the other in black and white cannot be calibrated this way.

도 1은 본 발명의 일 실시예에 따른 스테레오 캘리브레이션을 위한 캘리브레이션 차트의 개략도이다.1 is a schematic diagram of a calibration chart for stereo calibration according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 차트(10)는 흰색 배경에 수 많은 검은색 원이 일정 간격으로 배열된 등거리 그리드일 수 있다. 또는, 캘리브레이션 차트(10)의 색상이 반전된 것, 검은색 배경상에 흰색 원을 배열한 형태로 구성할 수도 있고, 흰색 원이 램프나 LED와 같은 점 광원으로 대체될 수도 있다. 이처럼, 본 발명의 일 실시예에 따르면 캘리브레이션 차트는 색상에 의해 인코딩된 정보를 갖지 않는다. 이에 따라, 흑백 카메라들을 포함하는 스테레오 카메라 모듈에도 본 발명이 적용될 수 있다.Referring to FIG. 1 , a calibration chart 10 according to an embodiment of the present invention may be an equidistant grid in which many black circles are arranged at regular intervals on a white background. Alternatively, the color of the calibration chart 10 may be inverted, may be configured in a form in which a white circle is arranged on a black background, or the white circle may be replaced with a point light source such as a lamp or an LED. As such, according to an embodiment of the present invention, the calibration chart does not have color-encoded information. Accordingly, the present invention may also be applied to a stereo camera module including black and white cameras.

캘리브레이션 차트(10)에서 검은색 원은 수평 행과 수직 열을 따라 배열되며, 캘리브레이션 차트(10)는 스테레오 카메라 모듈을 구성하는 두 카메라의 FOV(Field of View)를 모두 커버할 수 있는 크기를 가질 수 있다.In the calibration chart 10, black circles are arranged along horizontal rows and vertical columns, and the calibration chart 10 has a size that can cover both the FOV (Field of View) of the two cameras constituting the stereo camera module. can

또한, 캘리브리이션 차트(10) 상의 일 지점(예를 들어, 차트의 중앙부)에는 대응 지점의 검출을 용이하게 하기 위한 태그(11)가 포함될 수 있다. 도 1은 태그(11)로서 누락된 원을 사용하는 일 예를 도시한다. 그러나, 태그가 이로 한정되는 것은 아니고, 대응 지점의 검출을 용이하게 하는 다양한 태그가 사용될 수 있다. 예를 들어, 태그는 누락된 요소 또는 규칙적인 그리드에서 고유의 결함을 형성하는 단일 요소 또는 복수의 요소들의 그룹일 수 있으며, 직사각형, 교차선 또는 선과 같이 더 복잡한 결함 형상으로 구성될 수도 있다.In addition, a tag 11 for facilitating detection of a corresponding point may be included at a point on the calibration chart 10 (eg, a center portion of the chart). 1 shows an example of using a missing circle as a tag 11 . However, the tag is not limited thereto, and various tags that facilitate detection of the corresponding point may be used. For example, a tag may be a missing element or a single element or a group of multiple elements that form a unique defect in a regular grid, and may consist of more complex defect shapes such as rectangles, intersecting lines, or lines.

상술한 캘리브레이션 차트(10)는 인쇄되거나 디스플레이 장치에 표시될 수 있다. 캘리브레이션 절차를 보다 효율적으로 하고 상이한 거리에 위치한 물체를 캡쳐할 수 있도록 하기 위해 디스플레이가 투명할 수 있다.
The above-described calibration chart 10 may be printed or displayed on a display device. The display can be transparent to make the calibration procedure more efficient and to be able to capture objects located at different distances.

도 2는 본 발명의 일 실시예에 따른 스테레오 카메라 모듈 및 이의 기준선을 설명하기 위한 도면이다.2 is a view for explaining a stereo camera module and a reference line thereof according to an embodiment of the present invention.

도 2를 참조하면, 스테레오 카메라 모듈(20)는 서로 중첩된 시야를 갖는 두 개의 카메라(21, 22)를 포함한다. 두 개의 카메라(21, 22)는 예를 들어 해상도, 픽셀 크기, 컬러 필터 어레이 종류, 초점 길이가 상이한 컬러 및/또는 흑백 카메라의 임의의 조합을 포함할 수 있다. 두 개의 카메라(21, 22)는 선택적으로 자동초점(AF) 기능이 구비될 수도 있다. Referring to FIG. 2 , the stereo camera module 20 includes two cameras 21 and 22 having an overlapping field of view. The two cameras 21 , 22 may comprise any combination of color and/or black and white cameras with different resolutions, pixel sizes, color filter array types, and focal lengths, for example. The two cameras 21 and 22 may optionally be equipped with an autofocus (AF) function.

스테레오 카메라 모듈(20)에서 두 개의 카메라(21, 22)의 중점 사이의 거리를 기준선이라 한다.
A distance between the midpoints of the two cameras 21 and 22 in the stereo camera module 20 is referred to as a reference line.

도 3은 본 발명의 일 실시예에 따른 캘리브레이션 차트와 스테레오 카메라 모듈의 상대적인 배향 및 차트 거리를 설명하기 위한 도면이다.3 is a view for explaining the relative orientation and chart distance of a calibration chart and a stereo camera module according to an embodiment of the present invention.

도 3을 참조하면, 캘리브레이션 차트(10)와 스테레오 카메라 모듈(20) 사이의 거리를 차트 거리라 한다. Referring to FIG. 3 , a distance between the calibration chart 10 and the stereo camera module 20 is referred to as a chart distance.

캘리브레이션의 정확도를 보다 향상시키기 위해 도 3에 도시된 바와 같이 캘리브레이션 차트(10)의 평면과 광축을 직각으로 하는 것이 필요하다.
In order to further improve the accuracy of the calibration, it is necessary to make the plane of the calibration chart 10 and the optical axis at right angles as shown in FIG. 3 .

도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법의 흐름도이다.4 is a flowchart of a calibration method according to an embodiment of the present invention.

도 4를 참조하면, 우선, 캘리브레이션 리그를 생성할 수 있다(S40). Referring to FIG. 4 , first, a calibration rig may be generated ( S40 ).

여기서, 캘리브레이션 리그는 카메라로부터 기 설정된 거리만큼 이격되어 위치한 캘리브레이션 차트일 수 있다. 캘리브레이션 차트는 도 1을 참조하여 상술한 바와 같이 형성될 수 있다.
Here, the calibration rig may be a calibration chart spaced apart from the camera by a preset distance. The calibration chart may be formed as described above with reference to FIG. 1 .

이후, 차트 거리, 차트 기간(period) 및 기준선 정보를 획득할 수 있다(S41).Thereafter, the chart distance, chart period, and baseline information may be acquired ( S41 ).

본 발명의 실시예에 따르면, 캘리브레이션 차트의 이미지에 더하여, 차트 기간이라고도 불리는 캘리브레이션 차트상의 원 사이의 거리, 도 2에 도시된 바와 같은 기준선 및 도 3에 도시된 바와 같은 차트 거리에 대한 정보를 획득하여야 한다. 해당 값들은 측정될 수도 있고, 모델 설계 사양 등을 통해 입력될 수도 있다.According to an embodiment of the present invention, in addition to the image of the calibration chart, information about the distance between circles on the calibration chart, also called the chart period, the reference line as shown in Fig. 2 and the chart distance as shown in Fig. 3, is obtained shall. Corresponding values may be measured or may be input through a model design specification or the like.

상술한 정보들은 카메라의 초점 길이와 광축들의 상대적인 배향을 정확하게 추정하기 위해 필요하다. 또한, 거리 추정 오차의 영향을 감소시키기 위해 차트 평면은 가능한 한 스트레오 카메라 모듈의 광축들과 직각이 되도록 위치하여야 한다.The above information is necessary to accurately estimate the focal length of the camera and the relative orientation of the optical axes. In addition, in order to reduce the influence of the distance estimation error, the chart plane should be positioned to be perpendicular to the optical axes of the stereo camera module as much as possible.

본 발명의 실시예에 따르면, 초점이 고정된 렌즈를 갖는 카메라를 포함하는 스테레오 카메라 모듈의 경우 한 쌍의 캡쳐된 이미지가 필요하고, 자동 초점 기능을 구비한 렌즈를 갖는 스테레오 카메라 모듈의 경우 2쌍 이상의 캡쳐된 이미지가 필요할 수 있다. According to an embodiment of the present invention, in the case of a stereo camera module including a camera having a fixed focus lens, a pair of captured images is required, and in the case of a stereo camera module having a lens having an autofocus function, two pairs More captured images may be required.

이후, 필요한 양의 캘리브레이션 차트의 이미지를 캡쳐하고(S42), 원을 인덱싱할 수 있다(S43).Thereafter, an image of the required amount of the calibration chart may be captured (S42), and the circle may be indexed (S43).

도 5는 본 발명의 일 실시예에 따라 원을 인덱싱하는 일 예를 도시하는 도면이다. 예를 들어, 인덱싱은 특수 태그로 제공되는 누락 원에 대해 행 및 열 인덱스를 0으로 할당하여 시작할 수 있다. 5 is a diagram illustrating an example of indexing a circle according to an embodiment of the present invention. For example, indexing can start by assigning row and column indexes to 0 for missing circles provided by special tags.

도 5에 도시된 바와 같이 임의의 원(i, j)(51)에 대해 가장 가까운 좌측 이웃 원(52)은 열 인덱스 i-1을 갖고, 가장 가까운 우측 이웃 원(53)은 열 인덱스 i + 1을 가지며, 가장 가까운 원이 위에 있으면(54) 이의 행 인덱스는 j-1이고 아래에 있으면(55) 행 인덱스는 j + 1이다.As shown in Fig. 5, for any circle (i, j) 51, the nearest left neighboring circle 52 has a column index i-1, and the nearest right neighboring circle 53 has a column index i + 1, its row index is j-1 if the nearest circle is above (54), and its row index is j+1 if it is below (55).

모든 원은 동일하므로, 좌측 및 우측 이미지 사이에서 대응 지점을 결정하는 것은 불가능할 수 있다. 그러나, 본 발명의 실시예에 따르면, 캘리브레이션 차트 상의 원 배열에서 원의 누락 등과 같은 태그를 위치시킴으로써 이 문제를 해결할 수 있다. 이러한 태그가 발견되고 좌측 및 우측 이미지 모두에 존재하는 경우, 이를 공통 인덱스 원점으로 사용할 수 있다.
Since all circles are the same, it may not be possible to determine the point of correspondence between the left and right images. However, according to the embodiment of the present invention, this problem can be solved by locating tags such as missing circles in the circle arrangement on the calibration chart. If such a tag is found and is present in both the left and right images, it can be used as a common index origin.

이후, 매칭 원들을 탐색할 수 있다(S44).Thereafter, matching circles may be searched for ( S44 ).

본 발명의 실시예에서, 누락된 원과 같은 태그는 가장 가까운 4개의 이웃을 검사함으로써 검출될 수 있다. 예를 들어, 인덱스 (i, j)를 갖는 원이 없으면서, 인덱스 (i-1, j), (i + 1, j), (i, j-1) 및 (i, j + 1)을 갖는 4개의 원이 존재하면 원 (i, j)가 탐색된 태그이다. 이와 같은 과정은 캘리브레이션 차트 분석을 완료하기 위해 좌측 및 우측 이미지 모두에 적용될 수 있다.
In an embodiment of the present invention, a tag such as a missing circle can be detected by examining the nearest four neighbors. For example, without a circle having indices (i, j), having indices (i-1, j), (i + 1, j), (i, j-1) and (i, j + 1) If there are 4 circles, circle (i, j) is the searched tag. This process can be applied to both the left and right images to complete the calibration chart analysis.

이후, S41 단계에서 획득한 정보와 S42 단계에서 캡쳐한 캘리브레이션 차트의 이미지를 기초로 후술하는 과정에 따라 정류 파라미터를 추정할 수 있다.
Thereafter, based on the information acquired in step S41 and the image of the calibration chart captured in step S42, the rectification parameter may be estimated according to a process described later.

구체적으로, 광학 왜곡 보정을 수행할 수 있다(S45).Specifically, optical distortion correction may be performed (S45).

광학 왜곡으로 인해 직선의 이미지는 곡선으로 보일 수 있다. 이는 상대적인 카메라 위치를 추정하기 전에 보정되어야 하는 바람직하지 않은 카메라 속성이다. An image of a straight line may appear curved due to optical distortion. This is an undesirable camera property that must be corrected before estimating the relative camera position.

광학 왜곡 보정은 해당 기술분야에서 널리 알려진 다양한 방식이 존재한다. 일반적으로 광학 왜곡을 측정하고 보정하기 위해, 직선 상에 놓여진 이미지 점 세트를 식별하여야 한다. 이러한 이미지 점들이 직선에서 얼마나 벗어났는지를 측정함으로써, 광학 왜곡 모델(즉, 관찰된 이미지 좌표와 왜곡이 없는 경우의 대응되는 좌표 사이의 관계)을 추정하고 왜곡되지 않은(undistortion) 왜곡 파라미터를 계산할 수 있다.There are various methods widely known in the art for optical distortion correction. In general, to measure and correct for optical distortion, a set of image points lying on a straight line must be identified. By measuring how far these image points deviate from a straight line, we can estimate the optical distortion model (i.e. the relationship between the observed image coordinates and the corresponding coordinates in the absence of distortion) and compute the undistorted distortion parameters. have.

예를 들어, 수학식 1과 같은 하기 모델이 컴퓨터 비전 애플리케이션에 널리 사용된다.For example, the following model such as Equation 1 is widely used in computer vision applications.

수학식 1에서, xu 및 yu는 왜곡되지 않은 좌표를 나타내고, xd 및 yd는 왜곡에 의해 영향을 받는 픽셀의 좌표를 나타내며, K1, K2... P1, P2는 왜곡 계수이다. 계수는 OpenCV 프레임 워크와 같이 사용 가능한 임의의 방법을 사용하여 캘리브레이션 차트의 이미지로부터 추정할 수 있다.
In Equation 1, xu and yu represent undistorted coordinates, xd and yd represent coordinates of pixels affected by distortion, and K1, K2... P1, P2 are distortion coefficients. The coefficients can be estimated from the image of the calibration chart using any method available, such as the OpenCV framework.

이후, 좌측 및 우측 카메라 모두에 대해, 원의 3차원 위치를 복원하고(S46), 원의 중심의 3D 좌표 및 이들의 왜곡되지 않은 이미지 좌표 사이에서 투영 관계(즉, 호모그래피 H)를 추정할 수 있다(S47).Then, for both the left and right cameras, the three-dimensional position of the circle is restored (S46), and the projection relationship (i.e., homography H) between the 3D coordinates of the center of the circle and their undistorted image coordinates is estimated. can be (S47).

도 6은 본 발명의 일 실시예에 따라 원의 3차원 위치를 복원하는 일 예를 도시하는 도면으로, 도 6의 (a) 및 (b)에 도시된 바와 같이 기준선 및 차트거리를 알면 수학식 2에 따라 원의 중심의 3차원 위치를 복원할 수 있다.6 is a view showing an example of restoring a three-dimensional position of a circle according to an embodiment of the present invention. As shown in (a) and (b) of FIG. 6, if the reference line and the chart distance are known, the equation According to 2, the three-dimensional position of the center of the circle can be restored.

수학식 2에서, 차트 기간(period)은 원의 중심 사이의 거리이고, i 및 j는 원의 열 및 행 인덱스이다. 또한,

는 모듈 조립체에 대한 캘리브레이션 차트의 회전을 보상하는 행렬이다. 이는 측정에 의해 또는 캡쳐된 이미지로부터의 추정에 의해 획득될 수 있다. 또한,

및

는 각 카메라에 대해서 결과적인 카메라 보상 행렬의 스큐 파라미터를 최소화하기 위해 조절될 수 있는 프리 파라미터이다.
In Equation 2, the chart period is the distance between the centers of the circles, and i and j are the column and row indices of the circle. In addition,

is a matrix that compensates for the rotation of the calibration chart for the module assembly. This can be obtained by measurement or by estimation from captured images. In addition,

and

is a free parameter that can be adjusted to minimize the skew parameter of the resulting camera compensation matrix for each camera.

이후, 호모그래피 행렬 H는 수학식 3과 같이 RQ 분해를 사용하여 상위 삼각형(K) 및 직교(Rot) 행렬들의 프로덕트(product)로 고유하게 분해될 수 있다(S48).Thereafter, the homography matrix H may be uniquely decomposed into products of upper triangle (K) and orthogonal (Rot) matrices using RQ decomposition as in Equation 3 (S48).

여기서, 행렬 K는 카메라 캘리브레이션 행렬의 추정치이고, Rot는 캘리브레이션 차트 평면과 카메라 광축 간의 상대 회전을 정의하는 회전 행렬이다. 이는 수학식 2의 차트 회전 보상 행렬을 추정하는데 사용될 수 있다. 광학 왜곡 계수, 캘리브레이션 행렬 및 회전 행렬은 좌측 및 우측 이미지 모두에 대해 독립적으로 추정될 수 있다.
Here, matrix K is an estimate of the camera calibration matrix, and Rot is a rotation matrix defining the relative rotation between the calibration chart plane and the camera optical axis. This can be used to estimate the chart rotation compensation matrix of Equation (2). The optical distortion coefficient, calibration matrix and rotation matrix can be estimated independently for both left and right images.

이후, 정류 호모그래피를 추정할 수 있다(S49).Thereafter, the commutation homography may be estimated ( S49 ).

정류 호모그래피는 에피폴라 선들을 수평으로 만드는 좌측 및 우측 이미지 간의 맵핑 규칙이다. 일반적인 방식은 두 이미지의 x 축에 평행한 기준선을 만드는 방식으로 두 카메라의 가상 회전을 수행하는 것이다. 회전의 양은 카메라 오정렬도에 따라 달라지며 왜곡을 최소화하기 위해 가능한 한 작게 하는 것이 바람직하다. 이 때문에, 모듈은 가능한 한 작은 카메라 정렬 오차를 유지하도록 설계되었고, 따라서 ±1°내의 미세한 보정만이 필요하다. 이 범위 내의 정렬은 좌측 또는 우측 이미지에만 왜곡되고 다른 이미지는 변하지 않을 때, 단일 이미지 왜곡을 위한 가능성을 열어둔다.Rectification homography is a mapping rule between left and right images that makes the epipolar lines horizontal. A common practice is to perform a virtual rotation of the two cameras by creating a baseline parallel to the x-axis of the two images. The amount of rotation depends on the degree of camera misalignment, and it is desirable to make it as small as possible to minimize distortion. Because of this, the module is designed to keep the camera alignment error as small as possible, so only a fine correction within ±1° is required. Alignment within this range leaves open the possibility for single image distortion when only the left or right image is distorted and the other images remain unchanged.

정류 호모그래피를 추정하는 다양한 방법이 존재한다. 본 발명은 추정 방법 및 구현 상세에 대해서는 특정하지 않으나, 추정에 사용되는 기준선 파라미터가 측정에 의해 또는 모듈 설계 사양으로부터 획득될 것을 필요로 한다. Various methods exist for estimating the commutation homography. The present invention is not specific to the estimation method and implementation details, but requires that the baseline parameters used for estimation be obtained by measurement or from module design specifications.

본 발명의 실시예에 따르면, 수평 기준선이 수학식 2로부터의

에 대해 가능한 값의 세트를 제한함으로써 고려될 수 있다.According to an embodiment of the present invention, the horizontal reference line is obtained from Equation (2).

can be considered by limiting the set of possible values for

이는 일반적으로 기준선이 캡쳐된 스트레오 이미지로부터 획득될 수 있다고 가정되기 때문에 본 발명과 종래 기술의 중요한 차이이다. 차트 거리 및 차트 기간 뿐만 아니라 직접 측정된 기준선의 사용은 하나의 평면 객체의 이미지를 필요로 하면서도 캘리브레이션의 안정성을 크게 향상시킬 수 있다.
This is an important difference between the present invention and the prior art because it is generally assumed that the baseline can be obtained from the captured stereo image. The use of directly measured baselines as well as chart distance and chart duration can greatly improve the stability of the calibration while requiring an image of a single flat object.

이후, 정류 파라미터를 추정할 수 있다(S50).Thereafter, the rectification parameter may be estimated (S50).

최종 정류 파라미터는 광학적 왜곡(수학식 1)과 정류 호모그래피 왜곡의 중첩이다. 이미지 정류를 단순화하기 위해 이러한 왜곡은 벡터 필드로 표시될 수 있는 단일 작업으로 결합된다. 벡터 필드는 수학식 5에 나타낸 바와 같이, 입력 이미지 Iin 과 정류된 이미지 Irect 사이의 픽셀 대응을 결정하는 2 개의 변수 (VX (x, y) 및 VY (x, y))의 벡터 함수이다.
The final commutation parameter is the superposition of optical distortion (Equation 1) and commutation homography distortion. To simplify image rectification, these distortions are combined into a single operation that can be represented as a vector field. The vector field is a vector function of two variables (VX (x, y) and VY (x, y)) that determines the pixel correspondence between the input image Iin and the rectified image Irect, as shown in equation (5).

스테레오 카메라 모듈의 캘리브레이션의 궁극적인 목적은 벡터 필드로 표시된 정류 파라미터를 획득하는 것이다. 벡터 필드는 양자화될 수 있고, 선택적으로 압축되어 추후의 사용을 위해 이미지 장치의 메모리에 저장될 수 있다.
The ultimate purpose of calibration of the stereo camera module is to obtain the commutation parameters expressed as vector fields. The vector fields may be quantized, optionally compressed, and stored in the memory of the imaging device for later use.

본 발명의 일 실시예에 따르면, 적어도 2개의 상이한 거리에 초점을 맞춘 카메라로 캘리브레이션 절차를 반복하고 렌즈 위치에 따라 정류 파라미터를 보간함으로써 상술한 캘리브레이션 방법이 AF 기능을 갖는 스테레오 카메라 모듈에도 적용될 수 있다. According to an embodiment of the present invention, the above-described calibration method can also be applied to a stereo camera module having an AF function by repeating the calibration procedure with a camera focused at at least two different distances and interpolating the rectification parameter according to the lens position. .

또한, 두 카메라의 렌즈가 독립적으로 움직이는 경우, 정류 파라미터 보정은 2 개의 변수(즉, 좌측 및 우측 카메라의 렌즈 위치)의 함수일 수 있고, 모든 카메라의 렌즈가 동기화된 AF의 경우, 정류 파라미터 보정은 단일 메타 파라미터의 함수일 수 있다.
Also, when the lenses of both cameras move independently, the commutation parameter correction can be a function of two variables (i.e., the lens positions of the left and right cameras), and in the case of AF where the lenses of all cameras are synchronized, the commutation parameter correction is It can be a function of a single meta-parameter.

도 4를 참조하여 상술한 캘리브레이션 방법은 이미지 처리 프로세서 등과 같은 적합한 컴퓨팅 장치에 의해 수행될 수 있다. The calibration method described above with reference to FIG. 4 may be performed by a suitable computing device such as an image processing processor.

한편, 본 발명의 일 실시예에 따르면, 도 4에 도시된 바와 같은 캘리브레이션 방법의 각 단계를 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장매체가 제공될 수 있다.
Meanwhile, according to an embodiment of the present invention, a computer-readable storage medium in which instructions executable by a processor for executing each step of the calibration method as shown in FIG. 4 are recorded may be provided.

도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치의 구성도이다.7 is a block diagram of a calibration apparatus according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 장치(70)는, 입력부(71), 프로세서(72) 및 출력부(73)를 포함하여 구성될 수 있으며, 캘리브레이션 차트(10)를 캡쳐하는 스테레오 카메라 모듈(20)로부터 캡쳐된 이미지를 입력받을 수 있다.
Referring to FIG. 7 , the calibration apparatus 70 according to an embodiment of the present invention may include an input unit 71 , a processor 72 , and an output unit 73 , and a calibration chart 10 is displayed. The captured image may be received from the capturing stereo camera module 20 .

입력부(71)는 캘리브레이션에 필요한 정보를 입력받을 수 있다.The input unit 71 may receive information required for calibration.

일 실시예에서, 입력부(71)를 통해 차트 거리, 차트 기간 및 기준선 정보를 입력받을 수 있다.
In an embodiment, the chart distance, chart period, and reference line information may be input through the input unit 71 .

프로세서(72)는 스테레오 카메라 모듈(20)를 이용하여 캡쳐된 캘리브레이션 차트(10)의 캡쳐 이미지와 입력부(71)를 통해 입력된 추가 정보를 이용하여 스테레오 카메라 모듈(20)의 캘리브레이션을 수행할 수 있다. The processor 72 may perform calibration of the stereo camera module 20 using the captured image of the calibration chart 10 captured using the stereo camera module 20 and additional information input through the input unit 71 . have.

일 실시예에서, 프로세서(72)는 차트 거리, 차트 기간 및 기준선 정보를 입력부(71)를 통해 입력받는 것이 아니라 스테레오 카메라 모듈(20) 등의 측정 수단에 의해 직접 측정된 정보를 활용할 수도 있다.In an embodiment, the processor 72 may utilize information directly measured by a measuring means such as the stereo camera module 20 instead of receiving the chart distance, chart period, and reference line information through the input unit 71 .

프로세서(72)에 의해 캘리브레이션을 수행하는 구체적인 방법은 도 4 내지 도 6을 참조하여 상술한 바와 동일하므로, 이에 대한 중복적인 설명은 생략한다.
Since the specific method of performing the calibration by the processor 72 is the same as described above with reference to FIGS. 4 to 6 , a redundant description thereof will be omitted.

출력부(73)는 프로세서(72)에 의한 캘리브레이션 수행 결과, 즉 벡터 필드로 표시된 정류 파라미터를 출력할 수 있다.The output unit 73 may output a result of calibration performed by the processor 72 , that is, a rectification parameter displayed as a vector field.

일 실시예에서, 출력부(73)는 정류 파라미터를 타 프로세서로 출력하거나, 필요에 따라 메모리에 저장할 수도 있다.
In an embodiment, the output unit 73 may output the rectification parameter to another processor or store it in a memory as necessary.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.The present invention is not limited by the above-described embodiments and the accompanying drawings, but is intended to be limited by the appended claims. Therefore, various types of substitution, modification and change will be possible by those skilled in the art within the scope not departing from the technical spirit of the present invention described in the claims, and it is also said that it falls within the scope of the present invention. something to do.

10: 캘리브레이션 차트
11: 태그
20: 스테레오 카메라 모듈
21: 좌측 카메라
22: 우측 카메라
70: 캘리브레이션 장치
71: 입력부
72: 프로세서
73: 출력부10: Calibration Chart
11: tag
20: stereo camera module
21: left camera
22: right camera
70: calibration device
71: input unit
72: processor
73: output unit

Claims

적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계;
상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계;
상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계;
캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및
상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함하고,
상기 캘리브레이션 차트에는 상기 적어도 한쌍의 이미지에서 대응되는 지점의 발견을 용이하게 하는 태그가 포함되는 스테레오 카메라 모듈의 캘리브레이션 방법.
generating a calibration chart for calibration of a stereo camera module including at least two cameras;
acquiring a chart distance indicating a distance between the calibration chart and the stereo camera module, a chart period indicating a distance between circles on the calibration chart, and baseline information indicating a distance between midpoints of the two cameras;
capturing an image of the calibration chart by the stereo camera module;
searching for a corresponding point in at least one pair of captured images; and
estimating a commutation parameter based on the at least one pair of images and the chart distance, the chart period, and the baseline information,
The calibration chart includes a tag for facilitating discovery of a corresponding point in the at least one pair of images.

제 1 항에 있어서,
상기 캘리브레이션 차트는 흰색 배경에 복수의 검은색 원이 열 및 행 방향으로 기 설정된 간격으로 배열된 등거리 그리드를 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
The method of claim 1,
The calibration chart includes an equidistance grid in which a plurality of black circles are arranged at predetermined intervals in column and row directions on a white background.

제 2 항에 있어서,
상기 복수의 원은 점 광원으로 대체되는 스테레오 카메라 모듈의 캘리브레이션 방법.
3. The method of claim 2,
The calibration method of the stereo camera module in which the plurality of circles are replaced by point light sources.

삭제delete

제 2 항에 있어서,
상기 태그는 누락된 원을 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
3. The method of claim 2,
wherein the tag includes a missing circle.

제 1 항에 있어서,
상기 태그는 요소의 규칙적인 배열에서 누락되거나 결함을 형성하는 단일 요소 또는 복수의 요소들의 그룹을 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
The method of claim 1,
wherein the tag comprises a single element or a group of multiple elements that are missing or form defects in a regular arrangement of elements.

제 1 항에 있어서,
상기 카메라가 초점이 고정된 렌즈를 갖는 경우,
상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계는 상기 캘리브레이션 차트를 1회 캡쳐하는 스테레오 카메라 모듈의 캘리브레이션 방법.
The method of claim 1,
If the camera has a fixed focus lens,
The step of capturing the image of the calibration chart is a calibration method of the stereo camera module for capturing the calibration chart once.

제 1 항에 있어서,
상기 카메라 중 적어도 하나가 자동 초점 렌즈를 포함하는 카메라인 경우,
상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계는 상기 렌즈가 적어도 2개의 상이한 거리에 초점을 맞춘 상태에서 상기 캘리브레이션 차트를 적어도 2회 캡쳐하는 스테레오 카메라 모듈의 캘리브레이션 방법.
The method of claim 1,
When at least one of the cameras is a camera including an autofocus lens,
The step of capturing the image of the calibration chart is a calibration method of a stereo camera module for capturing the calibration chart at least twice in a state in which the lens is focused at at least two different distances.

제 1 항에 따른 스테레오 카메라 모듈의 캘리브레이션 방법을 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장 매체.
A computer-readable storage medium in which instructions executable by a processor for executing the method for calibrating a stereo camera module according to claim 1 are recorded.

적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈에 의해 캘리브레이션 차트를 캡쳐한 이미지와, 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 기초로 정류 파라미터를 추정하는 프로세서; 및
상기 프로세서에 의해 추정된 정류 파라미터를 출력하는 출력부를 포함하고,
상기 캘리브레이션 차트는 누락된 원을 포함하는 태그를 포함하는 스테레오 카메라 모듈의 캘리브레이션 장치.
An image captured by a calibration chart by a stereo camera module including at least two cameras, a chart distance representing a distance between the calibration chart and the stereo camera module, a chart period representing a distance between circles on the calibration chart, and a processor for estimating a commutation parameter based on baseline information indicating a distance between midpoints of the two cameras; and
an output unit for outputting the commutation parameter estimated by the processor;
The calibration chart is a calibration apparatus of a stereo camera module including a tag including a missing circle.