KR20190130407A - Apparatus and method for omni-directional camera calibration - Google Patents

Abstract

Provided are an apparatus and a method for the calibration of an omnidirectional camera. The method for the calibration of an omnidirectional camera comprises the following steps: obtaining an image of a structure including a predetermined pattern by using a single camera constituting the omnidirectional camera; and performing the calibration for a single camera by using the obtained image.

Description

전방위 카메라의 캘리브레이션을 위한 장치 및 방법{APPARATUS AND METHOD FOR OMNI-DIRECTIONAL CAMERA CALIBRATION}APPARATUS AND METHOD FOR OMNI-DIRECTIONAL CAMERA CALIBRATION}

본 개시는 전방위 카메라의 캘리브레이션을 위한 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 소정의 패턴을 포함하는 구조물을 이용하여 전방위 카메라의 캘리브레이션을 수행하는 장치 및 방법에 관한 것이다.The present disclosure relates to an apparatus and method for calibration of an omnidirectional camera. More specifically, the present disclosure relates to an apparatus and method for performing calibration of an omnidirectional camera using a structure comprising a predetermined pattern.

최근 가상현실(virtual reality, VR) 산업이 증대됨에 따라, 360도 전방위 카메라 관련 기술이 대두되고 있다. 전방위 카메라 장치에 관한 하드웨어 기술뿐만 아니라, 광각 렌즈 사용으로 인한 왜곡 보정 및 촬영된 이미지 합성에 관한 영상처리 기술에 대한 필요성도 증가하고 있다. 특히, 영상 처리 기술의 정확도 향상을 위해, 360도 전방위 촬영을 위한 다수의 카메라에 대한 특성 차이를 계측하는 내부 캘리브레이션(calibration) 방법 및 상대적인 3차원 위치 차이를 계측하는 외부 캘리브레이션 방법이 필수적이다.Recently, as the virtual reality (VR) industry is growing, technologies related to 360-degree omnidirectional cameras are emerging. In addition to the hardware technology of the omnidirectional camera device, there is an increasing need for image processing techniques related to distortion correction and photographed image synthesis due to the use of wide-angle lenses. In particular, in order to improve the accuracy of image processing technology, an internal calibration method for measuring characteristic differences for a plurality of cameras for 360-degree omnidirectional photographing and an external calibration method for measuring relative three-dimensional position differences are essential.

단일 카메라 캘리브레이션과 달리 다중 카메라 캘리브레이션에서는 2대 이상의 다수의 카메라가 서로의 좌표공간을 공유할 수 있어야 한다. 따라서 종래의 기술들은 동일 시간에 찍힌 서로 다른 카메라간의 영상에 공유되는 물체를 이용하여 카메라 좌표계 간의 관계를 유추할 수 있다Unlike single camera calibration, multi-camera calibration requires two or more cameras to share each other's coordinate space. Therefore, the conventional techniques can infer the relationship between the camera coordinate system using an object shared in the image between different cameras taken at the same time.

도 1은 본 개시의 일 실시 예에 따른 스테레오 카메라간의 영상 좌표계를 설명하기 위한 도면이다. 도 1을 참조하면, 특정 월드 좌표계의 한 점을 X, 해당 점에 대한 두 카메라의 영상 평면에 투사된 점을 각각 x, x’라고 할 때, 이들 간의 관계를 나타내는 행렬인 기초행렬(fundamental matrix) F를 이용하면, x’F x = 0의 관계로 표현될 수 있다. 즉, 동일한 물체를 공유하는 카메라간의 캘리브레이션은 에피폴라(epipolar) 기하학을 이용하여 두 영상 좌표간의 관계를 유추할 수 있다. 한편, 기초행렬 F는 스케일의 모호성과 행렬식이 0이 되어야 한다는 제약조건으로 인해, 7자유도를 갖는 행렬로서 최소 8쌍을 갖는 매핑관계가 필요하다. 그러나, 전방위 입체 영상을 촬영하기 위한 polydioptric 카메라 구조 등의 경우에는, 시야각이 제한되고 또한 서로 반대 방향을 촬영하는 카메라 쌍이 존재하기 때문에 외부 캘리브레이션 시 카메라간 패턴이 동시간에 공유되지 않아 3차원 좌표 정보 획득에 한계가 발생할 수 있다.1 is a view for explaining an image coordinate system between stereo cameras according to an exemplary embodiment. Referring to FIG. 1, when a point of a specific world coordinate system is X and a point projected on the image planes of two cameras with respect to the point is x and x ', respectively, a basic matrix is a matrix representing a relationship between them. ) F can be expressed as a relationship of x'F x = 0. That is, the calibration between cameras sharing the same object may infer the relationship between two image coordinates using epipolar geometry. On the other hand, the base matrix F is a matrix having 7 degrees of freedom due to the ambiguity of the scale and the constraint that the determinant should be 0, and a mapping relationship having at least 8 pairs is required. However, in the case of a polydioptric camera structure for capturing an omnidirectional stereoscopic image, since the viewing angle is limited and there are a pair of cameras photographing opposite directions, the pattern between cameras is not shared at the same time during external calibration so that the 3D coordinate information is not shared. Limitations may arise in acquisition.

이를 극복하기 위해 기존의 방법을 응용한 방법들이 제안되었는데, 단일 평면 체스보드(chess board) 패턴과 회전 모듈이 결합된 캘리브레이션 방법의 경우, 체스보드가 전방위 카메라를 구성하는 단일 카메라 영상 내에 모두 잡혀야 하기 때문에 카메라와 패턴 사이의 거리가 충분히 확보되어야 하는 문제가 있으며, 회전 모듈의 회전 평면이 지면과 정확하게 평행해야 한다는 가정이 요구되는데, 실질적으로 이러한 가정을 만족시키기는 매우 어렵다. 또한, 거울과 반사되는 상을 이용한 방법의 경우에도 체스보드가 전방위 카메라를 구성하는 단일 카메라 영상 내에 모두 잡혀야 하기 때문에 거울의 크기와 카메라와의 거리가 보장되어야 하고, 거울이 정확하게 마주 보아야 하고, 각도 계산이 복잡하다는 문제가 있다. 또한, 전방위 카메라를 구성하는 카메라 수가 증가할수록 각각의 카메라에 패턴 정보를 제공해주기 어렵다는 문제가 있다. 따라서, 전방위 카메라 시스템에 있어 보다 정확도가 향상된 캘리브레이션 결과를 제공할 수 있는 방법에 대한 연구가 요구된다.In order to overcome this problem, methods using existing methods have been proposed. In the case of a calibration method in which a single plane chessboard pattern and a rotation module are combined, the chessboard must be caught within a single camera image constituting the omnidirectional camera. Therefore, there is a problem that a sufficient distance between the camera and the pattern must be secured, and an assumption that the plane of rotation of the rotating module must be exactly parallel to the ground is required. In addition, the method using the mirror and the reflected image must ensure that the size of the mirror and the distance to the camera must be ensured, the mirror must be faced exactly, and the angle must be secured because the chessboard must be held within the single camera image constituting the omnidirectional camera. The problem is that the calculation is complicated. In addition, as the number of cameras constituting the omnidirectional camera increases, it is difficult to provide pattern information to each camera. Therefore, there is a need for a study on how to provide more accurate calibration results in the omnidirectional camera system.

본 개시의 기술적 과제는, 전방위 카메라의 캘리브레이션을 위한 장치 및 방법을 제공하는 것이다.It is an object of the present disclosure to provide an apparatus and method for calibration of an omnidirectional camera.

본 개시의 다른 기술적 과제는, 소정의 패턴을 포함하는 구조물을 이용하여 전방위 카메라의 내부/외부 캘리브레이션을 위한 장치 및 방법을 제공하는 것이다.Another technical problem of the present disclosure is to provide an apparatus and method for internal / external calibration of an omnidirectional camera using a structure including a predetermined pattern.

본 개시의 다른 기술적 과제는, 전방위 카메라의 캘리브레이션을 수행하기 위한 소정의 패턴을 포함하는 구조물을 제공하는 것이다.Another technical problem of the present disclosure is to provide a structure including a predetermined pattern for performing calibration of the omnidirectional camera.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Technical problems to be achieved in the present disclosure are not limited to the above-mentioned technical problems, and other technical problems not mentioned above will be clearly understood by those skilled in the art from the following description. Could be.

본 개시의 일 양상에 따르면, 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 단계; 및 상기 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계를 포함하는 전방위 카메라 캘리브레이션 방법이 제공될 수 있다.According to an aspect of the present disclosure, the method may include: obtaining an image of a structure including a predetermined pattern using a single camera constituting an omnidirectional camera; And calibrating the single camera using the obtained image.

본 개시의 다른 양상에 따르면, 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 입력부; 저장부; 및 상기 입력부에 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 제어부를 포함하는, 전방위 카메라 캘리브레이션 장치가 제공될 수 있다.According to another aspect of the present disclosure, an input unit for obtaining an image of a structure including a predetermined pattern using a single camera constituting the omnidirectional camera; Storage unit; And a controller configured to perform calibration on the single camera using the image obtained by the input unit.

본 개시의 다른 양상에 따르면, 전방위 카메라의 캘리브레이션을 수행하기 위한 구조물로서, 상기 구조물은 다면체 형태이고, 각 면은 소정의 패턴을 포함하고, 상기 소정의 패턴은 체스보드 패턴에 소정의 마커(marker)가 결합된 형태이고, 상기 소정의 마커는 상기 구조물의 특정 위치에 대한 좌표 정보를 포함하는 것인, 구조물이 제공될 수 있다.According to another aspect of the present disclosure, a structure for performing calibration of an omnidirectional camera, wherein the structure is polyhedral, each surface includes a predetermined pattern, and the predetermined pattern is a predetermined marker on the chessboard pattern. ) Is combined form, and the predetermined marker may include coordinate information about a specific position of the structure.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above with respect to the present disclosure are merely exemplary aspects of the detailed description of the present disclosure described below, and do not limit the scope of the present disclosure.

본 개시에 따르면, 전방위 카메라의 캘리브레이션을 위한 장치 및 방법이 제공될 수 있다.According to the present disclosure, an apparatus and method for calibrating an omnidirectional camera may be provided.

또한, 본 개시에 따르면, 소정의 패턴을 포함하는 구조물을 이용하여 전방위 카메라의 내부/외부 캘리브레이션을 위한 장치 및 방법이 제공될 수 있다.In addition, according to the present disclosure, an apparatus and method for internal / external calibration of an omnidirectional camera using a structure including a predetermined pattern may be provided.

또한, 본 개시에 따르면, 전방위 카메라의 캘리브레이션을 수행하기 위한 소정의 패턴을 포함하는 구조물이 제공될 수 있다.In addition, according to the present disclosure, a structure including a predetermined pattern for performing calibration of the omnidirectional camera may be provided.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned above may be clearly understood by those skilled in the art from the following description. will be.

도 1은 본 개시의 일 실시 예에 따른 스테레오 카메라간의 영상 좌표계를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전방위 카메라의 캘리브레이션에 이용되는 다면체 형태의 구조물을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 시스템의 동작방법을 설명하기 위한 도면이다.도 4는 본 개시의 일 실시 예에 따른 ID가 i인 마커의 각 코너점을 설명하기 위한 도면이다.
도 5는 도 4의 전방위 카메라 캘리브레이션 장치의 동작방법을 코드로 나타낸 일 실시 예이다.
도 6은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 수행을 위한 배치형태를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 영상 스티칭시 전방위 카메라 캘리브레이션 방법이 적용된 결과를 설명하기 위한 도면이다.1 is a view for explaining an image coordinate system between stereo cameras according to an exemplary embodiment.
2 is a view for explaining a polyhedral structure used for calibration of the omnidirectional camera according to an embodiment of the present disclosure.
3 is a view for explaining a method of operating the omnidirectional camera calibration system according to an embodiment of the present disclosure. FIG. 4 is a view for explaining each corner point of a marker whose ID is i according to an embodiment of the present disclosure. to be.
FIG. 5 is an embodiment illustrating a method of operating the omnidirectional camera calibration device of FIG.
FIG. 6 is a view for explaining an arrangement form for performing omnidirectional camera calibration according to an exemplary embodiment. Referring to FIG.
FIG. 7 illustrates a result of applying the omnidirectional camera calibration method when stitching an image according to an exemplary embodiment.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals in the drawings refer to the same or similar functions throughout the several aspects. Shape and size of the elements in the drawings may be exaggerated for clarity. DETAILED DESCRIPTION For the following detailed description of exemplary embodiments, reference is made to the accompanying drawings that show, by way of illustration, specific embodiments. These embodiments are described in sufficient detail to enable those skilled in the art to practice the embodiments. It should be understood that the various embodiments are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be embodied in other embodiments without departing from the spirit and scope of the invention with respect to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the embodiments. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the exemplary embodiments, if properly described, is defined only by the appended claims, along with the full scope of equivalents to which such claims are entitled.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.In the present invention, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When any component of the invention is said to be “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but other components may be present in between. It should be understood that it may. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.The components shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit. In other words, each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function. Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present invention, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof. In other words, the description "include" a specific configuration in the present invention does not exclude a configuration other than the configuration, it means that additional configuration may be included in the scope of the technical spirit of the present invention or the present invention.

본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.Some components of the present invention are not essential components for performing essential functions in the present invention but may be optional components for improving performance. The present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.EMBODIMENT OF THE INVENTION Hereinafter, embodiment of this invention is described concretely with reference to drawings. In describing the embodiments of the present specification, when it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present specification, the detailed description is omitted and the same reference numerals are used for the same elements in the drawings. Duplicate descriptions of the same components are omitted.

도 2는 본 개시의 일 실시 예에 따른 전방위 카메라의 캘리브레이션에 이용되는 다면체 형태의 구조물을 설명하기 위한 도면이다.2 is a view for explaining a polyhedral structure used for calibration of the omnidirectional camera according to an embodiment of the present disclosure.

본 개시의 전방위 카메라 켈리브레이션 시스템은 복수의 단일 카메라(또는 개별 카메라)로 구성된 전방위 카메라(또는 카메라 리그(rig))를 포함할 수 있다.The omnidirectional camera calibration system of the present disclosure may include an omnidirectional camera (or camera rig) consisting of a plurality of single cameras (or individual cameras).

본 개시의 전방위 카메라 캘리브레이션 시스템은 전방위 카메라의 내부 또는 외부 캘리브레이션을 수행하기 위한 다면체 형태의 구조물을 제공할 수 있다. 상기 구조물은 소정의 패턴을 포함할 수 있다. 예컨대, 본 개시의 패턴은 체스보드 패턴을 포함할 수 있으며, 또한 소정의 마커(marker)와 체스보드 패턴이 결합된 형태일 수 있다. 따라서, 상기 구조물은 소정의 마커와 체스보드 패턴이 결합된 패턴을 n(n은 1 이상의 정수)개의 평면상에 위치시킨 n면체 형태일 수 있다. 구체적으로, 본 개시의 구조물은 n면체 내부에 패턴을 위치시킴으로써 해당 패턴 면의 3차원 좌표 정보를 제공하는 것을 특징으로 할 수 있다. 한편, 본 개시의 패턴은 기존 체스보드에 소정의 마커가 결합된 형태일 수 있다. 상기 패턴은 Charuco 보드일 수 있다.The omnidirectional camera calibration system of the present disclosure may provide a polyhedral structure for performing internal or external calibration of the omnidirectional camera. The structure may include a predetermined pattern. For example, the pattern of the present disclosure may include a chessboard pattern, and may also be a form in which a predetermined marker and a chessboard pattern are combined. Accordingly, the structure may have an n-hedron shape in which a pattern in which a predetermined marker and a chessboard pattern are combined is placed on n planes (n is an integer of 1 or more). Specifically, the structure of the present disclosure may be characterized by providing three-dimensional coordinate information of the pattern surface by positioning the pattern inside the n-sided body. On the other hand, the pattern of the present disclosure may be a form in which a predetermined marker is coupled to the existing chess board. The pattern may be a Charuco board.

상기 마커는 체스보드 패턴의 일 영역에 표시될 수 있으며, 규칙적인 형태로 체스보드 패턴 상에 표시될 수 있다. 또한, 상기 마커는 Aruco 마커, QR 코드, April tag 등일 수 있으나, 이에 제한되지 않으며 소정의 정보를 제공할 수 있는 특정 패턴일 수 있다. 또한, 상기 마커는 3차원 좌표 정보를 포함할 수 있다. 예컨대, 상기 마커는 ID 정보를 제공함으로써 체스보드 패턴의 코너점(corner point) 좌표(또는, 모서리 좌표, 교차점 좌표 등)를 부여할 수 있다. 따라서, 코너점 좌표에 실제 3차원 좌표 정보를 부여할 수 있기 때문에, 추가적인 구조 없이 전방위 카메라를 구성하는 각 카메라의 내부 캘리브레이션을 수행할 수 있으며, 또한 상기 수행 결과에 기초하여 각 카메라간의 상대적 3차원 위치 정보를 계측하는 외부 캘리브레이션을 수행할 수 있다. 한편, 상기 마커는 체스보드 패턴의 코너점 좌표에 제한되지 않으며, 구조물 상의 소정의 위치에 대한 좌표를 제공할 수 있다.The marker may be displayed on one region of the chessboard pattern, and may be displayed on the chessboard pattern in a regular form. In addition, the marker may be an Aruco marker, a QR code, an April tag, etc., but is not limited thereto and may be a specific pattern that may provide predetermined information. In addition, the marker may include three-dimensional coordinate information. For example, the marker may provide corner point coordinates (or corner coordinates, intersection point coordinates, etc.) of the chessboard pattern by providing ID information. Therefore, since the actual three-dimensional coordinate information can be given to the corner point coordinates, the internal calibration of each camera constituting the omnidirectional camera can be performed without additional structure, and also the relative three-dimensional between each camera based on the result of the above-mentioned performance. External calibration for measuring location information can be performed. On the other hand, the marker is not limited to the corner point coordinates of the chessboard pattern, it may provide a coordinate for a predetermined position on the structure.

도 2를 참조하면, 전방위 카메라의 캘리브레이션에 이용되는 직육면체 형태의 구조물(210)이 도시되어 있다. 도 2의 구조물(210)의 경우 전방위 카메라를 구조물(210) 내부에 위치시키기거나 통과시키기 위해 직육면체의 마주보는 두 면이 막혀있지 않으나, 이에 제한되지 않으며, 전방위 카메라를 구성하는 각 카메라가 구조물 내부에 표시되어 있는 소정의 패턴 영상을 획득할 수 있는 임의의 구조를 포함할 수 있다. 예컨대, 구조물(210)은 전면이 모두 막혀있을 수 있고, 한 면만 막혀있지 않을 수 있고 또는 전방위 카메라가 통과될 수 있을 정도의 영역만 일부 뚫려있을 수 있다. 구조물(210)의 각 일 면은 소정의 패턴을 포함할 수 있다. 각 일 면에 표시되는 패턴(220)은 체스보드 패턴과 소정의 마커(212)가 결합된 형태로서, 각 마커(212)마다 특정 ID가 부여될 수 있다. 도 2를 참조하면, 왼쪽 상단부터 오른쪽 하단 방향으로 순서대로 ID가 마커(212)에 부여된 것을 확인할 수 있으나, 각 마커(212)마다 서로 구별되는 특정 정보를 포함할 수 있으면 ID 부여 순서는 제한되지 않는다. 예컨대, 각 마커(212)는 체스보드 패턴의 코너점 좌표를 포함할 수 있다. 도 2를 참조하면, ID가 1인 마커(214) 또는 ID가 5인 마커(216)는 각각 해당 마커의 일 코너점(218)의 좌표 정보를 포함할 수 있다. 도 2의 구조물(210)을 어느 한 면에서 바라보면, 구조물(210)을 구성하는 각각의 면이 상기 패턴(220)을 표시하고 있음을 확인할 수 있다(230).2, there is shown a rectangular parallelepiped structure 210 used for calibration of the omnidirectional camera. In the case of the structure 210 of FIG. 2, two opposing faces of the rectangular parallelepiped for positioning or passing the omnidirectional camera inside the structure 210 are not blocked, but the present invention is not limited thereto. It may include any structure that can obtain a predetermined pattern image displayed on. For example, the structure 210 may be entirely blocked on one side, may not be blocked on only one side, or may have only a portion of an area through which the omnidirectional camera can pass. Each surface of the structure 210 may include a predetermined pattern. The pattern 220 displayed on each surface is a form in which a chessboard pattern and a predetermined marker 212 are combined, and a specific ID may be assigned to each marker 212. Referring to FIG. 2, it can be seen that IDs are assigned to the markers 212 in order from the upper left to the lower right, but if each marker 212 can include specific information distinguished from each other, the order of ID assignment is limited. It doesn't work. For example, each marker 212 may include corner point coordinates of a chessboard pattern. Referring to FIG. 2, the marker 214 having an ID of 1 or the marker 216 having an ID of 5 may include coordinate information of one corner point 218 of the corresponding marker. Looking at the structure 210 of FIG. 2 from one side, it can be seen that each surface constituting the structure 210 displays the pattern 220 (230).

도 3은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 시스템의 동작방법을 설명하기 위한 도면이다. 본 개시의 전방위 카메라 캘리브레이션 장치는 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하고, 획득된 영상을 이용하여 단일 카메라에 대한 캘리브레이션을 수행할 수 있다. 예컨대, 본 개시의 전방위 카메라 캘리브레이션 장치는 획득된 영상을 이용하여 단일 카메라의 내부 파라미터를 결정하는 제1 캘리브레이션을 수행하고, 획득된 영상 및 내부 파라미터를 이용하여 단일 카메라의 외부 파라미터를 결정하는 제2 캘리브레이션을 수행할 수 있다. 도 3의 단일 카메라 캘리브레이션(single camera calibration, S310) 및 360도 전방위 카메라 캘리브레이션(polydioptric camera calibration, S320)은 각각 제1 캘리브레이션 및 제2 캘리브레이션의 실시예이다. 또한, 본 개시의 전방위 카메라 캘리브레이션 장치는 획득된 카메라의 내부 파라미터 및 외부 파라미터 정보를 이용하여 카메라의 자세 정보를 추정할 수 있다.3 is a view for explaining a method of operating the omnidirectional camera calibration system according to an embodiment of the present disclosure. The omnidirectional camera calibration apparatus of the present disclosure may acquire an image of a structure including a predetermined pattern by using a single camera constituting the omnidirectional camera, and perform calibration on a single camera using the acquired image. For example, the apparatus for calibrating the omnidirectional camera of the present disclosure performs a first calibration for determining an internal parameter of a single camera using the acquired image, and determines a external parameter of the single camera using the acquired image and the internal parameter. Calibration can be performed. Single camera calibration (S310) and 360-degree polydioptric camera calibration (S320) of FIG. 3 are embodiments of the first and second calibrations, respectively. In addition, the omnidirectional camera calibration apparatus of the present disclosure may estimate the attitude information of the camera using the acquired internal parameter and external parameter information of the camera.

도 3을 참조하면, 단계 S310에서 360도 전방위 카메라 구조를 구성하는 단일 카메라의 내부 파라미터를 추정할 수 있다. 또한, 단계 S320에서 카메라 캘리브레이션 구조와 내부 파라미터를 이용하여 카메라의 자세를 추정할 수 있다. 또한 단계 S330에서 추정된 카메라 파라미터를 기반으로 왜곡된 영상을 보정하고 3차원 공간상에서 카메라 구조의 자세를 시각화할 수 있다.Referring to FIG. 3, in operation S310, internal parameters of a single camera constituting the 360-degree omnidirectional camera structure may be estimated. In addition, in operation S320, the pose of the camera may be estimated using the camera calibration structure and internal parameters. In addition, it is possible to correct the distorted image based on the camera parameter estimated in step S330 and visualize the pose of the camera structure in the three-dimensional space.

단계 S310에서 단일 카메라의 내부 파라미터를 추정하기 위해, 특정 마커가 보유한 물리적 위치 정보를 활용하여, 소정의 패턴의 각 코너점에 정규 영상 좌표계에서의 좌표를 부여할 수 있다. 예컨대, 소정의 패턴은 체스보드 패턴일 수 있다. 카메라 리그(312)는 도 2에서 살펴보았던 구조물(314)의 주변에 위치할 수 있다. 예컨대, 구조물(314)이 카메라 리그(312)를 구성하는 각 카메라를 둘러쌓을 수 있도록 카메라 리그(312)를 위치시킬 수 있다. 상기와 같이 카메라 리그(312)를 위치시킴으로써 카메라 리그(312)를 구성하는 각 개별 카메라는 상기 구조물(314)에 포함된 소정의 패턴 영상을 획득할 수 있게 된다. 또한, 예컨대, 카메라 리그(312)를 삼각대를 중심으로 회전시킴으로써(316) 각 개별 카메라는 구조물(314)에 포함된 소정의 패턴 영상을 획득할 수 있게 된다. 내부 파라미터를 추정하는데 보다 정확성을 높이기 위해 각 개별 카메라마다 적어도 하나 이상의 영상을 획득할 수 있다. 전방위 카메라 캘리브레이션 장치는 획득된 영상으로부터 특징점을 검출할 수 있다. 예컨대, 특징점은 각 패턴의 코너점, 모서리 또는 교차점이 될 수 있다. 전방위 카메라 캘리브레이션 장치는 각 패턴의 코너점, 모서리 또는 교차점이 위치한 픽셀을 이용하여 카메라 내부 파라미터를 추정할 수 있다. 예컨대, 캘리브레이션을 하고자 하는 카메라를 CAMi라 하고, CAMi에서 획득된 영상이 총 N개라고, 각 영상을 Ij, j=1,…, N이라고 하면, Ij에 포함된 특정 마커에 대한 검출 과정을 진행할 수 있다. 도 4는 본 개시의 일 실시 예에 따른 ID가 i인 마커의 각 코너점을 설명하기 위한 도면으로서, 예컨대, ID가 i인 마커는 4개의 코너점, 즉 제1 코너점(420), 제2 코너점(422), 제3 코너점(424) 및 제4 코너점(426)에 대한 좌표 정보를 포함할 수 있다. 코너점 Pm의 영상좌표를 (x,y), 정규영상좌표를 (x',y')라고 하면, 핀홀카메라 모델과 렌즈 왜곡 모델을 이용하여 두 좌표간의 관계를 수학식 1과 같이 나타낼 수 있다. 여기서, 영상좌표는 획득된 영상에 표시된 픽셀 좌표를 의미할 수 있고, 또한, 정규영상좌표는 ID가 i인 마커를 포함하고 있는 실제 물리 세계의 좌표를 의미할 수 있다.In step S310, in order to estimate an internal parameter of a single camera, coordinates in a normal image coordinate system may be assigned to each corner point of a predetermined pattern by using physical position information held by a specific marker. For example, the predetermined pattern may be a chessboard pattern. The camera rig 312 may be located around the structure 314 discussed with reference to FIG. 2. For example, the camera rig 312 may be positioned such that the structure 314 surrounds each camera constituting the camera rig 312. By positioning the camera rig 312 as described above, each individual camera constituting the camera rig 312 can obtain a predetermined pattern image included in the structure 314. In addition, for example, by rotating the camera rig 312 about a tripod (316), each individual camera can obtain a predetermined pattern image included in the structure 314. In order to increase accuracy in estimating internal parameters, at least one image may be acquired for each individual camera. The omnidirectional camera calibration device may detect a feature point from the acquired image. For example, the feature point may be a corner point, corner or intersection point of each pattern. The omnidirectional camera calibration apparatus may estimate camera internal parameters by using pixels at corner points, corners, or intersection points of each pattern. For example, a camera to be calibrated is called CAMi, and there are a total of N images acquired from CAMi, and each image is represented by Ij, j = 1,... If, N, it is possible to proceed with the detection process for a particular marker included in Ij. FIG. 4 is a diagram for describing each corner point of a marker having an ID of i according to an embodiment of the present disclosure. For example, the marker having an ID of i may have four corner points, that is, a first corner point 420. Coordinate information about the second corner point 422, the third corner point 424, and the fourth corner point 426 may be included. If the image coordinate of the corner point Pm is (x, y) and the regular image coordinate is (x ', y'), the relationship between the two coordinates can be expressed using Equation 1 using the pinhole camera model and the lens distortion model. . Here, the image coordinate may refer to pixel coordinates displayed on the acquired image, and the normal image coordinate may refer to the coordinates of the real physical world including the marker whose ID is i.

수학식 1에서, fx, fy, cx, cy 및 skew_cfx는 카메라의 내부 파라미터이다. 구체적으로, fx 및 fy는 초점거리로서 렌즈 중심과 이미지센서(CCD, CMOS 등)와의 거리를 의미하고, cx 및 cy는 주점으로서 카메라 렌즈의 중심에서 이미지센서에 내린 수선의 발의 영상좌표를 의미하고, 또한 skew_cfx는 비대칭계수로서 이미지센서의 y축이 기울어진 정도를 의미할 수 있다. 한편, 최근 사용되는 카메라들은 skew 에러가 없기 때문에 계산 과정에서 고려하지 않을 수 있다.In Equation 1, fx, fy, cx, cy and skew _cfx are internal parameters of the camera. Specifically, fx and fy are focal lengths and mean distances between the lens center and the image sensor (CCD, CMOS, etc.), and cx and cy are main points of the image coordinates of the repaired foot dropped on the image sensor from the center of the camera lens. In addition, skew _cfx is an asymmetry coefficient and may indicate the degree of tilt of the y-axis of the image sensor. On the other hand, recently used cameras may not be considered in the calculation process because there is no skew error.

영상 Ij에서 총 M개의 코너점이 검출되고, 각각의 코너점 Pm(m=1,…,M)의 영상좌표와 정규영상좌표를 각각 (xm,ym)과 (xm',ym')라 하면, 두 좌표간의 관계는 수학식 1과 같이 나타낼 수 있다. 또한, 총 M개의 코너점에 대해 총 M개 쌍의 영상좌표와 정규영상좌표간의 관계식들을 획득될 수 있으며, 획득된 관계식들을 이용하여 각 개별 카메라의 내부 파라미터의 값을 추정할 수 있다. 예컨대, 획득된 관계식에서 발생되는 오차를 최소화할 수 있는 값을 해당 카메라의 내부 파라미터의 값으로 설정할 수 있다. 한편, 상기 과정은 카메라 리그(312)를 구성하는 각 개별 카메라에 대해서 수행될 수 있다.A total of M corner points are detected in the image Ij, and if the image coordinates and the regular image coordinates of each corner point Pm (m = 1,…, M) are (xm, ym) and (xm ', ym'), respectively, The relationship between the two coordinates can be expressed as in Equation 1. In addition, relations between a total of M pairs of image coordinates and regular image coordinates may be obtained for a total of M corner points, and values of internal parameters of each individual camera may be estimated using the obtained relations. For example, a value for minimizing an error generated in the acquired relational expression may be set as a value of an internal parameter of the corresponding camera. Meanwhile, the process may be performed for each individual camera constituting the camera rig 312.

단계 S320에서 전방위 카메라 캘리브레이션을 위해, 즉 단일 카메라의 외부 파라미터를 추정하기 위해 카메라 리그(322)를 구성하는 각 개별 카메라는 도 2에서 살펴보았던 구조물(328)에 포함된 소정의 패턴 영상을 획득할 수 있다. 패턴 영상은 카메라 리그(322)와 구조물을 원하는 위치로 고정시키고 각 개별 카메라 별로 소정의 패턴 영상을 획득할 수 있다. 또한, 단계 S310에서 내부 파라미터를 추정하기 위해 획득된 영상을 이용할 수 있다. 전방위 카메라 캘리브레이션 장치는 획득된 영상으로부터 소정의 패턴을 검출하고, 검출된 패턴으로부터 특징점을 이용하여 외부 파라미터를 추정할 수 있다. 예컨대, 특징점은 각 패턴의 코너점, 모서리 또는 교차점이 될 수 있다. 전방위 카메라 캘리브레이션 장치는 코너점의 픽셀 정보와 미리 부여한 구조물에서의 3차 좌표간의 매핑 관계를 찾는 과정을 수행한다. 예컨대, 제1 카메라(324), 제2 카메라(325) 및 제3 카메라(326)는 각각의 ID를 인식할 수 있고, ID를 인식한 해당 면의 축(axis)을 기준으로 외부 파라미터를 추정할 수 있다. 구체적으로, 카메라 CAMi에 대해 ID가 j인 마커의 코너점 영상좌표를 (x,y), 이와 관련된 실제 물리세계의 3차원 좌표를 (X,Y,Z)라고 하면, 이들 간의 관계는 수학식 2와 같이 나타낼 수 있다.In step S320, each individual camera constituting the camera rig 322 for omnidirectional camera calibration, that is, to estimate external parameters of a single camera, may acquire a predetermined pattern image included in the structure 328 described in FIG. 2. Can be. The pattern image may fix the camera rig 322 and the structure to a desired position and obtain a predetermined pattern image for each individual camera. In addition, the acquired image may be used to estimate the internal parameter in step S310. The omnidirectional camera calibration apparatus may detect a predetermined pattern from the acquired image, and estimate an external parameter using a feature point from the detected pattern. For example, the feature point may be a corner point, corner or intersection point of each pattern. The omnidirectional camera calibration apparatus performs a process of finding a mapping relationship between pixel information of a corner point and cubic coordinates in a predetermined structure. For example, the first camera 324, the second camera 325, and the third camera 326 may recognize respective IDs, and estimate external parameters based on the axis of the plane on which the IDs are recognized. can do. Specifically, when the image coordinate of the corner point of the marker whose ID is j for the camera CAMi is (x, y) and the three-dimensional coordinates of the physical world related thereto are (X, Y, Z), the relationship between them is expressed as It can be represented as 2.

수학식 2에서, Ri는 회전(rotation) 정보, ti는 전이(transition) 정보를 의미할 수 있다. 전방위 카메라 캘리브레이션 장치는 카메라 내부 파라미터의 값을 수학식 1에서 추정된 값으로 고정시키고, 외부 파라미터 Ri, ti의 값을 추정할 수 있다. 예컨대, 수학식 2를 이용하여 영상 내 좌표와 3D 좌표 쌍들을 매핑시키는 최적해 Ri, ti를 찾을 수 있다. 이러한 과정에 의해 각 카메라에 대한 회전 정보 또는 위치 정보를 추정할 수 있다.In Equation 2, Ri may mean rotation information and ti may mean transition information. The omnidirectional camera calibration device may fix the value of the camera internal parameter to the value estimated in Equation 1 and estimate the values of the external parameters Ri and ti. For example, using Equation 2, an optimal solution Ri and ti for mapping coordinates and 3D coordinate pairs in an image may be found. By this process, rotation information or position information for each camera can be estimated.

단계 S330에서 단계 S310 및 S320에서 각각 획득된 카메라의 내부 파라미터 및 외부 파라미터 정보를 이용하여 카메라의 자세 정보를 추정할 수 있다. 예컨대, 임의의 특정 패턴의 3차원 좌표를 원점으로 정의하고, 상기 원점을 기준으로 각 개별 카메라의 외부 파라미터를 이용함으로써 카메라의 자세정보를 추정할 수 있다. 또한, 전방위 카메라 캘리브레이션 장치는 카메라의 자세 정보를 3차원으로 도시화 할 수 있다. 따라서, 사용자는 손쉽게 다수의 카메라의 캘리브레이션이 성공적이었는지 확인할 수 있다.In operation S330, posture information of the camera may be estimated by using internal and external parameter information of the camera acquired in steps S310 and S320, respectively. For example, the three-dimensional coordinates of any particular pattern may be defined as an origin, and the attitude information of the camera may be estimated by using external parameters of each individual camera based on the origin. In addition, the omni-directional camera calibration device may show the attitude information of the camera in three dimensions. Thus, the user can easily check whether the calibration of the multiple cameras was successful.

한편, 도 5는 도 4의 전방위 카메라 캘리브레이션 장치의 동작방법을 코드로 나타낸 일 실시 예이다. 도 5를 참조하면, 전방위 카메라 캘리브레이션 장치는 카메라 리그를 구성하는 각 개별 카메라의 내부 파라미터를 추정하고, 추정된 내부 파라미터를 이용함으로써 각 개별 카메라의 외부 파라미터를 획득할 수 있다. 또한, 전방위 카메라 캘리브레이션 장치는 획득된 내부 파라미터 및 외부 파라미터를 이용하여 각 개별 카메라 또는 카메라 리그의 3차원 위치공간에서의 자세 정보를 획득할 수 있다.5 is a diagram illustrating an operation method of the omnidirectional camera calibration device of FIG. 4 in code. Referring to FIG. 5, the omnidirectional camera calibration apparatus may estimate internal parameters of each individual camera constituting the camera rig, and obtain external parameters of each individual camera by using the estimated internal parameters. In addition, the omnidirectional camera calibration apparatus may acquire attitude information in the three-dimensional position space of each individual camera or camera rig using the acquired internal and external parameters.

도 6은 본 개시의 일 실시 예에 따른 전방위 카메라 캘리브레이션 수행을 위한 배치형태를 설명하기 위한 도면이다.FIG. 6 is a view for explaining an arrangement form for performing omnidirectional camera calibration according to an exemplary embodiment. Referring to FIG.

본 개시의 전방위 카메라 캘리브레이션 방법은 카메라 리그의 종류에 관계 없이 각 개별 카메라에 대해 독립적으로 캘리브레이션을 수행할 수 있다. 따라서, 카메라 리그 정보가 없어도 캘리브레이션을 수행할 수 있다. 예컨대, 도 6을 참조하면, 360RIZE를 이용한 캘리브레이션(610) 및 2 fish-eye RICOH THETA를 이용한 캘리브레이션(620) 모두 각 카메라 리그를 구성하는 개별 카메라에 대해 독립적으로 캘리브레이션을 수행할 수 있다.The omni-directional camera calibration method of the present disclosure can perform calibration independently for each individual camera regardless of the type of camera rig. Therefore, calibration can be performed even without camera rig information. For example, referring to FIG. 6, both calibration 610 using 360RIZE and calibration 620 using 2 fish-eye RICOH THETA may independently perform calibration for individual cameras constituting each camera rig.

도 7은 본 개시의 일 실시 예에 따른 영상 스티칭시 전방위 카메라 캘리브레이션 방법이 적용된 결과를 설명하기 위한 도면이다.FIG. 7 illustrates a result of applying the omnidirectional camera calibration method when stitching an image according to an exemplary embodiment.

본 개시의 전방위 카메라 캘리브레이션 장치는 영상 획득시의 다중 카메라들에 대한 자세 위치정보를 추론할 수 있으므로, 이에 기초하여 3차원 영상 재구축, 깊이 정보 복원, 영상 스티칭 등의 영상 처리 과정에 보다 신뢰성 높은 카메라 파라미터 정보를 전달할 수 있다.Since the omnidirectional camera calibration apparatus of the present disclosure can infer posture position information of multiple cameras when acquiring an image, it is more reliable for image processing processes such as 3D image reconstruction, depth information restoration, and image stitching. Camera parameter information can be delivered.

도 7을 참조하면, 본 개시의 방법을 이용하여 스티칭을 수행한 제2 영상(720)이 단순히 카메라 정보에 기초하여 스티칭을 수행한 제1 영상(710)에 비해 계단과 그림자가 보다 자연스럽게 표현됨을 알 수 있다. 또한, 본 개시의 방법을 이용하여 스티칭을 수행한 제4 영상(740)이 단순히 카메라 정보에 기초하여 스티칭을 수행한 제3 영상(730)에 비해 건물이 끊어지지 않고 보다 잘 자연스럽게 표현됨을 알 수 있다Referring to FIG. 7, the stairs and the shadows are more naturally expressed than the first image 710 which has been stitched based on the camera information by using the method of the present disclosure. Able to know. In addition, it can be seen that the fourth image 740 that has been stitched using the method of the present disclosure has a better natural appearance than the third image 730 where the stitching is simply performed based on camera information. have

본 개시에 따른 전방위 카메라 캘리브레이션 방법은 특정 패턴을 가지는 기구의 일부만이라도 카메라 영상 내에 들어오는 경우, 기구의 물리적 특성을 이용하여 해당 패턴의 물리적 위치를 손쉽게 알아낼 수 있도록 함으로써 360도 전방위 카메라 구조에서 카메라 간의 좌표계 관계를 유추할 수 있다.In the omnidirectional camera calibration method according to the present disclosure, even if only a part of the apparatus having a specific pattern is included in the camera image, the coordinate system between the cameras in the 360-degree omnidirectional camera structure can be easily determined by using the physical characteristics of the apparatus. Infer relationships.

본 개시에 따른 전방위 카메라 캘리브레이션 방법은 기존의 캘리브레이션 방법에 비해 보다 정확도가 향상된 캘리브레이션 결과를 제공하고 또한 보다 단순한 절차를 통해 캘리브레이션을 수행하는 방법을 제공할 수 있다.The omnidirectional camera calibration method according to the present disclosure may provide a calibration result with improved accuracy compared to the existing calibration method, and may also provide a method for performing calibration through a simpler procedure.

또한, 본 개시에 따른 전방위 카메라 캘리브레이션 방법은 전방위 영상 처리 기술의 정확도 향상을 위해 단일 기구물과 특정 패턴을 이용하여, 해당 기구의 일부만 카메라 영상에 포함되면 영상 내의 단일 마커만으로 검출이 가능하며 기구의 패턴 특성으로 해당 패턴의 물리적 위치를 손쉽게 알아낼 수 있다.In addition, the omnidirectional camera calibration method according to the present disclosure uses a single instrument and a specific pattern to improve the accuracy of the omnidirectional image processing technology, and when only a part of the instrument is included in the camera image, only a single marker in the image can be detected. The properties make it easy to determine the physical location of the pattern.

또한, 본 개시에 따른 전방위 카메라 캘리브레이션 방법은 전방위 카메라를 구성하는 다수의 카메라 각각의 내부 캘리브레이션은 물론 카메라간의 외부 캘리브레이션도 수행할 수 있는 패턴 기구물 구조 및 그 방법을 제공할 수 있다.In addition, the omnidirectional camera calibration method according to the present disclosure can provide a pattern mechanism structure and a method capable of performing the internal calibration of each of the plurality of cameras constituting the omnidirectional camera as well as the external calibration between the cameras.

본 개시에 따를 때, 거울의 각도를 조정하거나 회전 모듈의 평행을 유지시키는 등의 기구의 추가적인 조정이 필요한 기존의 캘리브레이션 방법에 비해 보다 정확성, 신뢰성이 향상된 캘리브레이션 결과가 제공될 수 있다.In accordance with the present disclosure, a calibration result can be provided that is more accurate and more reliable than conventional calibration methods that require further adjustment of the instrument, such as adjusting the angle of the mirror or keeping the rotating module parallel.

또한, 본 개시에 따를 때, 패턴이 표시된 구조물 전체가 아니라 패턴의 일부만 획득하여도 본 개시의 캘리브레이션 방법을 수행할 수 있으므로, 카메라와 패턴 사이의 거리가 가까워도 캘리브레이션이 수행될 수 있으며, 전방위 카메라를 구성하는 단일 카메라의 수와 리그 구조에 상관없이 독립적으로 캘리브레이션이 수행될 수 있다.In addition, according to the present disclosure, since the calibration method of the present disclosure may be performed even if only a part of the pattern is obtained, not the entire structure on which the pattern is displayed, the calibration may be performed even when the distance between the camera and the pattern is close, and the omnidirectional camera The calibration may be performed independently of the number of rigs and the rig structure of a single camera.

또한, 본 개시에 따를 때, 3차원 좌표를 손쉽게 얻도록 다면체 형태의 구조물을 이용함으로서, 구조물 좌표계와 카메라 좌표계간의 회전, 병진 운동 관계를 계산할 때도 기존 방법들에 비해 상대적으로 복잡하지 않다.In addition, in accordance with the present disclosure, by using a polyhedral structure to easily obtain three-dimensional coordinates, when calculating the rotational and translational motion relationship between the structure coordinate system and the camera coordinate system, it is not relatively complicated compared to the existing methods.

또한, 본 개시에 따를 때, 단순히 단일 마커나 평면 패턴의 특징점이 아닌 3차원 구조물의 3차원 특징점을 활용하기 때문에 보다 정확성을 향상시킬 수 있다.In addition, according to the present disclosure, it is possible to improve the accuracy because it utilizes the three-dimensional feature of the three-dimensional structure, not merely a single marker or feature of the planar pattern.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다. In the above-described embodiments, the methods are described based on a flowchart as a series of steps or units, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or simultaneously from other steps as described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The above-described embodiments include examples of various aspects. While not all possible combinations may be described to represent the various aspects, one of ordinary skill in the art will recognize that other combinations are possible. Accordingly, the invention is intended to embrace all other replacements, modifications and variations that fall within the scope of the following claims.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.Although the present invention has been described by specific embodiments such as specific components and the like, but the embodiments and the drawings are provided to assist in a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations can be made from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the appended claims, fall within the scope of the spirit of the present invention. I will say.

Claims (20)

전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 단계; 및
상기 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계를 포함하는, 전방위 카메라 캘리브레이션 방법.Obtaining an image of a structure including a predetermined pattern using a single camera constituting the omnidirectional camera; And
And calibrating the single camera using the acquired image. 제1항에 있어서,
상기 구조물은 다면체 형태이고, 각 면은 상기 소정의 패턴을 포함하는 것인, 전방위 카메라 캘리브레이션 방법.The method of claim 1,
Wherein the structure is in the form of a polyhedron, each side comprising the predetermined pattern. 제2항에 있어서,
상기 소정의 패턴은, 체스보드 패턴에 소정의 마커(marker)가 결합된 형태이고,
상기 소정의 마커는, 상기 구조물의 특정 위치에 대한 좌표 정보를 포함하는 것인, 전방위 카메라 캘리브레이션 방법.The method of claim 2,
The predetermined pattern is a form in which a predetermined marker is coupled to a chessboard pattern,
The predetermined marker, the omni-directional camera calibration method that includes coordinate information for a specific position of the structure. 제3항에 있어서,
상기 특정 위치는, 상기 체스보드 패턴의 코너점(corner point) 좌표인 것인, 전방위 카메라 캘리브레이션 방법.The method of claim 3,
Wherein the particular position, the corner point (corner point) coordinates of the chessboard pattern, the omni-directional camera calibration method. 제1항에 있어서,
상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계는,
상기 획득된 영상을 이용하여 상기 단일 카메라의 내부 파라미터를 결정하는 단계를 포함하는, 전방위 카메라 캘리브레이션 방법.The method of claim 1,
Performing calibration for the single camera,
Determining an internal parameter of the single camera using the obtained image. 제5항에 있어서,
상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계는,
상기 획득된 영상 및 상기 내부 파라미터를 이용하여 상기 단일 카메라의 외부 파라미터를 결정하는 단계를 더 포함하는, 전방위 카메라 캘리브레이션 방법.The method of claim 5,
Performing calibration for the single camera,
Determining an external parameter of the single camera using the obtained image and the internal parameter. 제6항에 있어서,
상기 방법은,
상기 수행 결과 획득된 카메라의 내부 파라미터 및 외부 파라미터를 이용하여 상기 단일 카메라의 자세 정보를 추정하는 단계를 더 포함하는, 전방위 카메라 캘리브레이션 방법.The method of claim 6,
The method,
And estimating attitude information of the single camera using internal and external parameters of the camera obtained as a result of the performing. 제3항에 있어서,
상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계는,
상기 획득된 영상에 표시되는 상기 특정 위치에 대한 좌표 정보 및 상기 소정의 마커에 포함된 상기 특정 위치에 대한 좌표 정보에 기초하여 상기 단일 카메라의 내부 파라미터를 결정하는 단계를 포함하는, 전방위 카메라 캘리브레이션 방법.The method of claim 3,
Performing calibration for the single camera,
Determining an internal parameter of the single camera based on the coordinate information of the specific position displayed on the obtained image and the coordinate information of the specific position included in the predetermined marker. . 제8항에 있어서,
상기 단일 카메라에 대한 캘리브레이션을 수행하는 단계는,
상기 획득된 영상에 표시되는 상기 특정 위치에 대한 좌표 정보, 상기 소정의 마커에 포함된 상기 특정 위치에 대한 좌표 정보 및 상기 내부 파라미터에 기초하여 상기 단일 카메라의 외부 파라미터를 결정하는 단계를 더 포함하는, 전방위 카메라 캘리브레이션 방법.The method of claim 8,
Performing calibration for the single camera,
Determining an external parameter of the single camera based on the coordinate information of the specific position displayed on the obtained image, the coordinate information of the specific position included in the predetermined marker, and the internal parameter. , How to calibrate the omni-directional camera. 전방위 카메라를 구성하는 단일 카메라를 이용하여 소정의 패턴을 포함하는 구조물에 관한 영상을 획득하는 입력부;
저장부; 및
상기 입력부에 획득된 영상을 이용하여 상기 단일 카메라에 대한 캘리브레이션을 수행하는 제어부를 포함하는, 전방위 카메라 캘리브레이션 장치.An input unit which acquires an image of a structure including a predetermined pattern by using a single camera constituting the omnidirectional camera;
Storage unit; And
And a controller configured to perform calibration on the single camera by using the image obtained by the input unit. 제10항에 있어서,
상기 구조물은 다면체 형태이고, 각 면은 상기 소정의 패턴을 포함하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 10,
Wherein said structure is in the form of a polyhedron, each side comprising said predetermined pattern. 제11항에 있어서,
상기 소정의 패턴은, 체스보드 패턴에 소정의 마커(marker)가 결합된 형태이고,
상기 소정의 마커는, 상기 구조물의 특정 위치에 대한 좌표 정보를 포함하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 11,
The predetermined pattern is a form in which a predetermined marker is coupled to a chessboard pattern,
The predetermined marker, the omni-directional camera calibration device that includes coordinate information for a specific position of the structure. 제12항에 있어서,
상기 특정 위치는, 상기 체스보드 패턴의 코너점(corner point) 좌표인 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 12,
Wherein the particular position, the corner point (corner point) coordinates of the chessboard pattern, the omni-directional camera calibration device. 제10항에 있어서,
상기 제어부는,
상기 획득된 영상을 이용하여 상기 단일 카메라의 내부 파라미터를 결정하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 10,
The control unit,
And determining an internal parameter of the single camera using the obtained image. 제14항에 있어서,
상기 제어부는,
상기 획득된 영상 및 상기 내부 파라미터를 이용하여 상기 단일 카메라의 외부 파라미터를 결정하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 14,
The control unit,
And determining external parameters of the single camera by using the acquired image and the internal parameters. 제15항에 있어서,
상기 제어부는,
상기 수행 결과 획득된 카메라의 내부 파라미터 및 외부 파라미터를 이용하여 상기 단일 카메라의 자세 정보를 추정하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 15,
The control unit,
And estimating attitude information of the single camera using internal and external parameters of the camera obtained as a result of the performing. 제12항에 있어서,
상기 제어부는,
상기 획득된 영상에 표시되는 상기 특정 위치에 대한 좌표 정보 및 상기 소정의 마커에 포함된 상기 특정 위치에 대한 좌표 정보에 기초하여 상기 단일 카메라의 내부 파라미터를 결정하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 12,
The control unit,
And determining internal parameters of the single camera based on the coordinate information of the specific position displayed on the acquired image and the coordinate information of the specific position included in the predetermined marker. 제17항에 있어서,
상기 제어부는,
상기 획득된 영상에 표시되는 상기 특정 위치에 대한 좌표 정보, 상기 소정의 마커에 포함된 상기 특정 위치에 대한 좌표 정보 및 상기 내부 파라미터에 기초하여 상기 단일 카메라의 외부 파라미터를 결정하는 것인, 전방위 카메라 캘리브레이션 장치.The method of claim 17,
The control unit,
Determining the external parameter of the single camera based on the coordinate information on the specific position displayed on the acquired image, the coordinate information on the specific position included in the predetermined marker, and the internal parameter. Calibration device. 전방위 카메라의 캘리브레이션을 수행하기 위한 구조물로서,
상기 구조물은 다면체 형태이고, 각 면은 소정의 패턴을 포함하고,
상기 소정의 패턴은 체스보드 패턴에 소정의 마커(marker)가 결합된 형태이고,
상기 소정의 마커는 상기 구조물의 특정 위치에 대한 좌표 정보를 포함하는 것인, 구조물.As a structure for performing calibration of the omnidirectional camera,
The structure is in the form of a polyhedron, each side comprising a predetermined pattern,
The predetermined pattern is a form in which a predetermined marker is coupled to a chessboard pattern,
Wherein the predetermined marker includes coordinate information for a particular location of the structure. 제19항에 있어서,
상기 특정 위치는, 상기 체스보드 패턴의 코너점(corner point) 좌표인 것인, 구조물.
The method of claim 19,
The specific position is a structure, corner point (corner point) coordinates of the chessboard pattern.

Images