KR102585261B1

KR102585261B1 - An optimized multi-camera calibration system based on an adaptive image augmentation method using a single image of a 3D calibration object

Info

Publication number: KR102585261B1
Application number: KR1020230054892A
Authority: KR
Inventors: 최용훈; 구혜란
Original assignee: 주식회사 케이유전자
Priority date: 2023-04-26
Filing date: 2023-04-26
Publication date: 2023-10-06

Abstract

본 발명은 다중 카메라 보정 시스템에 관한 것으로 본 발명에 따르면, X, Y, Z 축에 미리 고정된 복수의 마커를 포함하는 3축 보정 틀; 3축 보정 틀을 단일 보정 객체로서 이미지를 촬영하기 위한 n개의 카메라 - 여기서 n은 2 보다 큰 정수 - ; 상기 n개의 카메라로부터 이미지를 수신하고 수신된 이미지를 이용하여 카메라 보정 프로세스를 수행하는 연산부를 포함하고, 카메라 보정 프로세스는, 다중 카메라 시스템의 가용 가시 볼륨 내에서 보정 볼륨/추적 볼륨의 크기를 쉽고 빠르게 조정할 수 있도록, 적응형 증강 프로세스를 포함하되, 상기 적응형 증강 프로세스는 가능한 한 동적 보정 프로세스를 시뮬레이션하기 위해 각 카메라에서 수신된 3차원 보정객체의 단일 영상의 기하학적 변환의 매개변수를 사용하고, 상기 기하학적 변환은 보정객체의 형태를 최대한 보존하기 위해 영상 이동(translation), 회전(rotation), 스케일링(scaling) 및 이들의 다양한 조합을 포함하고, 적응형 증강 프로세스는 기하학적 변환의 결과로 보정객체 데이터의 일부 또는 전체가 손실된 다중 카메라 시스템의 증강된 프레임 세트를 제거하는 위해, 다중 카메라 시스템의 해상도를 고려해서 특정 임계치 값을 사용하여 모든 증강된 영상을 필터링하는 임계치 기반 필터링하는 프로세스를 더 포함한다. The present invention relates to a multi-camera correction system. According to the present invention, a three-axis correction frame including a plurality of markers pre-fixed on the X, Y, and Z axes; n cameras to capture images with a 3-axis correction frame as a single correction object - where n is an integer greater than 2 - ; It includes an operation unit that receives images from the n cameras and performs a camera calibration process using the received images, and the camera calibration process easily and quickly determines the size of the calibration volume/tracking volume within the available visible volume of the multi-camera system. configurable, comprising an adaptive augmentation process, wherein the adaptive augmentation process uses parameters of a geometric transformation of a single image of the three-dimensional correction object received from each camera to simulate a dynamic correction process as much as possible, Geometric transformation includes image translation, rotation, scaling, and various combinations thereof to preserve the shape of the calibration object as much as possible, and the adaptive augmentation process In order to remove a set of augmented frames of a multi-camera system that are partially or completely lost, a threshold-based filtering process is further included in which all augmented images are filtered using a specific threshold value in consideration of the resolution of the multi-camera system.

Description

3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반의 최적화된 다중 카메라 보정 시스템{An optimized multi-camera calibration system based on an adaptive image augmentation method using a single image of a 3D calibration object}{An optimized multi-camera calibration system based on an adaptive image augmentation method using a single image of a 3D calibration object}

본 발명은 다중 카메라 보정 시스템에 관한 것으로 보다 구체적으로는 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템에 관한 것이다.The present invention relates to a multi-camera correction system, and more specifically, to an optimized multi-camera correction system based on an adaptive image augmentation method using a single image of a 3D correction object.

다중 카메라 네트워크는 신호 처리, 로봇 공학 및 컴퓨터 비전과 같은 다양한 분야에서 활발히 사용되고 있다. 다중 카메라 시스템은 광학 모션 캡처 시스템이 핵심 구성 요소 중 하나인 애니메이션, 게임, 수술용 네비게이션, 재활 및 스포츠 분야에서 특히 인기를 얻고 있다. 추적 마커를 이용한 다중 카메라 모션 캡처 시스템의 주요 원리는 다중 카메라로부터 마커가 부착된 객체의 추적 데이터 수집, 매칭 및 3D 재구성한 다음에 3D 추적하는 것이다. 추적 개체의 다중 카메라 데이터를 상대적 높은 정확도로 매칭시키고 그 객체의 위치를 3D로 재구성하려면 카메라 보정이 필요하다. 카메라 보정은 카메라의 내부 및 외부 파라미터를 계산하여 실제 세계의 다양한 3D 지점과 해당 2D 이미지 투사 간의 정확한 관계를 결정하는 프로세스다. Multi-camera networks are actively used in various fields such as signal processing, robotics, and computer vision. Multi-camera systems are becoming particularly popular in animation, gaming, surgical navigation, rehabilitation and sports, where optical motion capture systems are one of the key components. The main principle of a multi-camera motion capture system using tracking markers is to collect tracking data of objects with attached markers from multiple cameras, match them, and 3D reconstruct them, followed by 3D tracking. Camera calibration is necessary to match multiple camera data of a tracked object with relatively high accuracy and reconstruct the object's position in 3D. Camera calibration is the process of calculating the camera's internal and external parameters to determine the exact relationship between various 3D points in the real world and the corresponding 2D image projection.

일반적으로 모션 캡처 마커를 이용한 다중 카메라 보정 방법은 크게 보정객체의 큰 것을 이용하는 방법(정적 보정), 상대적으로 작은 보정객체의 보정 볼륨만큼 움직임을 이용하는 방법(동적 보정), 및 컴팩트한 정적 및 동적 교정 개체를 사용 복합적인 방법이 있다. 대형 보정객체를 사용하는 방법에서는 다중 카메라의 파라미터를 계산하기 위해 DLT(Direct linear transform) 알고리즘을 사용하다. 이 방법은 복잡한 계산이 필요하지 않으며 다중 카메라의 파라미터를 계산할 때 정확도가 상대적으로 높다. 그러나 우수한 다중 카메라 보정 정확도를 달성하려면 보정객체에 부착된 마커가 다중 카메라 네트워크의 전체 보정 볼륨을 커버해야 하다. 또한, 알려진 3D 좌표가 있는 마커가 부착된 체적 보정객체를 설치하는 것이 상대적으로 복잡하고 시간이 오래 걸리는 프로세스 다.In general, multi-camera correction methods using motion capture markers include a method using a large correction object (static correction), a method using the movement of a relatively small correction object as much as the correction volume (dynamic correction), and compact static and dynamic correction. There are complex ways to use objects. The method using large correction objects uses the DLT (Direct linear transform) algorithm to calculate the parameters of multiple cameras. This method does not require complex calculations and has relatively high accuracy when calculating parameters of multiple cameras. However, to achieve good multi-camera calibration accuracy, markers attached to calibration objects must cover the entire calibration volume of the multi-camera network. Additionally, installing volume compensation objects with attached markers with known 3D coordinates is a relatively complex and time-consuming process.

많은 추적 마커가 부착된 대형 체적 보정객체와 관련된 문제를 해결하기 위해 마커 사이의 알려진 거리로 마커가 부착된 상대적으로 작은 크기의 보정객체를 사용하는 동적 보정 방법이 개발되었다. 그러나 높은 다중 카메라 보정을 달성하려면 움직이는 보정 물체가 대부분의 시간 동안 다중 카메라 시스템의 모든 카메라의 시야에 있어야 하고 추적 객체에 부착된 많은 수의 추적 마커가 필요하다. 또한, 다중 카메라 보정 볼륨이 완전히 커버될 때까지 동적 보정객체의 다중 카메라 데이터를 수집해야 하다. 이 방법은 보정객체에 부착된 마커의 개수, 커버된 다중 카메라 보정 볼륨의 크기, 및 사용하는 데이터 매칭 및 보정 알고리즘에 따라 달라지다.To solve the problems associated with large volumetric calibration objects with many tracking markers attached, a dynamic calibration method was developed that uses relatively small-sized calibration objects with markers attached with known distances between the markers. However, achieving high multi-camera calibration requires that the moving calibration object be in the field of view of all cameras in a multi-camera system most of the time and a large number of tracking markers attached to the tracking object. Additionally, multi-camera data of the dynamic calibration object must be collected until the multi-camera calibration volume is completely covered. The method depends on the number of markers attached to the calibration object, the size of the multi-camera calibration volume covered, and the data matching and calibration algorithm used.

대형 정적 보정객체를 사용하는 다중 카메라 보정 방법과 동적 보정객체를 사용하는 다중 카메라 보정 방법의 주요 문제점을 극복하기 위해 정적 보정과 동적 보정을 혼합한 방법이 개발되었다. 이 방법에서는 알려진 3D 좌표의 여러 개의 모션 캡처 마커가 부착된 상대적으로 작은 보정객체가 정적 보정객체로 사용되며 마커 사이의 알려진 거리의 여러 개의 모션 캡처 마커가 부착된 보정 봉은 동적 보정객체로 사용되다. To overcome the main problems of the multi-camera calibration method using large static calibration objects and the multi-camera calibration method using dynamic calibration objects, a method combining static and dynamic calibration was developed. In this method, a relatively small calibration object with multiple motion capture markers attached at known 3D coordinates is used as a static calibration object, and a calibration rod with multiple motion capture markers attached with known distances between the markers is used as a dynamic calibration object.

다중 카메라 보정을 수행하기 위해서는 정적 보정객체와 움직이는 동적 보정객체로부터 추적 데이터를 획득해야 하다. 정적 및 동적 보정객체의 추적 데이터 수집 후 다중 카메라 보정의 정확도는 수집된 추적 데이터의 품질, 카메라 대 카메라 및 프레임 대 프레임 매칭의 정확도 및 사용된 다중 카메라 보정 알고리즘에 크게 좌우된다는 점은 주목할 가치가 있다. In order to perform multi-camera calibration, tracking data must be obtained from static calibration objects and moving dynamic calibration objects. It is worth noting that the accuracy of multi-camera calibration after collecting tracking data of an object is highly dependent on the quality of the collected tracking data, the accuracy of camera-to-camera and frame-to-frame matching, and the multi-camera calibration algorithm used. .

이 다중 카메라 보정 방법을 사용할 때 우선 정적 보정 데이터를 수신하고, 전처리 및 매칭시킨 후 다중 카메라의 초기 파라미터가 계산되다. 그런 다음 동적 보정 데이터를 수신하고 전처리 및 매칭시킨 후 정적 및 동적 보정의 추적 데이터와 다중 카메라의 초기 파라미터를 사용하여 목적함수를 형성한 다음에 다중 카메라 보정 파라미터 최적화 과정이 수행하다. When using this multi-camera calibration method, the static calibration data is first received, and after preprocessing and matching, the initial parameters of the multi-camera are calculated. Then, the dynamic correction data is received, preprocessed and matched, and then the objective function is formed using the static and dynamic correction tracking data and the initial parameters of the multi-camera, and then the multi-camera correction parameter optimization process is performed.

이 혼합된 다중 카메라 보정 방법의 정확도와 계산 속도는 목적함수 및 최적화 방법에 따라 달라진다는 점에도 유의하는 것도 중요하다. 따라서 이 다중 카메라 보정 방법은 복잡한 계산을 필요하지 않고 상대적으로 컴팩트한 정적 및 동적 보정객체를 사용하면서 큰 체적 보정객체를 사용하는 DLT 알고리즘을 기반 다중 카메라 보정 정확도에 필적하는 정확도를 갖는다. It is also important to note that the accuracy and computational speed of this mixed multi-camera calibration method depends on the objective function and optimization method. Therefore, this multi-camera calibration method does not require complex calculations and uses relatively compact static and dynamic calibration objects while having an accuracy comparable to the multi-camera calibration accuracy based on the DLT algorithm using large volumetric calibration objects.

그러나 이 다중 카메라 보정은 수집된 추적 데이터의 품질, 매칭 알고리즘의 정확도, 최적화 알고리즘의 성능 등 상대적으로 많은 종속 변수를 가지고 있다. 또한, 본격적인 정적 및 동적 보정 과정이 필요하므로 다중 카메라 보정 시 상대적으로 큰 노력과 많은 시간이 필요하며, 종래의 다중 카메라 보정은 다음과 같은 문제점을 갖는다.However, this multi-camera calibration has relatively many dependent variables, such as the quality of the collected tracking data, the accuracy of the matching algorithm, and the performance of the optimization algorithm. In addition, since full-scale static and dynamic correction processes are required, relatively large effort and time are required for multi-camera correction, and conventional multi-camera correction has the following problems.

1) 정적 보정 프레임과 DLT 알고리즘을 사용하는 기존 많은 다중 카메라 보정 기술에서는 일반적으로, 알려진 3D 좌표 많은 수의 모션 캡처 마커가 붙어있는 큰 볼륨 및 크기의 3차원 보정 프레임이 사용되었다. 이러한 다중 카메라 보정 방법을 위한 보정 장비의 설치 및 설정은 시간이 많이 소요하고 어려운 과정이다. 또한, 이러한 다중 카메라 보정 방법은 아주 정확하지만, 다중 카메라 보정을 위한 올바른 환경을 설정하는 데 엄청난 시간과 노력이 필요하다. 1) In many existing multi-camera calibration techniques using static calibration frames and DLT algorithms, 3D calibration frames of large volume and size are typically used, with a large number of motion capture markers with known 3D coordinates attached. Installation and setup of calibration equipment for these multi-camera calibration methods is a time-consuming and difficult process. Additionally, although this multi-camera calibration method is very accurate, it requires a tremendous amount of time and effort to set up the correct environment for multi-camera calibration.

2) 일정한 수의 마커가 부착되어 있고 그 마커 사이의 거리가 알려진 보정 봉과 같은 다양한 컴팩트한 객체를 사용하는 많은 동적 보정 방법이 있다. 그러나 이러한 동적 다중 카메라 보정 방법의 정확도는 컴팩트한 보정객체의 캡처된 움직임의 범위와 프레임 수 및 컴팩트한 보정객체에 부착된 마커의 수와 같은 요인에 크게 의존하다. 일반적으로 이러한 다중 카메라 보정 방법은 사이즈 및 볼륨 큰 보정객체와 DLT 알고리즘을 사용하는 방법에 비해 정확도가 떨어지며, 컴팩트한 보정객체의 특정 움직임에 대해 충분한 수의 다중 카메라 영상을 수집하는 데 노력과 시간이 필요하다. 2) There are many dynamic calibration methods that use various compact objects, such as calibration rods, to which a certain number of markers are attached and the distance between them is known. However, the accuracy of these dynamic multi-camera calibration methods is highly dependent on factors such as the range and number of frames of the captured motion of the compact calibration object and the number of markers attached to the compact calibration object. In general, these multi-camera correction methods are less accurate than methods using large-sized and voluminous correction objects and DLT algorithms, and it takes effort and time to collect a sufficient number of multi-camera images for specific movements of compact correction objects. need.

3) 일정한 수의 알려진 3D 좌표 마커가 부착된 상대적으로 작은 정적 객체와 마커 사이의 알려진 3D 거리를 가진 마커가 부착된 동적 컴팩트 객체를 사용하는 다중 카메라 보정 방법이 알려져 있다. 이 다중 카메라 보정 방법은 큰 볼륨과 사이즈의 보정객체 및 DLT 알고리즘을 사용하는 방법과 유사한 정확도를 가지고 있지만, 컴팩트한 객체를 사용하는 다양한 동적 보정 방법과 같이 다중 카메라 보정할 때 상대적으로 큰 노력과 많은 시간이 필요하지 않다. 그러나 이러한 혼합된 방법은 보정객체의 일정한 수의 영상을 수집하여 별도의 정적 및 동적 보정 수행이 필요하고 높은 보정 정확도를 달성하기 위해서는 보정 과정에 사용자 상대적으로 많은 개입이 필요함으로 어느 정도의 노력과 시간이 필요한 문제점이 있다.3) A multi-camera calibration method is known that uses relatively small static objects attached to a certain number of known 3D coordinate markers and dynamic compact objects attached to markers with known 3D distances between the markers. This multi-camera calibration method has similar accuracy to methods using large volume and size calibration objects and the DLT algorithm, but requires relatively large effort and a lot of effort when calibrating multiple cameras, such as various dynamic calibration methods using compact objects. No need for time. However, this mixed method requires collecting a certain number of images of the calibration object to perform separate static and dynamic calibration, and in order to achieve high calibration accuracy, a relatively large amount of user intervention is required in the calibration process, which requires a certain amount of effort and time. There is a problem that requires this.

4) 동적 보정 프로세스 중에 보정 봉을 너무 빨리 움직이면 보정 정확도가 떨어질 수 있다. 따라서 동적 다중 카메라 보정 중에서 보정 봉의 속도를 올바르게 제어해야 해서 다중 카메라 보정 프로세스가 설정된 보정 볼륨 크기에 따라 많이 복잡해질 수 있다.4) Moving the calibration rod too quickly during the dynamic calibration process may reduce calibration accuracy. Therefore, during dynamic multi-camera calibration, the speed of the calibration rod must be properly controlled, which can make the multi-camera calibration process quite complex depending on the set calibration volume size.

5) 다양한 크기의 추적 공간을 보정하려면 미리 측정된 특정 거리에 배치된 특정 수의 마커가 부착된 적절한 보정 봉이 필요하다. 넓은 공간 또는 좁은 공간의 다중 카메라 보정 상황에서는 다중 카메라 보정을 위해 상용 보정객체를 사용하기 어려울 수 있다. 또한, 다양한 초대형 또는 초소형 보정 공간에 대한 특정 상용 보정객체를 획득하는 것은 상대적으로 큰 재정적 비용을 초래할 수 있다.5) To calibrate tracking spaces of various sizes, an appropriate calibration rod is required with a certain number of markers attached, placed at certain pre-measured distances. In multi-camera calibration situations in large or narrow spaces, it may be difficult to use commercial calibration objects for multi-camera calibration. Additionally, acquiring specific commercial calibration objects for various very large or ultra-small calibration spaces can result in relatively large financial costs.

6) 다중 카메라 파라미터를 상대적으로 빠르고 정확하게 계산하려면 각 카메라에서 보정객체의 약 1,000 - 4,000프레임을 수집해야 한다. 1,000프레임 미만 또는 10,000프레임 이상의 보정객체의 프레임 획득은 최적의 다중 카메라 파라미터 계산 속도에 큰 영향을 미친다. 또한, 보정객체의 수집 권장 프레임 수 범위를 지키지 않으면 보정 정확도에 악영향을 미칠 수 있다.6) To calculate multi-camera parameters relatively quickly and accurately, approximately 1,000 - 4,000 frames of calibration objects must be collected from each camera. Frame acquisition of the calibration object under 1,000 frames or over 10,000 frames has a significant impact on the speed of optimal multi-camera parameter calculation. Additionally, failure to adhere to the recommended frame number range for collection of correction objects may have a negative impact on correction accuracy.

7) 동적 보정 중에 전체 추적 영역의 크기를 따라 가능한 한 엄격하게 보정객체를 이동하는 것이 중요하다. 매우 작거나 매우 큰 보정 공간의 동적 보정 중에 필요한 수의 보정객체의 프레임을 수집하는 것은 복잡한 작업이며 상대적으로 오랜 시간이 걸리다.7) During dynamic correction, it is important to move the correction object as strictly as possible along the size of the entire tracking area. During dynamic calibration of very small or very large calibration spaces, collecting frames of the required number of calibration objects is a complex task and takes a relatively long time.

대한민국 공개특허 2012-0130788 (2012.12.03)Republic of Korea Public Patent 2012-0130788 (2012.12.03) 대한민국 공개특허 2010-0007506 (2010.01.22)Republic of Korea Public Patent 2010-0007506 (2010.01.22)

본 발명은 전술한 문제점을 해결하는 것을 목적으로 한다. 구체적으로 본 발명의 목적은 컴팩트한 3축 보정 틀의 단일 영상과 적응형 증강 방법을 사용하여 최적화된 다중 카메라 보정 알고리즘을 개발하는 것이다. 본 발명에서 제안된 다중 카메라 보정 시스템은 수신된 다중 카메라 영상을 자동으로 증강하고, 영상을 처리 및 필터링하고, 보정객체의 마커 중심의 3D 좌표를 추출하고, DLT 알고리즘을 사용하여 초기 다중 카메라 파라미터를 계산하고, 계산된 초기 다중 카메라 파라미터를 최적화한다. The present invention aims to solve the above-mentioned problems. Specifically, the purpose of the present invention is to develop an optimized multi-camera correction algorithm using a single image in a compact 3-axis correction frame and an adaptive augmentation method. The multi-camera correction system proposed in the present invention automatically augments the received multi-camera images, processes and filters the images, extracts the 3D coordinates of the marker center of the correction object, and sets the initial multi-camera parameters using the DLT algorithm. Calculate and optimize the calculated initial multi-camera parameters.

따라서 해당 다중 카메라 보정 알고리즘은 거의 완전히 자율적이며, 보정 과정에 최소한의 사용자 개입이 필요하고, 상대적으로 사용하기 쉽고 편하고, 시간이 거의 소요되지 않으며 다중 카메라 시스템의 최적화된 파라미터를 계산하는 데 상대적으로 높은 정확도를 갖고 있다.Therefore, the corresponding multi-camera calibration algorithm is almost completely autonomous, the calibration process requires minimal user intervention, is relatively easy and convenient to use, takes very little time, and calculates the optimized parameters of the multi-camera system has a relatively high It has accuracy.

본 발명에서는 큰 노력과 많은 시간, 다양하고 복잡한 보정객체 및 계산과정이 필요하지 않은 범용 최적화된 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템을 제안한다.In the present invention, we propose an optimized multi-camera correction system based on an adaptive image augmentation method using a single image of a general-purpose optimized 3D correction object that does not require great effort, a lot of time, diverse and complex correction objects, and computational processes.

우선, 다중 카메라 시스템에 들어가고 있는 각 카메라에서 여러 개 모션 캡처 마커가 부착된 다중 카메라 시스템의 가시 볼륨 대략 중앙에 설치되 3차원 보정객체의 단일 영상이 수집된다. First, from each camera in the multi-camera system, a single image of a 3D calibration object installed approximately in the center of the visible volume of the multi-camera system with several motion capture markers attached is collected.

다음으로 각 다중 카메라에서 획득된 영상의 전처리 과적과 전처리 과정 결과로 추출된 보정객체에 부착된 각 마커 중심의 데이터를 라벨링 및 매칭하는 과정을 거치다. Next, the images acquired from each multiple camera are pre-processed, and the data centered on each marker attached to the correction object extracted as a result of the pre-processing process is labeled and matched.

그 후 DLT 알고리즘을 사용하여 다중 카메라 시스템의 각 카메라에 대한 초기 카메라 행렬 계산하고 각 초기 카메라 행렬을 RQ 분해를 통해 다중 카메라 초기 내부 및 외부 파라미터를 계산한다.Afterwards, the DLT algorithm is used to calculate the initial camera matrix for each camera in the multi-camera system, and the multi-camera initial internal and external parameters are calculated through RQ decomposition of each initial camera matrix.

다중 카메라 보정 알고리즘의 성능을 향상하기 위해 본 발명에서 제안하는 적응형 영상 증강 알고리즘을 사용하여 다중 카메라 시스템의 각 카메라에서 획득된 단일 영상의 증가 과정이 진행된다. In order to improve the performance of the multi-camera correction algorithm, a single image acquired from each camera of the multi-camera system is augmented using the adaptive image augmentation algorithm proposed in the present invention.

본 발명에서 제안한 적응형 영상 증강 알고리즘은 수집된 다중 카메라 영상에서 보정객체의 모양에 충분히 큰 변화를 일으키지 않도록 이동(translation), 회전(rotation), 스케일링(scaling) 및 이들의 다양한 가능한 조합과 같은 기하학적 변환 방법을 사용한다. The adaptive image augmentation algorithm proposed in the present invention uses geometrical techniques such as translation, rotation, scaling, and various possible combinations thereof to avoid sufficiently large changes in the shape of the correction object in the collected multi-camera images. Use the conversion method.

또한, 다중 카메라 시스템의 해상도를 고려하여 해당 제안된 각 기하학적 변환에 대한 매개변수를 선택하는 프로세스가 수행되다. Additionally, a process of selecting parameters for each proposed geometric transformation is performed, taking into account the resolution of the multi-camera system.

다음으로, 다중 카메라 시스템의 해상도를 고려해서 특정 임계치 값을 사용하여 모든 증강된 영상을 필터링하는 프로세스가 진행된다. 임계치 기반 필터링하는 과정의 결과로 다중 카메라 시스템의 적응형 증강 과정의 결과로 보정객체의 데이터는 전혀 손실되지 않은 영상만 남게 된다. Next, the process of filtering all the augmented images using a specific threshold value takes into account the resolution of the multi-camera system. As a result of the threshold-based filtering process and the adaptive augmentation process of the multi-camera system, only images in which no data of the correction object is lost are left.

적응형 증강 방법의 결과로 얻은 다중 카메라 영상은 다중 카메라 시스템의 추적 영역 내에서 보정객체의 순차적인 동적 움직임을 모방한다는 점에 유의해야 하다. It should be noted that the multi-camera images resulting from the adaptive augmentation method mimic the sequential dynamic movements of the calibration object within the tracking area of the multi-camera system.

또한, 제안된 적응형 영상 증강 방법의 각 기하학적 변환의 특정 매개변수를 선택하여 다중 카메라 시스템의 가용 가시 볼륨 내에서 보정 볼륨/추적 볼륨의 크기를 조정할 수 있다. Additionally, by selecting specific parameters of each geometric transformation of the proposed adaptive image augmentation method, the size of the calibration volume/tracking volume can be adjusted within the available visible volume of the multi-camera system.

다중 카메라의 모든 증강된 영상의 전처리 과적과 전처리 과정 결과로 추출된 보정객체에 부착된 각 마커 중심의 데이터를 라벨링 및 매칭하는 과정을 거친다. It goes through a process of pre-processing all augmented images from multiple cameras and labeling and matching data centered on each marker attached to the correction object extracted as a result of the pre-processing process.

다중 카메라 시스템의 각 카메라의 보정 행렬과 각 카메라의 단일 영상에서 얻은 보정객체에 부착된 각 마커 중심의 데이터를 이용하여, 각 마커 위치의 3차원 좌표가 3D 재구성되다. Using the correction matrix of each camera in a multi-camera system and the data centered on each marker attached to the correction object obtained from a single image from each camera, the three-dimensional coordinates of each marker position are reconstructed in 3D.

또한, 다중 카메라 파라미터 및 설정된 보정 볼륨 내에서 보정객체의 동적 움직임을 시뮬레이션하기 위해 사용했던 증강 데이터를 사용하여 보정객체에 부착된 가능한 모든 고유한 마커 센터 쌍 사이의 거리를 3D 재구성하는 프로세스가 진행된다. Additionally, the process of 3D reconstruction of the distances between all possible unique pairs of marker centers attached to a calibration object is carried out using multiple camera parameters and the augmented data used to simulate the dynamic movement of the calibration object within a set calibration volume. .

다음으로 각 마커 중심 위치의 정적 초기 3D 좌표의 3D 재구성 RMSE 오차와 제안된 적응형 영상 증강 방법을 사용하여 보정객체의 순차적 동적 이동 시뮬레이션 중에 보정객체에 부착된 모든 가능한 고유한 마커 중심 쌍 사이의 거리 3D 재구성 RMSE 오차를 사용하여 본 발명에서 제안하는 하이브리드 목적함수가 구성된다.Next, the 3D reconstruction RMSE error of the static initial 3D coordinates of each marker centroid position and the distance between all possible unique pairs of marker centroids attached to the calibration object during simulation of sequential dynamic movements of the calibration object using the proposed adaptive image augmentation method. The hybrid objective function proposed in the present invention is constructed using the 3D reconstruction RMSE error.

최적화 파라미터를 설정한 후 제안하는 하이브리드 목적함수와 번들 조정(Bundle adjustment) 방법을 이용하여 다중 카메라 시스템의 초기 카메라 파라미터가 최적화된다. 최적화 결과로 다중 카메라 시스템의 최적화된 카메라 행렬이 얻어지며, 이를 RQ 분해하여 다중 카메라 시스템에 들어가고 있는 각 카메라의 상대적으로 정확한 카메라 파라미터를 얻을 수 있다.After setting the optimization parameters, the initial camera parameters of the multi-camera system are optimized using the proposed hybrid objective function and bundle adjustment method. As a result of the optimization, an optimized camera matrix of the multi-camera system is obtained, which can be RQ decomposed to obtain relatively accurate camera parameters of each camera entering the multi-camera system.

또한 본 발명의 실시예에 따르면, 3차원 보정객체의 단일 영상을 활용한 적응형 영상 증강 방법 기반의 최적화된 다중 카메라 보정 시스템이 제공되고, 이 시스템은, X, Y, Z 축에 미리 고정된 복수의 마커를 포함하는 3축 보정 틀; 3축 보정 틀을 단일 보정 객체로서 이미지를 촬영하기 위한 n개의 카메라 - 여기서 n은 2 보다 큰 정수 - ; 상기 n개의 카메라로부터 이미지를 수신하고 수신된 이미지를 이용하여 카메라 보정 프로세스를 수행하는 연산부를 포함하고, 카메라 보정 프로세스는, 다중 카메라 시스템의 가용 가시 볼륨 내에서 보정 볼륨/추적 볼륨의 크기를 쉽고 빠르게 조정할 수 있도록, 적응형 증강 프로세스를 포함하되, 상기 적응형 증강 프로세스는 가능한 한 동적 보정 프로세스를 시뮬레이션하기 위해 각 카메라에서 수신된 3차원 보정객체의 단일 영상의 기하학적 변환의 매개변수를 사용하고, 상기 기하학적 변환은 보정객체의 형태를 최대한 보존하기 위해 영상 이동(translation), 회전(rotation), 스케일링(scaling) 및 이들의 다양한 조합을 포함하고, 적응형 증강 프로세스는 기하학적 변환의 결과로 보정객체 데이터의 일부 또는 전체가 손실된 다중 카메라 시스템의 증강된 프레임 세트를 제거하는 위해, 다중 카메라 시스템의 해상도를 고려해서 특정 임계치 값을 사용하여 모든 증강된 영상을 필터링하는 임계치 기반 필터링하는 프로세스를 더 포함한다. In addition, according to an embodiment of the present invention, an optimized multi-camera correction system based on an adaptive image augmentation method using a single image of a 3D correction object is provided, and this system is pre-fixed on the X, Y, and Z axes. A three-axis calibration frame including a plurality of markers; n cameras to capture images with a 3-axis correction frame as a single correction object - where n is an integer greater than 2 - ; It includes an operation unit that receives images from the n cameras and performs a camera calibration process using the received images, and the camera calibration process easily and quickly determines the size of the calibration volume/tracking volume within the available visible volume of the multi-camera system. configurable, comprising an adaptive augmentation process, wherein the adaptive augmentation process uses parameters of a geometric transformation of a single image of the three-dimensional correction object received from each camera to simulate a dynamic correction process as much as possible, Geometric transformation includes image translation, rotation, scaling, and various combinations thereof to preserve the shape of the calibration object as much as possible, and the adaptive augmentation process In order to remove a set of augmented frames of a multi-camera system that are partially or completely lost, a threshold-based filtering process is further included in which all augmented images are filtered using a specific threshold value in consideration of the resolution of the multi-camera system.

전술한 양태에서, 연산부는 n개의 카메라로부터 이미지를 수신하고 수신된 이미지에 대한 전처리 프로세스를 수행하고, 상기 전처리 프로세스는 수신된 이미지를 그레이스케일 이미지로 변환하는 동작; 획득된 그레이스케일 이미지를 필터링하고 이진화(binarization)하는 동작; 각 이미지에서 각 보정객체의 경계를 감지하는 동작; 및 획득된 각 보정객체의 경계 정보를 이용하여 감지된 각 보정객체의 중심(centroid)을 계산하는 동작을 포함한다. In the above-described aspect, the calculation unit receives images from n cameras and performs a pre-processing process on the received images, and the pre-processing process includes converting the received image into a grayscale image; Filtering and binarizing the acquired grayscale image; An operation to detect the boundary of each correction object in each image; and an operation of calculating the centroid of each detected correction object using the obtained boundary information of each correction object.

또한 전술한 어느 하나의 양태에서, 보정객체의 중심(centroid)을 계산하는 동작 이후, 3차원 보정객체에 부착된 마커 중심의 데이터 라벨링을 수행하고 프레임 대 프레임 알고리즘을 사용하여 이전 프레임의 보정객체와 현재 프레임의 보정객체의 유클리드 거리(Euclidean distance)에 기반하여 비교하여 매칭시키는 동작, In addition, in any of the above-described aspects, after the operation of calculating the centroid of the correction object, labeling of data centered on the marker attached to the three-dimensional correction object is performed and a frame-to-frame algorithm is used to compare the correction object of the previous frame with the correction object of the previous frame. An operation of comparing and matching based on the Euclidean distance of the correction object of the current frame,

각 카메라에서 획득된 단일 영상에서 얻어진 보정객체에 붙여있는 매칭된 마커 중심의 데이터 및 DLT 알고리즘을 이용하여 다중 카메라의 초기 카메라 행렬(camera matrix)을 계산하는 동작, An operation to calculate the initial camera matrix of multiple cameras using the matched marker-centered data attached to the correction object obtained from a single image acquired from each camera and the DLT algorithm,

획득한 다중 카메라 행렬을 분해하여 각 카메라의 내부 및 외부 파라미터를 계산하는 동작,An operation to calculate the internal and external parameters of each camera by decomposing the obtained multi-camera matrix;

매칭된 마커 중심의 다중 카메라 2D 데이터, 각 카메라의 초기 카메라 파라미터 및 다중 카메라 삼각 측량(triangulation)을 이용하여 각 마커 중심의 초기 3차원 데이터를 3D 재구성하는 동작을 더 포함한다. It further includes an operation of 3D reconstructing the initial 3D data centered on each marker using the matched marker-centered multi-camera 2D data, the initial camera parameters of each camera, and multi-camera triangulation.

또한 전술한 어느 하나의 양태에서, 카메라 보정 프로세스는 다중 카메라 파라미터 및 설정된 보정 볼륨 내에서 보정객체의 동적 움직임을 시뮬레이션하기 위해 사용했던 증강 데이터를 사용하여 보정객체에 부착된 가능한 모든 고유한 마커 센터 쌍 사이의 거리를 3D 재구성하는 동작을 더 포함한다. Additionally, in any of the foregoing aspects, the camera calibration process includes all possible unique marker center pairs attached to a calibration object using multiple camera parameters and augmented data used to simulate dynamic movement of the calibration object within a set calibration volume. It further includes an operation of 3D reconstructing the distance between the two.

또한 전술한 어느 하나의 양태에서, 각 카메라에서 획득한 3차원 보정객체의 단일 영상을 이용한 정적 보정(static calibration)의 오차; 및 다중 카메라의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 증강된 데이터를 이용한 보정의 오차의 조합으로 구성된 하이브리드 목적함수를 계산하는 동작을 더 포함한다. In addition, in any of the above-described aspects, errors in static calibration using a single image of a three-dimensional calibration object acquired from each camera; and calculating a hybrid objective function composed of a combination of correction errors using augmented data simulating the movement of a three-dimensional correction object within a desired tracking area of multiple cameras.

또한 전술한 어느 하나의 양태에서, 정적 보정 오차는 3차원 보정객체에 부착된 마커 중심의 원래 알려진 3D 좌표와 각 카메라에서 얻은 단일 영상 데이터와 다중 카메라 파라미터를 사용하여 마커 중심의 3D 재구성된 3D 좌표 간의 차이인 로 구성되고 - 여기에서 j는 3축 보정객체에 있는 총 마커 개수; 및 Additionally, in any of the above-described aspects, the static calibration error is the original known 3D coordinates of the center of the marker attached to the 3D calibration object and the 3D reconstructed 3D coordinates of the marker center using single image data and multiple camera parameters obtained from each camera. The difference between It consists of - where j is the total number of markers in the 3-axis correction object; and

다중 카메라의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 증강된 데이터를 이용한 보정의 오차는 3차원 보정객체에 부착된 가능한 모든 고유 마커 중심 쌍 사이의 실제 거리 및 적응형 증강 방법을 사용하여 얻었던 증강된 데이터 및 다중 카메라 파라미터를 사용하여 3D 재구성된 가능한 모든 고유 마커 중심 쌍 사이의 거리의 차이인 로 구성되고 - 여기서 m은, 다중 카메라 시스템의 적응형 영상 증강 방법을 사용하여 얻어진 다중 카메라 시스템의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 프레임 세트의 총 개수고, r은 3차원 보정객체에 있는 총 마커 개수 임 - ;이다. The error of calibration using augmented data simulating the movement of a 3D calibration object within the desired tracking area of multiple cameras is calculated using the actual distance between all possible unique marker centroid pairs attached to the 3D calibration object and an adaptive augmentation method. is the difference between the distances between all possible unique marker centroid pairs reconstructed in 3D using the augmented data and multiple camera parameters obtained by It consists of - where m is the total number of framesets simulating the movement of the three-dimensional correction object within the desired tracking area of the multi-camera system obtained using the adaptive image augmentation method of the multi-camera system, and r is the three-dimensional The total number of markers in the correction object is - ;.

이와 같은 본 발명에 따르면 다음과 같은 작용효과가 얻어질 수 있다.According to the present invention, the following effects can be obtained.

1) 본 발명에서 제안한 다중 카메라 보정은 기존 다양한 다중 카메라 보정 방법과 달리 안정적이고 상대적으로 작고 컴팩트한 3축 보정 틀을 보정객체로 사용한다. 본 발명에 따른 3축 보정 틀에는 안전한 표면 장착 메커니즘과 보정 모션 캡처 마커 부착 높이를 조정하고 다양한 크기의 마커를 사용할 수 있는 마커 고정 시스템이 있다. 또한, 이 3축 보정 틀의 기하학적 3차원 구조를 통해 제안한 다중 카메라 보정 알고리즘이 보정 볼륨의 X, Y, Z 축 모두를 따라 다중 카메라 시스템을 효과적으로 보정될 수 있다. 1) Unlike various existing multi-camera correction methods, the multi-camera correction proposed in the present invention uses a stable, relatively small, and compact 3-axis correction frame as a correction object. The three-axis calibration frame according to the present invention has a secure surface mounting mechanism and a marker fixation system that adjusts the attachment height of the calibration motion capture marker and allows the use of markers of various sizes. Additionally, the geometric three-dimensional structure of this three-axis calibration frame allows the proposed multi-camera calibration algorithm to effectively calibrate a multi-camera system along all X, Y, and Z axes of the calibration volume.

2) 본 발명에서는 상대적으로 컴팩트한 3축 보정 틀과 각 카메라의 한 프레임에서 수신한 3축 보정 틀 데이터를 기반으로 하는 다중 카메라 보정 알고리즘을 사용하여 다중 카메라 보정 시스템을 개발했다. 제안된 다중 카메라 보정 방법은 보정 마커(알려진 3D 좌표)가 부착된 큰 사이즈 및 볼륨 복잡한 보정 구조를 설치하거나 여러 개 마커(알려진 마커 중심 사이의 거리)가 부착된 동적 보정객체의 보정 볼륨만큼 움직임의 추적 데이터 수집 과정이 필요하지 않다. 제안된 다중 카메라 보정 방법은 각 카메라에서 3축 보정 틀에 부착된 마커(알려진 3D 좌표)의 단일 영상만 수집하면 되므로 해당 제안된 다중 카메라 보정 방법은 기존 다양한 다중 카메라 방법에 비해 상대적으로 시간과 노력이 거의 들지 않다.2) In the present invention, a multi-camera correction system was developed using a relatively compact 3-axis correction frame and a multi-camera correction algorithm based on 3-axis correction frame data received from one frame from each camera. The proposed multi-camera calibration method installs a complex calibration structure of large size and volume with calibration markers (known 3D coordinates) attached, or a dynamic calibration object with multiple markers (distances between known marker centers) attached, with the motion as much as the calibration volume. No tracking data collection process is required. Since the proposed multi-camera calibration method only needs to collect a single image of a marker (known 3D coordinates) attached to a 3-axis calibration frame from each camera, the proposed multi-camera calibration method takes relatively less time and effort compared to various existing multi-camera methods. It costs almost nothing.

3) 본 발명에서 제안한 다중 카메라 보정 방법은 획득된 이미지의 자동 처리, 마커 센터 계산, 라벨링 및 매칭을 위한 다양한 알고리즘을 가지고 있다. 따라서 기존 다양한 다중 카메라 보정 알고리즘과 달리 제안한 다중 카메라 보정 방법은 보정 방법에서 사용자 개입이 거의 필요하지 않아 상대적으로 간단하고 사용이 편리하다. 3) The multi-camera correction method proposed in the present invention has various algorithms for automatic processing of acquired images, marker center calculation, labeling, and matching. Therefore, unlike various existing multi-camera calibration algorithms, the proposed multi-camera calibration method requires little user intervention in the calibration method, making it relatively simple and convenient to use.

4) 각 카메라에서 컴팩트한 3차원 보정 틀의 단일 영상만 사용함에도 불구하고, 3차원 보정 틀에 부착된 마커의 영상을 증강하고 나서, DLT 알고리즘을 사용하여 계산된 초기 다중 카메라 파라미터 및 증강된 마커 데이터를 사용하여 초기 다중 카메라 파라미터 최적화될 수 있다. 따라서 해당 알고리즘을 사용하여 다중 카메라 최적화된 파라미터 계산 속도와 정확도가 상대적으로 높다. 4) Despite using only a single image of the compact 3D calibration frame from each camera, the initial multi-camera parameters and augmented markers calculated using the DLT algorithm after augmenting the image of the marker attached to the 3D calibration frame. Using the data, initial multi-camera parameters can be optimized. Therefore, the speed and accuracy of calculating multi-camera optimized parameters using the corresponding algorithm are relatively high.

5) 본 발명에서 제안된 방법의 각 기하학적 변환의 특정 매개변수를 선택하여 다중 카메라 시스템의 가용 가시 볼륨 내에서 보정 볼륨/추적 볼륨의 크기를 쉽고 빠르게 조정할 수 있다.5) By selecting specific parameters of each geometric transformation of the method proposed in the present invention, the size of the calibration volume/tracking volume can be easily and quickly adjusted within the available visible volume of the multi-camera system.

6) 본 발명은 상용 제품과 달리 다중 카메라 시스템의 각 카메라에서 하나의 프레임만 있으면 다중 카메라 파라미터를 계산하는 데 상대적으로 빠르고 정확하며 복잡한 계산과정 필요없는 다중 카메라 보정 프로세스를 제공할 수 있다.6) Unlike commercial products, the present invention can provide a multi-camera correction process that is relatively fast and accurate in calculating multi-camera parameters and does not require complex calculation processes, as long as there is only one frame from each camera of a multi-camera system.

7) 보정 공간의 크기와 관계없이 보정 공간의 크기가 다중 카메라 시스템의 가시 볼륨 내에서 있으면, 본 발명에서 제안된 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템을 사용하여 다중 카메라 보정을 수행할 수 있다.7) Regardless of the size of the correction space, if the size of the correction space is within the visible volume of the multi-camera system, optimized multi-camera correction based on the adaptive image augmentation method using a single image of the 3D correction object proposed in the present invention. The system can be used to perform multi-camera calibration.

도 1은 본 발명에 이용되는 다중 카메라 보정을 위한 3축 보정 틀을 나타내는 사시도;
도 2는 본 발명에 이용되는 다중 카메라 보정을 위한 3축 보정 틀의 저면도;
도 3은 본 발명에 이용되는 3축 보정틀에 마커를 고정하는 구조를 설명하기 위한 도면;
도 4는 3축 보정 틀의 모션 캡처 마커들의 3D 좌표 및 마커 쌍 사이의 절대거리를 나타내는 도면;
도 5는 본 발명에서 제안된 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템의 워크플로우를 나타내는 도면;
도 6은 다중 카메라 프레임 대 프레임 매칭 알고리즘의 작동 방식을 나타내는 도면;
도 7은 3D 삼각 측량(3D triangulation / reconstruction)을 위한 데이터 구성을 나타내는 도면;
도 8은 3차원 보정객체의 획득된 단일 다중 카메라 영상의 가능한 변환 유형 및 이에 해당하는 변환 행렬을 나타내는 도면;
도 9는 적응형 영상 증강 방법의 작동 원리를 나타내는 도면;
도 10은 하이브리드 목적함수를 사용하여 다중 카메라 파라미터를 최적화하는 알고리즘을 나타내는 도면;
도 11은 단일 영상 기반 다중 카메라 보정 실험을 위한 실험 시스템 설정을 나타내는 도면;
도 12는 3축 보정 틀에 부착된 마커의 다중 카메라 시스템에 들어가고 있는 각 카메라에서 얻은 단일 원시 영상을 나타내는 도면;
도 13은 실험에서 얻은 다중 카메라 시스템의 초기 보정 파라미터를 나타내는 도면;
도 14는 3차원 보정객체 영상의 적응형 영상 증강 시 적용된 3가지 유사 변환 방법을 나타내는 도면;
도 15는 최적화된 다중 카메라 보정 파라미터를 나타내는 도면;
도 16은 최적화 전(기본 DLT 방법)과 최적화 후(제안 방법) 다중 카메라 파라미터를 이용하여 3축 보정 틀에 부착된 각 마커 중심의 3차원 좌표의 3D 재구성 RMSE 오차 계산 결과를 나타내는 도면;
도 17은 최적화 전(기본 DLT 알고리즘 사용) 및 최적화 후(제안한 방법을 사용)의 3축 보정 틀에 부착된 각 고유 마커 중심 쌍 사이의 계산된 거리의 RMSE 오차 비교를 나타내는 도면;
도 18은 두 개의 마커(마커 중심 간 거리 250mm)가 부착된 움직이는 보정 봉을 사용하여 제안된 다중 카메라 보정 알고리즘의 성능을 검증하기 위한 세팅된 실험 환경을 나타내는 도면;
도 19는 최적화 전(기본 DLT 알고리즘 사용) 및 최적화 후(제안한 방법을 사용)의 검증 실험에 사용했던 움직이는 보정 봉에 있는 마커 간의 3D 거리 계산 RMSE 오차를 나타내는 도면이다.1 is a perspective view showing a 3-axis correction frame for multi-camera correction used in the present invention;
Figure 2 is a bottom view of a 3-axis correction frame for multi-camera correction used in the present invention;
Figure 3 is a diagram for explaining the structure of fixing a marker to a 3-axis correction frame used in the present invention;
Figure 4 shows the 3D coordinates of motion capture markers of a 3-axis correction frame and the absolute distance between marker pairs;
Figure 5 is a diagram showing the workflow of an optimized multi-camera correction system based on an adaptive image augmentation method using a single image of a 3D correction object proposed in the present invention;
Figure 6 is a diagram showing how the multi-camera frame-to-frame matching algorithm works;
7 is a diagram showing data configuration for 3D triangulation/reconstruction;
Figure 8 is a diagram showing possible transformation types and corresponding transformation matrices of an acquired single multi-camera image of a 3D correction object;
9 is a diagram showing the operating principle of the adaptive image enhancement method;
10 is a diagram illustrating an algorithm for optimizing multiple camera parameters using a hybrid objective function;
Figure 11 is a diagram showing the experimental system setup for a single image-based multi-camera calibration experiment;
Figure 12 shows a single raw image from each camera entering a multi-camera system of markers attached to a three-axis calibration frame;
Figure 13 shows the initial calibration parameters of the multi-camera system obtained from the experiment;
Figure 14 is a diagram showing three similar transformation methods applied when adaptive image augmentation of a 3D correction object image;
Figure 15 shows optimized multi-camera calibration parameters;
Figure 16 is a diagram showing the 3D reconstruction RMSE error calculation results of the 3D coordinates of the center of each marker attached to a 3-axis correction frame using multiple camera parameters before optimization (basic DLT method) and after optimization (proposed method);
Figure 17 shows a comparison of RMSE errors of the calculated distances between each unique marker centroid pair attached to a 3-axis calibration frame before optimization (using the default DLT algorithm) and after optimization (using the proposed method);
Figure 18 is a diagram showing the experimental environment set up to verify the performance of the proposed multi-camera calibration algorithm using a moving calibration rod attached to two markers (distance between marker centers 250 mm);
Figure 19 is a diagram showing the RMSE error of calculating 3D distance between markers on a moving calibration rod used in the verification experiment before optimization (using the basic DLT algorithm) and after optimization (using the proposed method).

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다. 본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. The examples herein are provided to make the disclosure of the present invention complete and to fully inform those skilled in the art of the scope of the invention. And the present invention is only defined by the scope of the claims. Accordingly, in some embodiments, well-known components, well-known operations and well-known techniques are not specifically described in order to avoid ambiguous interpretation of the present invention.

본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다. All terms (including technical and scientific terms) used in this specification may be used with meanings that can be commonly understood by those skilled in the art in the technical field to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless they are defined.

도 1은 본 발명에 이용되는 다중 카메라 보정을 위한 3축 보정 틀을 나타내는 도면이다. 본 발명에서는 다중 카메라 보정을 위해 3축 보정 틀을 보정 객체로 사용한다. 도 1에 도시된 바와 같이 다중 카메라 보정을 위한 3축 보정 틀(10)은 몸체 프레임(11) 및 몸체 프레임(11)로부터 각각 서로 수직인 X, Y, Z축 방향으로 연장되는 축 프레임(X,Y,Z)을 포함한다. X, Y, Z 축 프레임이 맞닿는 부위에는 축 프레임을 바닥 표면에 단단히 고정하고 최적의 무게 분산을 위한 프론트 에이프런(12)이 X, Y 평면을 따라 보정 틀(10)의 저부에 제공된다. 1 is a diagram showing a three-axis correction frame for multi-camera correction used in the present invention. In the present invention, a 3-axis correction frame is used as a correction object for multi-camera correction. As shown in FIG. 1, the three-axis correction frame 10 for multi-camera correction includes a body frame 11 and an axis frame (X ,Y,Z). At the area where the X, Y, and Z axis frames meet, a front apron (12) is provided at the bottom of the compensation frame (10) along the

3축 보정 틀(10)은 알루미늄으로 제작되고, 3축 보정 틀의 에이프런(12) 양쪽에는 3축 보정 틀의 바닥면에 2개의 볼트로 고정된 수준기(spirit level)(13)가 제공되어 표면에서 3축 보정 틀의 평탄도를 정확하게 측정할 수 있게 돕는다. The 3-axis correction frame (10) is made of aluminum, and a spirit level (13) fixed to the bottom of the 3-axis correction frame with two bolts is provided on both sides of the apron (12) of the 3-axis correction frame. It helps to accurately measure the flatness of the 3-axis correction frame.

또한, 도 2에 도시된 바와 같이 3축 보정 틀(10)의 바닥면에는 볼트로 고정된 최적의 위치에 있는 4개의 조절발(15)이 제공되어 바닥 표면에 대한 3축 보정 틀의 접착 정도를 높이도록 기능한다.In addition, as shown in FIG. 2, four control feet 15 at optimal positions fixed with bolts are provided on the bottom surface of the 3-axis correction frame 10 to adjust the degree of adhesion of the 3-axis correction frame to the floor surface. It functions to increase.

X, Y, Z 축 프레임 각각에는 복수의 구멍(14)이 제공되고 구멍에는 무두볼트와 같은 체결수단의 일단부가 삽입되고 무두볼트의 타단부에는 마커가 결합되어 도 3에 도시된 바와 같이 마커가 보정 틀(10)의 X, Y, Z 축 프레임 각각에 고정될 수 있다. 마커는 3축 보정 틀 각 축의 표면에 7개의 마커가 고정될 수 있으며, 무두 렌치 볼트를 이용하여 마커를 부착하는 방식으로 구성됨에 따라 다양한 크기의 패시브나 액티브 마커를 자유롭게 사용할 수 있는 이점이 얻어진다. 본 발명 제안된 3축 보정 틀에 부착할 수 있으려면 마커에 무두볼트 규격(본 실시예에서는 M4)에 대응하는 스레드가 제공되어 있어야 한다는 점은 주목할 가치가 있다.A plurality of holes 14 are provided in each of the It can be fixed to each of the X, Y, and Z axis frames of the correction frame 10. Seven markers can be fixed to the surface of each axis of the 3-axis correction frame, and the marker is attached using a blunt wrench bolt, giving the advantage of freely using passive or active markers of various sizes. . It is worth noting that in order to be able to attach to the 3-axis correction frame proposed in the present invention, the marker must be provided with a thread corresponding to the headless bolt standard (M4 in this embodiment).

도 4는 3축 보정 틀의 모션 캡처 마커들의 3D 좌표 및 마커 쌍 사이의 절대거리를 나타내는 도면이다. 본 실시예에서 제안된 3축 보정 틀(10)의 구조는 특정 위치에 최대 7개의 마커를 수용할 수 있도록 구성되었다. 예를 들면 X축에 마커 2개, Y축에 마커 3개, Z축에 마커 2개가 수용될 수 있다. 도 4에 도시된 절대거리는 접촉식 3차원 측정기를 사용하여 측정된 각 구형 마커 중심의 3D 좌표와 가능한 모든 마커 중심 쌍 사이의 거리를 나타낸다.Figure 4 is a diagram showing the 3D coordinates of motion capture markers of a 3-axis correction frame and the absolute distance between marker pairs. The structure of the three-axis correction frame 10 proposed in this embodiment is configured to accommodate up to seven markers at a specific position. For example, two markers can be accommodated on the X-axis, three markers on the Y-axis, and two markers on the Z-axis. The absolute distance shown in Figure 4 represents the distance between the 3D coordinates of the center of each spherical marker measured using a contact 3D measuring device and all possible pairs of marker centers.

도 5는 본 발명에서 제안된 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템의 워크플로우로서, 다중 카메라 보정 처리의 전체 보정 프로세스를 나타낸다. 본 발명에서 제안한 다중 카메라 보정 시스템의 주요 특징은 붉은색 박스로 표시된 바와 같은 각 카메라부터 수신된 단일 영상의 적응형 증가 방법(adaptive image augmentation)과 다중 카메라 파라미터의 하이브리드 최적화 방법(hybrid camera parameters optimization)을 포함한다. Figure 5 is a workflow of an optimized multi-camera calibration system based on an adaptive image augmentation method using a single image of a 3D calibration object proposed in the present invention, and shows the overall calibration process of multi-camera calibration processing. The main features of the multi-camera correction system proposed in the present invention are adaptive image augmentation of a single image received from each camera as indicated by a red box and hybrid camera parameters optimization of multiple camera parameters. Includes .

도 5에 도시된 바와 같이, 본 발명에 따른 다중 카메라 보정 방법은 각 카메라에서 3차원 보정객체의 단일 로우(raw) 이미지를 수집하는 것으로 시작된다. 다음으로 수신된 영상에 대한 영상 전처리 프로세스가 진행되다. 해당 영상 전처리 방법은 획득된 영상이 그레이스케일 강도 영상(grayscale intensity image)인지 확인하다. 결과 영상이 RGB 영상인 경우 R, G 및 B 구성 요소의 가중 합계를 형성하여 원래 영상이 그레이스케일 강도 영상으로 변환된다. As shown in Figure 5, the multi-camera correction method according to the present invention begins by collecting a single raw image of a 3D correction object from each camera. Next, an image pre-processing process for the received image is performed. The image preprocessing method checks whether the acquired image is a grayscale intensity image. If the resulting image is an RGB image, the original image is converted to a grayscale intensity image by forming a weighted sum of the R, G, and B components.

이어서 2D 그레이스케일 영상은 임계값을 선택하여 임계값으로 흑백 픽셀의 클래스 내 분산을 최소화하는 방법을 사용하여 이진화(binarization) 된다. 또한, 픽셀의 연결성을 분석하여 모든 영상에서 연결된 각 구성 요소의 경계가 검출(boundary detection)된다. The 2D grayscale image is then binarized using a method that minimizes the intraclass variance of black and white pixels by selecting a threshold. Additionally, by analyzing pixel connectivity, the boundaries of each connected component in all images are detected (boundary detection).

다음으로 이진화된 이미지에서 연결된 구성 요소의 설정된 임계값의 픽셀 수보다 적은 연결된 모든 구성 요소를 제거하여 이미지가 필터링 되고, 마지막으로 영상에서 발견된 각 연결 구성 요소의 중심(centroid)이 계산된다.Next, the image is filtered by removing all connected components that are less than the number of pixels of the connected component's set threshold from the binarized image, and finally, the centroid of each connected component found in the image is calculated.

다중 카메라 보정 초기 단계에서 초기 다중 카메라 파라미터가 계산된다. 이를 위해 우선 3차원 보정객체에 부착된 마커 중심의 데이터 라벨링을 수행하고 도 6과 같이 프레임 대 프레임 알고리즘을 사용하여 매칭시키는 프로세스가 수행되다.In the initial stage of multi-camera calibration, initial multi-camera parameters are calculated. To this end, first, data labeling is performed centered on the marker attached to the 3D correction object, and a matching process is performed using a frame-to-frame algorithm as shown in FIG. 6.

또한, 각 카메라에서 획득된 단일 영상에서 얻은 보정객체에 붙여있는 매칭된 마커 중심의 데이터 및 DLT(Direct Linear Transform) 알고리즘을 이용하여 다중 카메라의 초기 카메라 행렬(camera matrix)을 계산하는 과정을 수행한다. 마지막으로, RQ 분해 방법을 사용하여 획득한 다중 카메라 행렬을 분해하여 각 카메라의 내부 및 외부 파라미터를 계산한다.In addition, the process of calculating the initial camera matrix of multiple cameras is performed using the matched marker-centered data attached to the correction object obtained from a single image acquired from each camera and the DLT (Direct Linear Transform) algorithm. . Finally, the obtained multi-camera matrix is decomposed using the RQ decomposition method to calculate the internal and external parameters of each camera.

그 후 매칭된 마커 중심의 다중 카메라 2D 데이터, 각 카메라의 초기 카메라 파라미터 및 도 7과 같이 다중 카메라 삼각 측량(triangulation) 방법을 이용하여 각 마커 중심의 초기 3차원 데이터를 3D 재구성한다. Afterwards, the initial 3D data centered on each marker is 3D reconstructed using the multi-camera 2D data centered on the matched marker, the initial camera parameters of each camera, and the multi-camera triangulation method as shown in FIG. 7.

다중 카메라 파라미터 계산의 정확도를 높이고 보정 볼륨의 크기를 늘리기 위해 각 카메라에서 획득된 단일 로우(raw) 영상에 대한 적응형 증강 프로세스가 수행된다. To increase the accuracy of multi-camera parameter calculation and increase the size of the correction volume, an adaptive augmentation process is performed on a single raw image acquired from each camera.

본 발명에서 제안한 적응형 영상 증강 방법은 가능한 한 동적 보정 프로세스를 시뮬레이션하기 위해 각 카메라에서 수신한 3차원 보정객체의 단일 영상의 동시 특정 기하학적 변환을 사용한다. 카메라 간의 공간적 관계를 방해하지 않고 3차원 보정객체의 다중 카메라에서 획득된 단일 영상을 사용하여 원하는 동적 보정 시뮬레이션 효과를 얻으려면 특정 기하학적 변환과 같은 특정 유형의 영상 증강 기술만 사용해야 하다. The adaptive image augmentation method proposed in the present invention uses simultaneous specific geometric transformation of a single image of a three-dimensional correction object received from each camera to simulate the dynamic correction process as much as possible. To achieve the desired dynamic correction simulation effect using a single image acquired from multiple cameras of a three-dimensional correction object without disturbing the spatial relationship between cameras, only certain types of image augmentation techniques, such as specific geometric transformations, must be used.

따라서 다중 카메라의 가시 볼륨(visible volume) 내에서 보정객체의 동적 움직임에 원하는 효과를 주지 않는 다양한 색 공간 변환(color space transformation), 커널 필터링(kernal filters), 혼합 이미지(mixing images), 임의 삭제(random erasing), 노이즈 주입(noise injection) 등과 같은 영상 증가 방법을 사용하면 안 된다.Therefore, various color space transformations, kernel filters, mixing images, random deletion ( Image augmentation methods such as random erasing and noise injection should not be used.

도 8은 3차원 보정객체의 획득된 단일 다중 카메라 영상의 가능한 변환 유형 및 이에 해당하는 변환 행렬을 나타내는 도면이다. 다양한 기하학적 변환 중에서 보정객체의 형태를 최대한 보존하기 위해서는 영상 이동(translation), 회전(rotation), 스케일링(scaling) 및 이들의 다양한 조합과 같은 유형의 유사 변환(similarity transformation)을 사용해야 한다. Figure 8 is a diagram showing possible transformation types and corresponding transformation matrices of an acquired single multi-camera image of a 3D correction object. In order to preserve the shape of the correction object as much as possible among various geometric transformations, types of similarity transformations such as image translation, rotation, scaling, and various combinations thereof must be used.

또한, 보정객체의 형태를 상대적으로 크게 변화시키는 전단 변환(shear transformation)과 같은 다양한 기하학적 변환을 사용해서는 안 되며, 이로 인해 중심 계산의 정확도가 떨어지게 되고, 그 결과 다중 카메라 보정 알고리즘 자체의 정확도가 떨어지게 된다. In addition, various geometric transformations, such as shear transformation, that change the shape of the correction object relatively significantly should not be used, which reduces the accuracy of centroid calculation and, as a result, reduces the accuracy of the multi-camera correction algorithm itself. do.

따라서 본 발명에서는 다중 카메라에서 획득된 단일 영상에 대한 적응형 영상 증강을 위해 도 8에 표시된 해당 모양 및 매개변수를 가지고 있는 변환 행렬을 사용하는 이동, 회전 및 스케일링과 같은 세 가지 기하학적 변환 및 이들의 조합이 사용되었다.Therefore, in the present invention, for adaptive image augmentation of a single image acquired from multiple cameras, three geometric transformations such as translation, rotation and scaling using a transformation matrix with corresponding shapes and parameters shown in Figure 8 and their Combination was used.

도 9는 적응형 영상 증강 방법의 작동 원리를 나타내는 도면이다. 본 발명에서 다중 카메라 시스템의 영상 해상도 내에서 이동, 회전, 스케일링 변환 및 이들의 조합의 변환 행렬에 들어가고 있는 가능한 모든 매개변수를 영상 증강할 때 사용되었다. Figure 9 is a diagram showing the operating principle of the adaptive image enhancement method. In the present invention, all possible parameters included in the transformation matrix of translation, rotation, scaling transformation, and combinations thereof within the image resolution of a multi-camera system were used to augment the image.

다중 카메라 시스템의 가시 볼륨 내에서 3축 보정객체의 동적 움직임에 대한 시뮬레이션을 생성하는 방식으로 사용된 기하학적 변환 방법에 대한 매개변수가 선택되었다는 점에 유의하는 것이 중요하다. 기하학적 변환의 결과로 보정객체 데이터의 일부 또는 전체가 손실된 다중 카메라 시스템의 증강된 프레임 세트를 제거하는 위해 도 9에 도시된 바와 같은 임계치(threshold) 기반 방법도 사용되었다. It is important to note that the parameters for the geometric transformation method used were chosen in a way that creates a simulation of the dynamic movement of the three-axis calibration object within the visible volume of a multi-camera system. A threshold-based method, as shown in Figure 9, was also used to remove augmented frame sets from multi-camera systems that lost some or all of the calibration object data as a result of geometric transformation.

각 카메라에서 획득한 3차원 보정객체의 단일 로우 영상에 대해 제안한 적응형 영상 증강 방법을 적용한 결과, 각 카메라에 대한 3차원 보정객체의 약 500개의 새로운 임계치 기반 방법으로 필터링 되는 영상이 획득되었다. 다중 카메라 시스템의 추적 공간의 크기에 따라 적응형 영상 증강 과정에 사용되는 매개변수 값과 각 카메라에 대해 획득되는 최종 증강된 3차원 보정객체의 영상 개수가 달라질 수 있다. 3차원 보정객체의 증강된 다중 카메라 영상은 다중 카메라 시스템의 원하는 추적 영역의 볼륨 전체에 걸쳐 3축 보정객체의 연속적인 동적 움직임을 커버한다.As a result of applying the proposed adaptive image augmentation method to a single raw image of the 3D correction object obtained from each camera, approximately 500 images of the 3D correction object for each camera were obtained that were filtered by a new threshold-based method. Depending on the size of the tracking space of the multi-camera system, the parameter values used in the adaptive image augmentation process and the number of images of the final augmented 3D correction object obtained for each camera may vary. The augmented multi-camera image of the three-dimensional calibration object covers the continuous dynamic movement of the three-axis calibration object throughout the volume of the desired tracking area of the multi-camera system.

다음으로 다중 카메라의 원하는 추적 영역 내에서 3축 보정객체의 순차적 동적 움직임을 시뮬레이션의 증강된 영상 데이터를 라벨링하고 계산된 다중 카메라 에피폴라 제약(epipolar constraints)과 프레임 대 프레임 매칭 알고리즘을 사용하여 획득된 데이터를 카메라 대 카메라 및 프레임 대 프레임을 매칭시키다.Next, we label the augmented image data from the simulation of sequential dynamic movements of the 3-axis calibration object within the desired tracking area of the multi-camera and obtain the obtained image data using the calculated multi-camera epipolar constraints and a frame-to-frame matching algorithm. Match data camera-to-camera and frame-to-frame.

그런 다음에 다중 카메라 시스템의 추적 볼륨 내에서 3차원 보정객체의 동적 움직임의 시뮬레이션에 대한 획득하고 매칭된 증강된 다중 카메라 데이터 및 다중 카메라 파라미터를 사용하여 3차원 보정객체의 3D 좌표 데이터가 재구성된다.Then, the 3D coordinate data of the 3D calibration object is reconstructed using the acquired and matched augmented multicamera data and multicamera parameters for simulation of the dynamic movement of the 3D calibration object within the tracking volume of the multicamera system.

도 10은 하이브리드 목적함수를 사용하여 다중 카메라 파라미터를 최적화하는 알고리즘을 나타낸 도면이다. 본 발명에서 제안하는 도 10에 도시된 바와 같은 하이브리드 최적화 방법의 목적함수는 Figure 10 is a diagram showing an algorithm for optimizing multiple camera parameters using a hybrid objective function. The objective function of the hybrid optimization method as shown in Figure 10 proposed by the present invention is

(1) 각 카메라에서 획득한 3차원 보정객체의 단일 영상을 이용한 기본 정적 보정(static calibration) 방법의 오차 및 (1) Errors and errors of the basic static calibration method using a single image of a 3D calibration object acquired from each camera

(2) 다중 카메라 시스템의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 증강된 데이터를 이용한 보정 방법의 오차의 조합으로 구성된다.(2) It consists of a combination of the errors of the correction method using augmented data simulating the movement of a 3D correction object within the desired tracking area of a multi-camera system.

정적 보정 오차는 3차원 보정객체에 부착된 마커 중심의 원래 알려진 3D 좌표와 각 카메라에서 얻은 단일 영상 데이터와 다중 카메라 파라미터를 사용하여 마커 중심의 3D 재구성된 3D 좌표 간의 차이()로 구성된다. 여기에서 j는 3축 보정객체에 있는 총 마커 개수다. Static calibration error is the difference between the original known 3D coordinates of the center of a marker attached to a 3D calibration object and the 3D reconstructed 3D coordinates of the marker center using single image data obtained from each camera and multiple camera parameters ( ) is composed of. Here, j is the total number of markers in the 3-axis correction object.

다중 카메라 시스템의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 증강된 데이터를 이용한 보정 방법의 오차는 3차원 보정객체에 부착된 가능한 모든 고유 마커 중심 쌍 사이의 실제 거리 및 적응형 증강 방법을 사용하여 얻었던 증강된 데이터 및 다중 카메라 파라미터를 사용하여 3D 재구성된 가능한 모든 고유 마커 중심 쌍 사이의 거리의 차이()로 구성된다. 여기서 m은, 제안된 다중 카메라 시스템의 적응형 영상 증강 방법을 사용하여 얻은 다중 카메라 시스템의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션의 프레임 세트의 총 개수고, r은 3차원 보정객체에 있는 총 마커 개수다. The error of the calibration method using augmented data simulating the movement of a 3D calibration object within the desired tracking area of a multi-camera system is the actual distance between all possible unique marker centroid pairs attached to the 3D calibration object and the adaptive augmentation method. The difference in distances between all possible unique marker centroid pairs 3D reconstructed using augmented data and multiple camera parameters ( ) is composed of. where m is the total number of framesets of simulating the movement of the 3D calibration object within the desired tracking area of the multicamera system obtained using the proposed adaptive image augmentation method of the multicamera system, and r is the 3D calibration object. This is the total number of markers in .

본 발명에서 제안하는 하이브리드 목적함수에 들어가 있는 다중 카메라 파라미터 및 번들 조정(Bundle adjustment) 최적화 방법을 이용하여 다중 카메라 시스템의 파라미터를 최적화하는 과정이 수행되다. 최적화 프로세스가 완료되면 다중 카메라 시스템의 각 카메라에 대해 최적화된 파라미터(Opt_P_n)를 계산되다.A process of optimizing the parameters of a multi-camera system is performed using the multi-camera parameters and bundle adjustment optimization method included in the hybrid objective function proposed in the present invention. Once the optimization process is complete, the optimized parameters (Opt_P_n) are calculated for each camera in the multi-camera system.

전술한 바와 같은 매칭 알고리즘 및 3D 재구성과 함께 계산된 최적화된 다중 카메라 파라미터를 사용하여 다중 카메라 시스템의 가시 볼륨 내에서 원하는 추적 영역 이내에 마커가 부착된 다양한 객체를 상대적으로 빠르고 정확하게 실시간으로 추적할 수 있다.Using optimized multi-camera parameters calculated together with matching algorithms and 3D reconstruction as described above, it is possible to track in real-time relatively quickly and accurately various objects with attached markers within the desired tracking area within the visible volume of a multi-camera system. .

도 11은 단일 영상 기반 다중 카메라 보정 실험을 위한 실험 시스템 설정을 나타내는 도면이다. 본 발명에서 제안한 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템의 성능을 검토하기 위해 도 11과 같이 특수 십자형 스탠드에 부착된 4대의 모션 캡처 카메라를 사용하여 검증 실험 수행하였다.Figure 11 is a diagram showing the experimental system setup for a single image-based multi-camera correction experiment. In order to examine the performance of the optimized multi-camera correction system based on the adaptive image augmentation method using a single image of the 3D correction object proposed in the present invention, four motion capture cameras attached to a special cross-shaped stand were used as shown in Figure 11. Verification experiments were performed.

도 12는 3축 보정 틀에 부착된 마커의 다중 카메라 시스템에 들어가고 있는 각 카메라에서 얻은 단일 원시 영상을 나타내는 도면이다. 본 검증 실험에서 보정객체로 사용된 3축 보정 틀은 마커가 부착되어 3D 좌표가 알려져 있으며, 이와 같은 3축 보정틀을 다중 카메라 시스템의 중심에서 약 1.5 미터 떨어진 다중 카메라 시스템의 가시 볼륨의 대략 중앙에 위치시켜 도 12와 같이 같이 각 카메라에서 해당 3축 보정 틀의 단일 원시 영상을 획득했다. Figure 12 is a diagram showing a single raw image from each camera entering a multi-camera system of markers attached to a three-axis calibration frame. The 3-axis correction frame used as a correction object in this verification experiment has a marker attached and its 3D coordinates are known, and this 3-axis correction frame is placed at approximately the center of the visible volume of the multi-camera system, approximately 1.5 meters away from the center of the multi-camera system. A single raw image of the corresponding 3-axis correction frame was acquired from each camera as shown in Figure 12.

4대의 카메라에서 획득한 3축 보정 틀에 부착된 마커의 영상을 이용하여 해당 영상 전처리, 라벨링, 매칭한 후 DLT 알고리즘을 사용하여 다중 카메라 시스템의 초기 파라미터가 계산된다.The initial parameters of the multi-camera system are calculated using the DLT algorithm after preprocessing, labeling, and matching the images of the markers attached to the 3-axis calibration frame obtained from four cameras.

도 13은 본 실험에서 얻은 다중 카메라 시스템의 초기 보정 파라미터를 나타내며, 구체적으로는 각 카메라에 대해 계산된 초기 카메라 행렬과 이러한 카메라 행렬의 RQ 분해 결과로 얻은 다중 카메라 시스템에 들어가고 있는 각 카메라의 내부 및 외부 파라미터를 나타낸다.Figure 13 shows the initial calibration parameters of the multi-camera system obtained in this experiment, specifically the initial camera matrix calculated for each camera and the internal and external parameters of each camera entering the multi-camera system obtained as a result of RQ decomposition of this camera matrix Indicates external parameters.

이후, 도 9에 표시된 "(1) 특정 선택된 3개의 유사 변환 및 이들의 조합으로 구성된 영상 증강 방법"과 "(2) 임계치 값 기반 방법을 기반으로 영상 증강의 결과 영상의 적응형 필터링 방법"으로 구성된 적응형 영상 증가 방법을 사용하였다.Thereafter, as shown in Figure 9, "(1) Image augmentation method consisting of three specifically selected similar transformations and their combinations" and "(2) Adaptive filtering method of the resulting image of image augmentation based on threshold value-based method." The configured adaptive image augmentation method was used.

도 14는 3차원 보정객체 영상의 적응형 영상 증강 시 적용된 3가지 유사 변환 방법을 나타내는 도면으로, 본 발명에서 도 14에 나와 있는 제안된 유사 변환 방법 각각에 대해 획득된 영상의 해상도를 고려해서 도 8에 표시된 변환 행렬의 적절한 매개변수를 선택하였다. FIG. 14 is a diagram showing three pseudo-transformation methods applied when adaptive image augmentation of a 3D correction object image, taking into account the resolution of the image obtained for each of the proposed pseudo-transformation methods shown in FIG. 14 in the present invention. Appropriate parameters of the transformation matrix shown in Fig. 8 were selected.

다중 카메라 시스템의 가시 볼륨 이내에 원하는 추적 공간의 크기에 따라 선택된 유사 변환 매개변수를 포함한 적응형 영상 증강 방법을 적용한 결과로 얻은 필터링된 영상은 원하는 다중 카메라 시스템의 가시 볼륨 이내에 원하는 추적 공간 내에서 보정객체의 순차적인 동적 이동 과정(동적 보정 시뮬레이션)을 모방한다.The filtered image resulting from applying an adaptive image augmentation method with pseudo-transformation parameters selected according to the size of the desired tracking space within the visible volume of the multi-camera system is a calibration object within the desired tracking space within the visible volume of the desired multi-camera system. It mimics the sequential dynamic movement process (dynamic compensation simulation).

3축 보정 틀에 부착된 각 마커 중심의 측정된 실제 3D 좌표 데이터, 각각의 고유한 마커 중심 쌍 사이의 측정된 실제 거리 데이터, 정적 보정 및 동적 보정 시뮬레이션 때 획득된 각 마커 중심의 다중 카메라 데이터 및 초기 다중 카메라 파라미터를 사용하여 3D 재구성된 각 마커 중심의 3D 좌표 데이터 및 각각의 고유한 마커 중심 쌍 사이의 3D 재구성된 거리 데이터를 이용하여 도 10에서 제안되는 하이브리드 목적함수 구성하는 프로세스가 수행되다. 다음으로 제안하는 하이브리드 목적함수와 이에 포함된 변수 및 번들 조정 알고리즘을 사용하여 초기 다중 카메라 파라미터를 최적화하는 과정 준비가 완료된다.Measured actual 3D coordinate data of the center of each marker attached to a 3-axis calibration frame, measured actual distance data between each unique pair of marker centers, multi-camera data of the center of each marker acquired during static calibration and dynamic calibration simulations, and The process of constructing the hybrid objective function proposed in Figure 10 is performed using the 3D coordinate data of each marker center 3D reconstructed using the initial multi-camera parameters and the 3D reconstructed distance data between each unique marker center pair. Next, the process of optimizing the initial multi-camera parameters is completed using the proposed hybrid objective function and the variables and bundle adjustment algorithm included in it.

최적화 알고리즘의 매개변수를 설정한 후 다중 카메라 시스템에 들어가 있는 각 카메라의 초기 카메라 파라미터를 최적화하는 과정이 진행되며, 그 결과 도 14에서와 같은 각 카메라의 최적화된 카메라 행렬(카메라 보정 파라키터)이 얻어지고, 해당 카메라 행렬을 RQ 분해를 통해 다중 카메라 시스템의 각 카메라의 내부 및 외부 파라미터가 도출된다.After setting the parameters of the optimization algorithm, the process of optimizing the initial camera parameters of each camera in the multi-camera system is performed, and as a result, the optimized camera matrix (camera correction parameter) of each camera is obtained as shown in Figure 14. The internal and external parameters of each camera in the multi-camera system are derived through RQ decomposition of the corresponding camera matrix.

도 16은 최적화 전(기본 DLT 방법)과 최적화 후(제안 방법) 다중 카메라 파라미터를 이용하여 3축 보정 틀에 부착된 각 마커 중심의 3차원 좌표의 3D 재구성 RMSE 오차 계산 결과를 나타내는 도면으로, 최적화 전(기본 DLT 알고리즘 사용) 및 최적화 후(제안한 방법을 사용) 다중 카메라 시스템의 파라미터를 사용하여 3축 보정 틀에 부착된 각 마커 중심의 3D 재구성된 3D 좌표와 각 마커 중심의 실제 알려진 정적 3D 좌표 간의 RMSE(Root Mean Square Error) 오차를 나타낸다. 기본 DLT 방법에 비해 본 발명에서 제안한 방법을 사용하여 3축 보정 틀에 부착된 각 마커 중심의 계산된 3차원 좌표 오차가 현저히 감소한 것을 알 수 있다.Figure 16 is a diagram showing the 3D reconstruction RMSE error calculation results of the 3D coordinates of the center of each marker attached to the 3-axis correction frame using multiple camera parameters before optimization (basic DLT method) and after optimization (proposed method). 3D reconstructed 3D coordinates of each marker centroid and the actual known static 3D coordinates of each marker centroid before (using the default DLT algorithm) and after optimization (using the proposed method) attached to a 3-axis calibration frame using the parameters of the multi-camera system. It represents the RMSE (Root Mean Square Error) error between the values. It can be seen that the calculated 3D coordinate error of the center of each marker attached to the 3-axis correction frame is significantly reduced using the method proposed in the present invention compared to the basic DLT method.

도 17은 최적화 전(기본 DLT 알고리즘 사용) 및 최적화 후(제안한 방법을 사용) 다중 카메라 시스템의 파라미터를 사용하여 3축 보정 틀에 부착된 각 고유 마커 중심 쌍 사이의 3D 재구성된 거리와 각 고유 마커 중심 쌍 사이의 실제 알려진 거리의 RMSE 오차를 나타낸다. 도 17은 제안된 적응형 다중 카메라 단일 영상 증강 방법을 사용하여 얻은 모든 3축 보정 틀의 순차 동적 모션 시뮬레이션을 포함한 다중 카메라 프레임을 사용하여 3축 보정 프레임에 부착된 각 고유한 마커 중심 쌍 사이의 계산된 거리의 평균 RMSE 오차를 나타내고 있다. 기본 DLT 방법에 비해 본 발명에서 제안한 방법을 사용하여 3축 보정 틀에 부착된 각 고유 마커 중심 쌍 사이의 계산된 거리 오차가 현저히 감소한 것을 알 수 있다.Figure 17 shows the 3D reconstructed distance between each pair of unique marker centroids attached to a 3-axis calibration frame using the parameters of the multi-camera system before optimization (using the default DLT algorithm) and after optimization (using the proposed method). It represents the RMSE error of the actual known distance between a pair of centroids. Figure 17 shows the difference between each unique pair of marker centroids attached to a three-axis calibration frame using multiple camera frames, including sequential dynamic motion simulations of all three-axis calibration frames obtained using the proposed adaptive multi-camera single image augmentation method. It shows the average RMSE error of the calculated distance. It can be seen that compared to the basic DLT method, the calculated distance error between each unique marker center pair attached to the 3-axis calibration frame is significantly reduced using the method proposed in the present invention.

본 발명에서 제안한 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템의 성능을 검증하기 위해, 이전에 제안한 최적화된 다중 카메라 보정 방법으로 보정된 4대의 카메라로 구성된 다중 카메라 시스템과 보정 과정 중에서 따로 사용하지 않은 두 개의 마커가 부착된 보정 봉을 사용했다. In order to verify the performance of the optimized multi-camera correction system based on the adaptive image augmentation method using a single image of the 3D correction object proposed in the present invention, a system consisting of four cameras calibrated using the previously proposed optimized multi-camera correction method was used. During the multi-camera system and calibration process, a calibration rod with two markers attached was used, which was not used separately.

도 18은 두 개의 마커(마커 중심 간 실제 거리 250mm)가 부착된 움직이는 보정 봉을 사용하여 제안된 다중 카메라 보정 알고리즘의 성능을 검증하기 위한 세팅된 실험 환경을 나타낸다. 다중 카메라 시스템 중심에서 약 1.5m 거리에서 두 개의 마커가 부착된 보정 봉을 사용하여 보정 과정에서 설정된 원하는 보정 볼륨 내에서 마커 중심 사이의 실제 거리가 250mm인 보정 봉으로 여러 가지 다양한 움직임이 이루어졌다. 도 18과 같이 검증 실험 세팅을 완성한 다음에 다중 카메라 시스템의 가시 볼륨 내에서 다중 카메라 시스템의 각 카메라에서 보정 봉 움직임의 1000프레임을 수집했다.Figure 18 shows the experimental environment set up to verify the performance of the proposed multi-camera calibration algorithm using a moving calibration rod attached to two markers (actual distance between marker centers 250 mm). Using a calibration rod with two markers attached at a distance of approximately 1.5 m from the center of the multi-camera system, several different movements were made with the calibration rod, with an actual distance of 250 mm between the centers of the markers, within the desired calibration volume established during the calibration process. After completing the verification experiment setup as shown in Figure 18, 1000 frames of calibration rod movement were collected from each camera of the multi-camera system within the visible volume of the multi-camera system.

다음으로 움직이는 보정 봉에 부착된 마커의 모든 획득된 다중 카메라 데이터의 전처리, 라벨링 및 매칭이 수행되었다. 그 후, 움직이는 보정 봉에 부착된 각 마커 중심의 3D 좌표를 3D 재구성하고 수집된 각 다중 카메라 프레임 셋에 대해 움직이는 마커 사이의 3D 거리를 계산했다.Next, preprocessing, labeling, and matching of all acquired multicamera data from markers attached to a moving calibration rod were performed. Afterwards, the 3D coordinates of the center of each marker attached to the moving calibration rod were 3D reconstructed and the 3D distance between the moving markers was calculated for each collected multi-camera frameset.

도 19는 움직이는 보정 봉에 부착된 마커 중심 사이의 실제 거리와 움직이는 보정 봉에 부착된 마커 중심 사이의 3D 재구성된 거리 사이의 RMSE 계산 결과를 나타낸다. 움직이는 보정 봉에 부착된 마커의 중심 간 거리를 계산할 때 제안하는 다중 카메라 방법이 기본 DLT 방법보다 평균 추적 RMSE 오차가 낮음을 알 수 있다.Figure 19 shows the RMSE calculation results between the actual distance between the centers of the markers attached to the moving calibration rod and the 3D reconstructed distance between the centers of the markers attached to the moving correction rod. It can be seen that the proposed multi-camera method has a lower average tracking RMSE error than the basic DLT method when calculating the distance between the centers of markers attached to a moving calibration rod.

이상 설명한 바와 같이 본 발명은 상대적으로 간단하고, 편리하고, 자동화하고, 빠르고, 다양한 보정 공간/추적 공간의 크기에 적응할 수 있는 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반 최적화된 다중 카메라 보정 시스템을 제공한다. 본 발명에서 제안하는 시스템은 다양한 큰 사이즈 및 볼륨의 보정객체를 사용할 필요가 없고, 특별한 위치에 고정된 다수의 보정 마커를 사용하지 않고, 복잡한 계산과정이 필요없고, 상대적으로 복잡한 동적 보정 프로세스(보정객체의 속도를 올바르게 제어해야 하고, 보정객체의 약 1,000 - 4,000프레임을 수집해야 하며 동적 보정 중에 전체 추적 영역의 크기를 따라 가능한 한 엄격하게 보정객체를 이동해야 함, 등등)가 필요없다.As described above, the present invention is a relatively simple, convenient, automated, fast, and optimized adaptive image augmentation method based on a single image of a 3D correction object that can adapt to various sizes of correction space/tracking space. Provides a multi-camera correction system. The system proposed in the present invention does not need to use correction objects of various large sizes and volumes, does not use a large number of correction markers fixed at special positions, does not require complex calculation processes, and does not require a relatively complex dynamic correction process (correction correction The velocity of the object must be properly controlled, approximately 1,000 - 4,000 frames of the calibration object must be collected, and during dynamic calibration the calibration object must be moved as strictly as possible along the size of the entire tracking area, etc.).

또한 본 발명에서 제안된 다중 카메라 보정 방법의 적응형 영상 증강 알고리즘의 매개변수를 간단하게 조정하는 방법으로 보정 공간의 크기를 신속하게 제어할 수 있으므로 이 방법은 모션 캡처 기술이 사용되고 다중 카메라의 보정 공간/추적 공간의 크기 및 위치가 자주 변경할 필요가 있는 다양한 영역에서 효과적으로 사용될 수 있다. In addition, the size of the correction space can be quickly controlled by simply adjusting the parameters of the adaptive image augmentation algorithm of the multi-camera correction method proposed in the present invention, so this method uses motion capture technology and uses the correction space of the multiple cameras. /Can be used effectively in a variety of areas where the size and location of the tracking space need to change frequently.

또한, 제안하는 다중 카메라 보정 방법은 상대적으로 거대한 또는 초소형 보정 공간/추적 공간에 다른 기존 다양한 방법에 비해 빠르고, 편리하며 간단한 다중 카메라 보정에 사용할 수 있으므로 이 방법은 애니메이션, 게임, 스포츠, 재활, 등과 같은 다중 카메라 기반 모션 캡처 사용하는 분야에서 효과적으로 사용할 수 있다.In addition, the proposed multi-camera calibration method can be used for fast, convenient and simple multi-camera calibration compared to various other existing methods in relatively huge or ultra-small calibration space/tracking space, so this method can be used for animation, games, sports, rehabilitation, etc. It can be used effectively in fields that use multiple camera-based motion capture, such as:

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it can include . For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively)처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include computer programs, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and thus stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속하는 것으로 해석되어야만 한다.Therefore, other implementations, other embodiments, and equivalents of the claims should also be construed as falling within the scope of the claims described below.

0: 보정 틀 11: 몸체 프레임
12: 에이프런 13: 수준기
14: 구멍 15: 조절발0: Correction frame 11: Body frame
12: Apron 13: Level
14: Hole 15: Control foot

Claims

X, Y, Z 축에 미리 고정된 복수의 마커를 포함하는 3축 보정 틀;
3축 보정 틀을 단일 보정 객체로서 이미지를 촬영하기 위한 n개의 카메라 - 여기서 n은 2 보다 큰 정수 - ;
상기 n개의 카메라로부터 이미지를 수신하고 수신된 이미지를 이용하여 카메라 보정 프로세스를 수행하는 연산부를 포함하고,
상기 카메라 보정 프로세스는, 다중 카메라 시스템의 가용 가시 볼륨 내에서 보정 볼륨/추적 볼륨의 크기를 쉽고 빠르게 조정할 수 있도록, 적응형 증강 프로세스를 포함하되, 상기 적응형 증강 프로세스는 가능한 한 동적 보정 프로세스를 시뮬레이션하기 위해 각 카메라에서 수신된 3차원 보정객체의 단일 영상의 기하학적 변환의 매개변수를 사용하고, 상기 기하학적 변환은 보정객체의 형태를 최대한 보존하기 위해 영상 이동(translation), 회전(rotation), 스케일링(scaling) 및 이들의 다양한 조합을 포함하고,
상기 적응형 증강 프로세스는 기하학적 변환의 결과로 보정객체 데이터의 일부 또는 전체가 손실된 다중 카메라 시스템의 증강된 프레임 세트를 제거하는 위해, 다중 카메라 시스템의 해상도를 고려해서 특정 임계치 값을 사용하여 모든 증강된 영상을 필터링하는 임계치 기반 필터링하는 프로세스를 더 포함하고,
상기 연산부는 n개의 카메라로부터 이미지를 수신하고 수신된 이미지에 대한 전처리 프로세스를 수행하고,
상기 전처리 프로세스는 수신된 이미지를 그레이스케일 이미지로 변환하는 동작; 획득된 그레이스케일 이미지를 필터링하고 이진화(binarization)하는 동작; 각 이미지에서 각 보정객체의 경계를 감지하는 동작; 및 획득된 각 보정객체의 경계 정보를 이용하여 감지된 각 보정객체의 중심(centroid)을 계산하는 동작을 포함하고,
보정객체의 중심(centroid)을 계산하는 동작 이후,
3차원 보정객체에 부착된 마커 중심의 데이터 라벨링을 수행하고 프레임 대 프레임 알고리즘을 사용하여 이전 프레임의 보정객체와 현재 프레임의 보정객체의 유클리드 거리(Euclidean distance)에 기반하여 비교하여 매칭시키는 동작,
각 카메라에서 획득된 단일 영상에서 얻어진 보정객체에 붙여있는 매칭된 마커 중심의 데이터 및 DLT 알고리즘을 이용하여 다중 카메라의 초기 카메라 행렬(camera matrix)을 계산하는 동작,
획득한 다중 카메라 행렬을 분해하여 각 카메라의 내부 및 외부 파라미터를 계산하는 동작,
매칭된 마커 중심의 다중 카메라 2D 데이터, 각 카메라의 초기 카메라 파라미터 및 다중 카메라 삼각 측량(triangulation)을 이용하여 각 마커 중심의 초기 3차원 데이터를 3D 재구성하는 동작을 더 포함하고,
상기 카메라 보정 프로세스는 다중 카메라 파라미터 및 설정된 보정 볼륨 내에서 보정객체의 동적 움직임을 시뮬레이션하기 위해 사용했던 증강 데이터를 사용하여 보정객체에 부착된 가능한 모든 고유한 마커 센터 쌍 사이의 거리를 3D 재구성하는 동작을 더 포함하고,
각 카메라에서 획득한 3차원 보정객체의 단일 영상을 이용한 정적 보정(static calibration)의 오차; 및 다중 카메라의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 증강된 데이터를 이용한 보정의 오차의 조합으로 구성된 하이브리드 목적함수를 계산하는 동작을 더 포함하고,
정적 보정 오차는 3차원 보정객체에 부착된 마커 중심의 원래 알려진 3D 좌표와 각 카메라에서 얻은 단일 영상 데이터와 다중 카메라 파라미터를 사용하여 마커 중심의 3D 재구성된 3D 좌표 간의 차이인 로 구성되고 - 여기에서 j는 3축 보정객체에 있는 총 마커 개수;
다중 카메라의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 증강된 데이터를 이용한 보정의 오차는 3차원 보정객체에 부착된 가능한 모든 고유 마커 중심 쌍 사이의 실제 거리 및 적응형 증강 방법을 사용하여 얻었던 증강된 데이터 및 다중 카메라 파라미터를 사용하여 3D 재구성된 가능한 모든 고유 마커 중심 쌍 사이의 거리의 차이인 로 구성되고 - 여기서 m은, 다중 카메라 시스템의 적응형 영상 증강 방법을 사용하여 얻어진 다중 카메라 시스템의 원하는 추적 영역 내에서 3차원 보정객체의 움직임을 시뮬레이션한 프레임 세트의 총 개수고, r은 3차원 보정객체에 있는 총 마커 개수 임 - ;이고,
다중 카메라의 보정 파라미터의 최적화를 위한 목적 함수는 상기 정적 보정(static calibration)의 오차와 상기 증강된 데이터를 이용한 보정의 오차의 오차의 조합의 최소값인
으로 정의되는 것을 특징으로 하는
3차원 보정객체의 단일 영상을 활용한 적응형 영상 증강 방법 기반의 최적화된 다중 카메라 보정 시스템.A three-axis calibration frame including a plurality of markers pre-fixed on the X, Y, and Z axes;
n cameras to capture images with a 3-axis correction frame as a single correction object - where n is an integer greater than 2 - ;
Comprising a calculation unit that receives images from the n cameras and performs a camera correction process using the received images,
The camera calibration process includes an adaptive augmentation process to easily and quickly adjust the size of the calibration/tracking volume within the available visible volume of a multi-camera system, wherein the adaptive augmentation process simulates a dynamic calibration process as much as possible. To do this, the parameters of the geometric transformation of the single image of the 3D correction object received from each camera are used, and the geometric transformation involves image translation, rotation, and scaling ( scaling) and various combinations thereof,
The adaptive augmentation process takes into account the resolution of the multi-camera system and uses a specific threshold value to remove all augmented frames from a multi-camera system in which some or all of the correction object data is lost as a result of geometric transformation. It further includes a threshold-based filtering process for filtering the image,
The calculation unit receives images from n cameras and performs a pre-processing process on the received images,
The pre-processing process includes converting the received image into a grayscale image; Filtering and binarizing the acquired grayscale image; An operation to detect the boundary of each correction object in each image; And an operation of calculating the centroid of each detected correction object using the obtained boundary information of each correction object,
After calculating the centroid of the correction object,
An operation to perform marker-centered data labeling attached to a 3D correction object and use a frame-to-frame algorithm to compare and match the correction object of the previous frame and the correction object of the current frame based on the Euclidean distance,
An operation to calculate the initial camera matrix of multiple cameras using the matched marker-centered data attached to the correction object obtained from a single image acquired from each camera and the DLT algorithm,
An operation to calculate the internal and external parameters of each camera by decomposing the obtained multi-camera matrix;
Further comprising the operation of 3D reconstructing the initial 3D data centered on each marker using the matched marker-centered multi-camera 2D data, the initial camera parameters of each camera, and multi-camera triangulation,
The camera calibration process operates to 3D reconstruct the distances between all possible unique pairs of marker centers attached to a calibration object using multiple camera parameters and augmented data used to simulate the dynamic movement of the calibration object within a set calibration volume. It further includes,
Error in static calibration using a single image of a 3D calibration object acquired from each camera; and calculating a hybrid objective function composed of a combination of correction errors using augmented data simulating the movement of a three-dimensional correction object within a desired tracking area of multiple cameras,
Static calibration error is the difference between the original known 3D coordinates of the center of a marker attached to a 3D calibration object and the 3D reconstructed 3D coordinates of the marker center using single image data obtained from each camera and multiple camera parameters. It consists of - where j is the total number of markers in the 3-axis correction object;
The error of calibration using augmented data simulating the movement of a 3D calibration object within the desired tracking area of multiple cameras is calculated using the actual distance between all possible unique marker centroid pairs attached to the 3D calibration object and an adaptive augmentation method. is the difference between the distances between all possible unique marker centroid pairs reconstructed in 3D using the augmented data and multiple camera parameters obtained by It consists of - where m is the total number of framesets simulating the movement of the three-dimensional correction object within the desired tracking area of the multi-camera system obtained using the adaptive image augmentation method of the multi-camera system, and r is the three-dimensional The total number of markers in the correction object is - ;,
The objective function for optimizing the calibration parameters of multiple cameras is the minimum value of the combination of the error of the static calibration and the error of the calibration using the augmented data.
Characterized by being defined as
An optimized multi-camera correction system based on an adaptive image augmentation method using a single image of a 3D correction object.

삭제delete