KR102621435B1 - Multi-stereo camera calibration method and system using laser light - Google Patents
Multi-stereo camera calibration method and system using laser light Download PDFInfo
- Publication number
- KR102621435B1 KR102621435B1 KR1020220085849A KR20220085849A KR102621435B1 KR 102621435 B1 KR102621435 B1 KR 102621435B1 KR 1020220085849 A KR1020220085849 A KR 1020220085849A KR 20220085849 A KR20220085849 A KR 20220085849A KR 102621435 B1 KR102621435 B1 KR 102621435B1
- Authority
- KR
- South Korea
- Prior art keywords
- laser light
- stereo camera
- stereo
- calibration
- laser
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000001678 irradiating effect Effects 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 5
- 238000004148 unit process Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000007667 floating Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법 및 시스템이 개시된다. 본 발명의 일측면에 따른 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템은, 둘 이상의 스테레오 카메라; 측정대상이 되는 3차원 공간에 레이저 광을 조사하는 레이저 장치; 및 스테레오 카메라에 의한 각각의 영상에서 탐색된 레이저 광에 의한 반사광에 대한 정보를 이용하여 각각의 상관관계에 상응하는 카메라외부라미터를 계산함으로써 캘리브레이션을 처리하는 메인처리장치를 포함한다.A method and system for calibrating multiple stereo cameras using laser light are disclosed. A multi-stereo camera calibration system using laser light according to one aspect of the present invention includes two or more stereo cameras; A laser device that irradiates laser light into a three-dimensional space that is a measurement target; and a main processing unit that processes calibration by calculating camera external parameters corresponding to each correlation using information about reflected light from the laser light found in each image by the stereo camera.
Description
본 발명은 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법 및 시스템에 관한 것이다.The present invention relates to a multi-stereo camera calibration method and system using laser light.
넓은 스포츠 경기장에서 공과 같이 일정한 속도 이상으로 움직이는 물체의 3차원 공간좌표 계산을 목표로 하는 다중 스테레오 카메라 기법에서는 캘리브레이션이 중요하다.Calibration is important in multi-stereo camera techniques that aim to calculate the 3D spatial coordinates of objects moving at a certain speed, such as a ball, in a large sports stadium.
구기종목에서 공중에서 날아다니는 공의 3차원 궤적 혹은 좌표계산을 위한 종래의 캘리브레이션 방식으는, 경기장 내의 3차원 구조물의 특정 위치를 두 개 이상의 카메라에서 촬영하고, 5x5 혹은 15x20의 격자로 된 일정한 크기(50cm 이상)의 정사각형 캘리브레이션 판을 만들어 각각의 비디오 카메라서 찍은 사진으로 캘리브레이션을 구한다. 또는, 두 개 이상의 스테레오 카메라로 캘리브레이션을 수행하고자 할 때 기존의 방법에서는 카메라로 촬영하고자 하는 공간 내부에서 공을 던지고 이때 싱크가 된 두 개 이상의 초고속 스테레오 카메라로 촬영하여 카메라간의 외부파라미터를 계산한다. The conventional calibration method for calculating the 3D trajectory or coordinates of a ball flying in the air in a ball game is to photograph the specific location of the 3D structure within the stadium with two or more cameras, and measure the 3D trajectory of a ball flying in the air in a ball game with a certain size of a grid of 5x5 or 15x20. Create a square calibration plate (50 cm or more) and obtain calibration using photos taken from each video camera. Alternatively, when you want to perform calibration with two or more stereo cameras, the existing method involves throwing a ball inside the space you want to capture with a camera and then capturing it with two or more synchronized high-speed stereo cameras to calculate external parameters between the cameras.
즉, 다중 스테레오 카메라 캘리브레이션을 위해서는 특정한 순간에 특정한 물체가 임의의 공간에 위치하고 있는 그 순간 각 해당 카메라로 촬영한 영상으로부터 그 물체의 해당 카메라 좌표를 정확히 계산해야 통상적인 스테레오카메라 캘리브레이션 방법을 통해 각 카메라간의 거리 및 회전각도 정보와 같은 외부파라미터를 산출할 수 있다. 기존의 방법에서는 이러한 캘리브레이션을 위해 측정하고자 하는 3차원 공간 내부에서 공을 던져서 그 공의 영상을 서로 싱크가된 초고속 혹은 고속 카메라로 영상을 촬영하여 해당 카메라좌표계에서 공의 위치를 측정하였다. 하지만 이때 공과 같은 물체가 3차원 공간 내부에서 지나가야 하는데 특수한 상황에서는 물리적인 물체가 3차원 공간상으로 지나가거나 날아가는 것이 어려울 수가 있다.In other words, in order to calibrate multiple stereo cameras, the corresponding camera coordinates of a specific object must be accurately calculated from the images taken by each camera at the moment when a specific object is located in a random space, and each camera can be calibrated using a typical stereo camera calibration method. External parameters such as distance and rotation angle information can be calculated. In the existing method, for this calibration, a ball is thrown inside the three-dimensional space to be measured, images of the ball are captured by high-speed or high-speed cameras that are synchronized with each other, and the position of the ball is measured in the camera coordinate system. However, at this time, an object such as a ball must pass within 3D space, but in special situations, it may be difficult for a physical object to pass or fly in 3D space.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 물리적인 물체를 던지지 않고서도 보다 정확한 캘리브레이션을 수행할 수 있는 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법을 제공하기 위한 것이다. The present invention was developed to solve the above-mentioned problems and is intended to provide a multi-stereo camera calibration method using laser light that can perform more accurate calibration without throwing a physical object.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become clearer through the preferred embodiments described below.
본 발명의 일 측면에 따르면, 둘 이상의 스테레오 카메라; 측정대상이 되는 3차원 공간에 레이저 광을 조사하는 레이저 장치; 및 상기 스테레오 카메라에 의한 각각의 영상에서 탐색된 상기 레이저 광에 의한 반사광에 대한 정보를 이용하여 각각의 상관관계에 상응하는 카메라외부파라미터를 계산함으로써 캘리브레이션을 처리하는 메인처리장치를 포함하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템이 제공된다.According to one aspect of the invention, two or more stereo cameras; A laser device that irradiates laser light into a three-dimensional space that is a measurement object; And a main processing unit that processes calibration by calculating camera external parameters corresponding to each correlation using information about reflected light by the laser light found in each image by the stereo camera, laser light, A multi-stereo camera calibration system using is provided.
여기서, 상기 레이저 장치는 시간에 따라 상기 반사광의 위치 또는 회전각도가 특정한 패턴으로 변하도록 레이저 광을 조사할 수 있다.Here, the laser device may irradiate laser light so that the position or rotation angle of the reflected light changes in a specific pattern over time.
또한, 상기 레이저 장치는 상기 스테레오 카메라의 개수에 따라 상기 패턴의 종류와 개수를 달리 적용할 수 있다.Additionally, the laser device may apply different types and numbers of patterns depending on the number of stereo cameras.
또한, 상기 레이저 장치는 시차를 두고 서로 다른 색상의 레이저 광을 조사할 수 있다.Additionally, the laser device can irradiate laser light of different colors at different times.
또한, 상기 스테레오 카메라의 렌즈 앞단에는 상기 레이저 광의 주파수에 상응하는 간섭필터가 구비될 수 있다.Additionally, an interference filter corresponding to the frequency of the laser light may be provided in front of the lens of the stereo camera.
본 발명의 다른 측면에 따르면, 둘 이상의 스테레오 카메라가 촬영하는 3차원 공간에 레이저 광을 조사하는 단계; 상기 스테레오 카메라에 의한 각각의 영상에서 상기 레이저 광에 의한 반사광을 탐색하는 단계; 및 상기 반사광에 대한 정보를 이용하여 각각의 상관관계에 상응하는 카메라외부파라미터를 계산함으로써 캘리브레이션을 처리하는 단계를 포함하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법이 제공된다.According to another aspect of the present invention, irradiating laser light to a three-dimensional space captured by two or more stereo cameras; searching for reflected light by the laser light in each image by the stereo camera; and processing calibration by calculating camera external parameters corresponding to each correlation using information about the reflected light. A multi-stereo camera calibration method using laser light is provided.
여기서, 시간에 따라 상기 반사광의 위치 또는 회전각도가 하나 이상의 특정한 패턴으로 변하도록 하거나, 시차를 두고 서로 다른 색상의 레이저 광을 조사할 수 있다.Here, the position or rotation angle of the reflected light may change into one or more specific patterns over time, or laser light of different colors may be irradiated at different times.
또한, 상기 스테레오 카메라의 개수에 따라 상기 패턴의 종류와 개수를 달리 적용할 수 있다.Additionally, the type and number of patterns can be applied differently depending on the number of stereo cameras.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.
본 발명에 따르면, 조작이 용이하고 유효범위가 넓은 레이저를 이용함으로써 보다 정확하고 넓은 범위에서 다중 스테레오 카메라의 캘리브레이션을 수행할 수 있다.According to the present invention, calibration of multiple stereo cameras can be performed more accurately and over a wider range by using a laser that is easy to operate and has a wide effective range.
도 1은 본 발명의 일 실시예에 따른 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템을 개략적으로 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 과정을 도시한 흐름도.
도 3, 도 5 내지 도 6은 본 발명의 각 실시예에 따른 다중 스테레오 카메라의 캘리브레이션을 위해 야구장의 풍선으로 레이저광을 조사하는 방식을 도시한 예시도들.
도 4는 본 발명의 일 실시예에 따른 3대의 스테레오 카메라에서 촬영된 반사광을\ 도시한 예시도.1 is a schematic configuration diagram of a multi-stereo camera calibration system using laser light according to an embodiment of the present invention.
Figure 2 is a flowchart showing a multi-stereo camera calibration process using laser light according to an embodiment of the present invention.
Figures 3, 5 and 6 are exemplary diagrams showing a method of irradiating laser light to balloons in a baseball field for calibration of multiple stereo cameras according to each embodiment of the present invention.
Figure 4 is an example diagram showing reflected light captured by three stereo cameras according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, terms such as first threshold and second threshold, which will be described later, may be pre-designated as thresholds that are substantially different or partially the same, but may cause confusion when expressed with the same word, threshold. Since there is room, for convenience of classification, terms such as first and second will be used together.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to indicate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to each drawing are not limited to the corresponding embodiments, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and may also be included in separate embodiments. Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as a single integrated embodiment.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, when describing with reference to the accompanying drawings, identical or related reference numbers will be assigned to identical or related elements regardless of the drawing symbols, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.
도 1은 본 발명의 일 실시예에 따른 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템을 개략적으로 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 과정을 도시한 흐름도이다.Figure 1 is a diagram schematically showing a multi-stereo camera calibration system using laser light according to an embodiment of the present invention, and Figure 2 is a diagram schematically showing a multi-stereo camera calibration process using laser light according to an embodiment of the present invention. This is a flow chart.
도 1을 참조하면, 본 실시예에 따른 캘리브레이션 시스템은 복수개의 스테레오 카메라(10-1, ..., 10-n, 이하 10으로 통칭), 레이저 장치(20) 및 메인처리장치(30)를 포함한다.Referring to FIG. 1, the calibration system according to this embodiment includes a plurality of stereo cameras (10-1, ..., 10-n, hereinafter collectively referred to as 10), a laser device 20, and a main processing unit 30. Includes.
스테레오 카메라(10)는 입체 화상을 기록하기 위한 카메라로서, 두 눈의 시차로 거리와 입체를 지각하는 육안의 원리를 이용한 것이다. 이는 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다. The stereo camera 10 is a camera for recording three-dimensional images, and uses the principle of the human eye to perceive distance and three-dimensionality through the parallax of the two eyes. This will be obvious to those skilled in the art, so further detailed description will be omitted.
레이저 장치(20)는 측정대상이 되는 3차원 공간에 레이저 광을 조사한다. 예를 들어, 측정대상이 되는 3차원 공간이 야구장인 경우, 야구장에 떠있는 풍선과 같은 특정 객체 또는 야구장 바닥 등에 레이저 광을 조사한다. The laser device 20 radiates laser light to the three-dimensional space that is the measurement target. For example, if the three-dimensional space to be measured is a baseball field, laser light is irradiated to a specific object such as a balloon floating in the baseball field or to the baseball field floor.
메인처리장치(30)는 각 스테레오 카메라(10)에 의한 각각의 영상에서 탐색된 레이저 광에 의한 반사광에 대한 정보를 이용하여 각각의 상관관계에 상응하는 카메라외부파라미터를 계산함으로써 캘리브레이션을 처리한다. The main processing unit 30 processes calibration by calculating camera external parameters corresponding to each correlation using information about reflected light by laser light found in each image by each stereo camera 10.
실 세계는 3차원으로 이루어져있지만 이를 카메라로 촬영하게 되면 2차원 이미지로 투영된다. 이 때 실제 3차원 위치 좌표는 이미지 상에서 어디에 위치하는지 기하학적으로 계산할 때 영상을 찍을 당시의 카메라 위치 및 방향에 의해 결정된다. 하지만 실제 이미지는 사용된 렌즈, 대상과의 거리 등의 내부 요인에 영향을 받기 때문에 3차원 위치 좌표는 영상에 투영된 위치를 구하거나 역으로 영상 좌표로부터 3차원 공간좌표를 복원할 때 이러한 내부 요인을 제거해야 정확한 계산이 가능해진다. 이러한 내부 요인의 파라미터 값을 구하는 과정을 카메라 캘리브레이션이라고 한다. The real world is three-dimensional, but when photographed with a camera, it is projected as a two-dimensional image. At this time, the actual 3D position coordinates are determined by the camera position and direction at the time of taking the image when geometrically calculating where it is located on the image. However, since the actual image is affected by internal factors such as the lens used and the distance to the object, 3D position coordinates must be taken into account when calculating the position projected on the image or conversely restoring 3D space coordinates from image coordinates. must be removed to enable accurate calculations. The process of obtaining the parameter values of these internal factors is called camera calibration.
즉, 메인처리장치(30)는 각 스테레오 카메라(10)에서 촬영된 레이저 광에 의한 반사광에 대한 정보를 이용하여 카메라외부파라미터를 계산하는 것이다. That is, the main processing unit 30 calculates camera external parameters using information about reflected light from laser light captured by each stereo camera 10.
여기서, 일례에 따르면 레이저 장치(20)는 사람에 의해 조작되는 레이저포인터일 수 있으며, 이때에는 사람이 원하는 곳(예를 들어, 야구장 허공에 떠있는 풍선 등)에 레이저를 조사하는 형태로 진행될 수 있다. 다른 일례에 따르면, 레이저 장치(20)는 메인처리장치(30)의 제어하에 특정한 위치에 레이저를 조사하는 시스템으로 구현될 수 있다. 다시 말해 메인처리장치(30)는 스테레오 카메라(10)에 의해 촬영되는 영상을 지속적으로 분석하여, 레이저 장치(20)의 레이저 조사 방향을 제어한다. 예를 들어, 제1 스테레오 카메라(10-1)에 의한 제1영상에서 특정한 물체(예를 들어, 풍선 또는 전광판 등)를 식별하고, 해당 물체를 촬영하는 제1영상에서 레이저 장치(20)에 의한 반사광이 확인될 때까지 레이저 장치(20)를 제어한다.Here, according to one example, the laser device 20 may be a laser pointer operated by a person, and in this case, the laser may be irradiated to a place desired by the person (for example, a balloon floating in the air at a baseball stadium, etc.). there is. According to another example, the laser device 20 may be implemented as a system that irradiates a laser to a specific location under the control of the main processing unit 30. In other words, the main processing unit 30 continuously analyzes the images captured by the stereo camera 10 and controls the laser irradiation direction of the laser device 20. For example, a specific object (for example, a balloon or an electronic signboard, etc.) is identified in the first image by the first stereo camera 10-1, and the laser device 20 is used in the first image for photographing the object. The laser device 20 is controlled until the reflected light is confirmed.
이러한 캘리브레이션 시스템에서의 처리 과정을 도시한 도 2를 참조하면, 3차원 공간에 레이저 광을 조사하고(S210), 각 스테레오 카메라(10)에 의한 각각의 영상에서 반사광을 탐색하여 관련정보(좌표 등)를 도출한다(S220).Referring to FIG. 2 illustrating the processing process in this calibration system, laser light is irradiated in a three-dimensional space (S210), reflected light is searched for in each image by each stereo camera 10, and related information (coordinates, etc.) is obtained. ) is derived (S220).
도출된 반사광에 대한 관련정보를 이용하여 각각의 상관관계에 상응하는 카메라외부파라미터를 계산함으로써 캘리브레이션을 처리한다(S230).Calibration is processed by calculating camera external parameters corresponding to each correlation using the related information on the derived reflected light (S230).
여기서, 레이저 장치(20)는 고정된 위치에 레이저를 조사할 수도 있으나, 시간에 따라 반사광의 위치 또는 회전각도(점이 아닌 면을 갖는 경우 회전시키는 것임)가 특정한 패턴으로 변하도록 레이저 광을 조사할 수도 있다. 예를 들어, 1초마다 한번 원을 그리도록 반사광의 위치가 변경되도록 하거나 2초에 한번 360도 회전되도록 제어한다. 이는 도면(3 내지 6)을 참조하여 후술하기로 한다.Here, the laser device 20 may irradiate the laser at a fixed position, but may irradiate the laser light so that the position or rotation angle of the reflected light (if it has a surface rather than a point, it rotates) changes in a specific pattern over time. It may be possible. For example, the position of the reflected light is changed to draw a circle once every second, or controlled to rotate 360 degrees once every two seconds. This will be described later with reference to drawings 3 to 6.
그리고, 레이저 장치(20)는 스테레오 카메라(10)의 개수에 따라 상술한 패턴의 종류와 개수를 달리 적용할 수 있다. 예를 들어 스테레오 카메라(10)가 2개인 경우, 원을 그리는 하나의 패턴만을 이용하고, 스테레오 카메라(10)가 3개인 경우에는 일정거리를 직선으로 왕복하는 패턴과, 삼각형 및 사각형을 그리는 각가의 패턴을 포함하여 총 3가지 패턴을 이용한다. Additionally, the laser device 20 may apply different types and numbers of the above-described patterns depending on the number of stereo cameras 10. For example, if there are two stereo cameras 10, only one pattern drawing a circle is used, and if there are three stereo cameras 10, a pattern that travels a certain distance in a straight line and each pattern drawing triangles and squares are used. A total of 3 patterns are used, including the pattern.
또한, 도면에는 도시되지 않았으나, 스테레오 카메라(10)의 렌즈 앞단에는 레이저 광의 주파수에 상응하는 간섭필터(interference filter)가 구비될 수 있다. 측정대상이 되는 3차원 공간(예로 운동장)에 조사하는 광원과 유사한 밝기의 물체가 있을 시 반사광과 구분하기 위해서 카메라 렌즈 앞에 레이저 장치(20)의 주파수에 해당되는 간섭필터를 장착하면 쉽게 구분이 가능하게 된다. Additionally, although not shown in the drawing, an interference filter corresponding to the frequency of the laser light may be provided in front of the lens of the stereo camera 10. If there is an object with a brightness similar to the irradiating light source in the three-dimensional space (e.g., playground) that is the target of measurement, the object can be easily distinguished by installing an interference filter corresponding to the frequency of the laser device 20 in front of the camera lens to distinguish it from the reflected light. I do it.
도 3, 도 5 내지 도 6은 본 발명의 각 실시예에 따른 다중 스테레오 카메라(10)의 캘리브레이션을 위해 야구장의 풍선으로 레이저광을 조사하는 방식을 도시한 예시도들이고, 도 4는 본 발명의 일 실시예에 따른 3대의 스테레오 카메라(10)에서 촬영된 반사광을 도시한 예시도이다.Figures 3, 5 and 6 are exemplary diagrams showing a method of irradiating laser light to a balloon in a baseball field for calibration of the multiple stereo cameras 10 according to each embodiment of the present invention, and Figure 4 is an example of the present invention. This is an example diagram showing reflected light captured by three stereo cameras 10 according to an embodiment.
도 3을 참조하면, 스테레오 카메라1~3을 캘리브레이션 하기 위하여 야구장 내에서 풍선과 같은 공중에 떠 있는 물체의 임의의 위치에 레이저 광을 조사하고 반사광을 카메라 1~3의 영상에서 측정/계산하면 카메라간의 상관관계를 알려주는 카메라외부파라미터를 계산할 수 있다. Referring to FIG. 3, in order to calibrate stereo cameras 1 to 3, laser light is irradiated to a random location on an object floating in the air, such as a balloon, within a baseball stadium, and the reflected light is measured/calculated from the images of cameras 1 to 3, and the camera Camera external parameters that indicate the correlation between cameras can be calculated.
도 4를 참조하면, 각 카메라에 촬영된 풍선위에 비친 반사광을 확인할 수 있다.Referring to Figure 4, the reflected light reflected on the balloon captured by each camera can be confirmed.
그리고, 풍선을 옮기면서 레이저 광을 조사함으로써, 반사광의 위치를 변경하면서 각 스테레오 카메라(10)에서 반사광의 위치를 계산하면 좌표간의 대칭문제(correspondence problem)를 해결할 수 있다. Also, by irradiating laser light while moving the balloon and changing the position of the reflected light while calculating the position of the reflected light in each stereo camera 10, the correspondence problem between coordinates can be solved.
또는 도 5와 같이 시간에 따라 변하는 패턴의 형태(3-4-5-6-3-4-5-6-...과 같이)로 레이저 광을 조사하고, 그에 따른 위치값을 측정하여 계산함으로써 싱크위치를 더욱 정확하게 계산할 수 있다.Alternatively, as shown in Figure 5, laser light is irradiated in a pattern that changes with time (such as 3-4-5-6-3-4-5-6-...), and the position value is measured and calculated accordingly. By doing this, the sink position can be calculated more accurately.
또는, 도 6과 같이 점으로 보이는 반사광 대신 면을 갖는 밝은 광원으로 구성되되 조사하는 시차에 따라 상대적으로 회전각도로 구분할 수 있는 패턴 혹은 2개 이상의 색상으로 구분될 수 있는 형태를 조사하여 보다 정확한 싱크위치를 계산할 수 있다. Alternatively, as shown in Figure 6, it is composed of a bright light source that has a surface instead of reflected light that appears as a dot, but irradiates a pattern that can be distinguished by a relative rotation angle or a shape that can be distinguished by two or more colors depending on the parallax of irradiation for more accurate synchronization. The location can be calculated.
상술한 본 발명에 따른 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다. A computer program stored in a computer-readable medium may be provided to perform the multi-stereo camera calibration method using laser light according to the present invention described above.
또한, 상술한 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. Additionally, the above-described multi-stereo camera calibration method using laser light can be implemented as computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording media storing data that can be deciphered by a computer system. For example, there may be Read Only Memory (ROM), Random Access Memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc. Additionally, the computer-readable recording medium can be distributed to computer systems connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the present invention has been described above with reference to preferred embodiments, those skilled in the art will understand the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be modified and changed in various ways.
10 : 스테레오 카메라
20 : 레이저 장치
30 : 메인처리장치10: Stereo Camera
20: laser device
30: main processing device
Claims (8)
측정대상이 되는 3차원 공간에 특정한 패턴의 레이저 광을 조사하는 레이저 장치; 및
상기 스테레오 카메라에 의한 각각의 영상에서 탐색된 상기 레이저 광 패턴에 의한 반사광에 대한 정보를 이용하여 각각의 상관관계에 상응하는 카메라외부파라미터를 계산함으로써 캘리브레이션을 처리하는 메인처리장치;
를 포함하되,
상기 영상은 상기 스테레오 카메라 각각에서 촬영된 2차원 이미지에 상응하고,
상기 메인처리장치는 상기 2차원 이미지에 투영된 상기 반사광의 위치를 이용하여 상기 캘리브레이션을 처리하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템.
Two or more stereo cameras;
A laser device that irradiates a specific pattern of laser light into a three-dimensional space to be measured; and
a main processing unit that processes calibration by calculating camera external parameters corresponding to each correlation using information about reflected light by the laser light pattern found in each image by the stereo camera;
Including,
The image corresponds to a two-dimensional image captured by each of the stereo cameras,
A multi-stereo camera calibration system using laser light, wherein the main processing unit processes the calibration using the position of the reflected light projected on the two-dimensional image.
상기 레이저 장치는,
시간에 따라 상기 반사광의 위치 또는 회전각도가 특정한 패턴으로 변하도록 레이저 광을 조사하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템.
According to paragraph 1,
The laser device,
A multi-stereo camera calibration system using laser light that irradiates laser light so that the position or rotation angle of the reflected light changes in a specific pattern over time.
상기 레이저 장치는,
상기 스테레오 카메라의 개수에 따라 상기 패턴의 종류와 개수를 달리 적용하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템.
According to paragraph 2,
The laser device,
A multi-stereo camera calibration system using laser light that applies different types and numbers of the patterns depending on the number of stereo cameras.
상기 레이저 장치는,
시차를 두고 서로 다른 색상의 레이저 광을 조사하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템.
According to paragraph 1,
The laser device,
A multi-stereo camera calibration system using laser light that irradiates laser light of different colors at different times.
상기 스테레오 카메라의 렌즈 앞단에는 상기 레이저 광의 주파수에 상응하는 간섭필터가 구비되는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 시스템.
According to paragraph 1,
A multi-stereo camera calibration system using laser light, wherein an interference filter corresponding to the frequency of the laser light is provided at the front end of the lens of the stereo camera.
상기 스테레오 카메라에 의한 각각의 영상에서 상기 레이저 광 패턴에 의한 반사광을 탐색하는 단계; 및
상기 반사광에 대한 정보를 이용하여 각각의 상관관계에 상응하는 카메라외부파라미터를 계산함으로써 캘리브레이션을 처리하는 단계;
를 포함하되,
상기 영상은 상기 스테레오 카메라 각각에서 촬영된 2차원 이미지에 상응하고,
상기 캘리브레이션을 처리하는 단계는,
상기 2차원 이미지에 투영된 상기 반사광의 위치를 이용하여 상기 캘리브레이션을 처리하는 단계를 포함하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법.
Irradiating a specific pattern of laser light to a three-dimensional space captured by two or more stereo cameras;
searching for reflected light by the laser light pattern in each image by the stereo camera; and
Processing calibration by calculating camera external parameters corresponding to each correlation using the information about the reflected light;
Including,
The image corresponds to a two-dimensional image captured by each of the stereo cameras,
The step of processing the calibration is,
A multi-stereo camera calibration method using laser light, comprising processing the calibration using the position of the reflected light projected on the two-dimensional image.
상기 레이저 광을 조사하는 단계는,
시간에 따라 상기 반사광의 위치 또는 회전각도가 하나 이상의 특정한 패턴으로 변하도록 하거나, 시차를 두고 서로 다른 색상의 레이저 광을 조사하는 단계;
를 포함하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법.
According to clause 6,
The step of irradiating the laser light is,
causing the position or rotation angle of the reflected light to change into one or more specific patterns over time, or irradiating laser light of different colors at different times;
A multi-stereo camera calibration method using laser light, including.
상기 레이저 광을 조사하는 단계는,
상기 스테레오 카메라의 개수에 따라 상기 패턴의 종류와 개수를 달리 적용하는 단계;
를 포함하는, 레이저광을 이용한 다중 스테레오 카메라 캘리브레이션 방법.In clause 7,
The step of irradiating the laser light is,
applying different types and numbers of the patterns depending on the number of stereo cameras;
A multi-stereo camera calibration method using laser light, including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220085849A KR102621435B1 (en) | 2022-07-12 | 2022-07-12 | Multi-stereo camera calibration method and system using laser light |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220085849A KR102621435B1 (en) | 2022-07-12 | 2022-07-12 | Multi-stereo camera calibration method and system using laser light |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102621435B1 true KR102621435B1 (en) | 2024-01-09 |
Family
ID=89538328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220085849A KR102621435B1 (en) | 2022-07-12 | 2022-07-12 | Multi-stereo camera calibration method and system using laser light |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102621435B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090082816A (en) * | 2008-01-28 | 2009-07-31 | 삼성전자주식회사 | Multiple camera calibration method and system by using parallel laser beam |
| KR20150089678A (en) * | 2014-01-28 | 2015-08-05 | 엘지이노텍 주식회사 | calibaraton device and camera system |
| KR20170138867A (en) * | 2016-06-08 | 2017-12-18 | 삼성에스디에스 주식회사 | Method and apparatus for camera calibration using light source |
| JP2018189637A (en) * | 2017-05-01 | 2018-11-29 | パナソニックＩｐマネジメント株式会社 | Camera parameter calculation method, camera parameter calculation program, camera parameter calculation device, and camera parameter calculation system |
| KR102416523B1 (en) | 2020-12-15 | 2022-07-05 | 광운대학교 산학협력단 | A 3D skeleton generation method using calibration based on joints acquired from multi-view camera |
-
2022
- 2022-07-12 KR KR1020220085849A patent/KR102621435B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090082816A (en) * | 2008-01-28 | 2009-07-31 | 삼성전자주식회사 | Multiple camera calibration method and system by using parallel laser beam |
| KR20150089678A (en) * | 2014-01-28 | 2015-08-05 | 엘지이노텍 주식회사 | calibaraton device and camera system |
| KR20170138867A (en) * | 2016-06-08 | 2017-12-18 | 삼성에스디에스 주식회사 | Method and apparatus for camera calibration using light source |
| JP2018189637A (en) * | 2017-05-01 | 2018-11-29 | パナソニックＩｐマネジメント株式会社 | Camera parameter calculation method, camera parameter calculation program, camera parameter calculation device, and camera parameter calculation system |
| KR102416523B1 (en) | 2020-12-15 | 2022-07-05 | 광운대학교 산학협력단 | A 3D skeleton generation method using calibration based on joints acquired from multi-view camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7292315B2 (en) | Distance measurement using high density projection pattern | |
| CN102572505B (en) | System and method for calibrating a depth imaging sensor | |
| JP2008537190A (en) | Generation of three-dimensional image of object by irradiating with infrared pattern | |
| JPWO2006013635A1 (en) | Three-dimensional shape measuring method and apparatus | |
| CN106530358A (en) | Method for calibrating PTZ camera by using only two scene images | |
| TW201520975A (en) | Method and apparatus for generating depth map of a scene | |
| JP2018518750A (en) | Enhancement of depth map representation by reflection map representation | |
| ES2626301T3 (en) | Procedure and image processing equipment to determine the parameters of a camera | |
| EP3382645A2 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| KR20180002408A (en) | Method, system and non-transitory computer-readable recording medium for measuring ball spin | |
| CN103593641B (en) | Object detecting method and device based on stereo camera | |
| US20110187827A1 (en) | Method and apparatus for creating a stereoscopic image | |
| CN208860358U (en) | A kind of hypervelocity flight model pose measure of the change device | |
| CN104424640A (en) | Method and device for carrying out blurring processing on images | |
| CN113884081B (en) | Method and equipment for measuring three-dimensional coordinates of positioning point | |
| CN112184793B (en) | Depth data processing method and device and readable storage medium | |
| CN111179347B (en) | Positioning method, positioning equipment and storage medium based on regional characteristics | |
| JP6614905B2 (en) | Three-dimensional measuring apparatus and control method thereof | |
| CN104166995B (en) | Harris-SIFT binocular vision positioning method based on horse pace measurement | |
| CN108981719A (en) | A kind of hypervelocity flight model pose measure of the change device and method | |
| KR102621435B1 (en) | Multi-stereo camera calibration method and system using laser light | |
| WO2014011179A1 (en) | Defocusing with projection grid including identification features | |
| US20170309033A1 (en) | Motion Evaluation System and Method | |
| KR101019801B1 (en) | Apparatus and method for sensing moving object and virtual golf simulation device using the same | |
| KR102129129B1 (en) | Method, system and non-transitory computer-readable recording medium for measuring ball spin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |