KR20230007034A - Methods and device for lossless correction of fisheye distortion image - Google Patents
Methods and device for lossless correction of fisheye distortion image Download PDFInfo
- Publication number
- KR20230007034A KR20230007034A KR1020210087773A KR20210087773A KR20230007034A KR 20230007034 A KR20230007034 A KR 20230007034A KR 1020210087773 A KR1020210087773 A KR 1020210087773A KR 20210087773 A KR20210087773 A KR 20210087773A KR 20230007034 A KR20230007034 A KR 20230007034A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fisheye
- equation
- lossless
- coordinate values
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 33
- 235000006538 Opuntia tuna Nutrition 0.000 claims abstract description 17
- 244000237189 Opuntia tuna Species 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G06T5/006—
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
Description
본 발명은 이미지 보정 방법 및 장치에 관한 것으로, 더 상세하게는 광각 또는 어안 렌즈로 촬영된 이미지를 손실 없이 보정하는 방법 및 장치에 관한 것이다.The present invention relates to an image correction method and apparatus, and more particularly, to a method and apparatus for correcting an image captured with a wide-angle or fisheye lens without loss.
어안 렌즈(fisheye lens)는 의도적으로 통 모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 되어, 획득된 영상은 필연적으로 심한 왜곡을 가지게 된다.A fisheye lens is a lens that intentionally creates barrel distortion to maintain uniform brightness and sharpness over the entire field of view of 180 degrees or more. is taken very small, and the obtained image inevitably has severe distortion.
따라서 어안 렌즈 또는 광각 렌즈를 이용하여 촬영된 영상은 보정이 필요하게 된다.Accordingly, an image captured using a fisheye lens or a wide-angle lens needs to be corrected.
최근 차량 비전 시스템으로 어안 렌즈를 사용하고 있으며, 어안 렌즈를 사용하여 캡처한 이미지를 기하학적으로 보정하는 것은 차량 비전 시스템에서 매우 중요한 요소이다.Recently, a fisheye lens has been used as a vehicle vision system, and geometrically correcting an image captured using the fisheye lens is a very important factor in the vehicle vision system.
기하학적으로 정확한 이미지는 입력 이미지에서 다양한 물체의 정확한 모양과 신뢰할 수 있는 공간 위치의 추정에 도움을 주며, 이는 차량의 운전자 또는 자율 주행 차량의 의사결정 과정에도 중요한 역할을 한다.Geometrically accurate images help estimate the exact shape and reliable spatial location of various objects in the input image, which also plays a key role in the decision-making process of the vehicle's driver or autonomous vehicle.
등록특허 KR0996897B1에는 광각 렌즈 카메라로 촬영된 영상을 직선 피팅에 의해 보정하는 방법이 기재되어 있다. Registered patent KR0996897B1 describes a method of correcting an image captured by a wide-angle lens camera by straight line fitting.
좀 더 구체적으로, 광각 렌즈로 촬영된 영상 중 실제 공간상에서 직선인 부분이 영상에서 곡선으로 변한 부분을 자동 또는 수동으로 추출하고, 추출된 곡선들을 직선으로 피팅한 후, LM 최적화 알고리즘에 의해 최적화된 왜곡상수를 추출하는 과정을 포함한다.More specifically, among the images taken with a wide-angle lens, a straight part in real space is automatically or manually extracted from a curved part in the image, and after fitting the extracted curves into a straight line, an optimized LM optimization algorithm is performed. It includes the process of extracting the distortion constant.
그러나 이와 같은 종래 이미지 보정 방법은 보정 과정이 복잡할 뿐만 아니라 이미지에서 직접 곡선들을 추출하는 방식을 사용하기 때문에 보정 처리에 많은 시간이 요구된다는 문제점이 있었다.However, such a conventional image correction method has a problem in that a correction process is complicated and a lot of time is required for the correction process because a method of directly extracting curves from an image is used.
본 발명이 해결하고자 하는 기술적 과제는, 어안 렌즈의 왜곡된 이미지를 직선 투영 이미지로 보정 과정을 단순화할 수 있으며, 보정 속도를 향상시킬 수 있는 어안 왜곡 이미지의 무손실 보정 방법 및 장치를 제공함에 있다.A technical problem to be solved by the present invention is to provide a lossless correction method and apparatus for a fisheye distortion image capable of simplifying a correction process of a distorted image of a fisheye lens into a straight projection image and improving a correction speed.
상기와 같은 과제를 해결하기 위한 본 발명의 일측면에 따른 어안 왜곡 이미지의 무손실 보정 방법은, a) 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y방향에 대한 2D 메쉬 그리드 구조를 생성하는 단계와, b) 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계와, c) 상기 하이퍼 매개 변수를 사용하여 상기 2D 메쉬 그리드 포인트에 대한 방위각 및 고도각을 산출하는 단계와, d) 하드 또는 소프트 수직 압축을 고도 각에 적용하는 단계와, e) 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 카메라 모델의 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하는 단계를 포함할 수 있다.A method for lossless correction of a fisheye distorted image according to an aspect of the present invention for solving the above problems is: a) converting each row and column coordinate value of a fisheye image into normalized image coordinate values, and in x and y directions generating a 2D mesh grid structure for the 2D mesh grid point; b) calculating a Panini projection hyperparameter using the parameter (d); c) using the hyperparameter to calculate an azimuth angle and calculating the elevation angle, d) applying hard or soft vertical compression to the elevation angle, e) calculating the Cartesian coordinates, performing LP standard-based normalization on the z-coordinate values, and It may involve projecting Cartesian coordinate values from space to a plane using parameters.
본 발명의 실시예에서, 상기 e) 단계의 투영 결과를 룩업 테이블에 기재하여, 이후 입력되는 어안 이미지의 보정에 사용할 수 있다.In an embodiment of the present invention, the projection result of step e) may be written in a look-up table and used for correction of a fisheye image input thereafter.
본 발명의 실시예에서, 상기 b)단계의 상기 매개 변수(d)는 1.79일 수 있다.In an embodiment of the present invention, the parameter (d) in step b) may be 1.79.
본 발명의 실시예에서, 상기 b)단계는, 아래의 수학식 1을 이용하여 하이퍼 매개 변수를 산출할 수 있다.In an embodiment of the present invention, in step b), a hyper parameter may be calculated using Equation 1 below.
[수학식 1][Equation 1]
φ는 방위각, h는 hv직각좌표계의 좌표, d는 1.79, cos(φ), k, δ는 하이퍼 매개 변수φ is the azimuth, h is the coordinate in the hv Cartesian coordinate system, d is 1.79, cos(φ), k, δ are hyperparameters
본 발명의 실시예에서, 상기 c)단계는, 아래의 수학식 2를 이용하여 방위각 및 고도각을 산출할 수 있다.In an embodiment of the present invention, in step c), the azimuth and elevation angles may be calculated using Equation 2 below.
[수학식 2][Equation 2]
S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표S is the linear projection scale factor for the point, h and v are the hv coordinates in the Cartesian coordinate system
본 발명의 실시예에서, 상기 e)단계는, 아래의 수학식 3을 이용하여 정규화값을 산출할 수 있다.In an embodiment of the present invention, in step e), a normalization value may be calculated using Equation 3 below.
[수학식 3][Equation 3]
norm은 정규화 값, 0.575는 역률 추정치.norm is the normalized value, 0.575 is the power factor estimate.
본 발명의 다른 측면에 따른 보정 장치는, 어안 렌즈를 이용하여 왜곡된 이미지를 촬영하는 카메라와, 상기 카메라에서 촬영된 이미지를 저장하는 메모리와, 상기 메모리에 저장된 이미지를 처리하여, 왜곡을 보정하는 프로세서를 포함하되, 상기 프로세서는, 산출된 파니니 투영 하이퍼 매개 변수를 이용하여 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각을 산출하고, 산출된 고도각을 하드 또는 소프트 수직 압축을 수행한 후, 데카르트 좌표를 계산하여, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 평면으로 데카르트 좌표 값을 투영할 수 있다.A correction device according to another aspect of the present invention includes a camera for taking a distorted image using a fisheye lens, a memory for storing an image captured by the camera, and processing the image stored in the memory to correct the distortion. A processor including a processor, wherein the processor calculates azimuth and elevation angles for points of the 2D mesh grid structure using the calculated Panini projection hyper parameters, performs hard or soft vertical compression on the calculated elevation angles, After calculating the Cartesian coordinates and performing LP standard-based normalization on the z-coordinate values, the Cartesian coordinate values can be projected onto a plane.
본 발명의 실시예에서, 상기 카메라는 차량에 장착되어 외부를 촬영하며, 상기 프로세서는 차량 제어기의 프로세서일 수 있다.In an embodiment of the present invention, the camera is mounted on a vehicle to take pictures of the exterior, and the processor may be a processor of a vehicle controller.
본 발명의 실시예에서, 상기 프로세서는, 상기 데카르트 좌표 값의 투영 결과를 상기 메모리의 룩업 테이블에 기재하여, 이후 상기 카메라에서 촬영된 어안 이미지의 보정에 사용할 수 있다.In an embodiment of the present invention, the processor writes the projection result of the Cartesian coordinate values in the look-up table of the memory, and can then use it to correct the fisheye image captured by the camera.
본 발명의 실시예에서, 상기 프로세서는, 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y 방향에 대한 2D 메쉬 그리드 구조를 생성한 후, 매개 변수를 사용하여 상기 파니니 투영 하이퍼 매개 변수를 산출할 수 있다.In an embodiment of the present invention, the processor converts each row and column coordinate value of the fisheye image into normalized image coordinate values, generates a 2D mesh grid structure for the x and y directions, and then uses parameters to The Panini projection hyperparameters can be calculated.
본 발명의 실시예에서, 상기 매개 변수는, 1.79일 수 있다.In an embodiment of the present invention, the parameter may be 1.79.
본 발명의 실시예에서, 상기 프로세서는, 아래의 수학식 1을 이용하여 상기 파니니 투영 하이퍼 매개 변수를 산출할 수 있다.In an embodiment of the present invention, the processor may calculate the Panini projection hyper parameter using Equation 1 below.
[수학식 1][Equation 1]
φ는 방위각, h는 hv직각좌표계의 좌표, d는 매개 변수로 1.79, cos(φ), k, δ는 하이퍼 매개 변수φ is the azimuth, h is the coordinate of the hv Cartesian coordinate system, d is a parameter 1.79, cos(φ), k, δ are hyperparameters
본 발명의 실시예에서, 상기 프로세서는, 아래의 수학식 2를 이용하여 상기 방위각 및 고도각을 산출할 수 있다.In an embodiment of the present invention, the processor may calculate the azimuth and elevation angles using Equation 2 below.
[수학식 2][Equation 2]
S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표S is the linear projection scale factor for the point, h and v are the hv coordinates in the Cartesian coordinate system
본 발명의 실시예에서, 상기 프로세서는, 아래의 수학식 3을 이용하여 LP 표준 기반 정규화값을 구할 수 있다.In an embodiment of the present invention, the processor may obtain an LP standard-based normalization value using Equation 3 below.
[수학식 3][Equation 3]
norm은 정규화 값, 0.575는 역률 추정치norm is the normalized value, 0.575 is the power factor estimate
본 발명의 실시예에서, 상기 매개 변수는, 상기 카메라의 제조사에서 제공하는 매개 변수일 수 있다.In an embodiment of the present invention, the parameter may be a parameter provided by a manufacturer of the camera.
본 발명의 실시예에서, 상기 매개 변수는, 초첨 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point), 뒤틀림 계수(skew coefficient)를 포함할 수 있다.In an embodiment of the present invention, the parameter may include a focal length, an image sensor format, a principal point, and a skew coefficient.
본 발명은 3차원 좌표를 파니니 투영을 이용하여 2차원 메쉬 구조로 변환하고, 수직 방향의 압축 및 직각좌표계로의 변환을 통해 보정 과정을 단순화하고, 보정에 소요되는 시간을 단축할 수 있는 효과가 있다.The present invention has the effect of converting three-dimensional coordinates into a two-dimensional mesh structure using Panini projection, simplifying the calibration process through vertical compression and conversion to a Cartesian coordinate system, and reducing the time required for calibration. there is.
도 1은 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법의 순서도이다.
도 2에는 카메라 좌표계를 월드 좌표계로 변환하는 개념도이다.
도 3은 입력 이미지인 어안 이미지의 예시도이다.
도 4는 왜곡을 본 발명을 통해 보정한 이미지이다.
도 5는 보행자가 이미지의 중앙에 위치하는 어안 이미지의 예시도이다.
도 6은 도 5의 왜곡을 본 발명을 통해 보정한 이미지이다.1 is a flowchart of a method for lossless correction of a fisheye distortion image according to a preferred embodiment of the present invention.
2 is a conceptual diagram of converting a camera coordinate system into a world coordinate system.
3 is an exemplary view of a fisheye image as an input image.
4 is an image corrected for distortion through the present invention.
5 is an exemplary view of a fisheye image in which a pedestrian is located in the center of the image.
6 is an image obtained by correcting the distortion of FIG. 5 through the present invention.
이하, 본 발명 어안 왜곡 이미지의 무손실 보정 방법에 대하여 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, a method for lossless correction of a fisheye distortion image according to the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 실시 예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.The embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art, and the embodiments described below may be modified in many different forms, and the embodiments of the present invention The scope is not limited to the examples below. Rather, these embodiments are provided so that this invention will be thorough and complete, and will fully convey the spirit of the invention to those skilled in the art.
본 명세서에서 사용된 용어는 특정 실시 예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다. Terms used in this specification are used to describe specific embodiments and are not intended to limit the present invention. As used herein, the singular form may include the plural form unless the context clearly indicates otherwise. Also, when used herein, "comprise" and/or "comprising" specifies the presence of the recited shapes, numbers, steps, operations, elements, elements, and/or groups thereof. and does not exclude the presence or addition of one or more other shapes, numbers, operations, elements, elements and/or groups. As used herein, the term "and/or" includes any one and all combinations of one or more of the listed items.
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되지 않음은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.Although terms such as first and second are used in this specification to describe various members, regions, and/or regions, it is obvious that these members, parts, regions, layers, and/or regions are not limited by these terms. . These terms do not imply any particular order, top or bottom, or superiority or inferiority, and are used only to distinguish one element, region or region from another element, region or region. Thus, a first element, region or region described in detail below may refer to a second element, region or region without departing from the teachings of the present invention.
이하, 본 발명의 실시 예들은 본 발명의 실시 예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시 예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.Hereinafter, embodiments of the present invention will be described with reference to drawings schematically illustrating embodiments of the present invention. In the drawings, variations of the depicted shape may be expected, depending, for example, on manufacturing techniques and/or tolerances. Therefore, the embodiments of the present invention should not be construed as being limited to the specific shape of the region shown in this specification, but should include, for example, a change in shape caused by manufacturing.
또한, 본 발명은 차량의 비전 시스템에 적용되어, 어안 렌즈를 통해 촬영된 이미지를 직각좌표계의 이미지로 변환하는 것으로, 본 발명에서 언급되는 각 단계는 프로세서에서 처리되는 것으로 한다.In addition, the present invention is applied to a vision system of a vehicle to convert an image captured through a fisheye lens into an image of a Cartesian coordinate system, and each step mentioned in the present invention is processed by a processor.
프로세서는 이미지 프로세서일 수 있으며, 처리 과정의 데이터가 저장되는 메모리를 포함할 수 있다.The processor may be an image processor and may include a memory in which data of processing is stored.
도 1은 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법의 순서도이다.1 is a flowchart of a method for lossless correction of a fisheye distortion image according to a preferred embodiment of the present invention.
도 1을 참조하면 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법은, 촬영된 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하는 단계(S11)와, 정규화된 이미지 좌표값에서 X, Y 방향에 대한 2D 메쉬 그리드 구조를 생성하는 단계(S12)와, 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계(S13)와, 상기 하이퍼 매개 변수를 사용하여 각 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각도를 산출하는 단계(S14)와, 하드 또는 소프트 수직 압축을 고도 각에 적용하는 단계(S15)와, 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행하는 단계(S16)와, 카메라 모델의 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하고 룩업 테이블을 생성하는 단계(S17)를 포함한다.Referring to FIG. 1 , a lossless correction method for a fisheye distorted image according to a preferred embodiment of the present invention includes the steps of converting each row and column coordinate value of a captured fisheye image into normalized image coordinate values (S11); Generating a 2D mesh grid structure for the X and Y directions from image coordinate values (S12), calculating Panini projection hyper parameters using the parameter (d) (S13), and calculating the hyper parameters Calculating the azimuth and elevation angles for each point of the 2D mesh grid structure using (S14), applying hard or soft vertical compression to the elevation angle (S15), calculating Cartesian coordinates, and z-coordinate values It includes performing LP standard-based normalization on (S16), projecting Cartesian coordinate values from space to a plane using intrinsic parameters of the camera model, and generating a lookup table (S17).
생성된 룩업 테이블은 새로운 어안 이미지를 다시 매핑할 때 픽셀 좌표 값을 참조하여 사용한다.The created lookup table is used by referring to pixel coordinate values when remapping a new fisheye image.
이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법의 구성과 작용에 대하여 보다 상세히 설명한다.Hereinafter, the configuration and operation of the method for lossless correction of a fisheye distortion image according to a preferred embodiment of the present invention configured as described above will be described in more detail.
먼저, 프로세서에서 S11단계와 같이 촬영된 어안 이미지의 각 행 및 열 좌표 값을 정규화된(nomalized) 이미지 좌표 값으로 변환한다.First, the processor converts each row and column coordinate value of the captured fisheye image into normalized image coordinate values as in step S11.
이때, 프로세서는 카메라의 고유 매개 변수(intrinsic parameters)를 사용하여 정규화된 이미지 좌표 값으로 변환한다.At this time, the processor converts the normalized image coordinate values using intrinsic parameters of the camera.
카메라는 3차원의 피사체를 2차원 이미지로 촬영하기 때문에, 실제 3차원 위치 좌표는 2차원 이미지 상에서 어디에 위치하는지 기하학적으로 계산할 때 영상을 찍을 당시의 카메라 위치 및 방향에 의해 결정된다. 구체적으로 실제 이미지는 사용된 렌즈, 피사체와의 거리 등 내부 요인에 영향을 받기 때문에 3차원 위치 좌표의 영상에 투영된 위치를 구하거나, 반대로 영상의 좌표를 3차원 공간좌표로 복원할 때 내부 요인을 제거해야 정확한 계산이 가능하게 된다.Since a camera captures a 3D object as a 2D image, actual 3D location coordinates are determined by the camera's position and direction at the time of capturing the image when geometrically calculating where it is located on the 2D image. Specifically, since the actual image is affected by internal factors such as the lens used and the distance to the subject, internal factors when obtaining the position projected on the image of 3D coordinates or restoring the coordinates of the image to 3D spatial coordinates must be removed to allow accurate calculations.
내부 요인의 파라미터 값을 구하는 과정은 카메라 캘리브레이션이라고 하며, 카메라 제조사들은 매개 변수를 공개한다.The process of obtaining parameter values for internal factors is called camera calibration, and camera manufacturers disclose parameters.
내부 행렬 내에는 초첨 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point), 뒤틀림 계수(skew coefficient) 등을 포함하며, 이러한 매개 변수들을 이용하여 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환한다.The internal matrix includes the focal length, image sensor format, principal point, skew coefficient, etc., and each row and column of the fisheye image is used by using these parameters. Convert coordinate values to normalized image coordinate values.
도 2에는 카메라 좌표계를 월드 좌표계로 변환하는 개념을 도시하였다.2 illustrates the concept of converting a camera coordinate system into a world coordinate system.
그 다음, S12단계에 도시한 바와 같이, 정규화된 이미지 좌표값에서 X, Y 방향에 대한 2D 메쉬 그리드 구조를 생성한다.Then, as shown in step S12, a 2D mesh grid structure for the X and Y directions is generated from the normalized image coordinate values.
이때의 x, y에 포함된 좌표는 벡터값으로 인식되며, X는 각 행이 x의 복사본인 행렬이고, Y는 각 열이 y의 복사본인 행렬이다.At this time, the coordinates included in x and y are recognized as vector values. X is a matrix in which each row is a copy of x, and Y is a matrix in which each column is a copy of y.
2D 메쉬 그리드는 y개의 행과 x개의 열로 이루어진다.A 2D mesh grid consists of y rows and x columns.
그 다음, S13단계에서는 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출한다.Next, in step S13, a Panini projection hyperparameter is calculated using the parameter (d).
기본 파니니 투영은 3D 원통형 이미지의 직선 투영이며, 이는 접선 원통에 대한 파노라믹 구체(panosphere)의 선형 투영이다.A basic Panini projection is a linear projection of a 3D cylindrical image, which is a linear projection of a panoramic sphere onto a tangent cylinder.
직선 투영의 중심은 실린더 축에서 d 파라미터의 거리에 위치하는 뷰 축에 있다. d 파라미터는 음수가 아닌 실수이며, d가 0일 때 직선, 1일 때 원통형 입체 투영을 제공하며 파니니 투영으로 정의된다.The center of the straight projection is on the view axis at a distance of the d parameter from the cylinder axis. The d parameter is a non-negative real number, giving a straight line when d is 0 and a cylindrical solid projection when d is 1, defined as a Panini projection.
d 파라미터가 무한대일때 원통형 직교 투영을 제공한다.Provides a cylindrical orthogonal projection when the d parameter is infinite.
투영 하이퍼 매개 변수는 k, δ, cos(φ), S를 포함한다. Projective hyperparameters include k, δ, cos(φ), S.
본 발명에서는 d 파라미터가 1.79일 때의 파니니 투영 하이퍼 매개 변수를 산출한다.In the present invention, the Panini projection hyperparameter when the d parameter is 1.79 is calculated.
파니니 투영 하이퍼 매개 변수의 산출은 다음의 수학식들을 사용하여 산출할 수 있다.The calculation of the Panini projection hyperparameter can be calculated using the following equations.
먼저 원통에 있는 점의 데카르트 좌표는 아래의 수학식 1로 표시할 수 있다.First, the Cartesian coordinates of points on the cylinder can be expressed by Equation 1 below.
수학식 1에서 x, y, z는 각각 원통상의 특정 좌표의 x, y, z축 값이며, φ는 방위각, θ는 고도각을 나타낸다.In Equation 1, x, y, and z are x, y, and z-axis values of specific coordinates on the cylinder, respectively, φ denotes an azimuth angle, and θ denotes an elevation angle.
x축, y축 및 z축의 방향은 도 2를 참고한다.For directions of the x-axis, y-axis, and z-axis, see FIG. 2 .
이와 같은 좌표들은 원통상에 위치하는 좌표이며, 평면 이미지(영상)의 확보를 위해서는 원통을 펼쳐 평면으로 매핑해야 한다. 이때 매핑하는 방정식은 아래의 수학식 2로 표현된다.These coordinates are located on a cylinder, and in order to obtain a flat image (video), the cylinder must be unfolded and mapped to a plane. At this time, the mapping equation is expressed as Equation 2 below.
여기서 파라미터 d는 1.79인 상수이다.where the parameter d is a constant equal to 1.79.
수학식 2에서 S는 점에 대한 직선 투영 축척 계수이며, 투영 중심에서 뷰 평면까지의 거리는 d+1로 정의된다.In Equation 2, S is the linear projection scale factor for the point, and the distance from the projection center to the view plane is defined as d+1.
또한, 투영 중심에서 원통 점을 포함하는 평행 평면까지의 거리는 d+cos(φ)가 된다.Also, the distance from the projection center to the parallel plane containing the cylindrical point is d+cos(φ).
h와 v는 각각 직각 좌표계인 hv평면상의 좌표값이다.h and v are coordinate values on the hv plane, which is a Cartesian coordinate system, respectively.
위의 수학식 2를 이용하여 파니니 투영 하이퍼 매개 변수인 cos(φ), k, δ를 정의하면 수학식 3으로 표현할 수 있다.If the Panini projection hyperparameters cos(φ), k, and δ are defined using Equation 2 above, they can be expressed as Equation 3.
그 다음, S14단계에서는 상기 하이퍼 매개 변수를 사용하여, 각 2D 메쉬 그리드 포인트에 대한 방위각(φ)과 고도각(θ)을 산출한다.Next, in step S14, the azimuth angle (φ) and elevation angle (θ) for each 2D mesh grid point are calculated using the hyper parameters.
방위각과 고도각은 아래의 수학식 4로 표시할 수 있다.The azimuth and elevation angles can be expressed by Equation 4 below.
그 다음, S15단계와 같이 하드 또는 소프트 수직 압축을 고도각에 적용하여, 왜곡을 보정한다.Then, as in step S15, hard or soft vertical compression is applied to the elevation angle to correct the distortion.
그 다음, S16단계와 같이 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화(normalization)를 수행한다.Then, as in step S16, Cartesian coordinates are calculated, and LP standard-based normalization is performed on the z-coordinate values.
여기서 LP 표준 기반 정규화는 알려진 LP 표준을 본 발명에 적합하도록 수정 및 변경하여 정규화를 수행하는 것으로 이해될 수 있다.Here, normalization based on the LP standard may be understood as performing normalization by modifying and changing a known LP standard to be suitable for the present invention.
통상 norm(노름)은 크기의 일반화(정규화)를 뜻하는 것으로, 벡터의 크기를 일반화한다.Normally, norm (norm) means normalization (normalization) of magnitude, which normalizes the magnitude of vectors.
P는 norm의 차수이며, LP norm은 L1 norm, L2 norm, ... Maxium norm 중 필요에 따라 적당한 길이를 선택한다.P is the degree of norm, and LP norm selects an appropriate length among L1 norm, L2 norm, ... Maxium norm according to need.
아래의 수학식 5는 LP 표준 기반 정규화를 본 발명에 적용하기 위한 함수이다.Equation 5 below is a function for applying LP standard-based normalization to the present invention.
수학식 5에서 norm는 정규화값이며, 0.575는 휴리스틱 접근 방식을 사용하기 위하여 추정된 역률이다.In Equation 5, norm is a normalization value, and 0.575 is an estimated power factor to use the heuristic approach.
본 발명은 보행자가 입력 이미지의 가장 왼쪽 또는 가장 오른쪽에 위치하거나, 보행자가 카메라에 매우 가깝고 중앙에 위치하는 경우에도 보행자의 모양을 보존하기 위한 것으로, 차량에 장착된 어안 렌즈 카메라와의 거리가 약 1m 떨어진 거리에 위치하는 보행자 상부 형상 콘텐츠의 손실을 최소화할 수 있다.The present invention is to preserve the shape of a pedestrian even when the pedestrian is located at the leftmost or rightmost side of the input image, or when the pedestrian is very close to the camera and located in the center, and the distance from the fisheye lens camera mounted on the vehicle is about It is possible to minimize the loss of the upper shape content of a pedestrian located at a distance of 1 m.
그 다음, S17 단계와 같이 카메라 모델과 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하고 룩업 테이블을 생성한다.Then, as in step S17, the Cartesian coordinate values are projected from space to the plane using the camera model and unique parameters, and a lookup table is generated.
이때의 룩업 테이블은 이후의 어안 이미지(입력 이미지)를 처리할 때의 기준값이 된다.The lookup table at this time becomes a reference value when processing a fisheye image (input image) later.
도 3은 입력 이미지인 어안 이미지의 일예이며, 도 4는 왜곡을 본 발명을 통해 보정한 이미지이다.3 is an example of a fisheye image as an input image, and FIG. 4 is an image corrected for distortion through the present invention.
도 3과 도 4를 참조하면, 어안 렌즈 카메라와의 거리가 약 1m 정도로 가까운 위치에서 보행자가 우측 가장자리 영역에 촬영된 상태를 나타낸다.Referring to FIGS. 3 and 4 , a state in which a pedestrian is photographed in a right edge area at a position close to a fisheye lens camera of about 1 m is shown.
입력 이미지인 어안 이미지의 경우에는 보행자의 이미지가 왜곡된 상태이며, 본 발명을 통해 평면 이미지로 변환할 때, 이미지의 손실 없이 평면 이미지로 변환이 가능하다.In the case of a fisheye image, which is an input image, the image of a pedestrian is distorted, and when converted into a flat image through the present invention, it is possible to convert the image into a flat image without loss of image.
특히 측면 보행자의 모양을 완전하게 보존함으로써, 자율 주행 차량을 위한 입력 이미지 사용시 촬상된 대상에 대한 분류와 판단이 용이하게 된다는 장점이 있다.In particular, by completely preserving the shape of a sidewalk, there is an advantage in that it is easy to classify and judge an imaged object when using an input image for an autonomous vehicle.
도 5는 보행자가 이미지의 중앙에 위치하는 어안 이미지의 일예이며, 도 6은 도 5의 왜곡을 본 발명을 통해 보정한 이미지이다.5 is an example of a fisheye image in which a pedestrian is located in the center of the image, and FIG. 6 is an image obtained by correcting the distortion of FIG. 5 through the present invention.
도 5와 도 6을 참조하면, 본 발명은 어안 이미지의 중앙에 카메라와 가까운 위치에 위치하는 보행자가 촬영된 경우, 이미지를 보정하는 과정에서 보행자의 상부측(예를 들어 머리) 이미지의 콘텐츠 손실을 최소화하여 정상적인 이미지를 얻을 수 있는 특징이 있다.5 and 6, when a pedestrian located close to the camera is captured in the center of a fisheye image, the content of the upper side (eg head) image of the pedestrian is lost in the process of correcting the image. There is a feature that can obtain a normal image by minimizing .
본 발명은 상기 실시예에 한정되지 않고 본 발명의 기술적 요지를 벗어나지 아니하는 범위 내에서 다양하게 수정, 변형되어 실시될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어서 자명한 것이다.It is obvious to those skilled in the art that the present invention is not limited to the above embodiments and can be variously modified or modified and implemented within the scope of the technical gist of the present invention. will be.
Claims (18)
b) 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계;
c) 상기 하이퍼 매개 변수를 사용하여 상기 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각을 산출하는 단계;
d) 하드 또는 소프트 수직 압축을 고도각에 적용하는 단계; 및
e) 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 카메라 모델의 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하는 단계를 포함하는 어안 왜곡 이미지의 무손실 보정 방법.a) converting each row and column coordinate value of the fisheye image into normalized image coordinate values, and generating a 2D mesh grid structure in x and y directions;
b) calculating Panini projection hyperparameters using parameter (d);
c) calculating azimuth and elevation angles for points of the 2D mesh grid structure using the hyper parameters;
d) applying hard or soft vertical compression to the elevation angle; and
e) Lossless fisheye distortion image comprising calculating Cartesian coordinates, performing LP standards-based normalization on the z-coordinate values, and then projecting the Cartesian coordinate values from space to a plane using intrinsic parameters of the camera model. correction method.
상기 e) 단계의 투영 결과를 룩업 테이블에 기재하여,
이후 입력되는 어안 이미지의 보정에 사용하는 어안 왜곡 이미지의 무손실 보정 방법.According to claim 1,
The projection result of step e) is written in the lookup table,
Lossless correction method of fisheye distortion image used for correction of fisheye image that is input afterwards.
상기 b)단계의 상기 매개 변수(d)는 1.79인 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 방법.According to claim 1 or 2,
The method of lossless correction of fisheye distortion image, characterized in that the parameter (d) of step b) is 1.79.
상기 b)단계는,
아래의 수학식 1을 이용하여 하이퍼 매개 변수를 산출하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 방법.
[수학식 1]
φ는 방위각, h는 hv직각좌표계의 좌표, d는 1.79, cos(φ), k, δ는 하이퍼 매개 변수According to claim 3,
In step b),
A lossless correction method for a fisheye distortion image, characterized in that the hyperparameter is calculated using Equation 1 below.
[Equation 1]
φ is the azimuth, h is the coordinate in the hv Cartesian coordinate system, d is 1.79, cos(φ), k, δ are hyperparameters
상기 c)단계는,
아래의 수학식 2를 이용하여 방위각 및 고도각을 산출하는 어안 왜곡 이미지의 무손실 보정 방법.
[수학식 2]
S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표According to claim 4,
In step c),
A lossless correction method for a fisheye distortion image that calculates the azimuth and elevation angles using Equation 2 below.
[Equation 2]
S is the linear projection scale factor for the point, h and v are the hv coordinates in the Cartesian coordinate system
상기 e)단계는,
아래의 수학식 3을 이용하여 정규화값을 산출하는 어안 왜곡 이미지의 무손실 보정 방법.
[수학식 3]
norm은 정규화 값, 0.575는 역률 추정치According to claim 5,
In step e),
A lossless correction method for a fisheye distortion image that calculates a normalization value using Equation 3 below.
[Equation 3]
norm is the normalized value, 0.575 is the power factor estimate
상기 a) 단계는,
상기 어안 이미지를 촬영하는 카메라의 제조사에서 제공하는 매개 변수를 이용하여 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 방법.According to claim 1,
In step a),
Lossless correction method of a fisheye distortion image, characterized in that for converting each row and column coordinate values of the fisheye image into normalized image coordinate values using parameters provided by a manufacturer of a camera that captures the fisheye image.
상기 매개 변수는,
초첨 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point), 뒤틀림 계수(skew coefficient)를 포함하는 어안 왜곡 이미지의 무손실 보정 방법.According to claim 7,
The above parameters are
A lossless correction method for a fisheye distortion image including a focal length, an image sensor format, a principal point, and a skew coefficient.
상기 카메라에서 촬영된 이미지를 저장하는 메모리; 및
상기 메모리에 저장된 이미지를 처리하여, 왜곡을 보정하는 프로세서를 포함하되,
상기 프로세서는,
산출된 파니니 투영 하이퍼 매개 변수를 이용하여 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각을 산출하고,
산출된 고도각을 하드 또는 소프트 수직 압축을 수행한 후, 데카르트 좌표를 계산하여, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 평면으로 데카르트 좌표 값을 투영하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.A camera that takes a distorted image using a fisheye lens;
a memory for storing images captured by the camera; and
A processor processing the image stored in the memory and correcting the distortion,
the processor,
Calculate the azimuth and elevation angles for the points of the 2D mesh grid structure using the calculated Panini projection hyperparameters,
A fisheye distortion image characterized by performing hard or soft vertical compression on the calculated elevation angle, calculating Cartesian coordinates, performing LP standard-based normalization on z-coordinate values, and then projecting the Cartesian coordinate values onto a plane. lossless calibration device of
상기 카메라는 차량에 장착되어 외부를 촬영하며,
상기 프로세서는 차량 제어기의 프로세서인 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.According to claim 9,
The camera is mounted on the vehicle and photographs the outside,
The processor is a lossless correction device for a fisheye distortion image, characterized in that the processor of the vehicle controller.
상기 프로세서는,
상기 데카르트 좌표 값의 투영 결과를 상기 메모리의 룩업 테이블에 기재하여, 이후 상기 카메라에서 촬영된 어안 이미지의 보정에 사용하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.According to claim 10,
the processor,
The apparatus for lossless correction of a fisheye distortion image, characterized in that the result of projecting the Cartesian coordinate values is written in a lookup table of the memory and then used for correction of the fisheye image captured by the camera.
상기 프로세서는,
어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y 방향에 대한 2D 메쉬 그리드 구조를 생성한 후, 매개 변수를 사용하여 상기 파니니 투영 하이퍼 매개 변수를 산출하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.According to claim 10,
the processor,
Converting each row and column coordinate value of the fisheye image into normalized image coordinate values, generating a 2D mesh grid structure for the x and y directions, and then using the parameters to calculate the Panini projection hyperparameters. A lossless correction device for fisheye distortion images.
상기 매개 변수는,
1.79인 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.According to claim 12,
The above parameters are
A lossless correction device for fisheye distortion images, characterized in that 1.79.
상기 프로세서는,
아래의 수학식 1을 이용하여 상기 파니니 투영 하이퍼 매개 변수를 산출하는 것을 특징으로 하는 어안 이미지의 무손실 보정 장치.
[수학식 1]
φ는 방위각, h는 hv직각좌표계의 좌표, d는 매개 변수로 1.79, cos(φ), k, δ는 하이퍼 매개 변수According to claim 13,
the processor,
A lossless correction device for a fisheye image, characterized in that the Panini projection hyperparameter is calculated using Equation 1 below.
[Equation 1]
φ is the azimuth, h is the coordinate of the hv Cartesian coordinate system, d is a parameter 1.79, cos(φ), k, δ are hyperparameters
상기 프로세서는,
아래의 수학식 2를 이용하여 상기 방위각 및 고도각을 산출하는 어안 이미지의 무손실 보정 장치.
[수학식 2]
S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표According to claim 14,
the processor,
A lossless correction device for a fisheye image that calculates the azimuth and elevation angles using Equation 2 below.
[Equation 2]
S is the linear projection scale factor for the point, h and v are the hv coordinates in the Cartesian coordinate system
상기 프로세서는,
아래의 수학식 3을 이용하여 LP 표준 기반 정규화값을 구하는 것을 특징으로 하는 어안 이미지의 무손실 보정 장치.
[수학식 3]
norm은 정규화 값, 0.575는 역률 추정치According to claim 14,
the processor,
An apparatus for lossless correction of a fisheye image, characterized in that the LP standard-based normalization value is obtained using Equation 3 below.
[Equation 3]
norm is the normalized value, 0.575 is the power factor estimate
상기 매개 변수는,
상기 카메라의 제조사에서 제공하는 매개 변수인 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.According to claim 12,
The above parameters are
A lossless correction device for fisheye distortion images, characterized in that the parameters provided by the manufacturer of the camera.
상기 매개 변수는,
초첨 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point), 뒤틀림 계수(skew coefficient)를 포함하는 어안 왜곡 이미지의 무손실 보정 장치.According to claim 17,
The above parameters are
An apparatus for lossless correction of a fisheye distortion image including a focal length, an image sensor format, a principal point, and a skew coefficient.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210087773A KR102631472B1 (en) | 2021-07-05 | 2021-07-05 | Methods and device for lossless correction of fisheye distortion image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210087773A KR102631472B1 (en) | 2021-07-05 | 2021-07-05 | Methods and device for lossless correction of fisheye distortion image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230007034A true KR20230007034A (en) | 2023-01-12 |
| KR102631472B1 KR102631472B1 (en) | 2024-01-31 |
Family
ID=84923793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210087773A KR102631472B1 (en) | 2021-07-05 | 2021-07-05 | Methods and device for lossless correction of fisheye distortion image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102631472B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140090775A (en) * | 2013-01-10 | 2014-07-18 | 염철희 | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof |
-
2021
- 2021-07-05 KR KR1020210087773A patent/KR102631472B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140090775A (en) * | 2013-01-10 | 2014-07-18 | 염철희 | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof |
Non-Patent Citations (2)
| Title |
|---|
| Thomas K. Sharpless ET AL, Pannini: A New Projection for Rendering Wide Angle Perspective Images, Computational Aesthetics in Graphics, Visualization, and Imaging, 14 June 2010(2010.06.14.) 1부.* * |
| Yen-Ting Yeh ET AL, Driver Assistance System Providing an Intuitive Perspective View of Vehicle Surrounding, ACCV Workshops, 1-2 Nov. 2014(2014.11.01.) 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102631472B1 (en) | 2024-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6764533B2 (en) | Calibration device, chart for calibration, chart pattern generator, and calibration method | |
| KR101666959B1 (en) | Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor | |
| TWI555379B (en) | An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| JP3859574B2 (en) | 3D visual sensor | |
| JP5437311B2 (en) | Image correction method, image correction system, angle estimation method, and angle estimation device | |
| CN106846409B (en) | Calibration method and device of fisheye camera | |
| JP4825980B2 (en) | Calibration method for fisheye camera. | |
| CN103839227B (en) | Fisheye image correcting method and device | |
| JP2009139246A (en) | Device, method and program for processing image, position detecting device and moving body equipped with this | |
| JP4825971B2 (en) | Distance calculation device, distance calculation method, structure analysis device, and structure analysis method. | |
| JP6067175B2 (en) | Position measuring apparatus and position measuring method | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| CN113841384B (en) | Calibration device, chart for calibration and calibration method | |
| JP2015203652A (en) | Information processing unit and information processing method | |
| JP3882005B2 (en) | Image generation method, object detection method, object detection apparatus, and image generation program | |
| WO2018102990A1 (en) | System and method for rectifying a wide-angle image | |
| CN108053375B (en) | Image data correction method and device and automobile | |
| CN110490943B (en) | Rapid and accurate calibration method and system of 4D holographic capture system and storage medium | |
| JP5715793B2 (en) | Image processing apparatus and image processing method | |
| TW201839716A (en) | Panoramic Image Stitching Method and System Thereof | |
| WO2020181506A1 (en) | Image processing method, apparatus and system | |
| JP2018173882A (en) | Information processing device, method, and program | |
| JPH1079029A (en) | Stereoscopic information detecting method and device therefor | |
| JPWO2018167918A1 (en) | Projector, mapping data creation method, program, and projection mapping system | |
| JP7474137B2 (en) | Information processing device and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |