KR102462025B1 - Apparatus and method for detecting checkerboard corner point for camera calibration - Google Patents
Apparatus and method for detecting checkerboard corner point for camera calibration Download PDFInfo
- Publication number
- KR102462025B1 KR102462025B1 KR1020170147169A KR20170147169A KR102462025B1 KR 102462025 B1 KR102462025 B1 KR 102462025B1 KR 1020170147169 A KR1020170147169 A KR 1020170147169A KR 20170147169 A KR20170147169 A KR 20170147169A KR 102462025 B1 KR102462025 B1 KR 102462025B1
- Authority
- KR
- South Korea
- Prior art keywords
- checkerboard
- corner
- mask
- corner point
- template
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것으로, 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부; 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함한다.The present invention relates to an apparatus and method for extracting checkerboard corner points for camera calibration, comprising: a camera unit for photographing a checkerboard image for calibration; a mask storage unit for generating and storing in advance a mask for preparing a template to be used for extracting corner points of the checkerboard image; and at least two or more grid-shaped templates of various shapes are generated in advance using the mask, a window of a specified size is created centering on each pixel in the checkerboard image, and then matching with the generated template is performed. It includes; a control unit for extracting the corner points of the checkerboard.
Description
본 발명은 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것으로, 보다 상세하게는 차량용 카메라의 캘리브레이션에 사용되는 체커보드(checker board)를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너(corner)를 보다 정확하게 추출할 수 있도록 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for extracting checkerboard corner points for camera calibration, and more particularly, a corner where black and white rectangular areas intersect in an image taken of a checker board used for calibration of a vehicle camera. It relates to a checkerboard corner point extraction apparatus and method for camera calibration that can more accurately extract a corner, which is a part corresponding to .
최근 차량에는 운전자의 지원 기능을 위한 카메라가 많이 장착되고 있으나, 카메라 자체의 특성, 및 차량마다 카메라가 설치되는 위치나 자세가 다르기 때문에 카메라에 대한 캘리브레이션이 반드시 필요하며, 이러한 캘리브레이션 방법에 대한 다양한 방법이 연구되고 있다.Recently, many vehicles are equipped with cameras for driver support functions, but since the characteristics of the camera itself and the location or posture in which the camera is installed are different for each vehicle, it is essential to calibrate the camera, and various methods for such a calibration method This is being studied.
이러한 카메라 캘리브레이션 방법 중 하나로서 체커보드(checkerboard)를 촬영하여 캘리브레이션 하는 방법이 많이 사용되는데, 그 이유는 체커보드는 체스판(서양 장기판) 형상이기 때문에 에지(또는 꼭짓점, 모서리)가 정확하게 보여서 카메라의 좌표를 정밀하게 트레킹 할 수 있기 때문이다.As one of these camera calibration methods, the method of calibrating by shooting a checkerboard is widely used, because the checkerboard is in the shape of a chessboard (Western chess board), so the edges (or vertices, corners) are clearly visible, This is because the coordinates can be precisely tracked.
그런데 기존에는 체커보드의 주변에 다른 물체들이 많은 경우 정상적으로 캘리브레이션이 수행되지 않으며, 또한 체커보드를 촬영한 영상에서 흑과 백의 대비가 뚜렷하지 않을 경우에도 정상적으로 캘리브레이션이 수행되지 않는 문제점이 있었다.However, there is a problem in that calibration is not normally performed when there are many other objects around the checkerboard, and calibration is not performed normally even when the contrast between black and white is not clear in the image taken with the checkerboard.
본 발명의 배경기술은 대한민국 공개특허 10-2014-0054590호(2014.05.09. 공개, 카메라 캘리브레이션 방법 및 장치)에 개시되어 있다. Background art of the present invention is disclosed in Korean Patent Publication No. 10-2014-0054590 (published on May 9, 2014, method and apparatus for camera calibration).
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차량용 카메라의 캘리브레이션에 사용되는 체커보드(checker board)를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너(corner)를 보다 정확하게 추출할 수 있도록 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법을 제공하는데 그 목적이 있다. According to one aspect of the present invention, the present invention was created to solve the above problems, and the corner where black and white rectangular areas intersect in an image taken of a checker board used for calibration of a vehicle camera. An object of the present invention is to provide an apparatus and method for extracting a checkerboard corner point for camera calibration that can more accurately extract a corner, which is a part corresponding to .
본 발명의 일 측면에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치는, 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부; 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함하는 것을 특징으로 한다.A checkerboard corner point extraction apparatus for camera calibration according to an aspect of the present invention includes: a camera unit for photographing a checkerboard image for calibration; a mask storage unit for generating and storing in advance a mask for preparing a template to be used for extracting corner points of the checkerboard image; and at least two or more grid-shaped templates of various shapes are generated in advance using the mask, a window of a specified size is created centering on each pixel in the checkerboard image, and then matching with the generated template is performed. and a control unit for extracting corner points of the checker board.
본 발명의 다른 측면에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법은, 카메라부가 캘리브레이션을 위한 체커보드 영상을 촬영하는 단계; 제어부가 마스크 저장부에 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 단계; 및 상기 제어부가 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 단계;를 포함하는 것을 특징으로 한다.A checkerboard corner point extraction method for camera calibration according to another aspect of the present invention includes: photographing a checkerboard image for calibration by a camera unit; generating, by a control unit, a mask for template production to be used for extracting corner points of the checkerboard image in advance in a mask storage unit and storing the mask; and the control unit generates at least two or more various types of grid-shaped templates in advance using the mask, creates a window of a predetermined size centered on each pixel in the checkerboard image, and matches the generated template and extracting the corner points of the checker board by performing a.
본 발명의 일 측면에 따르면, 본 발명은 차량용 카메라의 캘리브레이션에 사용되는 체커보드(checker board)를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너(corner)를 보다 정확하게 추출할 수 있도록 한다. According to one aspect of the present invention, the present invention more accurately measures a corner, which is a part corresponding to the corner where the black and white rectangular areas intersect, in an image taken of a checker board used for calibration of a vehicle camera. allow it to be extracted.
또한 본 발명은 차량용 카메라의 캘리브레이션에 사용되는 체커보드 주변에 다른 물체들이 있거나 대비도가 떨어지는 저조도 환경에서도 보다 정확하게 코너를 자동으로 추출할 수 있도록 함으로써 성능을 향상시키며, 또한 카메라 캘리브레이션 과정에서 체커보드의 코너점을 수동으로 지정할 필요가 없기 때문에 작업 공정이 단순해져 작업 시간을 단축할 수 있도록 한다.In addition, the present invention improves the performance by enabling automatic extraction of corners more accurately even in low-light environments where there are other objects around the checker board used for calibration of the vehicle camera or the contrast is low, and also improves the performance of the checker board in the camera calibration process. Since there is no need to manually specify the corner points, the work process is simplified and the work time is reduced.
도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법을 설명하기 위한 흐름도.
도 3은 상기 도 1에 있어서, X-코너 템플릿 제작을 위한 마스크 및 이 마스크를 이용하여 X-코너 템플릿을 생성하는 방법을 설명하기 위한 예시도.
도 4는 상기 도 1에 있어서, 제어부가 에지 각도 히스토그램 구축과 X-코너 템플릿 선정 방법을 설명하기 위하여 보인 예시도.
도 5는 상기 도 1에 있어서, A-NCC 맵의 생성과 A-NCC 맵의 이진화 영상을 생성하는 방법을 설명하기 위하여 보인 예시도.
도 6은 상기 도 5에 있어서, A-NCC 맵의 이진화 영상의 코너점에 대하여 허프 변환 시 각도 범위를 제한하는 것을 설명하기 위하여 보인 예시도.
도 7은 상기 도 6에 있어서, 허프 변환을 통해 수평 방향 직선에 대한 허프 공간과 수직 방향 직선에 대한 허프 공간이 구축되는 것을 설명하기 위하여 보인 예시도.
도 8은 본 실시예에 따라 어두운 환경에서 촬영된 영상으로부터 체커보드의 코너점을 자동으로 추출한 결과를 보인 예시도.
도 9는 본 실시예에 따라 체커보드 주변에 다른 물건들이 포함되어 촬영된 영상으로부터 체커보드의 코너점을 자동으로 추출한 결과를 보인 예시도.1 is an exemplary view showing a schematic configuration of a checkerboard corner point extraction apparatus for camera calibration according to an embodiment of the present invention.
2 is a flowchart for explaining a checkerboard corner point extraction method for camera calibration according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a mask for manufacturing an X-corner template and a method of generating an X-corner template using the mask in FIG. 1 .
FIG. 4 is an exemplary diagram illustrating a method of a control unit constructing an edge angle histogram and selecting an X-corner template in FIG. 1 .
FIG. 5 is an exemplary diagram illustrating a method of generating an A-NCC map and generating a binarized image of an A-NCC map in FIG. 1;
FIG. 6 is an exemplary view illustrating limiting an angular range during Hough transformation with respect to a corner point of a binarized image of an A-NCC map in FIG. 5 .
FIG. 7 is an exemplary view illustrating the construction of a Hough space for a horizontal straight line and a Hough space for a vertical straight line through a Hough transform in FIG. 6 .
8 is an exemplary view showing a result of automatically extracting a corner point of a checkerboard from an image taken in a dark environment according to the present embodiment.
9 is an exemplary view showing a result of automatically extracting a corner point of a checker board from an image captured by including other objects around the checker board according to the present embodiment;
이하, 첨부된 도면을 참조하여 본 발명에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법의 일 실시예를 설명한다. Hereinafter, an embodiment of a checkerboard corner point extraction apparatus and method for camera calibration according to the present invention will be described with reference to the accompanying drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, definitions of these terms should be made based on the content throughout this specification.
이하 본 실시예는 카메라 캘리브레이션을 위한 체커보드의 코너점을 추출하기 위하여 템플릿(template) 매칭 기법을 사용하는 방법에 관한 것으로서, 상기 템플릿 매칭 기법은 기 설정된 여러 가지 형태의 격자 모양 템플릿들을 미리 생성 해두고, 영상 내 각 픽셀을 중심으로 일정 크기의 윈도우를 생성하여 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 방식이다. 이때 매칭 유사도 척도로는 A-NCC(absolute normalized cross correlation)를 사용하고, 체커보드 코너점을 일정한 순서에 맞게 정렬시키기 위해 허프 변환(Hough Transform)을 통해 추정한 직선 정보를 사용한다.Hereinafter, the present embodiment relates to a method of using a template matching technique to extract a corner point of a checkerboard for camera calibration, wherein the template matching technique generates preset grid-shaped templates of various types in advance. It is a method of extracting the corner points of the checkerboard by creating a window of a certain size centered on each pixel in the image and matching it with the generated template. In this case, absolute normalized cross correlation (A-NCC) is used as the matching similarity measure, and straight line information estimated through Hough transform is used to align the checkerboard corner points in a predetermined order.
도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치의 개략적인 구성을 보인 예시도이고, 도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법을 설명하기 위한 흐름도이다.1 is an exemplary diagram showing a schematic configuration of a checkerboard corner point extraction apparatus for camera calibration according to an embodiment of the present invention, and FIG. 2 is a checkerboard corner point for camera calibration according to an embodiment of the present invention. It is a flowchart for explaining the extraction method.
도 1에 도시된 바와 같이, 본 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치는, 카메라부(110), 마스크 저장부(200), 제어부(300), 및 보정부(400)를 포함한다.As shown in FIG. 1 , the checkerboard corner point extraction apparatus for camera calibration according to the present embodiment includes a camera unit 110 , a
상기 카메라부(110)는 캘리브레이션을 위한 체커보드를 촬영한다. 즉, 상기 카메라부(110)는 캘리브레이션을 실시할 카메라를 이용하여 체커보드를 촬영한다.The camera unit 110 captures a checkerboard for calibration. That is, the camera unit 110 captures a checkerboard using a camera to be calibrated.
상기 마스크 저장부(200)는 체커보드의 코너점(즉, X-코너)을 추출하기 위한 템플릿(template)을 생성하기 위한 마스크를 미리 생성하여 저장한다(도 3 참조).The
상술한 바와 같이, 본 실시예는 체커보드의 코너점(즉, X-코너)을 추출하기 위하여 템플릿 매칭 기법을 사용하여, 상기 카메라부(110)를 통해 촬영한 영상에서 보여질 수 있는 코너점(즉, X-코너)의 템플릿들을 각도별로 생성한다.As described above, this embodiment uses a template matching technique to extract a corner point (ie, X-corner) of the checkerboard, and a corner point that can be seen in the image taken through the camera unit 110 . (ie, X-corner) templates are created for each angle.
도 3은 상기 도 1에 있어서, X-코너 템플릿 제작을 위한 마스크 및 이 마스크를 이용하여 X-코너 템플릿을 생성하는 방법을 설명하기 위한 예시도이다. FIG. 3 is an exemplary diagram for explaining a mask for manufacturing an X-corner template and a method of generating an X-corner template using the mask in FIG. 1 .
예컨대 도 3의 (a)에 도시된 바와 같이, 상기 X-코너 템플릿 제작을 위한 마스크는, 기 지정된 각도의 범위(0~180°)에서 미리 지정된 단위 각도(5°) 간격으로 2개의 영역(예 : 검정색 영역, 흰색 영역)으로 나누어진 36개의 마스크를 미리 생성하여 저장한다. 즉, 체커보드의 격자에 해당하는 사각형의 중심을 가로질러 두 개의 영역으로 양분하는 선분의 각도를 기 지정된 각도의 범위(0~180°)에서 미리 지정된 단위 각도(5°)로 회전시켜 도 3의 (a)에 도시된 바와 같은 36개의 마스크를 미리 생성하여 저장한다. For example, as shown in (a) of FIG. 3, the mask for manufacturing the X-corner template includes two regions ( Example: 36 masks divided into black and white areas) are created and saved in advance. That is, the angle of the line segment that bisects the center of the rectangle corresponding to the grid of the checkerboard into two areas is rotated by a predetermined unit angle (5°) in the range of the predetermined angle (0 to 180°), as shown in Figure 3 36 masks as shown in (a) are created and stored in advance.
이에 따라 상기 제어부(300)는 상기 36개의 마스크 중 어느 두 개의 마스크를 선택적으로 중첩시킨다.Accordingly, the
예컨대 도 3의 (b)에 도시된 바와 같이, 상기 마스크에서 격자의 영역을 양분하는 선분이 0°와 45°인 마스크를 중첩시킨다고 가정할 경우, 이 두 마스크(격자의 영역을 양분하는 선분이 0°와 45°인 마스크)가 중첩되면 상기 중첩되는 두 선분에 의해 격자의 영역이 사분된다(즉, 4개의 영역(①,②,③,④)으로 분할된다).For example, as shown in (b) of FIG. 3 , if it is assumed that a mask with a line segment bisecting the grid area in the mask overlaps a mask of 0° and 45°, these two masks (the line segment bisecting the grid area) When the 0° and 45° mask) are overlapped, the grid area is divided by the two overlapping line segments (ie, it is divided into four areas (①,②,③,④)).
이때 상기 사분된 영역(①,②,③,④)에서 제1,3 영역(①,③)은 각기 검정색과 흰색(또는 흰색과 검정색)이 겹치는 영역이고, 제2,4 영역(②,④)은 동일한 색상(예 : 흰색과 흰색, 또는 검정색과 검정색)이 겹치는 영역이다.At this time, in the quadrants (①,②,③,④), the first and third areas (①,③) are areas where black and white (or white and black) overlap, respectively, and the second and fourth areas (②,④) ) is an area where the same color (eg, white and white, or black and black) overlaps.
이에 따라 상기 제어부(300)는 상기 두 개의 마스크를 중첩시켰을 때 사분되는 각 영역이 겹치는 색상에 따라, 도 3의 (c)에 도시된 바와 같이, 동일한 두 색상(예 : 흰색과 흰색, 또는 검정색과 검정색)이 겹치는 경우에는 흰색(제1 특정색)으로 표시하고, 서로 다른 두 색상(예 : 검정색과 흰색, 또는 흰색과 검정색)이 겹치는 경우에는 검정색(제2 특정색)으로 표시하는 X-코너(즉, 코너점) 템플릿을 생성한다.Accordingly, the
또한 상기 제어부(300)는 상기 카메라부(100)를 통해 촬영된 영상에서 X-코너의 추출을 위하여 영상의 각 픽셀마다 매칭을 수행할 템플릿을 선택하여 A-NCC 값을 계산한다. 예컨대 상기 각 픽셀은 상기 템플릿에 대응하는 사이즈(예 : 5*5)의 중심 픽셀이 되어, 상기 템플릿에 대응하는 사이즈(예 : 5*5)에 매칭되는 템플릿을 선택하는 것이다. In addition, the
이때 상기 A-NCC 값을 계산하는 이유는, 상기 영상 내의 각 픽셀을 중심으로 하는 사이즈의 영역(즉, 템플릿의 사이즈에 대응하는 윈도우)과 일치율이 가장 높은 템플릿을 선택하기 위한 것이다.In this case, the reason for calculating the A-NCC value is to select a template having the highest matching rate with an area of a size centered on each pixel in the image (ie, a window corresponding to the size of the template).
보다 구체적으로, 상기 제어부(300)의 A-NCC 맵 생성부(310)는 상기 카메라부(100)를 통해 입력된 영상(도 5의 (a) 참조)(즉, 각 픽셀을 중심으로 템플릿의 사이즈에 대응하는 윈도우)의 그레디언트(gradient)를 계산해서 상기 각 윈도우에 대한 에지의 크기와 각도를 구한다. 즉, 매칭할 픽셀을 중심으로 하는 윈도우(즉, 템플릿의 사이즈에 대응하는 윈도우)를 설정하고(도 4의 (a) 참조), 상기 윈도우 내의 모든 픽셀을 대상으로 에지의 각도에 대한 히스토그램을 생성한다(도 4의 (b) 참조)(도 2의 S101 참조).More specifically, the A-NCC
이때 상기 히스토그램은 기 지정된 각도 범위(0~180°)의 에지 각도를 미리 설정된 단위 각도(5°) 간격으로 나누어 36개의 빈(bin)으로 설정하고, 상기 윈도우 내의 픽셀의 에지 크기를 히스토그램에 누적한다. 그리고 도 4의 (b)에 도시된 바와 같이, 에지 및 각도 히스토그램에서 국부적인 피크(peak) 두 개를 검출하고, 상기 두 개의 피크에 맞는(즉, 일치하는) 템플릿(즉, X-코너 템플릿)을 선택한다(도 4의 (c) 참조)(도 2의 S102 참조).In this case, the histogram divides the edge angle of a predetermined angle range (0 to 180°) by a preset unit angle (5°) interval to set 36 bins, and accumulates the edge size of pixels in the window in the histogram. do. And as shown in FIG. 4(b), two local peaks are detected in the edge and angle histogram, and a template that fits (ie, matches) the two peaks (ie, X-corner template) ) (refer to (c) of FIG. 4) (refer to S102 of FIG. 2).
그리고 상기 제어부(300)는 상기 각 픽셀을 중심으로 하는 윈도우 영역과 상기 선택한 템플릿(즉, X-코너 템플릿) 간의 유사도(또는 매칭 여부)를 판단하기 위해서 A-NCC값을 계산한다(도 2의 S103 참조). In addition, the
이 과정(S101 ~ S103)은 영상의 모든 픽셀에 대해서 반복 수행하여, 도 5의 (b)에 도시된 바와 같은, A-NCC 맵(map)을 생성한다.This process (S101 to S103) is repeatedly performed for all pixels of the image to generate an A-NCC map as shown in FIG. 5(b).
다음 상기 제어부(300)는 상기 A-NCC 맵(map)에 이진화를 수행하여, 도 5의 (c)에 도시된 바와 같은, A-NCC 맵의 이진화 영상을 산출한다(도 2의 S104 참조). Next, the
즉, 영상처리에서 이진화는 어떤 주어진 임계값보다 밝은 픽셀들은 모두 흰식으로, 그렇지 않은 픽셀들은 모두 검은색으로 바꾸는 것을 의미한다.That is, binarization in image processing means that all pixels brighter than a given threshold are changed to white, and all pixels that are not brighter than a given threshold are changed to black.
다음 상기 제어부(300)는 상기 A-NCC 맵의 이진화 영상에서 값이 1인 픽셀(즉, 흰색 픽셀에 해당하는 X-코너)들에 대해 허프 변환(Hough Transform)을 실시한다(도 2의 S105 참조).Next, the
여기서 상기 허프 변환은 한 평면 위에 놓여 있는 픽셀들의 집합의 각 픽셀을 지나는 모든 직선을 파악하기 위한, 즉, 이미지 혹은 영상에서 직선을 찾기 위해서(즉, 직선을 추출하기 위해서) 사용되는 방법들 중 하나이다.Here, the Hough transform is one of methods used to find all straight lines passing through each pixel of a set of pixels lying on one plane, that is, to find a straight line in an image or image (ie, to extract a straight line). .
이때 에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한한다(도 6 참조).In this case, the angular range of the Hough transform is limited using the peak points of the edge angle histogram (see FIG. 6 ).
도 6에 도시된 바와 같이, 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한함으로써, 체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지할 수 있다.As shown in FIG. 6 , by limiting the angular range of the Hough transform using the peak point of the angle histogram, it is possible to prevent a straight line that does not form a checkerboard grid from being extracted.
한편 상기와 같이 허프 변환을 실시하면, 도 7에 도시된 바와 같이, 각도 범위에 따라 두 개의 허프 공간(즉, (a)수평 방향 직선에 대한 허프 공간, (b)수직 방향 직선에 대한 허프 공간)이 각각 구축된다.On the other hand, if the Hough transform is performed as described above, as shown in FIG. 7 , two Hough spaces (ie, (a) Hough space for a horizontal straight line, (b) Hough space for a vertical straight line) according to the angular range ) are constructed respectively.
도 7에 도시된 허프 공간(즉, (a)수평 방향 직선에 대한 허프 공간, (b)수직 방향 직선에 대한 허프 공간)에서 검정색 부분은 선택(보팅)된 점들이 표현된 것이다. 이때 각각의 허프 공간에서 보팅이 가장 많은 직선을 추출한다. 이때, 추출한 직선에 임계 영역을 설정하여 상기 보팅했던 값을 빼면서 보팅 값이 2이상인 위치가 없을 때까지 반복하여 직선을 추출하는 것이다(도 2의 S106 참조).In the Hough space shown in FIG. 7 (that is, (a) Hough space for a horizontal straight line, (b) Hough space for a vertical straight line), the black part represents the selected (voting) points. At this time, the straight line with the most voting is extracted from each Hough space. At this time, the straight line is extracted repeatedly until there is no position with a voting value equal to or greater than 2 while subtracting the voted value by setting a critical area on the extracted straight line (refer to S106 of FIG. 2 ).
상기와 같이 오 검출된 X-코너(즉, 코너점)를 제거하고 코너의 순서를 정렬하기 위하여 허프 변환을 통해 직선을 추출한다.As described above, a straight line is extracted through Hough transform in order to remove the falsely detected X-corner (ie, corner point) and align the order of the corners.
또한 상기 제어부(300)는 상기 A-NCC 맵의 이진화 영상(도 5의 (c) 참조)에서 지역 최대점을 X-코너(즉, 코너점)로 선택한다.In addition, the
그리고 두 개 이상의 X-코너(즉, 코너점)를 공유하는 직선이 여러 개 있을 때, 직선들이 공유하는 X-코너(즉, 코너점)들과 각각의 직선과의 거리를 구해 거리의 합이 최소인 직선을 선택한다(즉, 직선의 교점을 추출한다)(도 2의 S107 참조).And when there are several straight lines sharing two or more X-corners (ie, corner points), the sum of the distances is calculated by finding the distance between the X-corners (ie, corner points) shared by the straight lines and each straight line. The smallest straight line is selected (that is, the intersection of the straight lines is extracted) (refer to S107 of FIG. 2).
상기와 같이 수직 및 수평 직선의 교점에 X-코너(즉, 코너점)가 존재하는 경우, X-코너(즉, 코너점)의 A-NCC값을 각 직선에 누적하여, 이 누적된 점수가 높은 순서대로 미리 알고 있는 직선의 개수만큼 뽑는다. 그리고 상기 수직 및 수평 직선의 교점에 번호를 부여하여 정렬한다. As described above, when an X-corner (ie, a corner point) exists at the intersection of the vertical and horizontal straight lines, the A-NCC value of the X-corner (ie, the corner point) is accumulated on each straight line, and the accumulated score is Draw as many straight lines as you know in advance in ascending order. Then, numbers are assigned to the intersections of the vertical and horizontal straight lines and aligned.
그리고 각 교점과 가장 가까운 X-코너(즉, 코너점)를 체커보드의 X-코너(즉, 코너점)로 정하고, 이때 상기 교점 주변에 X-코너(즉, 코너점)가 없다면 해당 교점을 X-코너(즉, 코너점)로 확정한다(도 2의 S108 참조).And the X-corner (ie, corner point) closest to each intersection is set as the X-corner (ie, corner point) of the checkerboard, and if there is no X-corner (ie, corner point) around the intersection, the intersection is It is determined as an X-corner (ie, a corner point) (see S108 of FIG. 2 ).
다음 각각의 X-코너(즉, 코너점)를 중심으로 서브픽셀(sub-pixel) 단위의 정확도로 X-코너(즉, 코너점) 위치를 계산한다(도 2의 S109 참조).Next, the X-corner (ie, corner point) position is calculated with sub-pixel accuracy based on each X-corner (ie, corner point) (see S109 of FIG. 2 ).
따라서 상기와 같은 과정(S101 ~ S109)을 수행한 결과, 도 8에 도시된 바와 같이, 체커보드의 코너점(도 8의 파란색 원)이 추출된다. 이때 파란색 코너점 옆의 붉은색 숫자는 코너점을 정렬한 번호이다. Accordingly, as a result of performing the above processes (S101 to S109), as shown in FIG. 8, a corner point (blue circle in FIG. 8) of the checkerboard is extracted. At this time, the red number next to the blue corner point is the number aligned with the corner point.
도 8에 도시된 바와 같이, 본 실시예는 어두운 조명 환경에서도 순서에 맞게 정렬된 코너점이 추출되는 것을 확인할 수 있다. 또한 도 9에 도시된 바와 같이 체커보드 주변에 여러 가지 물건들이 있어도 체커보드의 코너점이 순서에 맞게 추출되는 것을 확인할 수 있다.As shown in FIG. 8 , in the present embodiment, it can be confirmed that corner points aligned in order are extracted even in a dark lighting environment. Also, as shown in FIG. 9 , it can be confirmed that the corner points of the checker board are extracted in order even if there are various objects around the checker board.
상기와 같이 어두운 조명 화경이나 주변이 여러 가지 물건들이 있는 상황에서도 체커보드의 코너점에 순서에 맞게 정확하게 추출됨에 따라, 상기 제어부(300)는 상기 보정부(400)를 통해 상기 추출된 코너점 정보에 기초하여 카메라의 캘리브레이션을 수행할 수 있게 된다.As described above, even in a situation where there are various objects in the dark lighting scene or the surroundings, as the corner points of the checkerboard are accurately extracted in order, the
상기와 같이 본 실시예는 체커보드 주변에 다른 물체들이 있거나 대비도가 떨어지는 저조도 환경에서도 보다 정확하게 코너를 자동으로 추출할 수 있도록 함으로써 성능이 향상되며, 또한 카메라 캘리브레이션 과정에서 체커보드의 코너점을 수동으로 지정할 필요가 없기 때문에 작업 공정이 단순해져 작업 시간이 단축되는 효과가 있다.As described above, in this embodiment, the performance is improved by automatically extracting corners more accurately even in a low-light environment with other objects around the checker board or low contrast, and also manually adjusting the corner points of the checker board in the camera calibration process. Since there is no need to designate as , the work process is simplified and the work time is shortened.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.As described above, the present invention has been described with reference to the embodiment shown in the drawings, but this is merely an example, and various modifications and equivalent other embodiments are possible therefrom by those skilled in the art. will understand the point. Therefore, the technical protection scope of the present invention should be defined by the following claims.
100 : 카메라부 200 : 마스크 저장부
300 : 제어부 400 : 보정부100: camera unit 200: mask storage unit
300: control unit 400: correction unit
Claims (13)
상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및
상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함하되,
상기 템플릿은,
상기 미리 생성된 마스크 중 어느 두 개의 마스크를 선택적으로 중첩시키고,
상기 중첩되는 마스크의 영역을 각기 양분하는 두 선분에 의해 상기 중첩된 격자의 영역이 사분될 때,
상기 사분되는 각 영역이 겹치는 색상에 따라, 동일한 두 색상이 겹치는 경우에는 제1 특정색으로 표시하고, 서로 다른 두 색상이 겹치는 경우에는 제2 특정색으로 표시하여 생성되는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
a camera unit for taking a checkerboard image for calibration;
a mask storage unit for generating and storing in advance a mask for preparing a template to be used for extracting corner points of the checkerboard image; and
At least two or more various types of grid-shaped templates are generated in advance using the mask, a window of a specified size is created centering on each pixel in the checkerboard image, and then a checker is performed by matching with the generated template. A control unit for extracting a corner point of the board; including,
The template is
Selectively overlap any two masks among the previously generated masks,
When the area of the overlapping grid is divided by two line segments each bisecting the area of the overlapping mask,
According to the overlapping color of each of the quadrant regions, when the same two colors overlap, the first specific color is displayed, and when the two different colors overlap, the camera calibration is generated by displaying the second specific color. Checkerboard corner point extraction device for
상기 윈도우의 템플릿의 매칭 유사도를 산출하기 위하여 A-NCC(absolute normalized cross correlation)를 사용하고,
상기 체커보드 영상에서 코너점을 일정한 순서로 정렬시키기 위해 허프 변환(Hough Transform)을 사용하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
According to claim 1, wherein the control unit,
A-NCC (absolute normalized cross correlation) is used to calculate the matching similarity of the template of the window,
Checkerboard corner point extraction apparatus for camera calibration, characterized in that using a Hough transform to align corner points in a predetermined order in the checkerboard image.
체커보드의 격자에 해당하는 사각형의 중심을 가로질러 흑 백의 두 영역으로 양분하는 선분의 각도를 기 지정된 각도의 범위에서 미리 지정된 단위 각도로 회전시켜 생성되는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
According to claim 1, wherein the mask,
A checkerboard corner for camera calibration, characterized in that it is created by rotating the angle of a line segment that bisects the two regions of black and white across the center of a rectangle corresponding to the grid of the checkerboard by a predetermined unit angle within a predetermined range of angles point extraction device.
상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및
상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함하되,
상기 제어부는,
상기 체커보드 영상의 각 픽셀을 중심으로 하는 지정된 크기의 윈도우와 유사도가 가장 높은 템플릿을 매칭한 후 A-NCC 맵을 생성하고,
상기 A-NCC 맵의 이진화 영상을 생성한 후 이 A-NCC 맵의 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환(Hough Transform)을 실시하고,
상기 허프 변환을 실시하여 추출한 수평과 수직 방향의 직선에 대한 교점을 추출하여, 상기 교점의 A-NCC값을 각 직선에 누적하고,
상기 누적된 점수가 높은 순서대로 미리 알고 있는 직선의 개수만큼 교점을 추출하여 번호를 부여하여 정렬하고,
상기 교점이나 이 교점과 가장 가까운 코너점을 최종 코너점으로 확정하여 각 코너점을 중심으로 서브픽셀(sub-pixel) 단위의 정확도로 코너점의 위치를 계산하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
a camera unit for taking a checkerboard image for calibration;
a mask storage unit for generating and storing in advance a mask for preparing a template to be used for extracting corner points of the checkerboard image; and
At least two or more various types of grid-shaped templates are generated in advance using the mask, a window of a specified size is created centering on each pixel in the checkerboard image, and then a checker is performed by matching with the generated template. A control unit for extracting a corner point of the board; including,
The control unit is
After matching the template with the highest similarity to the window of a specified size centered on each pixel of the checkerboard image, an A-NCC map is generated,
After generating the binarized image of the A-NCC map, Hough transform is performed on pixels having a value of 1 in the binarized image of the A-NCC map;
By performing the Hough transform and extracting the intersections of the extracted horizontal and vertical straight lines, the A-NCC values of the intersections are accumulated on each straight line,
The number of intersections is extracted and sorted by the number of known straight lines in the order of increasing the accumulated score,
Checker for camera calibration, characterized in that the intersection or a corner point closest to the intersection is determined as the final corner point, and the position of the corner point is calculated with sub-pixel accuracy around each corner point Board corner point extraction device.
상기 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환 시,
에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하여 체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
According to claim 5, wherein the control unit,
When the Hough transform of pixels having a value of 1 in the binarized image,
Checkerboard corner point extraction device for camera calibration, characterized in that it prevents straight lines that do not form a checkerboard grid from being extracted by limiting the angular range of the Hough transform using the peak points of the edge angle histogram.
체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하기 위하여, 상기 허프 변환 시, 에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
According to claim 5, wherein the control unit,
Checkerboard corner point for camera calibration, characterized in that the angle range of the Hough transform is limited by using the peak point of the edge angle histogram during the Hough transform in order to prevent the straight line that does not form the checkerboard grid from being extracted extraction device.
상기 허프 변환의 실시를 통해 수평 방향 직선에 대한 허프 공간, 및 수직 방향 직선에 대한 허프 공간을 각기 구축하여, 상기 각 허프 공간에서 보팅이 가장 많은 직선을 추출하고,
상기 추출한 직선에 임계 영역을 설정하여 상기 보팅했던 값을 빼면서 보팅 값이 2이상인 위치가 없을 때까지 반복하여 직선을 추출하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
According to claim 5, wherein the control unit,
By implementing the Hough transformation, a Hough space for a horizontal straight line and a Hough space for a vertical straight line are respectively constructed, and a straight line with the most voting is extracted from each Hough space,
A checkerboard corner point extraction apparatus for camera calibration, characterized in that by setting a critical area on the extracted straight line and extracting the straight line repeatedly until there is no position where the voting value is 2 or more while subtracting the voted value.
제어부가 마스크 저장부에 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 단계; 및
상기 제어부가 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 단계;를 포함하되,
상기 템플릿은,
상기 미리 생성된 마스크 중 어느 두 개의 마스크를 선택적으로 중첩시키고,
상기 중첩되는 마스크의 영역을 각기 양분하는 두 선분에 의해 상기 중첩된 격자의 영역이 사분될 때,
상기 사분되는 각 영역이 겹치는 색상에 따라, 동일한 두 색상이 겹치는 경우에는 제1 특정색으로 표시하고, 서로 다른 두 색상이 겹치는 경우에는 제2 특정색으로 표시하여 생성되는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
The camera unit photographing a checkerboard image for calibration;
generating, by a control unit, a mask for template production to be used for extracting corner points of the checkerboard image in advance in a mask storage unit and storing the mask; and
The control unit generates at least two or more various types of grid-shaped templates in advance using the mask, creates a window of a specified size centered on each pixel in the checkerboard image, and matches with the generated template. Including; extracting the corner points of the checker board by performing
The template is
Selectively overlap any two masks among the previously generated masks,
When the area of the overlapping grid is divided by two line segments each bisecting the area of the overlapping mask,
According to the overlapping color of each of the quadrant regions, when the same two colors overlap, the first specific color is displayed, and when the two different colors overlap, the camera calibration is generated by displaying the second specific color. How to extract checkerboard corner points for
제어부가 마스크 저장부에 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 단계; 및
상기 제어부가 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 단계;를 포함하되,
상기 체커보드의 코너점을 추출하기 위하여,
상기 제어부는,
체커보드 영상의 각 픽셀을 중심으로 하는 지정된 크기의 윈도우와 유사도가 가장 높은 템플릿을 매칭한 후 A-NCC 맵을 생성하는 단계;
상기 A-NCC 맵의 이진화 영상을 생성한 후 이 A-NCC 맵의 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환(Hough Transform)을 실시하는 단계;
상기 허프 변환을 실시하여 추출한 수평과 수직 방향의 직선에 대한 교점을 추출하여, 상기 교점의 A-NCC값을 각 직선에 누적하는 단계;
상기 누적된 점수가 높은 순서대로 미리 알고 있는 직선의 개수만큼 교점을 추출하여 번호를 부여하여 정렬하는 단계; 및
상기 교점이나 이 교점과 가장 가까운 코너점을 최종 코너점으로 확정하여 각 코너점을 중심으로 서브픽셀(sub-pixel) 단위의 정확도로 코너점의 위치를 계산하는 단계;를 포함하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
The camera unit photographing a checkerboard image for calibration;
generating, by a control unit, a mask for template production to be used for extracting corner points of the checkerboard image in advance in a mask storage unit and storing the mask; and
The control unit generates at least two or more various types of grid-shaped templates in advance using the mask, creates a window of a specified size centered on each pixel in the checkerboard image, and matches with the generated template. Including; extracting the corner points of the checker board by performing
In order to extract the corner points of the checkerboard,
The control unit is
generating an A-NCC map after matching a window of a specified size centered on each pixel of the checkerboard image and a template having the highest similarity;
generating a binarized image of the A-NCC map and then performing Hough transform on pixels having a value of 1 in the binarized image of the A-NCC map;
extracting the intersections of the straight lines in the horizontal and vertical directions extracted by performing the Hough transform, and accumulating the A-NCC values of the intersections on each straight line;
extracting intersection points as many as the number of straight lines known in advance in the order of increasing the accumulated score, assigning numbers, and sorting; and
determining the intersection point or a corner point closest to the intersection point as the final corner point, and calculating the position of the corner point with sub-pixel accuracy around each corner point. Method of extracting checkerboard corner points for camera calibration.
상기 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환 시,
상기 제어부는,
에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하여 체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
11. The method of claim 10,
When the Hough transform of pixels having a value of 1 in the binarized image,
The control unit is
A checkerboard corner point extraction method for camera calibration, characterized in that it prevents straight lines that do not form a checkerboard grid from being extracted by limiting the angular range of the Hough transform using the peak points of the edge angle histogram.
체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하기 위하여,
상기 제어부는,
에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
11. The method of claim 10, When the Hough transform,
In order to prevent straight lines that do not form the checkerboard grid from being extracted,
The control unit is
A checkerboard corner point extraction method for camera calibration, characterized in that the angular range of the Hough transform is limited by using the peak point of the edge angle histogram.
상기 허프 변환을 실시하는 단계를 통해 직선을 추출하기 위하여,
상기 제어부는,
상기 허프 변환의 실시를 통해 수평 방향 직선에 대한 허프 공간, 및 수직 방향 직선에 대한 허프 공간을 각기 구축하여, 상기 각 허프 공간에서 보팅이 가장 많은 직선을 추출하고,
상기 추출한 직선에 임계 영역을 설정하여 상기 보팅했던 값을 빼면서 보팅 값이 2이상인 위치가 없을 때까지 반복하여 직선을 추출하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.11. The method of claim 10,
In order to extract a straight line through the step of performing the Hough transform,
The control unit is
By implementing the Hough transform, a Hough space for a horizontal straight line and a Hough space for a vertical straight line are respectively constructed, and a straight line with the most voting is extracted from each Hough space,
A checkerboard corner point extraction method for camera calibration, characterized in that by setting a critical area in the extracted straight line and subtracting the voted value, the straight line is repeatedly extracted until there is no position where the voting value is 2 or more.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170147169A KR102462025B1 (en) | 2017-11-07 | 2017-11-07 | Apparatus and method for detecting checkerboard corner point for camera calibration |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170147169A KR102462025B1 (en) | 2017-11-07 | 2017-11-07 | Apparatus and method for detecting checkerboard corner point for camera calibration |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190051463A KR20190051463A (en) | 2019-05-15 |
| KR102462025B1 true KR102462025B1 (en) | 2022-11-02 |
Family
ID=66579543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170147169A KR102462025B1 (en) | 2017-11-07 | 2017-11-07 | Apparatus and method for detecting checkerboard corner point for camera calibration |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102462025B1 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111630566B (en) * | 2019-09-23 | 2023-09-29 | 香港应用科技研究院有限公司 | System and method for obtaining templates for checkerboard images |
| CN112907677B (en) * | 2019-12-04 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | Camera calibration method and device for single-frame image and storage medium |
| CN113658261A (en) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | Checkerboard angular point position detection method and device, intelligent terminal and storage medium |
| CN111640157B (en) * | 2020-05-28 | 2022-09-20 | 华中科技大学 | Checkerboard corner detection method based on neural network and application thereof |
| CN111932631A (en) * | 2020-06-12 | 2020-11-13 | 北京中科慧眼科技有限公司 | ArucoInChess calibration board and binocular camera calibration method thereof |
| CN111833405B (en) * | 2020-07-27 | 2023-12-08 | 北京大华旺达科技有限公司 | Calibration and identification method and device based on machine vision |
| CN112001917A (en) * | 2020-09-04 | 2020-11-27 | 南京大学金陵学院 | Machine vision-based geometric tolerance detection method for circular perforated part |
| CN111815685B (en) * | 2020-09-09 | 2021-02-26 | 季华实验室 | Checkerboard angular point positioning method and device and electronic equipment |
| CN112465916A (en) * | 2020-11-27 | 2021-03-09 | 浙江光珀智能科技有限公司 | RGBD binocular calibration method and system based on full-view-field plane calibration plate |
| CN112651261B (en) * | 2020-12-30 | 2023-11-10 | 凌云光技术股份有限公司 | Calculation method for conversion relation between high-precision 2D camera coordinate system and mechanical coordinate system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005003463A (en) | 2003-06-10 | 2005-01-06 | Topcon Corp | Calibration chart image display device, calibration apparatus, and calibration method |
| JP2009146150A (en) | 2007-12-13 | 2009-07-02 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for detecting feature position |
| JP2009205421A (en) | 2008-02-27 | 2009-09-10 | Dainippon Printing Co Ltd | Object detection system |
| JP2014230215A (en) * | 2013-05-24 | 2014-12-08 | 京セラ株式会社 | Camera calibration device and camera calibration method |
-
2017
- 2017-11-07 KR KR1020170147169A patent/KR102462025B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005003463A (en) | 2003-06-10 | 2005-01-06 | Topcon Corp | Calibration chart image display device, calibration apparatus, and calibration method |
| JP2009146150A (en) | 2007-12-13 | 2009-07-02 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for detecting feature position |
| JP2009205421A (en) | 2008-02-27 | 2009-09-10 | Dainippon Printing Co Ltd | Object detection system |
| JP2014230215A (en) * | 2013-05-24 | 2014-12-08 | 京セラ株式会社 | Camera calibration device and camera calibration method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190051463A (en) | 2019-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102462025B1 (en) | Apparatus and method for detecting checkerboard corner point for camera calibration | |
| CN109807885B (en) | Visual calibration method and device for manipulator and intelligent terminal | |
| CN110580724B (en) | Method and device for calibrating binocular camera set and storage medium | |
| US20170359573A1 (en) | Method and apparatus for camera calibration using light source | |
| JP6260891B2 (en) | Image processing apparatus and image processing method | |
| CN103993431B (en) | A kind of vision correction methods for sewing and system | |
| US10027954B2 (en) | Registering cameras in a multi-camera imager | |
| US11388375B2 (en) | Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target | |
| CN108986129B (en) | Calibration plate detection method | |
| WO2014156429A1 (en) | Visual collation assistance device and method for controlling same | |
| CN111932571B (en) | Image boundary identification method and device and computer readable storage medium | |
| CN104282010A (en) | Vehicle multi-fisheye-camera 360-degree overhead-view image splicing curve calibration method | |
| JP2014085115A (en) | Dimension measurement device, dimension measurement method, and program for dimension measurement device | |
| US20150063637A1 (en) | Image recognition method and robot | |
| CN105718929B (en) | The quick round object localization method of high-precision and system under round-the-clock circumstances not known | |
| KR101574195B1 (en) | Auto Calibration Method for Virtual Camera based on Mobile Platform | |
| CN114943954B (en) | Parking space detection method, device and system | |
| JP6262610B2 (en) | Information registration device, information continuation registration device, method and program | |
| KR101946579B1 (en) | System For Drawing Of Renewal Area | |
| JP2010151582A (en) | Camera calibration target and camera calibration method | |
| CN117157668A (en) | Method for detecting corner points of unified calibration plate between DVS and camera | |
| CN105469085A (en) | Board card image acquisition method and system | |
| KR102260121B1 (en) | A checkerboard for camera calibration, method and apparatus for automatic target recognition using the same | |
| JP2562047B2 (en) | Position and orientation recognition method of target object | |
| CN111062937A (en) | Numerical control NC code virtuality and reality verification method based on RGB-D camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |