KR102462025B1 - 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법 - Google Patents

카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법 Download PDF

Info

Publication number
KR102462025B1
KR102462025B1 KR1020170147169A KR20170147169A KR102462025B1 KR 102462025 B1 KR102462025 B1 KR 102462025B1 KR 1020170147169 A KR1020170147169 A KR 1020170147169A KR 20170147169 A KR20170147169 A KR 20170147169A KR 102462025 B1 KR102462025 B1 KR 102462025B1
Authority
KR
South Korea
Prior art keywords
checkerboard
corner
mask
corner point
template
Prior art date
Application number
KR1020170147169A
Other languages
English (en)
Other versions
KR20190051463A (ko
Inventor
이종인
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170147169A priority Critical patent/KR102462025B1/ko
Publication of KR20190051463A publication Critical patent/KR20190051463A/ko
Application granted granted Critical
Publication of KR102462025B1 publication Critical patent/KR102462025B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것으로, 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부; 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함한다.

Description

카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING CHECKERBOARD CORNER POINT FOR CAMERA CALIBRATION}
본 발명은 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것으로, 보다 상세하게는 차량용 카메라의 캘리브레이션에 사용되는 체커보드(checker board)를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너(corner)를 보다 정확하게 추출할 수 있도록 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것이다.
최근 차량에는 운전자의 지원 기능을 위한 카메라가 많이 장착되고 있으나, 카메라 자체의 특성, 및 차량마다 카메라가 설치되는 위치나 자세가 다르기 때문에 카메라에 대한 캘리브레이션이 반드시 필요하며, 이러한 캘리브레이션 방법에 대한 다양한 방법이 연구되고 있다.
이러한 카메라 캘리브레이션 방법 중 하나로서 체커보드(checkerboard)를 촬영하여 캘리브레이션 하는 방법이 많이 사용되는데, 그 이유는 체커보드는 체스판(서양 장기판) 형상이기 때문에 에지(또는 꼭짓점, 모서리)가 정확하게 보여서 카메라의 좌표를 정밀하게 트레킹 할 수 있기 때문이다.
그런데 기존에는 체커보드의 주변에 다른 물체들이 많은 경우 정상적으로 캘리브레이션이 수행되지 않으며, 또한 체커보드를 촬영한 영상에서 흑과 백의 대비가 뚜렷하지 않을 경우에도 정상적으로 캘리브레이션이 수행되지 않는 문제점이 있었다.
본 발명의 배경기술은 대한민국 공개특허 10-2014-0054590호(2014.05.09. 공개, 카메라 캘리브레이션 방법 및 장치)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차량용 카메라의 캘리브레이션에 사용되는 체커보드(checker board)를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너(corner)를 보다 정확하게 추출할 수 있도록 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치는, 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부; 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법은, 카메라부가 캘리브레이션을 위한 체커보드 영상을 촬영하는 단계; 제어부가 마스크 저장부에 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 단계; 및 상기 제어부가 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 차량용 카메라의 캘리브레이션에 사용되는 체커보드(checker board)를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너(corner)를 보다 정확하게 추출할 수 있도록 한다.
또한 본 발명은 차량용 카메라의 캘리브레이션에 사용되는 체커보드 주변에 다른 물체들이 있거나 대비도가 떨어지는 저조도 환경에서도 보다 정확하게 코너를 자동으로 추출할 수 있도록 함으로써 성능을 향상시키며, 또한 카메라 캘리브레이션 과정에서 체커보드의 코너점을 수동으로 지정할 필요가 없기 때문에 작업 공정이 단순해져 작업 시간을 단축할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법을 설명하기 위한 흐름도.
도 3은 상기 도 1에 있어서, X-코너 템플릿 제작을 위한 마스크 및 이 마스크를 이용하여 X-코너 템플릿을 생성하는 방법을 설명하기 위한 예시도.
도 4는 상기 도 1에 있어서, 제어부가 에지 각도 히스토그램 구축과 X-코너 템플릿 선정 방법을 설명하기 위하여 보인 예시도.
도 5는 상기 도 1에 있어서, A-NCC 맵의 생성과 A-NCC 맵의 이진화 영상을 생성하는 방법을 설명하기 위하여 보인 예시도.
도 6은 상기 도 5에 있어서, A-NCC 맵의 이진화 영상의 코너점에 대하여 허프 변환 시 각도 범위를 제한하는 것을 설명하기 위하여 보인 예시도.
도 7은 상기 도 6에 있어서, 허프 변환을 통해 수평 방향 직선에 대한 허프 공간과 수직 방향 직선에 대한 허프 공간이 구축되는 것을 설명하기 위하여 보인 예시도.
도 8은 본 실시예에 따라 어두운 환경에서 촬영된 영상으로부터 체커보드의 코너점을 자동으로 추출한 결과를 보인 예시도.
도 9는 본 실시예에 따라 체커보드 주변에 다른 물건들이 포함되어 촬영된 영상으로부터 체커보드의 코너점을 자동으로 추출한 결과를 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 실시예는 카메라 캘리브레이션을 위한 체커보드의 코너점을 추출하기 위하여 템플릿(template) 매칭 기법을 사용하는 방법에 관한 것으로서, 상기 템플릿 매칭 기법은 기 설정된 여러 가지 형태의 격자 모양 템플릿들을 미리 생성 해두고, 영상 내 각 픽셀을 중심으로 일정 크기의 윈도우를 생성하여 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 방식이다. 이때 매칭 유사도 척도로는 A-NCC(absolute normalized cross correlation)를 사용하고, 체커보드 코너점을 일정한 순서에 맞게 정렬시키기 위해 허프 변환(Hough Transform)을 통해 추정한 직선 정보를 사용한다.
도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치의 개략적인 구성을 보인 예시도이고, 도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법을 설명하기 위한 흐름도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치는, 카메라부(110), 마스크 저장부(200), 제어부(300), 및 보정부(400)를 포함한다.
상기 카메라부(110)는 캘리브레이션을 위한 체커보드를 촬영한다. 즉, 상기 카메라부(110)는 캘리브레이션을 실시할 카메라를 이용하여 체커보드를 촬영한다.
상기 마스크 저장부(200)는 체커보드의 코너점(즉, X-코너)을 추출하기 위한 템플릿(template)을 생성하기 위한 마스크를 미리 생성하여 저장한다(도 3 참조).
상술한 바와 같이, 본 실시예는 체커보드의 코너점(즉, X-코너)을 추출하기 위하여 템플릿 매칭 기법을 사용하여, 상기 카메라부(110)를 통해 촬영한 영상에서 보여질 수 있는 코너점(즉, X-코너)의 템플릿들을 각도별로 생성한다.
도 3은 상기 도 1에 있어서, X-코너 템플릿 제작을 위한 마스크 및 이 마스크를 이용하여 X-코너 템플릿을 생성하는 방법을 설명하기 위한 예시도이다.
예컨대 도 3의 (a)에 도시된 바와 같이, 상기 X-코너 템플릿 제작을 위한 마스크는, 기 지정된 각도의 범위(0~180°)에서 미리 지정된 단위 각도(5°) 간격으로 2개의 영역(예 : 검정색 영역, 흰색 영역)으로 나누어진 36개의 마스크를 미리 생성하여 저장한다. 즉, 체커보드의 격자에 해당하는 사각형의 중심을 가로질러 두 개의 영역으로 양분하는 선분의 각도를 기 지정된 각도의 범위(0~180°)에서 미리 지정된 단위 각도(5°)로 회전시켜 도 3의 (a)에 도시된 바와 같은 36개의 마스크를 미리 생성하여 저장한다.
이에 따라 상기 제어부(300)는 상기 36개의 마스크 중 어느 두 개의 마스크를 선택적으로 중첩시킨다.
예컨대 도 3의 (b)에 도시된 바와 같이, 상기 마스크에서 격자의 영역을 양분하는 선분이 0°와 45°인 마스크를 중첩시킨다고 가정할 경우, 이 두 마스크(격자의 영역을 양분하는 선분이 0°와 45°인 마스크)가 중첩되면 상기 중첩되는 두 선분에 의해 격자의 영역이 사분된다(즉, 4개의 영역(①,②,③,④)으로 분할된다).
이때 상기 사분된 영역(①,②,③,④)에서 제1,3 영역(①,③)은 각기 검정색과 흰색(또는 흰색과 검정색)이 겹치는 영역이고, 제2,4 영역(②,④)은 동일한 색상(예 : 흰색과 흰색, 또는 검정색과 검정색)이 겹치는 영역이다.
이에 따라 상기 제어부(300)는 상기 두 개의 마스크를 중첩시켰을 때 사분되는 각 영역이 겹치는 색상에 따라, 도 3의 (c)에 도시된 바와 같이, 동일한 두 색상(예 : 흰색과 흰색, 또는 검정색과 검정색)이 겹치는 경우에는 흰색(제1 특정색)으로 표시하고, 서로 다른 두 색상(예 : 검정색과 흰색, 또는 흰색과 검정색)이 겹치는 경우에는 검정색(제2 특정색)으로 표시하는 X-코너(즉, 코너점) 템플릿을 생성한다.
또한 상기 제어부(300)는 상기 카메라부(100)를 통해 촬영된 영상에서 X-코너의 추출을 위하여 영상의 각 픽셀마다 매칭을 수행할 템플릿을 선택하여 A-NCC 값을 계산한다. 예컨대 상기 각 픽셀은 상기 템플릿에 대응하는 사이즈(예 : 5*5)의 중심 픽셀이 되어, 상기 템플릿에 대응하는 사이즈(예 : 5*5)에 매칭되는 템플릿을 선택하는 것이다.
이때 상기 A-NCC 값을 계산하는 이유는, 상기 영상 내의 각 픽셀을 중심으로 하는 사이즈의 영역(즉, 템플릿의 사이즈에 대응하는 윈도우)과 일치율이 가장 높은 템플릿을 선택하기 위한 것이다.
보다 구체적으로, 상기 제어부(300)의 A-NCC 맵 생성부(310)는 상기 카메라부(100)를 통해 입력된 영상(도 5의 (a) 참조)(즉, 각 픽셀을 중심으로 템플릿의 사이즈에 대응하는 윈도우)의 그레디언트(gradient)를 계산해서 상기 각 윈도우에 대한 에지의 크기와 각도를 구한다. 즉, 매칭할 픽셀을 중심으로 하는 윈도우(즉, 템플릿의 사이즈에 대응하는 윈도우)를 설정하고(도 4의 (a) 참조), 상기 윈도우 내의 모든 픽셀을 대상으로 에지의 각도에 대한 히스토그램을 생성한다(도 4의 (b) 참조)(도 2의 S101 참조).
이때 상기 히스토그램은 기 지정된 각도 범위(0~180°)의 에지 각도를 미리 설정된 단위 각도(5°) 간격으로 나누어 36개의 빈(bin)으로 설정하고, 상기 윈도우 내의 픽셀의 에지 크기를 히스토그램에 누적한다. 그리고 도 4의 (b)에 도시된 바와 같이, 에지 및 각도 히스토그램에서 국부적인 피크(peak) 두 개를 검출하고, 상기 두 개의 피크에 맞는(즉, 일치하는) 템플릿(즉, X-코너 템플릿)을 선택한다(도 4의 (c) 참조)(도 2의 S102 참조).
그리고 상기 제어부(300)는 상기 각 픽셀을 중심으로 하는 윈도우 영역과 상기 선택한 템플릿(즉, X-코너 템플릿) 간의 유사도(또는 매칭 여부)를 판단하기 위해서 A-NCC값을 계산한다(도 2의 S103 참조).
이 과정(S101 ~ S103)은 영상의 모든 픽셀에 대해서 반복 수행하여, 도 5의 (b)에 도시된 바와 같은, A-NCC 맵(map)을 생성한다.
다음 상기 제어부(300)는 상기 A-NCC 맵(map)에 이진화를 수행하여, 도 5의 (c)에 도시된 바와 같은, A-NCC 맵의 이진화 영상을 산출한다(도 2의 S104 참조).
즉, 영상처리에서 이진화는 어떤 주어진 임계값보다 밝은 픽셀들은 모두 흰식으로, 그렇지 않은 픽셀들은 모두 검은색으로 바꾸는 것을 의미한다.
다음 상기 제어부(300)는 상기 A-NCC 맵의 이진화 영상에서 값이 1인 픽셀(즉, 흰색 픽셀에 해당하는 X-코너)들에 대해 허프 변환(Hough Transform)을 실시한다(도 2의 S105 참조).
여기서 상기 허프 변환은 한 평면 위에 놓여 있는 픽셀들의 집합의 각 픽셀을 지나는 모든 직선을 파악하기 위한, 즉, 이미지 혹은 영상에서 직선을 찾기 위해서(즉, 직선을 추출하기 위해서) 사용되는 방법들 중 하나이다.
이때 에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한한다(도 6 참조).
도 6에 도시된 바와 같이, 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한함으로써, 체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지할 수 있다.
한편 상기와 같이 허프 변환을 실시하면, 도 7에 도시된 바와 같이, 각도 범위에 따라 두 개의 허프 공간(즉, (a)수평 방향 직선에 대한 허프 공간, (b)수직 방향 직선에 대한 허프 공간)이 각각 구축된다.
도 7에 도시된 허프 공간(즉, (a)수평 방향 직선에 대한 허프 공간, (b)수직 방향 직선에 대한 허프 공간)에서 검정색 부분은 선택(보팅)된 점들이 표현된 것이다. 이때 각각의 허프 공간에서 보팅이 가장 많은 직선을 추출한다. 이때, 추출한 직선에 임계 영역을 설정하여 상기 보팅했던 값을 빼면서 보팅 값이 2이상인 위치가 없을 때까지 반복하여 직선을 추출하는 것이다(도 2의 S106 참조).
상기와 같이 오 검출된 X-코너(즉, 코너점)를 제거하고 코너의 순서를 정렬하기 위하여 허프 변환을 통해 직선을 추출한다.
또한 상기 제어부(300)는 상기 A-NCC 맵의 이진화 영상(도 5의 (c) 참조)에서 지역 최대점을 X-코너(즉, 코너점)로 선택한다.
그리고 두 개 이상의 X-코너(즉, 코너점)를 공유하는 직선이 여러 개 있을 때, 직선들이 공유하는 X-코너(즉, 코너점)들과 각각의 직선과의 거리를 구해 거리의 합이 최소인 직선을 선택한다(즉, 직선의 교점을 추출한다)(도 2의 S107 참조).
상기와 같이 수직 및 수평 직선의 교점에 X-코너(즉, 코너점)가 존재하는 경우, X-코너(즉, 코너점)의 A-NCC값을 각 직선에 누적하여, 이 누적된 점수가 높은 순서대로 미리 알고 있는 직선의 개수만큼 뽑는다. 그리고 상기 수직 및 수평 직선의 교점에 번호를 부여하여 정렬한다.
그리고 각 교점과 가장 가까운 X-코너(즉, 코너점)를 체커보드의 X-코너(즉, 코너점)로 정하고, 이때 상기 교점 주변에 X-코너(즉, 코너점)가 없다면 해당 교점을 X-코너(즉, 코너점)로 확정한다(도 2의 S108 참조).
다음 각각의 X-코너(즉, 코너점)를 중심으로 서브픽셀(sub-pixel) 단위의 정확도로 X-코너(즉, 코너점) 위치를 계산한다(도 2의 S109 참조).
따라서 상기와 같은 과정(S101 ~ S109)을 수행한 결과, 도 8에 도시된 바와 같이, 체커보드의 코너점(도 8의 파란색 원)이 추출된다. 이때 파란색 코너점 옆의 붉은색 숫자는 코너점을 정렬한 번호이다.
도 8에 도시된 바와 같이, 본 실시예는 어두운 조명 환경에서도 순서에 맞게 정렬된 코너점이 추출되는 것을 확인할 수 있다. 또한 도 9에 도시된 바와 같이 체커보드 주변에 여러 가지 물건들이 있어도 체커보드의 코너점이 순서에 맞게 추출되는 것을 확인할 수 있다.
상기와 같이 어두운 조명 화경이나 주변이 여러 가지 물건들이 있는 상황에서도 체커보드의 코너점에 순서에 맞게 정확하게 추출됨에 따라, 상기 제어부(300)는 상기 보정부(400)를 통해 상기 추출된 코너점 정보에 기초하여 카메라의 캘리브레이션을 수행할 수 있게 된다.
상기와 같이 본 실시예는 체커보드 주변에 다른 물체들이 있거나 대비도가 떨어지는 저조도 환경에서도 보다 정확하게 코너를 자동으로 추출할 수 있도록 함으로써 성능이 향상되며, 또한 카메라 캘리브레이션 과정에서 체커보드의 코너점을 수동으로 지정할 필요가 없기 때문에 작업 공정이 단순해져 작업 시간이 단축되는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 카메라부 200 : 마스크 저장부
300 : 제어부 400 : 보정부

Claims (13)

  1. 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부;
    상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및
    상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함하되,
    상기 템플릿은,
    상기 미리 생성된 마스크 중 어느 두 개의 마스크를 선택적으로 중첩시키고,
    상기 중첩되는 마스크의 영역을 각기 양분하는 두 선분에 의해 상기 중첩된 격자의 영역이 사분될 때,
    상기 사분되는 각 영역이 겹치는 색상에 따라, 동일한 두 색상이 겹치는 경우에는 제1 특정색으로 표시하고, 서로 다른 두 색상이 겹치는 경우에는 제2 특정색으로 표시하여 생성되는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  2. 제 1항에 있어서, 상기 제어부는,
    상기 윈도우의 템플릿의 매칭 유사도를 산출하기 위하여 A-NCC(absolute normalized cross correlation)를 사용하고,
    상기 체커보드 영상에서 코너점을 일정한 순서로 정렬시키기 위해 허프 변환(Hough Transform)을 사용하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  3. 제 1항에 있어서, 상기 마스크는,
    체커보드의 격자에 해당하는 사각형의 중심을 가로질러 흑 백의 두 영역으로 양분하는 선분의 각도를 기 지정된 각도의 범위에서 미리 지정된 단위 각도로 회전시켜 생성되는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  4. 삭제
  5. 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부;
    상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부; 및
    상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부;를 포함하되,
    상기 제어부는,
    상기 체커보드 영상의 각 픽셀을 중심으로 하는 지정된 크기의 윈도우와 유사도가 가장 높은 템플릿을 매칭한 후 A-NCC 맵을 생성하고,
    상기 A-NCC 맵의 이진화 영상을 생성한 후 이 A-NCC 맵의 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환(Hough Transform)을 실시하고,
    상기 허프 변환을 실시하여 추출한 수평과 수직 방향의 직선에 대한 교점을 추출하여, 상기 교점의 A-NCC값을 각 직선에 누적하고,
    상기 누적된 점수가 높은 순서대로 미리 알고 있는 직선의 개수만큼 교점을 추출하여 번호를 부여하여 정렬하고,
    상기 교점이나 이 교점과 가장 가까운 코너점을 최종 코너점으로 확정하여 각 코너점을 중심으로 서브픽셀(sub-pixel) 단위의 정확도로 코너점의 위치를 계산하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  6. 제 5항에 있어서, 상기 제어부는,
    상기 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환 시,
    에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하여 체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  7. 제 5항에 있어서, 상기 제어부는,
    체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하기 위하여, 상기 허프 변환 시, 에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  8. 제 5항에 있어서, 상기 제어부는,
    상기 허프 변환의 실시를 통해 수평 방향 직선에 대한 허프 공간, 및 수직 방향 직선에 대한 허프 공간을 각기 구축하여, 상기 각 허프 공간에서 보팅이 가장 많은 직선을 추출하고,
    상기 추출한 직선에 임계 영역을 설정하여 상기 보팅했던 값을 빼면서 보팅 값이 2이상인 위치가 없을 때까지 반복하여 직선을 추출하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치.
  9. 카메라부가 캘리브레이션을 위한 체커보드 영상을 촬영하는 단계;
    제어부가 마스크 저장부에 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 단계; 및
    상기 제어부가 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 단계;를 포함하되,
    상기 템플릿은,
    상기 미리 생성된 마스크 중 어느 두 개의 마스크를 선택적으로 중첩시키고,
    상기 중첩되는 마스크의 영역을 각기 양분하는 두 선분에 의해 상기 중첩된 격자의 영역이 사분될 때,
    상기 사분되는 각 영역이 겹치는 색상에 따라, 동일한 두 색상이 겹치는 경우에는 제1 특정색으로 표시하고, 서로 다른 두 색상이 겹치는 경우에는 제2 특정색으로 표시하여 생성되는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
  10. 카메라부가 캘리브레이션을 위한 체커보드 영상을 촬영하는 단계;
    제어부가 마스크 저장부에 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 단계; 및
    상기 제어부가 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자 모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 단계;를 포함하되,
    상기 체커보드의 코너점을 추출하기 위하여,
    상기 제어부는,
    체커보드 영상의 각 픽셀을 중심으로 하는 지정된 크기의 윈도우와 유사도가 가장 높은 템플릿을 매칭한 후 A-NCC 맵을 생성하는 단계;
    상기 A-NCC 맵의 이진화 영상을 생성한 후 이 A-NCC 맵의 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환(Hough Transform)을 실시하는 단계;
    상기 허프 변환을 실시하여 추출한 수평과 수직 방향의 직선에 대한 교점을 추출하여, 상기 교점의 A-NCC값을 각 직선에 누적하는 단계;
    상기 누적된 점수가 높은 순서대로 미리 알고 있는 직선의 개수만큼 교점을 추출하여 번호를 부여하여 정렬하는 단계; 및
    상기 교점이나 이 교점과 가장 가까운 코너점을 최종 코너점으로 확정하여 각 코너점을 중심으로 서브픽셀(sub-pixel) 단위의 정확도로 코너점의 위치를 계산하는 단계;를 포함하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
  11. 제 10항에 있어서,
    상기 이진화 영상에서 값이 1인 픽셀들에 대한 허프 변환 시,
    상기 제어부는,
    에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하여 체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
  12. 제 10항에 있어서, 상기 허프 변환 시,
    체커보드의 격자를 이루지 않는 직선이 추출되는 것을 방지하기 위하여,
    상기 제어부는,
    에지 각도 히스토그램의 피크점을 이용하여 허프 변환의 각도 범위를 제한하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
  13. 제 10항에 있어서,
    상기 허프 변환을 실시하는 단계를 통해 직선을 추출하기 위하여,
    상기 제어부는,
    상기 허프 변환의 실시를 통해 수평 방향 직선에 대한 허프 공간, 및 수직 방향 직선에 대한 허프 공간을 각기 구축하여, 상기 각 허프 공간에서 보팅이 가장 많은 직선을 추출하고,
    상기 추출한 직선에 임계 영역을 설정하여 상기 보팅했던 값을 빼면서 보팅 값이 2이상인 위치가 없을 때까지 반복하여 직선을 추출하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 방법.
KR1020170147169A 2017-11-07 2017-11-07 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법 KR102462025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170147169A KR102462025B1 (ko) 2017-11-07 2017-11-07 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170147169A KR102462025B1 (ko) 2017-11-07 2017-11-07 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190051463A KR20190051463A (ko) 2019-05-15
KR102462025B1 true KR102462025B1 (ko) 2022-11-02

Family

ID=66579543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170147169A KR102462025B1 (ko) 2017-11-07 2017-11-07 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102462025B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630566B (zh) * 2019-09-23 2023-09-29 香港应用科技研究院有限公司 为棋盘格图像获取模板的***和方法
CN112907677B (zh) * 2019-12-04 2023-07-25 杭州海康威视数字技术股份有限公司 一种单帧图像的相机标定方法、装置及存储介质
CN113658261A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 棋盘格角点位置检测方法、装置、智能终端及存储介质
CN111640157B (zh) * 2020-05-28 2022-09-20 华中科技大学 一种基于神经网络的棋盘格角点检测方法及其应用
CN111932631A (zh) * 2020-06-12 2020-11-13 北京中科慧眼科技有限公司 ArucoInChess标定板及其双目相机标定方法
CN111833405B (zh) * 2020-07-27 2023-12-08 北京大华旺达科技有限公司 基于机器视觉的标定识别方法及装置
CN111815685B (zh) * 2020-09-09 2021-02-26 季华实验室 一种棋盘格角点定位方法、装置及电子设备
CN112465916A (zh) * 2020-11-27 2021-03-09 浙江光珀智能科技有限公司 一种基于全视场平面标定板的rgbd双目标定方法及***
CN112651261B (zh) * 2020-12-30 2023-11-10 凌云光技术股份有限公司 高精度2d相机坐标系和机械坐标系转换关系的计算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003463A (ja) 2003-06-10 2005-01-06 Topcon Corp キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法
JP2009146150A (ja) 2007-12-13 2009-07-02 Nippon Telegr & Teleph Corp <Ntt> 特徴位置検出方法及び特徴位置検出装置
JP2009205421A (ja) 2008-02-27 2009-09-10 Dainippon Printing Co Ltd 目標物検出システム
JP2014230215A (ja) * 2013-05-24 2014-12-08 京セラ株式会社 カメラ較正装置、およびカメラ較正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003463A (ja) 2003-06-10 2005-01-06 Topcon Corp キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法
JP2009146150A (ja) 2007-12-13 2009-07-02 Nippon Telegr & Teleph Corp <Ntt> 特徴位置検出方法及び特徴位置検出装置
JP2009205421A (ja) 2008-02-27 2009-09-10 Dainippon Printing Co Ltd 目標物検出システム
JP2014230215A (ja) * 2013-05-24 2014-12-08 京セラ株式会社 カメラ較正装置、およびカメラ較正方法

Also Published As

Publication number Publication date
KR20190051463A (ko) 2019-05-15

Similar Documents

Publication Publication Date Title
KR102462025B1 (ko) 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법
CN109807885B (zh) 一种机械手的视觉标定方法、装置及智能终端
CN110580724B (zh) 一种对双目相机组进行标定的方法、装置和存储介质
US20170359573A1 (en) Method and apparatus for camera calibration using light source
JP6260891B2 (ja) 画像処理装置および画像処理方法
CN103993431B (zh) 一种用于缝纫的视觉校正方法及***
US10027954B2 (en) Registering cameras in a multi-camera imager
US11388375B2 (en) Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target
CN108986129B (zh) 标定板检测方法
WO2014156429A1 (ja) 目視照合支援装置およびその制御方法
CN111932571B (zh) 图像的边界识别方法、装置以及计算机可读存储介质
CN104282010A (zh) 车辆多鱼眼摄像机360度俯视图像拼接曲线标定方法
JP2014085115A (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
US20150063637A1 (en) Image recognition method and robot
CN105718929B (zh) 全天候未知环境下高精度快速圆形目标定位方法和***
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP6262610B2 (ja) 情報登録装置及び情報継続登録装置並びに方法及びプログラム
KR101946579B1 (ko) 갱신 대상지역의 부분도화를 위한 공간영상 수정시스템
JP2010151582A (ja) カメラキャリブレーションターゲット、およびカメラキャリブレーション方法
CN117157668A (zh) 对dvs与相机之间的统一标定板进行角点检测的方法
CN105469085A (zh) 板卡图像获取方法和***
KR102260121B1 (ko) 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치
JP2562047B2 (ja) 対象物体の位置姿勢認識方法
CN112073633B (zh) 一种数据处理方法及***
Fasogbon et al. Automatic feature extraction for wide-angle and fish-eye camera calibration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right