KR102260121B1 - 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치 - Google Patents

Abstract

본 발명은 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 탈부착이 가능한 블랍(blob)을 체스보드 혹은 소정의 패턴을 가진 보드에 부착하여 카메라 캘리브레이션을 위해 필요한 체커보드를 제시하고, 상기 제시된 체커보드의 일부만 촬영되거나 상기 체커보드를 촬영한 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식함으로써, 상기 체커보드만 촬영하면 어떠한 경우에도 카메라 캘리브레이션을 수행하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부표정요소를 효과적으로 결정할 수 있는 카메라 캘리브레이션을 위한 자동 타겟 인식 방법 및 그 장치에 관한 것이다.

Description

카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치{A CHECKERBOARD FOR CAMERA CALIBRATION, METHOD AND APPARATUS FOR AUTOMATIC TARGET RECOGNITION USING THE SAME}

본 발명은 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 탈부착이 가능한 블랍(blob)을 체스보드 혹은 소정의 패턴을 가진 보드에 부착하여 카메라 캘리브레이션을 위해 필요한 체커보드를 제시하고, 상기 제시된 체커보드의 일부만 촬영되거나 상기 체커보드를 촬영한 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식함으로써, 상기 체커보드만 촬영하면 어떠한 경우에도 카메라 캘리브레이션을 수행하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부표정요소를 효과적으로 결정할 수 있는 카메라 캘리브레이션을 위한 자동 타겟 인식 방법 및 그 장치에 관한 것이다.

카메라의 내부표정은 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등을 결정하고 보정하는 작업으로 이해할 수 있다. 상기 내부표정이라는 것은 궁극적으로 사진의 광속을 사진을 촬영하는 순간의 광속과 거의 유사하게 일치시키는 작업을 말한다.

카메라를 이용하여 촬영된 영상에는 렌즈의 방사방향왜곡, 접선방향왜곡, 부등각사상왜곡 등의 다양한 왜곡이 존재하기 때문에 이를 보정하는 카메라 캘리브레이션 과정이 반드시 필요하다.

상기 카메라 캘리브레이션은 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등으로 구성되어 있는 내부표정요소를 결정하는 것으로서, 일정한 패턴을 갖고 있는 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 여러 장의 영상을 이용하여 체커보드의 실세계 좌표, 카메라의 투영 중심, 그리고 체커보드를 촬영한 영상좌표가 일직선상에 대응될 수 있는 관계를 이용하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수와 같은 내부표정요소를 결정하는 것이다.

즉 상기 카메라 캘리브레이션을 위해서는 대상물의 영상좌표와 실세계좌표와의 관계를 파악해야 하며, 이를 위해서 미리 실세계좌표를 알고 있는 카메라 캘리브레이션을 위한 체커보드를 사용한다.

상기 체커보드를 촬영한 영상에서 주로 흑백 형태로 구성되어 있는 타겟의 위치를 결정하기 위해서는, 흑백 타겟의 모서리점 또는 중심점의 위치를 찾을 수 있는 특징점 연산자가 필요하다. 체커보드 영상에서 특징점 연산자를 이용하여 추출한 특징점은 밝기 값의 변화가 아주 큰 영역으로 경계선과 경계선의 교점인 흑백 패턴의 중심점이 된다.

또한 체커보드를 촬영한 여러 장의 영상 중에서 기준 체커보드에 번호가 부여된 타겟들을 참조 체커보드의 타겟들과 일치시켜 번호를 자동으로 부여하기 위해 호모그래피(homography) 변환을 이용한다.

하지만, 이러한 카메라 캘리브레이션을 위한 체커보드 영상의 인식에서 기존에는 체커보드 영상의 일부만 촬영되어 흑백 패턴이 모든 영상에서 나타나지 않는 경우 타겟을 자동으로 인식하지 못하는 문제가 발생하였다.

따라서 본 발명에서는 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐이 많이 나타나는 경우에도 자동으로 체커보드 타겟을 인식할 수 있는 방안을 제시하고자 한다.

이를 위해서, 본 발명에서는 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용해 체커보드 타겟을 자동으로 인식하고, 또한 기존 체커보드 및 소정의 패턴을 가진 체커보드에 블랍을 부착하고, 첫 번째 정방향 영상인 기준 체커보드 영상의 타겟을 투영 변환하여 참조 체커보드 영상에서 추출한 타겟의 좌표에 자동으로 번호를 부여하도록 함으로써, 어떠한 환경에서도 수월하게 카메라 캘리브레이션을 수행할 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1694969호(2017.01.10.)는 카메라 캘리브레이션 방법 및 장치에 관한 것으로, 장면 내의 임의의 크기와 종횡비를 갖는 직사각형 영상을 이용하여 카메라의 상대적인 촬영 위치를 검출할 수 있고, 또한 카메라의 촬영 위치를 검출하는데 사용된 실제 영상에 대한 기하정보(크기, 종횡비 등)를 파악할 수 있는 카메라 캘리브레이션 기술에 관한 것이다.

즉 상기 선행기술은 3차원 캘리브레이션 물체나 체커보드에 대한 복수의 이미지를 이용하는 대신, 일상 환경에서 쉽게 찾아볼 수 있는 직사각형 물체들(예를 들어, TV, 모니터, 창문, 문 등)에 대한 단일 이미지를 이용하여 카메라 캘리브레이션을 수행하는 방법 및 장치에 대해 기재하고 있다.

또한 한국공개특허 제2019-0051463호(2019.05.15.)는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것으로, 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부, 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부, 및 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부를 포함하여 구성되는 것을 기술적 특징으로 한다.

즉 상기 선행기술은 차량용 카메라의 캘리브레이션에 사용되는 체커보드를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너를 보다 정확하게 추출할 수 있도록 하는 장치 및 방법을 기재하고 있다.

또한 비특허문헌으로서, 어안렌즈로 촬영된 체커보드 영상의 타겟을 슈퍼 픽셀로 교점 영역을 검출 후 마스크를 이용한 상호 연관성을 계산하여 교점의 좌표를 검출하는 연구(카메라 캘리브레이션을 위한 체커보드 교점 좌표 자동 검출, 유영준, 2015), Harris 코너 특징점 검출 연산자와 호모그래피 변환을 이용하여 체커보드의 코너점을 검출하는 연구(스테레오 카메라 캘리브레이션을 위한 동일평면 체커보드 코너점 정밀검출, 박정민 등, 2015), 소벨 검출 연산자를 이용해 교점 좌표를 추정 후, RANSAC 알고리즘을 이용한 직선을 이용해 교점의 좌표를 검출하는 연구(교점의 추정 및 보간을 이용한 체커보드 검출, 오상엽과 조남익, 2016) 등이 있다.

이상에서 선행기술들을 검토한 결과, 대부분의 선행기술들은 주로 체커보드 영상에서 흑백 타겟 교점의 좌표를 추출하는 기술이 대부분이며, 멀티 카메라를 이용하여 촬영된 다수의 체커보드 영상에서 타겟의 교점 좌표의 추출과 자동으로 레이블링(labeling)을 수행하는 기술은 미진한 것으로 파악되고 있다.

이에 반하여 본 발명은 체스보드 혹은 소정의 패턴을 가진 보드에 블랍을 부착하여 체커보드를 제시한 구성, 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용해 체커보드 타겟을 자동으로 검출하는 구성, 기준 체커보드 영상의 타겟을 투영 변환하여 참조 체커보드 영상에서 추출한 타겟의 좌표에 자동으로 번호를 부여하는 구성을 통해, 어떠한 환경에서도 수월하게 카메라 캘리브레이션을 수행할 수 있도록 하는 것이다. 따라서 상기 선행기술들은 본 발명의 이러한 기술적 특징을 기재하거나 시사하고 있지 않다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 탈부착이 가능한 복수 개의 블랍을 체스보드 혹은 소정의 패턴을 가진 보드에 부착한 카메라 캘리브레이션을 위한 체커보드를 제공하는 것을 목적으로 한다.

또한 본 발명은 다수의 체커보드 영상 내 타겟을 자동으로 검출하기 위해 사용되는 블랍을 영상 내 체커보드의 방향성을 판별하는 블랍과 체커보드의 타겟 개수를 산출하는 블랍으로 나누어 사용하는 카메라 캘리브레이션을 위한 체커보드를 제공하는 것을 다른 목적으로 한다.

또한 본 발명은 상기 블랍을 흑색 바탕에 흰색 원으로 구성하고, 또한 사각형을 인식하기 위한 흑색과 백색 테두리의 사각형 내부에 흰색 원으로 구성한 카메라 캘리브레이션을 위한 체커보드를 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 상기 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식할 수 있는 체커보드를 이용한 자동 타겟 인식 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건 등을 이용하여 체커보드 타겟을 자동으로 검출하고, 또한 상기 체커보드 타겟의 번호 인식과정에서 상기 블랍을 이용하여 상기 체커보드 영상에서 추출한 타겟의 좌표에 번호를 체계적으로 부여할 수 있는 체커보드를 이용한 자동 타겟 인식 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 어떠한 환경에서도 수월하게 캘리브레이션을 수행하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부결정요소를 효과적으로 결정할 수 있는 체커보드를 이용한 자동 타겟 인식 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 방법은, 카메라 캘리브레이션을 위해 블랍이 구비된 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 타겟 검출 단계; 상기 촬영한 체커보드 영상에서 블랍을 검출하는 블랍 검출 단계; 및 상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 타겟 인식 단계;를 포함하는 것을 특징으로 한다.

또한 상기 타겟 인식 단계는, 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 단계; 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거하는 단계; 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별하는 단계; 상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 단계; 및 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시키는 단계;를 포함하는 것을 특징으로 한다.

또한 상기 체커보드는, 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴을 포함하고, 상기 패턴의 타겟 검출을 위해 8개의 블랍이 구비되고, 1번 내지 4번 블랍은 상기 체커보드 영상의 방향성 판별에 사용하고, 5번 내지 8번 블랍은 오검출되는 타겟을 제거하는데 사용하며, 1번 내지 8번 블랍은 영상 간의 투영 변환을 위한 매개변수 결정에 사용하는 것을 특징으로 한다.

또한 상기 타겟 검출 단계는, 상기 촬영한 체커보드 영상에서 특징점 연산자를 이용하여 특징점을 검출하는 단계; 및 상기 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건을 모두 충족하는지를 판단하는 단계;를 포함하며, 상기 판단한 결과, 모두 충족하면 해당 체커보드 영상의 특징점을 상기 패턴의 타겟으로 검출하는 것을 특징으로 한다.

또한 상기 블랍 검출 단계는, 상기 촬영한 체커보드 영상에서 다각형을 검출하고, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90도±45도 이내인 다각형을 사각형으로 판별하고, 상기 판별한 사각형 중 백색 사각형의 네 꼭지점에서 바깥 방향으로 블랍의 크기에 비례한 길이만큼 선분을 그린 후 밝기 값의 변화 횟수를 검사하여, 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍을 포함하는 사각형으로 판별하고, 상기 판별한 블랍을 포함하는 사각형 내에서 추출된 경계선을 이용하여 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서 각각의 벡터 간 각도가 최소 -80도 이하, 최대 0도 이하인 경우 원으로 가정하며, 상기 원으로 가정하는 다각형의 면적이 모든 블랍의 평균 면적의 70% 이상인 경우 상기 다각형을 블랍으로 검출하는 것을 특징으로 한다.

또한 상기 오검출한 타겟을 제거하는 것은, 상기 기준 체커보드 영상에서 가장자리 네 방향의 타겟 배열을 검출하고, 상기 검출한 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출하며, 상기 산출한 각 라인별 각도가 기 설정된 범위의 각도를 벗어나는 경우 해당 타겟을 오검출 타겟으로 분류하여 제거하는 것을 특징으로 한다.

또한 상기 자동 타겟 인식 방법은, 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟 간에 가까운 타겟 좌표를 탐색하여, 상기 기준 체커보드 영상의 타겟 번호와 동일하게 상기 참조 체커보드 영상의 타겟 번호를 부여하는 단계; 및 상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 발생하는 경우, 타겟 번호가 부여되지 않은 특징점의 타겟 번호를 부여하는 단계;를 더 포함하며, 상기 번호를 부여하는 것은, 좌상단 타겟부터 시작하고, 상기 좌상단 타겟으로부터 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호로 선정하고, 우하단 타겟의 번호가 선정될 때까지 수행하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드는, 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴을 반복하여 나타내는 체스보드 또는 소정의 패턴을 포함하는 보드를 포함하는 체커보드; 및 상기 체커보드의 소정 위치에 부착되어, 상기 체커보드의 영상 내에서 타겟을 자동으로 인식하기 위한 블랍;을 포함하며, 상기 블랍은, 카메라 캘리브레이션을 위해 촬영한 영상에서 사각형을 인식하기 위한 테두리의 사각형 내부에 원으로 구성되는 것을 특징으로 한다.

또한 상기 블랍은, 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드의 방향성을 판별하기 위한 방향성 판별용 블랍; 및 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드의 타겟 개수를 산출하기 위한 타겟 개수 산출용 블랍;을 포함하는 것을 특징으로 한다.

또한 상기 블랍은, 상기 체커보드에 8개를 부착하여 구성하는 경우, 1번 내지 4번 블랍은 상기 방향성 판별용 블랍으로 사용하고, 5번 내지 8번 블랍은 상기 타겟 개수 산출용 블랍으로 사용하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 장치는, 카메라 캘리브레이션을 위해 블랍이 구비된 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 타겟 검출부; 상기 촬영한 체커보드 영상에서 블랍을 검출하는 블랍 검출부; 및 상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 자동 타겟 인식부;를 포함하는 것을 특징으로 한다.

또한 상기 자동 타겟 인식부는, 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 기준 체커보드 판별부; 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거하는 오검출 타겟 제거부; 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별하는 방향성 판별부; 상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 투영 변환부; 및 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시키는 타겟 대응부;를 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 따르면, 체스보드 혹은 소정의 패턴을 가진 보드에 부착된 복수 개의 블랍을 이용하여 다수의 체커보드 영상 내 타겟을 자동으로 인식함으로써, 체커보드의 활용으로 어떠한 환경에서도 수월하게 캘리브레이션을 수행할 수 있고, 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부결정요소를 효과적으로 결정할 수 있으며, 외부의 다양한 시설물, 건물, 조형물 등과 같은 객체의 3차원 모델링이 가능한 효과가 있다.

또한 본 발명은 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용하여 체커보드 타겟을 인식하기 때문에 흑백 패턴의 타겟 주변에 존재하는 잡영에 영향을 받지 않고 타겟을 검출할 수 있는 효과가 있다.

또한 본 발명은 상기 체커보드 타겟의 번호 인식과정에서 상기 블랍을 이용하기 때문에 상기 체커보드 영상의 일부만 나타날 경우에도 블랍 간의 기하학적인 관계를 이용하여 번호를 체계적으로 부여할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드에 적용되는 블랍을 보다 상세하게 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 자동 타겟 인식 장치의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 방법의 동작과정을 상세하게 나타낸 순서도이다.
도 5는 본 발명에 적용된 자동 타겟 인식 방법에서 흑백 패턴의 타겟을 검출하는 과정을 상세하게 나타낸 순서도이다.
도 6은 본 발명에 적용된 자동 타겟 인식 방법에서 타겟에 번호를 부여하는 과정을 상세하게 나타낸 순서도이다.
도 7은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 타겟 검출을 위한 원형 탐색을 설명하기 위한 도면이다.
도 8은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 양방향 모두 흑색과 백색이 아닌 경우를 나타낸 도면이다.
도 9는 본 발명에 적용된 흑백 패턴의 타겟 검출에서 한 방향은 흑색이고 다른 방향은 백색인 경우를 나타낸 도면이다.
도 10은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 경계선 횟수에 의한 타겟 검출을 설명하기 위한 도면이다.
도 11은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 흑백 픽셀의 비율에 의한 타겟 검출을 설명하기 위한 도면이다.
도 12는 본 발명에 적용된 블랍 검출에서 다각형의 각도 산출을 설명하기 위한 도면이다.
도 13은 본 발명에 적용된 블랍 검출에서 블랍을 포함하는 사각형의 판별을 설명하기 위한 도면이다.
도 14는 본 발명에 적용된 오검출 타겟 제거에서 오검출 타겟을 나타낸 도면이다.
도 15는 본 발명에 적용된 오검출 타겟 제거에서 가장자리 4방향의 타겟 배열을 나타낸 도면이다.
도 16은 본 발명에 적용된 오검출 타겟 제거에서 가로 방향 타겟 간 각도 산출을 나타낸 도면이다.
도 17은 본 발명에 적용된 오검출 타겟 제거에서 세로 방향 타겟 간 각도 산출을 나타낸 도면이다.
도 18은 본 발명에 적용된 기준 체커보드 영상의 타겟 번호 부여에서 기준 타겟으로부터 가까운 두 타겟의 탐색 및 이후 타겟으로부터 가까운 두 타겟의 탐색을 설명하기 위한 도면이다.
도 19는 본 발명에 적용된 참조 체커보드 영상의 방향성 판별에서 4가지 타입의 회전에 따른 블랍 구성을 나타낸 도면이다.
도 20은 본 발명에 적용된 참조 체커보드 영상의 방향성 판별을 위한 블랍 사각형을 이용한 선분 길이 비교를 나타낸 도면이다.
도 21은 본 발명에 적용된 타겟 좌표의 투영 변환을 위한 블랍 사각형 검출을 나타낸 도면이다.
도 22는 본 발명에 적용된 참조 체커보드 영상의 타겟 번호 부여에서 투영 변환된 타겟을 나타낸 도면이다.
도 23은 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개보다 많은 경우를 나타낸 도면이다.
도 24는 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개인 경우를 나타낸 도면이다.
도 25 및 도 26은 본 발명의 체커보드를 이용한 자동 타겟 인식 방법에 따라 상기 도 1에 도시된 체스보드 및 소정의 패턴을 가진 보드의 자동 타겟 인식 결과를 각각 나타낸 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명에서는 카메라의 내부적인 특성을 파악하기 위해 캘리브레이션을 수행하며, 카메라 캘리브레이션을 위해 체커보드(100)를 이용한다.

이때 상기 체커보드(100)는 도 1의 (a)에 도시된 것처럼 흑백 패턴을 반복하여 나타내는 체스보드를 이용하는 것이 일반적이다. 또한 상기 체커보드(100)는 도 1의 (b)에 도시된 것처럼 다양한 환경에 적용하기 위해 체스보드가 아닌 소정의 패턴을 가진 보드를 이용할 수 있다. 또한 상기 체커보드(100)는 흑백 패턴 이외에, 컬러 패턴을 포함할 수 있으며, 흑백 패턴과 컬러 패턴을 조합한 패턴을 반복하여 나타내는 체스보드 또는 소정의 패턴을 포함하는 보드로 구성할 수 있다.

또한 상기 체커보드(100)는 장기간 사용을 위해서 변형의 가능성이 적은 10mm 두께의 포맥스(pomax) 재질을 사용하는 것이 바람직하며, 그 이외에 직물, 플라스틱 등의 다양한 재질로 형성할 수 있음을 밝혀둔다.

특히, 본 발명은 상기 체커보드(100)에 체커보드 영상 내 타겟을 자동으로 인식하기 위하여 블랍(200)을 사용한다. 상기 블랍(200)은 상기 체커보드(100)의 소정 위치에 부착되어, 상기 체커보드(100)의 영상 내에서 타겟을 자동으로 인식하기 위해 사용되며, 카메라 캘리브레이션을 위해 촬영한 영상에서 사각형을 인식하기 위한 테두리의 사각형 내부에 원으로 구성된다.

상기 블랍(200)은 상기 체커보드(100) 내에 총 8개를 사용하고, 내측에 구비되는 1번 내지 4번 블랍은 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드(100)의 방향성을 판별하기 위한 방향성 판별용 블랍(210)으로 사용하고, 외측에 구비되는 5번 내지 8번 블랍은 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드(100)의 타겟 개수를 산출하기 위한 타겟 개수 산출용 블랍(220)으로 사용한다.

여기서, 본 발명에서는 상기 블랍(200)을 상기 체커보드(100) 내에 총 8개를 사용하는 것을 예로 하여 설명하지만 이에 한정되는 것은 아니며, 그 수를 다양하게 변경시켜 사용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드에 적용되는 블랍을 보다 상세하게 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 상기 블랍(200)은 흑색 바탕에 흰색 원으로 구성한다. 또한 상기 블랍(200)은 사각형을 인식하기 위한 흑색 테두리와 백색 테두리의 사각형 내부에 흰색 원으로 구성한다.

이때 상기 블랍(200)의 외곽을 구성하는 사각형 중 최외곽의 흑색 사각형의 가로 및 세로 비율은 상기 체커보드(100)의 가로 길이의 약 4% 및 세로 길이의 약 7%로 하여 직사각형 형태로 구성한다.

또한 상기 블랍(200)의 외곽을 구성하는 사각형 중 백색 사각형의 가로 및 세로 비율은 상기 흑색 사각형보다 약 0.5% 정도 작은 비율의 직사각형 형태로 구성한다.

여기서 상기 흑색 사각형 및 백색 사각형의 가로 및 세로 비율은 상기 설명한 비율과 달리 다양하게 적용할 수 있다.

도 3은 본 발명의 일 실시예에 따른 자동 타겟 인식 장치의 구성을 보다 상세하게 나타낸 도면이다.

도 3에 도시된 바와 같이, 본 발명의 자동 타겟 인식 장치(300)는 타겟 검출부(310), 블랍 검출부(320), 자동 타겟 인식부(330) 등을 포함하여 구성된다.

상기 타겟 검출부(310)는 카메라 캘리브레이션을 위해 블랍(200)이 구비된 체커보드(100)를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 기능을 수행한다.

상기 블랍 검출부(320)는 상기 촬영한 체커보드 영상에서 블랍을 검출하는 기능을 수행한다.

상기 자동 타겟 인식부(330)는 상기 타겟 검출부(310)에서 검출한 타겟과 상기 블랍 검출부(320)에서 검출한 블랍을 이용하여 자동으로 타겟을 인식하는 기능을 수행한다.

이때 상기 자동 타겟 인식부(330)는 기준 체커보드 판별부(331), 오검출 타겟 제거부(332), 방향성 판별부(333), 투영 변환부(334), 타겟 대응부(335) 등을 포함하여 구성된다.

상기 기준 체커보드 판별부(331)는 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지, 아니면 참조 체커보드 영상인지 판별한다.

상기 오검출 타겟 제거부(332)는 상기 기준 체커보드 판별부(331)에서 판별한 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거한다.

상기 방향성 판별부(333)는 상기 기준 체커보드 판별부(331)에서 판별한 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별한다.

상기 투영 변환부(334)는 상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서, 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환한다.

상기 타겟 대응부(335)는 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시킨다.

이와 같이 구성된 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 이용한 자동 타겟 인식 방법의 동작과정을 도 4 내지 도 6을 참조하여 설명하면 다음과 같다. 여기에서는, 자동 타겟 인식에 대한 전체 동작과정에 대하여 설명하고, 각 단계별 상세한 동작과정은 후술하는 도 7 내지 도 26에서 상세하게 설명하기로 한다.

도 4는 본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 방법의 동작과정을 상세하게 나타낸 순서도이고, 도 5는 본 발명에 적용된 자동 타겟 인식 방법에서 흑백 패턴의 타겟을 검출하는 과정을 상세하게 나타낸 순서도이며, 도 6은 본 발명에 적용된 자동 타겟 인식 방법에서 타겟에 번호를 부여하는 과정을 상세하게 나타낸 순서도이다.

도 4에 도시된 바와 같이, 본 발명은 카메라 캘리브레이션을 위해서 탈부착이 가능한 블랍(200)이 구비된 체커보드(100)를 카메라의 위치와 자세를 바꿔서 촬영하는 단계를 수행하고(S100), 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟(즉 흑백 패턴)을 검출하는 타겟 검출 단계를 수행한다(S200).

이때 상기 체커보드(100)는 흑백 패턴의 타겟 검출을 위해서 도 1에 도시된 것과 같이 총 8개의 블랍(200)을 이용한다. 예를 들어 1번 내지 4번 블랍은 상기 체커보드(100) 영상의 방향성을 판별하는데 사용하며, 5번 내지 8번 블랍은 오검출되는 타겟을 제거하는데 사용한다. 또한 1번 내지 8번 블랍을 모두 이용하여 영상 간의 투영 변환을 위한 매개변수를 결정하는데 사용한다.

상기 S200 단계에서 수행되는 타겟을 검출하는 타겟 검출 단계를 도 5를 참조하여 상세하게 설명하면, 상기 촬영한 체커보드 영상에서 특징점 연산자를 이용하여 특징점을 검출하는 단계를 수행하고(S210), 상기 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건의 3가지 조건을 모두 충족하는지를 판단하는 단계를 수행한다(S220 내지 S240).

상기 S220 내지 S240 단계의 판단결과, 상기 S210 단계에서 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건을 모두 충족하면, 해당 체커보드 영상의 특징점을 상기 패턴의 타겟으로 검출하는 단계를 수행한다(S250).

또한 카메라의 자동 타겟 인식 장치(300)는 상기 S100 단계에서 촬영한 체커보드(100)의 영상에서 블랍(200)을 검출하는 블랍 검출 단계를 수행한다(S300). 즉 상기 촬영한 체커보드(100)의 영상에서 다각형 검출을 수행하고, 경계선 간 각도를 산출하여 상기 체커보드(100)에 구비된 블랍(200)을 검출하는 것이다.

상기 S300 단계의 블랍 검출 단계를 보다 상세하게 설명하면, 카메라의 자동 타겟 인식 장치(300)는 상기 촬영한 체커보드 영상에서 다각형을 검출하고, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90도±45도 이내인 다각형을 사각형으로 판별한다. 그리고 상기 판별한 사각형 중 백색 사각형의 네 꼭지점에서 바깥 방향으로 블랍(200)의 크기에 비례한 길이만큼 선분을 그린 후 밝기 값의 변화 횟수를 검사하여, 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍(200)을 포함하는 사각형으로 판별한다. 상기 판별한 블랍(200)을 포함하는 사각형 내에서 추출된 경계선을 이용하여 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서 각각의 벡터 간 각도가 최소 -80도 이하, 최대 0도 이하인 경우 원으로 가정하며, 상기 원으로 가정하는 다각형의 면적이 모든 블랍의 평균 면적의 70% 이상인 경우 상기 다각형을 블랍(200)으로 검출한다.

상기 S200 단계를 통해 복수의 체커보드 영상에서 복수의 타겟을 검출하고, S300 단계를 통해 블랍(200)을 검출한 이후, 카메라의 자동 타겟 인식 장치(300)는 상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 타겟 인식 단계를 수행한다(S400 내지 S800).

상기 타겟 인식 단계를 구체적으로 설명하면, 상기 카메라의 자동 타겟 인식 장치(300)는 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 단계를 수행한다(S400). 즉 기준 정방향으로 촬영된 체커보드 영상인 기준 체커보드 영상인지, 아니면 상기 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐 등이 나타나는 영상인 참조 체커보드 영상인지의 여부를 판단하는 것이다.

상기 S400 단계의 판단결과 기준 체커보드 영상이면, 상기 카메라의 자동 타겟 인식 장치(300)는 상기 기준 체커보드 영상에 대해서 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출한 후 오검출한 타겟을 제거하고, 상기 오검출한 타겟이 제거된 상기 기준 체커보드 영상에서 모든 타겟에 대해 번호를 부여하는 단계를 수행한다(S500).

상기 S500 단계의 오검출한 타겟을 제거하는 것을 보다 상세하게 설명하면, 카메라의 자동 타겟 인식 장치(300)는 상기 기준 체커보드 영상에서 가장자리 네 방향의 타겟 배열을 검출하고, 상기 검출한 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출하며, 상기 산출한 각 라인별 각도가 기 설정된 범위의 각도를 벗어나는 경우 해당 타겟을 오검출 타겟으로 분류하여 제거한다.

또한 상기 S400 단계의 판단결과 기준 체커보드 영상이 아니면, 상기 카메라의 자동 타겟 인식 장치(300)는 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍(200)을 이용해서 상기 참조 체커보드 영상의 방향성을 판별하는 단계를 수행한다(S600).

상기 S500 단계를 통해 기준 체커보드 영상에서 오검출한 타겟을 제거한 후 모든 타겟에 번호를 부여하고, S600 단계를 통해 참조 체커보드 영상에서 방향성을 판별한 이후에는, 기준 체커보드 영상의 블랍(200)과 참조 체커보드 영상의 블랍(200)을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 단계를 수행한다(S700). 즉 상기 블랍(200)을 이용하여 번호가 부여된 타겟이 존재하는 기준 체커보드 영상에서 타겟의 번호가 부여되지 않은 타겟이 존재하는 참조 체커보드 영상으로 투영 변환하는 것이다.

이후 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시켜, 타겟에 번호를 부여하는 단계를 수행한다(S800).

상기 S800 단계에서 수행되는 타겟에 번호를 부여하는 과정을 도 6을 참조하여 상세하게 설명하면, 상기 S700 단계에서 투영 변환된 기준 체커보드 영상의 타겟들은 참조 체커보드 영상의 타겟에 정확하게 위치하지 않기 때문에, 상기 투영 변환된 기준 체커보드 영상의 타겟과 상기 참조 체커보드 영상의 타겟 간에 가까운 타겟 좌표를 탐색하여, 상기 기준 체커보드 영상의 타겟 번호와 동일하게 참조 체커보드 영상의 타겟 번호를 부여하는 단계를 수행한다(S810).

또한 상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 발생할 수 있다. 이 경우 타겟 번호가 부여되지 않은 특징점의 타겟 번호를 부여하는 단계를 수행한다(S820). 예를 들어 투영 변환된 기준 체커보드 영상 및 참조 체커보드 영상의 타겟에서 블랍 사각형의 크기에 비례하는 일정 반경을 이용하여 참조 체커보드 영상의 특징점이 존재하면 타겟과 특징점 간 최소 거리에 있는 특징점을 타겟으로 판별하고 번호를 부여하는 것이다.

또한 상기 번호를 부여하는 것은, 좌상단 타겟부터 시작하고, 상기 좌상단 타겟으로부터 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호로 선정하고, 우하단 타겟의 번호가 선정될 때까지 수행한다.

다음에는, 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 이용한 자동 타겟 인식 방법의 각 단계별 상세구성을 도 7 내지 도 26을 참조하여 설명한다.

먼저 도 7 내지 도 11을 참조하여, 상기 도 4의 S200 단계의 흑백 패턴의 타겟 검출에 대하여 설명하면 다음과 같다.

도 7은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 타겟 검출을 위한 원형 탐색을 설명하기 위한 도면이고, 도 8은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 양방향 모두 흑색과 백색이 아닌 경우를 나타낸 도면이고, 도 9는 본 발명에 적용된 흑백 패턴의 타겟 검출에서 한 방향은 흑색이고 다른 방향은 백색인 경우를 나타낸 도면이고, 도 10은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 경계선 횟수에 의한 타겟 검출을 설명하기 위한 도면이며, 도 11은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 흑백 픽셀의 비율에 의한 타겟 검출을 설명하기 위한 도면이다.

흑백 패턴의 타겟을 검출하기 위해서는 특징점을 이용한다. 상기 특징점은 KLT, Harris,

등의 특징점 연산자를 이용하여 특징점을 검출하고, 부화소(sub-pixel) 단위로 특징점의 좌표 값이 추출되도록 한다. 상기 검출된 특징점은 흑백 타겟의 교차점뿐만 아니라 다양한 모서리 등에서도 추출되기 때문에, 일정 조건을 통해 검출된 특징점 중에서 흑백 패턴의 타겟에 해당하는 특징점만 추출될 수 있도록 해야 한다.

모든 특징점으로부터 블랍의 크기에 비례한 일정 반경의 원을 구성한다. 원의 반경은 영상에 나타나는 모든 블랍 사각형의 가로 길이를 3으로 나누고, 3으로 나눈 모든 블랍 사각형의 가로 길이에 대한 평균값이다.

도 7에 도시된 바와 같이, 원을 그리며 해당되는 픽셀들에 대해 밝기 값의 최소, 최대값을 산출하고, 수학식 1과 같이 정량화한다. 정량화된 밝기 값을 분류하기 위해 0 내지 255단계로 나타나는 밝기 값의 중앙값에 해당하는 127에서 흑색의 범위는 좀 더 어두운 값에, 그리고 백색의 범위는 좀 더 밝은 값에 범위를 두여 흑색과 백색을 분류한다. 예를 들면, 밝기 값 분포도를 고려하여 흑색의 범위는 0 내지 50사이의 밝기 값으로 하고 백색의 범위는 205 내지 255로 정하여 흑색과 백색을 분류할 수 있다.

[수학식 1]

정량화된 그레이 영상 픽셀값 = (해당 영상 픽셀값 - 최소 픽셀값) × (255/최대 픽셀값 - 최소 픽셀값)

본 발명에서는 모든 특징점으로부터 타겟을 검출하기 위해, 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건의 3가지 조건을 적용한다. 상기 3가지 조건을 적용하기 위해 특징점의 중심으로부터 좌측과 우측으로 일정 반경의 원을 양방향으로 그린다. 3가지 조건에 모두 충족되는 특징점은 타겟으로 검출한다.

상기 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백 픽셀의 비율 조건의 3가지 조건 각각에 대해서 보다 상세하게 설명한다.

첫 번째, 흑백 패턴의 왜곡 고려 조건을 설명하면, 제작된 사각형의 타겟은 영상을 촬영하는 방향 또는 각도에 따라 도 8에 도시된 바와 같이 흑백 패턴의 사각형의 형태가 변형되어 나타날 수 있다. 사각형의 형태가 변형됨에 따라 흑색과 백색 사이의 픽셀 개수가 다르게 나타난다. 변형된 형태의 흑백 패턴은 도 9에 도시된 바와 같이 특징점에서 양방향의 픽셀 값이 한 방향은 흑색으로 나타나고 다른 방향은 백색으로 나타날 수 있다. 또한, 도 8에 도시된 바와 같이 양방향 모두 흑색과 백색의 범위에 들지 못할 수도 있다. 도 9와 같이 나타나는 경우는 주로 영상을 촬영하는 방향 또는 각도에 따라 변형된 흑백 패턴 형태로 나타난다. 도 8과 같이 나타나는 경우는 주로 흑색과 백색 모두 해당되지 않는 픽셀 값 51 내지 204의 범위로 나타난다. 타겟은 주로 흑백 패턴을 갖기 때문에 흑색과 백색이 아닌 픽셀 개수(픽셀 값 51 내지 204 범위의 픽셀 개수)보다 한 방향은 흑색(픽셀 값 0 내지 50 범위), 다른 방향은 백색(픽셀 값 205 내지 255)으로 나타나는 픽셀의 개수가 많다면 타겟으로 검출한다.

두 번째, 경계선 횟수 조건을 설명하면, 특징점으로부터 상기 도 8 및 도 9에서와 같이 양방향으로 원을 그릴 때, 흑색에서 백색, 또는 백색에서 흑색으로 변화되는 구간을 경계선으로 가정한다. 그리고 도 10에 도시된 바와 같이 각 방향별로 한 번의 경계선 영역이 나타나는 경우에만 타겟으로 검출한다.

세 번째, 흑백 픽셀의 비율 조건을 설명하면, 흑백 패턴의 왜곡 고려 조건과 경계선 횟수 조건을 고려했을 때 흑백의 픽셀 개수가 고려되지 않는다. 흑백이 아닌 픽셀의 개수가 흑백의 픽셀 개수보다 많을 수 있는 경우가 발생하는데, 이 경우에는 흑백의 픽셀 개수에 대해 흑백이 아닌 픽셀의 개수가 비율적으로 적어야 한다. 특징점으로부터 도 11에 도시된 바와 같이 좌우방향으로 원을 그릴 때 양쪽 동시에 흑색 또는 백색인 경우(○)의 수가 흑색 또는 백색이 아닌 경우(□)의 수보다 일정한 비율(20%)보다 많으면 타겟으로 검출한다. 즉 흑색 또는 백색인 경우(○)의 픽셀 개수×0.2 > 흑색 또는 백색이 아닌 경우(□)의 픽셀 개수이면, 타겟으로 검출하는 것이다. 비율을 20%로 설정한 이유는 정상적인 흑백 패턴이라면 흑백이 아닌 픽셀의 개수가 흑백의 픽셀 개수의 20%를 넘을 수 없기 때문이다. 예를 들어 흑백이 아닌 픽셀의 개수가 12개, 흑색의 픽셀 개수가 40개, 백색의 픽셀 개수가 40개라 가정하면, 이때 흑백의 픽셀 개수의 20%는 16개이기 때문에 흑백이 아닌 픽셀의 개수인 12개 보다 많으므로 상기 특징점을 타겟으로 검출한다.

또한, 도 12 및 도 13을 참조하여, 상기 도 4의 S300 단계의 블랍 검출에 대하여 설명하면 다음과 같다.

도 12는 본 발명에 적용된 블랍 검출에서 다각형의 각도 산출을 설명하기 위한 도면이고, 도 13은 본 발명에 적용된 블랍 검출에서 블랍을 포함하는 사각형의 판별을 설명하기 위한 도면이다.

블랍의 개수를 찾기 위해서는 상기 도 2에 도시된 바와 같이 블랍을 둘러싸고 있는 사각형을 판별해야 한다. 사각형은 영상에서 경계선을 추출하고 경계선을 이용하여 다각형을 검출한다. 다각형을 검출한 후, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90°±45°이내인 다각형을 사각형으로 판별한다. 각도를 산출하는 방법은 수학식 2와 같이 점 3개를 이용하여 산출한다. 도 12에 도시된 바와 같이 점 3개는 A, B, C이며, P1, P2는 벡터이다.

[수학식 2]

모든 사각형이 내부에 블랍을 포함하고 있는 것은 아니므로 사각형 중에서 블랍을 포함하는지 여부를 살펴봐야 한다. 이를 위해 도 13에 도시된 바와 같이 백색으로 둘러싸고 있는 사각형의 네 꼭지점에서 바깥 방향으로 블랍의 크기에 비례한 길이만큼 선분을 그린 후, 밝기 값의 변화 횟수를 검사한다. 이때 밝기 값은 상기 수학식 1을 통해 정량화한 값을 이용하여 변화 횟수를 검사한다. 꼭지점에서 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍을 포함하는 사각형으로 판별한다. 이때 꼭지점이 3개 이상, 4개 이하인 사각형을 판별하는 이유는 잡영으로 인한 잘못된 판별로 사각형을 인식하지 못할 수 있기 때문이다.

사각형 내부의 블랍은 사각형에서 경계선을 추출하고, 경계선을 이용하여 다각형을 검출한다. 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서, 각각의 벡터 간 각도가 최소 -80° 이하, 최대 0° 이하인 경우 원으로 가정한다. 원으로 가정할 수 있는 다각형에서 실제 블랍이 아닌 작은 먼지나 작은 점과 같은 것을 제외하고 원을 인식하기 위하여, 모든 블랍의 평균 면적을 구하여 다각형들의 면적이 평균 면적의 70%보다 작은 경우 잡영으로 판단하여 제외한다. 이때 제외되지 않은 다각형을 블랍으로 검출하며, 블랍의 개수에 따라 번호를 부여한다.

또한, 도 14 내지 도 17을 참조하여, 상기 도 4의 S500 단계의 기준 체커보드 영상의 오검출 타겟 제거에 대하여 설명하면 다음과 같다.

도 14는 본 발명에 적용된 오검출 타겟 제거에서 오검출 타겟을 나타낸 도면이고, 도 15는 본 발명에 적용된 오검출 타겟 제거에서 가장자리 4방향의 타겟 배열을 나타낸 도면이며, 도 16 및 도 17은 본 발명에 적용된 오검출 타겟 제거에서 가로 방향 타겟 간 각도 산출 및 방향 타겟 간 각도 산출을 나타낸 도면이다.

기준 정방향 영상인 기준 체커보드 영상을 투영 변환하여 참조 영상에 대해서 타겟에 번호를 부여하기 때문에 기준 정방향 영상에 대하여 우선적으로 타겟에 번호를 부여해야 한다. 이처럼 기준 정방향 영상에 타겟에 번호를 부여하기 위해서는 오검출된 타겟을 제거하고, 타겟의 개수를 산출해야 한다. 상기 오검출된 타겟은 다양한 잡영에 의해 도 14와 같이 나타날 수 있다.

타겟의 개수 산출을 위해서는 도 15와 같이 체커보드의 가장자리 4방향의 타겟 배열들을 검출한다. 가장자리 4방향의 타겟 배열들을 검출하기 위해서는 5번 내지 8번 블랍을 이용하여 도 15의 점을 검출한다. 타겟들 중 오검출된 타겟을 제거하기 위해 다음과 같은 과정을 수행한다. 상단 타겟 배열은 상단 점으로부터 5번, 6번 블랍보다 위에 있는 타겟들 각각의 거리를 산출한다. 타겟들 각각의 거리가 20%를 벗어나면 오검출된 타겟으로 인식한다. 또한 3방향의 타겟 배열도 5 내지 8번 블랍을 이용하여 위와 같이 오검출된 타겟을 제거한다.

상기 체커보드의 가장자리 4방향의 타겟 배열들을 이용하여 모든 타겟 중 오검출된 타겟을 분류해야 한다. 가로 방향과 세로 방향으로 각도를 산출하여 각도를 벗어나는 타겟은 오검출된 타겟으로 분류한다. 먼저 가로 방향으로 각도를 산출하기 위해서, 도 16에 도시된 바와 같이 가장 좌측 타겟(○)을 기준 타겟으로 가정 후 해당 가로 줄의 기준 타겟으로부터 가까운 순서대로 각각 타겟(●)과의 각도를 산출한다. 좌측과 우측 타겟(○) 간 각도의 ±1% 범위를 벗어나는 타겟은 오검출된 타겟으로 제거한다. 예를 들어, 좌측과 우측 타겟 간 각도가 90도라면 ±1% 범위는 89.1°내지 90.9°이다.

또한 도 17에 도시된 바와 같이 세로 방향으로 오검출된 타겟을 제거하기 위한 방법은 가로 방향과 같다. 다만, 상단과 하단 타겟(○) 간 각도의 ±1% 범위를 벗어나는 타겟은 오검출된 타겟으로 제거한다. 렌즈 왜곡이 심한 경우 각도의 ±1% 범위를 벗어날 수 있으나, 정방향 기준 영상에 대해서만 적용하므로 위와 같이 수행한다.

또한, 도 18을 참조하여, 상기 도 4의 S500 단계의 기준 체커보드 영상의 타겟 번호 부여에 대하여 설명하면 다음과 같다.

도 18은 본 발명에 적용된 기준 체커보드 영상의 타겟 번호 부여에서 기준 타겟으로부터 가까운 두 타겟의 탐색 및 이후 타겟으로부터 가까운 두 타겟의 탐색을 설명하기 위한 도면이다.

기준 체커보드 영상에서 번호 부여는 좌상단 타겟부터 시작하고, 번호는 1번으로 설정한다. 좌상단 타겟으로부터 가까운 두 타겟은 도 18과 같이 나타날 수 있으며, 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호의 타겟으로 선정한다. 이후 같은 과정으로 다음 타겟에 대한 번호를 선정한다.

또한, 도 19 및 도 20을 참조하여, 상기 도 4의 S600 단계의 참조 체커보드 영상의 방향성 판별에 대하여 설명하면 다음과 같다.

도 19는 본 발명에 적용된 참조 체커보드 영상의 방향성 판별에서 4가지 타입의 회전에 따른 블랍 구성을 나타낸 도면이며, 도 20은 본 발명에 적용된 참조 체커보드 영상의 방향성 판별을 위한 블랍 사각형을 이용한 선분 길이 비교를 나타낸 도면이다.

상기 체커보드 영상은 어떻게 촬영하는가에 따라 회전되어 촬영되거나 체커보드의 일부만 촬영될 수 있다. 상기 체커보드에서 중심 영역에 있는 1번 내지 4번 블랍은 도 19에 도시된 바와 같이 A, B, C 및 D 타입의 4타입으로 회전될 수 있다.

상기 체커보드 영상에서 1번 내지 4번 블랍 사각형 중 최소 2개 이상의 블랍 사각형이 나타나면 방향성을 판별할 수 있다. 방향성 판별은 도 20에 도시된 바와 같이 길이를 비교하기 위한 6가지 타입으로 나눌 수 있다. 각각 점선화살표와 실선화살표로 두 가지 선분의 길이를 비교하고 블랍을 포함하는 사각형의 꼭지점 좌표를 비교하여 방향성을 판별한다.

또한, 도 21을 참조하여, 상기 도 4의 S700 단계의 타겟 좌표의 투영 변환에 대하여 설명하면 다음과 같다.

도 21은 본 발명에 적용된 타겟 좌표의 투영 변환을 위한 블랍 사각형 검출을 나타낸 도면이다.

기준 체커보드 영상을 제외한 참조 체커보드 영상에 대한 타겟의 번호 부여는 도 21에 도시된 바와 같이 블랍을 포함하는 모든 사각형의 네 꼭지점 좌표와 기준 체커보드 영상의 블랍을 포함하는 사각형의 네 꼭지점 좌표를 이용하여 호모그래피 행렬을 생성한다. 그리고 상기 생성한 호모그래피 행렬을 이용하여 기준 체커보드 영상 내 타겟의 좌표를 참조 체커보드 영상에 투영 변환한다.

또한, 도 22를 참조하여, 상기 도 4의 S800 단계의 참조 체커보드 영상의 타겟 번호 부여에 대하여 설명하면 다음과 같다.

도 22는 본 발명에 적용된 참조 체커보드 영상의 타겟 번호 부여에서 투영 변환된 타겟을 나타낸 도면이다.

호모그래피 행렬을 이용하여 기준 체커보드 영상의 타겟 좌표점들을 투영 변환하면, 참조 체커보드 영상에서 검출된 타겟 주변에 위치한다. 이때 투영 변환된 기준 체커보드 영상의 타겟들은 도 22에 도시된 바와 같이 정확하게 참조 체커보드 영상의 타겟에 위치하지 않기 때문에, 가까운 타겟 좌표를 탐색하여 기준 체커보드 영상 타겟들의 번호와 동일하게 부여한다.

또한, 도 23 및 도 24를 참조하여, 상기 도 4의 S800 단계의 참조 체커보드 영상의 타겟 번호 부여에서 타겟 번호가 부여되지 않은 특징점의 타겟 번호 부여에 대하여 설명하면 다음과 같다.

도 23은 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개보다 많은 경우를 나타낸 도면이며, 도 24는 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개인 경우를 나타낸 도면이다.

상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 생길 수 있다. 이 경우 투영 변환된 타겟에서 블랍 사각형의 크기에 비례하는 일정 반경을 이용하여 참조 체커보드 영상의 특징점이 존재하면 타겟과 특징점 간 최소 거리에 있는 특징점을 타겟으로 판별하고 번호를 부여한다. 다만, 도 23에 도시된 바와 같이 일정 반경 내에 특징점이 1개 보다 많이 존재하면 최소 거리(즉 해당 타겟(파란색)과 각 특징점(빨간색) 간의 거리)가 타겟 검출을 위한 일정 반경의 50%보다 짧다면 특징점을 타겟으로 판별하고 번호를 부여한다. 또한 도 24에 도시된 바와 같이 일정 반경 내에 특징점이 1개 존재하고 최소 거리(즉 해당 타겟(파란색)과 특징점(빨간색) 간의 거리)가 일정 반경의 약 70%보다 짧다면 특징점을 타겟으로 판별하고 번호를 부여한다. 촬영 각도와 환경에 따라 각각 일정 퍼센트에 해당하는 길이보다 길다면 타겟과 관련 없는 특징점을 타겟으로 판별할 수 있기 때문이다.

또한, 도 25 및 도 26은 본 발명의 체커보드를 이용한 자동 타겟 인식 방법에 따라 도 1에 도시된 체스보드 혹은 소정의 패턴을 가진 보드의 자동 타겟 인식 결과를 각각 나타낸 도면으로서, 탈부착이 가능한 블랍이 구비된 체스보드 혹은 소정의 패턴을 가진 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식할 수 있음을 확인할 수 있다.

이처럼, 본 발명은 체스보드 혹은 소정의 패턴을 가진 보드에 부착된 복수 개의 블랍을 이용하여 다수의 체커보드 영상 내 타겟을 자동으로 검출할 수 있으므로, 어떠한 환경에서도 수월하게 카메라 캘리브레이션을 수행할 수 있고, 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부결정요소를 효과적으로 결정할 수 있으며, 외부의 다양한 시설물, 건물, 조형물 등과 같은 객체의 3차원 모델링이 가능하다.

또한 본 발명은 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용하여 체커보드 타겟을 검출하기 때문에, 흑백 패턴의 타겟 주변에 존재하는 잡영에 영향을 받지 않고 타겟을 검출할 수 있다.

또한 본 발명은 상기 체커보드 타겟의 인식과정에서 상기 블랍을 이용하기 때문에, 상기 체커보드 영상의 일부만 나타날 경우에도 블랍 간의 기하학적인 관계를 이용하여 번호를 체계적으로 부여할 수 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 체커보드 200 : 블랍
210 : 방향성 판별용 블랍 220 : 타겟 개수 산출용 블랍
300 : 자동 타겟 인식 장치 310 : 타겟 검출부
320 : 블랍 검출부 330 : 자동 타겟 인식부
331 : 기준 체커보드 판별부 332 : 오검출 타겟 제거부
333 : 방향성 판별부 334 : 투영 변환부
335 : 타겟 대응부

Claims (12)

1. 카메라 캘리브레이션을 위해 블랍이 구비된 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 타겟 검출 단계;
   상기 촬영한 체커보드 영상에서 블랍을 검출하는 블랍 검출 단계; 및
   상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 타겟 인식 단계;를 포함하며,
   상기 타겟 검출 단계는,
   상기 촬영한 체커보드 영상에서 특징점 연산자를 이용하여 특징점을 검출하는 단계; 및
   상기 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건을 모두 충족하면 해당 체커보드 영상의 특징점을 상기 패턴의 타겟으로 검출하는 단계;를 더 포함하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 방법.
2. 청구항 1에 있어서,
   상기 타겟 인식 단계는,
   상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 단계;
   상기 판별한 결과 기준 체커보드 영상이면, 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거하는 단계;
   상기 판별한 결과 참조 체커보드 영상이면, 상기 참조 체커보드 영상에 대해서 상기 검출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별하는 단계;
   상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 단계; 및
   상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시켜 타겟에 번호를 부여하는 단계;를 포함하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 방법.
3. 청구항 1에 있어서,
   상기 체커보드는, 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴을 포함하고,
   상기 패턴의 타겟 인식을 위해 8개의 블랍이 구비되고,
   1번 내지 4번 블랍은 상기 체커보드 영상의 방향성 판별에 사용하고, 5번 내지 8번 블랍은 오검출되는 타겟을 제거하는데 사용하거나 타겟 개수를 산출하는데 사용하며,
   1번 내지 8번 블랍은 영상 간의 투영 변환을 위한 매개변수 결정에 사용하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 방법.
4. 삭제
5. 청구항 1에 있어서,
   상기 블랍 검출 단계는,
   상기 촬영한 체커보드 영상에서 다각형을 검출하고, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90도±45도 이내인 다각형을 사각형으로 판별하고,
   상기 판별한 사각형 중 백색 사각형의 네 꼭지점에서 바깥 방향으로 블랍의 크기에 비례한 길이만큼 선분을 그린 후 밝기 값의 변화 횟수를 검사하여, 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍을 포함하는 사각형으로 판별하고,
   상기 판별한 블랍을 포함하는 사각형 내에서 추출된 경계선을 이용하여 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서 각각의 벡터 간 각도가 최소 -80도 이하, 최대 0도 이하인 경우 원으로 가정하며,
   상기 원으로 가정한 다각형의 면적이 모든 블랍의 평균 면적의 70% 이상인 경우 상기 다각형을 블랍으로 검출하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 방법.
6. 청구항 2에 있어서,
   상기 오검출한 타겟을 제거하는 것은,
   상기 기준 체커보드 영상에서 가장자리 네 방향의 타겟 배열을 검출하고,
   상기 검출한 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출하며,
   상기 산출한 각 라인별 각도가 기 설정된 범위의 각도를 벗어나는 경우 해당 타겟을 오검출 타겟으로 분류하여 제거하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 방법.
7. 청구항 2에 있어서,
   상기 타겟에 번호를 부여하는 단계는,
   상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟 간에 가까운 타겟 좌표를 탐색하여, 상기 기준 체커보드 영상의 타겟 번호와 동일하게 상기 참조 체커보드 영상의 타겟 번호를 부여하는 단계; 및
   상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 발생하는 경우, 타겟 번호가 부여되지 않은 특징점의 타겟 번호를 부여하는 단계;를 더 포함하며,
   상기 타겟 번호를 부여하는 것은, 좌상단 타겟부터 시작하고, 상기 좌상단 타겟으로부터 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호로 선정하고, 우하단 타겟의 번호가 선정될 때까지 수행하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 방법.
8. 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴을 반복하여 나타내는 체스보드 또는 소정의 패턴을 포함하는 보드를 포함하는 체커보드; 및
   상기 체커보드의 소정 위치에 부착되어, 상기 체커보드의 영상 내에서 타겟을 자동으로 인식하기 위한 블랍;을 포함하며,
   상기 블랍은,
   카메라 캘리브레이션을 위해 촬영한 영상에서 사각형을 인식하기 위한 테두리의 사각형 내부에 원으로 구성되며,
   상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드의 방향성을 판별하기 위한 방향성 판별용 블랍; 및
   상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드의 오인식 타겟 제거 및 타겟 개수를 산출하기 위한 타겟 개수 산출용 블랍;을 포함하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드.
9. 삭제
10. 청구항 8에 있어서,
    상기 블랍은,
    상기 체커보드에 8개를 부착하여 구성하는 경우,
    1번 내지 4번 블랍은 상기 방향성 판별용 블랍으로 사용하고,
    5번 내지 8번 블랍은 상기 타겟 개수 산출용 블랍으로 사용하는 것을 특징으로 하는 카메라 캘리브레이션을 위한 체커보드.
11. 카메라 캘리브레이션을 위해 블랍이 구비된 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 타겟 검출부;
    상기 촬영한 체커보드 영상에서 블랍을 검출하는 블랍 검출부; 및
    상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 자동 타겟 인식부;를 포함하며,
    상기 타겟 검출부는,
    상기 촬영한 체커보드 영상에서 특징점 연산자를 이용하여 특징점을 검출하고, 상기 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건을 모두 충족하면 해당 체커보드 영상의 특징점을 상기 패턴의 타겟으로 검출하는 것을 더 포함하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 장치.
12. 청구항 11에 있어서,
    상기 자동 타겟 인식부는,
    상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 기준 체커보드 판별부;
    상기 판별한 결과 기준 체커보드 영상이면, 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거하는 오검출 타겟 제거부;
    상기 판별한 결과 참조 체커보드 영상이면, 상기 참조 체커보드 영상에 대해서 상기 검출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별하는 방향성 판별부;
    상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 투영변환부; 및
    상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시켜 타겟에 번호를 부여하는 타겟 대응부;를 포함하는 것을 특징으로 하는 체커보드를 이용한 자동 타겟 인식 장치.

Images