KR100966592B1 - 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법 - Google Patents

Abstract

본 발명은 카메라의 보정 방법에 관한 것으로, 보정하고자 하는 카메라로 찍은 영상이 적은 수이고 배경에 존재하는 기하 정보로서 평행 사변형 밖에 없을 때, 소실점의 대응을 이용하는 방법에 비해 정밀도가 높은 카메라 보정을 수행 할 수 있으며, 같은 직선상에 놓이지 않은 소실점이 4개 이상이 아닌 3개뿐인 경우에도 영상사이의 많은 대응점을 필요로 하는 프로젝티브 기하 복원과정이 없이도 무한 호모그래피를 구하여 카메라 보정이 가능하고, 사용자가 특별한 보정틀을 들고 다니지 않고 많은 수의 영상을 획득하지 못한 상황이라 하더라도 평행 사변형 영상을 찍은 적은 수의 영상만 있으면 카메라를 보정하여 카메라로 3차원 정보를 구하는 작업에 이용할 수 있는 이점이 있다.

내부변수 보정, 교정 호모그래피, 평행 사변형 기하 정보

Description

영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법{METHOD FOR CALIBRATING A CAMERA WITH HOMOGRAPHY OF IMAGED PARALLELOGRAM}

본 발명은 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정에 관한 것으로, 더욱 상세하게는 카메라로 찍은 영상에 투영된 한 평면에 존재하지 않는 두 개 이상의 크기와 모양을 모르는 평행 사변형으로부터 카메라의 내부변수를 보정하는 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력 기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호 : 2007-S-051-01, 과제명 : 디지털 크리쳐 제작 S/W 개발]

카메라의 내부변수를 구하는 카메라 보정 작업은 카메라를 이용하여 3차원의 정보를 구하는 모든 작업을 위해 선행되어야 하는 작업이며, 컴퓨터 비젼, 로보틱스, 영화산업, 인간-컴퓨터 상호작용 등에 광범위하게 쓰일 수 있다.

카메라 보정 방식의 종류는 크게 3가지로 나뉠 수 있다.

첫째로는, 카메라 보정을 위해 특별하게 제작되어진 보정틀을 사용하는 것이다. 이것은 보정틀 상의 특정 마커의 상대적인 위치를 미리 정확하게 알 수 있으므로 정밀한 결과를 얻을 수 있으나 무겁고 큰 보정틀을 늘 가지고 다녀야 하는 단점이 있다.

둘째로는, 많은 연속영상을 찍어서 이 영상 자체를 카메라의 보정에 사용할 수 있다. 이것은 프로젝티브 기하 복원을 기반으로 하는 방법으로 자동 보정이라 불려 지는데 카메라 내부변수의 일부에 대해 알고 있다는 가정을 이용하는 것이다. 특별한 보정틀이나 배경에 대한 기하 정보가 없이도 수행할 수 있으나 정밀도를 위해 많은 영상이 필요하다는 단점이 있다.

셋째로는, 카메라 영상에 찍힌 배경에 존재하는 기하 정보를 이용하여 카메라를 보정하는 방법이다. 배경에 존재하는 기하 정보란 수직인 두 평행선의 집합이나 구, 원 등이며, 이를 이용하면 특정한 보정틀이 필요 없으며 많은 영상을 쓰지 않고도 카메라의 정밀한 보정이 가능하다

종래 기술에 따른 카메라 보정의 여러 방법 중에 카메라 영상에 찍힌 배경에 존재하는 기하 정보를 이용하여 카메라를 보정하는 방법은 전술한 바와 같은 장점이 있으나, 카메라 영상에 찍힌 배경에 수직인 두 평행선의 집합이나 구, 원 등의 기하 정보가 존재하지 않을 경우에는 카메라 보정을 할 수 없는 문제점이 있었다.

본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위해 제안한 것으로서, 카메라로 찍은 영상에 투영된 한 평면에 존재하지 않는 두 개 이상의 크기와 모양을 모르는 평행 사변형으로부터 카메라의 내부변수를 보정하는 것이다.

본 발명에 따른 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법은, 카메라 영상에 투영된 기하 정보를 이용하여 카메라를 보정하는 방법으로서, (a) 복수의 카메라 영상에 투영된 상기 기하 정보로서 각각의 평행 사변형을 추출하는 단계와, (b) 추출한 상기 평행 사변형의 호모그래피를 이용하여 카메라의 내부변수를 보정하는 단계를 포함한다.

삭제

본 발명에 의하면, 보정하고자 하는 카메라로 찍은 영상이 적은 수이고 배경에 존재하는 기하 정보로서 평행 사변형 밖에 없을 때, 소실점의 대응을 이용하는 방법에 비해 정밀도가 높은 카메라 보정을 수행할 수 있으며, 같은 직선상에 놓이지 않은 소실점이 4개 이상이 아닌 3개뿐인 경우에도 영상사이의 많은 대응점을 필요로 하는 프로젝티브 기하 복원과정이 없이도 무한 호모그래피를 구하여 카메라 보정이 가능하다.

따라서, 사용자가 특별한 보정틀을 들고 다니지 않고 많은 수의 영상을 획득 하지 못한 상황이라 하더라도 평행 사변형 영상을 찍은 적은 수의 영상만 있으면 카메라를 보정하여 카메라로 3차원 정보를 구하는 작업에 이용할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명에서 가정하는 배경에 존재하는 기하정보는 평행 사변형이다. 본 발명에서는 보정하고자 하는 카메라로 찍은 영상이 적은 수이고 배경에 존재하는 기하 정보로서 평행 사변형 밖에 없을 때를 가정한다. 본 발명에서는 평행 사변형의 모든 변이 3차원 상에서 같은 평면에 놓인 경우를 가정하여 변수를 줄임으로써 소실점의 대응을 이용하는 방법에 비해 정밀도를 향상 시킬 수 있으며 같은 직선상에 놓이지 않은 소실점이 4개 이상이 아닌 3개뿐인 경우에도 영상사이의 많은 대응점을 필요로 하는 프로젝티브 기하 복원과정이 없이도 카메라 보정을 할 수 있게 한다.

도 1은 본 발명에서 정의하는 교정 호모그래피에 의해 변환된 교정 카메라 영상의 예시도이며, 도 2는 교정 카메라 사이의 새로운 무한 호모그래피와 교정 호모그래피, 그리고 원래의 무한 호모그래피의 상관관계를 나타낸 도면이고, 도 3은 본 발명에서 가정하는 카메라 영상에 투영된 평행 사변형의 3차원 상 상태의 예시도이며, 도 4는 본 발명이 적용될 수 없는 카메라 영상에 투영된 평행 사변형의 3차원 상 상태의 예시도이다.

도 1 내지 도 4를 참조하여 본 발명에 따른 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법에 의해 수행되는 카메라 보정 과정에 대해 설명하기로 한다.

먼저, 교정 호모그래피 생성수단은 도 1에서와 같이 임의의 두 카메라 영상에 투영된 각각의 평행 사변형들을 임의의 직사각형으로 변화시키는 3ㅧ3 매트릭스인 2차원 호모그래피들을 구하며, 이 호모그래피를 교정 호모그래피로 정의한다. 이러한 교정 호모그래피를 구하기 위한 임의의 직사각형은 영상의 가로, 세로 축과 각 변이 평행하게 선정되기만 하면 어떠한 크기나 모양이라도 상관이 없다. 도 1의 도면부호 101은 카메라 영상에 투영된 평행 사변형의 각 꼭지점이며, 도면부호 102는 교정 호모그래피를 구하기 위해 임의로 선정되는 직사각형의 꼭지점이다.

다음으로, 제 1 무한 호모그래피 산출수단은 교정 호모그래피 생성수단에 의해 정의한 교정 호모그래피에 의해 원래의 영상에서 변화된 가상의 영상을 가지게 되는 새로운 카메라를 교정 카메라로 정의한다. 도 2에서와 같이 이러한 교정 카메라 사이의 새로운 무한 호모그래피를 정의하고, 도 3에서와 같이 각 평행 사변형을 이루는 변들이 각각 모두 같은 평면상에 놓였다는 가정 하에 다음의 수학식 1과 같은 4개의 변수만으로 표현한다.

이 수학식 1은 배경에 존재하는 k번째 평행 사변형을 대상으로 하며, 각 평행 사변형에 대해 각각 하나씩의 새로운 무한 호모그래피가 구해진다.

도 4와 같이 카메라 영상에는 평행 사변형으로 투영이 되나 실제로 3차원 상에서 모든 변이 하나의 평면에 놓이지 않는 경우에는 본 발명의 방식을 쓸 수 없다.

그리고, 제 2 무한 호모그래피 산출수단은 도 2에서와 같이 새로운 무한 호모그래피와 교정 호모그래피, 그리고 원래의 무한 호모그래피와의 상관관계를 표현하는 방정식을 각 평행 사변형에 대해 산출하며, 이 방정식들을 이용하여 원래의 무한 호모그래피를 구한다. 이 때 필요한 수학식은 m개의 평행 사변형이 있다고 했을 때 다음의 수학식 2와 같이 표현된다.

여기서

는 원래의 무한 호모그래피,

,

는 두 영상 각각에 대해 k번째 평행 사변형에 대응하는 교정 호모그래피이다

위의 작업을 모든 두 카메라 영상 조합에 대해 같이 수행하여 각각에 대해 무한 호모그래피를 구한다.

컴퓨터 비젼 분야에서 사용되는 카메라의 내부변수는 아래의 수학식 3과 같 이 표현된다.

여기서 f _u , f _v 는 각각 이미지 센서의 가로, 세로 픽셀 길이로 표현되는 카메라의 촛점거리이며 s는 이미지센서의 가로축에 대한 세로축의 기울어진 정도를 나타내며, (u _o ,v _o )는 이미지센서와 광축의 교점을 픽셀좌표로 나타낸 것이다.

끝으로, 보정을 위해 각 영상을 찍을 때에 카메라의 내부변수가 변하지 않은 상태라고 가정하며, 카메라 보정수단은 무한 호모그래피와 카메라의 내부변수와의 관계를 이용하여 카메라의 내부변수를 구함으로써 카메라를 보정한다. 이 때 사용되는 수학식은 아래의 수학식 4와 같다.

이 때

는 행렬식이 1이 되도록 크기를 조절해야 하며, i번째 카메라와 j번째 카메라 사이에서 구한 무한 호모그래피이다. 이 수학식 4는 모든 카메라 영상에서 두 개의 영상을 조합하는 가지 수만큼 생기고,

의 변수에 대한 선형 호모지니어스 방정식으로 풀 수 있다.

는 K^-TK^-1 으로 표현된다. 위의 수학식 4로

를 구하고 나면 촐레스키 팩토라이제이션을 통해 K를 구할 수 있다.

지금까지 본 발명의 일 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.

한편, 본 발명에 따른 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

도 1은 본 발명에서 정의하는 교정 호모그래피에 의해 변환된 교정 카메라 영상의 예시도,

도 2는 교정 카메라 사이의 새로운 무한 호모그래피와 교정 호모그래피, 그리고 원래의 무한 호모그래피의 상관관계를 나타낸 도면,

도 3은 본 발명에서 가정하는 카메라 영상에 투영된 평행 사변형의 3차원 상 상태의 예시도,

도 4는 본 발명이 적용될 수 없는 카메라 영상에 투영된 평행 사변형의 3차원 상 상태의 예시도.

Claims (8)

1. 카메라 영상에 투영된 기하 정보를 이용하여 카메라를 보정하는 방법으로서,

   (a) 복수의 카메라 영상에 투영된 상기 기하 정보로서 각각의 평행 사변형을 추출하는 단계와,

   (b) 추출한 상기 평행 사변형의 호모그래피를 이용하여 카메라의 내부변수를 보정하는 단계

   를 포함하는 카메라의 보정 방법.
2. 제 1 항에 있어서,

   상기 (b) 단계는, 추출한 상기 평행 사변형의 모든 변이 3차원 상에서 같은 평면에 놓인 경우를 가정하여 변수를 줄이는

   카메라의 보정 방법.
3. 제 1 항에 있어서,

   상기 (b) 단계는, (b1) 상기 평행 사변형을 이용하여 교정 호모그래피를 정의하는 단계와,

   (b2) 상기 교정 호모그래피에 의해 원래의 영상에서 변화된 가상의 영상을 가지게 되는 새로운 카메라를 교정 카메라로 정의하여 이 교정 카메라 사이의 새로운 무한 호모그래피를 정의하는 단계와,

   (b3) 상기 새로운 무한 호모그래피와 상기 교정 호모그래피, 그리고 원래의 무한 호모그래피와의 상관관계를 이용하여 상기 내부변수를 구하여 상기 카메라를 보정하는 단계

   를 포함하는 카메라의 보정방법.
4. 제 3 항에 있어서,

   상기 (b1) 단계는, 상기 평행 사변형을 직사각형으로 변화시키는 2차원 호모그래피를 구하고 이 호모그래피를 상기 교정 호모그래피로 정의하는

   카메라의 보정 방법.
5. 제 4 항에 있어서,

   상기 (b1) 단계는, 상기 직사각형을 두 변이 상기 원래의 영상의 가로축과 세로축에 각각 평행한 직사각형으로 정하는

   카메라의 보정 방법.
6. 제 3 항에 있어서,

   상기 (b2) 단계는, 추출한 상기 평행 사변형의 모든 변이 3차원 상에서 같은 평면에 놓인 경우를 가정하여 상기 새로운 무한 호모그래피를 4개의 변수만으로 표현하는

   카메라의 보정 방법.
7. 제 3 항에 있어서,

   상기 (b3) 단계는, (b31) 상기 새로운 무한 호모그래피와 상기 교정 호모그래피 및 상기 원래의 무한 호모그래피와의 상관관계를 이용하여 상기 원래의 무한 호모그래피를 구하는 단계와,

   (b32) 상기 원래의 무한 호모그래피와 상기 카메라의 내부변수와의 관계를 이용하여 상기 내부변수를 구하여 상기 카메라를 보정하는 단계

   를 포함하는 카메라의 보정 방법.
8. 제 7 항에 있어서,

   상기 (b32) 단계는, 각 영상을 찍을 때의 상기 카메라의 내부변수가 변하지 않은 상태라는 가정 하에 상기 내부변수를 구하는

   카메라의 보정 방법.

Images