KR20160047847A

KR20160047847A - 영상 정합 방법

Info

Publication number: KR20160047847A
Application number: KR1020140144291A
Authority: KR
Inventors: 오재윤
Original assignee: 한화테크윈 주식회사
Priority date: 2014-10-23
Filing date: 2014-10-23
Publication date: 2016-05-03
Also published as: US9934585B2; US20160117821A1; CN105554441B; CN105554441A; KR101932547B1

Abstract

제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법이 개시된다. 이 방법은 단계들 (a) 내지 (e)를 포함한다. 단계 (a)에서는, 전역 변환 알고리즘에 의하여 제2 영상이 변환된 결과의 예비 변환 영상이 구해진다. 단계 (b)에서는, 제1 영상 및 예비 변환 영상에서 적어도 한 중요 부분 영역이 설정된다. 단계 (c)에서는, 제1 영상 및 예비 변환 영상에서의 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘이 구해진다. 단계 (d)에서는, 부분 변환 알고리즘에 의하여 예비 변환 영상이 변환된 결과의 최종 변환 영상이 구해진다.

Description

영상 정합 방법{Method of image registration}

본 발명은, 영상 정합 방법에 관한 것으로서, 보다 상세하게는, 제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법에 관한 것이다.

일반적으로 동일한 촬영 대상으로부터의 두 영상들을 한 영상으로 변화시키기 위해서는 정합(registration)과 융합(fusion)이 필요하다. 정합은 두 영상들의 위치를 일치시키는 처리 과정이다. 융합은 정합 결과의 영상에 대하여 원래의 두 영상들의 계조를 조정하는 처리 과정이다.

종래의 스테레오 카메라 시스템의 영상 정합(registration) 방법을 요약하면 다음과 같다.

먼저, 기준 거리에 있는 기준 촬영 대상을 제1 카메라가 촬영함에 의하여 제1 기준 영상을 구한다. 또한, 상기 기준 촬영 대상을 제2 카메라가 촬영함에 의하여 제2 기준 영상을 구한다.

다음에, 상기 제1 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 기준 영상을 구한다.

이와 마찬가지로, 상기 제2 기준 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 기준 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 기준 영상을 구한다.

다음에, 투영된 결과의 제1 기준 영상의 각 화소의 좌표에 대한, 투영된 결과의 제2 기준 영상의 각 화소의 좌표의 차이 값들인 기준 좌표-차이 값들을 구한다.

그리고, 적용될 촬영 대상에 대하여 상기 기준 좌표-차이 값들을 사용하여 정합 결과를 구한다. 예를 들어, 상기 기준 좌표-차이 값들을 사용하여 기준 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 설정한 후, 설정되어 있는 2차원 호모그래피 행렬을 사용하여 적용될 촬영 대상에 대한 정합 결과를 구한다.

상기와 같은 영상 정합에 있어서, 상기 제1 기준 영상과 상기 제2 기준 영상 사이에는 3차원적인 시차(視差, parallax)가 존재한다. 즉, 상기 투영된 결과의 제1 및 제2 기준 영상들 사이에는 3차원적인 시차가 작용한다. 이에 따라, 스테레오 카메라에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 정합의 정밀도가 피사체의 거리에 따라 다르게 나타나는 문제점이 있다.

상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.

일본 공개특허 공보 제1997-233461호 (출원인 : Fujitsu Ltd., 발명의 명칭 : 적외선 화재 감시 장치)

본 발명의 실시예는, 스테레오 카메라에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타나는 문제점을 개선하고자 한다.

본 발명의 일 측면에 의하면, 제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법에 있어서, 단계들 (a) 내지 (d)를 포함한다.

상기 단계 (a)에서는, 전역 변환 알고리즘에 의하여 상기 제2 영상이 변환된 결과의 예비 변환 영상이 구해진다.

상기 단계 (b)에서는, 상기 제1 영상 및 상기 예비 변환 영상에서 적어도 한 중요 부분 영역이 설정된다.

상기 단계 (c)에서는, 상기 제1 영상 및 상기 예비 변환 영상에서의 상기 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘이 구해진다.

상기 단계 (d)에서는, 상기 부분 변환 알고리즘에 의하여 상기 예비 변환 영상이 변환된 결과의 최종 변환 영상이 구해진다.

상기 단계 (a)는 단계들 (a1) 내지 (a3)을 포함할 수 있다.

상기 단계 (a1)에서는, 상기 제2 영상에서 적어도 한 중요 부분 영역이 찾아진다.

상기 단계 (a2)에서는, 상기 제1 영상의 모든 영역과 상기 제2 영상의 모든 영역의 정합을 위한 상기 전역 변환 알고리즘이 구해진다.

상기 단계 (a3)에서는, 상기 전역 변환 알고리즘에 의하여 상기 제2 영상이 변환된 결과의 상기 예비 변환 영상을 구해진다.

또한, 상기 단계 (a1)에서, 상기 제2 영상에서 움직임이 검출된 영역이 상기 중요 부분 영역으로서 찾아질 수 있다.

또한, 상기 단계 (a2)에서, 상기 전역 변환 알고리즘은, 기준 거리에 있는 기준 촬영 대상을 이용하여 미리 구해져서 공통적으로 사용될 수 있다.

또한, 상기 단계 (a2)는 단계들 (a21) 내지 (a23)을 포함할 수 있다.

상기 단계 (a21)에서는, 상기 제1 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 영상에 대하여 투영(projection)이 수행되어, 투영된 결과의 제1 영상이 구해진다.

상기 단계 (a22)에서는, 상기 제2 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 영상에 대하여 투영(projection)이 수행되어, 투영된 결과의 제2 영상이 구해진다.

상기 단계 (a23)에서는, 상기 투영된 결과의 제1 및 제2 영상들이 사용되어, 상기 제2 영상의 각 화소의 위치 변환을 위한 상기 전역 변환 알고리즘으로서의 2차원 호모그래피(homography) 행렬이 구해진다.

또한, 상기 단계 (b)는 단계들 (b1) 내지 (b2)를 포함할 수 있다.

상기 단계 (b1)에서는, 상기 제2 영상에서의 중요 부분 영역에 대응하는 상기 예비 변환 영상에서의 중요 부분 영역이 설정된다.

상기 단계 (b2)에서는, 상기 예비 변환 영상에서의 중요 부분 영역에 대응하는 상기 제1 영상에서의 중요 부분 영역이 설정된다.

본 발명의 일 측면의 상기 영상 정합 방법에 의하면, 전역 변환 알고리즘에 의하여 상기 제2 영상이 변환된 결과의 예비 변환 영상이 구해진 후, 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘이 구해진다. 그리고, 상기 부분 변환 알고리즘에 의하여 상기 예비 변환 영상이 변환된 결과의 최종 변환 영상이 구해진다.

종래의 정합용 변환 알고리즘이라 할 수 있는 상기 전역 변환 알고리즘은, 상기 제1 영상의 모든 영역과 상기 제2 영상의 모든 영역의 정합을 위한 영상 변환 알고리즘이다. 따라서, 상기 제1 및 제2 카메라들에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 상기 예비 변환 영상과 상기 제1 영상을 정합하면 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타난다. 즉, 종래 기술의 문제점이 나타난다.

하지만, 상기 최종 변환 영상과 상기 제1 영상을 정합할 경우, 상기 개별적인 중요 부분 영역들에서는, 단일 피사체만이 존재하게 되므로 3차원적인 시차(視差, parallax)가 작용하지 않는다. 즉, 상기 다수의 서로 다른 중요 부분 영역들에서 영상 정합의 정밀도가 균일하게 향상될 수 있다.

따라서, 본 발명의 일 측면의 상기 영상 정합 방법에 의하면, 스테레오 카메라에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타나는 문제점이 개선될 수 있다.

도 1은 본 발명의 실시예의 영상 정합 방법을 수행하는 카메라 시스템을 보여주는 도면이다.
도 2는 도 1의 제어 장치에 의하여 수행되는 본 발명의 실시예의 영상 정합 방법을 보여주는 흐름도이다.
도 3은 도 2의 단계 (a)의 상세 과정을 예를 들어 보여주는 흐름도이다.
도 4는 도 3의 단계 (a2)의 상세 과정을 예를 들어 보여주는 흐름도이다.
도 5는 도 4의 단계들 (a21) 및 (a22)를 설명하기 위한 도면이다.
도 6은 도 3의 단계 (a3)을 설명하기 위한 도면이다.
도 7은 도 2의 단계 (b)의 상세 과정을 예를 들어 보여주는 흐름도이다.
도 8은 제1 영상의 예를 보여주는 도면이다.
도 9는 제2 영상의 예를 보여주는 도면이다.
도 10은, 도 2의 단계 (a)에서 구해진 예비 변환 영상을 제1 영상에 정합(registration)한 후에 융합(fusion)한 결과, 정합의 정밀도가 낮음을 보여주는 도면이다.
도 11은, 도 2의 단계 (d)에서 구해진 최종 변환 영상을 제1 영상에 정합한 후에 융합한 결과, 정합의 정밀도가 높아짐을 보여주는 도면이다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.

도 1은 본 발명의 실시예의 영상 정합 방법을 수행하는 카메라 시스템을 보여주는 도면이다.

도 1의 카메라 시스템을 참조하면, 제2 카메라(102)로서의 열(熱)-영상 카메라는 피사체의 온도에 따른 열(熱) 영상으로서의 제2 영상(Ithe)을 출력한다. 제1 카메라(101)로서의 가시(可視) 영상 카메라는 피사체의 가시(可視) 영상으로서의 제1 영상(Ivis)을 출력한다.

제어 장치(103)는, 제1 카메라(101)로부터의 제1 영상(Ivis)과 제2 카메라(102)로부터의 제2 영상(Ithe)에 대하여 정합(registration) 및 융합(fusion)을 수행한다. 정합은 두 영상들의 위치를 일치시키는 처리 과정이다. 융합은 정합 결과의 영상에 대하여 원래의 두 영상들의 계조를 조정하는 처리 과정이다. 이하에서는 제어 장치(103)의 정합 방법에 대해서만 상세히 설명될 것이다.

제어 장치(103)는 정합 및 융합 결과의 영상(Imix)을 디스플레이 장치(104) 또는 클라이언트 단말기들(도시되지 않음)에게 제공한다. 물론, 제어 장치(103)는 제1 영상(Ivis), 제2 영상(Ithe), 또는 융합 결과의 영상(Imix)을 기록기에 저장할 수도 있다.

이하, 제어 장치(103)에 의하여 수행되는 본 실시예의 영상 정합 방법을 설명하기로 한다.

도 2는 도 1의 제어 장치(103)에 의하여 수행되는 본 발명의 실시예의 영상 정합 방법을 보여준다. 도 1 및 2를 참조하여, 본 실시예의 영상 정합 방법을 설명하면 다음과 같다.

제어 장치(103)는 전역 변환 알고리즘에 의하여 제2 영상(Ithe)이 변환된 결과의 예비 변환 영상을 구한다(단계 (a)). 여기에서, 전역 변환 알고리즘은 제1 영상의 모든 영역과 제2 영상의 모든 영역의 정합을 위한 영상 변환 알고리즘이다. 이러한 전역 변환 알고리즘은, 기준 거리에 있는 기준 촬영 대상을 이용하여 미리 구해져서, 공통적으로 사용될 수 있다.

다음에, 제어 장치(103)는 제1 영상(Ivis) 및 예비 변환 영상에서 적어도 한 중요 부분 영역을 설정한다(단계 (b)). 본 실시예의 경우, 중요 부분 영역은 제2 영상(Ithe)에서 움직임이 검출된 영역이다.

상기 단계들 (a) 및 (b)에 대해서는 도 3 내지 7을 참조하여 상세히 설명될 것이다.

다음에, 제어 장치(103)는 제1 영상(Ivis) 및 예비 변환 영상에서의 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘을 구한다(단계 (c)). 여기에서, 부분 변환 알고리즘을 구하는 절차는 전역 변환 알고리즘을 구하는 절차와 동일하다. 다만, 부분 변환 알고리즘과 전역 변환 알고리즘은 정합 대상 영역에서 차이를 가질 뿐이다.

그리고, 제어 장치(103)는, 부분 변환 알고리즘에 의하여 예비 변환 영상이 변환된 결과의 최종 변환 영상을 구한다(단계 (d)).

상기와 같은 본 실시예의 영상 정합 방법에 의하면, 전역 변환 알고리즘에 의하여 제2 영상(Ithe)이 변환된 결과의 예비 변환 영상이 구해진 후, 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘이 구해진다. 그리고, 부분 변환 알고리즘에 의하여 예비 변환 영상이 변환된 결과의 최종 변환 영상이 구해진다.

종래의 정합용 변환 알고리즘이라 할 수 있는 전역 변환 알고리즘은, 제1 영상(Ivis)의 모든 영역과 제2 영상(Ithe)의 모든 영역의 정합을 위한 영상 변환 알고리즘이다. 따라서, 제1 및 제2 카메라들(101, 102)에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 예비 변환 영상과 제1 영상(Ivis)을 정합하면 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타난다. 즉, 종래 기술의 문제점이 나타난다.

하지만, 상기 최종 변환 영상과 제1 영상(Ivis)을 정합할 경우, 개별적인 중요 부분 영역들에서는, 단일 피사체만이 존재하게 되므로 3차원적인 시차(視差, parallax)가 작용하지 않는다. 따라서, 다수의 서로 다른 중요 부분 영역들에서 영상 정합의 정밀도가 균일하게 향상될 수 있다.

따라서, 도 2의 실시예의 영상 정합 방법에 의하면, 스테레오 카메라(101, 102)에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타나는 문제점이 개선될 수 있다.

도 3은 도 2의 단계 (a)의 상세 과정을 예를 들어 보여준다. 도 1 및 3을 참조하여 도 2의 단계 (a)의 상세 과정을 예를 들어 설명하면 다음과 같다.

먼저, 제어 장치(103)는 제2 영상(Ithe)에서 적어도 한 중요 부분 영역을 찾는다(단계 (a1)). 본 실시예의 경우, 제2 영상(Ithe)에서 움직임이 검출된 영역이 상기 중요 부분 영역으로서 찾아진다.

예를 들어, 제2 영상(Ithe)이 열(熱) 영상인 경우, 어느 한 움직임 영역의 평균 휘도가 설정 기준 휘도보다 높으면 상기 움직임 영역은 상기 중요 부분 영역으로서 판단된다.

상기 단계 (a1)은 도 2의 단계 (b)를 수행하기 위하여 필요한 절차이다. 상기 단계 (a1)에서, 복수의 중요 부분 영역들이 찾아진 경우, 각각의 중요 부분 영역에 대하여 번호를 부여함에 의하여 단계 (b)가 원활하게 수행될 수 있다.

다음에, 제어 장치(103)는 제1 영상(Ivis)의 모든 영역과 제2 영상(Ithe)의 모든 영역의 정합을 위한 전역 변환 알고리즘을 구한다(단계 (a2)). 이 단계 (a2)에 대해서는 도 4 및 5를 참조하여 상세히 설명될 것이다. 본 실시예의 경우, 전역 변환 알고리즘은, 기준 거리에 있는 기준 촬영 대상을 이용하여 미리 구해져서 공통적으로 사용된다. 물론, 전역 변환 알고리즘은 실시간으로 촬영 대상에 대하여 구해질 수도 있다.

그리고, 제어 장치(103)는 전역 변환 알고리즘에 의하여 제2 영상(Ithe)이 변환된 결과의 예비 변환 영상을 구한다(단계 (a3)). 이 단계 (a3)에 대해서는 도 6을 참조하여 상세히 설명될 것이다.

도 4는 도 3의 단계 (a2)의 상세 과정을 예를 들어 보여준다. 도 5는 도 4의 단계들 (a21) 및 (a22)를 설명하기 위한 도면이다. 도 1, 4 및 5를 참조하여 도 3의 단계 (a2)의 상세 과정을 예를 들어 설명하면 다음과 같다.

먼저, 제어 장치(103)는, 제1 영상(Ivis)의 3차원적 성분이 2차원적 성분으로 변환되도록 제1 영상(Ivis)에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 영상(502)을 구한다(단계 (a21)). 영상에서의 3차원적 성분을 2차원적 성분으로 변환하기 위한 투영(projection) 방법은, 이미 잘 알려져 있으므로, 그 설명이 생략된다.

다음에, 제어 장치(103)는, 제2 영상(Ithe)의 3차원적 성분이 2차원적 성분으로 변환되도록 제2 영상(Ithe)에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 영상(503)을 구한다(단계 (a22)).

그리고, 제어 장치(103)는, 투영된 결과의 제1 및 제2 영상들(502, 503)을 사용하여, 제2 영상(Ithe)의 각 화소의 위치 변환을 위한 전역 변환 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 구한다(단계 (a23)).

도 5에서 참조 부호 501은 2차원 투영(projection) 평면을 가리킨다. 도 5에서 특징점 A1은 A2에 대응하고, 특징점 B1은 B2에 대응하며, 특징점 C1은 C2에 대응하고, 특징점 D1은 D2에 대응한다. 이와 같이 대응 특징점들의 위치가 서로 다른 이유는, 3차원적 성분이 2차원적 성분으로 변환되는 과정에서 거리(depth) 성분이 반영되기 때문이다.

도 5에서 8 개의 대응 특징점들(A1 내지 D2)에 의하면 8 개의 직선 방정식들이 구해질 수 있다. 상기 단계 (a23)에서, 이러한 직선 방정식들을 다수 개 구하여 이용하면, 적절한 기준 정합 알고리즘으로서의 2차원 호모그래피(homography) 행렬이 구해질 수 있다. 영상 정합을 위한 2차원 호모그래피 행렬의 설정 방법 자체는, 이미 잘 알려져 있으므로, 그 설명이 생략된다.

도 6은 도 3의 단계 (a3)을 설명하기 위한 도면이다.

도 1, 3 및 6을 참조하면, 제어 장치(103)는 전역 변환 알고리즘에 의하여 제2 영상(Ithe)이 변환된 결과의 예비 변환 영상을 구한다(단계 (a3)).

제1 및 제2 영상들(Ivis, Ithe)의 평면이 평행하고 일정한 간격을 가지는 스테레오 카메라의 경우, 제2 기준 영상(403)의 각 화소의 위치 변환을 위한 2차원 호모그래피(homography) 행렬 H는 아래의 수학식 1과 같이 구해질 수 있다.

상기 수학식 1에서 변수 원소 h13은 대상 화소의 x-좌표 차이 값을, 그리고 h23은 대상 화소의 y-좌표 차이 값을 각각 가리킨다. 즉, 상기 수학식 1을 사용하여, 제2 영상(Ithe)의 모든 화소들 각각에 대한 예비 변환 영상의 x-좌표 값 및 y-좌표 값이 구해질 수 있다.

도 7은 도 2의 단계 (b)의 상세 과정을 예를 들어 보여준다. 도 1 및 7을 참조하여 이를 설명하면 다음과 같다.

먼저, 제어 장치(103)는, 제2 영상(Ithe)에서의 중요 부분 영역(들)에 대응하는 상기 예비 변환 영상에서의 중요 부분 영역(들)을 설정한다(단계 (b1)).

대부분의 경우, 제2 영상(Ithe)에서는 복수의 중요 부분 영역들이 찾아질 것이다. 제1 중요 부분 영역을 object_1, 제2 중요 부분 영역을 object_2, 제n 중요 부분 영역을 object_n, 전역 변환 알고리즘을 H_global, 변환 동작을 Transform, 변환된 결과를 Transformed로 표현하면, 예비 변환 영상에서의 중요 부분 영역들은 아래의 수학식 2 내지 4에 의하여 정리될 수 있다.

상기 단계 (b1)이 수행되면, 제어 장치(103)는, 예비 변환 영상에서의 중요 부분 영역(들)에 대응하는 제1 영상(Ivis)에서의 중요 부분 영역(들)을 설정한다(단계 (b2)).

이와 같이 제1 영상(Ivis) 및 예비 변환 영상에서 복수의 중요 부분 영역들이 설정되면, 제어 장치(103)는 제1 영상(Ivis) 및 예비 변환 영상에서의 중요 부분 영역들 각각의 정합을 위한 복수의 부분 변환 알고리즘들을 구한다(도 2의 단계 (c) 참조). 예를 들어, 제1 영상(Ivis) 및 예비 변환 영상에 대한 중요 부분 영역들이 n 개인 경우, n 개의 부분 변환 알고리즘들이 구해진다.

부분 변환 알고리즘을 구하는 절차는 전역 변환 알고리즘을 구하는 절차와 동일하다. 전역 변환 알고리즘을 구하는 절차는 위에서 자세히 설명되었다. 다만, 부분 변환 알고리즘과 전역 변환 알고리즘은 정합 대상 영역에서 차이를 가질 뿐이다.

그리고, 제어 장치(103)는, 각각의 부분 변환 알고리즘에 의하여 위치 좌표가 변환된 n 개의 중요 부분 영역들을 예비 변환 영상에 적용함에 따라, 예비 변환 영상이 변환된 결과의 최종 변환 영상을 구한다(도 2의 단계 (d) 참조).

이와 같은 최종 변환 영상과 제1 영상(Ivis)을 정합할 경우, n 개의 중요 부분 영역들 각각에서는, 단일 피사체만이 존재하게 되므로 3차원적인 시차(視差, parallax)가 작용하지 않는다. 따라서, n 개의 서로 다른 중요 부분 영역들에서 영상 정합의 정밀도가 균일하게 향상될 수 있다.

도 8은 제1 영상의 예를 보여준다.

도 9는 제2 영상의 예를 보여준다.

도 10은, 도 2의 단계 (a)에서 구해진 예비 변환 영상을 제1 영상(도 8)에 정합(registration)한 후에 융합(fusion)한 결과, 정합의 정밀도가 낮음을 보여준다.

도 11은, 도 2의 단계 (d)에서 구해진 최종 변환 영상을 제1 영상(도 8)에 정합한 후에 융합한 결과, 정합의 정밀도가 높아짐을 보여준다.

도 8 내지 11을 참조하면, 도 2의 단계 (a)에서 구해진 예비 변환 영상은 종래의 정합용 변환 알고리즘이라 할 수 있는 전역 변환 알고리즘에 의하여 구해진 것이다. 이러한 전역 변환 알고리즘은, 제1 영상(도 8)의 모든 영역과 제2 영상(도 9)의 모든 영역의 정합을 위한 영상 변환 알고리즘이다. 따라서, 제1 및 제2 카메라들(도 1의 101, 102)에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 예비 변환 영상과 제1 영상(도 8)을 정합하면 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타난다(도 10 참조). 즉, 종래 기술의 문제점이 나타난다.

하지만, 상기 최종 변환 영상과 제1 영상(도 8)을 정합할 경우, 개별적인 중요 부분 영역들에서는, 단일 피사체만이 존재하게 되므로 3차원적인 시차(視差, parallax)가 작용하지 않는다. 따라서, 다수의 서로 다른 중요 부분 영역들에서 영상 정합의 정밀도가 균일하게 향상될 수 있다(도 11 참조).

이상 설명된 바와 같이, 본 발명의 실시예의 영상 정합 방법에 의하면, 전역 변환 알고리즘에 의하여 제2 영상이 변환된 결과의 예비 변환 영상이 구해진 후, 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘이 구해진다. 그리고, 부분 변환 알고리즘에 의하여 예비 변환 영상이 변환된 결과의 최종 변환 영상이 구해진다.

이에 따라, 스테레오 카메라에 대하여 복수의 피사체들이 서로 다른 거리를 가질 경우, 영상 정합의 정밀도가 피사체의 거리에 따라 다르게 나타나는 문제점이 개선될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

두 영상들의 정합 뿐만 아니라, 세 개 이상의 영상들의 정합에도 이용될 가능성이 있다.

101 : 제1 카메라, Ivis : 제1 영상,
102 : 제2 카메라, Ithe : 제2 영상,
103 : 제어 장치,
Imix : 정합 및 융합 결과의 영상,
501 : 2차원 투영(projection) 평면,
502 : 투영된 결과의 제1 영상,
503 : 투영된 결과의 제2 영상.

Claims

제2 카메라로부터의 제2 영상을 제1 카메라로부터의 제1 영상에 정합시키는 카메라 시스템의 영상 정합 방법에 있어서,
(a) 전역 변환 알고리즘에 의하여 상기 제2 영상이 변환된 결과의 예비 변환 영상을 구함;
(b) 상기 제1 영상 및 상기 예비 변환 영상에서 적어도 한 중요 부분 영역을 설정함;
(c) 상기 제1 영상 및 상기 예비 변환 영상에서의 상기 중요 부분 영역들의 정합을 위한 부분 변환 알고리즘을 구함; 및
(d) 상기 부분 변환 알고리즘에 의하여 상기 예비 변환 영상이 변환된 결과의 최종 변환 영상을 구함;을 포함한, 영상 정합 방법.
제1항에 있어서, 상기 단계 (a)는,
(a1) 상기 제2 영상에서 적어도 한 중요 부분 영역을 찾음;
(a2) 상기 제1 영상의 모든 영역과 상기 제2 영상의 모든 영역의 정합을 위한 상기 전역 변환 알고리즘을 구함; 및
(a3) 상기 전역 변환 알고리즘에 의하여 상기 제2 영상이 변환된 결과의 상기 예비 변환 영상을 구함;을 포함한, 영상 정합 방법.
제2항에 있어서, 상기 단계 (a1)에서,
상기 제2 영상에서 움직임이 검출된 영역이 상기 중요 부분 영역으로서 찾아지는, 영상 정합 방법.
제2항에 있어서, 상기 단계 (a2)에서,
상기 전역 변환 알고리즘은,
기준 거리에 있는 기준 촬영 대상을 이용하여 미리 구해져서 공통적으로 사용되는, 영상 정합 방법.
제4항에 있어서, 상기 단계 (a2)는,
(a21) 상기 제1 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제1 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제1 영상을 구함;
(a22) 상기 제2 영상의 3차원적 성분이 2차원적 성분으로 변환되도록 상기 제2 영상에 대하여 투영(projection)을 수행하여, 투영된 결과의 제2 영상을 구함; 및
(a23) 상기 투영된 결과의 제1 및 제2 영상들을 사용하여, 상기 제2 영상의 각 화소의 위치 변환을 위한 상기 전역 변환 알고리즘으로서의 2차원 호모그래피(homography) 행렬을 구함;을 포함한, 영상 정합 방법.
제2항에 있어서, 상기 단계 (b)는,
(b1) 상기 제2 영상에서의 중요 부분 영역에 대응하는 상기 예비 변환 영상에서의 중요 부분 영역을 설정함; 및
(b2) 상기 예비 변환 영상에서의 중요 부분 영역에 대응하는 상기 제1 영상에서의 중요 부분 영역을 설정함;을 포함한, 영상 정합 방법.