KR100362171B1 - 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체 - Google Patents

영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체 Download PDF

Info

Publication number
KR100362171B1
KR100362171B1 KR1020000002903A KR20000002903A KR100362171B1 KR 100362171 B1 KR100362171 B1 KR 100362171B1 KR 1020000002903 A KR1020000002903 A KR 1020000002903A KR 20000002903 A KR20000002903 A KR 20000002903A KR 100362171 B1 KR100362171 B1 KR 100362171B1
Authority
KR
South Korea
Prior art keywords
image
transformation matrix
feature points
coordinate system
mosaic
Prior art date
Application number
KR1020000002903A
Other languages
English (en)
Other versions
KR20010075948A (ko
Inventor
박종승
오황석
장덕호
이의택
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020000002903A priority Critical patent/KR100362171B1/ko
Publication of KR20010075948A publication Critical patent/KR20010075948A/ko
Application granted granted Critical
Publication of KR100362171B1 publication Critical patent/KR100362171B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체에 관한 것으로, 다중 영상에서 영상 간의 특징점을 추출하여 영상 간의 특징점을 매칭하고 이를 바탕으로 영상 간의 변환 행렬을 추정하는 변환 행렬 추정 장치 및 그 방법과 그를 이용하여 임의의 변환에도 안정적으로 모자이크 영상을 생성하기 위한 모자이크 영상 생성 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하기 위하여, 외부로부터 다중 영상을 입력받아 영상 특징점을 매칭시키기 위한 제1 특징점 매칭 수단; 상기 제1 특징점 매칭 수단에서 매칭된 특징점을 이용하여 변환 행렬을 추정하기 위한 제1 변환 행렬 추정 수단; 상기 제1 변환 행렬 추정 수단에서 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하기 위한 기준 영상 선정 수단; 및 상기 기준 영상 선정 수단에서 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하기 위한 변환 행렬 수정 수단을 포함하며, 영상 처리 분야 등에 이용됨.

Description

영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체{Apparatus, method and computer readable medium for computing a transform matrix using image feature point matching technique, and apparatus, method and computer readable medium for generating mosaic image using the transform matrix}
본 발명은 변환 행렬 추정 장치 및 그 방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법에 관한 것으로, 특히 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그 방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
일반적으로 하나의 실사 영상으로 현실 세계를 표현하기에는 현실감이 부족하다. 그러나, 다수의 영상이 주어지면 이들을 결합하여 현실감있는 모자이크 영상을 생성할 수 있다. 특히, 비디오 데이터가 주어지면 이로부터 일정 시간대에 보여지는 현실 세계를 하나의 모자이크 영상으로 표현할 수 있다. 또한, 하나의 영상이표현하는 가시 영역이 현실 세계의 표현 대상의 일부로 제한될 경우에 부분적으로 다중 영상을 획득하여 이후 이들을 결합하여 모자이크 영상을 생성할 수 있다. 모자이크 영상은 기존의 단일 영상의 가시 영역의 제한 문제를 해결할 뿐만 아니라 다중 영상으로부터 얻어지는 고해상도를 재현할 수 있다. 모자이크 영상을 생성하기 위해서는 다중 영상에서의 각 영상 간의 화소 위치들의 변환 관계를 나타내는 변환 행렬을 알아야 한다. 미지의 변환 행렬을 구하기 위해서 주어진 변환 행렬에 대해서 중첩 부분에 대한 두 영상 간의 밝기차를 최소화하는 수식을 에너지 함수로 만들고 이를 최적화 시스템을 이용하여 변환 행렬의 각 변수 값을 추정하는 방법이 지금까지 사용되어져 왔다.
그러나, 이러한 종래의 방법은 영상 취득 시 조명 조건이나 카메라 설정에 따라서 밝기 분포가 영상 취득 시마다 상이할 수 있는 일반적인 현상에 적절히 대처할 수 없고, 복잡한 배경을 가진 영상이나 일부분에 움직임이 나타나는 영상에 대해서 정확한 변환 행렬을 구할 수 없는 문제점이 있다.
즉, 종래의 초기 이동 벡터 추정 방법은 원근감이 많이 변화되는 영상 간의 변환 행렬을 추정할 수 없는 문제점이 있고, 또한 움직이는 물체가 포함된 영상 간의 변환 행렬을 계산하기 어려운 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 다중 영상에서 영상 간의 특징점을 추출하여 영상 간의 특징점을 매칭하고 이를 바탕으로 영상 간의변환 행렬을 추정하는 변환 행렬 추정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
또한, 본 발명은, 영상 간의 변환 행렬을 이용하여 임의의 변환에도 안정적으로 모자이크 영상을 생성하기 위한 모자이크 영상 생성 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 다른 목적이 있다.
도 1 은 본 발명이 적용되는 시스템 환경에 대한 설명도.
도 2 는 본 발명에 따른 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그를 이용한 모자이크 영상 생성 장치의 일실시예 구성도.
도 3 은 본 발명에 따른 특징점 매칭부 및 변환 행렬 추정부의 일실시예 상세 구성도.
도 4 는 본 발명에 따른 영상 특징점 매칭을 이용한 변환 행렬 추정 방법 및 그를 이용한 모자이크 영상 생성 방법에 대한 일실시예 흐름도.
도 5 는 본 발명에 따른 특징점 매칭 과정 및 변환 행렬 추정 과정에 대한 일실시예 상세 흐름도.
도 6 은 본 발명에 따른 변환 행렬 기능에 대한 설명도.
도 7 은 본 발명에 따른 기준 좌표계로의 변환을 위한 변환 행렬 기능에 대한 설명도.
도 8 은 본 발명에 따른 칼라값 보정 과정에 대한 설명도.
* 도면의 주요 부분에 대한 부호의 설명
200 : 특징점 매칭부 210 : 변환 행렬 추정부
220 : 기준 영상 선정부 230 : 변환 행렬 수정부
240 : 모자이크 영상 크기 결정부 250 : 모자이크 영상 매핑부
260 : 칼라값 보정부
상기 목적을 달성하기 위한 본 발명의 장치는, 영상 특징점 매칭을 이용한 변환 행렬 추정 장치에 있어서, 외부로부터 다중 영상을 입력받아 영상 특징점을 매칭시키기 위한 제1 특징점 매칭 수단; 상기 제1 특징점 매칭 수단에서 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하기 위한 제1 변환 행렬 추정 수단; 상기 제1 변환 행렬 추정 수단에서 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하기 위한 기준 영상 선정 수단; 및 상기 기준 영상 선정 수단에서 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하기 위한 변환 행렬 수정 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 영상 특징점 매칭을 이용한 변환 행렬 추정 장치에 적용되는 변환 행렬 추정 방법에 있어서, 다중 영상의 영상 특징점을 매칭하는 제1 단계; 상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 단계; 상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 단계; 및 상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 프로세서를 구비한 변환 행렬 추정 장치에, 다중 영상의 영상 특징점을 매칭하는 제 1 기능; 상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 기능; 상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 기능; 및 상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 상기 다른 목적을 달성하기 위한 본 발명의 장치는, 영상 특징점 매칭을 이용하여 추정한 변환 행렬을 이용한 모자이크 영상 생성 장치에 있어서, 외부로부터 다중 영상을 입력받아 영상 특징점을 매칭시키기 위한 제1 특징점 매칭 수단; 상기 제1 특징점 매칭 수단에서 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하기 위한 제1 변환 행렬 추정 수단; 상기 제1 변환 행렬 추정 수단에서 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하기 위한 기준 영상 선정 수단; 상기 기준 영상 선정 수단에서 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하기 위한 변환 행렬 수정 수단; 상기 변환 행렬 수정 수단에서 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하기 위한 모자이크 영상 크기 결정 수단; 각 영상을 모자이크 영상으로 매핑하기 위한 모자이크 영상 매핑 수단; 및 각 영상의 획득시에 변화된 모자이크 영상의 색 변화를 보정하기 위한 칼라값 보정 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 영상 특징점 매칭을 이용하여 추정한 변환 행렬을 이용한 모자이크 영상 생성 장치에 적용되는 모자이크 영상 생성 방법에 있어서, 다중 영상의 영상 특징점을 매칭하는 제 1 단계; 상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 단계; 상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 단계; 상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 단계; 상기 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하고, 각 영상을 모자이크 영상으로 매핑하는 제 5 단계; 및 각 영상의 획득시에 변화된 모자이크 영상의 색 변화를 보정하는 제 6 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 프로세서를 구비한 모자이크 영상 생성 장치에, 다중 영상의 영상 특징점을 매칭하는 제 1 기능; 상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 기능; 상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 기능; 상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제4 기능; 상기 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하고, 각 영상을 모자이크 영상으로 매핑하는 제 5 기능; 및 각 영상의 획득시에 변화된 모자이크 영상의 색 변화를 보정하는 제 6 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 영상에서의 특징점은 영상 분석에 있어서 매우 안정된 정보를 제공한다. 즉, 밝기의 변화나 물체의 움직임에도 불구하고 특징점의 형태는 대체로 영상에서 불변적으로 나타난다. 특징점의 안정된 특성을 이용하여 변환 행렬을 계산하면 정확한 모자이크 영상의 생성이 가능하다는 아이디어로부터 본 발명이 안출되었다.
따라서, 본 발명에서는 영상 간의 변환 행렬을 계산하기 위해서 영상 간의 특징점 매칭을 사용한다. 먼저, 각 영상 쌍에 대해 특징점 매칭을 실시하여 점 매칭 쌍들을 획득하고, 그 데이터를 사용하여 초기 변환 행렬을 계산한다. 이후, 최적화 과정으로 최적의 변환 행렬을 계산한다. 모든 영상 쌍에 대한 변환 행렬이 구해지면 모자이크 영상의 기준 좌표로 사용될 기준 영상을 선정한다. 이후, 변환 행렬들이 기준 영상의 영상 좌표계에 대하여 변환되도록 변환 행렬을 수정한다. 다음으로, 변환 행렬을 이용해서 모자이크 영상의 크기를 결정하고, 각 영상의 칼라 값을 모자이크 영상으로 매핑한 후에 모자이크 영상의 칼라 값을 보정한다.
상기와 같이 변환 행렬의 초기치 설정에 있어서 특징점 매칭을 사용하여 변환 행렬을 추정하는 방법은, 단순 이동 변환을 추정하는 방법에 비해서 안정적이고 최적치에 빠르게 수렴하는 장점을 가진다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 시스템 환경에 대한 설명도로서, 100은 실세계 공간, 110은 카메라 또는 캠코더 등과 같은 영상 획득 장치, 120은 획득된 다중 영상, 130은 획득된 단일 영상을 각각 나타낸다.
도 1 에 도시된 바와 같이, 실제 세계의 물체 또는 배경(100)에 대한 영상을 카메라 또는 캠코더(110) 등으로 획득하고, 획득된 이들 다중 영상(120)들은 컴퓨터로 입력된다. 컴퓨터에서는 다중 영상(120)들을 입력으로 하여 모자이크 영상을 생성한다. 여기서, 각 단일 영상(130)은 알지비(RGB) 형식으로 변환가능한 임의의 크기의 임의의 디지털 영상포멧이다.
도 2 는 본 발명에 따른 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그를 이용한 모자이크 영상 생성 장치의 일실시예 구성도로서, 200은 각 두 영상 간의 특징점 매칭부, 210은 각 두 영상 간의 변환 행렬 추정부, 220은 기준 영상 선정부, 230은 변환 행렬이 각 영상 좌표를 기준 영상 좌표로 변환하도록 변환 행렬을 수정하는 변환 행렬 수정부, 240은 수정된 변환 행렬로 모자이크 영상의 크기를 결정하는 모자이크 영상 크기 결정부, 250은 각 영상을 모자이크 영상으로 매핑하는 모자이크 영상 매핑부, 260은 모자이크 영상의 칼라값을 보정하는 칼라값 보정부를 각각 나타낸다.
본 발명에 따른 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그를 이용한 모자이크 영상 생성 장치는, 외부로부터 다중 영상을 입력받아 이웃하는 각 영상 쌍에 대해서 특징점을 매칭시키기 위한 특징점 매칭부(200), 상기 특징점 매칭부(200)에서 매칭된 특징점을 이용하여 각 영상 쌍에 대한 변환 행렬을 추정하기 위한 변환 행렬 추정부(210), 상기 변환 행렬 추정부(210)의 각 변환 행렬들의 관계를 이용해서 중심이 되는 기준 영상을 대표 영상으로 선정하기 위한 기준 영상 선정부(220), 상기 기준 영상 선정부(220)에서 대표 영상이 선정되면 대표 영상의 영상 좌표계를 기준 좌표계로 설정하고 각 영상의 변환 행렬(한 영상 좌표를 이웃하는 다른 영상 좌표로 변환하는 행렬)을 기준 좌표계에 대한 변환 행렬로 수정하기 위한 변환 행렬 수정부(230), 상기 변환 행렬 수정부(230)에서 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하기 위한 모자이크 영상 크기 결정부(240), 각 영상을 모자이크 영상으로 매핑하기 위한 모자이크 영상 매핑부(250) 및 각 영상의 획득시 촬영 조건(조명 변화, 카메라 설정 등)에 따라 달라진 모자이크 영상의 색 변화를 보정하기 위한 칼라값 보정부(260)를 포함한다.
도 3 은 본 발명에 따른 특징점 매칭부(200) 및 변환 행렬 추정부(210)의 일실시예 상세 구성도로서, 300은 두 영상 간의 특징점 추출부, 310은 두 영상 간의 특징점 매칭부, 320은 두 영상 간의 변환 행렬 계산부, 330은 최적의 변환 행렬 추정부를 각각 나타낸다.
본 발명에 따른 특징점 매칭부(200)는, 외부로부터 다중 영상을 입력받아 각각의 영상에 대하여 동일한 모서리 점 검출기를 적용하여 특징점을 추출하기 위한 특징점 추출부(300) 및 각 영상 쌍에서 추출된 두 특징점 집합들에 대해서 정규화된 상관계수(NCC) 방식을 적용하여 영상점을 매칭하기 위한 특징점 매칭부(310)를 포함한다.
그리고, 본 발명에 따른 변환 행렬 추정부(210)는, 매칭된 영상점 쌍 집합으로부터 초기 변환 행렬을 계산하기 위한 변환 행렬 계산부(320) 및 상기 변환 행렬 계산부(320)에서 얻은 초기 변환 행렬들로부터 최적의 변환 행렬을 추정하기 위한 변환 행렬 추정부(330)를 포함한다.
도 4 는 본 발명에 따른 영상 특징점 매칭을 이용한 변환 행렬 추정 방법 및 그를 이용한 모자이크 영상 생성 방법에 대한 일실시예 흐름도로서, 카메라 또는 캠코더 등과 같은 영상 획득 장치로부터 획득한 다중 영상을 분석하여 영상간 변환 행렬을 계산하고 다중 영상에 대한 모자이크 영상을 생성하는 방법을 나타낸다.
도 4 에 도시된 바와 같이, 먼저 이웃하는 각 영상 쌍에 대해서 특징점 매칭(400)을 실시하고, 이를 사용하여 각 영상 쌍에 대한 변환 행렬을 추정한다(410).
이후, 각 변환 행렬들의 관계를 이용해서 중심이 되는 영상을 대표 영상으로 선정한다(420). 대표 영상이 선정되면 대표 영상의 영상 좌표계를 기준 좌표계로 설정하고 각 영상의 변환 행렬을 기준 좌표계에 대한 변환 행렬로 수정한다(430).
이후, 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정한 후에(440), 각 영상을 모자이크 영상으로 매핑한다(450). 이후, 각 영상의 획득시 촬영 조건(조명 변화, 카메라 설정 등)에 따라 달라진 모자이크 영상의 색 변화를 보정한다(460).
상기와 같은 각 과정을 도 5 내지 도 8 을 참조하여 상세히 살펴보면 다음과 같다.
도 5 는 본 발명에 따른 특징점 매칭 과정 및 변환 행렬 추정 과정에 대한 일실시예 상세 흐름도이다.
본 발명에서는 다중 영상의 영상 수가 n개일 때 1번 영상부터 n번 영상까지 이웃하는 영상 쌍들에 대해서 영상점 매칭을 실시한다. 영상간 특징점 매칭을 위한 전과정으로서 매칭할 특징점들을 선정한다. 각각의 영상에 대하여 동일한 모서리 점 검출기를 적용하여 특징점을 추출한다(500).
이후, 각 영상 쌍에서 추출된 두 특징점 집합들에 대해서 정규화된 상관계수(NCC) 방식을 적용하여 영상점 매칭을 실시한다(510). 영상점의 수가 ni인 i번 영상과 영상점의 수가 nj인 j번 영상의 영상점 매칭은 i번 영상의 영상점 집합 {(xi1,yi1),…,(xi,ni,yi,ni)}와 j번 영상의 영상점 집합 {(xj1,yj1),…,(xj,nj,yj,nj)의 각 영상점들의 대응관계를 설정하는 작업에 해당한다.
이후, 구해진 대응점 쌍 집합 {(x'i1,y'i1,x'j1,y'j1),…, (x'i,m,y'i,m,x'j,m,y'j,m)으로부터 변환 행렬을 계산한다(520). 일반적인 2차원 원근 변환은 3x3 행렬로 표시된다. 변환은 스케일에 대해 유일하므로 하나의 요소를 1로 고정할 수 있다. 따라서, 변환 행렬은 자유도가 8로서 변환 행렬을 계산하는 것은 8개의 미지수를 추정하는 과정과 동일하다. 하나의 대응점 쌍은 x좌표에 대한 식과 y좌표에 대한 식을 제공하므로 4개 이상의 대응점 쌍으로부터 변환 행렬을 계산할수 있다.
이후, 얻어진 변환 행렬을 초기치로 사용하여 최적의 변환 행렬을 추정한다(530).
도 6 은 본 발명에 따른 변환 행렬 기능에 대한 설명도로서, 600은 다중 영상에서 한 영상, 610은 600의 이웃하는 영상, 620은 600의 영상 좌표계, 630은 610의 영상 좌표계, 640은 630으로 표현된 점들을 620으로 표현하기 위한 변환 행렬, 650은 640을 이용한 610의 변환 영역을 각각 나타낸다.
여기서, j번 영상의 영상 좌표계로 표현된 좌표들을 i번 영상 좌표계에서의 해당하는 위치의 좌표로 변환하는 행렬을 Tij로 표시하기로 한다. 먼저, Tij를 구하기 위해서는 두 영상간의 대응점 쌍으로부터 구해진 변환 행렬 Tij 0을 Tij의 초기치로 둔다. 그리고, 두 이웃하는 i번 영상(600)과 i+1번 영상(610)간의 변환행렬 Tij(640)는 i+1번 영상 좌표(630)로 표현된 i+1번 영상 상의 점들의 위치를 i번 영상 좌표(620)로 변환한다. i+1번 영상의 영역은 i번 영상 좌표로 변환될 경우 임의의 사각형 형태(650)로 표현된다. 최적의 변환 행렬 Tij를 계산하는 과정은 모자이크 영상의 생성에 있어서 매우 중요하다. 정확한 매핑을 위해서 현재의 변환 행렬에 대한 영상 밝기차 에러를 정의하고, 레벤베르그-마쿼트(Levenberg-Marquardt) 비선형 최소화 방법을 사용하여 에러가 최소인 변환 행렬 Tij를 계산한다. 이웃하는 각 영상 쌍에 대해서 최적의 변환 행렬을 계산하여 n-1개의 변환 행렬을 얻는다.
상기와 같이 주어진 모든 영상(1번 영상부터 n번 영상까지)에 대해서 n-1 개의 영상 쌍에 대한 변환 행렬이 얻어지면, 이로부터 중심이 되는 대표 영상을 선정한다. 1에서 n까지의 모든 i에 대해서 변환 행렬들을 i번 영상의 영상 좌표를 기준으로 변환하고, 이때의 매핑 공간에서의 i번 영상 중심과 j번 영상 중심의 거리 Dij를 계산한다. Dij는 거리값을 가지는 2차원 배열이다. Dij에서 i와 j가 다르면서 가장 최소값을 가지는 셀의 인덱스를 Dim,jm이라고 하기로 한다. 이제, im번 영상과 jm번 영상이 서로 이웃하게 배치한다. 이 배치를 <im,jm>이라고 표시하기로 한다. Dim,jm에는 무한대값 ∞을 할당하여 이후에 최소값으로 선택되지 않게 한다. 이제, Dij배열에서 im번째 열과 jm번째 열 중에서 가장 최소값을 가지는 셀의 인덱스를 선택한다. 이 셀의 인덱스를 Dim,jm′(또는 Dim′,jm)이라고 하기로 한다. jm' 또는 im'을 첨가하여 배치를 <jm',im,jm>(또는 <im,jm,im'>)으로 수정한다. Dim,jm′(또는 Dim′,jm)에 무한대값 ∞을 할당하여 이후에 최소값으로 선택되지 않게 한다. 이제, Dij배열에서 jm'번째 열과 jm번째 열 중(또는 jm번째 열과 im'번째 열 중)에서 가장 최소값을 가지는 셀의 인덱스를 선택한다. 이런 방법으로 모든 영상들이 포함될 때까지 반복한다. 최종적으로 완성된 영상들의 배치에서 중앙에 위치한 영상을 기준 영상으로 지정한다. n이 짝수일 경우에는 중앙의 두 영상 중에서 인접 영상들의 중심점과의 거리의 합이 작은 쪽을 기준 영상으로 지정한다.
도 7 은 본 발명에 따른 기준 좌표계로의 변환을 위한 변환 행렬 기능에 대한 설명도로서, 700은 정렬된 다중 영상에서의 기준영상(i번째 영상), 710은 기준 영상의 영상 좌표계인 기준 좌표계, 720은 정렬된 다중 영상에서 기준 영상보다 앞서는 영상(i-k번째 영상), 730은 정렬된 다중 영상에서 기준 영상보다 뒤에 위치한 영상(i+k번째 영상), 740은 720을 기준 좌표로 변환하는 변환 행렬, 750은 730을 기준 좌표로 변환하는 변환 행렬, 760은 720을 740으로 변환할 때의 매핑 영상, 770은 730을 750으로 변환할 때의 매핑 영상을 각각 나타낸다.
상기와 같이 기준 영상이 선정되면, 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고 각 영상의 변환 행렬을 기준 좌표계에 대한 변환 행렬로 변환한다. 재배치된 다중 영상에서 i번째 영상(700)이 기준 영상이라고 하면 i-k번째 영상(720)의 점들을 기준 좌표계(710)로 변환하기 위한 변환 행렬(740)은 Ti-1,i -1 ·Ti-2,i-1 -1 ·…·Ti-k,i-k+1 -1로 계산하고, i+k 번째 영상(730)의 점들을 기준 좌표계로 변환하기 위한 변환 행렬(750)은 Ti,i+1·Ti+1,i+2·…·Ti+k-1,i+k로 계산한다. 수정된 각 변환 행렬로 각 영상의 네 모서리 점을 변환하면 기준 영상에서의 위치가 결정된다(760,770). 이 위치들의 최대값과 최소값을 구해서 모자이크 영상의 크기를 결정한다. 크기가 결정되면 모자이크 영상을 위한 메모리를 할당하고, 각 영상의 화소 정보를 모자이크 영상의 각 위치로 매핑한다.
도 8 은 본 발명에 따른 칼라값 보정 과정에 대한 설명도로서, 800은 다중 영상에서의 한 영상, 810은 800과 중첩되는 다중 영상에서의 영상을 각각 나타낸다.
각 영상의 획득 시 촬영 조건(조명 변화, 카메라 설정 등)에 따라 달라진 모자이크 영상의 색 변화를 보정한다. 모자이크 영상으로 매핑된 두 영상이 도 7 에 도시된 바와 같이 중첩되어 있을 경우의 실시 예를 기술한다. 1번 영상(800)과 2번 영상(810)의 중첩 영역은 다각형으로 표현된다. 중첩 영역을 나타내는 다각형의 각 선분에서의 외부 접 영역이 1번 영상인지 또는 2번 영상인지를 판단하여 두 부류의 선분으로 구분한다. 도면에서는 1번 영상과 접하는 선분이l 1a와l 1b이고 2번 영상과 접하는 선분이l 2a,l 2b,l 2c이다. 모자이크 영상의 중첩 영역에서 주어진 점p의 칼라값은 그 점에서 선분들과의 거리의 관계로부터 계산한다. 점p로부터 각 선분들까지의 거리를 계산한다. 1번 영상과 접하는 선분들까지의 거리인d 1a와d 1b중의 최소값을d 1으로 하고, 2번 영상과 접하는 선분까지의 거리인d 2a,d 2b ,d 2c 중의 최소값을d 2로 한다. 가중치 값을 도입하고 이를 w=d1/(d1+d2)라고 하고, 1번째 영상에서의 p에서의 칼라값을 (R1,G1,B1)이라고 하고, 2번째 영상에서의p에서의 칼라값을 (R2,G2,B2)라고 하면, 모자이크 영상에서의p에서의 칼라값 (R,G,B)는 R=R1*w + R2*(1-w), G=G1*w + G2*(1-w), B=B1*w + B2*(1-w)로 계산된다. 모자이크 영상에서의 한 영역이 세 영상 이상에서 중첩되는 경우에는 처음 두 영상으로 중첩 영역에서의 칼라값을 계산하고, 계산된 칼라값과 나머지 중첩 영상을 고려하여 단계적으로 계산을 수행한다.상술한 바와 같은 본 발명의 다른 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 변환 행렬의 초기치 설정에 있어서 특징점 매칭을 사용하여 변환 행렬을 추정함으로써, 단순 이동 변환을 추정하는 방법에 비해서 안정적이고 최적치에 빠르게 수렴할 수 있는 효과가 있다.
또한, 본 발명은, 모자이크 영상을 생성하는데 있어서 영상 특징점 매칭을 이용하여 배경이 복잡하고 영상 간 밝기 변화가 심한 영상들에 대해서 영상밝기 유사도 측정 방법보다 안정적인 결과를 낼 수 있는 효과가 있다.
또한, 본 발명으로 생성된 모자이크 영상은 영상 기반 랜더링 장치, 영상으로부터의 3차원 모델링 장치, 가상 박물관, 건축물 시각화, 분신의 행동에 따른 배경영상 생성 등의 다양한 응용에서 적절한 영상을 제공하는데 사용될 수 있다.

Claims (14)

  1. 영상 특징점 매칭을 이용한 변환 행렬 추정 장치에 있어서,
    외부로부터 다중 영상을 입력받아 영상 특징점을 매칭시키기 위한 제1 특징점 매칭 수단;
    상기 제1 특징점 매칭 수단에서 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하기 위한 제1 변환 행렬 추정 수단;
    상기 제1 변환 행렬 추정 수단에서 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하기 위한 기준 영상 선정 수단; 및
    상기 기준 영상 선정 수단에서 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하기 위한 변환 행렬 수정 수단
    을 포함하는 변환 행렬 추정 장치.
  2. 제 1 항에 있어서,
    상기 제1 특징점 매칭 수단은,
    외부로부터 다중 영상을 입력받아 각각의 영상에 대하여 동일한 모서리 점 검출기를 적용하여 영상 특징점을 추출하기 위한 특징점 추출 수단; 및
    각 영상 쌍에서 추출된 두 영상 특징점 집합들에 대해서 정규화된 상관계수(NCC) 방식을 적용하여 영상 특징점을 매칭하기 위한 제2 특징점 매칭 수단
    을 포함하는 변환 행렬 추정 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제1 변환 행렬 추정 수단은,
    상기 매칭된 영상 특징점 쌍 집합으로부터 초기 변환 행렬을 계산하기 위한 변환 행렬 계산 수단; 및
    상기 변환 행렬 계산 수단에서 얻은 초기 변환 행렬들로부터 최적의 변환 행렬을 추정하기 위한 제2 변환 행렬 추정 수단
    을 포함하는 변환 행렬 추정 장치.
  4. 영상 특징점 매칭을 이용하여 추정한 변환 행렬을 이용한 모자이크 영상 생성 장치에 있어서,
    외부로부터 다중 영상을 입력받아 영상 특징점을 매칭시키기 위한 제1 특징점 매칭 수단;
    상기 제1 특징점 매칭 수단에서 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하기 위한 제1 변환 행렬 추정 수단;
    상기 제1 변환 행렬 추정 수단에서 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하기 위한 기준 영상 선정 수단;
    상기 기준 영상 선정 수단에서 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하기 위한 변환 행렬 수정 수단;
    상기 변환 행렬 수정 수단에서 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하기 위한 모자이크 영상 크기 결정 수단;
    각 영상을 모자이크 영상으로 매핑하기 위한 모자이크 영상 매핑 수단; 및
    각 영상의 획득시에 변화된 모자이크 영상의 색 변화를 보정하기 위한 칼라값 보정 수단
    을 포함하는 모자이크 영상 생성 장치.
  5. 제 4 항에 있어서,
    상기 제1 특징점 매칭 수단은,
    외부로부터 다중 영상을 입력받아 각각의 영상에 대하여 동일한 모서리 점 검출기를 적용하여 영상 특징점을 추출하기 위한 특징점 추출 수단; 및
    각 영상 쌍에서 추출된 두 영상 특징점 집합들에 대해서 정규화된 상관계수(NCC) 방식을 적용하여 영상 특징점을 매칭하기 위한 제2 특징점 매칭 수단
    을 포함하는 모자이크 영상 생성 장치.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 제1 변환 행렬 추정 수단은,
    상기 매칭된 영상 특징점 쌍 집합으로부터 초기 변환 행렬을 계산하기 위한 변환 행렬 계산 수단; 및
    상기 변환 행렬 계산 수단에서 얻은 초기 변환 행렬들로부터 최적의 변환 행렬을 추정하기 위한 제2 변환 행렬 추정 수단
    을 포함하는 모자이크 영상 생성 장치.
  7. 영상 특징점 매칭을 이용한 변환 행렬 추정 장치에 적용되는 변환 행렬 추정 방법에 있어서,
    다중 영상의 영상 특징점을 매칭하는 제 1 단계;
    상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 단계;
    상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 단계; 및
    상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 단계
    를 포함하는 변환 행렬 추정 방법.
  8. 제 7 항에 있어서,
    상기 제 1 단계는,
    각각의 영상에 대하여 동일한 모서리 점 검출기를 적용하여 영상 특징점을 추출하는 제 5 단계; 및
    각 영상 쌍에서 추출된 두 영상 특징점 집합들에 대해서 정규화된 상관계수(NCC) 방식을 적용하여 영상 특징점을 매칭하는 제 6 단계
    를 포함하는 변환 행렬 추정 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 제 2 단계는,
    상기 매칭된 영상 특징점 쌍 집합으로부터 초기 변환 행렬을 계산하는 제 7 단계; 및
    상기 얻어진 변환 행렬을 초기치로 사용하여 최적의 변환 행렬을 추정하는 제 8 단계
    를 포함하는 변환 행렬 추정 방법.
  10. 영상 특징점 매칭을 이용하여 추정한 변환 행렬을 이용한 모자이크 영상 생성 장치에 적용되는 모자이크 영상 생성 방법에 있어서,
    다중 영상의 영상 특징점을 매칭하는 제 1 단계;
    상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 단계;
    상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 단계;
    상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 단계;
    상기 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하고, 각 영상을 모자이크 영상으로 매핑하는 제 5 단계; 및
    각 영상의 획득시에 변화된 모자이크 영상의 색 변화를 보정하는 제 6 단계
    를 포함하는 모자이크 영상 생성 방법.
  11. 제 10 항에 있어서,
    상기 제 1 단계는,
    각각의 영상에 대하여 동일한 모서리 점 검출기를 적용하여 영상 특징점을 추출하는 제 7 단계; 및
    각 영상 쌍에서 추출된 두 영상 특징점 집합들에 대해서 정규화된 상관계수(NCC) 방식을 적용하여 영상 특징점을 매칭하는 제 8 단계
    를 포함하는 모자이크 영상 생성 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 제 2 단계는,
    상기 매칭된 영상 특징점 쌍 집합으로부터 초기 변환 행렬을 계산하는 제 9 단계; 및
    상기 얻어진 변환 행렬을 초기치로 사용하여 최적의 변환 행렬을 추정하는 제 10 단계
    를 포함하는 모자이크 영상 생성 방법.
  13. 프로세서를 구비한 변환 행렬 추정 장치에,
    다중 영상의 영상 특징점을 매칭하는 제 1 기능;
    상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 기능;
    상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 기능; 및
    상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 프로세서를 구비한 모자이크 영상 생성 장치에,
    다중 영상의 영상 특징점을 매칭하는 제 1 기능;
    상기 매칭된 영상 특징점을 이용하여 변환 행렬을 추정하는 제 2 기능;
    상기 추정된 각 변환 행렬들의 관계를 이용하여 기준 영상을 선정하는 제 3 기능;
    상기 선정된 기준 영상의 영상 좌표계를 기준 좌표계로 설정하고, 상기 변환 행렬을 상기 기준 좌표계에 대한 변환 행렬로 수정하는 제 4 기능;
    상기 수정된 각 변환 행렬로 생성할 모자이크 영상의 크기를 결정하고, 각 영상을 모자이크 영상으로 매핑하는 제 5 기능; 및
    각 영상의 획득시에 변화된 모자이크 영상의 색 변화를 보정하는 제 6 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020000002903A 2000-01-21 2000-01-21 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체 KR100362171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000002903A KR100362171B1 (ko) 2000-01-21 2000-01-21 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000002903A KR100362171B1 (ko) 2000-01-21 2000-01-21 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20010075948A KR20010075948A (ko) 2001-08-11
KR100362171B1 true KR100362171B1 (ko) 2002-11-23

Family

ID=19640401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000002903A KR100362171B1 (ko) 2000-01-21 2000-01-21 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR100362171B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100407685B1 (ko) * 2001-01-12 2003-12-01 윤경현 컴퓨터를 이용한 색종이 모자이크 구현 방법
KR100413970B1 (ko) * 2001-11-01 2004-01-13 한국전자통신연구원 영상 매칭을 위한 파라메터 변환 장치 및 그 방법
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
KR100591608B1 (ko) * 2005-03-18 2006-06-20 전남대학교산학협력단 영상 정합시 대응점 검색방법
KR100792172B1 (ko) * 2006-06-30 2008-01-07 중앙대학교 산학협력단 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
KR101154436B1 (ko) * 2010-09-10 2012-06-15 성균관대학교산학협력단 콘텍스트 교차에 근거한 라인 매칭 방법
KR101524548B1 (ko) * 2012-07-26 2015-06-02 삼성테크윈 주식회사 영상 정합 장치 및 방법
CN103632360B (zh) * 2013-12-17 2016-08-17 中测新图(北京)遥感技术有限责任公司 无人机航摄影像的拼接方法
KR101715167B1 (ko) * 2015-08-26 2017-03-10 울산과학기술원 Oct/ocm 기술 및 모자이크 매칭 기술을 이용한 조직 검사방법
CN113570671A (zh) * 2021-06-30 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 鱼眼摄像头标定方法、存储介质和电子设备

Also Published As

Publication number Publication date
KR20010075948A (ko) 2001-08-11

Similar Documents

Publication Publication Date Title
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US10726580B2 (en) Method and device for calibration
JP6011102B2 (ja) 物体姿勢推定方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和***
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR100362171B1 (ko) 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체
US20220277541A1 (en) Method and apparatus of training object detection network and object detection method and apparatus
CN111062966A (zh) 基于l-m算法和多项式插值对相机跟踪进行优化的方法
JP2024526417A (ja) マルチスペクトルカメラ向けの高速画像レジストレーション方法及び装置
CN110706332B (zh) 一种基于噪声点云的场景重建方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN112017159B (zh) 一种遥感场景下的地面目标真实感仿真方法
CN117671031A (zh) 双目相机标定方法、装置、设备及存储介质
CN117372604A (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
Wan et al. Boosting image-based localization via randomly geometric data augmentation
US20120038785A1 (en) Method for producing high resolution image
CN110211190B (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
Bajramovic et al. Global Uncertainty-based Selection of Relative Poses for Multi Camera Calibration.
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及***
Li et al. Color correction based on point clouds alignment in the logarithmic RGB space
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
CN114511631A (zh) 摄像机视觉物体高度测量方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071024

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee