KR20120063858A - 영상 정합 장치 및 그것의 영상 정합 방법 - Google Patents

영상 정합 장치 및 그것의 영상 정합 방법 Download PDF

Info

Publication number
KR20120063858A
KR20120063858A KR1020100125016A KR20100125016A KR20120063858A KR 20120063858 A KR20120063858 A KR 20120063858A KR 1020100125016 A KR1020100125016 A KR 1020100125016A KR 20100125016 A KR20100125016 A KR 20100125016A KR 20120063858 A KR20120063858 A KR 20120063858A
Authority
KR
South Korea
Prior art keywords
image
matching
feature point
homography matrix
reference image
Prior art date
Application number
KR1020100125016A
Other languages
English (en)
Other versions
KR101677561B1 (ko
Inventor
석정희
윤상훈
여준기
천익재
노태문
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100125016A priority Critical patent/KR101677561B1/ko
Priority to US13/211,912 priority patent/US8693785B2/en
Publication of KR20120063858A publication Critical patent/KR20120063858A/ko
Application granted granted Critical
Publication of KR101677561B1 publication Critical patent/KR101677561B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 적어도 두 개의 영상들을 정합하는 영상 정합 방법에 관한 것이다. 본 발명의 영상 정합 방법은 기준 영상 및 대상 영상의 특징점들을 추출하는 단계, 상기 기준 영상 내의 특징점들 중 선택된 특징점을 상기 대상 영상 내의 기준점으로 변환하는 단계, 상기 기준점을 기초로 상기 대상 영역에서 매칭 후보 영역을 설정하는 단계 및 상기 대상 영상의 특징점들 중 상기 매칭 후보 영역에 포함된 특징점들과 상기 기준 영상 내의 상기 선택된 특징점 사이의 유사도 연산을 수행하는 단계를 포함한다. 본 발명의 영상 정합 방법은 영상 정합 동작에서 수행되는 유사도 연산의 횟수를 감소시킴으로써, 고속 동작을 보장한다.

Description

영상 정합 장치 및 그것의 영상 정합 방법{IMAGE REGISTRATION DEVICE AND IMAGE REGISTRATION METHOD THEREOF}
본 발명은 영상 정합 장치에 관한 것으로, 좀더 구체적으로는 적어도 두 개의 영상들을 정합하는 영상 정합 장치에 관한 것이다.
최근 카메라 해상도의 한계를 확대하거나 넓은 영역의 감시, 파노라마 영상의 생성 등을 지원하기 위하여, 영상 정합(image registration)에 대한 연구가 활발하게 진행되고 있다. 영상 정합은 다수의 영상들을 한 장의 연결된 영상으로 재구성하는 것을 의미한다. 영상 정합은 둘 이상의 영상을 정합하기 위하여, 영상들의 특징점이나 깊이 정보 등을 이용한다.
한편, 특징점 및/또는 특징 벡터를 기반으로 하여 영상 정합 장치(image registration device)는 복잡하고 많은 연산량을 필요로 한다. 특히, 복수 개의 카메라 동영상을 실시간으로 처리해야 하는 경우, 영상 정합 장치는 더욱 많은 연산 동작을 수행하여야 한다. 따라서 영상 정합 동작을 수행하기 위한 시간이 증가한다.
본 발명은 영상 정합을 수행하는데 필요한 연산량을 감소시킴으로써, 고속 동작을 보장하는 영상 정합 장치 및 영상 정합 방법을 제공하는데 목적이 있다.
본 발명의 실시 예에 따른 적어도 두 개의 영상들을 정합하는 영상 정합 방법은 기준 영상 및 대상 영상의 특징점들을 추출하는 단계; 상기 기준 영상 내의 특징점들 중 선택된 특징점을 상기 대상 영상 내의 기준점으로 변환하는 단계; 상기 기준점을 기초로, 상기 대상 영역에서 매칭 후보 영역을 설정하는 단계; 및 상기 대상 영상의 특징점들 중 상기 매칭 후보 영역에 포함된 특징점들과 상기 기준 영상 내의 상기 선택된 특징점 사이의 유사도 연산을 수행하는 단계를 포함한다.
실시 예로써, 상기 유사도 수행 연산 결과를 기초로, 상기 기준 영상 내의 상기 선택된 특징점과 상기 매칭 후보 영역에 포함된 특징점들 중 선택된 특징점을 매칭하는 단계를 더 포함한다.
실시 예로써, 상기 기준 영상 내의 특징점들과 상기 대상 영상 내의 특징점들의 매칭 결과를 기초로, 호모그래피 매트릭스를 생성하는 단계를 더 포함한다.
실시 예로써, 상기 호모그래피 매트릭스를 이용하여, 상기 기준 영상 및 상기 대상 영상에 대한 와핑 동작을 수행하는 단계; 및 상기 기준 영상 및 상기 대상 영상에 대한 영상 보정 동작을 수행하는 단계를 더 포함한다.
실시 예로써, 상기 기준 영상 내의 특징점들 중 선택된 특징점은 이전의 영상 정합 동작에서 생성된 호모그래피 매트릭스에 의하여, 상기 기준점으로 변환된다.
실시 예로써, 상기 매칭 후보 영역은 상기 기준점을 중심으로 설정되며, 상기 매칭 후보 영역의 넓이는 상기 기준 영상 또는 상기 대상 영상을 촬영하는 카메라의 시점이 변이된 정도에 비례한다.
본 발명의 실시 예에 따른 적어도 두 개의 영상들을 정합하는 영상 정합 장치는 호모그래피 매트릭스를 저장하는 메모리; 상기 메모리에 저장된 호모그래피 매트릭스를 이용하여, 기준 영상의 특징점들 중 선택된 특징점에 대응하는 매칭 후보 영역을 대상 영상에서 설정하는 매칭 후보 영역 설정부; 및 상기 매칭 후보 영역 내의 특징점들 및 상기 기준 영상의 상기 선택된 특징점 사이의 유사도를 측정하여, 상기 기준 영상의 상기 선택된 특징점에 매칭되는 상기 대상 영상의 특징점을 결정하는 매칭쌍 결정부를 포함한다.
실시 예로써, 상기 매칭쌍 결정부에 결정된 매칭쌍들을 이용하여, 호모그래피 매트릭스를 생서하는 호모그래피 매트릭스 생성부를 더 포함하며, 상기 호모그래피 매트릭스 생성부에서 생성된 상기 호모그래피 매트릭스는 상기 메모리에 업데이트된다.
실시 예로써, 상기 매칭 후보 영역 설정부는 상기 메모리에 저장된 호모그래피 매트릭스를 이용하여, 상기 기준 영상의 상기 선택된 특징점의 좌표를 상기 대상 영역의 좌표로 변환한다.
실시 예로써, 상기 매칭 후보 영역의 넓이는 상기 기준 영상 또는 상기 대상 영상을 촬영하는 카메라의 시점이 변이된 정도에 비례한다.
본 발명의 실시 예에 따른 영상 정합 장치는 이전 단계에서 생성된 호모 그래피 매트릭스를 이용하여 매칭 후보 영역을 설정함으로써, 유사도 연산의 횟수를 감소시킨다. 따라서, 고속 동작이 가능하다.
도 1은 본 발명의 실시 예에 따른 영상 정합 시스템을 보여주는 블록도이다.
도 2는 도 1의 영상 정합 장치 중 특징점 매칭부의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 영상 정합 시스템을 보여주는 블록도이다.
도 4는 도 3의 영상 정합 장치 중 특징점 매칭부의 동작을 설명하기 위한 도면이다.
도 5는 도 3의 영상 정합 장치의 동작을 보여주는 순서도이다.
도 6은 도 3의 영상 정합 장치의 동작의 다른 실시 예롤 보여주는 순서도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다.
도 1은 본 발명의 실시 예에 따른 영상 정합 시스템(1000)을 보여주는 블록도이다. 도 1을 참조하면, 영상 정합 시스템(1000)은 복수의 카메라들(1100_1~1100_N), 영상 정합 장치(1200), 그리고 디스플레이부(1300)를 포함한다.
복수의 카메라들(1100_1~1100_N)은 피사체(subject)의 영상을 촬영한다. 복수의 카메라들(1100_1~1100_N)은, 예를 들어 넓은 영역을 감시하기 위한 파노라마 영상을 생성하기 위하여, 특정 장소(예를 들어, 교차로)에 설치될 수 있다.
또한, 복수의 카메라들(1100_1~1100_N)은 자동차, 선박, 항공기와 같은 이동체(mobile device)에 설치될 수 있다. 이 경우, 파노라마 영상을 생성하기 위하여, 복수의 카메라들(1100_1~1100_N)은 각각 서로 다른 시점(visual point)을 갖도록 고정된 형태로 이동체에 부착될 수 있다.
영상 정합 장치(1200)는 복수의 카메라들(1100_1~1100_N)로부터 영상들을 제공받는다. 영상 정합 장치(1200)는 수신된 영상들을 정합하여 파노라마 영상을 생성한다. 영상 정합 장치(1200)는 특징점 추출부(1210), 특징점 매칭부(1220), 호모그래피 매트릭스 생성부(1230), 와핑부(1240), 그리고 영상 보정부(1250)를 포함한다.
특징점 추출부(1210)는 복수의 카메라들(1100_1~1100_N)로부터 영상들을 수신한다. 특징점 추출부(1210)는 수신된 영상들 중 기준 영상 및 대상 영상의 특징점들을 추출한다. 여기서, 기준 영상 및 대상 영상은 영상 정합 동작을 수행할 두 개의 영상을 의미한다. 특징점 추출부(1210)는, 예를 들어, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), MSER(Maximum Stable Estremal Regions)과 같은 알고리즘을 사용하여 특징점들을 추출할 수 있다.
특징점 매칭부(1220)는 특징점 추출부(1210)로부터 특징점들에 대한 정보를 수신한다. 특징점 매칭부(1220)는 대상 영상의 특징점들 중 기준 영상의 특징점과 가장 유사한 특징점을 선택하고, 선택된 기준 영상의 특징점과 대상 영상의 특징점을 매칭쌍으로 결정한다.
여기서, 기준 영상 내의 어느 하나의 특징점과 가장 유사한 대상 영상의 특징점을 선택하고 매칭쌍으로 결정하는 동작은 매칭 동작(matching operation)이라 칭해질 수 있다. 특징점 매칭부(1220)는 기준 영상 내의 특징점들에 대하여 매칭 동작을 반복적으로 수행한다.
호모그래피 매트릭스 생성부(1230)는 특징점 매칭부(1220)로부터 매칭쌍들에 대한 정보(예를 들어, 매칭쌍들의 좌표정보)를 수신한다. 호모그래피 매트릭스 생성부(1230)는 매칭쌍들에 대한 정보를 이용하여, 호모그래피 매트릭스(homography matrix)를 생성한다.
와핑부(1240)는 호모그래피 매트릭스 생성부(1230)에서 생성된 호모그래피 매트릭스를 이용하여, 기준 영상 및 대상 영상에 대한 와핑(warping) 동작을 수행한다. 영상 보정부(1250)는 블랜딩(blending) 알고리즘, 그래프컷(graphcut) 알고리즘 등을 이용하여 기준 영상 및 대상 영상에 대한 보정 동작을 수행한다.
기준 영상 및 대상 영상에 대한 영상 정합 동작을 수행하고 난 후, 영상 정합 장치(1200)는 복수의 카메라(1100_1~1100_N)로부터 수신된 다른 영상들에 대한 영상 정합 동작을 반복적으로 수행한다. 따라서, 파노라마 영상이 생성될 수 있다. 디스플레이부(1300)는 파노라마 영상을 시청자에게 제공한다.
한편, 도 1에서 특징점 추출부(1210)는 영상 정합 동작이 수행될 두 개의 영상들에 대한 특징점들을 다른 영상들보다 먼저 추출하는 것으로 설명된다. 다만 이는 예시적인 것으로 이해되어야 할 것이다. 다른 예로, 특징점 추출부(1210)는 복수의 카메라들(1100_1~1100_N)로부터 수신된 영상들에 대한 특징점 추출 동작을 한번에 수행할 수 있다.
도 2는 도 1의 영상 정합 장치(1200) 중 특징점 매칭부(1220)의 동작을 설명하기 위한 도면이다. 설명의 편의상, 기준 영상은 N 개(N은 1 이상의 정수)의 특징점들을 가지며, 대상 영상은 M 개(M은 1 이상의 정수)의 특징점들을 가진다고 가정된다. 기준 영상은 제 1 카메라(1100_1, 도 1 참조)에서 촬영된 영상이며, 대상 영상은 제 2 카메라(1100_2)에서 촬영된 영상이라고 가정된다.
도 2를 참조하면, 제 1 및 제 2 카메라(1100_1, 1100_2)로부터 촬영된 기준 영상과 대상 영상은 각각 다른 특징점들을 갖는다. 기준 영상 내의 특징점들 중 특징점(P)에 대한 매칭 동작을 수행하는 경우, 특징점 매칭부(1220)는 특징점(P)과 대상 영상 내의 M 개의 특징점들 사이의 유사도를 각각 측정하고, 특징점(P)과 가장 유사한 대상 영상의 특징점을 특징점(P)과 매칭한다. 이러한 매칭 동작은 기준 영상 내의 N 개의 특징점들에 대하여 각각 수행한다.
따라서, 기준 영상의 모든 특징점들을 각각 대상 영상의 특징점들에 매칭하기 위해서는, 특징점 매칭부(1220)는 최대 N*M 번의 유사도 연산을 수행하여야 한다. 이러한 유사도 연산 횟수는 영상 정합 장치(1200)의 동작 속도의 저해를 야기하는 가장 큰 요인 중 하나이다. 더욱이, 적어도 3개 이상의 영상들에 대한 영상 정합 동작을 수행하는 경우, 특징점 매칭부(1220)에서 수행되는 유사도 연산의 횟수는 더욱 증가한다. 이하의 도 3에서는 특징점 매칭부(1220)에서 수행되는 유사도 연산의 수행 횟수를 감소시키는 본 발명의 다른 실시 예에 따른 영상 정합 장치가 좀더 자세히 설명된다.
도 3은 본 발명의 다른 실시 예에 따른 영상 정합 시스템(2000)을 보여주는 블록도이다. 도 3의 영상 정합 시스템(2000)은 도 1의 영상 정합 시스템(1000)과 유사하다. 따라서, 이하에서는 도 1의 영상 정합 시스템(1000)과의 차이점이 중점적으로 설명된다. 도 3을 참조하면, 특징점 매칭부(2220)는 메모리(2221), 매칭 후보 영역 설정부(2222), 그리고 매칭쌍 결정부(2223)를 포함한다.
도 3의 특징점 매칭부(2220)는 이전 단계에서 생성된 호모 그래피 매트릭스(또는 제품 출하 시의 호모 그래피 매트릭스)를 이용하여 매칭 후보 영역을 설정함으로써, 도 1의 특징점 매칭부(1220)에 비하여 유사도 연산의 횟수를 감소시킨다. 도 3의 특징점 매칭부(2220)는 도 1의 특징점 매칭부(1220)와 달리, 메모리(2221), 매칭 후보 영역 설정부(2222), 그리고 매칭쌍 결정부(2223)를 포함한다.
메모리(2221)는 호모그래피 매트릭스 생성부(2230)로부터 호모그래피 매트릭스를 수신하고, 호모그래피 매트릭스를 저장한다. 예를 들어, 영상 정합 장치(2200)의 제품 출하 초기 시, 메모리(2221)는 미리 정해진 호모그래피 매트릭스를 저장할 수 있다. 다른 예로, 이전 단계에서 영상 정합 동작이 수행된 경우, 메모리(2221)는 이전 단계에서 생성된 호모그래피 매트릭스를 저장할 수 있다.
매칭 후보 영역 설정부(2222)는 특징점 추출부(2210)로부터 특징점들에 관한 정보를 수신한다. 예를 들어, 매칭 후보 영역 설정부(2222)는 영상 정합 동작을 수행할 기준 영상 및 대상 영상의 특징점들에 대한 정보를 특징점 추출부(2210)로부터 수신한다.
매칭 후보 영역 설정부(2222)는 기준 영상 내의 특징점들 중 어느 하나의 특징점을 선택한다. 매칭 후보 영역 설정부(2222)는 메모리(2221)에 저장된 호모그래피 매트릭스를 이용하여, 기준 영상의 선택된 특징점에 대응하는 대상 영상의 좌표를 계산한다. 매칭 후보 영역 설정부(2222)는 계산된 좌표를 기준으로, 대상 영상 내에서 매칭 후보 영역을 설정한다.
매칭쌍 결정부(2223)는 매칭 후보 영역 설정부(2222)로부터 매칭 후보 영역에 대한 정보를 수신한다. 매칭쌍 결정부(2223)는 매칭 후보 영역들에 포함된 특징점들과 기준 영상 내의 선택된 특징점 사이의 유사도 연산을 수행한다. 매칭쌍 결정부(2223)는 매칭 후보 영역 내의 특징점들 중 기준 영상 내의 선택된 특징점과 가장 유사한 특징점을 선택하고, 대상 영상 내의 선택된 특징점과 기준 영상 내의 선택된 특징점을 매칭쌍으로 결정한다.
기준 영상 내의 선택된 특징점에 대한 매칭 동작을 수행하고 난 후, 특징점 매칭부(2220)는 기준 영상 내의 다른 특징점들에 대한 매칭 동작을 반복적으로 수행한다.
매칭 동작이 완료된 이 후, 호모그래피 매트릭스 생성부(2230)는 매칭쌍들을 이용하여 호모그래피 매트릭스를 생성한다. 와핑부(2240) 및 영상 보정부(2250)는 각각 호모그래피 매트릭스 생성부(2230)에서 생성된 호모그래피 매트릭스를 이용하여, 와핑 동작 및 보정 동작을 각각 수행한다. 한편, 호모그래피 매트릭스 생성부(2230)에서 생성된 호모그래피 매트릭스는 메모리(2221)에 업데이트(update) 된다.
도 4는 도 3의 영상 정합 장치(2200) 중 특징점 매칭부(2220)의 동작을 설명하기 위한 도면이다. 설명의 편의상, 도 1과 마찬가지로, 기준 영상은 제 1 카메라(2100_1, 도 3 참조)에서 촬영된 영상이며, N 개(N은 1 이상의 정수)의 특징점들을 가진다고 가정된다. 또한, 대상 영상은 제 2 카메라(2100_2, 도 3 참조)에서 촬용된 영상이며 M 개(M은 1 이상의 정수)의 특징점들을 가진다고 가정된다. 이하에서는 도 3 및 도 4를 참조하여, 도 3의 특징점 매칭부(2220)의 동작이 좀더 자세히 설명된다.
제 1 및 제 2 카메라(2100_1, 2100_2)가 자동차, 선박, 항공기와 같은 이동체(mobile device)에 고정된 형태로 부착되는 경우, 제 1 및 제 2 카메라(2100_1, 2100_2)의 시점은 일정하거나 작은 시점 변이를 갖는다. 따라서, 이전 단계의 매칭쌍의 근처에 현재의 매칭쌍이 존재할 가능성이 크다. 이전 단계의 매칭쌍에 관한 정보는 이전 단계에서 생성된 호모 그래피 매트릭스를 이용하여 획득될 수 있다. 특징점 매칭부(2220)는 이전 단계에서 생성된 호모 그래피 매트릭스를 이용하여 매칭 후보 영역을 설정함으로써, 유사도 연산의 수행 횟수를 감소시킬 수 있다.
자세히 설명하면, 기준 영상의 특징점들 중 특징점(P)에 매칭되는 대상 영상의 특징점을 선택하는 경우, 매칭 후보 영역 설정부(2222)는 메모리(2221)에 저장된 이전 단계의 호모 그래피 매트릭스(H)를 이용하여, 특징점(P)의 좌표를 대상 영상의 좌표(이하, 좌표 Q)로 변환한다. 이 경우, 좌표 Q에 대응하는 점(point)은 기준점이라 칭해질 수 있다.
제 1 및 제 2 카메라(2100_1, 2100_2)가 작은 변이 시점을 갖기 때문에, 특징점(P)에 매칭될 대상 영상의 특징점은 좌표 Q(즉, 기준점)의 근처에 존재할 확률이 높다. 따라서, 매칭 후보 영역 설정부(2222)는 기준점을 중심으로 매칭 후보 영역을 설정한다. 이 경우, 매칭 후보 영역은 기준점을 중심으로 하는 원으로 설정될 수 있다. 매칭 후보 영역의 반경은 제 1 및 제 2 카메라(2100_1, 2100_2)의 시점 변이 정도에 따라 결정될 수 있다. 예를 들어, 매칭 후보 영역의 반경은 제 1 및 제 2 카메라(2100_1, 2100_2)의 시점이 변이된 정도에 비례할 수 있다. 또한, 매칭 후보 영역은 기준점을 중심으로 하는 사각형의 형태로 설정될 수 있다.
매칭 후보 영역이 설정된 후, 매칭쌍 결정부(2223)는 매칭 후보 영역에 포함된 특징점들과 기준 영상의 특징정(P)과의 유사도 연산을 수행한다. 설명의 편의상, 도 4의 매칭 후보 영역에는 2 개의 특징점들(X1, X2)이 존재한다고 가정된다. 매칭쌍 결정부(2223)는 기준 영상의 특징점(P)과 대상 영상의 특징점들(X1, X2) 사이의 유사도 연산을 수행한 후, 대상 영상의 특징점들(X1, X2) 중 기준 영상의 특징점(P)과 가장 유사한 특징점을 기준 영상의 특징점(P)에 매칭한다. 이 후, 기준 영상 내의 다른 특징점들에 대한 매칭 동작이 반복적으로 수행된다.
이 경우, 매칭쌍 결정부(2223)에서 수행되어야 할 유사도 연산의 횟수는 도 1의 특징점 매칭부(1200)에서 수행되어야 할 유사도 연산의 횟수에 비하여 감소한다. 따라서, 도 3의 영상 정합 장치(2200)는 도 1 영상 정합 장치(1200)에 비하여 빠른 속도로 영상 정합 동작을 수행할 수 있다.
도 5는 도 3의 영상 정합 장치(2200)의 동작을 보여주는 순서도이다.
S110 단계에서, 특징점 추출부(2210)는 복수의 카메라들(2100_1~2100_N)에서 촬영된 영상들의 특징점들을 추출한다. 예를 들어, 특징점 추출부(2210)는 영상 정합 동작이 수행될 기준 영상 및 대상 영상의 특징점들을 먼저 추출할 수 있다. 다른 예로, 특징점 추출부(2210)는 복수의 영상들의 특징점들을 한번에 추출할 수 있다.
S120 단계에서, 특징점 매칭부(2220)는 기준 영상과 대상 영상 사이에 매칭 동작을 수행한다.
구체적으로, S121 단계에서, 매칭 후보 영역 설정부(2222)는 기준 영상의 특징점들 중 소정의 특징점을 선택한다.
S122 단계에서, 매칭 후보 영역 설정부(2222)는 메모리(2221)에 저장된 호모그래피 매트릭스H)를 이용하여 기준 영상의 특징점을 대상 영상의 좌표로 변환하고, 매칭 후보 영역을 설정한다.
S123 단계에서, 매칭쌍 결정부(2223)는 매칭 후보 영역 내의 특징점들 및 기준 영상의 특징점 사이에 유사도 연산을 수행하고, 매칭 후보 영역 내의 특징점들 중 기준 영상의 특징점과 가장 유사한 특징점을 기준 영상의 특징점에 매칭한다.
S124 단계에서, 기준 영상 내의 모든 특징점들에 대한 매칭 동작이 완료되었는지가 판단된다. 기준 영상 내의 모든 특징점들에 대한 매칭 동작이 완료되지 않은 경우, 매칭 후보 영역 설정부(2222)는 기준 영상의 특징점들 중 새로운 특징점에 대한 매칭 동작을 반복적으로 수행한다. 기준 영상 내의 모든 특징점들에 대한 매칭 동작이 완료된 경우, S130 단계가 수행된다.
S130 단계에서, 호모그래피 매트릭스 생성부(2230)는 특징점 매칭부(2220)에서 결정된 매칭쌍들을 이용하여 새로운 호모그래피 매트릭스H)를 생성한다. 이 후, 와핑부(2240)는 새로운 호모그래피 매트릭스H)를 이용하여, 기준 영상 및 대상 영상에 대한 와핑 동작을 수행하고(S140 단계), 영상 보정부(2250)는 블렌딩, 그래프컷 등의 기법을 이용하여 영상 보정 동작을 수행한다. 한편, 호모그래피 매트릭스 생성부(2230)에서 생성된 호모그래피 매트릭스H)는 메모리(2221)에 업데이트된다.
한편, 상술한 설명은 예시적인 것으로 이해되어야 할 것이며, 본 발명의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 도 1 내지 도 5에서, 호모그래피 매트릭스는 영상 정합 동작이 수행될 때마다 생성되는 것으로 가정되었다. 다만 이는 예시적인 것으로 이해되어야 할 것이다.
예를 들어, 호모그래피 매트릭스는 소정 시간 간격을 가지고(즉, 소정 주기를 가지고) 수행되거나, 외부의 명령에 응답하여 수행될 수 있다. 이하의 도 6에서는 본 발명의 일 실시 예로써, 외부의 명령에 응답하여 호모그래피 매트릭스를 생성하는 본 발명의 실시 예가 좀더 자세히 설명된다.
도 6은 도 3의 영상 정합 장치(2200)의 동작의 다른 실시 예롤 보여주는 순서도이다.
S210 단계에서, 영상 정합 장치(2200)는 모드 선택 신호(mode select signal)를 수신한다. 예를 들어, 영상 정합 장치(2200)는 사용자로부터 모드 선택 신호를 수신하거나, 영상 정합 장치를 제어하는 중앙처리장치(CPU, 미도시)로부터 모드 선택 신호를 수신할 수 있다.
S220 단계에서, 영상 정합 장치(2200)는 모드 선택 신호가 매트릭스 생성 모드인 지의 여부를 판단한다.
매트릭스 생성 모드인 경우, 영상 정합 장치(2200)는 이전 단계에서 생성된 호모그래피 매트릭스를 이용하여 새로운 호모그래피 매트릭스를 생성하는 동작을 수행한다(S230, S241~S244). 이는 도 5의 S110 및 S121~124 단계와 유사하므로 자세한 설명은 생략된다. 이 후, 영상 정합 장치(2200)는 새로 생성된 호모그래피 매트릭스를 이용하여 와핑 동작 및 영상 보정 동작을 수행한다(S260, S270).
매트릭스 생성 모드가 아닌 경우, 영상 정합 장치(2200)는 새로운 호모그래피 매트릭스를 생성하지 않고, 메모리(2221)에 저장된 호모그래피 매트릭스를 이용하여 와핑 동작 및 영상 보정 동작을 수행한다(S260, S270).
도 6에서 설명된 바와 같이, 영상 정합 장치(2200)는 모드 선택 신호에 응답하여 선택적으로 호모그래피 매트릭스를 생성할 수 있다. 예를 들어, 복수의 카메라들(2100_1~2100_N)의 시점 변이가 없는 경우, 새로운 호모그래피 매트릭스가 생성될 필요가 없다. 이 경우, 영상 정합 장치(2200)는 호모그래피 매트릭스를 생성하는 단계를 생략함으로써, 영상 정합 동작을 보다 빠르게 수행할 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 영상 정합 장치(2200)는 이전 단계에서 생성된 호모그래피 매트릭스를 이용하여 매칭 후보 영역을 설정함으로써, 영상 정합 동작의 수행 속도를 향상시킬 수 있다. 다만, 상술한 설명은 본 발명의 예로써 이해되어야 하며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 예를 들어, 도 1 및 도 3의 영상 정합 장치(2200)는 특징 벡터를 추출하고, 추출된 특징 벡터를 이용하여 영상 정합 동작을 수행할 수 있다.
본 발명의 범위 또는 기술적 사상을 벗어나지 않고 본 발명의 구조가 다양하게 수정되거나 변경될 수 있음은 이 분야에 숙련된 자들에게 자명하다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.
1000, 2000: 영상 정합 시스템
1100_1~1100_N, 2100_1~2100_N: 복수의 카메라들
1200, 2200: 영상 정합 장치
1210, 2210: 특징정 추출부
1220, 2220: 특징점 매칭부
1230, 2230: 호모그래피 매트릭스 생성부
1240, 2240: 와핑부
1250, 2250: 영상 보정부
1300, 2300: 디스플레이부

Claims (10)

  1. 적어도 두 개의 영상들을 정합하는 영상 정합 방법에 있어서:
    기준 영상 및 대상 영상의 특징점들을 추출하는 단계;
    상기 기준 영상 내의 특징점들 중 선택된 특징점을 상기 대상 영상 내의 기준점으로 변환하는 단계;
    상기 기준점을 기초로, 상기 대상 영역에서 매칭 후보 영역을 설정하는 단계; 및
    상기 대상 영상의 특징점들 중 상기 매칭 후보 영역에 포함된 특징점들과 상기 기준 영상 내의 상기 선택된 특징점 사이의 유사도 연산을 수행하는 단계를 포함하는 영상 정합 방법.
  2. 제 1 항에 있어서,
    상기 유사도 수행 연산 결과를 기초로, 상기 기준 영상 내의 상기 선택된 특징점과 상기 매칭 후보 영역에 포함된 특징점들 중 선택된 특징점을 매칭하는 단계를 더 포함하는 영상 정합 방법.
  3. 제 2 항에 있어서,
    상기 기준 영상 내의 특징점들과 상기 대상 영상 내의 특징점들의 매칭 결과를 기초로, 호모그래피 매트릭스를 생성하는 단계를 더 포함하는 영상 정합 방법.
  4. 제 3 항에 있어서,
    상기 호모그래피 매트릭스를 이용하여, 상기 기준 영상 및 상기 대상 영상에 대한 와핑 동작을 수행하는 단계; 및
    상기 기준 영상 및 상기 대상 영상에 대한 영상 보정 동작을 수행하는 단계를 더 포함하는 영상 정합 방법.
  5. 제 1 항에 있어서,
    상기 기준 영상 내의 특징점들 중 선택된 특징점은 이전의 영상 정합 동작에서 생성된 호모그래피 매트릭스에 의하여, 상기 기준점으로 변환되는 영상 정합 방법.
  6. 제 1 항에 있어서,
    상기 매칭 후보 영역은 상기 기준점을 중심으로 설정되며,
    상기 매칭 후보 영역의 넓이는 상기 기준 영상 또는 상기 대상 영상을 촬영하는 카메라의 시점이 변이된 정도에 비례하는 영상 정합 방법.
  7. 적어도 두 개의 영상들을 정합하는 영상 정합 장치에 있어서:
    호모그래피 매트릭스를 저장하는 메모리;
    상기 메모리에 저장된 호모그래피 매트릭스를 이용하여, 기준 영상의 특징점들 중 선택된 특징점에 대응하는 매칭 후보 영역을 대상 영상에서 설정하는 매칭 후보 영역 설정부; 및
    상기 매칭 후보 영역 내의 특징점들 및 상기 기준 영상의 상기 선택된 특징점 사이의 유사도를 측정하여, 상기 기준 영상의 상기 선택된 특징점에 매칭되는 상기 대상 영상의 특징점을 결정하는 매칭쌍 결정부를 포함하는 영상 정합 장치.
  8. 제 7 항에 있어서,
    상기 매칭쌍 결정부에 결정된 매칭쌍들을 이용하여, 호모그래피 매트릭스를 생서하는 호모그래피 매트릭스 생성부를 더 포함하며,
    상기 호모그래피 매트릭스 생성부에서 생성된 상기 호모그래피 매트릭스는 상기 메모리에 업데이트되는 영상 정합 장치.
  9. 제 7 항에 있어서,
    상기 매칭 후보 영역 설정부는
    상기 메모리에 저장된 호모그래피 매트릭스를 이용하여, 상기 기준 영상의 상기 선택된 특징점의 좌표를 상기 대상 영역의 좌표로 변환하는 영상 정합 장치.
  10. 제 7 항에 있어서,
    상기 매칭 후보 영역의 넓이는 상기 기준 영상 또는 상기 대상 영상을 촬영하는 카메라의 시점이 변이된 정도에 비례하는 영상 정합 장치.
KR1020100125016A 2010-12-08 2010-12-08 영상 정합 장치 및 그것의 영상 정합 방법 KR101677561B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100125016A KR101677561B1 (ko) 2010-12-08 2010-12-08 영상 정합 장치 및 그것의 영상 정합 방법
US13/211,912 US8693785B2 (en) 2010-12-08 2011-08-17 Image matching devices and image matching methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100125016A KR101677561B1 (ko) 2010-12-08 2010-12-08 영상 정합 장치 및 그것의 영상 정합 방법

Publications (2)

Publication Number Publication Date
KR20120063858A true KR20120063858A (ko) 2012-06-18
KR101677561B1 KR101677561B1 (ko) 2016-11-18

Family

ID=46199455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125016A KR101677561B1 (ko) 2010-12-08 2010-12-08 영상 정합 장치 및 그것의 영상 정합 방법

Country Status (2)

Country Link
US (1) US8693785B2 (ko)
KR (1) KR101677561B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130815A (ko) * 2013-05-02 2014-11-12 삼성전자주식회사 수술용 트로카 및 이를 이용한 영상 획득 방법
KR20150051087A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
US9436894B2 (en) 2013-08-20 2016-09-06 Hanwha Techwin Co., Ltd. Image alignment apparatus and image alignment method of using the same
US9824303B2 (en) 2013-11-29 2017-11-21 Hanwha Techwin Co., Ltd. Image matching method using feature point matching
KR20190064540A (ko) * 2019-05-28 2019-06-10 한화테크윈 주식회사 파노라마 영상 생성 장치 및 방법
KR20210088436A (ko) * 2019-12-30 2021-07-14 센스타임 인터내셔널 피티이. 리미티드. 이미지 처리 방법, 장치 및 전자 기기

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300875A1 (en) * 2010-04-23 2013-11-14 Flir Systems Ab Correction of image distortion in ir imaging
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
JP2015506188A (ja) * 2011-12-21 2015-03-02 コーニンクレッカ フィリップス エヌ ヴェ 容積測定モダリティからの構造の未較正内視鏡のビデオへのオーバレイ及び動き補償
WO2014175223A1 (ja) * 2013-04-22 2014-10-30 ローム株式会社 癌診断装置、診断システム、診断装置
US9681066B2 (en) * 2013-07-08 2017-06-13 Flir Systems Ab Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement
CN104281847B (zh) * 2013-07-12 2017-10-03 步步高教育电子有限公司 一种点读方法、装置及设备
CN104866851A (zh) * 2015-03-01 2015-08-26 江西科技学院 一种图像匹配的sift算法
CN104881671B (zh) * 2015-05-21 2018-01-19 电子科技大学 一种基于2D‑Gabor的高分遥感影像局部特征提取方法
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置
CN106851183B (zh) * 2015-12-04 2020-08-21 宁波舜宇光电信息有限公司 基于fpga的多路视频处理***及其方法
US10558881B2 (en) 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
CN106778771A (zh) * 2016-11-22 2017-05-31 上海师范大学 一种新型的二值sift描述子及其图像匹配方法
TWI599989B (zh) * 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
CN107665479A (zh) * 2017-09-05 2018-02-06 平安科技（深圳）有限公司 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质
CN110261923B (zh) * 2018-08-02 2024-04-26 浙江大华技术股份有限公司 一种违禁品检测方法及装置
KR102231356B1 (ko) * 2018-12-03 2021-03-24 중앙대학교 산학협력단 시설물 결함 검측 방법 및 그 장치
CN110070490B (zh) * 2019-05-05 2023-10-03 京东方科技集团股份有限公司 图像拼接方法和装置
CN110197504B (zh) * 2019-06-05 2021-07-20 首都师范大学 图像配准方法、装置、电子设备及计算机可读存储介质
CN110378940B (zh) * 2019-06-17 2023-04-07 东南大学 航空图像特征点匹配扩散递归校准方法
CN111582296B (zh) * 2019-12-20 2021-02-05 珠海大横琴科技发展有限公司 一种遥感图像综合匹配方法、装置、电子设备及存储介质
CN111242221B (zh) * 2020-01-14 2023-06-20 西交利物浦大学 基于图匹配的图像匹配方法、***及存储介质
US11164283B1 (en) * 2020-04-24 2021-11-02 Apple Inc. Local image warping in image processor using homography transform function
CN111680549B (zh) * 2020-04-28 2023-12-05 肯维捷斯（武汉）科技有限公司 一种纸纹识别方法
CN112364879A (zh) * 2020-10-10 2021-02-12 南京轩宁信息技术有限公司 一种基于双向最优匹配点对的图像匹配方法
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus
CN112465025A (zh) * 2020-11-26 2021-03-09 济南大学 一种基于邻域推断的图像特征匹配方法及***
CN112508033B (zh) * 2021-02-03 2021-06-08 新东方教育科技集团有限公司 检测方法、存储介质和电子装置
CN113673321A (zh) * 2021-07-12 2021-11-19 浙江大华技术股份有限公司 目标重识别方法、目标重识别装置及计算机可读存储介质
KR102552326B1 (ko) 2023-01-16 2023-07-06 (주)글로벌시스템스 감시 지역에 대한 복층 파노라마 영상 생성 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007816A (ko) 2004-07-22 2006-01-26 학교법인 중앙대학교 영상 합성 방법
US20090257680A1 (en) 2006-06-30 2009-10-15 Nxp B.V. Method and Device for Video Stitching
KR101200490B1 (ko) 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Torr et al., "Feature Based Methods for structure and Motion Estimation", Vision Algorithms’99, LNCS 1883, pp. 278-294, copyright 2000, Springer-Verlag Berlin Heidelberg 2000.* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130815A (ko) * 2013-05-02 2014-11-12 삼성전자주식회사 수술용 트로카 및 이를 이용한 영상 획득 방법
US10448812B2 (en) 2013-05-02 2019-10-22 Samsung Electronics Co., Ltd. Surgical trocars and image acquisition method using the same
US9436894B2 (en) 2013-08-20 2016-09-06 Hanwha Techwin Co., Ltd. Image alignment apparatus and image alignment method of using the same
KR20150051087A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
US9824303B2 (en) 2013-11-29 2017-11-21 Hanwha Techwin Co., Ltd. Image matching method using feature point matching
KR20190064540A (ko) * 2019-05-28 2019-06-10 한화테크윈 주식회사 파노라마 영상 생성 장치 및 방법
KR20210088436A (ko) * 2019-12-30 2021-07-14 센스타임 인터내셔널 피티이. 리미티드. 이미지 처리 방법, 장치 및 전자 기기

Also Published As

Publication number Publication date
US8693785B2 (en) 2014-04-08
US20120148164A1 (en) 2012-06-14
KR101677561B1 (ko) 2016-11-18

Similar Documents

Publication Publication Date Title
KR101677561B1 (ko) 영상 정합 장치 및 그것의 영상 정합 방법
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9373034B2 (en) Apparatus and method for tracking object
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
US20180137632A1 (en) System and method of hybrid tracking for match moving
KR101335617B1 (ko) 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
US9053546B2 (en) Information processing apparatus, control method therefor, and computer-readable storage medium
US9361692B2 (en) Image registration device and operation method of the same
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
KR20130134163A (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
JP2016509805A (ja) 画像ストリームの高フレームレート化
WO2008154825A1 (en) A method and device for extracting a background image in a motion image
JP6178646B2 (ja) 撮像装置及び像振れ補正処理方法
JP2018137667A (ja) カメラキャリブレーション方法、プログラムおよび装置
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR101480824B1 (ko) 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법
JP6489654B2 (ja) カメラのキャリブレーション装置、方法及びプログラム
JP6489655B2 (ja) カメラのキャリブレーション装置、方法及びプログラム
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
JP5970387B2 (ja) 画像生成装置、画像生成方法及びプログラム
KR102637913B1 (ko) 영상 합성 방법 및 장치
US9361540B2 (en) Fast image processing for recognition objectives system
US10425594B2 (en) Video processing apparatus and method and computer program for executing the video processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 4