KR101411639B1 - 영상 정합 방법 및 장치 - Google Patents

영상 정합 방법 및 장치 Download PDF

Info

Publication number
KR101411639B1
KR101411639B1 KR20070092231A KR20070092231A KR101411639B1 KR 101411639 B1 KR101411639 B1 KR 101411639B1 KR 20070092231 A KR20070092231 A KR 20070092231A KR 20070092231 A KR20070092231 A KR 20070092231A KR 101411639 B1 KR101411639 B1 KR 101411639B1
Authority
KR
South Korea
Prior art keywords
image
level
motion vector
images
pyramid
Prior art date
Application number
KR20070092231A
Other languages
English (en)
Other versions
KR20090027053A (ko
Inventor
이석
이성덕
송현철
최원희
권재현
이강의
Original Assignee
삼성전기주식회사
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사, 삼성전자주식회사 filed Critical 삼성전기주식회사
Priority to KR20070092231A priority Critical patent/KR101411639B1/ko
Priority to US12/222,963 priority patent/US8300985B2/en
Priority to JP2008232711A priority patent/JP5595646B2/ja
Publication of KR20090027053A publication Critical patent/KR20090027053A/ko
Priority to JP2014027930A priority patent/JP2014099921A/ja
Application granted granted Critical
Publication of KR101411639B1 publication Critical patent/KR101411639B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

영상 정합 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 영상 정합 방법은 제 1 영상 및 제 2 영상을 획득하는 단계, 각 영상에 대하여 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성하는 단계 및 최상위 레벨의 영상에서 최하위 레벨의 영상까지 순차적으로, 동일 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구하고, 최적 이동 방향을 기초로 모션 벡터를 갱신하며, 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하는 단계를 포함한다.
영상, 정합, 피라미드, 모션 벡터, registration, alignment

Description

영상 정합 방법 및 장치{Method and apparatus for image registration}
본 발명은 영상 정합 방법 및 장치에 관한 것으로, 보다 상세하게는 영상 피라미드를 사용하고 각 피라미드 레벨에서 목적함수의 계산량을 줄여 영상 정합을 빠르게 수행할 수 있고, 정합되는 두 영상 사이에 특성의 차이가 큰 경우에도 안정적인 성능을 보이는 영상 정합 방법 및 장치에 관한 것이다.
일반적으로, 영상 정합(alignment, registration)이란 서로 다른 두 장의 영상 혹은 그 이상의 영상에서 물리적으로 유사한 영상 내의 영역들을 기하학적으로 일치시키는 처리를 말한다.
최근에는 단일의 이미지 센서로부터 획득한 다중 노출 기반의 하이 다이나믹 레인지 영상(high dynamic range(HDR) image)을 위한 정합이나 손떨림에 의한 모션 디블러링(motion deblurring)을 위한 정합 뿐만 아니라, 서로 다른 방식(modality)의 다수의 영상 획득 장치로부터 획득한 영상을 정합하는 기술이 발전되고 있다. 서로 다른 방식의 다수의 영상 획득 장치로부터 영상을 획득하여 영상을 정합하는 일 예로 일반 카메라 영상과 적외선 영상 혹은 CT 와 MRI 영상을 합성하는 경우를 들 수 있다.
종래의 영상 정합의 방법으로 목적함수로 사용되는 값이 루미넌스(luminance)를 기반으로 하는 경우에는 밝기나 모션 블러(motion blur) 등의 촬영 조건이 유사하다는 가정하에서만 적용이 가능하였다. 하지만 실제에 있어서 정합 대상이 되는 두 영상을 획득할 때 촬영 조건이 상이하여 영사의 특성 차이가 크게 발생하는 경우가 발생하는데, 이때 움직임의 추정이 실패하는 경우가 생긴다. 예를 들어 하이 다이나믹 레인지(HDR) 영상을 생성하기 위해 노출시간을 달리한 두 영상을 정합하는 경우, 극단적인 밝기 차이로 인하여 아주 밝거나 어두운 영역에서는 에지(edge) 정보가 손실되는 경우가 발생하며, 다중 노출 기반의 모션 디블러링을 하는 경우에도 각 영상간에 노출 시간 차이로 인해서 모션 블러량의 차이가 발생하여, 종래의 방법으로는 영상을 정합할 수 없는 경우가 발생하였다.
또한, 종래의 상호정보(mutual information), 정규 상호정보(normalized mutual information)과 같은 확률 기반 방법을 이용하여 영상을 정합하는 방법은 영상의 특성 차이가 크게 발생하는 경우에도 정합의 안정성을 높일 수 있다는 장점이 있지만, 계산량이 많아서 온라인 상에서 작동하는 카메라 시스템에는 사용하기 힘들다는 문제점이 발생하였다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 목적은 피라미드 영상을 이용하고 각 피라미드 레벨에서 다섯 번의 목적 함수의 계산만으로 영상을 정합하여 정합 속도를 향상시키고, 목적 함수를 계산할 때 기존의 확률 기반 방법을 사용하여 영상 간의 특성 차이가 큰 경우에도 안정적으로 영상을 정합할 수 있도록 하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 정합 방법은 제 1 영상 및 제 2 영상을 획득하는 단계; 상기 각 영상에 대하여 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성하는 단계; 및 최상위 레벨의 영상에서 최하위 레벨의 영상까지 순차적으로, 동일 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구하고, 상기 최적 이동 방향을 기초로 모션 벡터를 갱신하며, 상기 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 정합 장치 는 이미지 센서로 제 1 영상 및 제 2 영상을 획득하는 영상 획득부; 상기 획득한 각 영상에 대하여 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성하는 피라미드 생성부; 동일 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구하는 방향 계산부; 상기 최적 이동 방향을 기초로 모션 벡터를 갱신하는 모션 벡터 계산부; 및 상기 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하는 영상 갱신부를 포함하며, 최상위 레벨의 영상에서 최하위 레벨의 영상까지 순차적으로, 상기 모션 벡터 계산부는 상기 모션 벡터를 갱신하고, 상기 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하여 영상을 정합한다.
상기한 바와 같은 본 발명의 영상 정합 방법 및 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 피라미드 영상을 이용하고 각 피라미드 레벨에서 다섯 번의 목적 함수의 계산만으로 영상을 정합할 수 있어서 정합 속도를 향상시킬 수 있다는 장점이 있다.
둘째,　영상 정합을 위한 계산량을 줄여 온라인 상에서 동작하는 카메라 시스템 등에서도 적용이 가능하여 하드웨어 구현이 용이하다는 장점도 있다.
셋째, 각 피라미드 레벨에서 5번의 목적 함수의 계산만으로도 영상 정합이 가능하므로, 목적 함수를 계산할 때 계산량이 많은 상호정보(mutual information), 정규 상호정보(normalized mutual information) 알고리즘 등의 확률 기반 방법을 사용함으로써 영상 간의 밝기, 모션 블러(motion blur), 방식(modality) 등의 특성 차이가 큰 경우에도 안정적으로 영상을 정합할 수 있다는 장점도 있다.
실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 본 발명의 실시예들에 의한 영상 정합 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상 정합 방법의 순서도이다.
본 발명의 일 실시예에 따른 영상 정합 방법은 영상 획득 장치로부터 제 1 영상 및 제 2 영상을 획득하는 단계(S110), 획득한 각 영상을 단일 채널의 영상을로 변환시키는 단계(S120), 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성하는 단계(S130), 및 최상위 레벨의 영상에서 최하위 레벨의 피라미드 영상까지 순차적으로, 동일 레벨의 두 영상으로부터 최적 이동 방향을 구하고(S150, S200), 최적 이동 방향을 기초로 모션 벡터를 갱신(S160)하며, 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하는 단계(S190, S210)를 포함한다.
먼저, 이미지 센서를 가지는 영상 획득부(510)로부터 정합을 수행할 두 영상(제 1 영상, 제 2 영상)을 획득한다(S110).
이미지 센서는 피사체에서 반사된 광을 전기적인 이미지 신호로 변환하여 영 상을 생성해 내는 영상 촬상 소자 부품을 일컫는 것으로, 그 제작 공정과 응용 방식에 따라 크게 전하 결합 소자(CCD; Charge Coupled Device) 이미지 센서와 금속 산화물 반도체(CMOS; Com-plementary　Metal Oxide Semiconductor) 이미지 센서로 분류 할 수 있다.
후술할 내용이지만, 본 발명에서는 단일 영상 획득 장치로부터 두 영상을 획득하는 경우 뿐만 아니라, 서로 다른 방식(modality)을 가지는 복수의 영상 획득 장치로부터 영상을 획득하는 경우에도 안정적으로 영상 정합을 수행할 수 있다. 예를 들어, 일반 카메라로부터 획득한 영상과 적외선 카메라로부터 획득한 영상, CT 영상과 MRI 영상 사이에서도 정합을 안정적으로 수행할 수 있어서, 모든 영상 시스템에 폭넓게 적용이 가능하다. 따라서, 영상 정합을 위한 두 영상을 획득할 때 영상 획득 장치의 종류 및 수에는 제한을 받지 않는다.
다음, 영상 변환부(520)는 획득한 두 영상에 대하여 단일 채널의 영상으로 영상 변환을 수행할 수 있다(S120). 단일 채널의 영상의 일 예로 그레이 스케일 영상을 들 수 있다. 또는, RGB 채널을 사용하는 경우 R, G, B 중 하나의 채널값을 이용하여 단일 채널의 영상으로 변환시킬 수도 있을 것이다.
획득한 영상을 단일 채널의 영상으로 변환시키기 때문에, 입력 영상은 영상 획득 장치의 방식과 상관없이 컬러 영상 뿐만 아니라 흑백 영상, 적외선 영상, 또는 CT, MRI 등의 의료 영상 등 모든 종류의 영상을 이용하여 정합을 수행할 수 있다.
다음. 피라미드 생성부(530)는 획득한 두 영상 또는 획득한 영상을 단일 채 널의 영상으로 변환한 두 영상에 대하여 각각의 영상 피라미드를 생성한다(S130).
도 2는 본 발명의 일 실시예에 따른 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling)을 통한 영상 피라미드의 구성을 도시한 도면이고, 도 3은 실제 영상으로 가로 세로의 크기를 반으로 줄이는 서브 샘플링을 통한 영상 피라미드를 도시한 도면이다.
영상 정합에 있어서, 영상 피라미드는 대게 원시 영상에서 특정의 모션 벡터를 추출하려면 처리해야 하는 데이터량이 매우 방대하여 많은 처리 시간이 필요한 문제점을 해결하기 위하여 영상이 가지고 있는 특성을 유지하면서 처리되는 영상의 크기를 축소하는 방법으로 널리 사용된다.
도 2 및 도 3에서와 같이 원본 영상과 동일한 크기의 영상을 레벨 0, 영상을 단계적으로 축소시키면서 제일 작은 크기의 영상을 레벨 n(도 3에서는 n=5)이라 하고, 영상의 크기가 작아질수록 상위 레벨의 영상이라고 할 때, 상위 레벨로 갈수록 해상도는 작아지고 하위 레벨로 갈수록 해상도는 커진다.
본 발명에 있어서는 한 단계 상위 레벨의 영상을 생성할 때, 가로 및 세로의 크기를 각각 1/2로 줄이는 서브 샘플링을 각 레벨 별로 수행하여 영상 피라미드를 생성한다. 즉, 상위 레벨로 갈수록 픽셀의 수는 1/4로 줄어들어 영상의 크기도 1/4로 줄어든다. 서브 샘플링의 방법으로 영상을 2*2픽셀의 영역으로 나누고, 각 영역의 2*2 중 특정 위치의 픽셀만 모아서 새로운 영상을 생성하는 방법을 들 수 있다. 따라서, 2*2 픽셀 영역 중에서 하나의 픽셀만 이용해서 상위 레벨의 피라미드 영상을 생성하므로 상위 레벨로 갈수록 면적의 크기는 1/4로 줄어들고 해상도는 떨어지 게 된다.
다시 도 1을 참조하면, 최상위 레벨부터 순차적으로 최하위 레벨로 모션 벡터를 갱신하면서 영상 정합을 수행한다.
먼저, 현재 레벨을 제 1 영상과 제 2 영상의 영상 피라미드에서 가장 작은 크기의 최상위 레벨의 영상으로 설정(S140)하고, 방향 계산부(540)는 최상위 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구한다(S150). 도 4는 본 발명의 일 실시예에 따른 최적 이동 방향의 추정에 사용되는 다섯 가지 방향을 도시한 도면인데, 도 5와 같이 다섯 가지 방향에 대하여 모션 벡터를 구하기 위한 목적 함수로 설정하고, 다섯 가지 방향으로 계산된 목적 함수들 중에서 최대값에 해당하는 경우를 찾는다. 목적 함수 값들 중에서 최대값을 가지는 방향이 다섯 가지 방향 중에서 최적 이동 방향이 된다. 따라서 최상위 레벨인 레벨 n에서 최적 이동 방향인
Figure 112007065920384-pat00001
은 (-1, 0), (1, 0), (0,0), (0, -1), 및 (0, 1) 중의 하나의 값을 가지게 된다.
최적 이동 방향을 구하기 위해 다섯 가지 방향으로 목적 함수를 설정하여 영상의 유사성을 판단하는 방법으로 종래의 루미넌스(luminance) 기반 방법 또는 확률 기반 방법을 사용할 수 있다. 루미넌스 기반 방법으로 기존의 상관관계(correlation), 정규화된 상관관계(normalized correlation) 및 SAD(sum of the absolute difference) 등의 알고리즘을 사용할 수 있다. 그리고, 확률 기반 방법으로 상호정보(mutual information), 정규 상호정보(normalized mutual information) 등의 알고리즘을 사용할 수 있다. 상관관계, 정규화된 상관관계, SAD, 상호정보, 정규 상호정보는 기존의 공지된 알고리즘 및 방법으로 본 명세서에서는 이에 관한 자세한 설명을 생략하기로 한다.
전술한 바와 같이 영상 정합을 위해 확률 기반 방법을 사용할 경우 영상간의 특성 차이가 큰 경우에도 안정적으로 영상을 정합할 수 있으나 계산량이 많은 문제점이 있었는데, 본 발명에서는 각 레벨 별로 5개의 목적함수만 계산하면 되므로 확률 기반 방법을 사용하더라도 계산량이 많지 않아 정합 속도가 빠르다는 장점이 있다.
최상위 레벨에서 최적 이동 방향을 구한 다음 모션 벡터 계산부(550)는 이를 기초로 모션 벡터를 구한다(S160). 최상위 레벨에서 구한 최적 이동 방향
Figure 112007065920384-pat00002
으로부터 최상위 레벨에서 구한 모션 벡터는
Figure 112007065920384-pat00003
이다.
다음, 현재 레벨을 최상위 레벨보다 한 단계 낮은 하위 레벨(n-1 레벨)의 피라미드 영상으로 설정하고(S180), 영상 갱신부(560)는 최상위 단계에서 구한 모션 벡터를 기초로 현재 레벨(n-1 레벨)의 제 1 영상을 갱신한다(S190). 이때, 현재 레벨의 제 1 영상을 갱신하기 위한 모션 벡터는
Figure 112007065920384-pat00004
이다. 왜냐하면, 상위 레벨은 하위 레벨에 비해서 가로, 세로의 크기가 반으로 줄어드는데, 상위 레벨에서 구한 모션 벡터는 다음 하위 레벨에서는 2배로 나타나기 때문이다.
다음, 방샹 계산부(540)는 n-1 레벨의 갱신된 제 1 영상과 기존 영상 피라미드의 제 2 영상으로부터 최적 이동 방향을 구한다(S200). 최적 이동 방향을 구하는 방법은 전술한 바와 같고, n-1 레벨에서 구한 최적 이동 방향
Figure 112007065920384-pat00005
은 마찬가지로 (-1, 0), (1, 0), (0,0), (0, -1), 및 (0, 1) 중 하나의 값을 가지게 된다.
다음, 레벨 n-1에서 구한 최적 이동 방향
Figure 112007065920384-pat00006
으로부터 모션 벡터 계산부(550)는 모션 벡터를 갱신한다(S160). 이때, 갱신된 모션 벡터는
Figure 112007065920384-pat00007
이다. 즉, 상위 레벨(레벨 n)에서 구한 모션 벡터를 두 배 한 값(
Figure 112007065920384-pat00008
)에 현재 레벨(레벨 n-1)에서 구한 최적 이동 방향(
Figure 112007065920384-pat00009
)을 더한다. 마찬가지로, 모션 벡터를 갱신한 다음, 현재 레벨을 한 단계 하위 레벨인 레벨 n-2의 영상 피라미드로 설정(S180)하고, 영상 갱신부(560)는 갱신된 모션 벡터를 기초로 현재 레벨인 레벨 n-2의 제 1 영상을 갱신한다(S190). 이때, 현재 레벨의 제 1 영상을 갱신하기 위한 모션 벡터는
Figure 112007065920384-pat00010
이다. 즉, 한 단계 상위 레벨에서 구한 모션 벡터를 2배하여 제 1 영상을 갱신한다. 두 단계 상위 레벨인 레벨 n에서 구한 최적 이동 방향
Figure 112007065920384-pat00011
은 현재 레벨인 n-2 레벨에서는 영상의 움직임에 있어서
Figure 112007065920384-pat00012
배 기여한다. 왜냐하면 레벨 n의 영상은 레벨 n-2에 비해 영상의 크기가
Figure 112007065920384-pat00013
만큼 작기 때문이다. 마찬가지로 레벨 n-1에서 구한 최적 이동 방향
Figure 112007065920384-pat00014
는 2배 하위 레벨인 n-2 레벨의 이미지 갱신에 있어서 2배 기여를 한다. 레벨 n-1의 영상은 레벨 n-2에 비해 영상의 크기가 2만큼 작기 때문이다. 따라서, 레벨 n-2의 영상 피라미드에서 제 1 영상을 갱신하기 위한 모션 벡터는
Figure 112007065920384-pat00015
가 된다.
다시, 방향 계산부(540)는 갱신된 레벨 n-2의 제 1 영상과 n-2레벨의 제 2 영상에 대하여 최적 이동 방향을 계산(S200)하고 모션 벡터를 갱신(S160)한다. 이러한 과정을 최하위 레벨의 피라미드 영상에 이르기까지 순차적으로 반복 수행한다.
순차적으로 반복 수행하면 현재 레벨이 레벨 1일 때, S160에서 갱신된 모션 벡터는
Figure 112007065920384-pat00016
이 되고, 레벨 0의 제 1 영상을 갱신하기 위한 모션 벡터는 상기 모션 벡터의 두 배인
Figure 112007065920384-pat00017
이 된다. 다시, 레벨 0의 갱신된 제 1 영상과 제 2 영상에서 최적 이동 방향(
Figure 112007065920384-pat00018
)을 구하고 모션 벡터를 갱신하면 모션 벡터는
Figure 112007065920384-pat00019
가 된다. 현재 레벨이 최하위 레벨(S170)이므로 최종적으로 갱신된 모션 벡터를 기초로 최하위 레벨의 제 1 영상을 갱신한다(S210).
최종적으로 최하위 레벨의 영상을 갱신하기 위한 모션 벡터는
Figure 112007065920384-pat00020
이다. 이 모션 벡터로부터 원본 피라미드 영상의 제 1 영상을 갱신하여 영상 정합을 수행할 수 있다.
도 5는 영상 피라미드의 각 레벨에서 구한 최적 이동 방향(움직임 벡터)을 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 영상 피라미드의 각 레벨에 서 구한 최적 이동 방향으로부터 최종적으로 갱신된 모션 벡터를 도시한 도면이다.
도 5를 참조하면, 전술한 바와 같이 각 레벨의 영상 사이에 최적 이동 방향을 구하는데 최상위 레벨 n에서는 최초 원본 영상 피라미드 사이에서 최적 이동 방향을 구하고, 반면에 그 외에 모든 하위 레벨에서의 최적 이동 방향은 상위 레벨에서 구한 모션 벡터를 기초로 갱신된 피라미드 영상의 제 1 영상과 최초 원본 영상 피라미드의 제 2 영상 사이에서 구하는 점이 다르다. 최상위 레벨인 레벨 n에서 레벨 0까지 구한 최적 이동 방향
Figure 112007065920384-pat00021
로부터 구한 최종적인 모션 벡터는 도 6과 같이 도시된다. 각 벡터의 방향은 (1, 0), (-1, 0), (0, 0), (0, 1), 및 (0, -1) 중의 하나의 값을 가지므로 좌우 또는 상하의 방향을 가지고 이어지는 각 벡터의 길이는 점점 작아짐을 알 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 장치의 블럭도이다.
본 발명의 일 실시예에 따른 영상 정합 장치는 영상 획득부(510), 피라미드 생성부(530), 방향 계산부(540), 모션 벡터 계산부(550) 및 영상 계산부(560)를 포함할 수 있다. 또한, 영상 변환부(520)를 더 포함할 수 있다.
이 때, 본 실시예에서 사용되는 '~부'는 일종의 모듈로 구현될 수 있다. 여기서 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도 록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 결합되거나 추가적인 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
영상 획득부(510)는 피사체로부터 반사된 광 에너지를 검출하여 전기적 신호로 변환하는 이미지 센서를 포함하는데, 두 영상(제 1 영상, 제 2 영상)을 획득한다.
피라미드 생성부(530)는 영상 획득부(510)에서 획득한 제 1 영상, 제 2 영상에 대해서 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성한다.
방향 계산부(540)는 동일 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구한다. 최적 이동 방향은 루미넌스 기반 방법과 확률 기반 방법 중 하나를 이용하여 구할 수 있다. 루미넌스 기반 방법으로 기존의 상관관계(correlation), 정규화된 상관관계(normalized correlation) 및 SAD(sum of the absolute difference) 등의 알고리즘을 사용할 수 있다. 그리고, 확률 기반 방법으로 상호정보(mutual information), 정규 상호정 보(normalized mutual information) 등의 알고리즘을 사용할 수 있다.
모션벡터 계산부(550)는 현재 레벨에서 구한 최적 이동 방향을 기초로 모션 벡터를 갱신한다. 모션 벡터를 갱신하는 것은 전술하였으므로 자세한 설명은 생략하기로 한다.
영상 갱신부(560)는 모션 벡터 계산부에서 구한 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신한다.
이때, 모션 벡터의 갱신과 제 1 영상의 갱신은 최상위 레벨에서 최하위 레벨로 순차적으로 이루어지는데, 갱신된 모션 벡터를 기초로 하위 레벨의 제 1 영상을 갱신하고, 갱신된 제 1 영상과 원본 영상 피라미드의 제 2 영상으로부터 모션 벡터를 갱신하는 방법을 반복하여 최종적으로 영상 정합을 위한 모션 벡터를 구한다.
영상 변환부(520)는 영상 획득부에서 획득한 제 1 영상, 제 2 영상 각각에 대하여 그레이 스케일 변환을 수행할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 정합 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling)을 통한 영상 피라미드의 구성을 도시한 도면이다.
도 3은 실제 영상으로 가로 세로의 크기를 반으로 줄이는 서브 샘플링을 통한 영상 피라미드를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 최적 이동 방향의 추정에 사용되는 다섯 가지 방향을 도시한 도면이다.
도 5는 영상 피라미드의 각 레벨에서 구한 최적 이동 방향(움직임 벡터)을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 피라미드의 각 레벨에서 구한 최적 이동 방향으로부터 최종적으로 갱신된 모션 벡터를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 장치의 블럭도이다.
<도면의 주요 부분에 대한 부호의 설명>
510: 영상 획득부
520: 영상 변환부
530: 피라미드 생성부
540: 방향 계산부
550: 모션 벡터 계산부
560: 영상 갱신부

Claims (14)

  1. 제 1 영상 및 제 2 영상을 획득하는 단계;
    상기 획득한 각 영상을 단일 채널의 영상으로 변환하는 단계;
    상기 변환된 각 영상에 대하여 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성하는 단계; 및
    최상위 레벨의 영상에서 최하위 레벨의 영상까지 순차적으로, 동일 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구하고, 상기 최적 이동 방향을 기초로 모션 벡터를 갱신하며, 상기 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하는 단계를 포함하는, 영상 정합 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 단일 채널의 영상은 그레이 스케일(gray scale) 영상인, 영상 정합 방법.
  4. 제 1 항에 있어서,
    상기 최적 이동 방향은 루미넌스(luminance) 기반 방법과 확률 기반 방법 중 하나를 이용하여 구해지는, 영상 정합 방법.
  5. 제 4 항에 있어서,
    상기 루미넌스 기반 방법은 상관관계(correlation), 정규화된 상관관계(normalized correlation), 및 SAD(sum of the absolute difference) 중 하나의 알고리즘을 이용하는, 영상 정합 방법.
  6. 제 4 항에 있어서,
    상기 확률 기반 방법은 상호정보(mutual information), 및 정규 상호정보(normalized mutual information) 중 하나의 알고리즘을 이용하는, 영상 정합 방법.
  7. 제 1 항에 있어서,
    상기 영상 피라미드를 n+1개 생성하여 최하위 레벨부터 최상위 레벨을 레벨 0, 레벨 1, …, 레벨 n이라하고, 레벨 k에서 구한 최적 이동 방향을
    Figure 112007065920384-pat00022
    라 하였을 때, 레벨 n부터 레벨 0 까지 순차적으로 구한 모션 벡터(V)는
    Figure 112007065920384-pat00023
    인, 영상 정합 방법.
  8. 이미지 센서로 제 1 영상 및 제 2 영상을 획득하는 영상 획득부;
    상기 획득한 각 영상을 단일 채널의 영상으로 변환하는 영상 변환부;
    상기 변환된 각 영상에 대하여 가로 세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling) 과정을 거쳐 영상 피라미드를 생성하는 피라미드 생성부;
    동일 레벨의 두 영상으로부터 (-1, 0), (1, 0), (0, 0), (0, -1), 및 (0, 1)의 방향으로 최적 이동 방향을 구하는 방향 계산부;
    상기 최적 이동 방향을 기초로 모션 벡터를 갱신하는 모션 벡터 계산부; 및
    상기 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하는 영상 갱신부를 포함하되,
    최상위 레벨의 영상에서 최하위 레벨의 영상까지 순차적으로, 상기 모션 벡터 계산부는 상기 모션 벡터를 갱신하고, 상기 갱신된 모션 벡터를 기초로 다음 하위 레벨의 제 1 영상을 갱신하여 영상을 정합하는, 영상 정합 장치.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 단일 채널의 영상은 그레이 스케일(gray scale) 영상인, 영상 정합 장치.
  11. 제 8 항에 있어서,
    상기 최적 이동 방향은 루미넌스(luminance) 기반 방법과 확률 기반 방법 중 하나를 이용하여 구해지는, 영상 정합 장치.
  12. 제 11 항에 있어서,
    상기 루미넌스 기반 방법은 상관관계(correlation), 정규화된 상관관계(normalized correlation), 및 SAD(sum of the absolute difference) 중 하나의 알고리즘을 이용하는, 영상 정합 장치.
  13. 제 11 항에 있어서,
    상기 확률 기반 방법은 상호정보(mutual information), 및 정규 상호정보(normalized mutual information) 중 하나의 알고리즘을 이용하는, 영상 정합 장치.
  14. 제 8 항에 있어서,
    상기 영상 피라미드를 n+1개 생성하여 최하위 레벨부터 최상위 레벨을 레벨 0, 레벨 1, …, 레벨 n이라 하고, 레벨 k에서 구한 최적 이동 방향을
    Figure 112007065920384-pat00024
    라 하였을 때, 레벨 n부터 레벨 k 까지 순차적으로 갱신된 모션 벡터(V)는
    Figure 112007065920384-pat00025
    인, 영상 정합 장치.
KR20070092231A 2007-09-11 2007-09-11 영상 정합 방법 및 장치 KR101411639B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20070092231A KR101411639B1 (ko) 2007-09-11 2007-09-11 영상 정합 방법 및 장치
US12/222,963 US8300985B2 (en) 2007-09-11 2008-08-20 Image-registration method, medium, and apparatus
JP2008232711A JP5595646B2 (ja) 2007-09-11 2008-09-10 映像整合方法および装置
JP2014027930A JP2014099921A (ja) 2007-09-11 2014-02-17 映像整合方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070092231A KR101411639B1 (ko) 2007-09-11 2007-09-11 영상 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090027053A KR20090027053A (ko) 2009-03-16
KR101411639B1 true KR101411639B1 (ko) 2014-06-24

Family

ID=40431896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070092231A KR101411639B1 (ko) 2007-09-11 2007-09-11 영상 정합 방법 및 장치

Country Status (3)

Country Link
US (1) US8300985B2 (ko)
JP (2) JP5595646B2 (ko)
KR (1) KR101411639B1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111892B2 (en) * 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
EP2130497A1 (en) * 2008-06-05 2009-12-09 Medison Co., Ltd. Anatomical feature extraction from an ultrasound liver image
EP2194506B1 (en) 2008-12-02 2016-03-09 Samsung Medison Co., Ltd. Image based registration
KR101614914B1 (ko) 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US9545242B2 (en) 2009-07-31 2017-01-17 Samsung Medison Co., Ltd. Sensor coordinate calibration in an ultrasound system
KR101121396B1 (ko) * 2009-07-31 2012-03-05 한국과학기술원 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
KR101121286B1 (ko) 2009-07-31 2012-03-23 한국과학기술원 센서의 교정을 수행하는 초음파 시스템 및 방법
JP5574792B2 (ja) 2010-04-13 2014-08-20 キヤノン株式会社 撮影装置
US8478076B2 (en) 2010-07-05 2013-07-02 Apple Inc. Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
US8611692B2 (en) 2011-09-26 2013-12-17 Northrop Grumman Systems Corporation Automated image registration with varied amounts of a priori information using a minimum entropy method
EP2648157A1 (en) 2012-04-04 2013-10-09 Telefonaktiebolaget LM Ericsson (PUBL) Method and device for transforming an image
CN103546673B (zh) * 2012-07-09 2018-02-27 联想(北京)有限公司 在运动场景下生成高动态图像的方法及装置
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
KR102274320B1 (ko) 2014-10-16 2021-07-07 삼성전자주식회사 영상 처리 방법 및 장치
CN105243657B (zh) * 2015-09-08 2018-01-19 首都医科大学附属北京安贞医院 基于增强弹性形变的carto电解剖图与ct图像配准方法和装置
US11287498B2 (en) * 2018-05-31 2022-03-29 Ihsan Dogramaci Bilkent Universiti Gradient array system for MRI and application on diffusion weighted imaging
CN116071226B (zh) * 2023-03-06 2023-07-18 中国科学技术大学 基于注意力网络的电镜图像配准***及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232838A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd デジタルカメラ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
US5548346A (en) * 1993-11-05 1996-08-20 Hitachi, Ltd. Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method
JPH10134193A (ja) * 1996-10-31 1998-05-22 Oki Electric Ind Co Ltd 移動ベクトル算出方法及び装置
US20020154833A1 (en) * 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
JP2004343483A (ja) * 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置
US7616836B2 (en) * 2004-05-25 2009-11-10 Siemens Medical Solutions Usa, Inc. Method and system for motion compensation in a temporal sequence of images
WO2006012375A1 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for motion vector processing
EP1657679A1 (en) * 2004-11-10 2006-05-17 Agfa-Gevaert Method of superimposing images
JP4640032B2 (ja) * 2005-08-11 2011-03-02 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
JP2008053875A (ja) * 2006-08-23 2008-03-06 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232838A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd デジタルカメラ

Also Published As

Publication number Publication date
US20090067752A1 (en) 2009-03-12
JP2014099921A (ja) 2014-05-29
US8300985B2 (en) 2012-10-30
JP5595646B2 (ja) 2014-09-24
KR20090027053A (ko) 2009-03-16
JP2009071821A (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
KR101411639B1 (ko) 영상 정합 방법 및 장치
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
US8803984B2 (en) Image processing device and method for producing a restored image using a candidate point spread function
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
JP5052301B2 (ja) 画像処理装置、画像処理方法
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP4689758B1 (ja) 画像一致点検出装置、画像一致点検出方法および記録媒体
CN109328454B (zh) 图像处理装置
JP2015219603A (ja) 画像処理装置、画像処理方法およびプログラム
WO2010092835A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2016114988A (ja) 状態推定装置、プログラムおよび集積回路
JP2000348159A (ja) 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体
US20220076071A1 (en) Image processing method, image processing apparatus, learning method, learning apparatus, and storage medium
JP6178646B2 (ja) 撮像装置及び像振れ補正処理方法
JP2008053875A (ja) 画像処理装置および方法、プログラム、並びにプログラム格納媒体
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6265641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP7009252B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20220108664A (ko) 다중 노출 이미지 기반 이미지 복원 시스템 및 방법
KR101440098B1 (ko) 저복잡도 움직임 추정 방법 및 시스템
JP6979859B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
Liang et al. Image Fusion with Spatial Frequency.
JP7444585B2 (ja) 認識装置、認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180518

Year of fee payment: 5