KR100551825B1 - 통계적 상관 관계를 이용한 영상의 정렬 방법 - Google Patents

통계적 상관 관계를 이용한 영상의 정렬 방법 Download PDF

Info

Publication number
KR100551825B1
KR100551825B1 KR1020040028409A KR20040028409A KR100551825B1 KR 100551825 B1 KR100551825 B1 KR 100551825B1 KR 1020040028409 A KR1020040028409 A KR 1020040028409A KR 20040028409 A KR20040028409 A KR 20040028409A KR 100551825 B1 KR100551825 B1 KR 100551825B1
Authority
KR
South Korea
Prior art keywords
image
correlation
images
motion vector
statistical
Prior art date
Application number
KR1020040028409A
Other languages
English (en)
Other versions
KR20050103031A (ko
Inventor
고진신
Original Assignee
삼성탈레스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사 filed Critical 삼성탈레스 주식회사
Priority to KR1020040028409A priority Critical patent/KR100551825B1/ko
Publication of KR20050103031A publication Critical patent/KR20050103031A/ko
Application granted granted Critical
Publication of KR100551825B1 publication Critical patent/KR100551825B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 융합에 관한 것으로, 특히 영상 융합에 있어서의 각각의 영상의 정렬 방법에 관한 것이다. 각각의 영상 센서에서 얻어진 영상들로부터 특징점을 찾지 않고, 상관 관계를 통한 통계적 방법을 통해 서로 다른 영상 센서들로부터의 영상들에 대한 정렬을 수행하는 통계적 상관 관계를 이용한 영상의 정렬 방법을 제공하는데 그 목적이 있으며, 서로 다른 영상 센서들로부터 각각 영상을 입력받는 제 1 단계; 상기 입력된 영상으로부터 윤곽선을 추출하는 제 2 단계; 및 상기 추출된 각각의 영상별 윤곽선 간의 상관관계를 통계적으로 적용하여 상기 상관관계의 값이 최대가 되는 값으로 상기 영상을 정렬하는 제 3 단계를 포함하는 과정으로 구현될 수 있다. 이렇게 함으로써, 전체적인 연산량을 줄이면서도 정확한 정렬이 가능하게 된다.
영상 융합, 라플라시안, 통계적 상관관계, 윤곽선, 영상 정렬

Description

통계적 상관 관계를 이용한 영상의 정렬 방법{Image Alignment Method by Using Statistical Correlation}
도 1 은 영상 융합을 위한 일반적인 영상 입력 장치의 일실시예 구성도.
도 2 는 종래의 윤곽선을 얻기 위한 라플라시안 연산의 방향을 도시한 예시도.
도 3 은 영상의 특징점을 이용한 영상 정렬의 예시도.
도 4 는 본 발명에 따른 통계적 상관 관계를 이용한 영상의 정렬 방법의 일실시예 동작 흐름도.
도 5 는 본 발명에 따른 통계적 상관관계를 이용한 영상 정렬 방법에 의한 영상 정렬의 일실시예 예시도.
본 발명은 영상 융합에 관한 것으로, 특히 영상 융합에 있어서의 각각의 영상의 정렬 방법에 관한 것이다.
최근, 다중 영상 센서로부터의 영상 융합은 각각의 단일 영상 센서들로부터의 영상 정보를 결합시키고, 복합된 각각의 영상 센서의 영상 정보에 대한 데이터베이스로부터 목적에 맞는 데이터의 가공을 수행하도록 하여, 보다 정확하고 다양한 활용도를 가지는 영상 정보를 획득하게 하는 기술로 여러 분야에서 연구가 되고 있다. 특히, 이와 같이 개선된 정확성들과 더욱 정교한 특정 요소 정보들을 구축하기 위해 다중 영상 센서로부터의 영상 융합 기술에 대한 기술적 중요도가 날로 증대되고 있다.
여기서, 다중 영상 센서로부터의 영상 융합이라는 것은 각각의 단일 영상 센서의 고유한 파장 대역에서 획득한 영상에서 각 파장의 특징 정보를 사용 목적에 맞게 최적의 정보를 추출하여, 하나의 영상에 많은 정보를 융합하는 것을 말한다. 이와 같은 다중 영상 센서로부터의 영상 융합의 기술 관련 분야로는 컴퓨터 비젼, 자동 물체 검출 및 식별분야, Navigation, 지능형 Robotics, Remote Sensing 분야, 의료기기 등 다양하다.
이와 같은 영상 융합은 전체적으로 크게 3단계로 대별할 수 있다. 여기서, 3단계라 하면, 제 1 단계는 각 영상 센서의 입력 영상에 대한 처리를 수행하는 단계이고, 제 2 단계는 각각의 영상 센서로부터의 입력 영상의 각 화소에 대한 정렬(정합, Alignment, Registration)을 수행하는 단계이며, 제 3 단계는 정렬된 영상들을 융합처리하는 단계를 말한다.
특히, 영상 융합을 위한 과정에 있어서, 각 영상에 대한 정렬이 정확히 되지 않은 상태에서 영상의 합성을 수행하면 도리어 영상이 개선되는 것 보다는 영상의 왜곡 현상이 더 심해지게 된다. 이런 현상 때문에 영상의 정렬(정합, Alignment, Registration) 방법에 대한 연구가 중요한 토픽(Topic)으로 대두 되고 있다.
이하에서는 영상의 정렬에 대한 종래의 기술에 대해 살펴보기로 한다.
각각 다른 특징을 갖는 영상 센서(EO, IR, Radar 등)로부터 얻은 영상에서는 각 픽셀에 일치되는 밝기 값의 상관 관계는 대부분 매우 복잡하다.
즉, 하기의 <표 1>에서 보여지는 바와 같이, 각 파장에 따른 광 흐름 레벨(photon flux level)이 차이가 많이 나서 각각의 센서에 따른 영상이 포함하고 있는 정보는 다양한 변수를 가질 수 밖에 없다.
VIS NIR MWIR LWIR
파장대(um) 0.4-0.78 0.78-1.0 3-5 8-12
맑은 대낮 1.5 x 1017 1 x 1017 2 x 1013 2 x 1017
달빛하의 밤 1.5 x 1011 - 2 x 1013 2 x 1017
별빛하의 밤 1.5 x 109 9 x 109 2 x 1013 2 x 1017
<표 1>에 도시된 바와 같이, 가시광선 대역의 센서에서는 존재하는 특징(feature)이 적외선 영역 센서에서는 존재하지 않는다. 또한, 적외선 영역 센서에서 존재하는 것이 가시광선 대역의 센서에서는 존재하지 않거나 미약한 신호 데이타로 나타난다. 이것은 각각 다른 센서에서 얻은 두개의 영상은 각각 영상의 특징점에 대한 연관성을 알기가 난해하다. 실제로 각각의 영상에 대한 특징점에 대한 매칭 작업은 전 처리과정에 많은 단계의 작업을 수행한 후 영상을 등록(registration)할 수 있다.
도 1 은 영상 융합을 위한 일반적인 영상 입력 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 영상 융합을 위한 일반적인 영상 입력 장치는 영상을 입력받는 광학계(14)와 서로 다른 특징을 가지는 2개의 영상 입력 센서(12, 13) 및 2개의 영상 센서(12, 13)로부터 입력된 영상을 이용해서 영상을 융합하는 영상 융합 처리부(11)를 포함한다.
도 1 에 도시된 2개의 영상 센서(12, 13)는 CCD(charge-coupled device) 방식의 영상 센서(12)와 IR(InfraRed) 방식의 영상 센서(13)를 예시한다. 그러나, CCD나 IR 방식뿐만이 아니라 Radar, EO(Electro-Optic) 등의 다양한 영상 센서의 조합이 가능하다.
이와 같이 각기 다른 특징을 갖는 센서(EO, IR, Radar 등)로부터 얻는 영상을 융합하기 위해서는 영상 정렬(Alignment)가 중요하다. 종래의 방법에서는 영상 정렬을 위해 각각의 영상의 특징점을 이용한 영상 정렬 방법을 주로 사용하였다.
도 3 은 영상의 특징점을 이용한 영상 정렬의 예시도이다.
도 3(a), 도 3(e)는 각각 IR 센서와 CCD 센서를 이용하여 얻어진 영상의 예시도이다. 이와 같이 얻어진 각각의 영상들은 도 3(b), (c) 및 도 3(f), (g)를 거쳐 도 3(d) 및 도 3(h)와 같은 특징점을 가지는 영상이 얻어진다.
이렇게 얻어진 특징점을 일치시키면 도 3(k)와 같이 결합이 되고, 이에 따라 두 영상을 결합하면 도 3(i), 도 3(j)가 된다.
이와 같이 특징점을 이용한 영상 정렬의 경우는 전처리 과정이 매우 복잡하고 까다롭게 이루어지고, 게다가 특징점만을 비교하기 때문에 도 3(i), 도 3(j)에 서와 같이 두개의 영상이 서로 뒤틀린 채로 정렬되는 문제점이 발생한다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 각각의 영상 센서에서 얻어진 영상들로부터 특징점을 찾지 않고, 상관 관계를 통한 통계적 방법을 통해 서로 다른 영상 센서들로부터의 영상들에 대한 정렬을 수행하는 통계적 상관 관계를 이용한 영상의 정렬 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명은, 통계적 상관 관계를 이용한 영상의 정렬 방법에 있어서, 서로 다른 영상 센서들로부터 각각 영상을 입력받는 제 1 단계; 상기 입력된 영상으로부터 윤곽선을 추출하는 제 2 단계; 및 상기 추출된 각각의 영상별 윤곽선 간의 상관관계를 통계적으로 적용하여 상기 상관관계의 값이 최대가 되는 값으로 상기 영상을 정렬하는 제 3 단계를 포함한다.
특히, 제 3 단계는, 상기 각각의 영상을 정렬하기 위한 임의의 움직임 벡터와 매트릭스를 설정하는 제 4 단계; 상기 각각의 영상 간의 정규화된 상관관계(Normalized Correlation)를 획득하는 제 5 단계; 상기 임의의 움직임 벡터로부터 얻어지는 매트릭스의 그래디언트(Gradient)와 상기 임의의 움직인 벡터로부터 얻어지는 매트릭스의 헤시안(Hessian)을 취하는 제 6 단계; 상기 제 6 단계의 연산을 통해 얻은 움직임 벡터와 상기 임의의 움직임 벡터간의 차이를 구하는 제 7 단계; 상기 임의의 움직임 벡터를 상기 제 7 단계의 차이를 이용하여 업데이트하는 제 8 단계; 및 상기 상관관계 값이 최대가 될 때까지 상기 제 5 단계 내지 제 8 단계를 반복하고 상기 상관관계 값이 최대가 되면 해당 움직임 벡터에 따라 정렬하는 제 9 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
다수의 영상 센서를 통해 전달되는 영상은 각각의 영상 센서의 각 파장에 따른 광 흐름 레벨(photon flux level)이 차이가 많이 나기 때문에, 다수의 영상 센서로부터 전달된 영상을 융합하기 위해서는 앞서 기술된 바와 같이 영상 정렬(Alignment)이 필요하다.
본 발명에 있어서는 이와 같은 영상 정렬에 있어서, 적은 계산량으로 정확한 결과를 얻어내기 위하여 상관 관계(Correlation)를 이용한 통계적 기법의 영상 정렬 방법을 제공한다.
본 발명에 따른 다중 영상 센서로부터의 영상 융합을 위한 상관 관계를 이용한 통계적 기법의 영상 정렬 방법을 위해서는, 입력되는 영상간의 안정된 매칭(Matching)을 위해선 모든 해상도 레벨(resolution level)에서 상호 연관된(correlated) 정보를 충분히 가져야 한다. 물론, 같은 영상 센서로부터 얻어진 영상 간에는 이 조건을 충족하지만, 다중 영상 센서로부터의 영상인 경우에는 그렇지 못하다.
일반적으로 다중 영상 센서로부터의 영상에서는 고주파 공간의 영상 성분에서는 비교적 양호한 관계(Relation)를 가진다. 따라서, 고주파 성분인 윤곽선(Edge) 정보는 영상의 사물의 외형,윤곽 등의 정보를 가지므로, 다중 영상 센서로부터의 영상에서 유사한 정보를 가질 수 있다. 그러나, 저주파 영상 성분은 대부분 조명이나 센서의 특성 등 주변환경에 좌우되는 성분이 많아서, 다중 영상 센서의 정렬에서는 배제하도록 한다.
따라서, 영상의 윤곽선 정보를 얻어내기 위해서, 라플라시안 필터(Laplacian Filter)를 통해 고조파 성분을 추출한다. 이와 같이 영상의 윤곽선 정보를 추출하기 위해서 라플라시안 연산을 수행하는데, 라플라시안은 각각의 방향에 따라 그 정보를 달리하기 때문에, 도 2에서 도시된 것과 같이 상하좌우 대각선을 포함하는 다양한 방향의 윤곽선을 취하여야 한다.
그러나, 본 발명에 있어서는 윤곽선을 추출하는 방법에 있어서, 종래의 각 방향 라플라시안 연산을 통한 방법이 아니라 임계값(Threshold)을 이용한 방법을 적용한다. 즉, 종래의 라플라시안 연산을 통해 얻어지는 윤곽선은 각 방향에 따라 정보를 달리 가지므로 상하좌우 방향의 라플라시안 연산을 통해 각각의 방향별 윤곽선을 취한다.
도 2 는 종래의 윤곽선을 얻기 위한 라플라시안 연산의 방향을 도시한 예시 도이다.
즉, 도 2에 도시된 바와 같이, 종래의 윤곽선을 얻기 위한 라플라시안 연산은 상하좌우 및 대각선 방향으로 각각 라플라시안 연산을 수행하고, 얻어진 각각의 방향별 윤곽선을 평균적으로 결합함으로써, 하나의 영상에 대한 전체 윤곽선을 얻게 된다.
그러나, 이와 같이 각각의 방향별로 라플라시안 연산을 하게 되면, 시스템의 부하가 많이 걸리게 된다. 따라서, 본 발명의 실시예에서는 하나의 방향으로만 라플라시안 연산을 수행하여 종래의 방법에 의한 윤곽선과 비슷한 윤곽선을 얻을 수 있는 방법을 제안한다.
본 발명의 실시예에서 윤곽선을 얻는 방법은 종래의 라플라시안 연산을 하나의 방향으로 수행하는데, 윤곽선을 얻기 위한 그레이 레벨을 종래의 방법에 비해 임계값으로 낮추어 연산을 하는 것이다.
일반적으로 그레이 레벨을 100단계로 볼 때, 종래의 라플라시안 연산을 통해 검출되는 윤곽선의 그레이 레벨은 45 정도이다. 그러나, 본 발명의 실시예에서는 이와 같은 그레이 레벨을 임계값 이하(예컨대, 18~24) 정도로 낮추어 검출함으로써, 한번의 연산으로 원하는 윤곽선을 얻어 낼 수 있다. 이와 같이, 그레이 레벨을 낮추어 한방향(예컨데, 도 2의 ②방향)으로만 윤곽선을 검출하면 그 한번의 연산량은 훨씬 많아지지만, 한번의 라플라시안 연산 동작으로 4~8번의 라플라시안 연산 동작을 대치할 수 있게 되어 실질적으로는 연산을 대폭 감소시킬 수 있다.
도 4 는 본 발명에 따른 통계적 상관 관계를 이용한 영상의 정렬 방법의 일 실시예 동작 흐름도이다.
도 4에 도시된 바와 같은 본 발명에 따른 영상 정렬 방법을 설명하기에 앞서, 통계적 상관 관계를 설명하면 다음과 같다. 여러 개의 영상 간의 정규화된 상관관계(Normalized Correlation)는 영상 화소값의 평균값과 명도차(contrast)의 차이에도 일관성을 가진다. 즉, 두 개의 영상이 선형화된(linear) 상관관계를 가졌다면 두 영상 간의 정규화된 상관관계(Normalized Correlation)는 "1" 이다. 한편, 선형화된 상관관계를 가지지 않았다면 두 개의 영상은 서로 공간적인 변위차가 있다고 할 수 있다. 따라서, 정규화된 상관관계(Normalized Correlation)값을 통계적인 예측 방법을 이용하여 영상 간의 상대적인 변위 차이를 예측하고, 영상의 정렬에 이용할 수가 있다.
본 발명에 따른 통계적 상관 관계를 이용한 영상 정렬 방법은 주어진 2개의 영상(본 발명의 실시예에서는 2개의 영상 센서를 통한 영상을 예시한다.) f, g에서 정규화된 상관관계 값이 최대가 되는 이동 벡터
Figure 112004017001704-pat00001
를 찾는 것이다.
그를 위해서 우선 임의의 이동 벡터
Figure 112004017001704-pat00002
0 와 X 매트릭스(M(
Figure 112004017001704-pat00003
))를 설정한다(401).
이를 상세히 살펴보면, 주어진 두개의 영상에서 각각 상대적인 영상 fi, gi 의 상대 변위(u, v)를 가지는
Figure 112004017001704-pat00004
는 <수학식 1>과 같다.
Figure 112004017001704-pat00005
매개변수인 이동 벡터
Figure 112004017001704-pat00006
에 표현되어지는 움직임 필드(Motion Field)를
Figure 112004017001704-pat00007
=[u(x,y:
Figure 112004017001704-pat00008
), v(x,y;
Figure 112004017001704-pat00009
)]로 가정한다. 영상 정렬의 최대 목표인
Figure 112004017001704-pat00010
가 최대인
Figure 112004017001704-pat00011
벡터인 것을 M(
Figure 112004017001704-pat00012
)라 하면, M(
Figure 112004017001704-pat00013
)는 다음과 같다.
Figure 112004017001704-pat00014
M(
Figure 112004017001704-pat00015
)가 최대가 되는
Figure 112004017001704-pat00016
를 찾기 위해 통계적 기법인 뉴튼 방법(Newton Method)을 적용하여 두 영상의 정규화된 상관관계를 획득한다(402). 이때, 획득되는 두 영상의 정규화된 상관관계는 <수학식 3>과 같다.
Figure 112004017001704-pat00017
여기서,
Figure 112004017001704-pat00018
로 정의된다.
그리고,
Figure 112004017001704-pat00019
는 임의의
Figure 112004017001704-pat00020
0로부터 얻어지는 매트릭스 M(
Figure 112004017001704-pat00021
)의 그래디언트(Gradient)이고,
Figure 112004017001704-pat00022
는 임의의
Figure 112004017001704-pat00023
0로부터 얻어지는 매트릭스 M(
Figure 112004017001704-pat00024
)의 헤시안(Hessian)이다.
여기서,
Figure 112004017001704-pat00025
와
Figure 112004017001704-pat00026
를 구하여(403)
Figure 112004017001704-pat00027
0 벡터를 계산하고(404) 계산된
Figure 112004017001704-pat00028
0 벡터를 업데이트하여(405) 상관관계가 최대인지를 확인하여(406) 상관관계가 최대가 될 때까지 402 내지 406의 과정을 반복한다.
이상의 과정을 수학식을 통해 좀 더 상세히 살펴보면 다음과 같다.
<수학식 3>에서의
Figure 112004017001704-pat00029
는 근사적인 뉴튼 방법을 적용하여 <수학식 4>와 같이 나타낼 수 있다.
Figure 112004017001704-pat00030
여기서, 연환식(Chain-Rule)을 적용하기 위하여, <수학식 4>의 각각의 항을 다시 표현하면 다음과 같다.
Figure 112004017001704-pat00031
그리고, <수학식 4>에 <수학식 5>를 적용하여 최종
Figure 112004017001704-pat00032
를 수식화하면 다음과 같다.
Figure 112004017001704-pat00033
여기서, 상관관계를 나타내는 항인
Figure 112004017001704-pat00034
를
Figure 112004017001704-pat00035
로 재정립하여 상관관계가 최대인
Figure 112004017001704-pat00036
를 획득할 수 있게 된다.
도 5 는 본 발명에 따른 통계적 상관관계를 이용한 영상 정렬 방법에 의한 영상 정렬의 일실시예 예시도이다.
입력된 영상은 도 5(a)에 도시된 IR 영상, 도 5(b)에 도시된 EO 영상이다. 도 5(e)에 도시된 바와 같이 정렬 전에는 서로 틀어져 있음을 알 수 있다. 이와 같이 영상 센서의 광 감지 영역의 차이에 의해 틀어진 영상을 융합하기 위해 본 발명의 실시예에서는 윤곽선을 획득하여 영상을 정렬할 것을 예시한다. 특히, 도 5(c)와 도 5(d)에서 도시된 바와 같이 각각의 영상 센서별로 서로 다른 그레이 레벨 임계값을 적용하여 윤곽선을 얻어낸다.
그리고, 얻어진 윤곽선을 이용하여 본 발명에 따른 통계적 상관관계를 이용한 영상 정렬 방법을 수행한 후에는 도 5(f)와 같이 일치된 영상으로 정렬이 가능해 진다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것 이 아니다.
상기와 같은 본 발명은, 영상 간의 통계적 상관관계를 이용한 영상 정렬 방법을 제공하여 각각 다른 특징을 가지는 영상 센서로부터 입력된 각각의 영상에 대한 영상 정렬에 있어서, 전체적인 연산량을 줄이면서도 정확한 정렬이 가능하도록 하는 효과가 있다.
또한, 본 발명은, 영상으로부터 윤곽선을 추출하기 위하여 그레이 레벨의 임계값을 이용함으로써, 각각의 방향으로의 라플라시안 연산을 수행하지 않으면서 충분한 윤곽선을 얻을 수 있는 효과가 있다.

Claims (4)

  1. 통계적 상관 관계를 이용한 영상의 정렬 방법에 있어서,
    서로 다른 영상 센서들로부터 각각 영상을 입력받는 제 1 단계;
    상기 입력된 영상으로부터 윤곽선을 추출하는 제 2 단계; 및
    상기 추출된 각각의 영상별 윤곽선 간의 상관관계를 통계적으로 적용하여 상기 상관관계의 값이 최대가 되는 값으로 상기 영상을 정렬하는 제 3 단계를 포함하는 통계적 상관 관계를 이용한 영상의 정렬 방법.
  2. 제 1 항에 있어서,
    상기 제 2 단계는, 상기 입력된 영상으로부터 고주파 성분을 추출하기 위한 라플라시안 연산을 통해 수행되는 것을 특징으로 하는 통계적 상관 관계를 이용한 영상의 정렬 방법.
  3. 제 2 항에 있어서,
    상기 라플라시안 연산은 상기 각각의 영상 센서의 그레이 레벨 임계값에 따라 수행되는 것을 특징으로 하는 통계적 상관 관계를 이용한 영상의 정렬 방법.
  4. 제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
    상기 제 3 단계는,
    상기 각각의 영상을 정렬하기 위한 임의의 움직임 벡터와 매트릭스를 설정하는 제 4 단계;
    상기 각각의 영상 간의 정규화된 상관관계(Normalized Correlation)를 획득하는 제 5 단계;
    상기 임의의 움직임 벡터로부터 얻어지는 매트릭스의 그래디언트(Gradient)와 상기 임의의 움직인 벡터로부터 얻어지는 매트릭스의 헤시안(Hessian)을 취하는 제 6 단계;
    상기 제 6 단계의 연산을 통해 얻은 움직임 벡터와 상기 임의의 움직임 벡터간의 차이를 구하는 제 7 단계;
    상기 임의의 움직임 벡터를 상기 제 7 단계의 차이를 이용하여 업데이트하는 제 8 단계; 및
    상기 상관관계 값이 최대가 될 때까지 상기 제 5 단계 내지 제 8 단계를 반복하고 상기 상관관계 값이 최대가 되면 해당 움직임 벡터에 따라 정렬하는 제 9 단계를 포함하는 통계적 상관 관계를 이용한 영상의 정렬 방법.
KR1020040028409A 2004-04-23 2004-04-23 통계적 상관 관계를 이용한 영상의 정렬 방법 KR100551825B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040028409A KR100551825B1 (ko) 2004-04-23 2004-04-23 통계적 상관 관계를 이용한 영상의 정렬 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040028409A KR100551825B1 (ko) 2004-04-23 2004-04-23 통계적 상관 관계를 이용한 영상의 정렬 방법

Publications (2)

Publication Number Publication Date
KR20050103031A KR20050103031A (ko) 2005-10-27
KR100551825B1 true KR100551825B1 (ko) 2006-02-13

Family

ID=37281087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040028409A KR100551825B1 (ko) 2004-04-23 2004-04-23 통계적 상관 관계를 이용한 영상의 정렬 방법

Country Status (1)

Country Link
KR (1) KR100551825B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051716B1 (ko) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법
KR101554421B1 (ko) 2014-04-16 2015-09-18 한국과학기술원 구조 기반 이미지 확장 방법 및 장치
KR101604249B1 (ko) 2011-11-04 2016-03-17 퀄컴 인코포레이티드 멀티스펙트럼 이미징 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
KR102144394B1 (ko) * 2013-08-20 2020-08-13 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051716B1 (ko) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법
KR101604249B1 (ko) 2011-11-04 2016-03-17 퀄컴 인코포레이티드 멀티스펙트럼 이미징 시스템
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
KR101554421B1 (ko) 2014-04-16 2015-09-18 한국과학기술원 구조 기반 이미지 확장 방법 및 장치

Also Published As

Publication number Publication date
KR20050103031A (ko) 2005-10-27

Similar Documents

Publication Publication Date Title
Chen et al. Pedestrian detection for autonomous vehicle using multi-spectral cameras
Huang et al. Building extraction from multi-source remote sensing images via deep deconvolution neural networks
CN101282461B (zh) 图像处理方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN109410171B (zh) 一种用于雨天图像的目标显著性检测方法
Chu et al. Object tracking algorithm based on camshift algorithm combinating with difference in frame
CA2491727A1 (en) Image matching system using 3-dimensional object model, image matching method, and image matching program
CN111539980B (zh) 一种基于可见光的多目标追踪方法
KR100551826B1 (ko) 다수의 이미지 센서로부터의 이미지 융합 방법
KR101177626B1 (ko) 물체 검출 장치 및 방법
CN110113560A (zh) 视频智能联动的方法及服务器
CN103985106B (zh) 用于对强噪声图像进行多帧融合的设备和方法
Feng et al. Infrared target detection and location for visual surveillance using fusion scheme of visible and infrared images
CN111028263B (zh) 一种基于光流颜色聚类的运动物体分割方法及其***
KR100551825B1 (ko) 통계적 상관 관계를 이용한 영상의 정렬 방법
CN104966283A (zh) 图像分层配准方法
CN107392948B (zh) 一种分振幅实时偏振成像***的图像配准方法
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
CN111708907B (zh) 一种目标人员的查询方法、装置、设备及存储介质
CN104200460A (zh) 基于图像特征和互信息的图像配准方法
Liu et al. Modified grey world method to detect and restore colour cast images
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法
CN109448030A (zh) 一种变化区域提取方法
CN111833384A (zh) 一种可见光和红外图像快速配准方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180126

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 15