KR20200078723A - 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법 - Google Patents

다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법 Download PDF

Info

Publication number
KR20200078723A
KR20200078723A KR1020180166857A KR20180166857A KR20200078723A KR 20200078723 A KR20200078723 A KR 20200078723A KR 1020180166857 A KR1020180166857 A KR 1020180166857A KR 20180166857 A KR20180166857 A KR 20180166857A KR 20200078723 A KR20200078723 A KR 20200078723A
Authority
KR
South Korea
Prior art keywords
image
pixels
scale
circular template
feature
Prior art date
Application number
KR1020180166857A
Other languages
English (en)
Inventor
예철수
Original Assignee
극동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 극동대학교 산학협력단 filed Critical 극동대학교 산학협력단
Priority to KR1020180166857A priority Critical patent/KR20200078723A/ko
Publication of KR20200078723A publication Critical patent/KR20200078723A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T3/0006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

다중 센서 영상에 대하여 영상융합, 변화탐지, 시계열 분석 등을 하기 위해서는 두 영상 간의 영상등록 과정이 필수적이다. 본 발명에서는 해상도 차이가 존재하는 두 영상 간의 영상등록 문제를 스케일이 서로 다른 두 영상 간의 어파인 변환(affine transformation) 관점에서 재해석하여 다중 해상도 영상 간의 상대적인 스케일, 회전각도 차이, 특징점 위치를 동시에 검출할 수 있는 가변 원형 템플릿을 이용한 정합 기법을 제공한다. 본 발명에 의한 가변 원형템플릿을 이용한 정합 기법은 스케일이 작은 영상의 특징점을 중심으로 원형템플릿을 설정하고 스케일이 큰 영상에서 가변 원형템플릿의 스케일을 일정한 스케일 단위로 변경하면서 스케일이 작은 영상의 원형템플릿과의 상호정보량이 최대가 될 때의 가변 원형템플릿의 스케일, 회전각도 그리고 가변 원형템플릿의 중심 위치를 각각 검출할 수 있게 된다.

Description

다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법 {Method for Feature Point Matching using Variable Circular Template for Multi-resolution Image Registration}
해상도가 다른 여러 가지 센서로 촬영된 각각의 영상들을 영상융합, 변화탐지 및 시계열 분석 등에 활용하기 위해서는 각각의 영상 간의 영상등록 과정이 필수적이다. 이러한 영상등록을 위해서는 서로 다른 공간해상도를 가지는 다중센서 영상 사이의 스케일과 회전각도 차이를 정확히 검출해야 한다. 본 발명은 이와 같은 다중해상도 영상들에 대한 영상등록을 위하여 스케일과 회전각도 차이를 검출해 내고 특징점 정합을 수행하는 방법에 관한 것이다.
동일대상에 대하여 촬영한 원격탐사영상이지만, 공간해상도, 각도 등 촬영조건이 각각 다른 원격탐사영상들을 이용하여 변화탐지, 시계열분석 등의 비교를 위해서는 서로 다른 두 영상 간의 영상좌표를 일치시키는 영상등록 과정이 필수적이다. 영상등록 과정은 두 영상좌표의 변환기준점이 되는 특징점 검출과 두 영상에 공통으로 존재하는 특징점 쌍을 구하는 특징점 정합(특징정합)이 핵심적인 과정이다. 특징점 검출은 템플릿의 중심화소를 기준으로 밝기값의 변화량을 측정하여 이웃 화소보다 변화량이 큰 화소를 특징점으로 검출한다(Moravec, 1977, 선행기술문헌 항목 중 비특허문헌목록 참조, 이하 같음). 이러한 특징점의 기하학적인 형태는 코너 형태가 일반적이며 그레디언트 행렬의 고유치를 이용하여 코너를 검출하는 다양한 종래 방법들이 있다(Harris and Stephens, 1988; Shi and Tomasi, 1994; Carneiro and Jepson, 2002; Ye, 2014a). 한편, 두 영상에서 검출된 특징점 간의 정합(특징정합)을 위해서 특징점 주변의 영상정보를 담고 있는 영상기술자(descriptor)를 이용한다. 영상기술자는 특징점 주변의 영상정보를 그 성분으로 하는 벡터이며 대표적으로 Scale Invariant Feature Transform(SIFT) (Lowe, 2004)가 널리 알려진 영상기술자이다. SIFT 기반의 방법들은 영상기술자가 특징점 주변의 영상특성을 반영하는 히스토그램을 기본적으로 이용하기 때문에 스케일 및 회전변화 등과 같은 기하학적 변형에 대해 강한 특징을 가진다(Song et. al., 2014; Gong et al., 2013; Sun et al., 2014). 그러나 SIFT 방법은 blob-like 형태의 특징점 검출에는 유리하지만 건물이나 도로의 교차점 등과 같은 코너 점의 검출에는 적합하지 않은 단점이 있다(Wu et al., 2012). SIFT 방법은 검출한 특징점의 위치가 실제 코너 위치가 아닌 코너 주변에서 검출이 되기 때문에 영상등록을 위한 코너 검출기로서는 적합하지 않다.
Shechtman and Iran(2007)은 특징점을 중심으로 하는 영상 템플릿과 특징점 주변의 영상과의 유사도를 계산하여 correlation surface를 생성한 후에 이를 극좌표 형식으로 표현하는 Local Self-Similarity(LSS) 영상기술자를 제안하였다. 영상의 밝기값 변화에 대해 강건한 특성을 가지는 LSS 영상기술자의 성능을 일부 개선한 방법도 제안이 되었다(Liu et al., 2012; Liu and Zeng, 2012). LSS 영상기술자의 단점은 다양한 특징에 대한 영상기술자의 식별능력(discriminability)이 상대적으로 낮다는 점이다(Sedaghat and Ebadi, 2015). 이 방법은 Correlation surface를 극좌표 형식으로 표현한 후에 극좌표 중심에서 일정 길이의 반지름 이내에 속하는 원형의 영역을, 중심에서의 거리와 방향에 따라 각각 일정한 개수의 작은 영역으로 분할한 후에 각 영역의 대표 값으로 correlation surface의 최대값을 할당하여 LSS 기술자 벡터를 생성한다. 이러한 기술자 벡터 생성 방식은 SIFT 기반의 기술자와 같이 특징점 주변의 정보를 벡터 형태로 표현하는데 유용한 방식이나, 특징점 주변 영역을 일정한 크기의 작은 영역으로 분할하고 대표값을 지정하는 과정을 통해서 밝기값 또는 에지(Edge) 정보 등의 작은 변화에 대한 영상기술자의 민감도가 저하되는 요인으로 작용한다. 즉, 특징점을 중심으로 생성된 LSS 벡터와 특징점에 가까운 화소의 LSS 벡터는 거의 유사한 벡터 성분을 가지게 되기 때문에 특징점과 특징점 근처의 화소에 대한 영상기술자의 식별 능력은 감소하게 된다. 기존의 영상기술자를 이용한 정합기법은 특징점을 중심으로 좁은 영역의 영상정보를 특징벡터로 기술하고 이 특징벡터와의 유사도가 높은 특징벡터를 가지는 대응점을 정합 과정에서 찾는다. 이 과정에서 특징벡터가 추출되는 영역 자체가 작으면 특징점 주변의 영상정보가 충분히 반영되지 못하는 문제가 발생될 수 있으며, 또한 특징벡터를 추출하는 과정 자체가 특징점 주변의 영상 전체 밝기값 정보 대신에 벡터로 추출된 일부 영상정보만을 이용하는 근본적인 한계를 가진다. 반면, 특징점 기술에 사용되는 주변영역을 충분히 넓게 하면 특징점 정합을 위한 유사도 계산 과정에서 잡음이나 다른 요인에 의해 유사도를 저하시키는 일부 요인이 작용하더라도 그 영향을 적게 받을 수 있다. 본 발명자의 이전 연구(Ye, 2014b)에 따르면 정합에 사용되는 원형템플릿의 크기가 점진적으로 증가하면 정합오차도 함께 감소하고, 원형템플릿의 반지름이 100~500 화소의 비교적 넓은 범위로 증가하면 정합오차도 2화소 이내의 낮은 수준으로 수렴된다. 이와 같은 결과는 특징점 중심의 좁은 영역의 유사도 비교에 비해 넓은 영역의 유사도 비교가 가지는 장점을 잘 보여준다.
상술한 기존의 영상기술자 중심의 특징점 정합기법들은 스케일 및 회전변화를 포함하는 영상 간의 특징점 유사도를 비교하기 위해서 스케일변화, 회전변화의 영향을 적게 받는 특징점 추출 방법, 특징점 유사도 계산 방법을 사용한다. 그러나 영상등록을 위한 이러한 특징점 중심의 유사도 계산 접근방식 대신에 특징점을 포함하는 넓은 영역 간의 영상 변환(image transformation) 관점에 본다면 영상등록은 두 비교 영상 간의 어파인 파라미터를 결정하는 과정으로 이해할 수 있다. 두 영상 간의 일반적인 어파인 파라미터를 결정하기 위해서는 최소 3개 이상의 대응점이 필요하지만 두 영상 내부의 정합 특징점을 중심으로 하는 두 영상 간 변환 관점에서 보면 두 영상 간의 어파인 변환은 두 영상 간의 정합 특징점을 변환중심으로 하는 영상 간의 스케일변환(scale transformation), 회전변환(rotation transformation) 그리고 이동변환(translation transformation)의 각 파라미터를 결정하는 과정과 등가의 의미를 가지게 된다. 스케일변환, 회전변환, 이동변환의 각 파라미터를 구하게 되면 한 쪽 영상의 특징점을 중심으로 각각의 영상변환을 수행하여 다른 한 쪽의 영상좌표와 일치시킬 수 있다. 이 과정은 그 자체로서 특징점을 중심으로 하는 일종의 글로벌 영상등록(global image registration)으로 볼 수 있으며 삼각망 기반의 국부변환(triangulation-based local transformation) 기법(Ye, 2014c) 등과 같이 보다 정밀한 영상등록을 위한 초기 영상등록 방법으로 사용할 수 있다. 두 영상 사이의 스케일 및 회전 차이가 보정되면, 두 영상 간의 기하학적인 차이가 보정이 되어 추가적인 정밀 영상등록 과정에서 유사도계산의 정확도를 높일 수 있다. 이와 같은 접근 방법에서 해결해야 하는 문제는 두 영상 간의 정합 특징점은 일반적으로 미리 알려져 있지 않기 때문에 각 어파인 파라미터를 구하는 과정과 정합 특징점을 구하는 과정이 동시에 진행되어야 한다.
본 발명에서는 본 발명자가 창안한 가변 원형템플릿 정합기법(Ye, 2018)을 기초로 하여, 기존의 특징점 검출 및 정합 방식을 대체 할 수 있는 어파인 파라미터를 이용한 다중 해상도 영상의 특징 정합 기법을 제공한다. 이를 위하여 먼저 영상 간의 기하학적 보정이 특징점 정합 유사도 향상에 미치는 영향을 분석하고 스케일이 서로 다른 영상 간의 원형템플릿을 이용한 영상변환 방법을 제시한다. 이어서 특징점의 유사도 계산을 위한 원형템플릿의 설계 방법과 원형템플릿 간의 상호정보량에 기반한 유사도 계산 방법을 제시한다. 창안된 정합방법의 성능검증을 위해서 다목적 실용위성 3호 영상을 이용하여 다양한 조건에서 생성된 스케일 영상들과 실제 서로 다른 스케일을 가지는 다목적 실용위성 2호, 3호, 3A호 영상을 이용하여 성능 평가를 각각 수행하였다.
Carneiro, G. and A. D. Jepson, 2002. Phase-based local features, Proceedings of the 7th European Conference on Computer Vision-Part I, pp.282-296. Gong, M., Zhao, S., Jiao, L., Tian, D., Wang, S., 2014. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information. IEEE Transactions on Geoscience and Remote Sensing, 52(7):4328-4338. Harris, C., and M. Stephens, 1988. A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference, pp.147-151. Liu, J. and G. Zeng, 2012. Description of interest regions with oriented local self-similarity, Optics Communications, 285:2549-2557. Liu, J., G. Zeng, and J. Fan, 2012. Fast Local Self-Similarity for describing interest regions, Pattern Recognition Letters. 33:1224-1235. Lowe, D. G., 2004. Distinctive image features from scale-Invariant keypoints, International Journal of Computer Vision, 60(2):91-110. Moravec, H.P., 1977. Towards automatic visual obstacle avoidance, Fifth International Joint Conference on Artificial Intelligent, pp.584. Sedaghat, A. and H. Ebadi, 2015. Distinctive order based self-similarity descriptor for multi-sensor remote sensing image matching, ISPRS Journal of Photogrammetry and Remote Sensing, vol. 108, pp.62-71. Shechtman, E., Irani, M., 2007. Matching local self-similarities across images and videos, IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 17-22 June, pp.1-8. Shi J. and C. Tomasi, 1994. Good Features to Track, IEEE conference on Computer Vision and Pattern Recognition, Seattle, USA, 21-23 June, pp.593-600. Song, Z., Zhou, S., Guan, J., 2014. A novel image registration algorithm for remote sensing under affine transformation. IEEE Transactions on Geoscience and Remote Sensing, 52(8):4895-4912. Sun, Y., Zhao, L., Huang, S., Yan, L., Dissanayake, G., 2014. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry, ISPRS Journal of Photogrammetry and Remote Sensing, 91:1-16. Wu, B., Zhang, Y. & Zhu, Q. 2012. Integrated point and edge matching on poor textural images constrained by self-adaptive triangulations, ISPRS Journal of Photogrammetry and Remote Sensing, 68:40-55. Ye, C.H., 2014a. Feature detection using geometric mean of eigenvalues of gradient matrix, Korean Journal of Remote Sensing, 30(6):769-776. Ye, C.H., 2014b. Mutual Information-based circular template matching for image registration, Korean Journal of Remote Sensing, 30(5):547-557. Ye, C.H., 2014c. Image registration using outlier removal and triangulation-based local transformation, Korean Journal of Remote Sensing, 30(6):787-795. Ye, C.H., 2018. Multiresolution image matching using variable circular template, Proceedings of the KSRS Fall 2018, Muju, Korea, 24-26 October, pp.160.
본 발명은, 서로 다른 공간해상도를 가지는 다중센서 영상 사이에서 스케일과 회전각도의 차이를 정확하게 검출하는 등 각각의 영상에서 검출된 특징점 간의 정확한 정합방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여 본 발명에 의한, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법은, 정보시스템에 의하여 다중해상도 영상등록을 위한 특징정합을 수행하는 방법으로서, 제1영상에 대하여는, (a) 특징좌표(
Figure pat00001
)를 검출하는 단계; (b) 상기 특징좌표(
Figure pat00002
)를 중심으로 반지름 R인 원형템플릿을 정하는 단계; (c) 상기 원형템플릿 안에서 상기 특징좌표(
Figure pat00003
)를 중심으로 거리가
Figure pat00004
, 각도가
Figure pat00005
인 제1화소들의 위치(
Figure pat00006
)를 각각 정하는 단계; (d) 상기 제1화소들 각각에 대한 밝기값을 포함하는 제1화소들의 집합(
Figure pat00007
)을 구하는 단계;를 포함하도록 하고, 상기 제1영상에 비하여 스케일이 큰 제2영상에 대하여는, (a) 후보특징점(
Figure pat00008
)을 정하는 단계; (b) 상기 후보특징점(
Figure pat00009
)을 중심으로 거리가
Figure pat00010
, 각도가
Figure pat00011
인 제2화소들의 위치(
Figure pat00012
)를 각각 정하는 단계; (c) 상기 제2화소들 각각에 대한 밝기값을 포함하는 제2화소들의 집합(
Figure pat00013
)을 구하는 단계; 를 포함하도록 한 후, 상기 제2화소들의 위치(
Figure pat00014
)를 갱신해 가면서 상기 제2화소들의 집합(
Figure pat00015
)을 재구성하는 과정을 각각 반복한 후, 상기 제1화소들의 집합(
Figure pat00016
)과 상기 제2화소들의 집합(
Figure pat00017
) 사이의 상호정보량(
Figure pat00018
)를 구하는 단계;를 수행하되 상기 제2화소들의 위치(
Figure pat00019
) 갱신은 (a) 상기 제2영상의 스케일범위 내에서 각각의 스케일(
Figure pat00020
)을 순차적으로 적용해가면서 상기 제2화소들의 위치(
Figure pat00021
)를 갱신하고, (b) 상기 제2화소들의 각도
Figure pat00022
를 일정각도(
Figure pat00023
)만큼 순차적으로 증가시키면서 상기 제2화소들의 위치(
Figure pat00024
)를 갱신하고, (c) 상기 후보특징점(
Figure pat00025
)에 대하여 일정한 탐색범위 내에서 이동변위(
Figure pat00026
)를 적용해가면서 상기 제2화소들의 위치(
Figure pat00027
)를 갱신하도록 하는 것이 바람직하다. 그리고 그 후에는 상기 상호정보량(
Figure pat00028
)가 최대값이 될 때의 파라미터(
Figure pat00029
)를 구하는 단계; 및 상기 파라미터(
Figure pat00030
)를 적용한 어파인 변환계수를 이용하여 상기 특징좌표(
Figure pat00031
)에 대응되는 상기 제2영상에서의 특징점(
Figure pat00032
)을 구하는 단계; 를 포함하도록 하는 것이 바람직하다.
또한 상술한 특징들에 더하여, 상기 특징좌표(
Figure pat00033
)는, 일정 범위 내에서 코너 응답값이 최대가 되는 코너점의 위치를 기하평균 기반의 특징점 검출기를 이용하여 검출하는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법으로 하는 것도 바람직하다.
그리고 상기 제1화소들의 위치(
Figure pat00034
)는 아래 식에 의하여 구하며,
Figure pat00035
(
Figure pat00036
은 원형템플릿의 반지름 위에 위치하는 전체 화소수,
Figure pat00037
는 원형템플릿의 원주 위에 위치하는 전체 화소수이다.)
상기 제2화소들의 위치(
Figure pat00038
)는 다음의 식에 의하여 구하며,
Figure pat00039
Figure pat00040
(
Figure pat00041
는 제1영상과 제2영상의 스케일 크기를 반영한 스케일 파라미터다.)
상기 제1화소들의 집합(
Figure pat00042
) 및 상기 제2화소들의 집합(
Figure pat00043
)은 다음 각각의 식에 의하여 구하는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
Figure pat00044
(
Figure pat00045
는 상기 제1영상의 (
Figure pat00046
) 위치에 존재하는 화소의 밝기값이다.)
Figure pat00047
(
Figure pat00048
는 상기 제2영상의 (
Figure pat00049
) 위치에 존재하는 화소의 밝기값이다.)
상기 상호정보량(
Figure pat00050
)은 아래 식에 의하여 구해지는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법으로 하는 것도 가능하다.
Figure pat00051
(여기서 H는 엔트로피다)
이상에서 살펴본 바와 같이 본 발명에 의한, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법에서는, 서로 다른 공간해상도를 가지는 제1영상과 제2영상 사이에서 스케일(
Figure pat00052
)과 회전각도(
Figure pat00053
)의 차이를 정확하게 검출하고, 이들을 통하여 상기 제2영상에서의 대응 특징점(
Figure pat00054
)도 찾아서 제공하는 등 각각의 영상에서 검출된 특징점 간의 정확한 정합방법을 제공할 수 있는 효과가 있다.
최근 다양한 종류의 고해상도 위성 영상이 등장하면서 이들 다중 해상도 센서영상을 다양한 목적으로 함께 활용하고자 하는 노력이 활발하다. 다중 센서 영상을 영상 융합, 변화 탐지, 시계열 분석 등에 활용하기 위해서는 두 영상 간의 영상등록 과정이 필수적이다. 서로 다른 공간 해상도를 가지는 위성영상 사이의 영상등록을 위해서 SIFT 기반의 특징 정합 방법을 적용할 수 있으나 검출한 특징점의 위치가 코너 주변에서 검출이 되는 문제와 함께 특징 벡터를 추출하는 과정을 통해 원래의 영상 밝기값 정보 대신에 일부 특징 정보만을 이용하는 근본적인 한계를 가진다. 본 발명에서는 해상도 차이가 존재하는 두 영상 간의 영상등록 문제를 스케일이 서로 다른 두 영상 간의 어파인 변환(affine transformation) 관점에서 재해석하여 다중 해상도 영상 간의 상대적인 스케일, 회전각도 차이, 특징점 위치를 동시에 검출할 수 있는 가변 원형 템플릿을 이용한 정합 기법을 발명하였다. 본 발명에 의한 가변 원형템플릿을 이용한 정합 기법은 스케일이 작은 영상의 특징점을 중심으로 원형템플릿을 설정하고 스케일이 큰 영상에서 가변 원형템플릿의 스케일을 일정한 스케일 단위로 변경하면서 스케일이 작은 영상의 원형템플릿과의 상호정보량이 최대가 될 때의 가변 원형템플릿의 스케일, 회전각도 그리고 가변 원형템플릿의 중심 위치를 각각 검출할 수 있게 된다.
기존의 영상등록 방법이 스케일 및 회전에 불변한 특징점 검출 및 정합 관점에서 다양한 영상 기술자와 정합 방식을 제시하는데 반해서 본 발명은 특징점 주변의 넓은 영역에 대한 영상 변환이라는 새로운 관점에서 영상등록 문제를 해결하였다. 영상변환 관점의 새로운 접근 방법을 통해 서로 다른 해상도를 가지는 영상 간의 상대적인 스케일과 회전 그리고 특징점 위치를 정밀하게 획득할 수 있다. 상대적인 스케일 검출과 관련하여 종래기술에서는 두 영상 내의 존재하는 특징을 중심으로 특성 스케일(characteristic scale)을 각각 검출한 후에 그 크기를 비교하여 상대적인 스케일을 추정하나 이 경우 먼저 대응하는 두 특징점을 찾아야 하는 특징점 정합 문제로 인해서 자동 영상등록에 적용하기에는 어렵다는 문제가 있어왔으나 본 발명에서는 일차적으로는 다중 해상도 영상 간의 상대적인 스케일을 자동으로 검출하는 방법을 제공하였으며, 이와 함께 두 영상 간의 상대적인 회전각도 차이와 특징점 위치를 정확하게 검출하여 다중 해상도 영상 간의 특징 정합 방법을 제공할 수 있다.
도 1은 본 발명에 의한, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법이 수행되는 흐름도이다.
도 2는 동일 지역을 촬영한 Ikonos 위성영상과 Quickbird 위성영상의 비교 및 어파인 변환 사례를 보여주는 사진이다.
도 3은 Quickbird 위성영상에 대한 어파인 변환 전후의 유사도를 보여주는 도면으로서 상호정보량(mutual information, MI)을 이용하여 계산한 유사도이다.
도 4는 스케일이 작은 영상과 어파인 변환한 스케일이 큰 영상의 유사도를 비교한 도면이다.
도 5는 회전각도
Figure pat00055
스케일 펙터
Figure pat00056
를 이용하여, 위치좌표 (
Figure pat00057
)에 대응되는 픽셀위치를 정의하는 도면이다.
도 6은 원형템플릿의 픽셀들을 2차원 배열 형태로 표시한 것이다.
도 7은 원형템플릿 내에서 각각의 픽셀 위치를 각도
Figure pat00058
만큼 변화시켜 가는 것을 도시한 것이다.
도 8은 다목적실용위성 Kompsat-2, Kompsat-3, Kompsat-3A호에 대한 각각의 영상이다.
도 9는 Kompsat-3 영상에 대하여 코너 검출 결과를 보여주는 사진이다.
도 10은 Kompsat-3 영상에 대한 테스트 셋트 영상에 대한 사진이다.
도 11은 회전각도와 스케일팩터의 변화에 따른 상호정보량의 변화를 도시한 것이다.
도 12는 다양한 스케일 팩터와 회전성분을 포함한 저해상도 영상의 예를 보여준다.
도 13은 상호간의 스케일 팩터 변화에 따른 상호정보량의 변화를 보여준다.
이하에서 상술한 목적과 특징이 분명해지도록 본 발명을 상세하게 설명할 것이며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한 본 발명을 설명함에 있어서 본 발명과 관련한 공지기술 중 이미 그 기술 분야에 익히 알려져 있는 것으로서, 그 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 실시 예들에 대한 설명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 실시 예들을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
실시 예들은 여러 가지 형태로 변경을 가할 수 있고 다양한 부가적 실시 예들을 가질 수 있는데, 여기에서는 특정한 실시 예들이 도면에 표시되고 관련된 상세한 설명이 기재되어 있다. 그러나 이는 실시 예들을 특정한 형태에 한정하려는 것이 아니며, 실시 예들의 사상 및 기술 범위에 포함되는 모든 변경이나 균등물 내지 대체물을 포함하는 것으로 이해되어야 할 것이다.
다양한 실시 예들에 대한 설명 가운데 “제1”, “제2”, “첫째” 또는“둘째”등의 표현들이 실시 예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명을 설명한다. 먼저 도 2는 동일 지역을 촬영한 Ikonos 위성 영상과 Quickbird 위성영상의 비교 및 어파인 변환한 사례를 보여주는 사진이다. 해상도가 다른 이종센서(다중센서) 영상 상호간에는 영상 취득조건의 차이로 인해서 발생하는 기하학적 차이로 인하여, 영상등록 과정에서 특징점 사이의 유사도를 저하시키게 된다. 도 2는 이에 대한 비교를 보여주는데, 도 2(a)와 도 2(b)는 동일 지역을 촬영한 Ikonos 위성 영상과 Quickbird 위성영상의 예를 보여준다. 그리고 도 2(c)는 Ikonos 위성영상을 기준으로 Quickbird 위성영상을 어파인(affine) 변환한 영상으로서, 도 2 하단에 있는 각각의 확대된 영상에서 보는 바와 같이 어파인 변환 후의 Quickbird 위성 영상과 Ikonos 위성 영상과의 기하학적 차이가 감소한 것을 알 수 있다.
또한 어파인 변환을 통한 기하학적 보정을 통하여, 영상등록을 위한 특징점 정합 시 정합성능의 향상을 기대할 수 있는데, 도 3은 유사도 계산결과를 보여주는 도면으로서, 도 2(a)의 흰색 원의 중심 위치에 있는 Ikonos 위성영상의 코너 화소에 대한 대응점을, 어파인 변환 전후의 Quickbird 위성영상에서 찾기 위하여 상호정보량(mutual information)을 이용하여 계산한 유사도를 보여준다. 도 2(a)는 어파인 변환 전의 결과이며, 도 3(b)는 어파인 변환 후의 결과인데, 정합화소의 상호정보량(MI) 최대값은 어파인 변환 전후의 값이 각각 0.514, 0.613이 얻어져서 변환 후의 유사도가 보다 높은 결과를 보인다. 특히, 정합점과 주변 화소들 간의 유사도의 차이는 도 3(b)와 같이 어파인 변환 후에 그 차이가 크게 증가하여 오정합 가능성이 크게 낮아 질 수 있음을 볼 수 있다. 따라서 두 영상 간의 기하학적 차이를 보정하면 정합점 간의 유사도를 높이고 정합점과 주변 화소들 간의 유사도 차이를 증가시켜서 정합 성능을 향상시킬 수 있음을 알 수 있다. 두 영상 간의 기하학적 보정을 위해서는 일반적으로 두 영상 간의 특징점들을 정합한 후에 정합된 특징점들을 이용하여 영상 변환을 수행하는 단계를 거치나 본 발명에서는 원형템플릿을 이용한 영상변환과 특징점 정합을 동시에 수행하는 방법을 제공한다.
이하에서는 원형템플릿을 이용한 영상변환에 대하여 설명한다. 해상도 차이로 인한 스케일이 서로 다른 두 영상 간의 특징점 정합은 두 영상 간의 대응점(corresponding points)을 연결하는 어파인 변환 성분을 찾는 과정으로 해석할 수 있다. 상대적으로 스케일이 작은 영상의 대응점을 (
Figure pat00059
), 스케일이 큰 영상의 대응점을 (
Figure pat00060
), 스케일이 큰 영상의 대응점 좌표(
Figure pat00061
)에 대한 어파인 변환 후의 좌표를 (
Figure pat00062
)라 할 때, 대응점 (
Figure pat00063
)과 변환 후 좌표 (
Figure pat00064
) 사이의 관계는 일반적으로 아래의 수학식 1과 같은 어파인 변환 관계로 주어진다.
Figure pat00065
그리고 이를 스케일 성분 s, 회전각 θ, 이동 변위 (
Figure pat00066
)로 나타내면 아래 수학식 2와 같이 표현된다. 따라서 스케일이 작은 영상의 대응점(
Figure pat00067
)과의 유사도가 가장 높은 어파인 변환 후의 좌표(
Figure pat00068
)를 구하면 어파인 변환 계수를 이용하여 스케일이 큰 영상에서의 대응점(
Figure pat00069
)을 구할 수 있다.
Figure pat00070
대응점(
Figure pat00071
)과 어파인 변환 후 좌표(
Figure pat00072
)와의 유사도를 측정하기 위하여 스케일이 작은 영상의 대응점(
Figure pat00073
)과 스케일이 큰 영상의 후보대응점(
Figure pat00074
)을 중심으로 원형템플릿을 각각 생성한다. 원형템플릿 내에 위치하는 화소들은 두 대응점 간의 유사도 계산에 사용되며 대응점을 중심으로 영상이 회전 하여도 원형템플릿 내부에 포함되는 화소들은 변하지 않는 회전 불변(rotation invariance) 특성을 가진다. 따라서 대응점 (
Figure pat00075
) 중심의 원형템플릿은 고정하고 스케일이 큰 영상의 후보대응점(
Figure pat00076
) 중심의 원형템플릿은 일정각도 단위로 회전시키면서 두 템플릿의 유사도가 최고가 되는 회전각도를 측정하여 두 템플릿의 상대적인 회전각도 차이, 즉 두 영상의 상대적인 회전각도 차이를 구한다.
한편, 스케일이 작은 영상과 스케일이 큰 영상의 경우 상대적인 스케일 차이가 존재하기 때문에 두 원형템플릿을 동일한 크기로 설정하면 스케일이 큰 영상의 원형템플릿은 스케일이 작은 영상의 원형템플릿보다 실제로는 더 작은 영역을 포함하게 된다. 따라서 두 원형템플릿의 유사도를 비교하기 전에 먼저 두 원형템플릿의 스케일을 일치시키는 과정이 필요하다. 이를 위해서 도 4에 보인 바와 같이 스케일이 작은 영상템플릿 내의 위치
Figure pat00077
에 대응되는 스케일이 큰 영상템플릿 내의 위치
Figure pat00078
를 스케일 파라미터
Figure pat00079
를 이용하여
Figure pat00080
로 계산한 후에 두 원형템플릿 반지름 상에 동일한 개수의 화소를 배치한다. 원형템플릿의 반지름 상에 동일 개수의 화소를 배치하면 스케일 파라미터
Figure pat00081
의 변화에도 불구하고 두 원형템플릿의 유사도 계산에 사용되는 화소들의 개수를 일치시킬 수 있다.
다음으로는 원형템플릿의 설계와 유사도 계산방법에 대하여 설명한다. 본 발명에서는 원형템플릿에 속하는 화소의 위치(
Figure pat00082
)를 결정하기 위하여 도 5에서 보는 바와 같이 극좌표(polar coordinates) 방식을 이용하는데, 스케일이 작은 영상에서 중심 좌표가 (
Figure pat00083
)이고 원점에서의 거리가
Figure pat00084
, 각도가
Figure pat00085
인 화소의 위치는 아래 수학식 3과 같이 구한다. 여기서 도 5(a)는 스케일이 작은 영상에서 픽셀위치를 정의하는 도면이며, 도 5(b)는 스케일이 큰 영상에서 픽셀위치를 정의하는 도면이다.
Figure pat00086
그리고 이와 같은 방법으로, 스케일이 큰 영상에서 대응되는 화소의 위치 (
Figure pat00087
)는 아래 수학식 4와 같이 주어진다.
Figure pat00088
여기서
Figure pat00089
은 원형템플릿의 반지름 위에 위치하는 전체 화소수이며,
Figure pat00090
는 원형템플릿의 원주 위에 위치하는 전체 화소수를 의미한다. 도 5에서는
Figure pat00091
=8,
Figure pat00092
=8인 원형템플릿의 생성 예를 보여준다. 그리고
Figure pat00093
사이의 모든 화소의 위치를 거리
Figure pat00094
과 각도
Figure pat00095
의 2차원 좌표평면에 도시하면 도 6과 같이 2차원 배열 형태로 표시된다. 수평방향의 축은 원형템플릿 중심에서 방사적으로 떨어진 위치
Figure pat00096
을 나타내고, 수직방향의 축은 반시계 방향의 회전각도
Figure pat00097
를 나타낸다. 여기서 도 6(a)는 스케일이 작은 영상의 픽셀들을 2차원 배열한 모습이며, 도 6(b)는 스케일이 큰 영상의 픽셀들을 2차원 배열한 모습이다.
한편 스케일이 작은 영상의 (
Figure pat00098
) 위치에 존재하는 화소의 밝기값을
Figure pat00099
라 하면, 스케일이 작은 원형템플릿에 포함되는 화소들의 집합
Figure pat00100
은 아래 수학식 5와 같이 주어진다.
Figure pat00101
그리고 스케일이 큰 영상의 (
Figure pat00102
) 위치에 존재하는 화소의 밝기값을
Figure pat00103
라 하면 스케일이 큰 원형템플릿에 포함되는 화소들의 집합
Figure pat00104
는 아래 수학식 6과 같이 주어진다.
Figure pat00105
여기서
Figure pat00106
이며
Figure pat00107
는 스케일이 큰 영상의 스케일 범위를 나타나는 인덱스로서
Figure pat00108
의 범위를 가진다. 그리고
Figure pat00109
는 스케일이 큰 영상에서 생성된 원형템플릿의 회전각도를 나타내며 아래 수학식 7과 같이 주어진다. 상기 수학식 7에서 기본값으로 이 T=180이 주어지며 회전각도를 보다 미세하게 조정하기 위해서는 T를 보다 큰 값으로 조정하는 것이 바람직하다.
Figure pat00110
한편 스케일이 작은 영상의 원형템플릿과 스케일이 큰 영상의 원형템플릿에 포함되는 각각의 화소들의 집합
Figure pat00111
과
Figure pat00112
사이의 유사도를 측정하기 위하여 아래 수학식 8과 같이 주어지는 상호정보량 MI를 계산한다.
Figure pat00113
여기서 H는 엔트로피를 나타낸다.
이와 같이 상호정보량 MI를 계산하기 위하여는, 먼저 스케일이 작은 영상의 특징좌표(
Figure pat00114
)를 검출해 내는데, 이를 위해서는 스케일이 작은 영상 중 일정 범위 내에서 코너 응답값이 최대가 되는 코너점의 위치를 종래기술(Ye, 2014a)에 의한 기하 평균 기반의 특징점 검출기를 이용하여 검출하도록 하는 것이 바람직하다. 검출된 특징좌표 (
Figure pat00115
)를 중심으로 반지름이 R인 원형템플릿에 속하는 화소집합
Figure pat00116
을 설정한 후에 스케일이 큰 영상의 스케일범위
Figure pat00117
에 속하는 각 스케일
Figure pat00118
에 대해 상기 수학식 6을 이용하여 원형템플릿 화소집합
Figure pat00119
를 설정한다. 이때 원형템플릿을 도 7과 같이
Figure pat00120
만큼 순차적으로 증가시키면서 상기 수학식 6을 이용하여 (
Figure pat00121
) 위치를 갱신한다. 여기서 도 7(a)는 초기 위치이며, 도 7(b)는 각도가
Figure pat00122
만큼 증가된 후의 위치이다. 이 과정을 통해 초기에 만들어진 원형템플릿 화소집합
Figure pat00123
는 갱신된 (
Figure pat00124
)에 위치하는 화소집합으로 재구성된다. 재구성된 원형템플릿의 중심 위치 (
Figure pat00125
)를 일정한 탐색 범위 내의
Figure pat00126
와
Figure pat00127
값에 따라 변경하면서 아래 수학식 9와 같이 상호정보량 MI가 최대값이 될 때의 각 파라미터(
Figure pat00128
) 의 값을 구한다. 여기서 스케일이 큰 영상의 중심위치 (
Figure pat00129
)는
Figure pat00130
가 되도록 하는 것이 바람직하다. 따라서 처음에는 스케일이 큰 영상의 중심위치 (
Figure pat00131
)를 스케일이 작은 영상의 특징좌표(
Figure pat00132
)와 동일하게 하는 것도 가능하다.
Figure pat00133
이러한 과정들을 수행할 때, 상호정보량 계산에 소요되는 시간을 줄이기 위하여 원형템플릿 생성 시 템플릿 중심에서 방사적으로 떨어진 위치
Figure pat00134
사이의 간격과 회전각도
Figure pat00135
사이의 간격을 각각 일정한 간격을 두고 생성하도록 하는 것이 바람직하다. 원형템플릿의 반지름 R이 300 화소이면 총
Figure pat00136
=300개의
Figure pat00137
를 생성할 수 있으나, 3 화소 간격으로 화소값을 취하면
Figure pat00138
=100개의
Figure pat00139
를 생성하게 된다. 이 경우 상호정보량 계산에 이용되는 화소의 수가 1/3로 감소하여 연산시간도 함께 감소한다. 회전각도
Figure pat00140
의 간격도 2도 간격으로 생성하면 각
Figure pat00141
위치마다
Figure pat00142
=360개의 화소를 생성할 수 있으나 5도 간격으로 생성하면
Figure pat00143
=72개의 화소가 생성되어 상호정보량 계산에 이용되는 화소의 수가 1/5로 감소하게 된다. 또한 스케일이 큰 영상에서의 정합 위치 (
Figure pat00144
)를 탐색하는데 소요되는 시간을 줄이기 위하여 스케일이 큰 영상의 전체화소 그레디언트의 히스토그램에서 상위 임계비율
Figure pat00145
이상인 화소를 정합 후보점으로 한정하면 탐색 시간을 크게 단축할 수 있다.
한편 도 1은 본 발명에 의한, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법이 수행되는 흐름도이다. 이하에서는 위에서 설명한 내용들에 기초하여 본 발명의 구체적인 구현방법에 대하여 도 1을 참조하여 단계별로 설명한다.
본 발명은 정보시스템에 의하여 다중해상도 영상등록을 위한 특징정합을 수행하는 방법으로서, 먼저 도 1에서 보는 바와 같이 제1영상에 대하여 특징좌표(
Figure pat00146
)를 검출하는 단계(s110)를 수행하도록 하는 것이 바람직하다. 여기서 상기 제1영상은 상술한 설명에서 ‘스케일이 작은 영상’을 말한다. 그리고 상기 제1영상에 대하여 상기 특징좌표(
Figure pat00147
)를 중심으로 반지름 R인 원형템플릿을 정하는 단계(s120)를 수행하도록 하는 것이 바람직한데, 상기 특징좌표(
Figure pat00148
)는 상기 제1영상 중 일정범위 내에서 코너 응답값이 최대가 되는 코너점의 위치로서, 종래기술에 의한 기하평균 기반의 특징점 검출기를 이용하여 검출되는 지점으로 하는 것이 바람직하다. 상기 원형템플릿이 정해진 후에는 상기 원형템플릿 안에서 상기 특징좌표(
Figure pat00149
)를 중심으로 거리가
Figure pat00150
, 각도가
Figure pat00151
인 제1화소들의 위치(
Figure pat00152
)를 각각 정하는 단계를 수행하도록 하는 것이 바람직한데(s130) 상기 제1화소들의 위치(
Figure pat00153
)는 상기 수학식 3과 같이 표현될 수 있다. 그 후에는 상기 제1화소들 각각에 대한 밝기값을 포함하는 제1화소들의 집합(
Figure pat00154
)을 구하는 단계(s140)를 수행하도록 하는 것이 바람직한데, 상기 제1화소들의 집합(
Figure pat00155
)은 상기 수학식 5와 같이 구하는 것이 더욱 바람직하다.
한편 상기 제1영상에 비하여 스케일이 큰 제2영상에 대하여는 먼저 후보특징점(
Figure pat00156
)을 정하는 단계(s210)를 수행하도록 하는데, 상기 제2영상은 상술한 설명 중 ‘스케일이 큰 영상’을 말한다. 그리고 후보특징점(
Figure pat00157
)은 상기 제2영상에 대한 특징점(
Figure pat00158
)을 찾기 위한 후보지점을 말하며 상술한 설명에서 후보대응점으로 언급한 바 있으며, 상기 제1영상의 특징점인 상기 특징좌표(
Figure pat00159
)와 동일하게 하는 것도 가능하다. 상기 후보특징점(
Figure pat00160
)을 정한 후에는 상기 후보특징점(
Figure pat00161
)을 중심으로 거리가
Figure pat00162
, 각도가
Figure pat00163
인 제2화소들의 위치(
Figure pat00164
)를 각각 정하는 단계(s220)를 수행하게 되는데, 상기 제2화소들의 위치(
Figure pat00165
)는 상기 수학식 4와 같이 표현될 수 있다. 그 후에는 상기 제2화소들 각각에 대한 밝기값을 포함하는 제2화소들의 집합(
Figure pat00166
)을 구하는 단계(s230)를 수행하도록 하는 것이 바람직한데, 상기 제2화소들의 집합(
Figure pat00167
)은 상기 수학식 6에 의하여 구하는 것이 더욱 바람직하다.
상기 제1화소들의 집합(
Figure pat00168
)과 상기 제2화소들의 집합(
Figure pat00169
)이 구해진 후에는 상기 제1화소들의 집합(
Figure pat00170
)과 상기 제2화소들의 집합(
Figure pat00171
) 사이의 상호정보량(
Figure pat00172
)를 구하는 단계(s310)을 수행하도록 하는 것이 바람직한데, 상기 상호정보량(
Figure pat00173
)은 상기 수학식 8에 의하여 구하도록 하는 것이 바람직하다. 상기 상호정보량(
Figure pat00174
) 산출은 상기 제2화소들의 위치(
Figure pat00175
)를 계속하여 갱신해 가면서(s320) 상기 제2화소들의 집합(
Figure pat00176
)을 재구성한 후 상기 상호정보량(
Figure pat00177
) 산출을 반복하도록 하는 것이 바람직한데, 미리 정해진 조건에 따라 더 이상 갱신할 수 없을 때 까지(종료조건 충족 시까지) 반복하도록 하는 것이 더욱 바람직하다(s330). 여기서 상기 제2화소들의 위치(
Figure pat00178
)에 대한 계속적인 갱신(s320)은 (a) 상기 제2영상의 스케일범위 내에서 각각의 스케일(
Figure pat00179
)을 순차적으로 적용해가면서 상기 제2화소들의 위치(
Figure pat00180
)를 갱신하고, (b) 상기 제2화소들의 각도
Figure pat00181
를 일정각도(
Figure pat00182
)만큼 순차적으로 증가시키면서 상기 제2화소들의 위치(
Figure pat00183
)를 갱신하고, (c) 상기 후보특징점(
Figure pat00184
)에 대하여 일정한 탐색범위 내에서 이동변위(
Figure pat00185
)를 적용해가면서 상기 제2화소들의 위치(
Figure pat00186
)를 갱신하도록 하는 것이 바람직하다(s331).
그 후에는 상기 s310단계에서 산출된 상기 상호정보량(
Figure pat00187
) 중에서 상기 상호정보량(
Figure pat00188
)이 최대일 때의 파라미터(
Figure pat00189
)를 구하도록 하는 것이 바람직한데(s340), 상기 상호정보량(
Figure pat00190
)이 최대일 때의 파라미터(
Figure pat00191
)는 상기 수학식 9에 의하여 산출하는 것이 바람직하다. 그리고 상기 파라미터(
Figure pat00192
)를 적용한 어파인 변환계수를 이용하여 상기 특징좌표(
Figure pat00193
)에 대응되는 상기 제2영상에서의 특징점(
Figure pat00194
)을 구하도록 하는 것이 바람직한데(s350), 상기 제2영상에서의 특징점(
Figure pat00195
)은 상기 수학식 2에 의하여 구할 수 있을 것이다.
이하에서는 본 발명을 검증하기 위하여 실시했던 실험예를 통하여 본 발명을 추가적으로 설명한다.
실험예
<실험대상 영상 생성>
본 발명에서는 Table 1과 같이 세 가지 유형의 영상 자료를 이용하여 상술한 알고리즘의 성능을 검증하였다. 먼저 A 유형은 Kompsat-3 영상을 스케일이 큰 영상으로 삼고 스케일 팩터(scale factor)
Figure pat00196
의 범위가 1.2~3.0이 되도록 Kompsat-3의 해상도를 변환하고 회전각도
Figure pat00197
={0°, 90°, 180°, 270°}인 4종류의 영상을 생성한 후에 10%의 균일잡음(uniform noise)를 추가하여 총 40장의 작은 스케일 영상을 사용하였다. 두 번째 B 유형은 넒은 범위의 스케일 팩터(2.0≤
Figure pat00198
≤10.0)와 회전각도를 적용한 총 36장의 작은 스케일 영상을 사용하였다. 세 번째 C 유형은 동일한 지역을 촬영한 Kompsat-2, Kompsat-3, Kompsat-3A 영상을 조합하여 사용하였다.
Figure pat00199
본 발명에서 사용된 실험 영상은 Niger의 Niamey를 촬영한 다목적실용위성 2호, 3호, 3A호 영상으로서 공간해상도가 각각 1.0m, 0.7m, 0.55m이다(도 8 참조). 도 8(a)는 2009년 4월 18일에 촬영된 Kompsat-2 영상이며, 도 8(b)는 2013년 1월 21일에 촬영된 Kompsat-3 영상이며, 도 8(c)는 2015년 11월 29일에 촬영된 Kompsat-3A 영상이다.
본 발명에 의한 방법의 성능평가를 위하여 A 유형의 Kompsat-3 영상에 대해 도 9와 같이 기하평균 기반의 코너 검출기를 이용하여 코너 응답이 최대가 되는 제어점(실제 기준점)을 검출한 후에 도 10에서와 같이 다양한 스케일 팩터와 회전 성분을 가지면서 잡음 성분이 추가된 Kompsat-3 시뮬레이션 영상을 생성하였다. 도 9는 Kompsat-3 영상에 대하여 코너검출한 결과로서 도 9(a)는 Kompsat-3 panchromatic 영상이며, 도 9(b)는 기하평균 기반의 코너검출기로 검출된 코너들을 빨간 원형으로 표시한 것이다. 십자표시 된 원형의 중심은 코너 응답이 최대가 되는 지점으로서 어파인 파라미터의 추정 시 제어점(특징점)으로 사용된다. 그리고 도 10은 Kompsat-3 영상의 테스트 셋트로서, 도 10(a)는 원본영상, 도 10(b)는 스케일 팩터
Figure pat00200
=2로 변환하고, 10%의 균일잡음을 추가한 것이며, 도 10(c)는 스케일 팩터
Figure pat00201
=3으로 변환하고, 10%의 균일잡음을 추가한 상태에서 90도를 회전한 것이며, 9(d)는 스케일 팩터
Figure pat00202
=3으로 변환하고, 10%의 균일잡음을 추가한 상태에서 180도 회전한 것이다.
<실험내용 및 결과>
스케일 팩터는 Table 2와 같이 1.2부터 3.0까지 0.2 간격으로 생성하고 회전 성분은 0도, 90도, 180도, 270도로 생성하였다. 잡음 성분은 생성된 모든 영상에 대해 10%의 균일 잡음을 추가하였다. Kompsat-3 영상과 생성된 스케일이 작은 다양한 Kompsat-3 영상 사이의 어파인 파라미터 (
Figure pat00203
)를 구하기 위하여 반지름 R=300인 원형템플릿에 대해,
Figure pat00204
=100,
Figure pat00205
=72인 원형템플릿을 스케일이 작은 Kompsat-3 영상의 제어점(특징점) 위에 생성하였다. 스케일이 큰 영상인 Kompsat-3 영상의 제어점(특징점) 후보는 그레디언트 히스토그램의 상위 임계비율
Figure pat00206
=0.05 이상인 화소로 한정하였다. 스케일 팩터
Figure pat00207
는 0.1 간격으로, 템플릿의 회전각도
Figure pat00208
는 0.1도 간격으로 변화시키면서 다양한 조건에서 생성된 각 영상과의 상호정보량 유사도가 최대가 될 때의 스케일 팩터
Figure pat00209
, 회전량
Figure pat00210
, 정합위치(
Figure pat00211
)를 각각 구하였다. Table 2는 다양한 스케일 팩터 및 회전각 조건에서 검출한 스케일 팩터를 보여주며 총 40가지 실험 조건에서 스케일 팩터를 모두 정확하게 검출하였다. Table 3는 스케일이 작은 영상과 스케일이 큰 영상의 상대적인 회전각들을 모든 스케일에서 정확하게 검출한 결과를 보여준다.
Figure pat00212
Figure pat00213
아래의 Table 4는 검출된 제어점(특징점)과 실제 기준점 사이의 위치 오차를 보여준다. 검출된 제어점(특징점)의 행과 열 방향 오차의 평균값을 각각 구한 것으로 각 스케일의 4가지 회전각에 대해 0.50 ~1.62 화소 범위의 평균 오차 결과를 얻었다. 스케일 팩터가 증가할수록 두 영상의 상대적인 스케일 차이가 증가하게 되어 스케일 팩터
Figure pat00214
=3인 경우, 스케일이 큰 영상에서 3×3 크기의 화소 영역은 스케일이 작은 영상에서 1화소 크기의 영역에 해당이 된다. 따라서 스케일이 큰 영상에서의 위치 오차는 스케일 팩터 증가에 따라 비례적으로 증가하기 때문에 위치 오차 분석에서 스케일 팩터의 영향을 배제하기 위하여 평균 오차와 스케일 팩터의 비(ratio)를 구하였다. 이 값은 스케일이 작은 영상 관점에서의 위치 오차로 이해할 수 있으며 1.2~3.0 사이의 스케일 팩터에 대해 0.42~0.69 화소 범위의 우수한 위치 오차 성능을 보였다.
Figure pat00215
한편 도 11은 회전각도와 스케일팩터의 변화에 따른 상호정보량의 변화를 도시한 것으로서, 도 11(a)에서는 스케일이 작은 영상에 대한 스케일이 큰 영상의 회전량
Figure pat00216
가 0도 및 90도일 때, 스케일 팩터
Figure pat00217
가 0.05 간격으로 변할 때의 상호정보량의 변화를 보여준다. 상호정보량의 최고값은 인접한 스케일 팩터
Figure pat00218
를 포함하여 다른 스케일 팩터의 상호정보량 과 비교해서 회전량
Figure pat00219
가 0도 및 90도인 두 경우 모두 큰 차이가 남을 볼 수 있다. 도 11(b)는 스케일 팩터
Figure pat00220
=2.0일 때, 회전량
Figure pat00221
가 변할 때의 상호정보량의 변화를 보여준다. 회전량
Figure pat00222
가 90도일 때 상호정보량이 최대가 되고 그 외의 다른 각도에서의 상호정보량과 그 차이가 뚜렷함을 알 수 있다.
보다 넓은 범위의 스케일 팩터에 대한 실험을 위해 2.0≤
Figure pat00223
≤10.0 사이의 스케일 팩터와 4가지 회전각도
Figure pat00224
={0,90,180,270}를 적용한 유형 B의 저해상도 영상을 사용하였다. 도 12는 스케일 팩터가 2.0, 4.0, 6.0, 8.0, 10.0이고 회전 성분을 포함한 다양한 저해상도 영상의 예를 보여준다. 도 12(a)는 원본영상이며, 도 12(b)는 스케일 팩터를 2.0으로 하고, 회전각도를 90도로 한 것이며, 도 12(c)는 스케일 팩터를 4.0으로 하고, 회전각도를 180도로 한 것이며, 도 12(d)는 스케일 팩터를 6.0으로 하고, 회전각도를 270도로 한 것이며, 도 12(e)는 스케일 팩터를 8.0으로 하고, 회전각도를 90도로 한 것이며, 도 12(f)는 스케일 팩터를 10.0으로 하고, 회전각도를 180도로 한 것이다.
본 발명에 의한 방법을 적용했을 때 아래의 Table 5에서 보는 바와 같이 각각의 스케일 팩터와 회전각도 조건에서 모두 정확하게 스케일 팩터를 검출하였다. 두 비교 영상 간의 회전각도도 Table 6과 같이 모든 조건에서 정확하게 검출하였다. Table 7은 검출된 제어점(특징점)의 실제 기준점과의 위치 오차를 나타내며 스케일 범위 내에서 0.5~2.38 화소의 위치 오차를 보였다. 스케일을 고려한 평균 위치 오차와 스케일 팩터의 비는 0.24~0.42 범위의 값을 보였으며 스케일 팩터
Figure pat00225
=10.0인 경우에도 평균 위치 오차와 스케일 팩터의 비가 0.24의 낮은 수준을 보였다. 이는 제안한 방법이 스케일이 작은 영상 관점에서 두 영상의 스케일이 2~10배 정도 차이가 나더라도 0.24~0.42 화소 수준의 높은 위치 정확도를 가짐을 보여준다.
Figure pat00226
Figure pat00227
Figure pat00228
한편 도 13은 세 번째 C유형의 영상 조합인 Kompsat-3 영상과 Kompsat-2 영상(도 13(a)), Kompsat-3A 영상과 Kompsat-2 영상(도 13(b)), Kompsat-3A 영상과 Kompsat-3 영상(도 13(c)) 상호간의 스케일 팩터 변화에 따른 상호정보량의 변화를 보여준다. 스케일 펙터의 변화 단위가 0.01인 경우에 각 영상 조합에서 상호정보량이 최대가 될 때의 스케일 팩터는 각각 1.43, 1.79, 1.25가 얻어졌다. Table 8부터 Table 10은 스케일 팩터의 변화 단위가 보다 정밀한 0.001인 경우의 각 영상 조합에 대한 결과를 보여준다. 스케일 팩터가 0.001 단위로 변하는 경우, 상호정보량이 최대가 되는 스케일 팩터가 여러 값에 걸쳐서 나타났으며 최종 검출된 스케일 팩터는 상호정보량이 최대가 되는 스케일 팩터들의 평균값을 취하고 소수 넷째 자리의 값을 반올림하여 추정하였다. Kompsat-3 영상과 Kompsat-2 영상 조합의 실험에서는 상호정보량이 최대가 되는 스케일 팩터가 1.427~1.429 범위에서 나타났으며 Table 8과 같이 추정된 스케일 팩터는 기준 스케일 팩터와 동일한 1.428이 얻어졌다. 두 영상의 상대적인 회전각도의 오차는 0.2도, 제어점(특징점)의 위치 오차는 행과 열 방향으로 각각 1화소의 오차를 보였다. Kompsat-3A 영상과 Kompsat-2 영상 조합의 실험에서는 상호정보량이 최대가 되는 스케일 팩터가 1.790~1.793 범위에서 나타났다. 추정된 스케일 팩터 1.792는 기준 스케일 팩터와 0.004의 오차를 보였다. 회전각도 오차는 0.3도를 보였으며 제어점(특징점)에 대응하는 기준점의 행과 열 방향의 위치는 정확하게 검출이 되었다(Table 9 참조). Kompsat-3A 영상과 Kompsat-3 영상 조합의 실험에서는 상호정보량이 최대가 되는 스케일 팩터는 1.254~1.257 범위에서 나타났으며 추정된 스케일 팩터 1.256은 기준 스케일 팩터와 0.004의 오차를 보였다. 회전각도 오차는 0.1도, 제어점(특징점)에 대응하는 기준점의 행과 열 방향의 위치는 정확하게 검출이 되었다(Table 10 참조).
실험 결과에서 얻어진 스케일 팩터, 회전각도, 특징점 위치검출의 높은 정확도는 원형템플릿의 크기 및 유사도 계산 방식과 밀접한 관계를 가진다. 실험에 사용된 원형템플릿의 반지름 R은 300화소이고
Figure pat00229
를 3화소 단위로, 회전각도
Figure pat00230
를 5도 간격으로 샘플링하여
Figure pat00231
=100,
Figure pat00232
=72로 총 7,200개의 화소 밝기값이 유사도 계산에 사용되었다. 반지름 R=300인 원형템플릿이 실제로 포함하는 영역의 이론적인 면적은 대략 300 x 300 x 3.14 = 282,600화소로 일반적인 특징정합 방식에서 사용되는 특징의 수에 비해 매우 넓은 영역에 분포하는 화소들이 유사도 계산의 특징으로 사용이 된다. 따라서 유사도 비교시 특징점 주변의 좁은 영역이 아닌 넓은 영역에 걸쳐서 유사도 비교가 수행이 되기 때문에 일부 영역에서 정합 성능을 떨어뜨리는 요인이 작용하더라도 전체 유사도 계산 과정에서의 영향은 미미하게 작용하고 오정합 가능성을 크게 낮추는 효과를 얻을 수 있다. 넓은 영역을 포함하는 원형템플릿의 이러한 특징은 스케일 팩터와 회전각도를 매우 정밀하게 조절할 수 있도록 한다. 또한 상호정보량 기반의 유사도 측정 방식은 화소의 밝기값을 직접 비교하는 상관(correlation) 관계 기반의 유사도 측정 방식과 달리 두 원형템플릿에 포함되는 화소들을 통계적으로 분석한다. 따라서 제안하는 방법은 좁은 영역에 대한 상호정보량 기반의 유사도 측정 대신에 넓은 영역에 대한 상호정보량 기반의 유사도 측정 방식을 적용하기 때문에 비교 대상이 되는 두 원형템플릿 내부 영역에서 나타나는 미세한 차이를 넓은 영역에 걸쳐 통계적으로 측정할 수 있는 장점을 가진다.
Figure pat00233
Figure pat00234
Figure pat00235
<실험결과 요약>
Kompsat-3 영상을 스케일이 큰 영상으로 삼고 스케일 팩터의 범위가 1.2~3.0이 되도록 스케일이 작은 Kompsat-3 영상을 생성한 후에 4 종류의 회전각도와 10%의 균일 잡음을 적용한 총 40가지 실험 조건에서 스케일 팩터, 상대적인 회전각도를 모두 정확하게 검출하였으며 스케일이 작은 영상 관점의 위치 오차인 평균 오차와 스케일 팩터의 비가 0.42~0.69인 우수한 위치 오차 결과를 얻었다. 스케일 팩터 범위가 보다 넓은 2.0~10.0 사이에서 4 종류의 회전각도 조건을 적용한 총 36가지 실험 조건에서도 스케일 팩터, 상대적인 회전각도를 모두 정확하게 검출하였고 스케일을 고려한 평균 위치 오차와 스케일 팩터의 비는 0.24~0.42 화소 범위의 결과를 얻었다. 서로 다른 공간 해상도를 가지는 다목적실용위성 2호, 3호, 3A호 영상 조합에 대한 실험에서는 스케일 팩터 오차는 0.004 이하, 회전각도 오차는 0.3도 이하, 제어점(특징점)의 위치 오차는 1 화소 이하의 정합 성능 결과를 얻었다.
상술한 여러 가지 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (5)

  1. 정보시스템에 의하여 다중해상도 영상등록을 위한 특징정합을 수행하는 방법으로서,

    제1영상에 대하여,
    (a) 특징좌표(
    Figure pat00236
    )를 검출하는 단계;
    (b) 상기 특징좌표(
    Figure pat00237
    )를 중심으로 반지름 R인 원형템플릿을 정하는 단계;
    (c) 상기 원형템플릿 안에서 상기 특징좌표(
    Figure pat00238
    )를 중심으로 거리가
    Figure pat00239
    , 각도가
    Figure pat00240
    인 제1화소들의 위치(
    Figure pat00241
    )를 각각 정하는 단계;
    (d) 상기 제1화소들 각각에 대한 밝기값을 포함하는 제1화소들의 집합(
    Figure pat00242
    )을 구하는 단계;

    상기 제1영상에 비하여 스케일이 큰 제2영상에 대하여,
    (a) 후보특징점(
    Figure pat00243
    )을 정하는 단계;
    (b) 상기 후보특징점(
    Figure pat00244
    )을 중심으로 거리가
    Figure pat00245
    , 각도가
    Figure pat00246
    인 제2화소들의 위치(
    Figure pat00247
    )를 각각 정하는 단계;
    (c) 상기 제2화소들 각각에 대한 밝기값을 포함하는 제2화소들의 집합(
    Figure pat00248
    )을 구하는 단계;

    상기 제2화소들의 위치(
    Figure pat00249
    )를 아래와 같이 갱신해 가면서 상기 제2화소들의 집합(
    Figure pat00250
    )을 재구성하는 과정을 각각 반복한 후, 상기 제1화소들의 집합(
    Figure pat00251
    )과 상기 제2화소들의 집합(
    Figure pat00252
    ) 사이의 상호정보량(
    Figure pat00253
    )를 구하는 단계;
    (a) 상기 제2영상의 스케일범위 내에서 각각의 스케일(
    Figure pat00254
    )을 순차적으로 적용해가면서 상기 제2화소들의 위치(
    Figure pat00255
    )를 갱신
    (b) 상기 제2화소들의 각도
    Figure pat00256
    를 일정각도(
    Figure pat00257
    )만큼 순차적으로 증가시키면서 상기 제2화소들의 위치(
    Figure pat00258
    )를 갱신
    (c) 상기 후보특징점(
    Figure pat00259
    )에 대하여 일정한 탐색범위 내에서 이동변위(
    Figure pat00260
    )를 적용해가면서 상기 제2화소들의 위치(
    Figure pat00261
    )를 갱신

    상기 상호정보량(
    Figure pat00262
    )가 최대값이 될 때의 파라미터(
    Figure pat00263
    )를 구하는 단계; 및
    상기 파라미터(
    Figure pat00264
    )를 적용한 어파인 변환계수를 이용하여 상기 특징좌표(
    Figure pat00265
    )에 대응되는 상기 제2영상에서의 특징점(
    Figure pat00266
    )을 구하는 단계; 를 포함하는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
  2. 제1항에 있어서,
    상기 특징좌표(
    Figure pat00267
    )는, 일정 범위 내에서 코너 응답값이 최대가 되는 코너점의 위치를 기하평균 기반의 특징점 검출기를 이용하여 검출하는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
  3. 제1항에 있어서,
    상기 제1화소들의 위치(
    Figure pat00268
    )는 아래 식에 의하여 구하며,
    Figure pat00269

    (
    Figure pat00270
    은 원형템플릿의 반지름 위에 위치하는 전체 화소수,
    Figure pat00271
    는 원형템플릿의 원주 위에 위치하는 전체 화소수)
    상기 제2화소들의 위치(
    Figure pat00272
    )는 다음의 식에 의하여 구하는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
    Figure pat00273

    Figure pat00274

    (
    Figure pat00275
    는 제1영상과 제2영상의 스케일 크기를 반영한 스케일 파라미터)
  4. 제1항에 있어서,
    상기 제1화소들의 집합(
    Figure pat00276
    ) 및 상기 제2화소들의 집합(
    Figure pat00277
    )은 다음 각각의 식에 의하여 구하는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
    Figure pat00278

    (
    Figure pat00279
    는 상기 제1영상의 (
    Figure pat00280
    ) 위치에 존재하는 화소의 밝기값)
    Figure pat00281

    (
    Figure pat00282
    는 상기 제2영상의 (
    Figure pat00283
    ) 위치에 존재하는 화소의 밝기값)
  5. 제1항에 있어서,
    상기 상호정보량(
    Figure pat00284
    )은 아래 식에 의하여 구해지는 것을 특징으로 하는, 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
    Figure pat00285

    (H는 엔트로피)
KR1020180166857A 2018-12-21 2018-12-21 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법 KR20200078723A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180166857A KR20200078723A (ko) 2018-12-21 2018-12-21 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180166857A KR20200078723A (ko) 2018-12-21 2018-12-21 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법

Publications (1)

Publication Number Publication Date
KR20200078723A true KR20200078723A (ko) 2020-07-02

Family

ID=71599464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180166857A KR20200078723A (ko) 2018-12-21 2018-12-21 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법

Country Status (1)

Country Link
KR (1) KR20200078723A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598717A (zh) * 2020-12-14 2021-04-02 珠海欧比特宇航科技股份有限公司 高光谱卫星影像全谱段配准方法及介质
CN116824516A (zh) * 2023-08-30 2023-09-29 中冶路桥建设有限公司 一种涉路施工安全监测及管理***

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
Carneiro, G. and A. D. Jepson, 2002. Phase-based local features, Proceedings of the 7th European Conference on Computer Vision-Part I, pp.282-296.
Gong, M., Zhao, S., Jiao, L., Tian, D., Wang, S., 2014. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information. IEEE Transactions on Geoscience and Remote Sensing, 52(7):4328-4338.
Harris, C., and M. Stephens, 1988. A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference, pp.147-151.
Liu, J. and G. Zeng, 2012. Description of interest regions with oriented local self-similarity, Optics Communications, 285:2549-2557.
Liu, J., G. Zeng, and J. Fan, 2012. Fast Local Self-Similarity for describing interest regions, Pattern Recognition Letters. 33:1224-1235.
Lowe, D. G., 2004. Distinctive image features from scale-Invariant keypoints, International Journal of Computer Vision, 60(2):91-110.
Moravec, H.P., 1977. Towards automatic visual obstacle avoidance, Fifth International Joint Conference on Artificial Intelligent, pp.584.
Sedaghat, A. and H. Ebadi, 2015. Distinctive order based self-similarity descriptor for multi-sensor remote sensing image matching, ISPRS Journal of Photogrammetry and Remote Sensing, vol. 108, pp.62-71.
Shechtman, E., Irani, M., 2007. Matching local self-similarities across images and videos, IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 17-22 June, pp.1-8.
Shi J. and C. Tomasi, 1994. Good Features to Track, IEEE conference on Computer Vision and Pattern Recognition, Seattle, USA, 21-23 June, pp.593-600.
Song, Z., Zhou, S., Guan, J., 2014. A novel image registration algorithm for remote sensing under affine transformation. IEEE Transactions on Geoscience and Remote Sensing, 52(8):4895-4912.
Sun, Y., Zhao, L., Huang, S., Yan, L., Dissanayake, G., 2014. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry, ISPRS Journal of Photogrammetry and Remote Sensing, 91:1-16.
Wu, B., Zhang, Y. & Zhu, Q. 2012. Integrated point and edge matching on poor textural images constrained by self-adaptive triangulations, ISPRS Journal of Photogrammetry and Remote Sensing, 68:40-55.
Ye, C.H., 2014a. Feature detection using geometric mean of eigenvalues of gradient matrix, Korean Journal of Remote Sensing, 30(6):769-776.
Ye, C.H., 2014b. Mutual Information-based circular template matching for image registration, Korean Journal of Remote Sensing, 30(5):547-557.
Ye, C.H., 2014c. Image registration using outlier removal and triangulation-based local transformation, Korean Journal of Remote Sensing, 30(6):787-795.
Ye, C.H., 2018. Multiresolution image matching using variable circular template, Proceedings of the KSRS Fall 2018, Muju, Korea, 24-26 October, pp.160.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598717A (zh) * 2020-12-14 2021-04-02 珠海欧比特宇航科技股份有限公司 高光谱卫星影像全谱段配准方法及介质
CN112598717B (zh) * 2020-12-14 2024-05-17 珠海欧比特卫星大数据有限公司 高光谱卫星影像全谱段配准方法及介质
CN116824516A (zh) * 2023-08-30 2023-09-29 中冶路桥建设有限公司 一种涉路施工安全监测及管理***
CN116824516B (zh) * 2023-08-30 2023-11-21 中冶路桥建设有限公司 一种涉路施工安全监测及管理***

Similar Documents

Publication Publication Date Title
US11244197B2 (en) Fast and robust multimodal remote sensing image matching method and system
Chen et al. Building change detection with RGB-D map generated from UAV images
Sedaghat et al. Uniform robust scale-invariant feature matching for optical remote sensing images
Izadi et al. Robust weighted graph transformation matching for rigid and nonrigid image registration
Palenichka et al. Automatic extraction of control points for the registration of optical satellite and LiDAR images
Han et al. Automatic registration of high-resolution images using local properties of features
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
Stamatopoulos et al. Automated target-free network orienation and camera calibration
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN108960267A (zh) 用于模型调整的***和方法
Long et al. Automatic line segment registration using Gaussian mixture model and expectation-maximization algorithm
Misra et al. Feature based remote sensing image registration techniques: a comprehensive and comparative review
Weinmann et al. Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds
Xiong et al. Robust SAR image registration using rank-based ratio self-similarity
Wang Automatic extraction of building outline from high resolution aerial imagery
KR20200078723A (ko) 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법
Lv et al. Automatic registration of airborne LiDAR point cloud data and optical imagery depth map based on line and points features
Sui et al. Automatic image registration based on shape features and multi-scale image segmentation
Kang et al. A robust image matching method based on optimized BaySAC
Abdel-Wahab et al. Efficient reconstruction of large unordered image datasets for high accuracy photogrammetric applications
Barazzetti et al. Automatic registration of multi-source medium resolution satellite data
Hao et al. Robust multisource remote sensing image registration method based on scene shape similarity
Zhou et al. Occlusion detection for urban aerial true orthoimage generation
CN111160433B (zh) 一种高分辨率图像特征点的高速匹配方法及***
Liu et al. An improved subpixel-level registration method for image-based fault diagnosis of train bodies using SURF features

Legal Events

Date Code Title Description
E601 Decision to refuse application