KR20210024146A

KR20210024146A - 3d 포인트 클라우드에서 합성 이미지 생성

Info

Publication number: KR20210024146A
Application number: KR1020217002799A
Authority: KR
Inventors: 리차드 더블유우. 엘리
Original assignee: 레이던 컴퍼니
Priority date: 2018-07-10
Filing date: 2019-07-10
Publication date: 2021-03-04
Also published as: CA3105078A1; KR20210024145A; WO2020014341A1; CA3105076A1; PL437714A1; US20200020116A1; KR102607517B1; AU2019301133A1; AU2019301133B2; WO2020014343A1; AU2019302552A1; US20200020115A1; PL437715A1; US11042998B2; US11127145B2; AU2019302552B2

Abstract

여기서는 합성 이미지 생성을 위한 장치, 시스템 및 방법에 대해 설명한다. 방법은 합성 이미지 데이터를 생성하기 위해 제1 지리적 영역의 3 차원(3D) 포인트 세트를 제2 지리적 영역의 이미지의 이미지 공간에 투영하는 단계, 이미지와 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하는 단계, 식별된 CPs에 기초하여 합성 이미지 데이터의 기하학적 구조를 조정하는 단계, 이미지의 메타 데이터에 기초하여 합성 이미지에 대한 메타 데이터를 결정하는 단계, 및 합성 이미지를 생성하기 위해 결정된 메타 데이터를 합성 이미지 데이터와 연관시키는 단계를 포함한다.

Description

3D 포인트 클라우드에서 합성 이미지 생성

본 명세서에서 논의된 실시예는 3 차원(3D) 포인트 세트로부터 이미지 생성을 위한 장치, 시스템 및 방법에 관한 것이다.

본 출원은 2018년 7월 10일에 출원되고 제목이 " 3D 포인트 클라우드로부터 합성 이미지 생성(Synthetic Image Generation From 3D-Point Cloud)"인 미국 가특허 출원 일련 번호 62/696,118의 우선권을 주장하고, 및 2018년 7월 10일에 출원되고 제목이 "3D 포인트 세트에 대한 이미지 정합(Image Registration to a 3D Point Set)"인 미국 가특허 출원 일련 번호 62/696,107의 우선권을 주장하고, 이들 문서는 그 전체가 여기에 참조로 포함된다.

도 1은 예로서 3D 포인트 세트에 대한 2D 이미지 정합 방법의 일 실시예의 흐름도를 도시한다.
도 2는 합성 이미지를 이미지에 정합하기 위한 방법의 실시예의 도면을 예로서 도시한다.
도 3은 예로서 이미지 타일의 에지 기반 정합의 그레이 스케일 이미지 칩을 도시한다.
도 4는 예로서 이미지와 합성 이미지 사이의 TPS를 예시한다.
도 5는 정합된 이미지 데이터를 합성 이미지로 만드는 방법의 일 실시 예에 대한 흐름도를 예로서 도시한다.
도 6은 예로서(a) 높이로 컬러링 된 포인트 및 합성 강도 속성으로 컬러링 된 포인트를 갖는 텍사스 리차드슨의 3D 포인트 세트의 뷰의 도면을 도시한다.
도 7은 본 명세서의 방법을 사용하여 생성된 이미지 및 합성 이미지의 뷰의 도면을 예로서 도시한다.
도 8은 본 명세서에서 논의된 방법 중 임의의 하나 이상을 기계가 수행하게 하기 위해, 명령(instruction)이 실행될 수 있는 컴퓨터 시스템의 예시적인 형태의 기계의 실시예의 블록도를 예시한다.

여기에서는 3D 포인트 세트(3D point se)로부터 이미지를 생성하기 위한 방법, 장치, 시스템 및 기계 판독 가능 매체(machine-readable media)에 대해 설명한다. 여기서는 합성 이미지라고 하는데, 합성 이미지는 같은 장면의 이미지(동일하거나 다른 이미지 유형)로 변화 검출을 수행하는 데 적합할 수 있다. 실시예는 합성 이미지 데이터 및 합성 이미지를 생성하기 위해 이미지 데이터에 포함될 수 있는 대응하는 메타 데이터(metadata)를 포함하는 합성 이미지를 생성할 수 있다. 일부 실시 예에서, 합리적인 다항식 투영(polynomial projection)(예를 들어, XYZ-이미지 또는 이미지-XYZ 투영)이 메타 데이터와 함께 포함될 수 있다.

2 차원(2D) 이미지 변경 검출은 고해상도 3 차원(3D) 포인트 클라우드를 사용하여 3D 장면 컨텍스트 및 기능을 제공할 수 있다. 이러한 컨텍스트 및 기능은 변경 검출 제품이 생성되는 이미지 쌍 간의 관점 차이 및 태양 각도 차이로 인한 잘못된 경보를 제거하는 데 도움이 될 수 있다. 일부 애플리케이션의 경우 3D 포인트 클라우드 자체에 대해 변경 검출을 수행하는 것이 바람직하다. 이러한 애플리케이션 중 하나는 수동 3D 포인트 클라우드가 오래되었고 최신 이미지를 사용하여 재생성 되는 이점을 얻을 수 있는지 여부를 빠르게 결정하는 것이다. 또 다른 애플리케이션은 예상되는 정상 조건을 설정하기 위해 동일한 3D 포인트 클라우드와 수개월에 걸쳐 수집된 이미지 간의 변경 검출을 실행하는 것이다. 이러한 정상 조건은 추가 분석과 같이 비정상적인 변경을 검출하기 위해 변경 검출에 사용될 수 있다.

여기에 설명된 다양한 실시 예는 3D 포인트 세트로부터 합성 이미지를 생성하는 것과 관련된다. 실시 예는 2D 이미지를 3D 포인트 세트에 정합할 수 있다. 이미지는 이미지 센서에서 가져올 수 있다. 이미지 센서에는 합성 조리개 레이더(synthetic aperture radar)(SAR), 전자 광학(EO), 다중 스펙트럼 이미지(multi-spectral image)(MSI), 팬크로매틱(panchromatic), 적외선(IR), 야간 EO(nighttime EO), 가시 광선, 야간 가시 광선 또는 다른 이미지 센서가 포함될 수 있다. 등록된 3D 포인트 세트는 등록중인 이미지의 이미지 공간(image space)에 3D 포인트 세트를 투영하고 3D 포인트 세트에 포함된 각 포인트에 대한 이미지 강도 속성으로 픽셀 강도를 채워 합성 이미지를 형성하는 데 사용할 수 있다.

이미지 타일 세트에 대한 타이 포인트(TPs)(Tie Point) 세트(제어 포인트(Control Point)(CP)로 변환할 수 있음)를 추출하는 데 에지 기반 2 단계 등록 기술인 거친 등록(coarse registration) 후 정밀 등록(fine registration)을 사용할 수 있다. 3D 포인트 세트 및 TP에서 유도될 수 있는 CP는 기하학적 번들 조정에 사용되어 2D 이미지와 3D 소스를 정렬할 수 있다.

합성 이미지에 대한 메타 데이터를 결정할 수 있다. 메타 데이터는 3D 또는 2D 이미지와 같은 합성 이미지 데이터를 렌더링하는 데 사용되는 데이터를 포함할 수 있다. 등록된 합성 이미지 데이터와 메타 데이터를 결합하여 2D 이미지를 구성할 수 있다. 합성 이미지에 대한 많은 애플리케이션이 있다. 예제 애플리케이션은 교차 센서 융합, 장면 컨텍스트 생성, 지리적 위치 개선, 대상 위치 확인, 대상 식별, 변경 검출 등이 포함한다.

도 1은 예로서 3D 포인트 세트에 대한 2D 이미지 정합을 위한 방법(100)의 실시예의 흐름도를 도시한다. 방법(100)은 이미지(image)(102) 및 3D 포인트 세트(104)를 수신하는 것을 포함한다. 이미지(102)는 SAR, EO, 팬크로매틱(panchromatic), IR, MSI, 야간 EO, 가시 광선, 야간 가시 광선 또는 다른 이미지 센서로부터 유래될 수 있다. 이미지 센서는 인공위성 기반이거나, 유인 또는 무인 항공기에 위치하거나, 이동 가능하거나, 고정된 플랫폼에 장착되거나, 그렇지 않으면 관심 영역의 이미지(102)를 캡처 하기에 적합한 방식으로 포지셔닝 될 수 있다. 3D 포인트 세트(3D point set)(104)는 포인트 클라우드(point cloud) 데이터베이스(DB)(106)로부터의 것일 수 있다. 3D 포인트 세트(104)는 이미지(102)에 묘사된 지리적 영역(geographical region)과 겹치는 지리적 영역 일 수 있다. 일부 실시예에서, 3D 포인트 세트(104)는 이미지(102)에 묘사된 전체 지리적 영역을 포함하는 지리적 영역 일 수 있다. 일부 실시예에서, 3D 포인트 세트(104)는 이미지(102)에 묘사된 지리적 영역보다 더 큰 지리적 영역을 커버할 수 있다.

이미지 정합은 3D 포인트 세트(104)와 이미지(102) 사이의 중첩에서 발생할 수 있다. 중첩(overlap)(+ 불확실성 영역)의 3D 포인트 세트 데이터는 동작(operation)(108)에 대한 입력으로 제공될 수 있다. 중첩은 이미지(102)의 최소 및 최대 X 및 Y와 교차하는 3D 포인트 세트의 범위의 최소(최소) 및 최대(최대) X 및 Y를 식별함으로써 결정될 수 있으며, 여기서 X 및 Y는 이미지(102)의 기하학적 좌표계(geometric coordinate) 축 상의 값이다.

동작(108)은 합성 이미지 데이터(synthetic image data)(110)의 스케일 및 그 지리적 범위를 설정하는 단계를 포함할 수 있다. 스케일은 3D 포인트 세트(104)의 포인트 간격으로서 또는 3D 포인트 세트(104)의 포인트 간격 및 이미지(102)의 X 및 Y 스케일 중 더 나쁨으로서 계산될 수 있다. 합성 이미지 데이터(110)의 지리적 범위는 3D 포인트 세트(104)의 X, Y 볼록 선체를 생성하고 이를 이미지(102)의 극단의 X, Y 좌표에 의해 정의된 다각형과 교차함으로써 결정될 수 있다. 이 중첩 영역의 최소 경계 직사각형은 합성 이미지 데이터(110)에 대한 출력 공간를 정의할 수 있다.

동작(108)에서, 3D 포인트 세트(104)는 합성 이미지 데이터(110)를 생성하기 위해 이미지(102)의 이미지 공간에 투영될 수 있다. 이미지(102)의 이미지 공간는 이미지(102)의 이미지 데이터와 연관된 메타 데이터에 지정될 수 있다. 이미지 공간는 보기 각도(look angle), 초점 거리(focal length), 방향(orientation), 관점 변환(perspective transform)의 파라미터, 합리적 다항식 투영(rational polynomial projection) 파라미터 및 계수(예를 들어, XYZ-이미지 및/또는 이미지-XYZ)와 같은 이미지의 기하학적 구조(geometry) 일 수 있다. 동작(108)은 이미지(102)의 기하학적 구조와 일치하도록 3D 포인트 세트(104)로부터 유도된 합성 이미지(110)의 기하학적 구조를 변경하는 단계를 포함할 수 있다. 이미지(102)의 기하학적 구조에 오류가 있고 3D 포인트 세트(104)로부터 유도된 합성 이미지(110)의 기하학적 구조를 변경하는데 있어서, 합성 이미지 데이터(110)는 일부 애플리케이션에 대해 이미지(102)에 충분히 정합되지 않을 수 있다.

3D 포인트 세트(104)로부터 하나 이상의 포인트가 합성 이미지 데이터(110)의 동일한 픽셀로 투영되는 경우, 센서 포지션에 가장 가까운 3D 포인트 세트로부터의 포인트가 사용될 수 있다. 이것은 이미지(102)의 수집 기하학적 구조(collection geometry)에서 보이는 포인트 만이 합성 이미지 데이터(110)에서 사용된다는 것을 보장한다. 계산된 지리적 중첩(및 일부 불확실성 영역) 외부에 투영되는 포인트는 버릴 수 있다.

3D 포인트 세트(104)의 각 포인트는 X, Y, Z 좌표, 고도 및 색상 값을 포함할 수 있다(예를 들어, 회색조 강도(grayscale intensity), 빨간색, 녹색, 파란색 강도 등). 일부 실시예에서, 3D 포인트 세트(104)를 생성하는 데 사용되는 모든 이미지에서 포인트가 나타내는 픽셀 강도의 중앙값이 컬러 값으로 사용될 수 있다.

이미지의 기하학적 구조는 카메라의 위치, 방향, 초점 거리, 관점 변환의 파라미터, 합리적 다항식 투영의 파라미터 및 계수(예를 들어, 이미지-XYZ 또는 XYZ-이미지 프로젝션 등), 및/또는 이미지(102)에서의 이미징 동작과 연관된 다른 메타 데이터에 기초하여 결정될 수 있다.

초기 합성 이미지 데이터(110)는 채워지지 않은 많은 픽셀(보이드 픽셀(Void pixel)이라고 함)을 가질 수 있다. 3D 포인트 세트(104)의 포인트가 합성 이미지 데이터(110)의 해당 픽셀에 투영되지 않을 때 보이드 픽셀이 생성된다. 보이드 픽셀을 채우려면, 먼저 픽셀의 이웃(픽셀과 인접한 픽셀 또는 픽셀에서 지정된 픽셀 수보다 적은 픽셀)에서 반대쪽 이웃을 찾는 보간 방법을 사용할 수 있다. 이러한 모든 픽셀의 평균값(예를 들어, 평균, 중앙값, 모드 또는 기타 평균값)은 초기화되지 않은 픽셀에 대한 강도 값으로 사용될 수 있다. 반대 이웃(opposite neighbor)이 없는 경우, 강도는 모든 이웃의 평균 강도로 설정할 수 있다. 이웃에 초기화 된 픽셀이 없는 경우, 외부 링의 평균 강도 또는 더 큰 이웃의 다른 픽셀이 픽셀의 강도 값으로 사용될 수 있다. 더 큰 이웃(예를 들어, 중앙에 픽셀이 있는 5X5)이 비어 있는 경우 픽셀 강도를 0으로 설정하여 보이드 픽셀임을 나타낼 수 있다. 추가 보이드 픽셀을 채우기 위해 보간 프로세스(interpolation process)를 반복적으로 실행할 수 있다. 보간 프로세스 후에 보이드 픽셀이 남아있을 수 있지만 정합 프로세스 및 추가 애플리케이션은 이러한 보이드를 처리하도록 설계되었습니다.

동작(112)에서, 합성 이미지 데이터(110)에서 타이 포인트(TPS)(114)가 식별될 수 있다. TP는 합성 이미지 데이터(110)의 대응하는 행 및 열(행, 열)에 매핑 되는 이미지(102)(행, 열)의 행과 열을 나타내는 4-튜플(합성 이미지 데이터(110)의 행, 합성 이미지 데이터(110)의 열, 이미지(102)의 행, 이미지(102)의 열)이다.

동작(112)은 이미지(102)의 그래디언트(gradient)와 상관될 합성 이미지 데이터(110)에 대한 에지 픽셀 템플릿(edge pixel template)을 생성하기 위해 이미지 타일에 에지 기반 기술(edge-based technique)을 동작하는 단계를 포함할 수 있다. 에지 픽셀 템플릿은 이미지 타일의 각 에지 픽셀에 대한 그래디언트 크기 및 위상 방향을 포함할 수 있다. 에지 픽셀 템플릿은 고대비 에지만을 포함할 수 있다(합성 이미지 데이터(110)의 보이드 내에 또는 그에 인접하지 않음). 에지 기반 상관 기술(edge-based correlation technique)의 대안으로는 FFT(고속 푸리에 변환) 또는 NCC(정규화된 교차 상관(normalized cross correlation))가 있다.

일부 실시예에서, 동작(112)은 2 단계 프로세스, 거친 정합에 이어 정밀 정합(fine registration)을 포함할 수 있다. 거친 정합은 이미지 타일(합성 이미지 데이터(110)의 연속적인 픽셀의 서브 세트)에서 동작할 수 있다. 합성 이미지 데이터(110)가 형성될 때 이미지(102)와 관련된 기하학적 메타 데이터(geometric metadata)의 부정확성으로 인해 이미지(102)와 상당히 어긋날 수 있다. 합성 이미지 데이터(110)가 이미지(102)에 정합될 수 있도록 하기 위해 정합 검색 불확실성(registration search uncertainty)이 충분히 크게 설정될 수 있다. 용어 거친 정합 오프셋(coarse registration offset)은 합성 이미지 데이터(110)를 이미지(102)와 전체적으로 정렬하는 정합 오프셋을 의미한다. 정합을 효율적이고 견고하게 만들기 위해 초기 정합은 거친 정합 오프셋을 결정하고 이를 제거할 수 있다. 그런 다음 정밀 정합은 더 작은 불확실성 영역 내에서 동작할 수 있다. 거친 정합은 합성 이미지 데이터(110)와 이미지(102) 사이의 오정렬 오류 또는 오정렬을 제거하기 위해 더 큰 불확실성 검색 영역을 사용할 수 있다. 정밀 정합은 TPS(114) 세트를 식별하기 위해 더 작은 이미지 타일 크기(및 이미지 템플릿 크기)와 더 작은 검색 영역을 사용할 수 있다. TPS(114)는 동작(116)에서 CP로 변환될 수 있다. 정밀 정합은 정렬을 수정하거나 거친 정합을 사용하여 정합한 후에 수행할 수 있다.

두 정합 단계에서, 동일한 기법을 사용하여 각 이미지 타일을 독립적으로 정합할 수 있다. 정밀 정합은 더 작은 타일 크기와 더 작은 검색 영역을 사용할 수 있다. 동작(112)은 고대비 에지 픽셀에 대응하는 합성 이미지 데이터(110)의 픽셀을 식별하는 것을 포함할 수 있다. 고대비 에지 픽셀에 대응하는 합성 이미지 데이터(110)의 픽셀을 식별하는 것은 소벨(Sobel), 로버츠(Roberts), 프레윗(Prewitt), 라플라시안(Laplacian) 또는 다른 연산자를 사용하는 것을 포함할 수 있다. 소벨 연산자(Sobel operator)(소벨-펠드만(Sobel-Feldman) 연산자라고도 함)는 강도 이미지(intensity image)의 그래디언트 근사치를 계산하는 이산 미분 연산자(discrete differentiation operator)이다. 소벨 연산자는 크기와 위상으로 변환할 수 있는 그래디언트 벡터(또는 그 표준(norm))를 반환한다. Roberts 연산자는 대각선으로 인접한 픽셀 간의 차이 제곱의 합을 계산하는 이산 미분 연산자이다. 프레윗 연산자는 소벨 연산자와 유사한다. 동작(112)은 강성 그룹(rigid group)으로서 식별된 고대비 에지 픽셀의 위상 및 크기를 이미지(102)의 픽셀의 위상 및 크기와 상관시키는 단계를 포함할 수 있다.

타일의 모든 에지 픽셀이 동일한 방향으로 실행되지 않도록 하려면(동일한 위상의 그래디언트가 있음), 동작(112)은 그래디언트 크기에 대한 두 개의 임계 값을 계산하는 것을 포함할 수 있는데, 하나는 그래디언트 위상이 주요 위상 방향(principal phase direction)에 가까운 픽셀에 대한 것이고 다른 하나는 주요 위상 방향에 있지 않은 픽셀에 대한 것이다. 주요 위상 방향에 있지 않은 에지의 임계 값은 주요 위상 방향의 에지에 대한 임계 값보다 낮을 수 있다. 동작(112)의 에지 상관(Edge correlation)은 합성 이미지 데이터(110)와 이미지(102) 사이의 그래디언트 위상 매칭을 곱한 이미지의 그래디언트 크기의 모든 고대비 에지 픽셀에 대한 합산하는 단계를 포함할 수 있다.

합성 이미지 데이터(110)의 보이드와 관련된 에지 픽셀은 억제될 수 있고 이미지(102)와의 상관에 사용되지 않을 수 있다. 이미지(102)는 보이드를 가지지 않으므로 이미지(102)의 모든 픽셀의 그래디언트가 사용될 수 있다.

방법(100)의 한 측면은 거친 또는 정밀 정합으로부터의 TPS(114)가 합성 이미지 데이터(110)와 이미지(102) 사이의 각 타일에 대한 오프셋을 결정하기 위해 사용되는 방법이다. 합성 이미지 에지 픽셀 템플릿은 이미지(102)의 그래디언트 크기 및 위상을 갖는 강성 그룹(회전 또는 스케일링 없이 병진(translation) 만)으로서 상관될 수 있다. 가능한 각 병진 오프셋의 정합 점수는 이미지 그래디언트의 모든 템플릿 픽셀에 위상 일치(phase match)를 곱한 합계일 수 있다. 방법(100)은 개별 타일의 상관(correlation)에서 실수를 허용하지만, 거친 정합에서 오프셋을 올바르게 계산해야만 하며, 또는 정밀 정합을 수행할 수 없는 위험이 있다. 정밀 정합은 더 작은 검색 반경을 사용할 수 있으므로, 오프셋의 오류는 정확한 상관 위치가 정밀 정합의 검색 반경 밖에 있게 하여, 정밀 정합이 올바르게 상관될 수 없게 한다. 실수 메트릭(blunder metric), 오프셋 검사 및 동작(112, 116)의 추가 세부 사항은 본 문서의 다른 곳에서 논의된다.

동작(116)에서, TPS(114)는 합성 이미지 데이터(110)가 생성된 3D 포인트 세트(3D point set)(104)를 사용하여 CPS(118)로 변환된다. 이미지(102)가 3D 포인트 세트(104)에 정합되는 경우 CPS(118)는 5-튜플(이미지(102)의 행, 이미지 102의 열, X, Y 및 Z)이다(합성 이미지 데이터(110)를 통해). CPS(118)는 건물의 꼭대기에 해당하는 높이를 포함할 수 있다. CP(118)는 장면의 한 포인트에 해당한다. 정합은 합성 이미지(110)의 픽셀이 정합되는 위치에 대응하는 포인트를 식별함으로써 3D 포인트 세트(104)에서 적절한 포인트에 대한 지식을 제공한다.

TPS(114)는 CPS(118)가 되기 위해 3D 포인트 세트(104)에서 대응하는 가장 가까운 포인트와 연관될 수 있다. TPS(114)는 정합된 TP(114)의 정확도를 추정하는 오류 공분산 행렬(error covariance matrix)과 연관될 수 있다. 3D 포인트 세트(104)로부터 각각의 투영된 3D 포인트의 인덱스는 동작(108)에서 합성 이미지 데이터(110)를 생성할 때 보존될 수 있다. TP(114)와 연관된 타일 중앙에 가장 가까운 3D 포인트는 CP(118)의 좌표로 사용될 수 있다. 오류 공분산은 피크에서 정합 점수 표면의 형태, 하나 이상의 실수 메트릭, 또는 이들의 조합으로부터 유도될 수 있다.

동작(120)에서, 이미지(102)의 기하학적 구조는 이미지(102)를 합성 이미지 데이터(110)와 기하학적 정렬(geometric alignment)로 가져오도록(예를 들어, 최소 제곱 번들 조정 등을 통해) 조정될 수 있다. 기하학적 번들 조정(geometric bundle adjustment)은 이미지(102)의 CP(118)와 합성 이미지 데이터(110) 사이의 오정렬을 감소(예를 들어, 최소화)하기 위한 비선형, 최소 제곱 조정을 포함할 수 있다.

이 조정된 기하학적 구조는, 합성 이미지 데이터(110)는 이미지(102)보다 해상도가 낮을 수 있고 이미지(102)와 동일한 절대 시작 행 및 열에 있지 않을 수 있음을 제외하고, 또한 합성 이미지 데이터(110)에도 사용될 수 있다. 이미지(102)의 조정된 기하학적 구조는 합성 이미지 데이터(110)의 절대 오프셋 및 스케일과 일치하는 합성 이미지 데이터(110)에 대한 투영을 생성하는 데 사용될 수 있다.

동작(120)이 수렴된 후, 이미지(102)의 기하학적 구조는 정합된 제어(registered control)와 일치하도록 업데이트 될 수 있다. TPS(114)의 오류가 비상관(uncorrelated)인 한, 조정된 기하학적 구조는 TPS(114) 자체보다 더 정확하다. CPS(예를 들어, 알려진 XYZ 위치 및 그 위치에 대한 알려진 이미지 위치)를 사용하는 정합 기술은 동작(120)을 수행하기 위해 사용될 수 있다. CPS(118)로부터, 이미지(102)의 이미징 기하학적 구조는 CPS(118)의 기하학적 구조와 일치하도록 업데이트 될 수 있다.

이미지(102)의 기하학적 구조의 조정(동작 120)이 이제 요약된다. 이미지 메타 데이터는 초점 거리와 같은 카메라 파라미터와 함께 이미지가 수집된 시점의 센서 위치 및 방향 추정치를 포함할 수 있다. 메타 데이터가 3D 포인트 세트(104)와 완벽하게 일치한다면, 모든 3D 포인트는 이미지(102)의 정확한 지점에 정확히 투영될 것이다. 예를 들면, 3D 포인트 세트(104)의 깃대(flag pole)의 베이스는 이미지(102)에서 깃대의 베이스가 보이는 곳으로 정확히 투영될 것이다. 하지만 실제로는, 이미지(102)의 메타 데이터에 부정확성이 있다. 카메라 포지션의 추정치(estimate)가 약간 떨어져 있거나 추정된 카메라 방향이 옳지 않은 경우, 깃대의 베이스를 나타내는 3D 포인트는 이미지(102)의 베이스의 픽셀에 정확히 투영되지 않을 것이다. 하지만 조정된 기하학적 구조를 사용하면, 깃대의 베이스는 이미지(102)에서 베이스가 있는 곳에 매우 가깝게 투영될 것이다. 정합의 결과는 이미지(102)에 대해 조정된 기하학적 구조이다. 이미지(102)에 대한 조정된 기하학적 구조가 3D 포인트 세트(104)와 일치하게 되는 임의의 정합 프로세스가 사용될 수 있다.

도 2는 합성 이미지 데이터(110)를 이미지(102)에 정합하기위한 방법(200)의 일 실시예의 도면을 예로서 도시한다. 동작(220)에서, 합성 이미지 데이터(110)로부터 이미지 타일(222)이 추출된다. 이미지 타일(222)은 지정된 수의 픽셀 열에 의해 지정된 수의 픽셀 행인 합성 이미지 데이터(110)의 적절한 연속 서브 세트(전체보다 작음)이다. 행과 열의 수는 같거나 다를 수 있다.

동작(224)에서, 이미지 타일(222)의 고대비 에지(226)가 식별된다. 동작(224)은 그래디언트 크기 히스토그램 및 위상 히스토그램을 사용하는 것을 포함할 수 있다. 원하는 백분율은 지정된 크기(예를 들어, 16,384 픽셀(예를 들어, 128X128 픽셀 또는 기타 픽셀 수) 및 더 적은) 보다 적은 템플릿 크기에 대한 제1 임계 값(예를 들어, 9%, 10%, 11%, 12%, 15%, 더 큰 또는 더 작은 백분율, 또는 이들 사이의 다른 백분율) 및 더 큰 템플릿 크기(예를 들어, 4 %, 5 %, 6 %, 더 큰 또는 더 작은 백분율, 또는 그 사이의 다른 백분율)에 대한 더 작은 제2 임계 값으로 설정된다. 에지 방향(위상)이 모두 서로 비슷하지 않은 고대비 에지 픽셀을 사용하는 것이 유용할 수 있다. 고대비 에지 픽셀의 위상이 같으면, 에지를 따라가 아니라 에지 방향에 수직인 방향으로 신뢰할 수 있는 정합성이 있을 것이다. 따라서 템플릿에서 사용할 에지 픽셀을 결정하는 제1 단계는 템플릿 이미지의 모든 픽셀에 대한 그래디언트 위상 히스토그램을 하는 단계를 포함할 수 있다(예를 들어, 히스토그램 저장소에 픽셀을 추가할 때 각 픽셀의 가중치로 그래디언트 크기를 사용). 너비가 각각 지정된 각도(예를 들어, 5, 10, 15 또는 기타 크기의 각도)와 180도 떨어져 있는 두 개의 판유리 창(two-pane window)을 사용하여, 히스토그램에 대한 합계가 가장 높은 창 합계를 찾기 위해 수행될 수 있다. 합계가 가장 높은 창 중앙을 주요 위상 방향(principal phase direction)으로 설정할 수 있다. 픽셀은 위상이 주요 위상 방향의 +/- 45도(모듈로 180) 이내에 있는 것과 그렇지 않은 두 세트로 분할될 수 있다. +/- 45 도 보다 크거나 작은 간격을 사용할 수 있다. 각 세트에 대해 다른 그래디언트 크기 임계 값을 설정할 수 있다.

두 세트 각각에서 전체 고대비 에지 픽셀의 약 절반을 제공하는 것이 바람직할 수 있다. 특정 세트에 대해 이를 수행하기 위해 해당 세트의 모든 픽셀에 대한 그래디언트 크기를 히스토그램화 될 수 있다. 전체 고대비 에지 픽셀의 백분율이 실현되는 그래디언트 크기 임계 값을 식별할 수 있다. 두 개의 임계 값이 설정되면 임계 값 아래에 있는 각 세트의 모든 픽셀이 템플릿에서 제거된다. 에지 기반 정합이 FFT 또는 NCC보다 더 나은 결과를 제공하는 데는 최소한 두 가지 이유가 있다. 첫 번째, 합성 이미지 데이터(110)는 일반적으로 3D 포인트 세트(104)의 보이드로 인해 상당한 수의 보이드를 갖는다. 이러한 보이드는 홀 채우기 알고리즘이 수행되는 경우에도 FFT 및 NCC 상관에 의해 효과적으로 처리되지 않는다. 두 번째 이유는 에지 기반 TP 식별을 사용하여 여러 센서 유형에 정합할 수 있기 때문이다. 센서 유형은 주간 팬크로매틱 및 MSI, IR, SAR, 야간 EO 등을 포함할 수 있다. FFT 및 NCC 상관 방법은 합성 이미지 강도가 정합되는 이미지와 다른 센서 양식에서 나온 경우 효과적이지 않다. 대조적으로, 에지 기반 상관 방법은 센서 양식 전반에 걸쳐 효과적이다.

동작(228)에서, 이미지 템플릿(230)이 생성될 수 있다. 이미지 템플릿(230)은 이미지 타일과 동일한 크기이고 동작(224)에서 식별된 고대비 에지에 대응하는 픽셀만을 포함한다.

동작(232)에서, 이미지(102)에서 이미지 템플릿(230)의 초기 위치 추정치와 이미지(102)에서 에지의 위상 및 크기에 의해 표시된 위치 사이의 오프셋이 결정될 수 있다. 초기 위치 추정은 합성 이미지 데이터(110)의 생성에서 이미지(102)에 대한 3D 포인트 세트(104)의 투영에 기초하여 결정될 수 있다. 3D 포인트 세트(104)의 X 및 Y는 위치 추정치를 생성하기 위해 이미지(102)의 기하학적 구조에 기초하여 조정될 수 있다.

이미지 템플릿(230)의 각 픽셀에 대해 적어도 3 개의 값이 있다: 1) 템플릿에서의 행 값; 2) 템플릿의 열 값; 및 3) 그래디언트 위상(gradient phase). 전술한 바와 같이, 이미지(102)가 정합되는 이미지(102)와 관련하여 이 템플릿이 어디에 있는지에 대한 초기 추정치(initial estimate)가 있다. 검색 범위는 이미지 템플릿(230)이 견고하게 주위를 이동하고 이미지(102)의 그래디언트 크기 및 위상과 비교되는 델타 행 오프셋 및 델타 열 오프셋이다. 각각의 오프셋에서, 템플릿 픽셀은 정합 이미지(102)의 특정 픽셀 세트에 떨어질 것이다.

현재 오프셋에서 상관이 얼마나 좋은지 측정하기 위한 메트릭을 계산하기 위해, 템플릿의 각 픽셀에 대한 현재 오프셋에 대응하는 이미지(102)의 픽셀에서 그래디언트 크기를 템플릿 픽셀의 그래디언트 위상과 이미지 픽셀의 그래디언트 위상 사이의 위상 일치에 곱하는 계산이다. 위상 일치는 90에서 두 위상 방향의 절대 차이를 뺀 값일 수 있다. 예를 들어, 픽셀의 템플릿 위상이 37이고 이미지의 해당 픽셀의 위상이 30이면 절대 위상차는 7이되고 위상 일치 값은 90 - 7 = 83이된다. 교차 센서 애플리케이션의 경우, 그래디언트는 합성 이미지 데이터(110)의 에지에 대해 정확히 180도 반대 방향을 가리킬 수 있다. 이것은 설명할 수 있다. 예를 들어, 이미지(102)의 위상이 217 인 경우 절대 차이는 187이 된다. 차이가 90보다 크므로 180을 빼서 여전히 7의 차이를 얻는다. 정합의 위상차 계수는 90에서 차이 또는 차이의 다른 기능을 뺀 값일 수 있다. 이 프로세스를 사용하면 에지가 같은 방향으로 실행되지만 반대 위상이 큰 위상 일치 값을 가질 수 있다. 위상 일치는 에지 방향이 템플릿 픽셀과 매우 다른 픽셀의 기여 가중치(합계)를 낮추는 데 사용할 수 있다. 각 오프셋의 점수는 위상 일치를 곱한 그래디언트 크기의 오프셋에서 템플릿의 모든 픽셀에 대한 합계가 될 수 있다. 점수가 가장 높은 오프셋을 올바른 정합 오프셋으로 사용할 수 있다.

단계(234)에서, 이미지 타일(222)의 TP가 실수 테스트(blunder test)를 통과했는지 여부가 결정될 수 있다. TPS(114)의 품질을 평가하고 실수(오류의 원인)를 식별하기 위해 여러 메트릭(실수 메트릭)이 사용될 수 있다. 실수 메트릭(임계 값이 센서에 따라 달라질 수 있음)은 a) 정합 점수(registration score), b) 가장 높은 점수에 대한 두 번째로 높은 피크 점수의 비율로서 피크 가파름(peak sharpness), c) 정합된 위치에서 모든 에지 픽셀에 대한 평균 그래디언트 크기(average gradient magnitude), d) 정합된 위치에서 모든 템플릿 에지 픽셀에 대한 평균 그래디언트 위상 일치, e) 타일의 정합 오프셋과 모든 TPS(114)를 기반으로 계산된 중앙 오프셋 간의 차이, 또는 f) 평균(예를 들어, 가중 평균(weighted average)) 그래디언트 위상 일치를 포함할 수 있다. 가중 평균, 그래디언트 크기를 가중치로 사용할 수 있다. 사용될 수 있는 또 다른 메트릭은 이미지 타일(222)의 정합 오프셋과 모든 TPS(114)로부터 계산된 중앙 오프셋 간의 차이이다.

식별된 후보 TP가 단계(234)에서 실수 테스트를 통과하면, TP는 신뢰할 수 있는 TPS 세트에 추가될 수 있다. TP가 실수 테스트를 통과하지 못하면 오프셋은 동작(236)에서 폐기될 수 있다. 이는 합성 이미지 데이터(110)를 이미지(102)에 정합하는데 이미지 타일(222)/이미지 템플릿(230)이 사용되지 않음을 의미한다. 동작(238)에서, 처리할 타일이 더 있는지가 결정될 수 있다. 처리할 타일이 더 있으면 다음 이미지 타일(222)을 얻기 위해 동작(220)이 수행될 수 있다. 그렇지 않으면, 단계(240)가 수행될 수 있다.

[0041] 0046

동작(240)은 정확한 오프셋의 추정치 사이를 판정할 수 있다. 각각의 신뢰된 이미지 타일에 대해 오프셋이 추정되므로 연산(240)은 어느 오프셋이 가장 정확한지 결정하려고 시도한다는 점에 유의한다. 신뢰할 수 있는 모든 TPS에서 최소 제곱 아핀 변환을 계산할 수 있다. 신뢰할 수 있는 TP는 동작(234)에서 실수 메트릭을 통과하는 것이다. 최소 제곱 계산은 실수에 민감한다. 실수가 빠져나가면, CP(118) 간의 아핀 변환이 부정적인 영향을 받을 수 있다. 오프셋 추정치는 신뢰할 수 있는 타일에서 개별 오프셋의 중앙값(예를 들어, 가중치 중앙값)을 사용하여 계산할 수 있다. 각 TP(114)에 대한 가중치는 위의 하나 이상의 실수 메트릭의 함수일 수 있다. 마지막으로, 총 오프셋의 세 번째 추정치는 각 오프셋에서 모든 신뢰할 수 있는 타일의 정합 점수를 하나의 통합된 총 점수로 결합하여 계산될 수 있다. 최대 통합 점수가 있는 오프셋은 또 다른 총 오프셋 추정치가 될 수 있다. 어느 오프셋이 올바른지 결정하는 것은 정밀 정합이 아닌 거친 정합에서만 수행할 수 있다. 정밀 정합을 위해 각 타일은 독립적으로 정합되고 자체 오프셋을 얻는다. 실수 임계 값(blunder threshold)을 통과하는 모든 타일은 CPS로 변환하여 기하학적 번들 조정(geometric bundle adjustment)에 사용할 수 있다.

동작(240)에서 정확한 오프셋을 결정하기 위한 판정은 중앙 TP 오프셋(median TP offset), 신뢰된 TP에 기초하여 계산된 아핀 변환, 및 모든 TP의 결합된 스코어 표면으로부터의 최고 피크와 연관된 오프셋을 결정하는 것을 포함할 수 있다. 오프셋의 신뢰성을 결정하기 위해, 점수가 최대 상관 점수의 최소한 지정된 백분율(예를 들어, 70 %, 75 %, 80 %, 85 %, 90 %, 95 %, 99 %, 더 크거나 더 작은 백분율 또는 그 사이의 일부 백분율) 인 피크로부터의 최대 오프셋이 계산될 수 있다. 최대 오프셋이 검색 반경의 지정된 임계 값을 초과하는 경우(예를 들어, 25 %, 50 %, 75 %, 80 %, 85 %, 90 %, 95 % 또는 더 크거나 더 작은 백분율), 최대 결합 점수 오프셋은 신뢰할 수 없는 것으로 간주되어 폐기될 수 있다. 거리가 지정된 임계 값보다 작거나 같으면 오프셋을 테스트를 통과한 것으로 간주하고 최종 오프셋 값을 결정하는 데 사용할 수 있다. 결정된 오프셋이 테스트를 통과하면 중앙값 TP 오프셋이 결정될 수 있다. 중앙값 TP 오프셋 값이 최대 값의 지정된 백분율(예를 들어, 70 %, 75 %, 80 %, 85 %, 90 %, 95 %, 99 %, 더 크거나 작은 백분율 또는 그 사이의 일부 백분율) 이상인 경우, 그러면 중앙 오프셋이 결합된 점수 오프셋을 대체할 수 있다. 이미지 중앙의 아핀 변환에서 계산된 오프셋을 선택한 오프셋과 비교할 수 있다. 아핀 변환이 더 작은 이동을 생성하면 아핀 변환 오프셋을 올바른 오프셋 242로 선택할 수 있다. 동작(244)에서, 합성 이미지 데이터(110)는 정밀 정합을 수행하기 전에 총 오프셋(242)에 의해 이미지(102)에 대해 이동될 수 있다.

일부 실시예에서, 동작(240)은 오프셋이 신뢰할 수 있는지 여부를 결정하는 것을 포함할 수 있다. 동작(240)은 오프셋이 임계 오프셋보다 작은지를 결정하는 것을 포함할 수 있다. 그렇지 않은 경우 오프셋은 폐기될 수 있다. 그렇다면 오프셋을 추가로 판단할 수 있다. 총 오프셋 추정치는 신뢰할 수 있는 타일에서 개별 오프셋의 중앙값(예를 들어, 가중치 중앙값)을 사용하여 계산할 수 있다.

결합된 정합 점수 표면의 전체 오프셋의 신뢰성을 결정하려면, 점수가 최대 상관 점수의 90 % 이상인 피크로부터의 최대 오프셋 거리가 계산될 수 있다. 거리가 검색 반경의 지정된 임계 값을 초과하는 경우(예를 들어, 25 %, 50 %, 75 %, 80 %, 85 %, 90 %, 95 % 또는 그보다 크거나 작은 백분율), 최대 결합 점수 오프셋은 신뢰할 수 없는 것으로 간주될 수 있다. 거리가 지정된 임계 값보다 작거나 같으면 오프셋이 테스트를 통과한 것으로 간주될 수 있다. 거리가 테스트를 통과하면 중앙값 TP 오프셋을 사용할 수 있다. 이 값이 최대 점수의 95 % 이상이면 중앙 오프셋이 결합된 점수 오프셋을 대체한다. 이미지 중앙의 아핀 변환에서 계산된 오프셋을 선택한 오프셋과 비교할 수 있다. 아핀 변환이 더 작은 오프셋을 생성하면 아핀 변환 오프셋을 선택할 수 있다.

이미지(102)와 합성 이미지 데이터(110) 사이의 아핀 변환은 TPS(114)에 기초하는 것과 같이 식별되거나 결정될 수 있다. 아핀 변환은 이미지(102)와 합성 이미지 데이터(110) 사이의 TPS(114)에 맞는 최소 제곱을 사용하여 결정될 수 있다. 아핀 변환의 결과는 소스 이미지의 지정된 픽셀에 해당하는 다른 이미지의 픽셀을 나타낸다.

아핀 변환은 점, 직선, 평면을 보존하는 선형 매핑(linear mapping)이다. 즉, 원본 이미지의 평행선은 대상 이미지로 아핀 변환 후에도 평행을 유지한다. 다른 아핀 변환은 변환, 크기 조정, 기울이기 및 회전이 포함한다.

방법(200)은 1 회, 2 회 또는 그 이상 수행될 수 있다. 일부 실시예에서, 방법(200)의 각각의 연속적인 성능은 방법(200)의 직전 성능에서 보다 작은 더 작은 이미지 타일(222)(및 대응하는 검색 반경)을 사용할 수 있다.

앞서 언급한 바와 같이, 거친 정합 결과(방법(200)의 제1 패스)가 적용된 후, 더 작은 검색 영역을 사용하여 정밀 정합이 수행될 수 있다. 동일한 정합 방법(200)(실수 메트릭 포함)이 적용될 수 있다. 실수 메트릭을 통과하는 TPS(114)는 타일 중앙에 가장 가까운 투영된 3D 포인트를 사용하여 CPS(118)로 변환될 수 있다. 3D 포인트 세트(104)의 각 포인트는 포인트와 연관된 강도를 갖는다. 3D 포인트 세트(104)의 포인트(우리가 정합하는 이미지(102)의 기하학적 구조를 통한)가 합성 이미지 데이터(110)의 픽셀에 투영될 때, 그 포인트는 픽셀의 중심에 정확히 투영되지 않을 가능성이 매우 높다. 그것이 투영하는 합성 이미지 데이터(110)의 어떤 픽셀이든 포인트와 연관된 강도와 연관된다. 합성 이미지 데이터(110)는 픽셀을 채우기 위해 사용된 강도의 포인트 식별을 유지할 수 있다. 3D 포인트 세트(104)는 불규칙하게 간격을 두고 보이드를 가질 수 있기 때문에 모든 픽셀이 채워지는 것은 아니다. 합성 이미지 데이터(110)의 각각의 보이드 픽셀은 채워진 이웃으로부터 유도된 세기를 제공받을 수 있다. 픽셀에 채워진 인접 이웃이 없는 경우(포인트 세트의 큰 보이드에서 발생할 수 있음), 해당 픽셀을 비워 두고 정합에 사용할 수 없다. 이미지(102)에 에지 템플릿을 정합할 때, 템플릿의 중앙은 CP를 얻기에 편리한 위치이지만, 중앙 픽셀은 투영된 3D 포인트가 없는 픽셀 일 수 있다. 그런 경우, 포인트가 투영된 중앙에 가장 가까운 픽셀을 CP에 사용할 수 있다. 그 지점의 X, Y, Z는 CP의 위치로 사용될 수 있다. CP의 이미지 위치는 CP에서 사용되는 픽셀에 맞게 시프트 될 수 있다. 이미지 위치는 실제로 투영된 픽셀의 내부를 설명하기 위해 더 이동될 수 있다(서브 픽셀 방식으로). 예를 들면, 3D 포인트는 픽셀 중심 위의 픽셀 행의 7번째 포인트와 픽셀 중심의 오른쪽에 있는 픽셀 열의 1/4 지점에 투영되었을 수 있다. 이러한 서브 픽셀 행 및 열 조정으로 이미지 위치를 이동하여 실제 투영 지점에 맞출 수 있다.

오류 공분산(error covariance)은 피크 및 품질 메트릭에서 정합 점수 표면의 모양에서 유도될 수 있다. 상위 점수 오프셋 위치를 중심으로 하는 이웃의 정합 점수를 사용하여 오류 공분산을 계산할 수 있다. 다음 방법을 사용할 수 있다. 이 방법은 반경 3(3)을 사용하여 설명되지만 다른 반경 값을 사용할 수 있다. 반지름이 3이면 최상위 점수 오프셋 위치에 중심이 되는 7X7 영역이 생성된다. 최고 점수 오프셋을 중심으로 하는 7X7 지역의 경우 최소 점수가 결정될 수 있다. 이 점수는 7X7의 각 점수에서 차감된다. 7X7을 사용하여 세 가지 합계를 결정할 수 있다. 제1 합계(sum1)는 해당 오프셋에서 점수의 7x7에 있는 모든 오프셋에 대한 합계에 해당 오프셋의 열 차이의 제곱과 7X7의 중심을 곱한 값이다. 제2 합계(sum2)는 해당 오프셋의 점수에 7X7의 중심과 오프셋의 행 차이 제곱을 곱한 값이 될 수 있다. 제3 합계(sum3)는 해당 오프셋의 점수에 7X7의 중심과 오프셋의 열 차이 곱하기 7X7의 중심과 오프셋의 행 차이를 곱한 값이 될 수 있다. 세 가지 합계는 7X7 지역의 점수 합계로 나눌 수 있다. scoreSum은 7X7 지역의 점수 합계를 나타낸다. 이러한 값은 정합 이미지의 공간에서 계산되며, 이미지의 전체 해상도에서 수행되지 않았을 수 있으며 전체 해상도로 조정해야 할 수도 있다. ratioCol을 열 방향의 정합 이미지의 X 배율과 열 방향의 이미지 배율의 비율이라고 한다. ratioRow를 Y 방향의 유사한 비율이라고 한다. CP 이미지 위치에 대한 공분산은 상위 삼각 2X2 행렬(즉, 세 개의 값)으로 저장되고, 여기서 covar [0] = ratioCol X Sum1/scoreSum의 제곱, covar [1] = ratioCol X ratioRow X Sum3/scoreSum, covar [ 2] = rowRatio * Sum2/scoreSum의 제곱.

실수 임계 값(blunder threshold)의 적용이 너무 적은 CP를 유지하는 경우, 실수 임계 값은 충분한 수의 CP가 유지될 때까지 반복적으로 완화될 수 있다. 실수를 줄이는 데 사용되는 임계 값은 센서에 따라 달라질 수 있다. 예에서, 실수 거부(blunder rejection)를 통과한 TPS(114)의 수가 최소 TPS(114) 수 미만이면, 특정 최소 수의 TPS(114)를 달성하기 위해 메트릭이 완화될 수 있다.

도 3은 예로서 이미지 타일의 에지 기반 정합의 그레이 스케일 이미지 칩을 도시한다. 이미지 칩(mage chip)은 포인트 클라우드(point cloud) 뷰와 텍사스 리처드슨(Richardson) 일부의 이미지가 포함된다. 이미지 칩의 상단 행은 합성 이미지 타일(222A)의 타일, 이미지 칩(334)의 소벨(Sobel) 연산자로부터의 그래디언트 크기, 이미지 템플릿(230A)의 정합에 사용하기 위해 선택된 고대비 에지 픽셀을 보여준다. 소벨 그래디언트 연산자는 합성 이미지 타일(222A) 및 이미지 타일(332) 모두에 대한 그래디언트 크기 및 위상을 생성하는 데 사용될 수 있다. 이미지 타일(332)은 이미지(102)의 픽셀들의 적절한 서브 세트를 포함한다. 도면에서 이미지의 하단 행은 정합할 이미지 타일(332), 이미지 칩(338)의 소벨 그래디언트 크기 및 이미지 칩(340)에 정합되는 이미지의 그래디언트와 고대비 합성 이미지 에지를 상관시킨 결과의 정합 점수를 보여준다. 이미지 타일(332)은 합성 이미지 타일(222A)의 템플릿 크기와 정합 검색 반경(오류를 설명하기 위해)을 수용해야 하기 때문에 합성 이미지 타일(222A)보다 크다. 상관 점수(correlation score)(340)(각 오프셋에서)는 고대비 에지의 가장 높은 상관이 합성 이미지 타일(222A)의 중심 포인트가 이미지 타일(332)의 중심 아래 및 중심 오른쪽에 있는 픽셀에 투영될 때 발생하는 것을 나타낸다. 도 2의 프로세스는 더 작은 크기의 타일과 더 작은 검색 영역을 사용하여 반복되어 고대비 에지의 더 나은 상관을 얻을 수 있다.

도 4는 예로서 이미지(102)와 합성 이미지 데이터(110) 사이의 TPS(114)를 도시한다. 도 4에서, 합성 이미지 데이터(110B)와 텍사스 리처드슨의 일부의 이미지에 대한 이미지(102B) 사이에서 식별된 TPS(114)가 도시된다. 도 4는 합성 이미지 데이터(110B)로부터의 제1 이미지 타일(440), 이미지(102B)로부터의 제2 이미지 타일(442)을 도시한다.

도 5는 등록된 이미지 데이터(122)를 합성 이미지로 만들기 위한 방법(500)의 일 실시 예에 대한 흐름도를 예로서 도시한다. 이미지를 생성하기 위해 메타 데이터는 이미지의 행과 열 수를 자세히 설명하는 이미지 데이터 및 이미지의 각 픽셀의 X, Y 위치를 결정하는 데 충분한 기하학적 구조 데이터(Z가 알려진 경우)와 연결된다. 단계(530)에서, 등록된 이미지 데이터(122)와 연관될 메타 데이터(metadata)(532)가 결정된다. 동작(530)은 이미지 메타 데이터(540)에 기초하여 수행될 수 있다. 이미지 메타 데이터는 이미지(102)에서 가져온 것이다. 이미지 메타 데이터(image metadata)(540)는 사용자에게 이미지(102)의 뷰를 제공하기 위해 사용될 수 있는 정보를 제공한다. 이미지(102)의 뷰를 제공하기 위해 애플리케이션에 의해 사용될 수 있는 일부 파라미터는 행 방향의 스케일(scale in a row direction), 열 방향의 스케일(scale in a column direction), 센서 방위각(sensor azimuth), 센서 고도(sensor elevation), 태양 방위각(solar azimuth), 태양 고도(solar elevation), 관점 변환의 파라미터, 합리적 다항식 투영의 파라미터 및 계수(예를 들어, XYZ-이미지 및/또는 이미지-XYZ) 또는 이미지가 수집된 시간을 포함할 수 있다. 이미지(102)의 경우, 이러한 파라미터는 이미지(102)와 함께 제공되는 이미지 메타 데이터(540)로부터 쉽게 계산된다(예를 들어, 국가 이미지 전송 형식(national imagery transmission format)(NITF) 이미지 헤더의 태그 된 기록 확장).

이미지 메타 데이터(540)와 유사하게, 등록된 이미지 데이터(122)와 연관될 메타 데이터(532)는 센서 포지션, 센서 방향, 초점 거리, 태양 고도, 태양 방위각, 관점 변환의 파라미터, 또는 합리적 다항식 투영의 파라미터 및 계수(예를 들어, XYZ-이미지 또는 이미지-XYZ) 등이 있다. 센서 고도, 센서 위치 또는 초점 거리는 이미지(102)와 동일하게 설정될 수 있다.

태양 방위각, 태양 고도 및 합성 이미지(536)가 수집된 시간은 문제가 될 수 있다. 3D 포인트 세트(104)는 하루 중 서로 다른 시간에 수집된 많은 이미지로부터 생성될 수 있으므로 서로 다른 태양 각도를 갖는다. 3D 포인트 세트(104)를 갖는 강도는 3D 포인트 위치를 결정하는 데 사용되는 이미지로부터의 합성 값일 수 있다. 태양 방위각은 이미지(102)의 태양 방위각으로 설정될 수 있다. 태양 고도는 직접 머리 위로 설정하거나 거의 직접 머리 위로 설정할 수 있다(예를 들어, 90도 플러스 또는 마이너스 일부 임계 값, 예를 들어 1도, 2도, 3도, 4도, 5도, 더 크거나 작은 각도, 또는 그 사이의 각도). 일부 실시 예에서, 태양 고도는 89 도로 설정할 수 있다. 거의 직접적으로 태양을 선택하는 것은 그림자 마스크 기술(예를 들어, 변경 검출 프로세스 또는 다른 애플리케이션에서)이 합성 이미지(536)에서 그림자가 발생하는 위치를 잘못 예측하는 것을 방지하는 데 도움이 될 수 있다.

수집 시간 파라미터는 합성 이미지가 잠재적으로 여러 다른 시간에 수집된 이미지에서 유도된 강도로 구성되기 때문에 문제가 될 수 있다. 합성 이미지(536)는 변화 검출에서 "오래된 이미지"일 수 있으므로, 수집 시간은 이미지(102)의 수집 시간 이전의 어느 시간으로 설정될 수 있다. 이전 시간(prior time)은 이미지(102)의 메타 데이터에 의해 표시된 시간(및 날짜) 이전의 시간이다.

도 6은 예로서(a) 높이로 컬러링 된 포인트와 복합 강도 속성으로 컬러링 된 포인트를 갖는 텍사스 리처드슨의 일부의 3D 포인트 세트의 뷰의 도면을 예시한다. 도 7은 방법(100, 200, 500)을 사용하여 생성된 이미지(102C) 및 합성 이미지(536A)의 뷰의 도면을 예로서 도시한다.

"3 차원 포인트 세트에 이미지를 자동으로 등록하는 시스템 및 방법(System and Method for Automatically Registering an Image to a Three-Dimensional Point Set)"이라는 제목의 미국 특허 9,269,145 및 "사진 측량 번들 조정을 통해 전자 광학 이미지를 사용하여 3D 데이터를 자동 등록하는 시스템 및 방법(System and Method for Automatic Registration of 3D Data With Electro-Optical Imagery Via Photogrammetric Bundle Adjustment)"이라는 제목의 미국 특허 9,275,267이 각각 이미지 등록 및 기하학적 번들 조정에 관한 자세한 내용을 제공하고, 및 그 전체가 여기에 참조로 포함된다. 변화 검출 기술의 예는 이미지와 합성 이미지가 서로 다른 가장자리 내용을 가지고 있거나 두 이미지가 높은 대비 강도 차이를 갖는 위치를 결정하는 것을 포함할 수 있다. 합성 이미지를 만드는 방법은 관점 차이로 인한 잘못된 변경을 제거하고 및 3D 포인트 세트는 태양 차이로 인한 잘못된 변경을 제거하기 위한 컨텍스트를 제공한다.

도 8은, 기계가 본 명세서에서 논의된 방법론 중 하나 이상을 수행하게 하기 위해 실행될 수 있는 명령을 내재한 컴퓨터 시스템(computer system)(800)의 예시적인 형태의 기계의 실시예의 블록도를 예시한다. 네트워크 배치에서, 기계는 서버 클라이언트 네트워크 환경에서 서버 또는 클라이언트 기계의 용량으로 동작하거나 피어-투-피어(또는 분산) 네트워크 환경에서 피어 기계로 동작할 수 있다. 기계는 개인용 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), 개인 디지털 보조기(Personal Digital Assistant)(PDA), 휴대폰, 웹 어플라이언스, 네트워크 라우터, 스위치 또는 브리지 또는 해당 기계가 취할 조치를 지정하는 명령(순차적 또는 기타)을 실행할 수 있는 모든 기계일 수 있다. 또한, 하나의 기계 만이 예시되어 있지만, "기계(machine)"라는 용어는 여기에서 논의된 방법론 중 임의의 하나 이상을 수행하기 위해 명령 세트(또는 다중 세트)를 개별적으로 또는 공동으로 실행하는 임의의 기계 모음을 포함하는 것으로 간주되어야 한다.

예시적인 컴퓨터 시스템(800)은 버스(bus)(708)를 통해 서로 통신하는, 프로세서(processor)(802)(예를 들어, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 또는 둘 다), 메인 메모리(main memory)(804) 및 정적 메모리(static memory)(806)를 포함한다. 컴퓨터 시스템(800)은 비디오 디스플레이 유닛(video display unit)(810)(예를 들어, 액정 디스플레이(LCD) 또는 음극선 관(CRT))을 더 포함할 수 있다. 컴퓨터 시스템(800)은 또한 영숫자 입력 장치(alphanumeric input device)(712)(예를 들어, 키보드), 사용자 인터페이스(UI) 내비게이션 장치(814)(예를 들어, 마우스), 대용량 저장 유닛(816), 신호 생성 장치(818)(예를 들어, 스피커), 네트워크 인터페이스 장치(820) 및 블루투스(Bluetooth), WWAN, WLAN 및 NFC와 같은 무선 기기(830)는 이러한 프로토콜에 대한 보안 제어의 적용을 허용한다.

대용량 저장 유닛(mass storage unit)(816)은 여기에 설명된 방법론 또는 기능 중 임의의 하나 이상에 의해 구현되거나 사용되는 하나 이상의 명령(instruction) 및 데이터 구조 세트(예를 들어, 소프트웨어)(824)가 저장된 기계 판독 가능 매체(822)를 포함한다. 명령(instruction)(824)는 또한 컴퓨터 시스템(800), 메인 메모리(804) 및 프로세서(802)에 의해 실행되는 동안 메인 메모리(804) 내에 및/또는 프로세서(802) 내에 완전히 또는 적어도 부분적으로 상주할 수 있으며, 또한 기계 판독 가능 매체를 구성한다.

기계 판독 가능 매체(822)가 예시적인 실시예에서 단일 매체 인 것으로 도시되어 있지만, "기계 판독 가능 매체(machine-readable medium)"라는 용어는 또한 기계에 의한 실행을 위한 명령을 저장, 인코딩 또는 전달할 수 있고 기계가 본 발명의 방법론 중 임의의 하나 이상을 수행하게 하고, 또는 그러한 명령에 의해 사용되거나 이와 연관된 데이터 구조를 저장, 인코딩 또는 전달할 수 있는 임의의 유형의 매체를 포함하는 것으로 간주되어야 한다. 따라서 "기계 판독 가능 매체"라는 용어는 고체 상태 메모리(solid-state memories), 광학 및 자기 매체를 포함하지만, 이에 제한되지는 않는다. 기계 판독 가능 매체의 특정 예는 예를 들어 이피롬(Erasable Programmable Read-Only Memory)(EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory)(EEPROM) 및 플래시 메모리 장치와 같은 반도체 메모리 장치를 포함하는 비 휘발성 메모리; 내부 하드 디스크 및 이동식 디스크와 같은 자기 디스크; 광 자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크.

명령(824)은 또한 전송 매체를 사용하여 통신 네트워크(communications network)(826)를 통해 전송 또는 수신될 수 있다. 명령(824)은 네트워크 인터페이스 장치(network interface device)(820) 및 다수의 잘 알려진 전송 프로토콜(예를 들어, HTTP) 중 임의의 하나를 사용하여 전송될 수 있다. 통신 네트워크의 예로는 근거리 통신망("LAN"), 광역 통신망("WAN"), 인터넷, 이동 전화 네트워크, 플레인 올드 폰(Plain Old Telephone)(POTS) 네트워크 및 무선 데이터 네트워크(예를 들어, 와이파이(WiFi) 및 와이맥스(WiMax) 네트워크)가 있다. "전송 매체"라는 용어는 기계에 의한 실행을 위한 명령을 저장, 인코딩 또는 전달할 수 있는 무형 매체를 포함하며 이러한 소프트웨어의 통신을 용이하게 하는 디지털 또는 아날로그 통신 신호 또는 기타 무형 매체를 포함한다.

추가 노트 및 예시 실시예

실시예 1은 합성 이미지 생성 방법을 포함하며, 방법은 합성 이미지 데이터를 생성하기 위해 제1 지리적 영역의 3 차원(3D) 포인트 세트를 제2 지리적 영역의 이미지의 이미지 공간에 투영하는 단계, 이미지와 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하는 단계, 식별된 CPs에 기초하여 합성 이미지 데이터의 기하학적 구조를 조정하는 단계, 이미지의 메타 데이터에 기초하여 합성 이미지에 대한 메타 데이터를 결정하는 단계, 및 합성 이미지를 생성하기 위해 결정된 메타 데이터를 합성 이미지 데이터와 연관시키는 단계를 포함한다.

실시 예 2에서, 실시 예 1은 다음을 더 포함하며, 메타 데이터는 센서 위치, 센서 고도, 관점 변환의 파라미터, 합리적 다항식 투영의 파라미터 및 계수(예를 들어, XYZ-이미지 또는 이미지-XYZ), 태양 고도, 태양 방위각 및 시간 중 둘 이상을 포함한다.

실시 예 3에서, 실시 예 2는 다음을 더 포함하며, 메타 데이터는 센서 위치 및 센서 고도가 포함하고, 센서 위치는 이미지의 메타 데이터의 센서 위치와 동일하게 설정되고, 및 센서 고도는 이미지의 메타 데이터의 센서 고도와 동일하게 설정된다.

실시 예 4에서, 실시 예 2 또는 3 중 적어도 하나는 다음을 더 포함하며, 메타 데이터는 태양 고도와 태양 방위각을 포함하고, 태양 고도는 약 89 도로 설정되고, 및 태양 방위각은 이미지 데이터의 메타 데이터의 태양 방위각으로 설정된다.

실시 예 5에서, 실시 예 2 내지 4 중 적어도 하나는 다음을 더 포함하고, 메타 데이터는 시간을 포함하고 및 시간은 이미지 데이터의 메타 데이터보다 이전의 시간으로 설정된다.

실시 예 6에서, 실시 예 2 내지 5 중 적어도 하나는 다음을 더 포함하고, 메타 데이터는 관점 변환의 파라미터 또는 합리적 다항식 투영(예를 들어, XYZ-이미지 또는 이미지-XYZ 투영 등)의 파라미터 및 계수를 포함한다.

실시 예 7에서, 실시 예 1 내지 6 중 적어도 하나는 다음을 더 포함하고, 합성 이미지 및 이미지를 사용하여 변화 검출을 수행하는 단계를 더 포함한다.

실시 예 8에서, 실시 예 1 내지 7 중 적어도 하나는 다음을 더 포함하고, 제1 및 제2 지리적 영역은 동일하다.

실시 예 9에서, 실시 예 1 내지 8 중 적어도 하나는 다음을 더 포함하고, 제2 지리적 영역은 제1 지리적 영역의 일부에 대응한다.

실시예 10은 합성 이미지 생성을 위한 시스템을 포함하고, 시스템은 그 위에 저장된 제1 지리적 영역의 3 차원(3D) 포인트 세트를 포함하는 메모리를 포함하고, 메모리에 연결된 처리 회로를 포함하고, 처리 회로는 합성 이미지 데이터를 생성하기 위해 제2 지리적 영역의 이미지의 이미지 공간에 3D 포인트 세트를 투영하고, 이미지와 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하고, 식별된 CPs에 기초하여 합성 이미지 데이터의 기하학적 구조를 조정하고, 이미지의 메타 데이터에 기초하여 합성 이미지에 대한 메타 데이터를 결정하고, 및 합성 이미지를 생성하기 위해 결정된 메타 데이터를 합성 이미지 데이터와 연관시키도록 구성된다.

실시 예 11에서, 실시 예 10은 다음을 더 포함하며, 메타 데이터는 센서 위치, 센서 고도, 관점 변환의 파라미터, 합리적 다항식 투영(XYZ-이미지 또는 이미지-XYZ 투영 등)의 파라미터 및 계수, 태양 고도, 태양 방위각 및 시간 중 둘 이상을 포함한다.

실시 예 12에서, 실시 예 11은 다음을 더 포함하며, 메타 데이터에는 센서 위치 및 센서 고도가 포함되고, 센서 위치는 이미지 메타 데이터의 센서 위치와 동일하게 설정되고, 및 센서 고도는 이미지 메타 데이터의 센서 고도와 동일하게 설정된다.

실시 예 13에서, 실시 예 11 또는 12 중 적어도 하나는 다음을 더 포함하며, 메타 데이터는 태양 고도와 태양 방위각을 포함하고, 태양 고도는 약 89 도로 설정되고, 및 태양 방위각은 이미지 데이터 메타 데이터의 태양 방위각으로 설정된다.

실시 예 14에서, 실시 예 11 내지 13 중 적어도 하나는 다음을 더 포함하며, 메타 데이터에는 시간이 포함되고 및 시간은 이미지 데이터의 메타 데이터보다 이전의 시간으로 설정된다.

실시 예 15에서, 실시 예 11 내지 14 중 적어도 하나는 다음을 더 포함하며, 메타 데이터에는 관점 변환의 파라미터 또는 합리적 다항식 투영의 파라미터 및 계수가 포함된다.

예제16은, 기계에 의해 실행될 때, 기계로 하여금 동작을 수행하게 하는 명령을 포함하는 비 일시적 기계 판독 가능 매체에 있어서, 동작은 합성 이미지 데이터를 생성하기 위해 제1 지리적 영역의 3 차원(3D) 포인트 세트를 제2 지리적 영역의 이미지의 이미지 공간에 투영하는 단계, 이미지와 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하는 단계, 식별된 CPs에 기초하여 합성 이미지 데이터의 기하학적 구조를 조정하는 단계, 이미지의 메타 데이터에 기초하여 합성 이미지에 대한 메타 데이터를 결정하는 단계, 및 합성 이미지를 생성하기 위해 결정된 메타 데이터를 합성 이미지 데이터와 연관시키는 단계를 포함한다.

실시예 17에서, 실시예 16은 다음을 더 포함하며, 합성 이미지 및 이미지를 사용하여 변경 검출을 수행하는 것을 더 포함하는 동작을 더 포함한다.

실시 예 18에서, 실시 예 16 또는 17 중 적어도 하나는 다음을 더 포함하며, 제1 및 제1 지리적 영역은 동일하다.

실시 예 19에서, 실시 예 16 내지 18 중 적어도 하나는 다음을 더 포함하며, 제2 지리적 영역은 제1 지리적 영역의 일부에 대응한다.

실시 예 20에서, 실시 예 16 내지 19 중 적어도 하나는 다음을 더 포함하며, 메타 데이터는 센서 위치, 센서 고도, 관점 변환의 파라미터, 태양 고도, 태양 방위각 및 시간의 합리적 다항식 투영의 파라미터 및 계수 중 둘 이상을 포함한다.

특정 실시예를 참조하여 실시예를 설명하였지만, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않고 이러한 실시예에 대해 다양한 수정 및 변경이 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미가 아닌 예시적인 의미로 간주되어야 한다. 본 명세서의 일부를 형성하는 첨부된 도면은 주제가 실시될 수 있는 특정 실시예를 제한이 아닌 예시로서 도시한다. 예시된 실시예는 당업자가 본 명세서에 개시된 교시를 실시할 수 있도록 충분히 상세하게 설명된다. 다른 실시예가 이용되고 그로부터 유도될 수 있어서, 본 개시의 범위를 벗어나지 않고 구조적 및 논리적 대체 및 변경이 이루어질 수 있다. 따라서 이 상세한 설명은 제한적인 의미로 받아들여서는 안되며, 다양한 실시예의 범위는 첨부된 청구 범위에 의해서만 정의되며, 그러한 청구 범위가 부여되는 등가물의 전체 범위와 함께 정의된다.

Claims

합성 이미지 생성 방법에 있어서,
상기 방법은:
합성 이미지 데이터를 생성하기 위해 제1 지리적 영역의 3 차원(3D) 포인트 세트를 제2 지리적 영역의 이미지의 이미지 공간에 투영하는 단계;
상기 이미지와 상기 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하는 단계;
상기 식별된 CPs에 기초하여 상기 합성 이미지 데이터의 기하학적 구조를 조정하는 단계;
상기 이미지의 메타 데이터에 기초하여 상기 합성 이미지에 대한 메타 데이터를 결정하는 단계; 및
상기 합성 이미지를 생성하기 위해 결정된 상기 메타 데이터를 상기 합성 이미지 데이터와 연관시키는 단계
를 포함하는
방법.
제1항에 있어서,
상기 메타 데이터는 센서 위치, 센서 고도, 관점 변환의 파라미터, 합리적 다항식 투영의 파라미터 및 계수, 태양 고도, 태양 방위각 및 시간 중 둘 이상
을 포함하는
방법.
제2항에 있어서,
상기 메타 데이터는 상기 센서 위치 및 상기 센서 고도가 포함하고,
상기 센서 위치는 상기 이미지의 상기 메타 데이터의 센서 위치와 동일하게 설정되고, 및
상기 센서 고도는 상기 이미지의 상기 메타 데이터의 센서 고도와 동일하게 설정되는
방법.
제2항에 있어서,
상기 메타 데이터는 상기 태양 고도와 상기 태양 방위각을 포함하고,
상기 태양 고도는 약 89 도로 설정되고, 및 상기 태양 방위각은 상기 이미지 데이터의 상기 메타 데이터의 태양 방위각으로 설정되는
방법.
제2항에 있어서,
상기 메타 데이터는 시간이 포함되고 및 상기 시간은 상기 이미지 데이터의 상기 메타 데이터보다 이전의 시간으로 설정되는
방법.
제2항에 있어서,
상기 메타 데이터는 관점 변환의 파라미터 또는 합리적 다항식 투영의 파라미터 및 계수를 포함하는
방법.
제1항에 있어서,
상기 합성 이미지 및 상기 이미지를 사용하여 변화 검출을 수행하는 단계
를 더 포함하는
방법.
제1항에 있어서,
상기 제1 및 제2 지리적 영역은 동일한
방법.
제1항에 있어서,
상기 제2 지리적 영역은 상기 제1 지리적 영역의 일부에 대응하는
방법.
합성 이미지 생성 시스템에 있어서,
상기 시스템은:
합성 이미지 데이터를 생성하기 위해 제2 지리적 영역의 이미지의 이미지 공간에 3D 포인트 세트를 투영하고;
상기 이미지와 상기 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하고;
상기 식별된 CPs에 기초하여 합성 이미지 데이터의 기하학적 구조를 조정하고;
상기 이미지의 메타 데이터에 기초하여 상기 합성 이미지에 대한 메타 데이터를 결정하고; 및
상기 합성 이미지를 생성하기 위해 상기 결정된 메타 데이터를 상기 합성 이미지 데이터와 연관시키는
시스템.
제10항에 있어서,
상기 메타 데이터는 센서 위치, 센서 고도, 관점 변환의 파라미터, 합리적 다항식 투영의 파라미터 및 계수, 태양 고도, 태양 방위각 및 시간 중 둘 이상
을 포함하는
시스템.
제11항에 있어서,
상기 메타 데이터에는 상기 센서 위치 및 상기 센서 고도가 포함되고,
상기 센서 위치는 상기 이미지의 상기 메타 데이터의 센서 위치와 동일하게 설정되고, 및
상기 센서 고도는 상기 이미지의 상기 메타 데이터의 센서 고도와 동일하게 설정되는
시스템.
제11항에 있어서,
상기 메타 데이터는 상기 태양 고도와 상기 태양 방위각을 포함하고,
상기 태양 고도는 약 89 도로 설정되고, 및
상기 태양 방위각은 상기 이미지 데이터의 상기 메타 데이터의 태양 방위각으로 설정되는
시스템.
제11항에 있어서,
상기 메타 데이터는 시간이 포함되고 및 상기 시간은 상기 이미지 데이터의 상기 메타 데이터보다 이전의 시간으로 설정되는
시스템.
제11항에 있어서,
상기 메타 데이터에는 관점 변환의 파라미터 또는 합리적 다항식 투영의 파라미터 및 계수가 포함되는
시스템.
기계에 의해 실행될 때, 상기 기계로 하여금 동작을 수행하게 하는 명령을 포함하는 비 일시적 기계 판독 가능 매체에 있어서,
상기 동작은:
합성 이미지 데이터를 생성하기 위해 제1 지리적 영역의 3 차원(3D) 포인트 세트를 제2 지리적 영역의 이미지의 이미지 공간에 투영하는 단계;
상기 이미지와 상기 합성 이미지 데이터 사이의 제어 포인트(CPs)를 식별하는 단계;
상기 식별된 CPs에 기초하여 합성 이미지 데이터의 기하학적 구조를 조정하는 단계;
상기 이미지의 메타 데이터에 기초하여 상기 합성 이미지에 대한 메타 데이터를 결정하는 단계; 및
상기 합성 이미지를 생성하기 위해 상기 결정된 메타 데이터를 상기 합성 이미지 데이터와 연관시키는 단계
를 포함하는
비 일시적 기계 판독 가능 매체.
제16항에 있어서,
상기 동작은 상기 합성 이미지 및 상기 이미지를 사용하여 변화 검출을 수행하는 단계
를 더 포함하는
비 일시적 기계 판독 가능 매체.
제16항에 있어서,
상기 제1 및 제2 지리적 영역은 동일한
비 일시적 기계 판독 가능 매체.
제16항에 있어서,
상기 제2 지리적 영역은 제1 지리적 영역의 일부에 대응하는
비 일시적 기계 판독 가능 매체.
제16항에 있어서,
상기 메타 데이터는 센서 위치, 센서 고도, 관점 변환의 파라미터, 합리적 다항식 투영의 파라미터 및 계수, 태양 고도, 태양 방위각 및 시간 중 둘 이상
을 포함하는
비 일시적 기계 판독 가능 매체.