KR102239562B1 - 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 - Google Patents
항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 Download PDFInfo
- Publication number
- KR102239562B1 KR102239562B1 KR1020190163921A KR20190163921A KR102239562B1 KR 102239562 B1 KR102239562 B1 KR 102239562B1 KR 1020190163921 A KR1020190163921 A KR 1020190163921A KR 20190163921 A KR20190163921 A KR 20190163921A KR 102239562 B1 KR102239562 B1 KR 102239562B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- observation data
- ground
- aerial
- geometric
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 137
- 238000004458 analytical method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 16
- 238000000926 separation method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템이 제공된다.
상기 시스템은 항공 관측 데이터와 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리하는 기하 변환부와, 상기 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터와 지상 관측 데이터 간에 유사도 분석을 수행하여 상기 항공 관측 데이터와 상기 지상 관측 데이터에서 상호 동일하게 추정되는 기준 데이터를 설정하는 유사도 분석부와, 상기 기준 데이터를 기반으로, 상기 관측 데이터들 중 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 상기 항공 관측 데이터의 항공 기하 정보와 상기 지상 관측 데이터의 지상 기하 정보의 적어도 하나에 대한 제 2 기하 변환이 수행되어, 항공 관측 데이터와 지상 관측 데이터 간의 기하 변환 모델의 정합 정보를 추출하는 정합 정보 추출부, 및 상기 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록(registration)하는 데이터 융합부를 포함한다.
상기 시스템은 항공 관측 데이터와 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리하는 기하 변환부와, 상기 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터와 지상 관측 데이터 간에 유사도 분석을 수행하여 상기 항공 관측 데이터와 상기 지상 관측 데이터에서 상호 동일하게 추정되는 기준 데이터를 설정하는 유사도 분석부와, 상기 기준 데이터를 기반으로, 상기 관측 데이터들 중 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 상기 항공 관측 데이터의 항공 기하 정보와 상기 지상 관측 데이터의 지상 기하 정보의 적어도 하나에 대한 제 2 기하 변환이 수행되어, 항공 관측 데이터와 지상 관측 데이터 간의 기하 변환 모델의 정합 정보를 추출하는 정합 정보 추출부, 및 상기 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록(registration)하는 데이터 융합부를 포함한다.
Description
본 발명은 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템에 관한 것으로, 보다 상세하게는 항공 관측 시스템과 지상 관측 시스템과 같은 이종의 플랫폼에서 취득된 관측 데이터의 상호 보완적 보정 방식으로 항공 관측 데이터와 지상 관측 데이터를 정합하여 융합할 수 있는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템에 관한 것이다.
스마트시티, 디지털트윈, 자율주행 등 3차원 공간정보에 대한 수요의 증가에 따라 항공사진, 항공라이다, 모바일매핑시스템 (mobile mapping system), 지상라이다 등 항공, 지상에의 다양한 관측 센서 플랫폼의 활용도 또한 높아졌다.
예를 들어 무인기, 중형항공기 등 항공 관측 센서를 통해 상대적으로 광역 범위를 관측하여 공간정보 데이터를 생성하고, 차량, 로봇, 백팩 형태의 지상 관측을 통해 상대적으로 국소 지역을 정밀도 있게 구축할 수 있다.
그러나, 공간정보 구축에 있어서 관측센서로부터 취득한 위치 정확도는 매우 중요한 요소로 작용한다. 일반적으로는 GNSS/INS (Global Navigation Satellite System / Inertial Navigation System)을 통해 항공 또는 지상 멀티센서 플랫폼의 위치 자세값을 측정하여 관측 데이터에 적용하는 방식을 통해 위치 등록을 수행한다. 이러한 측위 위성 관측을 통한 위치 추정과 관성 및 지자기 관측을 통한 위치 추정 기술은 위성 수신 상태, 관측 센서의 성능, 주위 환경에 따라 위치 정밀도에 오차가 발생하게 된다.
특히, 네트워크와 위성신호 강도가 약할 수 있는 도시지역, 복합 구조물 사이트(complex construction site)에서는 오차가 수직방향에서 수 미터까지 발생할 수 있다
이 때, 위치 정확도를 보정하는 기술로 대류층 상태, 온도, 기압 등 주변 환경 및 센서 요소를 통한 직접 관측을 통한 보정, 지상기준점 기반의 간접 관측을 통한 보정 방식, 연속 관측 데이터를 통한 보정 방식이 있다.
직접 관측 또는 연속 관측 데이터를 통한 보정 방식의 경우에는 환경 및 센서 요소 측정 오차로 인한 오차를 크게 수반하게 되며, 또한 연속 관측 데이터를 통한 보정 방식의 경우에는 누적오차를 수반하게 되어 결과 데이터의 품질을 보장하기 힘들다.
이와 같은 이유로, 공간정보 생성에 있어 관측 데이터 보정은 일반적으로 지상기준점 기반의 보정방식을 주로 택하게 된다.
과거 삼각측량, 수준측량, 삼변측량 등 측량에 있어서 지상기준점을 사용하여 관측 데이터의 보정 뿐 아니라 생성된 공간정보 데이터의 위치 정밀도 또한 추계학적으로 추정 가능하다는 장점이 있다.
그러나, 지상기준점 기반의 보정 방식은 지상기준점을 얻는 것이 시간과 비용이 많이 소모된다는 단점이 있다.
과거 점 기반 측량에 비해 최근 주로 이루어지는 항공 또는 차량 기반 관측 방식의 경우에는 단시간에 광범위한 지역을 관측할 수 있다는 장점이 있지만 그만큼 지상기준점의 개수가 많이 필요하다는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 지면 주변 환경을 정밀하게 구현하는 지상 관측 데이터와 지면으로부터 일정 고도 이상의 광범위한 지역을 관측하는 항공 관측 데이터가 융합됨으로써, 높은 정밀도로 많은 공간 정보를 확보할 수 있는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템을 제공하는데 있다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템은 항공 관측 데이터와 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리하는 기하 변환부와, 상기 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터와 지상 관측 데이터 간에 유사도 분석을 수행하여 상기 항공 관측 데이터와 상기 지상 관측 데이터에서 상호 동일하게 추정되는 기준 데이터를 설정하는 유사도 분석부와, 상기 기준 데이터를 기반으로, 상기 관측 데이터들 중 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 상기 항공 관측 데이터의 항공 기하 정보와 상기 지상 관측 데이터의 지상 기하 정보의 적어도 하나에 대한 제 2 기하 변환이 수행되어, 항공 관측 데이터와 지상 관측 데이터 간의 기하 변환 모델의 정합 정보를 추출하는 정합 정보 추출부, 및 상기 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록(registration)하는 데이터 융합부를 포함한다.
다른 실시예에서, 상기 제 1 기하 변환이 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 어느 하나에 처리되는 경우에, 상기 제 1 기하 변환이 처리되는 관측 데이터는 미처리되는 상기 관측 데이터의 위치 데이터와 상기 관측 데이터의 관측 방향을 정의하는 자세 데이터를 참조하여 처리되며, 상기 제 2 기하 변환은 상기 제 1 기하 변환이 미처리되는 관측 데이터의 상기 위치 데이터와 상기 자세 데이터를 참조하여, 상기 제 1 기하 변환이 처리된 관측 데이터에 대해 수행되고, 상기 제 1 기하 변환이 상기 항공 관측 데이터 및 상기 지상 관측 데이터의 전부에 처리되는 경우에, 상기 제 1 기하 변환은 상기 항공 관측 데이터의 관측 방향을 정의하는 항공용 자세 데이터와 상기 지상 관측 데이터의 관측 방향을 정의하는 지상용 자세 데이터와 상이한 자세 데이터를 참조하여 처리되며, 상기 상이한 자세 데이터를 참조하여, 상기 제 1 기하 변환이 전부 실행된 상기 항공 관측 데이터 및 상기 지상 관측 데이터에 대해 수행될 수 있다.
다른 실시예에서, 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 적어도 어느 하나가 영상 센서로부터 획득되는 경우, 상기 유사도 분석부는 상기 관측 데이터에 속한 지오코딩 영상 데이터 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하며, 특징 기하로 추정되는 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 유사도 분석을 실행하고, 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 적어도 어느 하나가 3차원 측량 센서로부터 상기 관측 데이터를 획득하는 경우, 상기 유사도 분석부는 상기 관측 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 상기 기하 형태 정보를 추출하여 상기 기준 데이터를 설정할 수 있다.
또 다른 실시예에서, 상기 유사도 분석부는 상기 항공 관측 데이터 및 상기 지상 관측 데이터의 일부 위치들 중 적어도 하나에서 관측 검출 정밀도가 검출 임계치보다 낮은 경우에, 상기 관측 검출 임계치보다 낮은 상기 항공 관측 데이터의 항공용 위치 데이터와 상기 검출 임계치보다 낮은 상기 지상 관측 데이터의 지상용 위치 데이터를 참조하여, 상기 기준 데이터를 설정하지 않도록 상기 검출 임계치보다 낮은 위치에 상응하는 상기 항공 관측 데이터 및 상기 지상용 관측 데이터를 필터링할 수 있다.
또한, 상기 정합 정보 추출부는 상기 정합 정보 추출부는 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 어느 하나가 필터링된 위치에서, 상기 관측 검출 임계치보다 높은 상기 관측 데이터의 기하 정보에 대한 제 2 기하 변환이 수행되어, 상기 기하 변환 모델의 정합 정보를 추출할 수 있다.
또 다른 실시예에서, 상기 기준 데이터 기반의 상기 정합 정보를 검증하여 상기 정합 정보를 재추출하는 정합 정보 검증부를 더 포함할 수 있다.
여기서, 상기 정합 정보 검증부는 상기 제 2 기하 변환된 상기 항공 관측 데이터 및 상기 지상 관측 데이터에서 동일 추정된 상기 기준 데이터들 중에서 표본용 특징 기하들을 랜덤 샘플링하여, 상기 표본용 특징 기하들의 상호 이격량이 최소가 되는 상기 표본용 특징 기하와 관련된 정합 정보를 산출하며, 상기 표본용 특징 기하와 관련된 정합 정보로 구성된 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출하고, 상기 데이터 융합부는 상기 재추출된 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록할 수 있다.
다른 예로서, 상기 정합 정보 검증부는 상기 제 2 기하 변환된 상기 항공 관측 데이터 및 상기 지상 관측 데이터에서 동일 추정된 상기 기준 데이터들 간에 이격량을 최소화하는 최확값(most probable value)을 산출하며, 상기 최확값의 산출시에 이용된 최소 이격량에 근거하여 동일 추정된 상기 기준 데이터들 간의 예상 오차 확률을 분석하고, 상기 예상 오차 확률에 따른 예상 오차가 허용 오차보다 초과하는 경우에, 상기 항공 관측 데이터 및 상기 지상 관측 데이터에서 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리, 상기 정합 정보 추출부에서 생성된 상기 기하 변환 모델에서 이상 데이터로 판정되는 기준 데이터를 제거하는 처리, 상기 기하 변환 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리, 및 상기 최확값 산출시에 적용된 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 상기 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행하도록 상기 유사도 분석부 및 상기 정합 정보 추출부를 제어하고, 상기 처리 수행 후의 제약 조건에 따라, 상기 정합 정보 추출부는 상기 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출하고, 상기 데이터 융합부는 상기 재추출된 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록할 수 있다.
또 다른 실시예에서, 상기 항공 관측 데이터가 영상 센서 및 3차원 측량 센서 중 어느 하나로부터 획득되고, 상기 지상 관측 데이터가 상기 항공 관측 데이터의 센서와 다른 이종의 센서로부터 획득되는 경우에, 상기 3차원 측량 센서로부터 획득된 관측 데이터는 점군 데이터가 변환된 가상의 영상 데이터를 이용하고, 상기 3차원 측량 센서와 관련된 상기 관측 데이터의 위치 데이터는 상기 가상의 영상 데이터의 위치 데이터로 정의되며, 상기 관측 데이터의 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다.
또 다른 실시예에서, 상기 기하 변환 모델이 위치 데이터와 관측 방향을 정의하는 자세 데이터로 구성된 외부 기하 데이터와 상기 관측 데이터를 생성하는데 설정된 센서에 정의된 기하 파라미터에 기초로 산출되는 내부 기하 데이터를 이용하는 물리적 센서 모델(physical sensor model)인 경우에, 상기 항공 기하 정보는 적어도 항공용 위치 데이터와 항공용 자세 데이터를 포함하며, 상기 지상 기하 정보는 적어도 지상용 위치 데이터와 지상용 자세 데이터를 포함하고, 상기 기하 변환 모델이 상기 외부 기하 데이터가 아닌 대체 모델 파라미터를 이용하는 대체 센서 모델 (replacement sensor model)인 경우에, 상기 항공 기하 정보 및 상기 지상 기하 정보는 각각 항공용 대체 모델 파라미터 및 지상용 대체 모델 파라미터를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 지면 주변 환경을 정밀하게 구현하는 지상 관측 데이터와 지면으로부터 일정 고도 이상의 광범위한 지역을 관측하는 항공 관측 데이터가 융합됨으로써, 공간 정보 및 이를 기반으로 하는 지도 생성시에 높은 정밀도로 많은 공간 정보를 확보할 수 있다.
또한, 융합을 위해 항공 관측 데이터와 지상 관측 데이터를 상호 유사한 기하 형태로 변환하며, 유사도 분석을 통해 공통으로 추정되는 기준 데이터를 기반으로 양 관측 데이터의 기하 변환 모델을 수립함으로써, 데이터 융합의 정확도를 향상시킬 수 있다.
이에 더하여, 기하 변환 모델의 수립시에 항공 관측 데이터와 지상 관측 데이터의 기준 데이터들 간의 이격량을 최소로 하는 양쪽의 기준 데이터들을 활용함으로써 최적의 정합 정보를 산출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템에 관한 개념 블록도이다.
도 2a 내지 도 2c는 기하 변환부의 다양한 구성예를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템을 이용한 융합 방법에 관한 순서도이다.
도 4는 지면에 대해 연직 방향으로 획득된 정사영상으로서의 항공 관측 데이터 및 지면에 대해 비연직 방향으로 획득된 항공 관측 데이터를 예시한 도면이다.
도 5는 영상 센서, 3차원 측량 센서 및 이들 센서들로 구성된 멀티 센서 플랫폼으로부터 획득된 지상 관측 데이터를 예시한 도면이다.
도 6은 3차원 측량 센서로부터 획득된 관측 데이터가 탑뷰 형태로 기하 변환된 것을 도시한 도면이다.
도 7은 3차원 측량 센서로부터 획득된 관측 데이터에서 기준 데이터를 설정하는 과정을 도시한 도면이다.
도 8은 영상 센서들로부터 획득된 항공 관측 데이터 및 지상 관측 데이터에서 기준 데이터들을 설정하는 과정을 도시한 도면이다.
도 9는 3차원 라이다 센서로부터 획득된 지상 관측 데이터에서 기준 데이터들을 설정하는 과정을 도시한 도면이다.
도 10은 기준 데이터 기반의 정합 정보를 검증하여 정합 정보를 재추출하는 일 실시예에 관한 순서도이다.
도 11은 기준 데이터 기반의 정합 정보를 검증하여 정합 정보를 재추출하는 다른 실시예에 관한 순서도이다.
도 12는 항공 관측 데이터와 지상 관측 데이터가 융합한 것을 예시한 도면이다.
도 2a 내지 도 2c는 기하 변환부의 다양한 구성예를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템을 이용한 융합 방법에 관한 순서도이다.
도 4는 지면에 대해 연직 방향으로 획득된 정사영상으로서의 항공 관측 데이터 및 지면에 대해 비연직 방향으로 획득된 항공 관측 데이터를 예시한 도면이다.
도 5는 영상 센서, 3차원 측량 센서 및 이들 센서들로 구성된 멀티 센서 플랫폼으로부터 획득된 지상 관측 데이터를 예시한 도면이다.
도 6은 3차원 측량 센서로부터 획득된 관측 데이터가 탑뷰 형태로 기하 변환된 것을 도시한 도면이다.
도 7은 3차원 측량 센서로부터 획득된 관측 데이터에서 기준 데이터를 설정하는 과정을 도시한 도면이다.
도 8은 영상 센서들로부터 획득된 항공 관측 데이터 및 지상 관측 데이터에서 기준 데이터들을 설정하는 과정을 도시한 도면이다.
도 9는 3차원 라이다 센서로부터 획득된 지상 관측 데이터에서 기준 데이터들을 설정하는 과정을 도시한 도면이다.
도 10은 기준 데이터 기반의 정합 정보를 검증하여 정합 정보를 재추출하는 일 실시예에 관한 순서도이다.
도 11은 기준 데이터 기반의 정합 정보를 검증하여 정합 정보를 재추출하는 다른 실시예에 관한 순서도이다.
도 12는 항공 관측 데이터와 지상 관측 데이터가 융합한 것을 예시한 도면이다.
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)"및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, "부" 내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터ㅇ프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터 프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터ㅇ프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1모듈을 1프로그램으로 구성해도 되고, 복수 모듈을 1프로그램으로 구성해도 되고, 반대로 1모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황ㅇ상태에 따라 정해지는 것의 의미를 포함해서 이용한다.
또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.
또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.
이하, 도 1 및 도 2c를 참조하여, 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템에 관한 개념 블록도이고, 도 2a 내지 도 2c는 기하 변환부의 다양한 구성예를 도시한 블록도이다.
항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템(100)은 용도에 따라 모바일 맵핑 시스템(Mobile Mapping System) 또는 자율주행용 시스템에 적용될 수 있다.
상기 시스템(100)은 항공 관측 데이터와 지상 관측 데이터를 입력하는 입력부(102), 기하 변환부(104), 유사도 분석부(106), 정합 정보 추출부(108), 정합 정보 검증부(110) 및 데이터 융합부(112)를 포함할 수 있다.
항공 관측 데이터는 공중 이동형 플랫폼에 탑재된 센서들에 의해 획득되며, 지면으로부터 일정 고도 이상에서 촬영된 지면 주변 대상물의 관측 데이터이다. 공중 이동형 플랫폼은 비행기, 글라이더, 헬리콥터, 비행선(non-rigid airship 포함), 열기구, 드론 등 유인 또는 무인 비행체 등일 수 있다.
지상 관측 데이터는 지상 이동형 플랫폼에 탑재된 센서들에 의해 획득된 지면 주변의 대상물의 관측 데이터이다. 지상 이동형 플랫폼은 차량, 로봇, 백팩, 핸드헬드(hand-held), 삼각대 등의 장치 플랫폼일 수 있다.
항공 및 지상 관측 데이터들을 획득하는 센서들은 영상 센서 및 3차원 측량 센서 중 적어도 어느 하나일 수 있으며, 항공 및 지상 이동형 플랫폼에 탑재되는 항법 센서는 측위 정보, 플랫폼의 위치, 자세 및 속도 등의 항법 정보를 검출하여 항법용 관측 데이터를 취득할 수 있다.
영상 센서는 지상 또는 공중 이동형 플랫폼에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상용 관측 데이터를 취득하는 센서이며, 측량용 또는 비측량용 카메라, 스테레오 카메라일 있으며, 이에 제한되지 않는다.
3차원 측량 센서는 플랫폼에 탑재되어 그 주위의 대상물과 관련된 3차원 지리 데이터, 예컨대 지형, 지물 관련 데이터를 획득하여 3차원 측량용 관측 데이터를 취득하는 센서로서, 능동형 원격 탐사용 센서이다. 예를 들어, 3차원 측량 센서(104)는 레이저 또는 초음파 센서 등일 수 있으며, 레이저 센서의 경우, 라이다(Light Detection and Ranging; LiDAR) 센서일 수 있다. 이러한 라이다 센서는 데이터를 취득하고자 하는 대상물에 레이저를 주사하며 대상물로부터 반사되어 복귀하는 전자파의 시차와 에너지 변화를 감지하여 대상물에 대한 거리와 반사 강도를 산출한다.
항법 센서는 위성 항법 장치(GPS)를 통해 플랫폼의 이동 위치를 취득하는 위치 취득 장치와 관성 측정 장치(Inertial Measurement Unit; IMU), 관성 항법 장치(Inertial Navigation System; INS)를 통해 차량의 자세를 취득하는 자세 취득 장치 등으로 구성될 수 있다.
항공 및 지상 관측 데이터는 상술한 센서들로부터 취득된 센서 데이터들에 대해 소정의 처리가 수행되어 다양한 데이터를 포함하도록 생성될 수 있다.
항공 관측 데이터는 항공 기하 정보를 포함할 수 있다. 항공 기하 정보는 정합 정보 추출부(108)에서 활용될 기하 변환 모델의 종류에 따라 상이할 수 있다.
예컨대, 기하 변환 모델이 위치 데이터와 관측 방향을 정의하는 자세 데이터로 구성된 외부 기하 데이터와 관측 데이터를 생성하는데 설정된 센서에 정의된 기하 파라미터에 기초로 산출되는 내부 기하 데이터를 이용하는 물리적 센서 모델(physical sensor model)인 경우에, 항공 기하 정보는 항공용 위치 데이터와 항공용 자세 데이터를 갖는 항공용 외부 기하 데이터와 항공용 내부 기하 데이터를 포함할 수 있다.
기하 변환 모델이 외부 기하 데이터가 아닌, 수학식 1에 적용되는 대체 모델 파라미터를 이용하는 대체 센서 모델(replacement sensor model)인 경우에, 항공 기하 정보는 항공용 대체 모델 파라미터를 포함할 수 있다.
[수학식 1]
지상 관측 데이터도 항공 관측 데이터와 마찬가지로, 기하 변환 모델의 종류에 따라 서로 상이한 지상 기하 정보를 가질 수 있다.
예를 들어, 기하 변환 모델이 물리적 센서 모델인 경우에, 지상 기하 정보는 지상용 위치 데이터와 지상용 자세 데이터를 갖는 지상용 외부 기하 데이터와 지상용 내부 기하 데이터를 포함할 수 있다.
기하 변환 모델이 수학식 1에 적용되는 대체 모델 파라미터를 이용하는 대체 센서 모델(replacement sensor model)인 경우에, 지상 기하 정보는 지상용 대체 모델 파라미터를 포함할 수 있다.
여기서, 항공용 기하 정보 및 지상용 기하 정보가 항공용 및 지상용 대체 모델 파라미터를 사용하는 것은 항공용 및 지상용 외부 기하 데이터가 전혀 존재하지 않거나 불충분, 낮은 정밀도의 데이터 등인 경우이다.
또한, 항공 및 지상 관측 데이터는 전술한 기하 정보, 각 센서의 취득 시간에 대한 시간 정보, 각 센서마다 장치 고유 속성과 관련된 고유 데이터, 3차원 측량 센서에 의해 관측 데이터가 획득되는 경우의 점군 데이터 관련 정보, 영상 센서로부터 관측 데이터가 획득되는 경우의 지오코딩(geocoding) 영상 데이터 관련 정보, 점군 데이터 관련 정보 및 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 근거하여 추출한 대상물의 속성이 추정된 객체 정보를 포함할 수 있다.
내부 기하 데이터는 센서 자체의 고유값으로서, 플랫폼 등의 이동 여부에 관계없이 유지되는 기하 파라미터에 기인하는 각 센서마다의 관측 데이터의 오차이다.
여기서, 영상 센서용 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 적어도 하나일 수 있다. 3차원 측량 센서용 기하 파라미터는 라이다 센서를 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중 적어도 하나일 수 있다. 또한, 항법 센서용 기하 파라미터는 축방향의 스케일 및 축방향의 오프셋 중 적어도 하나일 수 있다.
만약, 영상 센서와 라이다 센서가 조합된 멀티센서 플랫폼의 경우에, 항공 및 지상 관측 데이터는 각 센서마다의 내부 기하 및 센서들이 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하학적 모델링 관련 정보를 포함할 수 있다. 이 경우에, 관측 데이터는 영상 센서 및 3차원 측량 센서로부터 획득된 영상 데이터 및 점군 데이터가 결합하여 융합될 수 있으며, 점군 데이터는 색상 정보를 가질 수 있거나, 영상 정보는 픽셀마다 3차원 위치 좌표를 가질 수 있다.
항공 및 지상 관측 데이터는 센서의 고유 데이터를 포함할 수도 있다. 예를 들어, 영상 센서의 고유 데이터는 센서의 조도, ISO, 셔터속도, 촬영날짜/시간, 시간 동기화정보, 센서 모델, 렌즈 모델, 센서 시리얼번호, 영상파일 이름, 파일 저장 위치 중 적어도 하나를 포함할 수 있다.
3차원 측량 센서의 고유 데이터는 라이다 정보를 예로 들면, 센서의 촬영날짜와 시간, 센서모델, 센서 시리얼 번호, 레이저파장, 레이저강도, 레이저송수신 시간, 레이저 관측 각/거리, 레이저 펄스, 전자적 시간지연, 대기 지연, 센서 온도 중 적어도 하나를 포함할 수 있다.
항법 센서의 고유 데이터는 GNSS/IMU/INS의 센서 모델 정보, GNSS 수신정보, GNSS 위성 정보, GNSS 신호 정보, GNSS 네비게이션 정보, GNSS 신호의 전리층/대류층 신호지연 정보, DOP 정보, 지구 거동정보, 이중/다중 GNSS 장비 정보, GNSS Base Station 정보, Wheel 센서정보, 자이로 센서 Scale/Bias 정보, 가속도계 Scale/Bias 정보, 위치/자세/속도/가속도/각속도/각가속도 정보 및 예상오차량, 항법정보 필터링 모델 및 소거 오차 정보, 촬영날짜/시간, 시간동기화 정보 전부 또는 일부 중 적어도 하나를 포함할 수 있다.
시간 정보는 각 센서의 관측 데이터가 생성되는 시간일 수 있다.
항공 및 지상 관측 데이터는 센서로부터 획득된 센서 데이터와 기하 정보에 기초하여, 3차원 측량 센서에 기반한 3차원 점군 데이터 관련 정보 및 영상 센서에 기반한 지오코딩 영상 데이터 관련 정보를 더 포함할 수 있다.
3차원 점군 데이터 관련 정보는 점군용 3차원 좌표 데이터, 점군용 색상 정보, 점군용 3차원 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 하나를 포함할 수 있다.
지오코딩 영상 데이터 관련 정보는 각 픽셀마다의 지오코딩용 좌표 데이터, 지오코딩용 색상 정보 및 지오코딩용 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 지오코딩용 클래스 정보 중 적어도 하나를 포함할 수 있다.
항공 및 지상 관측 데이터는 3차원 점군 데이터 관련 정보 및 지오 코딩 영상 데이터 관련 정보 중 적어도 하나에 기초하여 추출된 대상물의 속성과 관련되어 추출된 객체 정보를 포함할 수 있다. 객체 정보는 대상물의 종류, 전체 모양, 대상물의 적어도 일부를 구성하는 선, 면, 원, 구 등과 같은 특정 기하학적 형상, 색상, 질감 관련 속성을 포함할 수 있다.
항공 관측 데이터가 영상 센서 및 3차원 측량 센서 중 어느 하나로부터 획득되고, 지상 관측 데이터가 상기 항공 관측 데이터의 센서와 다른 이종의 센서로부터 획득되는 경우에, 입력부(102)는 3차원 측량 센서로부터 획득된 점군 데이터를 가상의 영상 데이터로 변환하고, 관측 데이터의 위치 데이터를 가상의 영상 데이터의 위치 데이터로 정의하며, 관측 데이터의 자세 데이터를 가상의 영상 데이터의 시야 방향으로 정의할 수 있다.
기하 변환부(104)는 항공 관측 데이터와 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리하여 항공 관측 데이터와 지상 관측 데이터는 유사한 기하 형태를 갖도록 변환된다.
기하 변환부(104a, 104c)의 다양한 처리는 도 2a 및 도 2b에서와 같이, 제 1 기하 변환이 처리되는 관측 데이터가 미처리되는 관측 데이터의 기하 정보를 구성하는 위치 데이터와 자세 데이터를 참조하여 제 1 기하 변환이 수행될 수 있다.
예를 들어, 도 2a에서와 같이, 지상 관측 데이터는 지상 기하 변환 모듈(104b)에 의해 기하 변환되나, 항공 관측 데이터는 기하 변환되지 않는다. 이 경우에, 지상 관측 데이터는 항공 관측 데이터의 항공용 위치 데이터, 항공용 자세 데이터, 항공용 내부 기하 데이터 등의 항공 기하 정보를 기반으로 항공 관측 데이터의 기하 형태에 유사하게 변환될 수 있다.
도 2b와 같은 다른 예로서, 항공 관측 데이터는 항공 기하 변환 모듈(104d)에 의해 기하 변환되나, 지상 관측 데이터는 기하 변환되지 않는다. 이 경우에, 항공 관측 데이터는 지상 관측 데이터의 지상용 위치 데이터, 지상용 자세 데이터, 지상용 내부 기하 데이터 등의 지상 기하 정보를 기반으로 지상 관측 데이터의 기하 형태에 유사하게 변환될 수 있다.
또 다른 예로서, 도 2c와 같이 제 1 기하 변환은 항공 기하 변환 모듈(104f) 및 지상 기하 변환 모듈(104g)을 이용하여, 항공 관측 데이터 및 지상 관측 데이터의 전부에 처리되는 경우에, 기하 변환부(104e)는 항공용 자세 데이터와 지상용 자세 데이터와 상이한 자세 데이터를 참조하여 제 1 기하 변환을 처리할 수 있다.
유사도 분석부(106)는 도 2a 내지 도 2c에서와 같이, 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터와 지상 관측 데이터 간에 유사도 분석을 수행하여, 항공 관측 데이터와 지상 관측 데이터에서 상호 동일하게 추정되는 기준 데이터를 설정한다.
항공 관측 데이터 및 지상 관측 데이터 중 적어도 어느 하나가 영상 센서로부터 획득되는 경우, 유사도 분석부(106)는 관측 데이터에 속한 지오코딩 영상 데이터 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하며, 특징 기하로 추정되는 기하 형태 정보를 추출하여 기준 데이터를 설정하는 유사도 분석을 실행할 수 있다.
항공 관측 데이터 및 상기 지상 관측 데이터 중 적어도 어느 하나가 3차원 측량 센서로부터 관측 데이터를 획득하는 경우, 유사도 분석부(106)는 관측 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 상기 기하 형태 정보를 추출하여 기준 데이터를 설정할 수 있다.
또한, 유사도 분석부(106)는 항공 관측 데이터 및 지상 관측 데이터의 일부 위치들 중 적어도 하나에서 관측 검출 정밀도가 검출 임계치보다 낮은 경우에, 검출 임계치보다 낮은 항공용 위치 데이터와 관측 검출 임계치보다 낮은 지상용 위치 데이터를 참조하여, 기준 데이터를 설정하지 않도록 검출 임계치보다 낮은 위치에 상응하는 항공 관측 데이터 및 상기 지상용 관측 데이터를 필터링할 수 있다.
관측 데이터에서 관측 검출 정밀도가 낮게 되는 이유는 센서의 종류에 따라 관측되지 않는 폐색 지역에서의 센서의 관측 데이터의 미획득 내지 불량, 또는, 우천, 강설 및 어두운 상황 등과 같은 센서 관측시의 주변 환경 요인에 기인한다. 폐색 지역 관측과 관련하여, 3차원 측량 센서의 레이저의 직진성으로 인해 도로면과 레이저가 조사되는 건물면 외의 데이터가 확보가 곤란한다. 또한, 항공 관측 데이터의 경우에는 촬영 기하로 인해 건물 측면 데이터가 확보가 곤란하여, 관측 검출 정밀도가 낮다.
이를 극복하기 위해, 유사도 분석부(106)는 위치정보를 기반으로 이종 플랫폼의 관측 데이터 전부서 높은 정밀도 확보가 가능한 지역을 필터링하여 사용할 수 있다.
유사도 분석부(106)는 유사도 분석을 수행하기 전에, 소정의 전처리를 진행할 수 있다.
상술한 전처리는 영상 휘도 조정 전처리, 영상 해상도 조정 전처리, 영상 선명도 조정 전처리, 영상 기하 변환, 영상 좌표계 변환, 관측 및 정사영상 관련 데이터들에서의 객체의 경계선 정보를 추출하는 전처리 중 적어도 어느 하나가 적용될 수 있다. 이러한 전처리는 센서의 고유 데이터, 관측시 환경, 스케일/회전/변위값 등의 관측 기하 특성 차이로 인한 기하 정보, 좌표계, 해상도 등의 변형량을 최소화하여 유사성 분석의 정확도를 향상시키기 위해 실시된다. 예컨대, 항공 관측 데이터의 정사영상은 정오의 맑은 날씨에 취득되며, 지상 관측 데이터의 영상 데이터는 일몰의 우천시에 취득된 경우에, 양 데이터의 해상도가 상이하여 유사성 분석의 오류가 유발될 수 있다. 이를 해소하기 위해, 양 데이터의 해상도를 근접한 값으로 조정하는 전처리가 실시될 수 있다.
유사도 분석부(106)의 동작, 기능에 따르면, 기준 데이터와 관측 관련 데이터의 객체 정보, 예컨대 객체의 종류 또는 특정 기하하적 형상 등의 기하 형태 정보를 활용하여 이들 데이터 간의 유사성을 분석함으로써 정합 정밀도를 향상시킬 수 있다.
정합 정보 추출부(108)는 기준 데이터를 기반으로, 관측 데이터들 중 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터의 항공 기하 정보와 지상 관측 데이터의 지상 기하 정보의 적어도 하나에 대한 제 2 기하 변환이 수행되어, 항공 관측 데이터와 지상 관측 데이터 간의 기하 변환 모델의 정합 정보를 추출한다.
정합 정보 추출부(108)는 기하 변환 모델을 사용하여 정합 정보를 추출할 수 있다. 이 경우에, 기하 변환 모델은 항공 관측 데이터 및 지상 관측 데이터를 획득한 센서의 외부 기하 데이터들 및 내부 기하 데이터를 이용하는 물리적 센서 모델 (physical sensor model)이거나, 외부 기하 데이터들의 사용이 곤란한 경우에, 대체 모델 파라미터로 표현되는 선형식, 다항식, 비례식과 같은 대체 센서 모델 (replacement sensor model)일 수 있다.
이하에서는 정합 정보 추출부(108)가 물리적 센서 모델을 이용하여 정합 정보를 추출하는 실시예를 위주로 설명한다.
도 2a 및 도 2b에서와 같이, 제 1 기하 변환이 항공 관측 데이터 및 지상 관측 데이터 중 어느 하나에 처리되는 경우에, 제 2 기하 변환은 제 1 기하 변환이 미처리되는 관측 데이터의 위치 데이터와 자세 데이터를 참조하여, 제 1 기하 변환이 처리된 관측 데이터에 대해 수행될 수 있다.
이와는 다른 실시예로, 제 2 기하 변환은 제 1 기하 변환이 처리된 관측 데이터와 미처리된 관측 데이터와 전혀 상이한 자세 데이터 등의 기하 정보를 참조하여, 양 관측 데이터에 대해 실행될 수도 있다.
도 2c에서와 같이, 제 1 기하 변환이 항공 관측 데이터 및 지상 관측 데이터의 전부에 처리되는 경우에, 제 1 기하 변환에서 활용된 상이한 자세 데이터를 참조하여, 제 1 기하 변환이 전부 실행된 항공 관측 데이터 및 지상 관측 데이터에 대해 모두 수행될 수 있다.
정합 정보 추출부(108)는 항공 관측 데이터 및 지상 관측 데이터 중 어느 하나가 필터링된 위치에서, 관측 검출 임계치보다 높은 상기 관측 데이터의 기하 정보에 대한 제 2 기하 변환이 수행되어, 기하 변환 모델의 정합 정보를 추출할 수 있다.
정합 정보 추출부(108)는 기하 변환 모델링에 의해 설정된 좌표계에 근거하여, 기준 데이터, 항공 및 지상 관측 데이터 간의 기하 변환 모델을 생성한다.
구체적으로, 정합 정보 추출부(108)는 항공용, 지상용 외부 기하 데이터 및 항공용, 지상용 내부 기하 데이터로 구성된 항공, 지상 기하 정보에 기초하여 기준 데이터와 관측 데이터 간의 기하 변환 모델을 생성할 수 있다. 또한, 설정된 좌표계는 미처리된 관측 데이터의 좌표계, 상이한 자세 데이터에 근거한 좌표계 및 절대 좌표계 중 어느 하나로 설정될 수 있다. 이에 의해, 관측 관련 데이터를 표준화된 좌표계로 변환하여 보정할 수 있다.
이와 다른 실시예로서, 정합 정보 추출부(108)는 기하 정보 중 항공, 지상 외부 기하 데이터에 기초하여 기준 데이터들 간의 기하 변환 모델을 생성할 수 있다. 항공 관측 데이터와 지상 관측 데이터를 취득한 센서의 위치와 자세가 서로 상이한 점을 감안하여, 기하 변환 모델 생성시에 외부 기하가 우선적으로 활용될 수 있다.
정합 정보 추출부(108)는 복수의 파라미터가 적용되는 기하 모델을 통해 관측 관련 데이터와의 이격량이 최소화되는 목적함수를 산출할 수 있다.
유사도 분석부(106)에서 항공 관측 데이터와 지상 관측 데이터 양쪽의 관측 검출 정밀도가 전부 검출 임계치보다 낮아 전부 필터링되더라도, 정합 정보 추출부(108)는 검출 임계치보다 낮으나 관측 검출 정밀도가 높은 관측 데이터에 대해 제 2 기하 변환을 수행하여 기하 변환 모델을 수립하고, 잔류한 관측 데이터에 대한 정합 정보를 추출할 수 있다.
정합 정보 검증부(110)는 기준 데이터 기반의 상기 정합 정보를 검증하여 상기 정합 정보를 재추출할 수 있다.
정합 정보 검증부(110)는 2 가지 방식으로 진행될 수 있으며, 기준 데이터들에 대한 랜덤 샘플링 방식과 예상 오차 분석 방식일 수 있다.
랜덤 샘플링 방식에 의히면, 정합 정보 검증부(110)는 제 2 기하 변환된 항공 관측 데이터 및 지상 관측 데이터에서 동일 추정된 기준 데이터들 중에서 표본용 특징 기하들을 랜덤 샘플링하여, 표본용 특징 기하들의 상호 이격량이 최소가 되는 표본용 특징 기하와 관련된 정합 정보를 산출한다. 정합 정보 검증부(110)는 표본용 특징 기하와 관련된 정합 정보로 구성된 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출하여 데이터 융합부(112)에 전달한다.
구체적으로, 정합 정보 검증부(110)는 동일 추정되는 표본용 특징 기하마다 이를 공유하는 항공 및 영상 관측 데이터들을 복수로 샘플링한다. 이러한 샘플링 세트는 서로 상이한 표준용 특징 기하 별로 복수로 획득한다. 이와 동시에, 표본용 특징 기하와 동일 추정되는 특징 기하를 갖는 기준 데이터를 연동하여 선별한다. 이어서, 동일 추정되는 표본용 특징 기하들을 공유하는 항공, 지상 관측 데이터들과 기준 데이터를 제 2 기하 변환된 기하 정보에 따라 배열하는 경우에, 항공, 지상 관측 데이터들의 표본용 특징 기하들과 기준 데이터의 특징 기하에서 상호 이격량이 최소로 판단되는 관측 데이터들의 표본용 특징 기하를 선별한다. 이러한 표본용 특징 기하가 기준 데이터로 재선별되어 이와 관련된 정합 정보가 재추출된다.
예상 오차 분석 방식에 의하면, 정합 정보 검증부(110)는 제 2 기하 변환된 항공 관측 데이터 및 지상 관측 데이터에서 동일 추정된 상기 기준 데이터들 간에 이격량을 최소화하는 최확값을 산출하며, 최확값의 산출시에 이용된 최소 이격량에 근거하여 동일 추정된 기준 데이터들 간의 예상 오차 확률을 분석한다.
최확값은 소정의 해석 모델식로 산출되며, 이 모델식에는 복수의 파라미터 중 일부 파라미터가 적용될 수 있다.
이와 같이 산출된 최확값을 산출함으로써, 기준 데이터를 이용한 항공 및 지상 관측 데이터의 기하 보정이 수행되며, 이에 기한 보정은 기준 데이터를 기하 변환 모델에 적용한 결과와 기준 데이터와 대응하는 관측 데이터의 기하 오차량을 분석하여, 기하 오차량이 최소 또는 최적화되는 파라미터를 최확값으로 산출하는 과정이다.
최확값은 외부 기하, 내부 기하의 오차 정보 중 적어도 어느 하나일 수 있다. 또한, 최확값은 전술한 정보 및 점군 데이터 관련 정보, 지오코딩 영상 데이터 관련 정보, 객체 정보, 지도 관련 정보 중 적어도 하나에 의해 생성된 기하 형태 정보의 오차 정보 중 적어도 어느 하나로 산출될 수 있다.
정합 정보 검증부(110)는 예상 오차 확률에 따른 예상 오차가 허용 오차보다 초과하는 경우에, 항공 관측 데이터 및 상기 지상 관측 데이터에서 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리, 정합 정보 추출부(108)에서 생성된 기하 변환 모델에서 이상 데이터로 판정되는 기준 데이터를 제거하는 처리, 기하 변환 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리, 및 최확값 산출시에 적용된 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행할 수 있다. 정합 정보 검증부(110)는 상술한 처리를 수행하도록 유사도 분석부(106) 및 정합 정보 추출부(108)를 제어할 수 있으며, 상기 처리 수행 후의 제약 조건에 따라, 정합 정보 추출부(108)는 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출할 수 있다.
데이터 융합부(112)는 재추출된 정합 정보에 기초하여 제 2 기하 변환된 항공 관측 데이터와 지상 관측 데이터를 기하 변환 모델에서 규정한 동일 좌표계의 융합 데이터로 등록한다(register).
동일 좌표계 내의 동일 위치마다 항공 관측 데이터와 지상 관측 데이터에 속한 다양한 정보들이 등록되어, 항공 관측 데이터와 지상 관측 데이터 중 정밀도가 높은 위치 데이터로 특정 위치 정보를 정확하게 파악할 수 있을 뿐만 아니라, 다양항 정보로 구성된 공간 정보를 구현하는데 유익하다.
본 실시예에서는 정합 정보 검증부(110)에 의해 재추출된 정합 정보에 기초하여 양 관측 데이터를 융합하는 것을 위주로 설명하였으나, 정합 정보 검증부(110)가 생략되는 경우에, 정합 정보 추출부(108)에서 추출된 정합 정보에 근거하여 양 관측 데이터가 융합될 수 있다.
본 실시예에 따르면, 지면 주변 환경을 정밀하게 구현하는 지상 관측 데이터와 지면으로부터 일정 고도 이상의 광범위한 지역을 관측하는 항공 관측 데이터가 융합됨으로써, 공간 정보 및 이를 기반으로 하는 지도 생성시에 높은 정밀도로 많은 공간 정보를 확보할 수 있다.
또한, 융합을 위해 항공 관측 데이터와 지상 관측 데이터를 상호 유사한 기하 형태로 변환하며, 유사도 분석을 통해 공통으로 추정되는 기준 데이터를 기반으로 양 관측 데이터의 기하 변환 모델을 수립함으로써, 데이터 융합의 정확도를 향상시킬 수 있다.
이에 더하여, 기하 변환 모델의 수립시에 항공 관측 데이터와 지상 관측 데이터의 기준 데이터들 간의 이격량을 최소로 하는 양쪽의 기준 데이터들을 활용함으로써 최적의 정합 정보를 산출할 수 있다.
이하, 도 1 내지 도 12을 참조하여, 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템을 이용한 융합 방법에 대해 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템을 이용한 융합 방법에 관한 순서도이다.
도 4는 지면에 대해 연직 방향으로 획득된 정사영상으로서의 항공 관측 데이터 및 지면에 대해 비연직 방향으로 획득된 항공 관측 데이터를 예시한 도면이며, 도 5는 영상 센서, 3차원 측량 센서 및 이들 센서들로 구성된 멀티 센서 플랫폼으로부터 획득된 지상 관측 데이터를 예시한 도면이다.
도 6은 3차원 측량 센서로부터 획득된 관측 데이터에서 기준 데이터를 설정하는 과정을 도시한 도면이고, 도 7은 영상 센서들로부터 획득된 항공 관측 데이터 및 지상 관측 데이터에서 기준 데이터들을 설정하는 과정을 도시한 도면이다. 도 8은 3차원 라이다 센서로부터 획득된 지상 관측 데이터에서 기준 데이터들을 설정하는 과정을 도시한 도면이다. 도 9는 3차원 측량 센서로부터 획득된 관측 데이터가 탑뷰 형태로 기하 변환된 것을 도시한 도면이다.
먼저, 입력부(102)로부터 수신된 항공 관측 데이터 및 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리한다(S305).
항공 및 지상 관측 데이터는 영상 센서, 3차원 측량 센서 중 적어도 어느 하나와 항법 센서들로부터 취득된 센서 데이터들에 대해 소정의 처리가 수행되어 다양한 데이터를 포함하도록 생성될 수 있다.
영상 센서에 의한 항공 관측 데이터는 도 4(a)와 같이 지면에 연직 방향으로 촬영된 정사영상 및/또는 도 4(b)와 같이 지면에 대한 비연직 방향으로 촬영된 영상일 수 있다.
지상 관측 데이터는 도 5(a)와 같이 지면에서 상방을 향한 방향의 영상 데이터, 도 5(b)와 같이 3차원 측량 센서에 의한 점군 데이터, 또는, 영상 센서와 3차원 측량 센서의 멀티 센서 플랫폼으로 획득된 영상 데이터와 점군 데이터가 결합된 데이터일 수도 있다.
항공 관측 데이터는 항공 기하 정보를 포함할 수 있다. 항공 기하 정보는 정합 정보 추출부(108)에서 활용될 기하 변환 모델의 종류에 따라 상이할 수 있다.
예컨대, 기하 변환 모델이 물리적 센서 모델인 경우에, 항공 기하 정보는 항공용 위치 데이터와 항공용 자세 데이터를 갖는 항공용 외부 기하 데이터와 항공용 내부 기하 데이터를 포함할 수 있다. 기하 변환 모델이 수학식 1에 적용되는 대체 모델 파라미터를 이용하는 대체 센서 모델인 경우에, 항공 기하 정보는 항공용 대체 모델 파라미터를 포함할 수 있다.
지상 관측 데이터도 항공 관측 데이터와 마찬가지로, 기하 변환 모델의 종류에 따라 서로 상이한 지상 기하 정보를 가질 수 있다. 예컨대, 기하 변환 모델이 물리적 센서 모델인 경우에, 지상 기하 정보는 지상용 위치 데이터와 지상용 자세 데이터를 갖는 지상용 외부 기하 데이터와 지상용 내부 기하 데이터를 포함할 수 있다. 기하 변환 모델이 수학식 1에 적용되는 대체 모델 파라미터를 이용하는 대체 센서 모델인 경우에, 지상 기하 정보는 지상용 대체 모델 파라미터를 포함할 수 있다.
또한, 항공 및 지상 관측 데이터는 전술한 기하 정보, 각 센서의 취득 시간에 대한 시간 정보, 각 센서마다 장치 고유 속성과 관련된 고유 데이터, 3차원 측량 센서에 의해 관측 데이터가 획득되는 경우의 점군 데이터 관련 정보, 영상 센서로부터 관측 데이터가 획득되는 경우의 지오코딩(geocoding) 영상 데이터 관련 정보, 점군 데이터 관련 정보 및 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 근거하여 추출한 대상물의 속성이 추정된 객체 정보를 포함할 수 있다.
내부 기하 데이터는 센서 자체의 고유값으로서, 플랫폼 등의 이동 여부에 관계없이 유지되는 기하 파라미터에 기인하는 각 센서마다의 관측 데이터의 오차이다.
항공 및 지상 관측 데이터는 센서로부터 획득된 센서 데이터와 기하 정보에 기초하여, 3차원 측량 센서에 기반한 3차원 점군 데이터 관련 정보 및 영상 센서에 기반한 지오코딩 영상 데이터 관련 정보를 더 포함할 수 있다.
3차원 점군 데이터 관련 정보는 점군용 3차원 좌표 데이터, 점군용 색상 정보, 점군용 3차원 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 하나를 포함할 수 있다.
지오코딩 영상 데이터 관련 정보는 각 픽셀마다의 지오코딩용 좌표 데이터, 지오코딩용 색상 정보 및 지오코딩용 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 지오코딩용 클래스 정보 중 적어도 하나를 포함할 수 있다.
항공 및 지상 관측 데이터는 3차원 점군 데이터 관련 정보 및 지오 코딩 영상 데이터 관련 정보 중 적어도 하나에 기초하여 추출된 대상물의 속성과 관련되어 추출된 객체 정보를 포함할 수 있다.
항공 관측 데이터가 영상 센서 및 3차원 측량 센서 중 어느 하나로부터 획득되고, 지상 관측 데이터가 상기 항공 관측 데이터의 센서와 다른 이종의 센서로부터 획득되는 경우에, 입력부(102)는 3차원 측량 센서로부터 획득된 점군 데이터를 레이저의 반사강도값 또는 고도값에 기초하여 가상의 영상 데이터로 변환하고, 관측 데이터의 위치 데이터를 가상의 영상 데이터의 위치 데이터로 정의하며, 관측 데이터의 자세 데이터를 가상의 영상 데이터의 시야 방향으로 정의할 수 있다.
기하 변환부(104)는 항공 관측 데이터와 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리하여 항공 관측 데이터와 지상 관측 데이터는 유사한 기하 형태를 갖도록 변환된다.
기하 변환부(104a, 104c)의 다양한 처리는 도 2a 및 도 2b에서와 같이, 제 1 기하 변환이 처리되는 관측 데이터가 미처리되는 관측 데이터의 기하 정보를 구성하는 위치 데이터와 자세 데이터를 참조하여 제 1 기하 변환이 수행될 수 있다.
예를 들어, 도 2a에서와 같이, 지상 관측 데이터는 지상 기하 변환 모듈(104b)에 의해 기하 변환되나, 항공 관측 데이터는 기하 변환되지 않는다. 이 경우에, 지상 관측 데이터는 항공 관측 데이터의 항공용 위치 데이터, 항공용 자세 데이터, 항공용 내부 기하 데이터 등의 항공 기하 정보를 기반으로, 도 6과 같이, 항공 관측 데이터의 정사영상의 기하 형태로 유사하게 변환될 수 있다. 도 6은 3차원 측량 센서로부터 획득된 관측 데이터가 탑뷰 형태로 기하 변환된 것을 도시한 도면이다.
도 2b의 다른 예로서, 항공 관측 데이터는 항공 기하 변환 모듈(104d)에 의해 기하 변환되나, 지상 관측 데이터는 기하 변환되지 않는다. 이 경우에, 항공 관측 데이터는 지상 관측 데이터의 지상용 위치 데이터, 지상용 자세 데이터, 지상용 내부 기하 데이터 등의 지상 기하 정보를 기반으로 지상 관측 데이터의 기하 형태에 유사하게 변환될 수 있다.
또 다른 예로서, 도 2c와 같이 제 1 기하 변환은 항공 기하 변환 모듈(104f) 및 지상 기하 변환 모듈(104g)을 이용하여, 항공 관측 데이터 및 지상 관측 데이터의 전부에 처리되는 경우에, 기하 변환부(104e)는 항공용 자세 데이터와 지상용 자세 데이터와 상이한 자세 데이터를 참조하여 제 1 기하 변환을 처리할 수 있다.
예컨대, 도 4(b)와 같이 비연직 방향의 항공 관측 데이터와 도 5(a)의 지상 관측 데이터의 제 1 기하 변환은 도 2c의 예와 같이, 상이한 자세 데이터로서 도 4(a)의 정사영상의 자세 데이터를 참조하여 구현될 수 있다.
다음으로, 유사도 분석부(106)는 도 2a 내지 도 2c에서와 같이, 적어도 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터와 지상 관측 데이터 간에 유사도 분석을 수행하여 항공 관측 데이터와 지상 관측 데이터에서 상호 동일하게 추정되는 기준 데이터를 설정한다(S310).
항공 관측 데이터 및 지상 관측 데이터 중 적어도 어느 하나가 영상 센서로부터 획득되는 경우, 유사도 분석부(106)는 도 8과 같이, 관측 데이터에 속한 지오코딩 영상 데이터 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하며, 특징 기하로 추정되는 기하 형태 정보를 추출하여 기준 데이터를 설정하는 유사도 분석을 실행할 수 있다.
항공 관측 데이터 및 상기 지상 관측 데이터 중 적어도 어느 하나가 3차원 측량 센서로부터 관측 데이터를 획득하는 경우, 유사도 분석부(106)는 도 7, 도 9와 같이, 관측 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 상기 기하 형태 정보를 추출하여 기준 데이터를 설정할 수 있다.
상술한 기하 형태 정보는 정합이 용이한 선, 폴리라인(polyline), 면, 기둥, 구 등과 같은 단순한 형상 또는 도로의 차선, 노면 표시 등의 객체 등일 수 있다.
또한, 유사도 분석부(106)는 항공 관측 데이터 및 지상 관측 데이터의 일부 위치들 중 적어도 하나에서 관측 검출 정밀도가 검출 임계치보다 낮은 경우에, 검출 임계치보다 낮은 항공용 위치 데이터와 관측 검출 임계치보다 낮은 지상용 위치 데이터를 참조하여, 기준 데이터를 설정하지 않도록 검출 임계치보다 낮은 위치에 상응하는 항공 관측 데이터 및 상기 지상용 관측 데이터를 필터링할 수 있다.
유사도 분석부(106)는 유사도 분석을 수행하기 전에, 도 1을 통해 이미 언급한 전처리를 진행할 수 있다.
다음으로, 정합 정보 추출부(108)는 기준 데이터를 기반으로, 관측 데이터들 중 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터의 항공용 기하 정보와 지상 관측 데이터의 지상용 기하 정보의 적어도 하나에 대한 제 2 기하 변환이 수행되어, 항공 관측 데이터와 지상 관측 데이터 간의 기하 변환 모델의 정합 정보를 추출한다(S315).
정합 정보 추출부(108)는 기하 변환 모델을 사용하여 정합 정보를 추출할 수 있다. 이 경우에, 기하 변환 모델은 물리적 센서 모델이거나, 외부 기하 데이터들의 사용이 곤란한 경우에, 수학식 1에 나타난 바와 같이, 대체 모델 파라미터로 표현되는 선형식, 다항식, 비례식과 같은 대체 센서 모델일 수 있다.
이하에서는 정합 정보 추출부(108)가 물리적 센서 모델을 이용하여 정합 정보를 추출하는 실시예를 위주로 설명한다.
도 2a 및 도 2b에서와 같이, 제 1 기하 변환이 항공 관측 데이터 및 지상 관측 데이터 중 어느 하나에 처리되는 경우에, 제 2 기하 변환은 제 1 기하 변환이 미처리되는 관측 데이터의 위치 데이터와 자세 데이터를 참조하여, 제 1 기하 변환이 처리된 관측 데이터에 대해 수행될 수 있다.
이와는 다른 실시예로, 제 2 기하 변환은 제 1 기하 변환이 처리된 관측 데이터와 미처리된 관측 데이터와 전혀 상이한 자세 데이터 등의 기하 정보를 참조하여, 양 관측 데이터에 대해 실행될 수도 있다.
도 2c에서와 같이, 제 1 기하 변환이 항공 관측 데이터 및 지상 관측 데이터의 전부에 처리되는 경우에, 제 1 기하 변환에서 활용된 상이한 자세 데이터를 참조하여, 제 1 기하 변환이 전부 실행된 항공 관측 데이터 및 지상 관측 데이터에 대해 수행될 수 있다.
정합 정보 추출부(108)는 항공 관측 데이터 및 지상 관측 데이터 중 어느 하나가 필터링된 위치에서, 관측 검출 임계치보다 높은 상기 관측 데이터의 기하 정보에 대한 제 2 기하 변환이 수행되어, 기하 변환 모델의 정합 정보를 추출할 수 있다.
정합 정보 추출부(108)는 물리적 센서 모델에 따른 기하 변환 모델을 사용할 때, 항공 관측 데이터 및 지상 관측 데이터를 획득한 센서의 외부 기하 데이터들 및 내부 기하 데이터를 활용할 수 있다.
유사도 분석부(106)에서 항공 관측 데이터와 지상 관측 데이터 양쪽의 관측 검출 정밀도가 전부 검출 임계치보다 낮아 전부 필터링되더라도, 정합 정보 추출부(108)는 검출 임계치보다 낮으나 관측 검출 정밀도가 높은 관측 데이터에 대해 제 2 기하 변환을 수행하여 기하 변환 모델을 수립하고, 잔류한 관측 데이터에 대한 정합 정보를 추출할 수 있다.
정합 정보 검증부(110)는 기준 데이터 기반의 정합 정보를 검증하여 상기 정합 정보를 재추출한다(S320).
정합 정보 검증부(110)는 2 가지 방식으로 진행될 수 있으며, 기준 데이터들에 대한 랜덤 샘플링 방식과 예상 오차 분석 방식일 수 있다.
도 10은 기준 데이터 기반의 정합 정보를 검증하여 정합 정보를 재추출하는 일 실시예에 관한 순서도이며, 도 11은 기준 데이터 기반의 정합 정보를 검증하여 정합 정보를 재추출하는 다른 실시예에 관한 순서도이다.
도 10에 따른 랜덤 샘플링 방식에 의히면, 정합 정보 검증부(110)는 제 2 기하 변환된 항공 관측 데이터 및 지상 관측 데이터에서 동일 추정된 기준 데이터들 중에서 표본용 특징 기하들을 랜덤 샘플링하여, 표본용 특징 기하들의 상호 이격량이 최소가 되는 표본용 특징 기하와 관련된 정합 정보를 산출한다(S1005).
다음으로, 정합 정보 검증부(110)는 표본용 특징 기하와 관련된 정합 정보로 구성된 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출하여 데이터 융합부(112)에 전달한다(S1010).
구체적으로, 정합 정보 검증부(110)는 동일 추정되는 표본용 특징 기하마다 이를 공유하는 항공 및 영상 관측 데이터들을 복수로 샘플링한다. 이러한 샘플링 세트는 서로 상이한 표준용 특징 기하 별로 복수로 획득한다. 이와 동시에, 표본용 특징 기하와 동일 추정되는 특징 기하를 갖는 기준 데이터를 연동하여 선별한다. 이어서, 동일 추정되는 표본용 특징 기하들을 공유하는 항공, 지상 관측 데이터들과 기준 데이터를 제 2 기하 변환된 기하 정보에 따라 배열하는 경우에, 항공, 지상 관측 데이터들의 표본용 특징 기하들과 기준 데이터의 특징 기하에서 상호 이격량이 최소로 판단되는 관측 데이터들의 표본용 특징 기하를 선별한다. 이러한 표본용 특징 기하가 기준 데이터로 재선별되어 이와 관련된 정합 정보가 재추출된다.
다른 실시예로서 도 11에 따른 예상 오차 분석 방식에 의하면, 정합 정보 검증부(110)는 제 2 기하 변환된 항공 관측 데이터 및 지상 관측 데이터에서 동일 추정된 상기 기준 데이터들 간에 이격량을 최소화하는 최확값을 산출한다(S1105).
최확값의 산출시에 이용된 최소 이격량에 근거하여 동일 추정된 기준 데이터들 간의 예상 오차 확률을 분석한다(S1110).
최확값은 소정의 해석 모델식로 산출되며, 이 모델식에는 복수의 파라미터 중 일부 파라미터가 적용될 수 있다.
이와 같이 산출된 최확값을 산출함으로써, 기준 데이터를 이용한 항공 및 지상 관측 데이터의 기하 보정이 수행되며, 이에 기한 보정은 기준 데이터를 기하 변환 모델에 적용한 결과와 기준 데이터와 대응하는 관측 데이터의 기하 오차량을 분석하여, 기하 오차량이 최소 또는 최적화되는 파라미터를 최확값으로 산출하는 과정이다.
최확값은 외부 기하, 내부 기하의 오차 정보 중 적어도 어느 하나일 수 있다. 또한, 최확값은 전술한 정보 및 점군 데이터 관련 정보, 지오코딩 영상 데이터 관련 정보, 객체 정보, 지도 관련 정보 중 적어도 하나에 의해 생성된 기하 형태 정보의 오차 정보 중 적어도 어느 하나로 산출될 수 있다.
이어서, 정합 정보 검증부(110)는 예상 오차 확률에 따른 예상 오차가 허용 오차보다 초과하는 경우에(S1115의 Y), 제 2 기하 변환에 적용되는 기하 변환 모델에 따른 정합 정보 추출 프로세스의 제약 조건을 변경한다(S1120).
제약 조건의 변경과 관련하여, 항공 관측 데이터 및 상기 지상 관측 데이터에서 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리, 정합 정보 추출부(108)에서 생성된 기하 변환 모델에서 이상 데이터로 판정되는 기준 데이터를 제거하는 처리, 기하 변환 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리, 및 최확값 산출시에 적용된 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행할 수 있다. 정합 정보 검증부(110)는 상술한 처리를 수행하도록 유사도 분석부(106) 및 정합 정보 추출부(108)를 제어할 수 있으며, 상기 처리 수행 후의 제약 조건에 따라, 정합 정보 추출부(108)는 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출할 수 있다.
다음으로, 데이터 융합부(112)는 재추출된 정합 정보에 기초하여 제 2 기하 변환된 항공 관측 데이터와 지상 관측 데이터를 기하 변환 모델에서 규정한 동일 좌표계의 융합 데이터로 등록한다(register).
도 12는 항공 관측 데이터와 지상 관측 데이터가 융합한 것을 예시한 도면이다.
동일 좌표계 내의 동일 위치마다 항공 관측 데이터와 지상 관측 데이터에 속한 다양한 정보들이 등록되어, 도 12와 같이, 항공 관측 데이터와 지상 관측 데이터 중 정밀도가 높은 위치 데이터로 특정 위치 정보을 비롯한 객체 정보 등을 정확하게 파악할 수 있을 뿐만 아니라, 다양항 정보로 구성된 공간 정보를 구현하는데 유익하다.
도 1에 도시된 시스템(100)을 성하는 구성요소 또는 도 3, 도 10, 도 11에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, 모바일 디바이스 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.
또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
Claims (10)
- 항공 관측 데이터와 지상 관측 데이터 중 적어도 어느 하나에 대해 제 1 기하 변환을 처리하는 기하 변환부;
상기 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 항공 관측 데이터와 지상 관측 데이터 간에 유사도 분석을 수행하여 상기 항공 관측 데이터와 상기 지상 관측 데이터에서 상호 동일하게 추정되는 기준 데이터를 설정하는 유사도 분석부;
상기 기준 데이터를 기반으로, 상기 관측 데이터들 중 적어도 어느 하나에 대해 제 1 기하 변환이 처리된 상기 항공 관측 데이터의 항공 기하 정보와 상기 지상 관측 데이터의 지상 기하 정보의 적어도 하나에 대한 제 2 기하 변환이 수행되어, 항공 관측 데이터와 지상 관측 데이터 간의 기하 변환 모델의 정합 정보를 추출하는 정합 정보 추출부; 및
상기 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록(registration)하는 데이터 융합부를 포함하고,
상기 유사도 분석부는 상기 항공 관측 데이터 및 상기 지상 관측 데이터의 일부 위치들 중 적어도 하나에서 관측 검출 정밀도가 검출 임계치보다 낮은 경우에, 상기 관측 검출 임계치보다 낮은 상기 항공 관측 데이터의 항공용 위치 데이터와 상기 검출 임계치보다 낮은 상기 지상 관측 데이터의 지상용 위치 데이터를 참조하여, 상기 기준 데이터를 설정하지 않도록 상기 검출 임계치보다 낮은 위치에 상응하는 상기 항공 관측 데이터 및 상기 지상용 관측 데이터를 필터링하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 1 항에 있어서,
상기 제 1 기하 변환이 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 어느 하나에 처리되는 경우에, 상기 제 1 기하 변환이 처리되는 관측 데이터는 미처리되는 상기 관측 데이터의 위치 데이터와 상기 관측 데이터의 관측 방향을 정의하는 자세 데이터를 참조하여 처리되며, 상기 제 2 기하 변환은 상기 제 1 기하 변환이 미처리되는 관측 데이터의 상기 위치 데이터와 상기 자세 데이터를 참조하여, 상기 제 1 기하 변환이 처리된 관측 데이터에 대해 수행되고,
상기 제 1 기하 변환이 상기 항공 관측 데이터 및 상기 지상 관측 데이터의 전부에 처리되는 경우에, 상기 제 1 기하 변환은 상기 항공 관측 데이터의 관측 방향을 정의하는 항공용 자세 데이터와 상기 지상 관측 데이터의 관측 방향을 정의하는 지상용 자세 데이터와 상이한 자세 데이터를 참조하여 처리되며, 상기 상이한 자세 데이터를 참조하여, 상기 제 1 기하 변환이 전부 실행된 상기 항공 관측 데이터 및 상기 지상 관측 데이터에 대해 수행되는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 1 항에 있어서,
상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 적어도 어느 하나가 영상 센서로부터 획득되는 경우, 상기 유사도 분석부는 상기 관측 데이터에 속한 지오코딩 영상 데이터 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하며, 특징 기하로 추정되는 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 유사도 분석을 실행하고, 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 적어도 어느 하나가 3차원 측량 센서로부터 상기 관측 데이터를 획득하는 경우, 상기 유사도 분석부는 상기 관측 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 상기 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 삭제
- 제 1 항에 있어서,
상기 정합 정보 추출부는 상기 항공 관측 데이터 및 상기 지상 관측 데이터 중 어느 하나가 필터링된 위치에서, 상기 관측 검출 임계치보다 높은 상기 관측 데이터의 기하 정보에 대한 제 2 기하 변환이 수행되어, 상기 기하 변환 모델의 정합 정보를 추출하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 1 항에 있어서,
상기 기준 데이터 기반의 상기 정합 정보를 검증하여 상기 정합 정보를 재추출하는 정합 정보 검증부를 더 포함하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 6 항에 있어서,
상기 정합 정보 검증부는 상기 제 2 기하 변환된 상기 항공 관측 데이터 및 상기 지상 관측 데이터에서 동일 추정된 상기 기준 데이터들 중에서 표본용 특징 기하들을 랜덤 샘플링하여, 상기 표본용 특징 기하들의 상호 이격량이 최소가 되는 상기 표본용 특징 기하와 관련된 정합 정보를 산출하며, 상기 표본용 특징 기하와 관련된 정합 정보로 구성된 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출하고,
상기 데이터 융합부는 상기 재추출된 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 6 항에 있어서,
상기 정합 정보 검증부는 상기 제 2 기하 변환된 상기 항공 관측 데이터 및 상기 지상 관측 데이터에서 동일 추정된 상기 기준 데이터들 간에 이격량을 최소화하는 최확값(most probable value)을 산출하며, 상기 최확값의 산출시에 이용된 최소 이격량에 근거하여 동일 추정된 상기 기준 데이터들 간의 예상 오차 확률을 분석하고,
상기 예상 오차 확률에 따른 예상 오차가 허용 오차보다 초과하는 경우에, 상기 항공 관측 데이터 및 상기 지상 관측 데이터에서 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리, 상기 정합 정보 추출부에서 생성된 상기 기하 변환 모델에서 이상 데이터로 판정되는 기준 데이터를 제거하는 처리, 상기 기하 변환 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리, 및 상기 최확값 산출시에 적용된 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 상기 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행하도록 상기 유사도 분석부 및 상기 정합 정보 추출부를 제어하고,
상기 처리 수행 후의 제약 조건에 따라, 상기 정합 정보 추출부는 상기 제 2 기하 변환으로 기하 변환 모델의 정합 정보를 재추출하고,
상기 데이터 융합부는 상기 재추출된 정합 정보에 기초하여 제 2 기하 변환된 상기 항공 관측 데이터와 상기 지상 관측 데이터를 동일 좌표계의 융합 데이터로 등록하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 1 항에 있어서,
상기 항공 관측 데이터가 영상 센서 및 3차원 측량 센서 중 어느 하나로부터 획득되고, 상기 지상 관측 데이터가 상기 항공 관측 데이터의 센서와 다른 이종의 센서로부터 획득되는 경우에, 상기 3차원 측량 센서로부터 획득된 관측 데이터는 점군 데이터가 변환된 가상의 영상 데이터를 이용하고, 상기 3차원 측량 센서와 관련된 상기 관측 데이터의 위치 데이터는 상기 가상의 영상 데이터의 위치 데이터로 정의되며, 상기 관측 데이터의 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의되는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템. - 제 1 항에 있어서,
상기 기하 변환 모델이 위치 데이터와 관측 방향을 정의하는 자세 데이터로 구성된 외부 기하 데이터와 상기 관측 데이터를 생성하는데 설정된 센서에 정의된 기하 파라미터에 기초로 산출되는 내부 기하 데이터를 이용하는 물리적 센서 모델(physical sensor model)인 경우에, 상기 항공 기하 정보는 적어도 항공용 위치 데이터와 항공용 자세 데이터를 포함하며, 상기 지상 기하 정보는 적어도 지상용 위치 데이터와 지상용 자세 데이터를 포함하고,
상기 기하 변환 모델이 상기 외부 기하 데이터가 아닌 대체 모델 파라미터를 이용하는 대체 센서 모델 (replacement sensor model)인 경우에, 상기 항공 기하 정보 및 상기 지상 기하 정보는 각각 항공용 대체 모델 파라미터 및 지상용 대체 모델 파라미터를 포함하는 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190163921A KR102239562B1 (ko) | 2019-12-10 | 2019-12-10 | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190163921A KR102239562B1 (ko) | 2019-12-10 | 2019-12-10 | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102239562B1 true KR102239562B1 (ko) | 2021-04-13 |
| KR102239562B9 KR102239562B9 (ko) | 2021-10-27 |
Family
ID=75482636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190163921A KR102239562B1 (ko) | 2019-12-10 | 2019-12-10 | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102239562B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822832A (zh) * | 2021-09-03 | 2021-12-21 | 国家林业和草原局中南调查规划设计院 | 自然资源多源矢量数据融合方法 |
| KR20220158570A (ko) * | 2021-05-24 | 2022-12-01 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR20220163227A (ko) * | 2021-06-02 | 2022-12-09 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR20220166689A (ko) * | 2021-06-10 | 2022-12-19 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR20220169342A (ko) * | 2021-06-18 | 2022-12-27 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404640B1 (ko) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | 영상 매칭 방법 및 이를 수행하는 시스템 |
| KR101935824B1 (ko) * | 2018-11-29 | 2019-03-06 | 네이버시스템(주) | 항공 이미지 및 지상이미지를 합성하는 영상처리시스템 |
| KR102008772B1 (ko) * | 2018-01-15 | 2019-08-09 | 주식회사 스트리스 | 특징 기하 기반의 멀티센서 캘리브레이션 및 융합을 위한 장치 및 방법 |
-
2019
- 2019-12-10 KR KR1020190163921A patent/KR102239562B1/ko active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404640B1 (ko) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | 영상 매칭 방법 및 이를 수행하는 시스템 |
| KR102008772B1 (ko) * | 2018-01-15 | 2019-08-09 | 주식회사 스트리스 | 특징 기하 기반의 멀티센서 캘리브레이션 및 융합을 위한 장치 및 방법 |
| KR101935824B1 (ko) * | 2018-11-29 | 2019-03-06 | 네이버시스템(주) | 항공 이미지 및 지상이미지를 합성하는 영상처리시스템 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220158570A (ko) * | 2021-05-24 | 2022-12-01 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR102525519B1 (ko) | 2021-05-24 | 2023-04-24 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR20220163227A (ko) * | 2021-06-02 | 2022-12-09 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR102557775B1 (ko) | 2021-06-02 | 2023-07-19 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR20220166689A (ko) * | 2021-06-10 | 2022-12-19 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR102567800B1 (ko) | 2021-06-10 | 2023-08-16 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR20220169342A (ko) * | 2021-06-18 | 2022-12-27 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| KR102567799B1 (ko) | 2021-06-18 | 2023-08-16 | 이재영 | 드론을 이용한 3차원 지도 제작 방법 |
| CN113822832A (zh) * | 2021-09-03 | 2021-12-21 | 国家林业和草原局中南调查规划设计院 | 自然资源多源矢量数据融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102239562B9 (ko) | 2021-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
| EP2133662B1 (en) | Methods and system of navigation using terrain features | |
| EP3158412B1 (en) | Sensor fusion using inertial and image sensors | |
| EP3158417B1 (en) | Sensor fusion using inertial and image sensors | |
| Nagai et al. | UAV-borne 3-D mapping system by multisensor integration | |
| Panahandeh et al. | Vision-aided inertial navigation based on ground plane feature detection | |
| ES2625107T3 (es) | Navegación asistida por punto de referencia de precisión | |
| Kim et al. | Feasibility of employing a smartphone as the payload in a photogrammetric UAV system | |
| KR102627453B1 (ko) | 위치 추정 장치 및 방법 | |
| US10970924B2 (en) | Reconstruction of a scene from a moving camera | |
| WO2016187757A1 (en) | Sensor fusion using inertial and image sensors | |
| EP3734394A1 (en) | Sensor fusion using inertial and image sensors | |
| KR102127679B1 (ko) | 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 | |
| JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
| CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| CN110186468B (zh) | 用于自动驾驶的高精度地图制作方法和制作装置 | |
| CN111024072A (zh) | 一种基于深度学习的卫星地图辅助导航定位方法 | |
| IL267309B (en) | Terrestrial observation device with positioning functionality | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
| KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
| CN109891188A (zh) | 移动平台、摄像路径生成方法、程序、以及记录介质 | |
| US11372455B2 (en) | Imaging sensor-based position detection | |
| CN112489118B (zh) | 一种无人机机载传感器组外参快速标定方法 | |
| Mirisola et al. | Trajectory recovery and 3d mapping from rotation-compensated imagery for an airship | |
| Shahbazi | Professional drone mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| G170 | Re-publication after modification of scope of protection [patent] |