KR101504383B1 - 항공 측량 방법 및 장치 - Google Patents

항공 측량 방법 및 장치 Download PDF

Info

Publication number
KR101504383B1
KR101504383B1 KR1020107012960A KR20107012960A KR101504383B1 KR 101504383 B1 KR101504383 B1 KR 101504383B1 KR 1020107012960 A KR1020107012960 A KR 1020107012960A KR 20107012960 A KR20107012960 A KR 20107012960A KR 101504383 B1 KR101504383 B1 KR 101504383B1
Authority
KR
South Korea
Prior art keywords
image
pixel
candidate
images
acquired
Prior art date
Application number
KR1020107012960A
Other languages
English (en)
Other versions
KR20100087034A (ko
Inventor
엘라인 어크리
Original Assignee
인터그래프 소프트웨어 테크놀로지스 캄파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터그래프 소프트웨어 테크놀로지스 캄파니 filed Critical 인터그래프 소프트웨어 테크놀로지스 캄파니
Publication of KR20100087034A publication Critical patent/KR20100087034A/ko
Application granted granted Critical
Publication of KR101504383B1 publication Critical patent/KR101504383B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

항공 측량 방법은 제1 평면으로부터의 제1 이미지와 제2 이미지의 경계를 제2 평면에 매핑하여 제2 평면에서의 출력 이미지의 경계를 결정한다. 출력 이미지 내의 복수의 픽셀들에 대해, 이 방법은 제1 평면에서의 제1 이미지 또는 제2 이미지 중 어느 하나의 이미지의 대응하는 픽셀을 결정한다.

Description

항공 측량 방법 및 장치{METHOD AND APPARATUS OF TAKING AERIAL SURVEYS}
본 특허 출원은 2007년 11월 14일자로 출원된 발명의 명칭이 "Method and Apparatus of Taking Aerial Surveys(항공 측량 방법 및 장치)"인 미국 가특허 출원 제60/987,883호(발명자: Elaine S. Acree)를 기초로 우선권을 주장하며, 이 출원은 전체 내용이 본 명세서에 참고로 포함된다.
본 발명은 일반적으로 항공 측량 방법(aerial surveying method)에 관한 것이며, 보다 상세하게는 본 발명은 수정된 3-D 광선 추적(ray tracing) 및 그래픽 방법들을 사용하여 중첩하는 비디오 이미지를 전체적인 모자이크(mosaic)로 결합하는 항공 측량 방법에 관한 것이다.
무인 항공기(Unmanned Aerial Vehicle, UAV) 또는 기타 유인 항공기(manned aircraft)는 관심 지역들의 상공을 비행하면서 그 지역들의 비디오 이미지들을 작성할 수 있다. 이러한 항공 측량은, 몇가지 열거하자면, 정찰, 보안, 토지 관리 및 자연 재해 평가의 분야들에서 군사용으로도 민수용으로도 응용되고 있다. 측량에 의해 생성되는 많이 중첩된(heavily overlapped) 비디오 영상은 통상적으로 그 이미지들을 관찰할 수 있는 지상국(ground station)으로 전송될 수 있다. 그러나, 이러한 많이 중첩된 영상은 큰 관심 지역 중 작은 조각들만을 보여주며, 그 점에서 직소 퍼즐(jigsaw puzzle)의 조각들과 유사하다. 모든 조각들이 모여서 맥락을 이룰 때까지, 개개의 조각의 의미가 잘못 이해되거나 불분명할 수 있다. 따라서, 중첩하는 영상 데이터의 모자이크(mosaic)가 필요하다. 종래 기술은 이러한 중첩하는 영상 데이터를 추가의 사용 및 분석을 위해 전체적인 모자이크로 병합하는 데 다양한 방식들을 사용한다.
사진 측량가는 이미지들을 모자이킹하지만, 최종 모자이크가 생성되기 전에 이 이미지들이 통상적으로 정사보정된다(orthorectified). 기울어진 이미지 쌍들을 하나의 보정된 톱-다운 뷰(top down view)로 변환하는 프로세스인 정사보정(orthorectification)은 엄격히 제어된 조건 하에서 아주 고해상도의 카메라를 사용하여 서로 다른 각도에서 찍은 스테레오 이미지(stereo image)들 또는 적어도 2개의 이미지들을 필요로 한다. 게다가, 사진 측량(photogrammetry)은 노동 집약적인 작업일 수 있으며, 사람 조작자가 추가의 처리 이전에 이미지들에 기준점들(control points)을 배치해야 한다. 이와 달리, NASA는 행성들, 달 및 태양계의 이미지 모자이크들을 제공해왔다. 일부의 보다 새로운 기술들은 등거리 측정에 의한 웨이블릿 분해(wavelet decomposition)를 수반하는 반면, 보다 이전의 시스템들은 이미지 모자이킹(image mosaicking)에 대한 보다 고전적인 사진 측량 방식들을 참조한다. 상기한 종래의 방식들 모두는 계산 집중적(computation intensive)이고 광범위한 데이터 수집을 필요로 한다.
이 분야의 다른 방식들은, 각각의 새로운 이미지가 이전의 몇개의 이미지들의 스트립의 끝에 페이스트(paste)되는, "워터폴 디스플레이(Waterfall Display)"라고 통상 알려져 있는 것을 발생한다. 새로운 이미지들이 다른쪽 단부에 페이스트될 때 이전의 이미지들은 한쪽 단부를 롤오프(roll off)시킨다. 이 이미지들은 결코 통합되지는 않지만 얼마간 지형-참조(geo-referenced)되는데, 그 이유는 한 프레임이 공간에서 그 다음 프레임과 인접하는 경향이 있기 때문이다. 그럼에도 불구하고, 워터폴 디스플레이는 모자이크가 아니며, 단지 인접한 비디오 프레임들의 모음에 불과하다. 또 다른 방식들은, 검출된 이미지 내용에 기초하여 이미지들을 결합시키기는 하지만 지형-참조 정보(geo-referencing information)를 이용하지는 않는 광학 흐름(Optical Flow) 기법을 사용하여 이미지들을 결합시키려고 시도한다. 또 다른 방식들은 적절한 통합 없이 사진들을 병합하려고 시도하는데, 그 대신에 최근의 이미지가 이전에 나온 이미지들의 상부에 첨부됨으로써 이전의 이미지들로부터의 모든 정보를 상실하게 된다. 이 경우에, 인접한 이미지 에지들이 블렌딩되지 않아 페이스트업 외관(paste up appearance)이 조잡하게 된다.
이상에서 기술한 이러한 종래의 모자이킹 기법들은 광범위한 데이터 수집 또는 계산 없이 지형-참조 정보를 이용하여 많이 중첩된 영상 데이터를 신속하게 병합시키는 방법을 제공하지 않는다.
본 특허 문서의 개시 내용의 일부분이 저작권 보호를 받는 내용을 포함하고 있다. 저작권 소유자는 임의의 자가 특허청 특허 파일 및 기록에 나와 있는 그대로 특허 문서 또는 특허 개시내용을 복제 재현하는 것에 대해서는 이의를 제기하지 않지만, 그렇지 않은 경우에는 모든 저작권을 보유한다.
예시적인 실시예들에서, 한 방법은 항공 측량 동안에 수집된 중첩하는 영상 데이터를 그 이미지들의 전체적인 모자이크로 병합시켜, 광범위한 데이터 수집 또는 계산 없이 신속하게 이미지 관찰자에게 유용하고 통합된 정보를 제공한다.
이 목적들을 위해, 본 발명의 다양한 실시예들에서, 유인 또는 무인 항공 정찰은 지원하는 수치 GPS(numerical Global Positioning System), INS(Inertial Navigation System) 및 카메라 각도 데이터와 함께 관심 지역의 상공에서의 이미지 데이터를 수집할 수 있다. 작은 이미지들의 모자이크는 큰 지역에 대한 포괄적이고 통합된 모습을 관찰자에게 제공한다. 의사 결정자는 현재의 조건들에 대한 모자이크 레벨 이미지들 또는 이전의 모자이킹된 이미지들로부터의 변경들을 검토할 수 있다. 자동화된 이미지 처리 소프트웨어는 또한 차이를 구하기 위해 2개의 모자이킹된 이미지들을 비교할 수 있다. 일부 실시예들은 군정찰, 보안, 자연 재해 평가, 및 토지 관리(소방 및 가뭄 평가 등)와 같은 군수 분야 및 민수 분야 둘다에서 응용되고 있다.
본 발명의 일 실시예에 따르면, 항공 측량 방법은 제1 평면으로부터의 제1 이미지와 제2 이미지의 경계를 제2 평면에 매핑하여 제2 평면에서의 출력 이미지의 경계들을 결정하고, 출력 이미지에서의 복수의 픽셀들에 대해, 제1 평면에서의 제1 이미지 또는 제2 이미지의 대응하는 픽셀을 구한다.
본 발명의 다른 실시예에 따르면, 항공 측량 방법은 제1 평면에서의 복수의 이미지들의 경계를 제2 평면에 매핑하여 제2 평면에서의 출력 이미지의 경계를 결정하고, 제1 및 제2 평면에서의 복수의 이미지들 및 출력 이미지가 복수의 픽셀들을 가지며, 출력 이미지에서의 복수의 픽셀들에 대해, 이 실시예는 제1 평면에서의 복수의 이미지들의 대응하는 픽셀을 구한다.
본 발명의 또 다른 실시예에 따르면, 항공 측량 방법은 소정의 해상도를 갖는 복수의 이미지 부분들로 이미지 평면을 정의하고, 지상 영역의 적어도 일부의 복수의 사진들 중 하나의 사진을 수신하며, 이미지 평면의 해상도에 기초하여 지상 영역 부분을 분할하여 복수의 지상 부분들을 형성하고, 광선 추적 수학(ray tracing mathematics)을 사용하여 복수의 지상 부분들을 복수의 이미지 부분들에 매핑한다.
도 1은 출력 이미지의 크기 및 지상 위치가 어떻게 결정되는지를 보여주는 흐름도이다.
도 2는 카메라 피라미드(camera pyramid)와 지구의 상위-레벨 교차를 나타낸 도면이다.
도 3a는 중첩 픽셀 선택 프로세스를 나타낸 흐름도이다.
도 3b는 최상 픽셀 규칙(Best Pixel Rule)을 나타낸 흐름도이다.
도 3c는 중첩 픽셀 허용오차 규칙(Overlapping Pixel Tolerance Rule)을 나타낸 흐름도이다.
도 4는 카메라 평면으로부터 지상 평면으로의 INS 포인팅 벡터(pointing vector)를 나타낸 도면이다.
도 5는 카메라 피라미드의 상세도이다.
도 6은 좌측의 직사각형의 축방향으로 정렬된(axis aligned) 이미지로부터 우측의 최종 출력 이미지 내의 회전된 사다리꼴로의 변환을 나타낸 도면이다.
도 7은 입력 이미지를 출력 이미지 내의 출력 모자이크로 매핑하는 것을 나타낸 도면이다.
도 8은 사다리꼴 경계선(trapezoidal boundary edge)을 정의하는 2개의 이미지 코너의 경계 교점(boundary intersection)을 나타낸 도면이다.
본 발명의 실시예들은 개개의 비디오 이미지, 즉 정지 프레임(still frame)을 프레임마다 제공된 GPS, INS 및 카메라 각도 데이터와 결합시켜 하나의 또는 보다 큰 경사진 모자이크 이미지를 얻는 2-패스 프로세스(two-pass process)를 포함한다. 그러한 실시예들은 스테레오 이미지, 스테레오 이미지를 생성하기 위한 동일한 지역에 대한 다수의 비디오 세트, 또는 모자이크를 생성하기 전에 영상의 정사 보정(ortho-rectification)을 필요로 하지 않는다. 문맥상 다른 의미가 없는 한, 출력 이미지 또는 모자이크를 생성하는 데 사용되는 2-패스 프로세스는 추가적으로 다음과 같이 정의된다.
(1) 제1 패스 또는 패스 1은 GPS 좌표, INS 포인팅 벡터 각도(pointing vector angle) 및 카메라 화각(field of view) 각도를 비롯한 모든 지원하는 수치 데이터를 판독하는 것을 포함한다. 지원하는 수치 데이터는 이어서 픽셀 및 그 출력 이미지에 대한 대응하는 GPS 좌표 둘 다의 측면에서 출력 이미지(들) 전체의 크기를 구하는 데 사용되는 부가의 값을 계산하는 데 사용된다.
양호한 실시예에서, 패스 1은, 도 1에 도시된 바와 같이, 이하의 단계들을 포함한다.
(a) 비디오 파일을 프레임별로 판독하고 프레임마다 대응하는 수치 입력 GPS 좌표 및 INS 배향각(orientation angle), 및 카메라 화각(FOV) 각도를 입력한다. 입력 데이터는 표준의 소프트웨어 기법들을 사용하여 판독된다.
(b) 각각의 비디오 프레임에 대한 수치 지원 데이터 전부를 누적한 후에, 입력 GPS 좌표 및 INS 배향각 그리고 카메라 각도에 기초하여 모자이킹된 이미지(들)의 출력 크기를 계산한다. 이 프로세스 전체에 걸쳐, 입력 이미지에서의 픽셀들의 지상 위치(ground location)를 수학적으로 구하는 데 3-D 광선 추적 및 3-D 역광선 추적(inverse 3-D ray tracing) 계산이 사용된다.
지구는 GPS 좌표계가 기초를 이루는 타원체인 WGS 84(World Geodetic System 1984) 타원체의 파라미터들을 사용하여 편구면(oblate spheroid)인 것으로 모델링된다. WGS 84 및 지도제작 문헌에서는 지구의 형상을 말하는 데 일반 용어인 타원체를 사용한다. 3-D 기하에서, 보다 구체적인 지구 형상은 편구면의 형상이다. 여기서 사용되는 편구면은 2개의 동일한 적도 반경(equatorial radius)과 다른 극반경(polar radius)이 타원체 형상(ellipsoidal shape)의 3개의 파라미터를 이루는 타원체이다. 도 2는 카메라 피라미드(camera pyramid)와 편구면인 지구의 상위-레벨 교차를 나타낸 것이다.
GPS 좌표 모델에 대해 지정된 파라미터들을 갖는 WGS 84 타원체를 사용하여 광선과 편구면의 3-D 광선 교점이 도출된다. 이 방정식은, 대부분이 구, 박스, 원추, 평면, 및 원환체(torus)와 같은 간단한 기하 형상을 다루는 표준의 광선 추적 문헌에 제시된 표준의 광선 추적 방정식이 아니다. 지리적 위치 교점은 이하와 같이 편구면과의 광선 추적 교점을 이용하여 계산된다.
(2) 제2 패스 또는 패스 2는 이어서 각각의 입력 이미지를 받고 입력 이미지를 출력 이미지(들) 또는 모자이크에서의 그의 최종 위치에 매핑하기 위해 필요한 계산들을 한다.
양호한 실시예에서, 패스 2는, 도 3a 내지 도 3b에 도시된 바와 같이, 이하의 단계들을 포함한다.
(a) 비디오로부터 각각의 프레임을 추출하고 표준의 도구를 사용하여 단일의 정지 이미지로 변환한다.
(b) 각각의 정지 이미지를 받고, 편구면(지구)에 대한 3-D 광선 추적 방정식 및 역광선 이미지 평면 이산 교점을 이용하여, 이미지 평면 상의 입력 이미지로부터의 각각의 픽셀을 출력 이미지에 매핑한다. 역광선 추적 방정식은 카메라 이미지 평면을 통해 거꾸로 지상 평면 또는 지역으로부터 도출되었다. 이 계산은 표준의 3-D 그래픽 광선 추적 문헌에 나오는 광선-평면 교차와 유사하며, 그 자체로 새로운 도출인 것으로 생각될 수 없다. 그러나, 3-D 지상 위치로부터 광선을 추적하여 카메라의 이미지 평면 상의 이산 2-D 픽셀에 매핑하는 데 광선-평면 교점 계산을 사용하는 것은 완전 3-D 대 3-D 연속(이산적이 아님) 평면 표면-광선 교차의 통상적인 응용과 다르다.
대안의 실시예에서, 메모리 제한으로 인해 하나의 이미지가 실제 용도에 너무 큰 경우, 다수의 출력 이미지들이 생성될 수 있다. 전체적으로 보면, 하나의 가상 출력 이미지가 간단한 방식으로 실제의 출력 이미지로 타일링되는 그 이미지의 최종 출력에 매핑될 수 있다. 그리고, 이러한 다수의 인접한 모자이킹된 이미지들이 하나의 모자이킹된 이미지의 동일한 효과를 생성하도록 패닝될 수 있다.
입력 이미지들은 지상 영역의 측면에서 볼 때 많이 중첩되어 있다. 고도, 카메라 지향 방향 및 카메라 각도들의 변동으로 인해, 각각의 정지 입력 이미지 상의 픽셀들이 지상 영역 상의 커버되는 미터당 픽셀수의 측면에서 서로 다른 스케일로 되어 있을 수 있다. 출력 이미지가 적절히 스케일링되도록 미터당 픽셀수에 기초하여 입력 픽셀들을 출력 픽셀들에 매핑하기 위해 각각의 이미지에 대해 조정이 행해질 수 있다. 다수의 입력 픽셀들이 동일한 출력 픽셀에 매핑될 수 있다.
게다가, 각각의 픽셀의 지형-참조 좌표가 근사치이다. 카메라의 GPS 좌표는 위치를 추정하는 GPS 장치의 오차 허용한계(error tolerance) 내에서 아는 것이다. INS 장치는 오차 허용한계 내에서 카메라 배향각을 제공한다. 각각의 이미지에서의 픽셀들의 지형-참조 좌표들은 카메라의 GPS 위치 및 INS 데이터에 기초한 추정치이다. 각각의 픽셀의 추정된 지형-참조 좌표는 지상에서의 실제 위치로부터 약간 벗어나 있을 수 있다. 이미지의 중심에 더 가까운 픽셀들의 지형-참조 추정치들은 이미지의 에지 상의 픽셀들에 대한 추정치들보다 더 정확할 수 있다. 픽셀 지형-참조 추정치들에서의 오차는 완벽한 이미지 정합(image registration)을 얻는 데 어려움을 증가시킨다. 이미지 정합은 하나 이상의 이미지들을, 그 이미지들 내의 대응하는 픽셀들이 서로의 상부에 있도록, 정렬시키는 것을 말한다. 다수의 입력 픽셀들이 동일한 출력 픽셀에 매핑되는 경우, 어느 픽셀(들)을 유지하고 어느 픽셀(들)을 폐기할지를 결정하기 위해 규칙들이 사용되어야만 한다.
어느 입력 픽셀들을 사용하거나 결합시켜 최종 출력 이미지 픽셀을 생성할지를 결정하기 위해 몇가지 규칙들이 도입된다. 픽셀들이 완벽하게 정합될 수 있는 경우, 간단히 하나의 위치에 매핑되는 모든 픽셀들의 평균을 구하는 것만으로 충분할 수 있다. 그러나, 가장 큰 위치 오차를 포함할 가능성이 있는 이미지들의 에지에 있는 픽셀들의 경우 픽셀들이 완벽하게 정합되지 않는다. 픽셀 선택을 결정하기 위해 3-D 그래픽, Z-버퍼 유사 규칙(도 3b에 도시된 바와 같이, "최상 픽셀" 규칙이라고도 함)이 생성되었다. 최상 픽셀은 일반적으로 카메라에 가장 가까운 픽셀이다. 이 규칙의 변형들에서는 가장 가까운 픽셀의 허용 한계 내에 있는 픽셀들의 평균을 구하여 최종 픽셀을 생성할 수 있다. 최상 픽셀 규칙에 한가지 예외가 있다. 지상으로부터 카메라에 가장 가까운 거리에 있는(즉, 카메라의 비행 경로의 바로 아래에 있는) 픽셀들이 연속적인 프레임들에서 너무 빨리 교체되는 경향이 있다. 이러한 빠른 교체로 인해 출력 이미지에서 정보가 손실되고 출력 외관이 흐려지게 된다(blurred). 이러한 상황을 피하기 위해, 카메라까지의 최단 가능 거리의 허용한계 내에 있는 픽셀들은 거리 측정 지점을 지상으로부터 카메라까지의 최단 거리보다는 이미지 프레임의 대략적인 중심으로 변경하는 대안의 거리 규칙을 사용한다. 카메라에 가장 가까운 픽셀들의 그룹에 대한 거리 계산을 수정함으로써, 이러한 출력 픽셀들이 그만큼 빠르게 변하지 않고 이미지 정보를 상실하지 않으며, 이는 출력 이미지를 안정화시키고 보다 보기 좋고 유익한 모자이크를 제공한다.
도 4는 카메라로부터 지상으로의 INS 포인팅 벡터 또는 헤딩 벡터(heading vector)를 나타낸 것이다. 포인팅 벡터는 카메라가 보고 있는 방향을 정의한다. 포인팅 벡터는 카메라의 이미지 평면의 배향을 계산하는 데 사용된다.
카메라의 GPS 좌표, 수평 및 수직 카메라 화각(FOV) 각도는 물론 INS 배향각이 커버되는 지구의 영역을 수학적으로 구하는 계산에서 사용된다. INS 데이터는 피치각(pitch angle), 롤각(roll angle) 및 요각(yaw angle)의 형태로 제공되고, 이는 포인팅(헤딩) 벡터 및 회전 행렬(rotation matrix) 둘다를 발생시키는 데 사용될 수 있다. 회전 행렬은 카메라의 이미지 평면 및 이미지에 의해 커버되는 지상 영역을 배향하는 데 사용된다.
GPS 측정치 및 INS 측정치의 샘플링 레이트는 주어진 이미지가 촬영된 시간과 정확히 일치하지는 않는다. 이 경우에, GPS 및 INS 데이터에 대한 2개의 샘플링된 값 세트 간의 중간값을 추정하기 위해 간단한 수치 보간이 사용될 수 있다.
피라미드는 카메라를 피라미드의 정점(apex)으로 사용하여 구성된다. 피라미드의 4개의 코너가 카메라 위치로부터 카메라 이미지 평면의 4개의 코너를 통해 연장되며, 그 모서리들은 그 후 지상과 교차할 때까지 연장된다. 코너 교차 광선은 도 5의 카메라 피라미드 상세도에 나타낸 바와 같이 피라미드의 모서리들을 따라 간다.
입력 이미지를 출력 이미지에 매핑하도록 위치시키기 위해 각각의 입력 이미지가 스케일링, 회전 및 병진되어야만 한다. 도 6은 좌측의 직사각형의 축방향으로 정렬된(axis aligned) 이미지로부터 우측의 최종 출력 이미지 내의 회전된 사다리꼴로의 변환을 나타낸 것이다. 비디오의 입력 이미지들은 통상적으로 중첩하지만 알고리즘이 결과를 제공하도록 중첩될 필요는 없다.
이러한 2-패스 프로세스를 이용하여, 일부 실시예들은, 원래의 비디오 이미지들에서의 픽셀들을 최종 출력 이미지에 지형-참조시키는 3-D 광선 추적 및 그래픽 방법을 이용하여, 다수의 중첩하는 경사진 항공 비디오 이미지들 또는 정지 영상들을 하나의 출력 모자이크에 빠르게 매핑한다.
모자이크를 계산하는 2-패스 프로세스의 구체적인 코드 명령어들을 포함하는 추가의 상세가 이하에서 개략적으로 기술되고 더 설명된다. 이들 상세는 각종의 서로 다른 실시예들 중 하나를 설명한다.
패스 1 - 출력 이미지 크기의 배치 및 계산:
각각의 이미지에 대해, 이미지 평면 코너 좌표의 범위를 계산하고 누적한다.
단계 1: 이미지 및 수치 지원 데이터의 동기화
GPS 및 INS 데이터가 각각의 이미지가 생성된 것과 동일한 때에 샘플링되지 않은 경우, 각각의 프레임과 동기화된 그 값들의 추정치를 제공하기 위해 GPS 및 INS 데이터를 보간한다. 비디오, GPS 및 INS 데이터는 각각 간단한 선형 보간이 수행되어 필요한 데이터를 발생할 수 있게 하는 시간 또는 상대 시간으로 태깅(tagging)되어야만 한다. 적절한 경우 데이터 및 카메라의 움직임 방향에 대해 다른 유형의 보간들이 사용될 수 있다.
단계 2: 포인팅 벡터
포인팅 벡터 계산과 같은 계산을 사용하여 INS 각도 배향 데이터로부터 정규화된 포인팅 벡터를 계산한다. 포인팅 벡터 계산 및 이미지 평면 회전 행렬 계산 둘다는 입력 데이터 유형에 대해 사용자에 의해 지정된 바와 같은, 각도, 각도 부호 및 축 회전 규약에 관한 입력 파라미터를 사용한다. 각각의 각도에 대한 회전축들을 선택하기 위해 표준의 12개 오일러각 규약(Euler angle convention) 중 임의의 하나가 사용될 수 있다. 이 오일러각 규약들에 의해, 동일한 축이 연속하여 2번 사용되지 않는 한, 회전에 대해 3개의 축 모두 또는 단지 2개의 축이 사용될 수 있다. 임의의 각도의 부호는 없는 것으로(negated) 될 수 있고, 각도들의 회전 순서가 사용자가 제공한 입력 파라미터들에 의해 제어될 수 있다. 12개의 오일러각 규약 * 6개의 각도 순서 * 3개의 각도 각각에 대한 8개의 가능한 부호 조합(23=8)에 의해, 각도축과 부호의 576개의 가능한 조합이 있으며, 그 중 하나의 조합이 헤딩 벡터의 배향 및 이미지 평면의 배향을 제어하게 될 것이다. 사용되는 특정의 조합이, 데이터를 수집하는 데 사용되었고 사용자-정의 파라미터들에 의해 제어될 수 있는 하드웨어에 의해 결정될 것이다. 특정의 경우에 대한 통상적인 계산은 다음과 같다:
INS 피치 배향각, 롤 배향각, 및 요 배향각으로부터 정규화된 포인팅 벡터를 계산한다.
Figure 112010037638170-pct00001
단계 3: 회전 행렬
다음과 같은 통상적인 샘플 계산에 의해 576개의 가능한 회전 행렬 중 하나를 사용하는 이미지 평면 회전 행렬 계산과 같은 계산을 사용하여 INS 각도 배향 데이터로부터 생성된 3개의 행렬의 합성으로서 이미지 평면 회전 행렬(이미지 평면 배향 행렬)을 작성한다.
INS 각도들로부터 생성된 3개의 행렬의 합성으로서 이미지 평면 회전 행렬(이미지 평면 배향 행렬)을 작성한다. P 피치(pitch)(x-축) 표준 행렬, R 롤(roll)(y-축) 표준 행렬, 및 Y 요(yaw)(z-축) 표준 행렬은 대응하는 이름들의 각도를 사용하면 다음과 같다.
Figure 112010037638170-pct00002
Figure 112010037638170-pct00003
단계 4: 이미지 평면 피라미드
도 5에 도시된 바와 같이, 다음과 같이 정의되는 이미지 평면 피라미드 계산알고리즘을 사용하여 카메라 위치 및 카메라 화각 각도로부터 작은 상부 이미지 피라미드를 작성한다.
도 4에 도시한 바와 같이, 카메라 FOV 각도들에 의해 형성된 2개의 피라미드가 있으며, 작은 상부 피라미터가 카메라와 이미지 평면 사이에 있는 반면, 보다 큰 피라미드가 카메라와 지상 사이에 있다. 여기서, 작은 피라미드의 좌표들은 처음에 좌표축과 일치하는 것으로 계산된다. 작은 이미지 피라미드는 이어서 그 이미지의 카메라 위치 및 포인팅 벡터에 기초하여 주어진 이미지에 대한 정확한 위치(직교 좌표로 표시됨)로 회전되고 병진될 것이다.
Figure 112010037638170-pct00004
Figure 112010037638170-pct00005
이 피라미드는 단계 3에서 계산된 회전 행렬을 사용하여 위치로 회전될 것이다. 이미지 피라미드의 밑면은 직사각형을 형성하고, 이 직사각형은 광선 카메라 평면 교차 계산에서 사용되는 2개의 삼각형으로 분할된다.
단계 5: 지구 평면 피라미드
표준의 지도 제작 방식을 사용하여 카메라 및 이미지 평면의 밑면 코너들을 지리적 좌표로부터 직교 좌표로 변환한다. 이러한 유형의 계산에 대한 통상적인 알고리즘이 표준 GPS (지리적) 좌표에서 직교(지심) 좌표로의 변환에 나타내어져 있다.
표준 GPS(지리적) 좌표에서 직교(지심) 좌표로의 변환의 목적은 위도, 경도, 고도 GPS 좌표를 XYZ 직교 좌표로 변환하는 것이다. 대안의 실시예에서, 지형 모델(terrain model)은 주어진 위도 경도 지구 좌표에 대한 계산을 위한 보다 정확한 지상 고도 좌표를 제공하는 데 사용될 수 있다. 지형 모델이 없는 경우, 사용자는 0 이상의 일정한 고도(단위: 피트 또는 미터)를 지정할 수 있다. 일관성을 위해 모든 변환들에 대해 동일한 알고리즘이 사용되어야 하지만, 변환 알고리즘은 이용가능한 표준 알고리즘들 중 어느 것이라도 될 수 있다.
Figure 112010037638170-pct00006
그 다음에, 피라미드를 정의하는 5개의 점들(4개의 밑면 코너 및 카메라 위치) 각각에서 시작하는 광선들의 지구 교차점을 계산한다. 이 계산에 광선-편구면 교차가 사용된다. 카메라로부터 지상으로의 모든 교점들이 광선-편구면 교차를 사용하여 계산된다. 광선-편구면 교차 계산을 사용하여 2차 방정식(quadratic equation)의 형태로 지상에서의 가장 가까운 교점을 계산한다. 다음과 같은 3가지 가능한 결과가 있다: 해가 없음, 하나의 해 또는 2개의 해.
광선- 편구면 교차는 다음과 같이 정의된다.
Figure 112010037638170-pct00007
Figure 112010037638170-pct00008
그 다음에, 표준의 지도 제작 방식을 사용하여 단계 b에서 계산된 각각의 직교 좌표에 대한 지리적 좌표를 계산한다. 이러한 유형의 계산에 대한 통상적인 알고리즘이 표준 직교(지심) 좌표에서 GPS (지리적) 좌표로의 변환에 나타내어져 있다.
표준 직교(지심) 좌표에서 GPS (지리적) 좌표로의 변환의 목적은 3-D XYZ 직교 좌표를 위도, 경도, 고도로 된 GPS 좌표로 변환하는 것이다. 대안의 실시예에서, 지형 모델(terrain model)은 주어진 위도 경도 지구 좌표에 대한 계산을 위한 보다 정확한 지상 고도 좌표를 제공하는 데 사용될 수 있다. 지형 모델이 없는 경우, 사용자는 0 이상의 일정한 고도(단위: 피트 또는 미터)를 지정할 수 있다. 일관성을 위해 모든 변환들에 대해 동일한 알고리즘이 사용되어야 하지만, 변환 알고리즘은 이용가능한 표준 알고리즘들 중 어느 것이라도 될 수 있다.
Figure 112010037638170-pct00009
Figure 112010037638170-pct00010
그 다음에, 현재의 이미지에 대해 이상의 단계 c에서 계산된 지구 교차 좌표의 범위를 계산한다.
선택적으로, 카메라가 지구를 전체적으로 가리키고 있지 않은 이미지들이 있는지 테스트한다. 이 테스트를 통과하지 않는 이미지들은 모자이크의 왜곡을 방지하기 위해 폐기된다.
단계 6: 기타 이미지 범위 계산
이전의 단계를 통과한 이미지들에 대해, 현재의 이미지의 범위를 누적하여 출력 이미지를 얻는다.
크로핑(cropped)된 입력 이미지의 코너들(픽셀로 되어 있음)을 저장한다. 이미지들이 각각의 프레임의 가장자리에 있는 블랙 에지들을 제거하기 위해 사용자의 임의대로 크로핑될 수 있다.
현재의 이미지의 범위로부터 프레임 범위 델타값을 계산한다.
DeltaRange = MaxRange - MinRange
현재의 직교 좌표 입력 프레임 범위 델타의 중심점과 프레임의 최소 점을 계산한다. FrameCenter = (DeltaRange * 0.5) + MinRangeCoordinate. 다음과 같이 정의된 출력 픽셀 위치 계산 알고리즘을 사용하여 출력 이미지에서의 입력 이미지의 위치를 계산한다.
출력 픽셀 위치 계산
입력 이미지 높이(H) 및 폭(W)에 기초하여 현재의 비회전된 이미지 코너들을 로드한다. 이어서, 입력 이미지를 그의 최종 출력 이미지 배향으로 정렬하기 위해 이미지 코너들을 회전 및 병진시킨다. 도 6은 이 이미지 배향 프로세스를 나타낸 것이다.
Figure 112010037638170-pct00011
그 다음에, 다음과 같이 벡터 형태로 입력 이미지 픽셀 스케일을 계산한다.
Figure 112010037638170-pct00012
DeltaPixelScale을 누적하여 출력 이미지 스케일 범위를 얻는다.
패스 2에 대해: 다음과 같이 위도 및 경도 시작 각도 및 아크 길이를 계산한다.
Figure 112010037638170-pct00013
보다 많은 입력 데이터가 단계 1로 반환되는 경우에는 계속된다. 그렇지 않은 경우, 단계 6으로 간다.
단계 7: 출력 크기의 계산
이전의 단계들에서 누적된 지구 좌표 범위로부터 직교 3-D 출력 중심을 벡터 형태로 계산한다.
Figure 112010037638170-pct00014
측정 단위당 픽셀들의 최대 수를 계산한다.
Figure 112010037638170-pct00015
초기 가상 출력 이미지 크기를 벡터 형태로 계산하고 4의 배수를 만든다.
Figure 112010037638170-pct00016
출력 크기가 파일 크기 또는 메모리 제한에 따라 추가적으로 조정(refine)될 수 있다. 다수의 파일들이 사용될 수 있고 하나의 가상 모자이크 파일을 시뮬레이트하기 위해 쉽게 패닝될 수 있다.
이하에 기술하는 바와 같이 패스 2에서 사용하기 위해 방금 계산된 크기의 출력 비트맵을 생성한다.
패스 2 - 입력 이미지들을 출력 이미지에 매핑:
패스 2는 패스 1에서 계산된 데이터는 물론 동일한 데이터에 대해 행해진 일부 부가적인 패스 2 전용 계산을 이용한다.
패스 1 데이터가 메모리나 파일에 저장될 수 있거나, 공간을 절감하기 위해 그 계산들이 전부 다시 계산될 수 있다.
단계 1: 패스 1 수치 데이터
각각의 이미지에 대해: 패스 1에서와 같이 그 이미지에 대한 수치 데이터를 검색하거나 재계산한다. 이 수치 데이터는 원래의 GPS, INS 및 카메라 각도 데이터는 물론 이 데이터로부터 계산된 부가의 값들을 포함한다.
패스 2의 경우, 입력 이미지 코너들의 지구 교점에서의 위도 경도 지상 좌표들 및 다음과 같이 정의된 정규화된 이미지 좌표 마스터(지리적) 계산 알고리즘을 사용하여 입력 모자이크의 출력 이미지 코너들을 계산한다.
입력 지상 위도, 경도 좌표로부터, 정수 출력 이미지 좌표를 계산한다. 출력 이미지 인덱스가 유효한 출력 이미지 인덱스로 클램핑될 것이다.
Figure 112010037638170-pct00017
이들 계산은 지리적 좌표로부터 픽셀로의 X 및 Y의 간단한 변환으로서 사용된다. 지리적 좌표를 적절한 표준 지도 투영 변환으로 변환하는 임의의 표준의 매핑 변환이 이러한 간단한 변환 대신에 사용될 수 있다. 이미지가 디스플레이 상에 역시 투영될 수 있는 지도와 동일한 투영이 적용되도록 표준의 매핑 변환이 적용될 수 있다.
단계 2: 이미지 추출
비디오를 판독하고 현재의 프레임에 대한 이미지를 추출한다.
단계 3: 프레임에 대해 카메라까지의 최단 거리 계산
카메라 위치를 원점으로 사용하고 이전에 계산된 포인팅 벡터를 광선으로 사용하여, 관찰 방향에서 편구면까지의 최단 거리를 계산한다. 관찰 방향에서의 최단 거리는 포인팅 벡터의 방향에서 카메라에서 시작하는 광선과 지구와의 교점이다. 이 계산에 상기한 바와 같은 광선-편구면 교차가 사용된다.
단계 4: 픽셀 매핑
출력 이미지에서의 각각의 픽셀에 대해, 그 픽셀을 입력 이미지에 매핑한다. 이 프로세스는 원래의 입력 이미지 내에서의 위치, 출력 이미지의 지형-참조 좌표 및 최종 출력 이미지 내에서의 입력 이미지의 위치에 기초하여 출력 이미지에서의 행 및 열 인덱스를 구하는 것을 포함한다. 이 단계에 픽셀 매핑 알고리즘이 사용된다. 이 알고리즘은 다음과 같이 정의된다.
단계 4a: 현재의 입력 이미지에 대한 출력 이미지 코너 인덱스의 계산:
4개의 입력 이미지 코너 각각에 대해, 위도, 경도 형태로 지구 교점 좌표를 취하고 이상에서 정의된 바와 같은 정규화된 이미지 좌표 마스터(지리적) 계산을 사용하여 출력 이미지 인덱스를 계산한다.
단계 4b: 시작 및 정지 출력 이미지 인덱스 계산
단계 1에서 계산된 4개의 코너 인덱스로부터 최소 및 최대 출력 이미지 인덱스를 계산한다. 이들 인덱스는 역매핑 이미지 인덱스를 형성한다.
Figure 112010037638170-pct00018
처리될 이미지들이 남아 있는 경우, 패스 2 단계 1로 가고, 그렇지 않은 경우, 단계 5로 간다.
단계 4c: 보정된 코너 출력 이미지 인덱스 계산
코너들이 y에서 아래에서 위로 정렬되도록 단계 4b의 출력을 정렬한다. 제2 단계는 출력 이미지 인덱스의 측면에서 하부 에지 정점 및 상부 에지 정점을 x에서 좌에서 우의 순서로 정렬한다. 처음 2개의 요소는 하부 에지를 정의하고, 마지막 2개의 요소는 상부 에지를 정의한다. 유의할 점은, 하부 에지 및 상부 에지가 수평이 아닐 수 있다는 것이다. 유사하게, 좌측 에지 및 우측 에지가 수직이 아닐 수 있다. 도 6에 도시된 바와 같이, 입력 이미지가 직사각형이지만, 출력 이미지에 매핑될 때, 입력은 사변형으로 될 수 있고 원래의 직사각형 형상을 상실할 수 있다.
보정된 코너 이미지 지도는 이미지의 픽셀 위치들은 물론 그 픽셀 위치들에 대응하는 지상 좌표를 포함하게 될 것이다.
단계 4c(1): y(열) 인덱스의 값에 의해 단계 4b로부터의 출력 코너 데이터를 정렬한다. 결과가 RectifiedCornerImageMap에 있다.
단계 4c(2): 다음과 같이 x(행) 인덱스에 기초하여 단계 4c(1)의 결과를 정렬한다.
필요한 경우, RectifiedCornerImageMap[0].x < RectifiedCornerImageMap [1].x이도록 어레이 내의 처음 2개의 요소를 서로 바꾼다.
필요한 경우, RectifiedCornerImageMap[2].x < RectifiedCornerImageMap [3].x이도록 어레이 내의 두번째 2개의 요소를 서로 바꾼다.
단계 4d: 픽셀들로부터 출력 이미지로의 역매핑
출력 이미지에서의 므와레 패턴을 피하기 위해, 출력 행 및 열 (x, y) 인덱스를 다시 입력 이미지에 매핑하기 위해 역 이미지 매핑을 사용한다. 역매핑은 출력 이미지 내의 모든 픽셀들이 입력 픽셀에 매핑되는 것을 보장한다. 입력으로부터 출력으로의 전방향 매핑(forward mapping)은 출력 이미지에 간극(gap)을 남겨둘 수 있으며, 이로 인해 출력에 간극 및 왜곡된 므와레 패턴이 생길 수 있다. 역 출력 매핑은 현재의 입력 이미지가 매핑되는 출력 이미지에서의 각각의 열을 따라 진행된다. 단계 4b에서 계산된 시작 및 정지 출력 이미지 인덱스는 입력 이미지 픽셀들의 매핑을 출력 이미지의 정확한 영역으로 제한한다. 출력의 각각의 열은 도 7에 나타낸 바와 같이 사다리꼴 경계를 따라 계산된 x에서의 시작 및 정지 출력 인덱스를 갖는 사다리꼴로서 취급된다.
Figure 112010037638170-pct00019
이하에 정의되는 광선 카메라 평면 교점에 의해 이미지 평면과 교차하는 현재의 지상점으로부터 카메라까지의 광선의 교차점을 계산한다.
광선 카메라 평면 교점
Figure 112010037638170-pct00020
Figure 112010037638170-pct00021
교점이 존재하는 경우, InputX 및 InputY이 반환될 것이다.
광선이 교차하는 경우,
Figure 112010037638170-pct00022
Figure 112010037638170-pct00023
사다리꼴에 대한 시작 및 정지 인덱스 계산
단계 3에서 계산된 RectifiedCornerImageMap에서 정의된 에지들이 주어진 경우, 입력 행 j에 대한 열 x에서의 시작 및 정지 인덱스와 대응하는 지상 좌표를 계산한다.
Figure 112010037638170-pct00024
Figure 112010037638170-pct00025
CalculateIntersectionPoint
사다리꼴 경계선을 정의하기 위해 지상 좌표로서 2개의 이미지 코너들이 주어진 경우, 어느 x 점에서 지상 좌표인 현재의 y가 입력 경계선과 교차하는지(있는 경우)를 구한다. 도 8은 경계 교점을 나타낸 것이다.
거리 파라미터(T)를 구하기 위해 표준 파라미터 라인 교차 루틴을 사용하여 교점을 계산한다. 지상 좌표에서의 교점이 존재하는 경우, 필요한 픽셀 좌표를 계산하기 위해 제2 계산이 행해질 것이다.
효율성을 위해, 현재의 y 값이 에지의 범위 내에 있지 않은 사소한 경우들을 제외시킨다.
Y에 대한 이미지 좌표들로부터 교점 파라미터(t)를 계산한다.
Figure 112010037638170-pct00026
벡터 형태에서, 코너의 시작 및 정지 지상 좌표를 사용한 교차 지상점(P)은 다음과 같다.
Figure 112010037638170-pct00027
입력 이미지에 대한 출력 이미지 범위로 클램핑되는 교점에 대한 대응하는 이미지 좌표는 다음과 같다.
Figure 112010037638170-pct00028
양호한 실시예에서,
단계 4e: 광선 삼각형 교차
// 무게중심(삼각형 중심) 좌표를 사용하여 교점을 계산
// 삼각형 꼭지점 V0, V1, V2으로 무게 중심점을 정의
P(u,v,w) = w * V0 + u * V1 + v * V2 (단, u + v + w = 1임)
벡터 형태의 광선은 점(P)에서 나와서 방향 벡터(d)를 따라 P로부터 거리 t에 있다.
Figure 112010037638170-pct00029
광선 방향과 정점 2 및 정점 0 사이의 에지와의 외적(cross product)의 역으로서 스칼라 c를 계산하고 이어서 그 외적과 정점 1 및 정점 0 사이의 에지와의 내적을 구한다.
Figure 112010037638170-pct00030
단계 4f: 직교 교차로부터 정규화된 이미지 평면 좌표를 계산
직교 이미지 평면 교차점을 다시 이미지 피라미드의 밑면 상의 카메라 위치에 있는 원점으로 병진시킨다. 이 점은 이어서 축들과 일치하도록 회전된다. 이미지 평면 상의 그 점이 이어서 정규화된다.
Figure 112010037638170-pct00031
범위 [-1,1]에 걸쳐 정규화된 이미지 평면 좌표값들을 계산한다.
Figure 112010037638170-pct00032
유의할 점: 여기서, 이미지에 대한 2d N.y는 3-D 원추체 밑면 Z와 관련하여 계산되는데, 그 이유는 회전되지 않은 원추체 밑면 상에서의 델타 y가 0이기 때문이다.
Figure 112010037638170-pct00033
정규화된 이미지 평면 연속 값들로부터 반올림된 이미지 평면 정수 좌표값들을 계산한다.
Figure 112010037638170-pct00034
필요한 경우, 픽셀을 크로핑된 입력 이미지로 클램핑한다.
Figure 112010037638170-pct00035
단계 5: 출력 이미지 및 출력 데이터의 스케일링
Figure 112010037638170-pct00036
Figure 112010037638170-pct00037
당업자에게 명백한 다른 변형들로는 다음과 같은 것들이 있다.
ㆍ 큰 모자이크들의 크기를 관리하기 위해 서로 인접한 서브-이미지들로 모자이킹하는 것
ㆍ 사용자가 큰 모자이크 상에서 줌인할 수 있게 하고 전체 모자이크보다 큰 스케일로 서브-모자이크를 생성할 수 있게 하는 것. 이 프로세스는 관심있는 서브-영역에서 더 많은 상세를 보여주기 위해 실시간으로 행해질 수 있다. 그 줌잉된 영역을 좀더 큰 모자이크에 생성하는 데 사용되는 원래의 개별 이미지들을 범위별로 추적함으로써 데이터가 액세스될 수 있다. 빠른 질의 및 검색을 위해 이 정보를 저장하는 데 데이터베이스가 사용될 수 있다.
ㆍ 지상 교점 및 좌표를 계산하기 위해 정밀한 지상 고도값을 제공하는 것이 이용가능한 경우 지형 모델을 사용하는 것
ㆍ 컬러값들의 가중 평균 등의 서로 다른 픽셀 결합 기법들을 가능하게 하기 위해 최상 픽셀 규칙을 변경하는 것
ㆍ 가상 좌표들의 개념을 사용하여 하나의 이미지를 모자이킹하는 것. 가상 모자이크 좌표는 메모리 또는 저장 공간을 절감하기 위해 보다 작은 타일링된 모자이크 좌표로 변환된다. 실제 모자이크는 개별 파일들에 있는 다수의 인접한 타일링된 이미지들에 존재할 수 있다.
본 발명의 다양한 실시예들이 적어도 부분적으로 임의의 종래의 컴퓨터 프로그래밍 언어로 구현될 수 있다. 예를 들어, 일부 실시예들은 절차적 프로그래밍 언어(예를 들어, "C")로 또는 객체 지향 프로그래밍 언어(예를 들어, "C++")로 구현될 수 있다. 본 발명의 다른 실시예들은 사전 프로그램된 하드웨어 요소들[예를 들어, ASIC(application specific integrated circuit), FPGA 및 디지털 신호 처리기]로 또는 기타 관련 컴포넌트들로서 구현될 수 있다.
대안의 실시예에서, 개시된 장치 및 방법(예를 들어, 이상에서 기술한 다양한 흐름도를 참조할 것)은 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품으로서 구현될 수 있다. 이러한 구현은 컴퓨터 판독 가능 매체 등의 유형의 매체(tangible medium)(예를 들어, 디스켓, CD-ROM, ROM, 또는 고정 디스크)에 고정되어 있거나 매체를 통해 네트워크에 연결된 모뎀 또는 기타 인터페이스 장치(통신 어댑터 등)를 통해 컴퓨터 시스템으로 전송가능한 일련의 컴퓨터 명령어들을 포함할 수 있다. 이 매체는 유형의 매체(예를 들어, 광 또는 아날로그 통신 회선)일 수 있다. 일련의 컴퓨터 명령어들은 본 시스템과 관련하여 본 명세서에 앞서 기술된 기능들 전부 또는 그 일부를 구현할 수 있다.
당업자라면 이러한 컴퓨터 명령어들이 많은 컴퓨터 아키텍처들 또는 운영 체제들에서 사용되는 다수의 프로그래밍 언어들로 작성될 수 있다는 것을 잘 알 것이다. 게다가, 이러한 명령어들은 반도체, 자기, 광 또는 기타 메모리 장치들과 같은 임의의 메모리 장치에 저장될 수 있고, 광, 적외선, 마이크로파, 또는 기타 전송 기술들과 같은 임의의 통신 기술을 사용하여 전송될 수 있다.
그 중에서도 특히, 이러한 컴퓨터 프로그램 제품은 동봉된 인쇄 또는 전자 문서를 갖는 이동식 매체[예를 들어, 슈링크랩(shrink-wrapped) 소프트웨어]로서 배포되거나, 컴퓨터 시스템에(예를 들어, 시스템 ROM 또는 고정 디스크에) 사전 로드되어 있거나, 네트워크(예를 들어, 인터넷 또는 월드 와이드 웹)를 통해 서버 또는 전자 게시판으로부터 배포될 수 있다. 물론, 본 발명의 일부 실시예들은 소프트웨어(예를 들어, 컴퓨터 프로그램 제품)와 하드웨어 둘다의 조합으로서 구현될 수 있다. 본 발명의 또 다른 실시예들은 전적으로 하드웨어로서 또는 전적으로 소프트웨어로서 구현된다.
이상의 설명이 본 발명의 다양한 예시적인 실시예들을 개시하고 있지만, 당업자가 본 발명의 진정한 범위를 벗어나지 않고 본 발명의 이점들 중 몇몇 이점들을 달성하는 다양한 수정을 할 수 있다는 것이 명백하다.

Claims (20)

  1. 복수의 획득된 픽셀화된(pixilated) 이미지들로부터 픽셀화된 모자이크 디지털 이미지를 생성하기 위한 컴퓨터 구현 방법으로서,
    획득된 이미지 각각은 천체(astronomical body)의 표면의 일부이고, 획득된 이미지 각각은 디지털 카메라가 상기 천체의 표면 위를 병진하는 동안 상기 디지털 카메라에 의해 획득된 것이며, 상기 방법은,
    상기 천체의 표면이 상기 복수의 획득된 이미지들에 의해 이미지화된 정도를 결정하기 위하여 상기 복수의 획득된 이미지들 내의 각각의 위치들에 대응하는 상기 천체의 표면 상의 복수의 위치들을 결정하도록, 상기 디지털 카메라의 모델로부터 상기 천체의 표면의 모델로의 3-D 광선 추적(ray tracing) 및 상기 천체의 표면 형상의 수학 모델을 사용하는 단계;
    결정된 상기 천체의 표면의 이미지화 정도에 적어도 부분적으로 기초하여, 모자이크 이미지의 경계들(boundaries)을 결정하는 단계; 및
    결정된 상기 모자이크 이미지의 경계들 내의 각각의 픽셀에 대하여,
    상기 복수의 획득된 이미지들 중 적어도 하나의 후보 이미지 각각에서, 상기 천체의 표면의 모델로부터 상기 디지털 카메라의 이미지 평면의 모델로의 3-D 역광선 추적(reverse 3-D ray tracing) 및 상기 천체의 형상의 수학 모델을 사용하여, 상기 모자이크 이미지 내의 픽셀에 지리적으로 대응하는 후보 이미지 내의 후보 픽셀을 결정함으로써 적어도 하나의 후보 픽셀을 결정하는 단계; 및
    결정된 상기 적어도 하나의 후보 픽셀의 값에 기초하여, 상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 이미지가 획득되었을 때, 상기 카메라의 좌표들, 상기 카메라의 배향(orientation) 및 상기 카메라의 화각(field of view)에 따라 각각의 획득된 이미지를 스케일링, 회전 및 병진하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 천체의 표면 상의 미리 정해진 수의 위치들보다 적은 수의 위치들이 획득된 이미지 내의 각각의 위치들에 대응하는 경우, 상기 획득된 이미지를 폐기하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    결정된 상기 모자이크 이미지의 경계들에 적어도 부분적으로 기초하여 상기 모자이크 이미지 내의 픽셀들의 수를 결정하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계는 상기 모자이크 이미지 내의 픽셀의 값을 상기 적어도 하나의 후보 픽셀 중 하나의 후보 픽셀의 값과 동일하게 하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계는 상기 모자이크 이미지 내의 픽셀의 값을 상기 적어도 하나의 후보 픽셀 중 적어도 두 개의 후보 픽셀들의 값들의 평균과 동일하게 하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계는 상기 모자이크 이미지 내의 픽셀의 값을 상기 적어도 하나의 후보 픽셀 중 적어도 두 개의 후보 픽셀들의 값들의 가중 평균과 동일하게 하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    상기 후보 이미지 내의 후보 픽셀을 결정하는 단계는, 상기 후보 이미지가 획득되었을 때, 상기 천체의 표면과 상기 카메라의 이미지 평면 간에 최단 거리를 갖는 후보 이미지를 선택하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 후보 이미지 내의 후보 픽셀을 결정하는 단계는, 상기 후보 이미지가 획득되었을 때, 상기 천체의 표면과 상기 카메라의 이미지 평면 간에 각각 최단 거리들을 갖는 복수의 후보 이미지들을 선택하는 단계를 포함하고,
    상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계는, 선택된 상기 복수의 후보 이미지들 내의 후보 픽셀들의 값들의 평균에 기초하여, 상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 후보 이미지 내의 후보 픽셀을 결정하는 단계는, 상기 후보 이미지가 획득되었을 때, 상기 천체의 표면으로의 상기 카메라의 이미지 평면의 투영의 중심에 대응하는 지리적 위치와 상기 모자이크 이미지 내의 픽셀에 대응하는 지리적 위치 간에 최단 거리를 갖는 후보 이미지를 선택하는 단계를 포함하는 방법.
  11. 제1항에 있어서,
    상기 후보 이미지 내의 후보 픽셀을 결정하는 단계는, 상기 후보 이미지가 획득되었을 때, 상기 천체의 표면으로의 상기 카메라의 이미지 평면의 투영의 중심에 대응하는 지리적 위치와 상기 모자이크 이미지 내의 픽셀에 대응하는 지리적 위치 간에 각각 최단 거리들을 갖는 복수의 후보 이미지들을 선택하는 단계를 포함하고,
    상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계는, 선택된 상기 복수의 후보 이미지들 내의 후보 픽셀들의 값들의 평균에 기초하여, 상기 모자이크 이미지 내의 픽셀에 값을 할당하는 단계를 포함하는 방법.
  12. 제1항에 있어서,
    상기 천체의 표면 형상의 수학 모델을 사용하는 단계는 상기 천체의 표면 형상을 편구면(oblate spheroid)으로서 모델링하는 단계를 포함하는 방법.
  13. 제1항에 있어서,
    상기 천체의 표면 형상의 수학 모델을 사용하는 단계는 상기 천체의 표면 형상의 기하 모델(geometric model)에 더하여 지형 모델(terrain model)을 사용하는 단계를 포함하는 방법.
  14. 복수의 획득된 픽셀화된 이미지들로부터 픽셀화된 모자이크 디지털 이미지를 생성하기 위한 시스템으로서,
    획득된 이미지 각각은 천체의 표면의 일부이고, 획득된 이미지 각각은 디지털 카메라가 상기 천체의 표면 위를 병진하는 동안 상기 디지털 카메라에 의해 획득된 것이며,
    상기 시스템은 컴퓨터 프로세서를 포함하고,
    상기 컴퓨터 프로세서는,
    상기 천체의 표면이 상기 복수의 획득된 이미지들에 의해 이미지화된 정도를 결정하기 위하여 상기 복수의 획득된 이미지들 내의 각각의 위치들에 대응하는 상기 천체의 표면 상의 복수의 위치들을 결정하도록, 상기 디지털 카메라의 모델로부터 상기 천체의 표면의 모델로의 3-D 광선 추적 및 상기 천체의 표면 형상의 수학 모델을 사용하고,
    결정된 상기 천체의 표면의 이미지화 정도에 적어도 부분적으로 기초하여, 모자이크 이미지의 경계들을 결정하고,
    결정된 상기 모자이크 이미지의 경계들 내의 각각의 픽셀에 대하여,
    상기 복수의 획득된 이미지들 중 적어도 하나의 후보 이미지 각각에서, 상기 천체의 표면의 모델로부터 상기 디지털 카메라의 이미지 평면의 모델로의 3-D 역광선 추적 및 상기 천체의 형상의 수학 모델을 사용하여, 상기 모자이크 이미지 내의 픽셀에 지리적으로 대응하는 후보 이미지 내의 후보 픽셀을 결정함으로써 적어도 하나의 후보 픽셀을 결정하고,
    결정된 상기 적어도 하나의 후보 픽셀의 값에 기초하여, 상기 모자이크 이미지 내의 픽셀에 값을 할당하고,
    상기 모자이크 이미지 내의 픽셀들의 할당된 값들을 메모리에 저장하도록 프로그래밍된 시스템.
  15. 복수의 획득된 픽셀화된 이미지들로부터 픽셀화된 모자이크 디지털 이미지를 생성하기 위한 유형의(tangible) 비일시적인(non-transitory) 컴퓨터 판독가능 매체로서,
    획득된 이미지 각각은 천체의 표면의 일부이고, 획득된 이미지 각각은 디지털 카메라가 상기 천체의 표면 위를 병진하는 동안 상기 디지털 카메라에 의해 획득된 것이며,
    상기 유형의 비일시적인 컴퓨터 판독가능 매체는 컴퓨터 판독가능 프로그램 코드를 포함하고,
    상기 컴퓨터 판독가능 프로그램 코드는,
    상기 천체의 표면이 상기 복수의 획득된 이미지들에 의해 이미지화된 정도를 결정하기 위하여 상기 복수의 획득된 이미지들 내의 각각의 위치들에 대응하는 상기 천체의 표면 상의 복수의 위치들을 결정하도록, 상기 디지털 카메라의 모델로부터 상기 천체의 표면의 모델로의 3-D 광선 추적 및 상기 천체의 표면 형상의 수학 모델을 사용하기 위한 프로그램 코드,
    결정된 상기 천체의 표면의 이미지화 정도에 적어도 부분적으로 기초하여, 모자이크 이미지의 경계들을 결정하기 위한 프로그램 코드, 및
    결정된 상기 모자이크 이미지의 경계들 내의 각각의 픽셀에 대하여,
    상기 복수의 획득된 이미지들 중 적어도 하나의 후보 이미지 각각에서, 상기 천체의 표면의 모델로부터 상기 디지털 카메라의 이미지 평면의 모델로의 3-D 역광선 추적 및 상기 천체의 형상의 수학 모델을 사용하여, 상기 모자이크 이미지 내의 픽셀에 지리적으로 대응하는 후보 이미지 내의 후보 픽셀을 결정함으로써 적어도 하나의 후보 픽셀을 결정하고,
    결정된 상기 적어도 하나의 후보 픽셀의 값에 기초하여, 상기 모자이크 이미지 내의 픽셀에 값을 할당하기 위한 프로그램 코드
    를 포함하는 유형의 비일시적인 컴퓨터 판독가능 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020107012960A 2007-11-14 2008-11-14 항공 측량 방법 및 장치 KR101504383B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US98788307P 2007-11-14 2007-11-14
US60/987,883 2007-11-14
PCT/US2008/083582 WO2009065003A1 (en) 2007-11-14 2008-11-14 Method and apparatus of taking aerial surveys

Publications (2)

Publication Number Publication Date
KR20100087034A KR20100087034A (ko) 2010-08-02
KR101504383B1 true KR101504383B1 (ko) 2015-03-19

Family

ID=40348094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107012960A KR101504383B1 (ko) 2007-11-14 2008-11-14 항공 측량 방법 및 장치

Country Status (9)

Country Link
US (2) US8315477B2 (ko)
EP (1) EP2212858B1 (ko)
KR (1) KR101504383B1 (ko)
AU (1) AU2008322565B9 (ko)
BR (1) BRPI0820626A2 (ko)
CA (2) CA2840860C (ko)
IL (1) IL205808A0 (ko)
NZ (1) NZ585398A (ko)
WO (1) WO2009065003A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565552B2 (en) * 2006-11-14 2013-10-22 Codonics, Inc. Assembling multiple medical images into a single film image
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
EP2356584B1 (en) * 2008-12-09 2018-04-11 Tomtom North America, Inc. Method of generating a geodetic reference database product
US8896696B2 (en) * 2009-05-01 2014-11-25 Aai Corporation Method apparatus system and computer program product for automated collection and correlation for tactical information
US8261179B2 (en) * 2009-07-16 2012-09-04 Benevoltek, Inc. Web page hot spots
AU2011256984B2 (en) * 2010-05-28 2014-03-20 Bae Systems Plc Simulating a terrain view from an airborne point of view
US8477190B2 (en) * 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US8483961B2 (en) * 2010-08-30 2013-07-09 The Mitre Corporation Systems, methods, and computer program products of flight validation
CA2780419A1 (en) * 2011-06-17 2012-12-17 National Cheng Kung University Unmanned aerial vehicle image processing system and method
KR101323099B1 (ko) * 2011-11-18 2013-10-30 (주)쎄트렉아이 모자이크 영상 생성 장치
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US9836989B2 (en) * 2012-06-05 2017-12-05 Rockwell Collins, Inc. Training data management method and related system
US9870504B1 (en) * 2012-07-12 2018-01-16 The United States Of America, As Represented By The Secretary Of The Army Stitched image
US9186793B1 (en) 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
US20150350614A1 (en) * 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
IL226752A (en) * 2013-06-04 2017-02-28 Padowicz Ronen Independent navigation system and method
US9798928B2 (en) * 2013-07-17 2017-10-24 James L Carr System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
CA3237917A1 (en) * 2014-08-22 2016-02-25 Climate Llc Methods for agronomic and agricultural monitoring using unmanned aerial systems
CA2958075C (en) * 2014-08-29 2024-02-13 Spookfish Innovations Pty Ltd An aerial survey image capture system
CN105466523B (zh) * 2014-09-12 2019-09-17 航天信息股份有限公司 基于单摄像机图像的堆粮高度的测量方法和装置
US9530244B2 (en) * 2014-11-11 2016-12-27 Intergraph Corporation Method and apparatus for shadow estimation and spreading
US10963749B2 (en) * 2014-12-12 2021-03-30 Cox Automotive, Inc. Systems and methods for automatic vehicle imaging
US20160189350A1 (en) * 2014-12-30 2016-06-30 Texas Instruments Incorporated System and method for remapping of image to correct optical distortions
US10121223B2 (en) * 2015-03-02 2018-11-06 Aerial Sphere, Llc Post capture imagery processing and deployment systems
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
US9945828B1 (en) 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
US10255523B2 (en) * 2015-11-16 2019-04-09 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery
CN106023086B (zh) * 2016-07-06 2019-02-22 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
US9942721B2 (en) 2016-07-11 2018-04-10 At&T Intellectual Property I, L.P. Aerial profiling of communication networks
US10140693B2 (en) * 2017-03-23 2018-11-27 Intergraph Corporation Motion imagery corner point sequencer
US10692228B2 (en) 2017-08-11 2020-06-23 Mapbox, Inc. Identifying spatial locations of images using location data from mobile devices
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치
CN108734685B (zh) * 2018-05-10 2022-06-03 中国矿业大学(北京) 一种无人机载高光谱线阵列遥感影像的拼接方法
KR102144268B1 (ko) * 2018-07-02 2020-08-28 주식회사 유니디자인경영연구소 무인 관측 수단에 의해 촬영된 영상을 이용한 브이알(VR, Virtual Reality)용 쓰리디 맵 제작 장치 및 방법
CN110360986B (zh) * 2019-07-03 2021-06-11 航天东方红卫星有限公司 一种便携式星表局部地形测绘***
US20230127873A1 (en) * 2020-01-06 2023-04-27 The Boeing Company System for detecting airborne objects within a shared field of view between two or more transceivers
DE102020120571B4 (de) * 2020-08-04 2024-05-16 Volocopter Gmbh Verfahren zum Bestimmen einer Manövrierreserve bei einem Fluggerät, Flugsteuerungseinrichtung bei einem Fluggerät und entsprechend ausgerüstetes Fluggerät
GB2615041A (en) * 2020-10-19 2023-07-26 Pictometry Int Corp Variable focal length multi-camera aerial imaging system and method
US12033528B2 (en) 2021-02-04 2024-07-09 Honeywell International Inc. Display systems and methods
CN113470176B (zh) * 2021-07-02 2023-06-13 中铁二院工程集团有限责任公司 数字地形图中自动注记建筑物层数的方法
US11900670B2 (en) * 2022-06-30 2024-02-13 Metrostudy, Inc. Construction stage detection using satellite or aerial imagery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684935A (en) * 1993-02-25 1997-11-04 Hughes Electronics Rendering and warping image generation system and method
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US20050111753A1 (en) 2003-11-20 2005-05-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Image mosaicing responsive to camera ego motion
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4525858A (en) * 1983-01-03 1985-06-25 General Electric Company Method and apparatus for reconstruction of three-dimensional surfaces from interference fringes
US4945478A (en) * 1987-11-06 1990-07-31 Center For Innovative Technology Noninvasive medical imaging system and method for the identification and 3-D display of atherosclerosis and the like
US5146228A (en) * 1990-01-24 1992-09-08 The Johns Hopkins University Coherent correlation addition for increasing match information in scene matching navigation systems
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5911035A (en) * 1995-04-12 1999-06-08 Tsao; Thomas Method and apparatus for determining binocular affine disparity and affine invariant distance between two image patterns
US5844570A (en) * 1995-05-02 1998-12-01 Ames Research Laboratories Method and apparatus for generating digital map images of a uniform format
WO1997003416A1 (en) * 1995-07-10 1997-01-30 Sarnoff Corporation Method and system for rendering and combining images
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
JP3813343B2 (ja) * 1997-09-09 2006-08-23 三洋電機株式会社 ３次元モデリング装置
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6819318B1 (en) * 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
FR2827060B1 (fr) * 2001-07-05 2003-09-19 Eastman Kodak Co Procede d'identification du ciel dans une image et image obtenue grace a ce procede
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
EP1944572B1 (en) * 2005-09-12 2010-03-03 Trimble Jena GmbH Surveying instrument and method of providing survey data using a surveying instrument

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684935A (en) * 1993-02-25 1997-11-04 Hughes Electronics Rendering and warping image generation system and method
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20050111753A1 (en) 2003-11-20 2005-05-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Image mosaicing responsive to camera ego motion

Also Published As

Publication number Publication date
NZ585398A (en) 2012-08-31
BRPI0820626A2 (pt) 2015-06-16
US8693806B2 (en) 2014-04-08
AU2008322565A1 (en) 2009-05-22
AU2008322565A2 (en) 2010-09-23
AU2008322565B2 (en) 2013-09-05
WO2009065003A1 (en) 2009-05-22
KR20100087034A (ko) 2010-08-02
CA2705809A1 (en) 2009-05-22
CA2705809C (en) 2014-05-06
IL205808A0 (en) 2010-11-30
US20140063000A1 (en) 2014-03-06
CA2840860C (en) 2015-05-26
US8315477B2 (en) 2012-11-20
CA2840860A1 (en) 2009-05-22
US20100283853A1 (en) 2010-11-11
EP2212858A1 (en) 2010-08-04
AU2008322565B9 (en) 2014-04-10
EP2212858B1 (en) 2017-05-03

Similar Documents

Publication Publication Date Title
KR101504383B1 (ko) 항공 측량 방법 및 장치
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
Al-Rousan et al. Automated DEM extraction and orthoimage generation from SPOT level 1B imagery
CN106599119B (zh) 一种影像数据的存储方法和装置
KR100529401B1 (ko) 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법
KR20090064679A (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
Carvajal-Ramírez et al. Effects of image orientation and ground control points distribution on unmanned aerial vehicle photogrammetry projects on a road cut slope
JP6238101B2 (ja) 数値表層モデル作成方法、及び数値表層モデル作成装置
US20030225513A1 (en) Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
CN108733711B (zh) 基于三维gis技术的配电线路空间距离获取方法
Opsahl et al. Real-time georeferencing for an airborne hyperspectral imaging system
Baboo et al. Geometric correction in high resolution satellite imagery using mathematical methods: A case study in Kiliyar sub basin
Kobayashi Photogrammetry and 3D city modelling
EP4036859A1 (en) A system and method for providing improved geocoded reference data to a 3d map representation
AU2013260677B2 (en) Method and apparatus of taking aerial surveys
Ahn et al. Ortho-rectification software applicable for IKONOS high resolution images: GeoPixel-Ortho
Abduelmola High resolution satellite image analysis and rapid 3D model extraction for urban change detection
Hamruni The use of oblique and vertical images for 3D urban modelling
Smith Topographic mapping
CN118379453A (zh) 一种无人机航拍影像与webGIS三维场景联动交互方法及***
CN118071589A (zh) 三维模型的实时拼接方法及装置
Arif et al. Projection method for geometric modeling of high resolution satellite images applying different approximations
Ok Accuracy Assessment of the DEM and Orthoimage Generated from ASTER
Madzharova et al. Mapping from high resolution data in GIS SOFIA Ltd
Sauerbier et al. 3D Modeling of large cultural heritage sites from satellite and aerial images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee